核心概念 第 9 章
PQ 分组向量量化
pq-semantic-tokenizer
定义
PQ 将高维向量按维度分组,各子空间独立量化后组合编码,而不是逐层量化残差。
核心判断
分组编码易并行且可控,但独立子空间可能丢失跨组相关性;与残差量化不应混为一类。
工程检查
比较各组维度、码本容量和重构误差,检查下游语义 ID 的碰撞与排序收益。
本书依据
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
扩展说明
本章介绍分组编码定位;检索侧的距离计算见向量检索章节。
核心概念 第 9 章
pq-semantic-tokenizer
PQ 将高维向量按维度分组,各子空间独立量化后组合编码,而不是逐层量化残差。
分组编码易并行且可控,但独立子空间可能丢失跨组相关性;与残差量化不应混为一类。
比较各组维度、码本容量和重构误差,检查下游语义 ID 的碰撞与排序收益。
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
本章介绍分组编码定位;检索侧的距离计算见向量检索章节。