核心概念 第 9 章
FSQ 有限标量量化
fsq-tokenizer
定义
FSQ 将低维连续表示的各个标量映射到有限离散取值,通过笛卡尔组合形成隐式码本。
核心判断
没有传统向量码本查表,但量化级数和压缩维度一起限定可表示空间。
工程检查
记录各维取值分布、组合利用率与量化误差,和 VQ/RQ 方法比较下游模型指标。
本书依据
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
扩展说明
要区分有限标量量化与单纯把向量元素四舍五入后的工程效果。
核心概念 第 9 章
fsq-tokenizer
FSQ 将低维连续表示的各个标量映射到有限离散取值,通过笛卡尔组合形成隐式码本。
没有传统向量码本查表,但量化级数和压缩维度一起限定可表示空间。
记录各维取值分布、组合利用率与量化误差,和 VQ/RQ 方法比较下游模型指标。
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
要区分有限标量量化与单纯把向量元素四舍五入后的工程效果。