核心概念 第 9 章
LFQ 无查找表量化
lfq-tokenizer
定义
LFQ 用多维二值变量组合形成离散索引,不依赖可学习向量码本的最近邻查找。
核心判断
大词表无需大规模码本向量查找,但二值组合利用率与训练目标仍需额外约束。
工程检查
监测各二值位分布、Token 使用熵、非法组合与下游推荐指标,核对熵正则贡献。
本书依据
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
扩展说明
无查找表不表示不需要评估离散化的信息损失。
核心概念 第 9 章
lfq-tokenizer
LFQ 用多维二值变量组合形成离散索引,不依赖可学习向量码本的最近邻查找。
大词表无需大规模码本向量查找,但二值组合利用率与训练目标仍需额外约束。
监测各二值位分布、Token 使用熵、非法组合与下游推荐指标,核对熵正则贡献。
《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。
无查找表不表示不需要评估离散化的信息损失。