核心概念 第 9 章

LFQ 无查找表量化

lfq-tokenizer

定义

LFQ 用多维二值变量组合形成离散索引,不依赖可学习向量码本的最近邻查找。

核心判断

大词表无需大规模码本向量查找,但二值组合利用率与训练目标仍需额外约束。

工程检查

监测各二值位分布、Token 使用熵、非法组合与下游推荐指标,核对熵正则贡献。

本书依据

《第九章-生成式推荐模块.pdf》,PDF 第 8–9 页(9.3.4 节)。

扩展说明

无查找表不表示不需要评估离散化的信息损失。