核心概念 第 20 章

MoCo 动量队列

moco-queue

定义

MoCo 使用动量编码器产生 Key,并用先进先出队列跨批维护负例字典。

核心判断

动量编码器让跨 Batch 队列中的负例表示相对一致,扩充负样本集合时需承担历史表征滞后。

工程检查

跟踪队列年龄、动量系数和表征版本;对比同预算的大 Batch 与队列训练。

本书依据

《第二十章-用户兴趣与序列建模.pdf》,PDF 第 6–8 页(20.1.3 节)。

扩展说明

队列扩大负例池,但过旧 Key 与当前编码器可能产生表示不一致。