InfoNCE 与密度比

定义

InfoNCE把上下文与真实后继行为的匹配转为正负候选分类。

核心判断

InfoNCE把上下文与真实后继行为的匹配转为正负候选分类；互信息下界依赖负例从边缘分布采样，不能把任意高相似行为当作确定负例。

工程检查

固定负例来源和候选数，检查假负例、温度、正负比例、梯度尺度和主任务提升。

本书依据

《第二十章-用户兴趣与序列建模.pdf》，PDF 第 1–5 页（20.1.1 节）。

扩展说明

互信息下界依赖负例从边缘分布采样，不能把任意高相似行为当作确定负例。