粗排模型蒸馏

定义

粗排模型蒸馏是以高容量教师模型的输出或中间表征为监督，训练较轻量的粗排学生模型。

核心判断

粗排蒸馏用高容量教师的分数或表征监督低成本学生，在在线预算内逼近后级模型的排序能力。

工程检查

固定候选集和服务预算，比较蒸馏目标、候选保留率、分群效果、P99、吞吐与教师版本依赖。

适用与取舍

当后级模型效果较好但在线计算预算有限，可尝试蒸馏粗排学生；先固定候选集与成本，再比较学生保留精排优质候选的能力。若教师本身存在偏差或目标错位，学生可能复制错误，不能只追逐教师分数。

如何验证

对齐候选和训练样本，分别对比无蒸馏学生、不同蒸馏目标以及教师上界；同时记录候选保留率、分群质量、P99 与吞吐。上线还需确认教师、学生及特征版本关系。

容易误判

学生 AUC 提升但精排优质候选保留率不变，或线上预算上升而收益不增时，不能归因于蒸馏有效；还要检查候选截断与后续精排贡献。

本书依据

《第十一章-粗排模型.pdf》，PDF 第 22–28 页。

扩展说明

学生离线 AUC 不是充分验收条件，关键是同成本下对精排优质候选的保留能力。