离线与在线评价

定义

离线评价在历史或留出数据上测量方案表现，在线评价则在实际服务流量中观测用户与业务反馈。

核心判断

离线指标用于低成本筛选候选方案，在线指标检验真实业务增益；二者衡量对象和数据分布不同，不能相互替代。

工程检查

为每个离线指标写出对应的线上目标、预期方向、失效条件和分群口径。

适用与取舍

离线评价适合快速筛掉明显劣于基线的方案；线上实验检验真实流量和服务约束下的结果。离线和线上使用的样本、曝光机制、候选集和指标口径不同，比较时要先写清这些差异。

如何验证

记录实验假设、样本与标签窗口、离线基线、线上主指标和护栏；上线前核查特征与模型版本及日志口径，实验时按分群与故障率观察，异常时有明确停止与回滚条件。

容易误判

离线显著改善但线上无增益时，优先查目标错位、样本选择、服务降级、流量分配和日志口径；不能仅依据一项平均指标继续增大流量。

本书依据

《第三章-推荐系统评价体系.pdf》，PDF 第 1–5 页。

扩展说明

离线提升未上线时，应优先排查目标错位、数据偏差和服务约束，而不是继续堆模型。