A/B 实验

定义

A/B 实验是将流量随机分配给不同策略组，并在同一评价口径下比较结果的在线实验方法。

核心判断

A/B 实验通过随机化建立策略与业务指标变化之间的因果比较，是推荐系统在线评价的核心证据。

工程检查

明确实验单元、流量分配、样本量、护栏指标、互斥关系、停止条件和异常回滚。

本书依据

《第三章-推荐系统评价体系.pdf》，PDF 第 6–7 页。

扩展说明

显著性不等于业务价值；还需检查效应大小、长期影响和分群一致性。