第 28 章阅读地图:强化学习推荐场景
章节主线
先判断问题是否真的具有状态转移、延迟回报和序列决策,再把 RL 用于流量、融合、Session、层次决策、序列生成或探索;离线评估和安全约束是上线前提。
| 节 | PDF 页 | 场景 | 上线前问题 |
|---|---|---|---|
| 28.1 流量分配 | 3–4 | 动态调控供给或通道 | 状态、动作、奖励和约束是否可观测? |
| 28.2 降级优化 | 5 | 资源不足时选择策略 | 安全下界和确定性兜底是什么? |
| 28.3 多任务融合 | 6–7 | 动态调整目标权重 | 奖励尺度与长期价值如何定义? |
| 28.4 Session 优化 | 8–9 | 跨请求累计回报 | Session 边界和终止条件是否稳定? |
| 28.5 层次决策 | 10 | 上层策略与下层动作 | 信用分配和训练稳定性如何保证? |
| 28.6 序列生成 | 11–12 | 列表级动作 | 动作空间和约束搜索是否可承受? |
| 28.7 个性化探索 | 13 | 用户级探索强度 | 后悔、体验风险和流量预算多大? |
| 28.8 讨论 | 14–15 | RL 与非 RL 基线 | 简单 bandit 或规则是否已足够? |
| 28.9 挑战 | 16 | 偏差、评估、稳定性 | 离线策略评估是否可信? |
| 28.10 小结 | 17–18 | 选型归纳 | 写出采用 RL 的必要条件与停止条件。 |
本书依据:第二十八章 PDF 第 3–18 页。