第 17 章阅读地图:推荐系统在线服务

章节主线

把推荐请求拆成有预算、有版本、有降级、有监控的依赖图;模型精度只有在容量、尾延迟和一致性约束内才有价值。

节 PDF 页 细粒度主题 评审问题
17.1 推理架构 1–6 请求流程、RPC、限流、熔断、兜底、预算、灰度、容量 端到端 P99 如何分配?过载在哪一层被拒绝?
17.2 稳定性治理 7–8 指标、日志、告警、演练 能否定位慢、错、空、旧四类问题?
17.3 用户侧服务 9–10 User Info、长期兴趣、近线服务 数据新鲜度和缺失兜底如何定义?
17.4 缓存服务 11–13 结果缓存、Preload、Browse Set、失效 命中率、陈旧度、击穿和版本污染如何控制?
17.5 索引服务 14–15 正排、倒排在线查询 增量可见性、容量与回滚怎样保证?
17.6 模型服务 16–24 Embedding 版本、冷启 ID、批查询、热更新、特征抽取、TensorRT、Batching、量化、混部、双塔/DNN 全链路、一致性 模型、Embedding、特征、索引是否作为兼容发布单元?
17.7 小结 25–26 服务化归纳 写出正常、超时、过载、版本错配四条路径。

实践入口

templates/serving-reliability/、cases/latency-budget.md、cases/embedding-version-mismatch.md

本书依据:第十七章 PDF 第 1–26 页。