核心概念 第 12 章
多任务专家模型
multi-task-experts
定义
多任务专家模型通过多个可共享或任务专属的网络分支提取特征,再由任务对应的组合机制生成各目标预测。
核心判断
MMoE 以任务独立门控组合共享专家;CGC/PLE 进一步区分共享专家与任务专属专家,并通过分层结构调节共享程度。这些结构都在共享收益与任务冲突之间取舍,并不保证任务数量或专家数量越多越好。
工程检查
在同一标签定义与样本窗口下,对照单任务、Shared-Bottom、MMoE 和 CGC/PLE;逐任务观察预估指标、样本覆盖率、损失尺度与梯度冲突。记录门控分布、专家利用率、参数量和线上 P99 耗时,判断收益来自合理共享还是单纯扩容。
本书依据
《第十二章-精排模型.pdf》,PDF 第 30–40 页(12.4.2 多任务学习的模型架构,含 MMoE、CGC 与 PLE)。
扩展说明
专家数量增加不代表自动获得任务解耦;需要消融和分任务诊断证明。