核心概念 第 20 章

BST 行为自注意力

bst-self-attention

定义

BST用行为间自注意力构造上下文化序列表示,和目标对历史的单向权重不同。

核心判断

BST用行为间自注意力构造上下文化序列表示,和目标对历史的单向权重不同;长序列的两两交互成本需单独计量。

工程检查

核对序列掩码、位置编码、最大长度和截断策略,按长度测显存及尾延迟。

本书依据

《第二十章-用户兴趣与序列建模.pdf》,PDF 第 19–21 页(20.2.4 节)。

扩展说明

长序列的两两交互成本需单独计量。