SimSiam 停止梯度

定义

仅靠两个视图的正对也可训练表示，但预测头与停止梯度是避免退化的重要机制。

核心判断

仅靠两个视图的正对也可训练表示，但预测头与停止梯度是避免退化的重要机制；不能直接删除负样本并沿用原损失。

工程检查

检查表示方差与塌缩，消融预测头、停止梯度和增广强度。

本书依据

《第二十章-用户兴趣与序列建模.pdf》，PDF 第 8–9 页（20.1.4 节）。

扩展说明

不能直接删除负样本并沿用原损失。