Teacher-Student 范式
教师提供知识信号，学生拟合
本节你将能
用自己的话解释 Teacher–Student：谁冻结、谁训练、传什么信号。
直觉模型
教师开卷给「带温度的参考答案」；学生既要对真标签，也要对教师软分布。
核心要点
- 离线蒸馏：教师预训练后冻结，只训学生
- 知识形态：logits / 概率、中间特征、注意力图、关系图
- 容量差过大时，学生可能学不动——需温度、损失权重或阶段课程
常见误区
边训教师边训学生却不稳——先掌握经典离线流程。
动手
画一张数据流：输入 → 教师/学生 → 硬损失 + 软损失。
互动
测验：离线蒸馏时教师是否更新。
本节小结
下一节对比蒸馏与剪枝、量化。