一句话说清楚
蒸馏是模型压缩技术:用大模型(教师)生成高质量回答,再用这些数据微调小模型(学生)。学生模型学到的不只是「正确答案」,还有教师的推理风格和分布。对固定场景(如客服分类、格式转换),蒸馏后的小模型能以 1/10 的推理成本达到教师模型 90% 以上的效果。
这对你选工具意味着什么
任务固定且量大时值得蒸馏:先跑三个月大模型收集真实问答对,再用这些数据微调小模型上线。任务多变或冷启动阶段直接用大模型,别过早优化。
常见误区
蒸馏数据覆盖不了长尾场景——教师模型答得好的 80% 场景学生学得会,剩下 20% 会崩得比直接用小模型更难排查。