跳到主要内容

AI 百科词条

模型蒸馏(Model Distillation)是什么?

让小模型学习大模型的输出,用十分之一的成本得到接近的能力。

一句话说清楚

蒸馏是模型压缩技术:用大模型(教师)生成高质量回答,再用这些数据微调小模型(学生)。学生模型学到的不只是「正确答案」,还有教师的推理风格和分布。对固定场景(如客服分类、格式转换),蒸馏后的小模型能以 1/10 的推理成本达到教师模型 90% 以上的效果。

这对你选工具意味着什么

任务固定且量大时值得蒸馏:先跑三个月大模型收集真实问答对,再用这些数据微调小模型上线。任务多变或冷启动阶段直接用大模型,别过早优化。

常见误区

蒸馏数据覆盖不了长尾场景——教师模型答得好的 80% 场景学生学得会,剩下 20% 会崩得比直接用小模型更难排查。

和「模型蒸馏」最相关的工具按真实人气排序

用这些工具解决真实场景