AI产业链地图

模型蒸馏

模型蒸馏指用大模型(教师)指导小模型(学生)训练,以更低成本获得接近的能力。存在两种形态:① 仅使用教师模型的高质量输出作为训练数据(成本低、无需授权);② 同时获取教师模型的训练过程(效果更好,但需向教师方付费授权)