1. 研究背景DeepSeek-R1里面有个核心的环节是蒸馏，也就是把大模型的知识蒸馏到小模型里面。知识蒸馏是一种有效的模型压缩技术，能够在保持较高性能的同时，显著减少模型的复杂度和计算需求。但是网上现在关于蒸馏的文章太杂，而且很多观点来源不明确，所以本文以知识蒸馏综述这篇论文为基础，摘取出知识蒸馏的方案，并且把最新的知识蒸馏技术、以及DeepSeek-R1的知识蒸馏做了介绍。本文全面回顾了知识蒸馏的相关研究，从知识类…