AI 기반심화
지식 증류
Knowledge Distillation · 모델 증류
지식 증류란 큰 "교사" 모델의 출력을 작은 "학생" 모델이 모방하도록 훈련하는 기법이다. 학생은 정답(하드 라벨)이 아닌 교사의 출력 분포(소프트 라벨)를 배워, 더 풍부한 정보를 흡수한다.
- •DeepSeek-R1은 교사 모델에서 80만 개 추론 샘플을 생성해 작은 모델을 SFT만으로 학습시켰다. RL 없이도 강력한 추론 능력을 전이했다.
- •증류된 DeepSeek-R1-Distill-Qwen-32B가 OpenAI o1-mini를 AIME(79.7% vs 63.6%), MATH-500(94.3% vs 90.0%)에서 초과했다.
- •14B 모델로도 QwQ-32B-Preview(32B)를 초과하는 성능을 달성하여, 규모의 한계를 증류로 극복할 수 있음을 증명했다.