How Deep Learning Computes

Model Distillation

이 경로는 모델 증류를 “모델 크기 줄이기”가 아니라 능력 전달 방식으로 이해하기 위한 path다.

큰 모델은 많은 compute를 써서 유용한 행동을 발견한다. 증류는 그 행동을 더 작고 싸고 배포하기 쉬운 모델로 옮긴다. 그래서 이 path의 중심 질문은 다음이다.

teacher가 발견한 능력을
student가 어떤 데이터와 loss로 물려받는가?

작성 예정 카드는 다음 순서로 둔다.

1. Model Distillation 큰 그림
2. Teacher-Student와 Dark Knowledge
3. Hard Distillation vs Soft Distillation
4. Temperature와 KL Distillation Loss
5. LLM Sequence Distillation
6. Reasoning Distillation
7. DeepSeek-R1 Distillation Case
8. Offline vs On-Policy Distillation
9. On-Policy Distillation Loop
10. Distillation Failure Modes
11. Distillation Evaluation and Recipe

카드는 한 번에 하나씩 추가한다. 각 카드는 최소 하나의 위젯을 포함하고, 로컬 reference-books/와 웹 원천 자료를 함께 확인해 작성한다.

  1. Model Distillation 큰 그림 — 모델 증류를 weight 압축이 아니라 teacher의 유용한 행동을 student로 옮기는 capability transfer로 이해한다.
  2. Teacher-Student와 Dark Knowledge — hard label이 지워버리는 오답 사이의 관계를 teacher soft target이 어떻게 student에게 전달하는지 이해한다.
  3. Hard Distillation vs Soft Distillation — teacher가 생성한 token을 따라 배우는 hard distillation과 teacher의 확률분포를 맞추는 soft distillation의 차이를 구분한다.
  4. Temperature와 KL Distillation Loss — soft distillation에서 temperature가 teacher 분포를 어떻게 부드럽게 만들고, KL loss가 student를 무엇에 맞추는지 이해한다.
  5. LLM Sequence Distillation — teacher의 full logits를 맞추는 고전 KD가 LLM에서는 teacher-generated sequence를 학습하는 offline distillation로 어떻게 확장되는지 이해한다.
  6. Reasoning Distillation — reasoning distillation이 final answer만이 아니라 teacher의 풀이 절차와 검증 습관을 target sequence로 옮기는 방식임을 이해한다.
  7. DeepSeek-R1 Distillation Case — DeepSeek-R1-Distill 사례를 통해 offline reasoning distillation이 데이터 생성, 필터링, student 선택, 한계까지 하나의 pipeline으로 작동하는 방식을 이해한다.
  8. Offline vs On-Policy Distillation — offline distillation과 on-policy distillation을 rollout source, supervised state, KL 방향, 비용 구조로 구분한다.
  9. On-Policy Distillation Loop — on-policy distillation을 student rollout, teacher scoring, dense token feedback, policy update의 반복 루프로 이해한다.
  10. Distillation Failure Modes — 모델 증류가 실패하는 주요 원인을 student capacity, superficial imitation, teacher error transfer, exposure bias, data lineage 관점에서 진단한다.
  11. Distillation Evaluation and Recipe — 모델 증류를 데이터 품질, 학습 신호, task success, robustness, 배포 비용까지 검증하는 end-to-end recipe로 정리한다.