AI 기술중급
인컨텍스트 학습
In-Context Learning · ICL
인컨텍스트 학습은 모델의 파라미터를 변경(파인튜닝)하지 않고, 프롬프트에 포함된 예시와 지시만으로 모델의 행동을 제어하는 방식이다. Brown et al.(2020)이 GPT-3 논문에서 실증한 이후 AI 활용의 패러다임을 바꿨다.
- •Brown et al.(2020, NeurIPS): GPT-3에서 파인튜닝 없이 프롬프트만으로 모델 행동 제어 가능 실증
- •CoQA 벤치마크: 제로샷 81.5 → 원샷 84.0 → 퓨샷 85.0 F1 — 예시 수에 따라 성능 향상
- •2025년 연구: 최신 강력 모델에서 퓨샷 예시는 추론 향상보다 출력 형식 정렬에 더 기여
- •파인튜닝 대비 장점: 비용 제로, 즉시 적용, 유연한 변경. 단점: 모델 한계에 종속, 컨텍스트 윈도우 소비