AI 기반중급
역전파
Backpropagation · 오차 역전파법
역전파란 신경망 출력의 오차를 네트워크 역방향으로 전파하여 각 가중치의 기여도를 계산하고 조정하는 학습 알고리즘이다. 1986년 루멜하트, 힌튼, 윌리엄스가 정립한 이래 모든 딥러닝 학습의 기본 메커니즘이다.
- •순전파(입력→출력) → 손실 계산(출력 vs 정답) → 역전파(기울기 계산) → 가중치 업데이트 4단계를 수만~수백만 번 반복한다.
- •Adam(모멘텀 + 적응적 학습률)이 가장 널리 사용되는 최적화 알고리즘이며, LLM 표준은 AdamW(가중치 감쇠 추가)다.
- •학습률이 너무 크면 최적점을 지나쳐 발산하고, 너무 작으면 지역 최솟값에 갇힌다. 워밍업 후 코사인 감소 등 학습률 스케줄링이 필수다.