AI 기반중급
RNN / LSTM
Recurrent Neural Network · 순환 신경망 · Long Short-Term Memory
RNN은 이전 시점의 출력이 다음 시점의 입력에 영향을 주는 "메모리가 있는" 신경망이고, LSTM은 RNN의 장기 기억 문제를 게이트 메커니즘으로 해결한 개선형이다. 2017년 트랜스포머 등장 전까지 시퀀스 처리의 표준이었다.
- •RNN은 긴 시퀀스에서 기울기 소실 문제가 있어 100단어 전 정보를 기억하기 어렵다.
- •LSTM(1997, Hochreiter & Schmidhuber)은 망각·입력·출력 게이트로 장기 기억을 관리하여 RNN의 한계를 극복했다.
- •트랜스포머가 셀프어텐션으로 장거리 의존성을 근본적으로 해결하면서 거의 완전히 대체되었다. 일부 시계열·실시간 스트리밍에서만 사용된다.