장단기 메모리(LSTM, Long Short-Term Memory)

한 줄 정의

순환 신경망(RNN)의 기울기 소실(Vanishing Gradient) 문제를 극복하기 위해, 장기 기억을 보존하는 셀 상태(Cell State)와 단기 기억을 다루는 은닉 상태(Hidden State)를 이중 경로로 관리하고 3개의 게이트 제어 장치를 도입한 순차형 인공 신경망 모델.

핵심 요지

• 이중 경로 아키텍처: 전체 시퀀스를 관통하며 선형 연산으로만 누적 갱신되는 장기 기억 경로인 **셀 상태($c_t$)**와, 매 시점 직전의 단기 판단과 예측에 관여하는 **은닉 상태($h_t$)**를 별도 분리하여 운영한다.
• 삼중 제어 게이트: 망각(Forget), 입력(Input), 출력(Output) 게이트로 구성된 제어문을 통해 장기 기억 보관함에 새 정보를 얼마나 보충하고, 지우고, 외부로 공개할지 완만하게 조절한다 (근거).
• 기울기 소실 문제 완화: 셀 상태의 갱신이 복잡한 행렬 곱이 아닌 단순 선형 결합(덧셈과 요소별 곱셈)으로 구성되어 역전파 시 그래디언트가 손실되지 않고 하부 레이어로 원활히 흐를 수 있게 돕는다 (근거).
• 병렬화 불가능 및 병목: 매 시점($t$)의 연산이 이전 시점($t-1$)의 결과물에 완전히 종속되므로 계산을 순차적으로 처리해야 하며, 이로 인해 대규모 그래픽 처리 장치(GPU) 환경에서도 병렬 가속이 불가능해 학습 속도가 매우 느리다는 한계를 갖는다 (반례).

상세

RNN의 한계와 LSTM의 탄생 배경

전통적인 RNN은 은닉 상태($h_t$)라는 단일 통로에 과거의 모든 정보를 욱여넣고 매 시점 가중치 행렬을 반복 곱해 나갔다. 이로 인해 시퀀스가 조금만 길어져도 역전파 시 기울기가 기하급수적으로 감쇄(소실)하여 몇 단계 전의 정보조차 완전히 잊어버리는 치명적인 문제를 겪었다. LSTM은 장기 정보가 훼손 없이 흐를 수 있는 전용 철로(셀 상태)를 구축하여 이 문제를 상당 부분 해소하였다.

3대 제어 게이트 메커니즘

매 시점 $t$의 입력 데이터 $x_t$와 이전 은닉 상태 $h_{t-1}$를 받아 총 세 가지의 관문을 거친다.

1. 망각 게이트 (Forget Gate)
   • 기존의 장기 기억 중에서 버릴 것과 유지할 비율을 결정한다.
   • 시그모이드 활성화 함수를 통과하여 0(완전 삭제)과 1(전체 보존) 사이의 값 $f_t$를 출력해 이전 셀 상태 $c_{t-1}$에 곱한다.
   • $f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$
2. 입력 게이트 (Input Gate)
   • 새로운 시점에 유입된 정보 중 장기 기억에 축적할 정보의 비중을 결정한다.
   • 시그모이드 게이트 $i_t$와, 탄젠트 하이퍼볼릭($\tanh$)으로 가공된 새로운 후보 기억 조각 ${\tilde{c}}_t$를 곱해 셀 상태에 덧셈으로 누적한다.
   • $i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$
   • ${\tilde{c}}_t=\tanh (W_c\cdot [h_{t-1},x_t]+b_c)$
   • 셀 상태 업데이트 공식: $c_t=f_t\ast c_{t-1}+i_t\ast {\tilde{c}}_t$
3. 출력 게이트 (Output Gate)
   • 업데이트 완료된 장기 기억 $c_t$에서 당장의 예측(단기 기억 $h_t$)으로 내보낼 정보량을 필터링한다.
   • $o_t=\sigma (W_o\cdot [h_{t-1},x_t]+b_o)$
   • $h_t=o_t\ast \tanh (c_t)$

예시

• 실제 장기 기억 수치 시뮬레이션 예시
  • 동일 방향 정보 입력 시 (Case A): 이전 장기 기억 $c_{t-1}=2.0$ 이고, 새 입력 $x_t$의 정보 방향이 기존 기억과 부합할 때, 망각 게이트 결과 $f_t=0.9$, 입력 게이트 연산 결과 $i_t\ast {\tilde{c}}_t=0.7$ 이라면, 업데이트된 셀 상태는 $c_t=(0.9\times 2.0)+0.7=2.5$ 로 완만히 증가하며 지식을 보존한다.
  • 상반 정보 입력 시 (Case B): 새 입력 $x_t$가 기존 기억과 전면 배치될 경우, 탄젠트 하이퍼볼릭 후보값 ${\tilde{c}}_t$가 음수(예: $-0.8$)를 띄게 된다. 이때 $i_t=0.5$ 이면 새로운 셀 상태 $c_t=(0.9\times 2.0)+(0.5\times -0.8)=1.4$ 로 감소하여 기존의 신념을 수정 및 개조한다.

충돌

• 기울기 소실의 완전 해결 오해 vs 실질적 장기 의존성 한계
  • 오해: LSTM은 게이트 구조를 통해 모든 장기 의존성 문제를 완벽히 극복하므로 아무리 긴 문장도 무손실로 기억할 수 있다.
  • 사실: 순방향 계산 시 매 단계마다 게이트 비율이 소수점 곱셈(0.9 등)으로 적용되므로, 시퀀스가 수백 단계를 넘어서면 정보가 서서히 희석되는 현상을 완전히 피할 수 없다. 즉, RNN에 비해 장기 기억 보존 기간이 획기적으로 연장되었을 뿐 장기 의존성 한계는 본질적으로 잔존한다. 이 문제는 트랜스포머의 자가 어텐션 메커니즘을 통해 순환 구조 자체를 폐기함으로써 최종 해결되었다.

관련 노트

• 자가 어텐션(Self-Attention)
• 트랜스포머 아키텍처
• 잔차 연결은 그래디언트 흐름을 유지하고 학습 선택권을 부여한다