주장
잔차 연결(Residual Connection)은 신경망의 깊이가 깊어지더라도 그래디언트(Gradient, 기울기)가 차단되지 않고 흐를 수 있는 지름길을 제공하며, 각 서브 레이어가 불필요한 연산을 하지 않고 입력을 그대로 통과시킬 수 있는 학습 선택권을 모델에 부여한다.
핵심 요지
- 그래디언트 고속도로: 잔차 연결은 역전파(Backpropagation) 시 기울기가 소실되거나 폭주하지 않고 입력단까지 직접 전달될 수 있는 경로를 제공하여 신경망의 안정적인 깊이(Depth) 확장을 가능하게 한다 (근거).
- 정보 보존 및 선택권: 특정 레이어가 유용한 정보를 추가하지 못할 때 해당 변환 출력 를 0에 가깝게 학습함으로써, 입력 벡터 를 변형 없이 그대로 다음 레이어로 통과시킬 수 있는 자유를 제공한다 (근거).
- 수식적 단순성: 잔차 경로는 로 표현되며, 연산의 단순함에도 불구하고 아키텍처의 안정성과 학습 속도 개선에 결정적으로 기여한다 (근거).
- 반례: 극도로 얇은 네트워크이거나 레이어 간 차원 크기가 달라 추가적인 프로젝션 연산(Projection)이 필요할 경우, 순수 잔차 경로의 이점이 감소하거나 무우회(Identity mapping)가 불가능해질 수 있다 (반례).
- 확인 날짜: 2026-07-24
상세
트랜스포머(Transformer) 아키텍처 다이어그램을 보면, 멀티 헤드 어텐션(Multi-head attention)이나 피드포워드 신경망(FFN, Feed-Forward Network) 블록을 건너뛰고 곧바로 레이어 정규화(LayerNorm)의 입력으로 이어지는 지름길 화살표가 존재한다. 이를 잔차 연결(Residual Connection) 또는 **잔차 경로(Residual Path)**라 부른다.
수식적으로는 다음과 같이 매우 단순하게 정의된다:
- : 서브 레이어(어텐션 또는 피드포워드)의 입력값 (예: 단어 임베딩과 위치 인코딩의 합)
- : 해당 서브 레이어의 연산 결과 (예: 셀프 어텐션 블록의 문맥적 업데이트 정보)
이 구조가 주는 두 가지 핵심 효과는 다음과 같다:
- 그래디언트 흐름 유지: 딥러닝 모델의 깊이가 깊어질 때 가장 빈번하게 발생하는 기울기 소실(Vanishing Gradient) 문제를 근본적으로 해결한다. 지름길 경로가 존재하므로 레이어 수가 수십 개에서 백여 개 이상으로 늘어나도 그래디언트가 손실되지 않고 네트워크 하부까지 안정적으로 흐를 수 있다.
- 학습 선택권(Bypass) 부여: 모든 레이어가 강제적으로 정보를 변형해야 하는 것은 아니다. 학습 초기나 특정 레이어에서 추가할 유용한 정보가 없을 때, 모델은 를 거의 0으로 수렴하게 만듦으로써 입력을 수정 없이 그대로 통과시킬 수 있다. 즉, 신경망 스스로 언제 정보 변환을 수행하고 언제 비켜서야 할지를 스스로 학습한다.
예시
- 구체적 토큰 연산 시나리오: “dog” 토큰의 임베딩과 위치 인코딩 합을 라 하고, 셀프 어텐션 레이어가 ‘dog’에 ‘sat’과 ‘couch’의 의미적 맥락 힌트를 추가하는 미세 정보를 라 할 때, 잔차 경로를 통한 최종 출력 는 기존의 단어 임베딩이 완전히 뭉개지지 않고 문맥만 소폭 업데이트된 최적의 형태를 보존한다.
- 불필요한 레이어 무시: 학습이 완료된 96레이어 트랜스포머 모델에서, 중간의 45번째 어텐션 레이어 연산 값 의 노름(Norm)이 0에 매우 가깝게 수렴하여 사실상 이전 레이어의 출력을 그대로 통과시킴으로써, 불필요한 레이어 연산 왜곡을 스스로 방지한다.
충돌
- 차원 불일치에 따른 변형 연산 vs 순수 잔차 경로:
- 서브 레이어의 입력 와 출력 의 차원이 다를 경우, 단순 덧셈()이 불가능하다. 이 경우 차원을 맞추기 위한 선형 프로젝션(Linear Projection, )을 추가해야 하며, 이는 순수 잔차 경로의 무손실 그래디언트 전파 특성을 일부 왜곡할 우려가 있다. 트랜스포머 아키텍처에서는 모든 은닉 상태(Hidden State) 차원을 로 통일하여 이 차원 불일치 문제를 완벽하게 회피한다.