주장
레이어 정규화(Layer Normalization, LayerNorm)는 미니배치(Mini-batch) 전체의 데이터 통계량에 의존하는 배치 정규화(Batch Normalization, BatchNorm)와 달리, 각 토큰(Token) 벡터 내의 피처(Feature)들을 독립적으로 정규화한다.
핵심 요지
- 토큰 단위 독립 정규화: 각 토큰 벡터의 평균을 0, 표준편차를 1로 맞춘 후, 학습 가능한 파라미터(가중치 및 시프트)를 통해 스케일링을 재조정한다.
- 배치 크기 독립성: 미니배치 크기나 문장 길이에 구애받지 않고 단일 토큰 단위로 통계량을 계산하므로, 실시간 추론 시 배치 크기가 1이 되어도 성능이 저하되지 않는다.
- 배치 정규화(BatchNorm)와의 차이: BatchNorm은 배치 전체 차원을 기준으로 평균과 분산을 계산하기 때문에 배치 크기 의존적이며 가변 길이 시퀀스 모델에 부적합하다.
- 근거: 트랜스포머(Transformer) 모델의 안정적인 심층 레이어 학습과 그래디언트(Gradient, 기울기) 흐름 유지를 돕는다.
- 확인 날짜: 2026-07-24
상세
레이어 정규화는 다음의 메커니즘을 따른다.
- 정규화(Normalization) 단계: 각 토큰 벡터 의 차원을 라고 할 때, 해당 벡터 요소들의 평균 와 분산 을 다음과 같이 구한다. 이후 각 성분을 정규화한다.
- 재조정(Scaling & Shift) 단계: 학습 파라미터인 감마()와 베타()를 곱하고 더해 모델이 유연하게 표현력을 학습할 수 있도록 한다.
멀티 헤드 어텐션(Multi-head attention)이나 피드포워드 신경망(Feed-forward network)의 출력 벡터들은 그 값의 범위가 매우 불안정하고 폭주(Explode)하거나 소실(Vanish)할 가능성이 있다. 레이어 정규화는 이 벡터들을 안정적으로 정돈해주는 ‘정리 담당팀’ 역할을 하며, 다음 서브레이어로 전달되기 전의 값 분포를 고르게 만들어 준다.
BatchNorm은 텍스트의 가변적인 시퀀스 길이나 학습/추론 환경의 배치 크기 차이로 인해 평균과 표준편차의 편차가 심하여 트랜스포머 모델에 사용하기 적절하지 않다. 반면 LayerNorm은 시퀀스의 각 토큰이 독립적으로 정규화되므로 이러한 한계에서 자유롭다.
예시
문장 “The dog sat .”이 주어졌을 때, 단어 임베딩과 멀티 헤드 어텐션 레이어를 거쳐 나온 4차원의 토큰 벡터가 다음과 같다고 가정하자.
the→ [ 3.2, -1.8, 0.5, 2.1 ]dog→ [ -4.4, 5.0, 1.2, 0.2 ]sat→ [ 6.3, 6.1, 6.0, 5.8 ].→ [ -0.1, 0.0, -0.2, 0.1 ]
이 중 the 토큰 벡터의 평균은 1이고 표준편차는 약 1.9이다. 레이어 정규화를 각 토큰별로 독립적으로 수행한 결과는 다음과 같다.
the(정규화 결과) → [ 1.16, -1.47, -0.26, 0.58 ]
이와 같이 들쭉날쑥하던 원래 값이 약 -1.5에서 1.5 사이의 안정적인 수치로 조정되며, dog, sat, . 토큰 또한 서로 독립적으로 이 과정을 거쳐 정규화된다.