한 줄 정의
입력 데이터의 순차적 처리를 버리고 셀프 어텐션(Self-Attention) 메커니즘을 통해 모든 토큰을 병렬로 처리하는 AI 모델 아키텍처.
핵심 요지
과거 RNN의 연산 병목 현상을 해결하기 위해 구글 브레인이 도입했으며, 현재 모든 주요 LLM(GPT, Claude, Gemini)의 기반이 되는 구조이다. 모든 단어를 동시에 대조하여 문맥을 파악한다.
상세
트랜스포머는 [raw/만약 단 5편의 AI 논문만 읽어야 한다면 바로 이것입니다.md#L32](file:///Users/railscraft/Obsidian/raw/만약 단 5편의 AI 논문만 읽어야 한다면 바로 이것입니다.md)에 나오듯 왼쪽에서 오른쪽으로 순차적으로 읽는 대신 입력 내의 모든 단어를 동시에 들여다본다. 이를 통해 병렬 학습이 가능해져 수천 대의 GPU에서 학습시킬 수 있게 되었다. 하지만 연산 비용이 텍스트 길이의 제곱에 비례하여 증가한다는 단점이 있다.
예시
문장에서 각 단어가 다른 단어와 어떻게 연결되는지 수학적으로 가중치를 매기는 작업.
충돌
긴 컨텍스트 창에서 중간에 묻혀 있는 정보를 놓치는 현상(Lost in the middle)이 발생할 수 있다.