한 줄 정의
트랜스포머(Transformer)는 현대 초거대 언어 모델(LLM)을 구동하는 핵심 신경망 아키텍처로, 입력 데이터를 순차적으로 처리하는 대신 전체 맥락을 일시에 연산하는 병렬 처리 아키텍처다.
핵심 요지
- 병렬 처리(Parallel Processing): 기존 RNN 계열 모델과 달리 문장의 모든 토큰을 한 번에 처리하여 학습 속도와 추론 연산 효율을 비약적으로 상승시켰다.
- 장기 문맥 이해(Long-Range Understanding): 어텐션 필터를 기반으로 수만 단어 이상의 긴 컨텍스트 내에서도 소실 없이 정보 간 상관관계를 추적한다.
- 예측 공식의 단순화: 본질적으로 트랜스포머는 통계적 정합성에 기반해 ‘다음에 올 토큰을 확률적으로 예측하는 기계(Next-token prediction machine)‘에 해당한다.
상세
트랜스포머가 등장하기 전의 자연어 처리 모델(RNN, LSTM)은 텍스트를 왼쪽에서 오른쪽으로 한 단어씩 순차적으로 읽어나갔다. 이는 연산 속도를 지연시키는 병목이었으며, 문장이 길어질 경우 문장의 시작 부분에 존재하던 맥락정보를 소실하는 한계가 있었다.
트랜스포머는 문장의 모든 요소를 동시에 조망함으로써 이 한계를 극복했다. 인간이 책을 읽을 때 텍스트 전체를 훑으며 키워드를 즉각 파악하듯, 모델 내부에서 어텐션 연산을 수행하여 입력된 모든 토큰의 상관관계를 다대다(Many-to-Many)로 계산한다. 이 구조는 대규모 연산 인프라(GPU)에서 극도의 가속을 실현할 수 있어 대량의 코퍼스 학습을 가능케 했다.
예시
사용자가 "프랑스의 수도는"이라는 입력을 제공했을 때, 모델은 다음과 같은 단계를 밟아 답변을 예측한다:
- 토큰화: 문장을
"프랑스","의","수도","는"형태의 토큰 블록으로 쪼갠다. - 임베딩: 고차원 기하학 좌표 공간에 숫자로 치환하여 단어들의 관계적 거리를 매핑한다.
- 어텐션 계산: 문맥 내에서 각 단어들이 갖는 통계적 중요도를 연산한다.
- 다음 단어 예측: 최종적으로 가장 확률이 높은
"파리(Paris)"라는 단어를 도출하여 출력한다.