임베딩(Embedding)

한 줄 정의

자연어 단어나 문장을 인공지능 모델이 연산할 수 있도록 고차원의 실수 벡터 공간(고차원 표현 공간)상의 좌표로 변환하는 기술.

핵심 요지

• 의미적 유사성: 의미가 유사한 단어들은 벡터 공간 상에서 서로 가까운 거리에 위치하게 된다.
• 트랜스포머 응용: 입력 토큰의 의미를 벡터로 표현하는 단어 임베딩(임베딩(Embedding)) 단계가 트랜스포머 모델 작동의 첫 입구다.

관련 노트

• 고차원 표현 공간
• 임베딩(Embedding)
• 트랜스포머 아키텍처