한 줄 정의
단어, 이미지, 개념 등 복잡한 실세계 데이터를 기계가 학습하여 1,536차원 이상의 벡터(Vector) 좌표로 조밀하게 정렬하고 표현해 둔 수치적 지도 공간.
핵심 요지
- 기하학적 지식 표현: 대규모 언어 모델(LLM)은 사실 정보를 기억 장치에 기록하지 않으며, 고차원 공간 상의 휘어진 다차원 다양체(Manifold) 상에 기하학적인 위치 구조(임베딩)로 지식을 간접 저장한다.
- 확률적 궤적 계산: 모델 추론은 DB 검색처럼 정보를 직접 조회하는 과정이 아니라, 입력 프롬프트가 형성한 유도 중력을 따라 통계적 궤적을 그리며 고차원 공간 속에서 그럴듯한 다음 토큰의 좌표에 도달하는 확률 엔진 동작이다.
- 소리 없는 오작동(Silent Failure)의 근원: 지식이 기하학으로 인코딩되므로, 좌표 간 각도가 지나치게 가깝거나 미세한 왜곡이 있을 경우 컴퓨터가 인지하지 못하는 논리적 오작동이 잠재적으로 발생할 수 있다.
상세
- 벡터화와 임베딩: 전통 소프트웨어는 데이터가 이산적(Discrete)이지만, AI 모델에서는 모든 개념이 1536차원(혹은 그 이상)의 실수 목록인 벡터로 임베딩된다. 의미론적 유사도(Semantic Similarity)가 높은 개념은 이 고차원 공간에서 기하학적으로 매우 가깝게 이웃해 위치하게 되며, 무관한 단어는 아득히 먼 영역에 자리잡는다.
- 환각(Hallucination)의 실체: 모델이 허구의 사실을 그럴듯하게 답하는 환각 현상은 고차원 표현 공간의 기하학적 매니폴드를 훑는 와중에 발생한다. 모델 입장에서는 통계적 확률에 부합해 안착한 좌표이지만, 현실 세계의 팩트와 정합하지 않는 ‘유령 좌표’에 도달한 수학적 결과일 뿐이다.
- 컨텍스트 창(Context Window)의 한계: 고정 가중치(Pre-trained Weights)로 이미 고밀도 결정화된 매니폴드 구조는, 추론(Inference) 시점에 단순히 프롬프트를 쏟아붓는다고 해서 물리 기하 구조를 근본적으로 바꿀 수 없다. 프롬프트의 중력은 임시적 유도장에 불과하다.
예시
- 의미 거리의 정량화 (코사인 유사도):
- 컨텍스트(Context): “API 호출 속도 제한은 분당 500회입니다.”
- 답변(Response): “60초마다 500번 호출할 수 있습니다.”
- 겉보기에는 문장 구성 어휘가 서로 완전히 다르나, 기하학적 임베딩 모델(예:
text-embedding-3-large)을 통해 고차원 표현 공간으로 변환하면 두 문장의 코사인 각도가 극히 좁아 높은 유사도 점수(예: 0.90)로 매핑되어 두 개념이 동일한 의미임을 정량 증명할 수 있다.
- 소리 없는 오작동 사례: 법률 문서 요약 에이전트가 “피고”와 “원고”라는 단어의 벡터 표현 좌표가 너무 인접해 있어 두 지칭을 바꾸어 인코딩함으로써, 구문상 오류 없이 정상 동작하지만 결과적으로 치명적 오류를 출력하는 현상.
충돌
- 전통적인 데이터 룩업(Deterministic Lookup) vs AI 벡터 공간(Vector Space):