잔차 연결

지정해주신 소스 문서 2종(raw/Andrej Karpathy Just Built an Entire GPT in 243 Lines of Python.md, raw/Understanding Transformers (Part 5). The final layers doing some heavy lifting.md)과 요구사항에 따라 **‘잔차 연결’**에 대한 위키 노트를 보강 및 확정하여 저장했습니다.

작업 요약

1. 위키 파일 생성/갱신:
   • 파일 경로: /Users/railscraft/.gemini/antigravity-cli/scratch/llm-wiki/wiki/잔차 연결.md
   • 스키마 요건(type, status, core, tags, aliases, sources, created, updated) 준수
2. 내용 보강 및 출처 표기:
   • 기존 내용의 뼈대와 한 줄 정의, 수식을 모두 유지하면서 새로운 소스 문서의 구체적 지표(GPT-4의 96개 레이어, 6개/60개 레이어 극복 사례, 512차원/2048차원 FFN 변환 기하학적 제약, 4,000개 파라미터 미니 모델 예시 등)를 추가하였습니다.
   • 본문 내 수치 및 기술적 근거가 제시된 지점에 해당 출처 소스 파일 경로 (raw/...)를 명확히 인용 명시했습니다.
3. 상호 연동 및 코드 예시:
   • 트랜스포머 아키텍처, 고차원 표현 공간, microGPT, 역전파(backpropagation), 자동 미분 엔진, 레이어 정규화(Layer Normalization) 등 위키 링크 연동을 확보했습니다.
   • Karpathy의 microGPT 파이썬 1줄 코드 구현체 예시와 트랜스포머 인코더 “dog” 토큰 벡터 처리 단계를 명확히 서술했습니다.