LLM을 동물 지능처럼 다루지 않기
한 줄 정의
LLM을 동물 지능처럼 다루지 않기는 LLM을 의지와 본능을 가진 존재로 간주하지 말고 데이터, 보상, context에 의해 작동하는 시스템으로 다루라는 mental model이다.
핵심 요지
- LLM은 진화한 동물 지능이 아니라 프리트레이닝 통계와 RLHF 같은 보상 절차 위에 만들어진 시스템이다.
- “제발”, “정말 중요해”, “틀리지 마”처럼 감정적 압박을 주는 프롬프트는 안정적인 제어 수단이 아니다.
- 대신 context, 금지 규칙, 검증 명령, 권한 제한을 명시해야 한다.
상세
카파시 자료의 비유는 LLM을 동물처럼 상상하면 잘못된 직관을 적용하게 된다는 점을 강조한다. 모델에게 화내거나 부탁하는 방식보다, 모델이 어떤 회로와 훈련 분포를 갖고 있는지 경험적으로 탐색하고 작업 환경을 설계하는 편이 낫다.
보리스 자료의 Claude.md 운영 원칙도 같은 방향이다. 특히 “하지 말아야 할 것”을 명확히 적고 Claude Code 권한 설계로 위험 명령을 막는 것은 감정적 지시보다 재현 가능한 제어 수단이다. 단, 금지 규칙을 강하게 명시하는 방식은 Jagged Intelligence 때문에 실무적으로 중요할 수 있다.
예시
나쁜 방식은 “이번엔 정말 중요하니까 절대 틀리지 마”라고 쓰는 것이다. 좋은 방식은 “프로덕션 DB 명령은 실행하지 말고, 변경 후 pytest와 ruff check를 실행한 뒤 실패 내용을 보고하라”처럼 행동과 검증을 구체화하는 것이다.
충돌
현재 확인된 충돌 없음.