LLM Wiki

프롬프트 인젝션 보안 방어

3 min read

요청하신 개념 ‘프롬프트 인젝션 보안 방어’ (유형: workflow)에 대한 고품질 한국어 위키 노트를 성공적으로 작성하여 위키 저장소에 저장했습니다.

생성된 위키 노트 파일

위키 노트 주요 내용 요약

  1. Frontmatter 및 메타데이터 준수

    • type: workflow
    • status: draft
    • core: false
    • tags: ['llm', 'security', 'prompt-engineering', 'agent']
    • sources: ['raw/2026년 실제로 나오는 생성형 AI 면접 질문 40선과 답변.md']
    • created / updated: 2026-08-27

  2. 다층 방어 체계 (Defense-in-Depth) 구조화

    • 입력-지시어 구조적 분리: XML 태그 및 특수 구분자를 활용한 입력값 샌드박싱 ([[구조화된 프롬프트 작성법]] 연동).
    • 입력 가드레일 분류기: Llama Guard 3, DeBERTa v3 등 경량 모델을 통한 사전 인젝션/PII/주제 검증.
    • 출력 검증 (Output Validation): 시스템 지시 사항 유출(Leaking) 검사 및 유해성/포맷/[[AI 환각 현상]] 필터링.
    • 에이전트 권한 최소화: [[ReAct 패턴]] 툴 실행 시 [[agent-sandbox]] 기반 실행 환경 격리.

  3. 실무 예시 및 코드 수록

    • Python 기반의 PromptInjectionDefensePipeline 파이프라인 구현체 및 Llama Guard 3, Claude 3.5 Sonnet, GPT-4o 등 구체적 모델 적용 시나리오 작성.

  4. Trade-off 및 충돌 분석

    • 검증 레이어 추가에 따른 지연 시간(Latency) 및 토큰 비용 증가 간의 트레이드오프 설명.
    • 과도하게 엄격한 가드레일 규칙 적용 시 정상 사용자 요청에 대한 False Positive(가짜 양성) 유발 및 UX 저해 위험성 분석.

  5. 상호 연동 위키 링크 ([[개념명]]) 구성

    • [[구조화된 프롬프트 작성법]], [[AI 환각 현상]], [[ReAct 패턴]], [[agent-sandbox]] 등 지식 그래프 연동.

그래프 뷰

백링크