야부스 안구 운동 추적

한 줄 정의

관찰자의 주체적 **의도(intention)**와 **주의(attention)**에 따라 정보 탐색 궤적이 동적으로 변화하며 필요한 정보를 선택적으로 획득하는 능동적 인지 탐색 워크플로우.

핵심 요지

• **알프레드 L. 야부스(Alfred L. Yarbus)**가 1950~1960년대에 제안한 안구 운동 추적 실험에 기반한다.
• 시각적 인지는 뇌가 카메라처럼 외부 환경 전체를 수동적으로 복제·재구성하는 과정이 아니라, 주체의 목적에 따라 상이한 궤적으로 필요한 부분만 탐색하는 능동적 행위이다.
• 현대 인공지능 분야에서는 LLM 에이전트의 동적 주의 제어(Dynamic Attention Control) 및 목적 기반 컨텍스트 처리(Goal-driven Context Processing) 워크플로우의 이론적 모델로 원용된다.

상세

러시아의 심리학자이자 생리학자인 알프레드 L. 야부스는 관찰자가 그림을 감상할 때 눈동자의 움직임을 추적하는 정교한 장치를 고안했다 (raw/What Makes Us Human.md). 그는 일리야 레핀의 회화 《아무도 기다리지 않았다(An Unexpected Visitor)》를 감상하는 실험에서, 관찰자에게 사전에 어떠한 임무를 주느냐(예: 등장인물의 옷차림 파악하기, 인물 간의 관계 유추하기 등)에 따라 안구의 이동 궤적이 완전히 달라진다는 사실을 증명했다 (raw/What Makes Us Human.md).

이 워크플로우는 인지과학 및 AI 시스템 설계 측면에서 다음과 같은 중요한 설계 원리를 제시한다:

1. 표상의 최소화와 직접 지각: 뇌는 전체 공간의 정보를 완벽하게 담은 고정밀의 내부 표현(Internal Representation)을 구축할 필요가 없다. 깁슨의 어포던스 이론 및 생성주의적 관점처럼, 외부 세계 그 자체가 가장 완벽한 정보 저장소이며 주체는 몸(안구)을 움직여 필요한 순간에 관련 데이터에 접근하면 된다 (raw/What Makes Us Human.md).
2. 동적 필터링: 목적 지향성(Goal-orientedness)에 의해 불필요한 노이즈 자극은 시각 경로에서 차단되고, 당장 의사결정에 필요한 유의미한 정보만 집중 처리된다 (raw/What Makes Us Human.md).
3. 자원 효율성: 이와 같은 선택적 주의 집중은 인간의 인지 체계가 극도로 적은 에너지(저전력)로 복잡한 세상을 헤쳐 나가는 원동력이 된다. 이는 모든 정보(컨텍스트)를 균일하게 입력받아 고차원 임베딩 공간에 표현하고 연산해야 하는 오늘날 인공지능 모델의 비효율성과 대비된다 (raw/What Makes Us Human.md).

예시

LLM 에이전트의 목적 지향형 동적 컨텍스트 스캐닝 워크플로우(Yarbus Scan Workflow) 야부스 안구 운동 추적 모델을 소프트웨어 아키텍처로 모방한 기법이다. 방대한 정보(Long Context)를 가진 문서 데이터에서, 사용자의 질문(의도)에 따라 LLM 에이전트(예: gemini-1.5-pro)가 어떤 지점에 시각적 주의를 집중할지 정의하고, 해당 영역에 맞춰 컨텍스트를 다단계로 쪼개어 부분적으로 탐색 및 필터링하여 가공하는 워크플로우이다.

from typing import List
import google.generativeai as genai
 
class YarbusAttentionScanner:
    """
    야부스의 안구 운동 추적 모델을 모방하여, 
    주어진 태스크(의도)에 맞게 컨텍스트를 동적으로 필터링 및 탐색하는 LLM 에이전트 워크플로우
    """
    def __init__(self, raw_document: str):
        self.raw_document = raw_document
        self.model = genai.GenerativeModel("gemini-1.5-pro")
 
    def _define_gaze_targets(self, task_instruction: str) -> List[str]:
        """
        1단계: 사용자 의도(Instruction)를 분석하여 문서에서 집중하여 찾아야 할 '시선 집중 대상(Gaze Targets)' 정의
        """
        prompt = f"""
        당신은 문서 분석을 위해 안구 운동(Attention)을 집중시킬 핵심 관심 지점을 정의하는 지휘관입니다.
        주어진 지시사항을 수행하기 위해, 문서에서 특히 집중적으로 탐색해야 하는 핵심 키워드나 관점 3가지를 생성하십시오.
        
        지시사항: {task_instruction}
        출력 형식: 키워드1, 키워드2, 키워드3
        """
        response = self.model.generate_content(prompt)
        # 콤마로 구분하여 리스트 생성
        return [target.strip() for target in response.text.split(",") if target.strip()]
 
    def _focus_scan_context(self, gaze_targets: List[str]) -> str:
        """
        2단계: 정의된 관심 지점(Gaze Targets)에 해당하는 영역만 문서에서 추출 (선택적 스캐닝)
        """
        targets_str = ", ".join(gaze_targets)
        prompt = f"""
        원본 문서에서 아래의 '주의 집중 항목'들과 직접적으로 연관된 핵심 문장이나 문단들만 수집하십시오.
        상관없는 배경 정보는 과감히 생략하여 시각적 노이즈를 제로로 만드십시오.
        
        주의 집중 항목: {targets_str}
        ---
        원본 문서:
        {self.raw_document}
        """
        response = self.model.generate_content(prompt)
        return response.text.strip()
 
    def run(self, task_instruction: str) -> str:
        # 의도에 따라 시선 집중 지점 파악 (야부스의 지시사항 부여에 대응)
        gaze_targets = self._define_gaze_targets(task_instruction)
        print(f"[System Log] Gaze focus targets established: {gaze_targets}")
        
        # 선택적 컨텍스트 스캔 (안구 운동에 의한 선택적 수용에 대응)
        scanned_context = self._focus_scan_context(gaze_targets)
        
        # 최종 의사결정 및 추론
        final_prompt = f"""
        수집된 선택적 컨텍스트를 활용하여 최종 질문에 대해 깊이 있게 답변하십시오.
        
        질문: {task_instruction}
        ---
        선택적 컨텍스트:
        {scanned_context}
        """
        result = self.model.generate_content(final_prompt)
        return result.text
 
# 사용 시나리오
document_sample = """
일리야 레핀의 회화 '아무도 기다리지 않았다'는 유배지에서 돌아온 혁명가와 가족들의 순간적 침묵을 다룬다.
이 그림에서 방 안의 피아노와 베토벤의 초상화 등은 이 가정이 교양 있는 인텔리겐치아 가문임을 보여준다.
학습용 태스크로 인물의 나이와 옷차림에 초점을 맞추면, 노모의 주름진 얼굴과 검은 상복, 
아내의 놀란 눈빛과 갈색 드레스, 어린 아들과 딸의 상반된 표정(반가움과 경계)을 확인할 수 있다.
또한, 당시 러시아 혁명 운동의 역사적 맥락과 1880년대의 차르 통치 하 억압적 분위기를 투영하고 있다.
"""
 
scanner = YarbusAttentionScanner(document_sample)
# 시나리오 A: 인물의 나이와 복식 상태에 주의를 두고 분석
output_a = scanner.run("그림에 나타난 인물들의 대략적인 연령대와 그들의 의복 양식을 추출해줘.")
print(output_a)

충돌

• 전체 표상 복제 가설 vs 선택적 시각 탐색 가설: 망막에 도달하는 시각 자극이 뇌 속에서 물리적으로 완벽하게 복제·보존된다고 보았던 고전적 인지 신경과학 이론과 달리, 야부스는 눈의 움직임(Saccade)을 통한 선택적 정보만이 뇌에 실시간 전달된다고 보았다. 즉, 머릿속의 완성된 표상(Representation) 없이 외부 세계 그 자체를 참조하는 감각 운동적 수반성 체계가 유효함을 입증함으로써 전통적인 인지주의 철학과 대립한다.

관련 노트

• 어포던스: 제임스 J. 깁슨의 생태학적 지각 이론으로, 환경이 행동 주체에게 제공하는 직접적인 행동 가능성을 의미한다. 머릿속의 복잡한 추론 과정(내부 표현)을 거치지 않고 환경에서 정보를 직접 지각한다는 점에서 야부스의 워크플로우와 철학적으로 연관된다.
• 생성주의: 인지를 고정된 세계의 모사가 아닌, 인식 주체가 세계와 맺는 끊임없는 감각-운동적 상호작용으로 파악하는 패러다임이다. 야부스의 실험은 시각이 눈의 능동적인 움직임(행동)을 수반하는 생성적 프로세스임을 뒷받침하는 강력한 인지과학적 물증이다.
• 감각 운동적 수반성: “보는 것은 뇌 안의 이미지가 아니라 유기체가 세상과 주고받는 피드백의 법칙을 다루는 행동의 한 방식”이라는 오리건과 노에의 인지 이론이다. 야부스의 워크플로우가 제시하는 핵심 메커니즘을 이론적으로 일반화한 모델이다.