한 줄 정의
음성, 시각, 촉각, 맥락 센서 등 다양한 인간 입출력 모드를 상황에 따라 자연스럽게 넘나들며 통합 제공하는 인터페이스 설계 패러다임.
핵심 요지
- 단일 모드 한계 극복: 특정 순간 하나의 화면 앞 클릭 입력만을 가정하던 기존 UX에서 벗어나 음성, 제스처, 시선, 햅틱 등 상황 맞춤형 멀티모드 상호작용으로 확장.
- 모드 간 매끄러운 전환(Switching): 멀티모달의 본질은 단순히 기능을 추가하는 것이 아니라 사용자의 위치, 동작, 환경 맥락에 맞춰 모드 사이를 끊김 없이 전환하는 데 있음.
- 대체 수단(Fallback) 필수성: 시끄러운 환경에서의 음성 실패, 손이 자유롭지 못한 상황에서의 화면 터치 불가 등에 대비해 상호 보완 구조 구축.
상세
- 입출력 구성 요소:
- 음성 (Voice): 음성 명령, 어조, 발화 의도
- 시각 (Vision): 제스처, 시선(Gaze), 카메라 입력
- 촉각 및 햅틱 (Touch & Haptics): 진동, 누르는 힘
- 맥락 및 센서 (Context & Sensors): 위치, 움직임, 주변 환경
- 화면 (Screens): 여전히 유효하지만 유일한 제어 수단이 아닌 보완 요소
- 디자인 인터페이스의 지향점 변화:
- 시각 우선(Visual-first) 경험 우선(Experience-first)
- 화면(Screens) 시스템(Systems)
- 기술 통제(Control of technology) 인간과 기계의 협업(Collaboration)
예시
- Google Maps:
- 경로 계획 시: 시각적 라우팅 UI 제공
- 주행 중: 음성 안내 활성화
- 방향 전환 시: 스마트워치 햅틱 진동 알림
- 사용자 질의 전: 다음 경로 선제적 제시
충돌
- 복잡도 증가와 피로감: 모든 모드를 동시에 사용할 수 있게 만들 경우 사용자의 인지 과부하를 초래할 수 있음. 특정 상황에 최적화된 최소한의 모드 선택이 중요함.