한 줄 정의
에이전트(Agent)가 환경(Environment) 내에서 시행착오를 통해 누적 보상(Cumulative Reward)을 최대화하는 최적 정책(Policy)을 학습하는 머신러닝의 핵심 3대 패러다임.
핵심 요지
- 5대 핵심 요소 및 MDP 수학적 틀: 에이전트, 환경, 상태(sₜ), 행동(aₜ), 보상(rₜ)의 순환 루프와 할인율 γ(0.95 ~ 0.999 사용)을 적용한 마르코프 결정 과정(MDP: S, A, P, R, γ)으로 정의됩니다.
- 가치(Value) vs 정책(Policy) 축: 상태/행동 가치함수(V, Q)를 학습하는 Value-Based(Q-Learning, DQN) 방식과 정책 신경망을 직접 업데이트하는 Policy-Based(REINFORCE, PPO) 및 Actor-Critic 구조.
- 안정적 정책 최적화(PPO): TRPO의 KL 발산 계산 연산량을 개선하여 1차 미분 기반 Clipped Surrogate Objective(ε=0.2 범위 클리핑)로 급격한 정책 파탄을 방지하는 알고리즘.
- LLM 정렬로의 진화 (RLHF, DPO, GRPO): 인간 피드백 기반 RLHF에서 출발하여 Reward Model을 제거한 DPO(2023) 및 Critic 없이 그룹 내 상대 보상으로 추론 능력을 극대화한 DeepSeek-R1의 GRPO(2024)로 발전.
상세
지도학습과 달리 RL은 명시적인 정답 레이블 없이 “잘했는가/못했는가”에 해당하는 희소 보상 피드백만을 탐험(Exploration)과 활용(Exploitation)의 균형 하에서 익힙니다.
벨만 재귀 방정식 Vπ(s) = E[ R(s,a) + γ·Vπ(s') ]을 동적 프로그래밍으로 푸는 구조에서 출발해, 딥러닝과 결합한 DQN(Experience Replay 및 Target Network 도입)으로 확장되었습니다.
LLM 정렬(Alignment)에서는 SFT 이후 PPO를 사용하는 전통적 RLHF의 구현 복잡성을 보완하기 위해, 선호 데이터쌍만으로 손실함수를 구성하는 DPO와 동일 프롬프트 답변 그룹의 평균을 기준으로 Advantage Aᵢ = rᵢ - mean(r)를 산출해 Critic 연산량을 보완한 GRPO가 널리 쓰입니다.
예시
- Atari & Dota 2 게임 플레이: DQN을 활용한 파셀 및 PPO 기반 OpenAI Five의 고차원 멀티에이전트 제어.
- DeepSeek-R1 추론 학습: 정답 검증이 자동 수립되는 수학·코딩 문제 영역에서 GRPO 알고리즘을 적용하여 모델의 스스로 생각하는 사고 체인(Chain-of-Thought) 자가 학습 유도.
충돌
- Reward Hacking 및 보상 설계 마찰: 보상 함수를 정교하게 정의하지 않으면 에이전트가 편법으로 점수만 획득하고 개발자가 의도하지 않은 이상 행동을 익히게 됩니다.
- Exploration과 Exploitation 간 선택 모순: 현재 보상이 가장 높은 행동에만 안주(Exploitation)하면 글로벌 최적해에 다다르지 못하고, 탐험(Exploration)에만 치중하면 학습 수렴 속도가 파탄 납니다.