강화학습 기초
한 줄 정의
강화학습(Reinforcement Learning, RL)은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 시행착오로 학습하는 패러다임이다.
핵심 요지
- 정답이 없는 대신 “잘했는가/못했는가”라는 희소한 보상만 주어진다.
- MDP(Markov Decision Process)로 수학적으로 모델링된다.
- Policy(무엇을 할 것인가)와 Value Function(얼마나 좋은가) 두 축으로 접근한다.
- Exploration(새로운 행동 시도)과 Exploitation(已知의 최선 행동) 사이의 균형이 핵심 딜레마다.
상세
RL의 5가지 기둥은 에이전트(Agent), 환경(Environment), 상태(State), 행동(Action), 보상(Reward)이다. 에이전트는 현재 상태를 관찰하고 행동을 선택하면, 환경은 다음 상태와 보상을 반환한다. 이 루프를 반복하며 Policy π(a|s)를 개선한다.
MDP는 (S, A, P, R, γ)로 정의된다. γ(할인율)는 미래 보상의 현재 가치를 조절하며, 0.95~0.999 범위를 주로 사용한다. 마르코프 성질은 “미래는 오직 현재 상태에만 의존한다”는 가정이다.
가치 함수는 상태 가치 Vπ(s)와 행동 가치 Qπ(s,a)로 나뉜다. 벨만 방정식은 이들의 재귀적 구조를 표현한다. ε-그리디는 확률 ε로 무작위 탐험하고, (1-ε)로 현재 최선 행동을 선택하는 간단한 전략이다.
예시
CartPole은 RL의 “Hello World”다. 막대가 넘어지지 않도록 카트를 좌우로 움직이는 단순한 환경에서 Q-Learning이나 DQN으로 학습한다.
충돌
현재 확인된 충돌 없음.