강화학습(RL) 핵심 개념 (상세 버전)

1. MDP: 강화학습의 수학적 뼈대

강화학습은 마르코프 의사결정 과정(Markov Decision Process, MDP)이라는 수학적 틀 안에서 문제를 정의하고 해결책을 찾습니다. MDP는 에이전트와 환경의 상호작용을 모델링하며, 다음과 같은 요소로 구성됩니다.

상태 ($S$)

에이전트가 관찰하는 현재 상황

행동 ($A$)

상태 $S$에서 할 수 있는 선택지

보상 ($R$)

행동에 대한 환경의 즉각적인 피드백

정책 ($\pi$)

상태에 따른 행동 지침 (전략)

2. 가치 함수와 벨만 방정식: 최적의 길 찾기

"현재 상태가 미래에 얼마나 좋은가?"를 알려주는 가치 함수는 최적의 정책을 찾는 핵심 열쇠입니다. 벨만 방정식은 현재 상태의 가치와 다음 상태의 가치 사이의 관계를 정의하여, 이 문제를 풀 수 있는 실마리를 제공합니다.

가치 함수 (Value Functions)

상태 가치 함수 $V^\pi(s)$: 현재 상태 $s$에서 시작하여 정책 $\pi$를 따랐을 때 기대되는 미래 보상의 총합.

$V^\pi(s) = \mathbb{E}_\pi [G_t | S_t = s] \quad \text{where } G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$

행동 가치 함수 $Q^\pi(s,a)$: 상태 $s$에서 행동 $a$를 한 후, 정책 $\pi$를 따랐을 때의 기대 보상 총합.

$Q^\pi(s,a) = \mathbb{E}_\pi [G_t | S_t = s, A_t = a]$

벨만 최적 방정식 (Bellman Optimality Eq.)

모든 정책 중에서 가장 높은 가치를 주는 최적 가치 함수 $V^*$와 $Q^*$는 이 방정식을 만족합니다. 이 방정식을 푸는 것이 RL의 목표입니다.

$Q^*(s,a) = \mathbb{E}[R_{t+1} + \gamma \max_{a'} Q^*(S_{t+1}, a') | S_t=s, A_t=a]$

3. 모델-프리(Model-Free) 학습: 경험으로 배우기

환경의 모든 규칙(모델)을 알지 못할 때, 에이전트는 직접 부딪히며 얻은 경험(샘플)을 통해 학습해야 합니다.

몬테카를로 (MC) 학습

하나의 에피소드가 끝날 때까지 기다린 후, 실제로 얻은 보상의 총합($G_t$)으로 가치를 업데이트합니다. 분산이 크지만 편향이 없는 특징이 있습니다.

$V(S_t) \leftarrow V(S_t) + \alpha(G_t - V(S_t))$

시간차 (TD) 학습

한 스텝마다 다음 상태의 추정 가치를 이용해 현재 가치를 업데이트(부트스트래핑)합니다. MC보다 효율적이며, SARSA와 Q-Learning이 대표적입니다.

$Q(S,A) \leftarrow Q(S,A) + \alpha[R + \gamma Q(S',A') - Q(S,A)]$

4. 딥 강화학습(DRL): 신경망과의 만남

바둑판의 모든 경우의 수나 게임 화면의 모든 픽셀처럼 상태 공간이 거대할 때, 심층 신경망(DNN)을 이용해 가치 함수나 정책을 근사합니다. DQN은 DRL의 혁신적인 시작을 알렸습니다.

DQN (Deep Q-Network)의 핵심 혁신

경험 리플레이 (Experience Replay)

경험 $(s, a, r, s')$을 버퍼에 저장하고 무작위로 샘플링하여 학습합니다. 데이터 간의 상관관계를 깨고 학습 안정성을 높입니다.

타겟 네트워크 (Target Networks)

업데이트 목표(TD Target)를 계산하는 별도의 네트워크를 두어, 목표값이 흔들리지 않게 고정합니다. 이를 통해 학습을 안정화합니다.

$\mathcal{L}(\theta) = \mathbb{E}_{(s,a,r,s') \sim D} [(r + \gamma \max_{a'} Q(s',a'; \theta_{target}) - Q(s,a; \theta))^2]$

5. 정책 경사와 액터-크리틱: 직접 정책을 찾아서

가치 함수를 거치지 않고, 보상을 최대로 하는 정책 $\pi(a|s; \theta)$의 파라미터 $\theta$를 직접 최적화하는 방법론입니다.

정책 경사 (Policy Gradient, PG)

정책이 좋은 행동을 할 확률은 높이고(log-probability 증가), 나쁜 행동을 할 확률은 낮추는 방향으로 업데이트합니다. REINFORCE가 대표적입니다.

$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} [A(S_t, A_t) \nabla_\theta \log \pi_\theta(A_t|S_t)]$

액터-크리틱 (Actor-Critic, AC)

정책을 학습하는 액터(Actor)와, 그 정책의 가치를 평가하는 크리틱(Critic)으로 역할을 분담하여 안정적이고 효율적으로 학습합니다.

PPO: 정책이 급격히 변하지 않도록 제한하여 안정성 확보
SAC: 엔트로피를 최대화하여 탐색을 장려하고 성능 향상

6. 최신 연구 동향

모델 기반 RL

환경의 모델을 학습하여 가상 세계에서 계획(planning)을 수행합니다. 데이터 효율성이 높으며 AlphaZero, MuZero가 대표적입니다.

모방 학습 (IL)

전문가의 행동 데이터를 모방하여 정책을 학습합니다. 보상 설계가 어려운 문제에 효과적이며 GAIL 등이 있습니다.

인간 피드백 기반 RL (RLHF)

인간의 선호도를 보상 모델로 학습하여 정책을 미세 조정합니다. ChatGPT와 같은 대규모 언어 모델의 핵심 기술입니다.