[강화학습9]Q-learning

 

 

저번 포스팅에서는 MC와 TD를 이용한 강화학습 방법들에 대해서 다뤘다. 이번포스팅에서는 On-Policy와 Off-Policy라는 새로운 개념을 소개하고 이를 활용한 새로운 강화학습 방법에 대해서 다뤄본다.

---

SARSA의 문제점

SARSA는 한 가지 단점을 가지고 있는데, 바로 탐험이 가치함수 업데이트에 직접적인 영향을 미친 다는 점이다. 이는 정확한 정책평가를 하는 데 있어서 방해가 된다. 비유를 들어보면 다음과 같다.

철수는 강화학습 에이전트로. SARSA알고리즘을 통해 학습을 진행하고 있다.

학교상태$S$에서 열심히 공부하는 행동$A$를 선택하여 즉시보상$R$을 얻고 선생님께 칭찬을 받는 상태$S^{\prime }$로 전이되었다. 다만 원래계획은  선생님께 감사의 표시를 하는 행동$A^{\prime }$를 취하는 것이었지만 $ϵ-greedy$의  정책에 의한 탐험으로 인해 예상치 못하게 선생님에게 대들기$A^{\prime }$라는 행동을 취하게 되었다. 결국  Q(학교에서, 열심히 공부하기)의 가치는 크게 감소하게 되었다. 이러한 문제는 SARSA가 가치함수를 업데이트할 때 현재의 행동정책^[각주:1]을 사용하는 데 있다. 이 문제는 행동 정책과 타깃 정책^[각주:2]을 분리하는 것으로 해결할 수 있다.

On-Policy vs Off-Policy

행동정책과 타깃정책이 같은 경우 On-Policy, 행동정책과 타깃정책이 다른 경우 Off-Policy라고 한다. Off-Policy학습법은 다양한 정책에서 얻은 데이터를 활용할 수 있기 때문에 여러 종류의 데이터 소스를 활용하여 보다 효율적인 학습이 가능하다. 예를 들어 바둑을 두는 강화학습모델을 만들 때, 자신의 과거경험을 재사용하거나 프로기사가의 기보를 활용하는 것이 가능하다. TD 베이스의 On-Policy학습법에 SARSA가 있다면, TD 베이스의 Off-Policy학습법에는 Q-learning이 있다.

	SARSA	Q-learning
행동정책	$ϵ-greedy$	$ϵ-greedy$
타깃정책	$ϵ-greedy$	$greedy$

Q-learning

Q-learning의 타깃정책은 현재 행동정책과 무관하게 항상 가장 좋은 보상을 주는 행동을 선택하고, 이는곧 최적정책이다. 따라서 Q-learning의 가치는 다음과 같이 정의할 수 있다.

$$q^{\ast }(s,a)=\mathbb{E}[r+\gamma \underset{a^{\prime }}{max}{q}^{\ast }(s^{\prime },a^{\prime })]$$

---

$q^{\ast }(s_t,a_t)=\mathbb{E}[r_{t+1}+\gamma \underset{a_{t+1}}{max}{r}_{t+2}+{\gamma }^2\underset{a_{t+2}}{max}{r}_{t+3}+\cdots ]$

                  $=\mathbb{E}[r_{t+1}+\mathbb{E}[\gamma \underset{a_{t+1}}{max}{r}_{t+2}+{\gamma }^2\underset{a_{t+2}}{max}{r}_{t+3}+\cdots ]]$                                         

                  $=\mathbb{E}[r_{t+1}+\gamma \underset{a_{t+1}}{max}\mathbb{E}[r_{t+2}+\gamma \underset{a_{t+2}}{max}{r}_{t+3}+\cdots ]]$

                  $=\mathbb{E}[r_{t+1}+\gamma \underset{a_{t+1}}{max}{q}^{\ast }(s_{t+1},a_{t+1})]$

---

이에 기반한 Q-learning의 업데이트식은 다음과 같다. 

$$Q(S,A)\leftarrow Q(S,A)+\alpha (R+\gamma \underset{A^{\prime }}{max}Q(S^{\prime },A^{\prime })-Q(S,A))$$ 

SARSA가 현재 정책의 평가와 개선을 반복하는 정책반복과 유사하다면, Q-learning은 최적가치를 반복적으로 업데이트하는 가치반복과 유사하다.

1. 행동정책(Behavior Policy)은 에이전트가 환경에서 실제로 어떤 행동을 취할지 결정하는 정책이다. [본문으로]
2. 타깃정책(Target Policy)은 가치함수를 업데이트할 때 쓰이는 정책이다. [본문으로]