Just Do IT

1. State Value Function State Value Function $ V_\pi(s) $는 state s에서 부터 끝까지 갔을 때의 expected return을 말합니다. $$ v_\pi(s) = E_\pi[G_t|S_t=s] $$ 2. Action Value Function Action Value Function $ q_\pi(s,a) $는 state s에서 action a를 선택하고 끝까지 갔을 때의 expected return을 말합니다. $$ q_\pi(s,a) = E_\pi[G_t|S_t=s,A_t=a] $$ 3. Return 여기서의 return은 time t에서 받을 수 있는 total discounted reward를 말합니다. $$ G_t = R_{t+1} + \gamma..

1. Stochastic(random) Process Stochastic Process는 time(St)로 Index되어지는 random variables들의 collection이라고 하고 주로 환경을 설명하기 위해 사용되는 개념입니다. 한글로 하면 시간의 흐름에 따라 변하는 확률 변수들의 모음이라고 할 수 있습니다. 확률 변수들은 시간에 따라 변화하며 각각의 상태나 상황에서 다양한 결과를 생성할 수 있습니다. 예를들어 환경이 Stochastic Process인 경우, 로봇의 움직임이나 주변 조건이 항상 동일하지 않습니다. 따라서 로봇이 같은 명령을 받더라도 바람이나 센서등에 의해 로봇의 움직임이 랜덤하게 변할 수 있습니다. 2. State Transition Probability Matrix state..