3. 蒙特卡洛(Monte-Carlo)和時序差分(Temporal-Difference)


上一篇動態規划講的是在馬爾科夫模型$<S, A, P, R, \gamma>$完全已知的情況下,利用概率全展開求解最優策略。這一篇講馬爾科夫模型不完全已知,即轉移概率未知,不能全概率展開的情況下,利用蒙特卡洛(Monte-Carlo)時序差分(Temporal-Difference)來通過采樣的方式估計價值函數,求解最優策略。

本篇的策略對應上一篇動態規划中的策略估計和策略迭代部分,是先估計策略再改進策略的蒙特卡洛同策略學習方式,下一篇對應值迭代,是邊評估邊改進的時序差分異策略學習方式。

蒙特卡洛和時序差分的區別在於,蒙特卡洛是從完整的從初始狀態到終止狀態,的序列(episode)中學習,利用平均值估計價值值函數。時序差分是從不完整的序列中學習,利用自舉(bootstrapping )來更新價值值函數。下面具體展開來講。

蒙特卡洛學習

策略估計

從根據策略$\pi$得到的完整序列$<S_1, A_1, R_1, ..., S_{terminal}>$

對完整序列中的某一狀態$s$,計算累積獎勵:

$G_t = R_{t+1} + \gamma R_{t+2} +... + \gamma^{T-1} R_T$

對每一個完整序列,有兩種方式累積$G_t$,針對每一個狀態只計算第一次出現(First-Visit)時的$G_t$,或者是累積每一次出現(Every-Visit)時的$G_t$。

然后利用累積的$G_t$除以次數,也就是經驗平均值來更新$v_{\pi}({s_t})$,是$G_t$的無偏估計,

$v_{\pi}({s_t})=E[G_t]$

為了加快計算,利用遞增來更新,

$v_{\pi}({s_t}) \leftarrow v_{\pi}({s_t}) + \alpha ({G_t} - v_{\pi}({s_t}))$

策略迭代

像動態規划里解釋的一樣,迭代收斂得到了新的$v_\pi$后,就可以依據新的$v_\pi$改進我們的策略$\pi$。改進的策略$\pi$又可以繼續迭代收斂到新的$v_\pi$,如此循環,最終收斂至$\pi^*$,稱之為蒙特卡洛學習

時序差分學習

像動態規划里解釋的一樣,為了加快收斂速度,我們可以在$v_\pi$還沒有收斂的迭代過程中,就立馬改進策略$\pi$,再循環這個過程,稱之為時序差分學習。

蒙特卡洛朝着實際能到的累計獎勵$G_t$的方向更新$v_{\pi}({s_t})$,

$v_{\pi}({s_t}) \leftarrow v_{\pi}({s_t}) + \alpha ({G_t} - v_{\pi}({s_t}))$

時序差分朝着估計得到的累計獎勵$R_t+\gamma v(s_{t+1})$的方向更新$v_{\pi}({s_t})$,$R_t+\gamma v(s_{t+1})$是TD目標,${R_{t + 1}} + \gamma v(s_{t+1}) - v({s_t})$是TD誤差,

$v({s_t}) \leftarrow v({s_t}) + \alpha ({R_{t + 1}} + \gamma v(s_{t+1}) - v({s_t}))$

蒙特卡洛和時序差分的區別

時序差分利用了馬爾科夫特性,可每一步在線學習,不必等到序列結束,可以從不完整的序列中學習,更有效率,但收斂性一般,對初始值較敏感,低方差,有一些偏差。

蒙特卡洛沒有利用馬爾科夫特性,必須等到序列結束,從完成的序列中學習,有很好的收斂性,對初始值不那么敏感,高方差,零偏差。

 

參考:

1. David Silver 課程

2. Reinforcement learning: An Introduction. Richard S. Sutton


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2020 ITdaan.com