$$$$

Policy Gradient

记号说明

1. $p(s_{t+1}|s_t,a_t)$: Dynamics (环境)
2. ${\pi }_{\theta }(a_t|s_t)$: Policy (parameterized by $\theta$) (策略)
3. ${\pi }_{\theta }(\tau )=p(s_1)(\prod _{t=1}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)){\pi }_{\theta }(a_T|s_T)$: Probability of this trajectory under policy ${\pi }_{\theta }$ (这个策略下该轨迹的概率)
4. $p_{\theta }(\tau )=\prod _{t=1}^T{\pi }_{\theta }(a_t|s_t)$: Probability of all the action under policy ${\pi }_{\theta }$ and the states (i.e. probability of trajectory w/o dynamics) (固定该轨迹中的状态，这个策略下所有该轨迹中的动作的概率。也就是轨迹的概率除以所有环境的概率)

Off-Policy Policy Gradient

假设我们当前的 policy 是 ${\theta }^{\prime }$ ，而我们的数据是通过 $\theta$ 这个 old poilcy 采得的。

那么：

$$\begin{array}{rl}J({\theta }^{\prime })& =E_{\tau \sim {\pi }_{\theta }}[\frac{{\pi }_{{\theta }^{\prime }}(\tau )}{{\pi }_{\theta }(\tau )}r(\tau )]\\ & =E_{\tau \sim {\pi }_{\theta }}[\frac{p(s_1)(\prod _{t=1}^{T-1}{\pi }_{{\theta }^{\prime }}(a_t|s_t)p(s_{t+1}|s_t,a_t)){\pi }_{{\theta }^{\prime }}(a_T|s_T)}{p(s_1)(\prod _{t=1}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)){\pi }_{\theta }(a_T|s_T)}r(\tau )]\\ & =E_{\tau \sim {\pi }_{\theta }}[\prod _{t=1}^T\frac{{\pi }_{{\theta }^{\prime }}(a_t|s_t)}{{\pi }_{\theta }(a_t|s_t)}r(\tau )]\\ & =E_{\tau \sim {\pi }_{\theta }}[\frac{p_{{\theta }^{\prime }}(\tau )}{p_{\theta }(\tau )}r(\tau )]\begin{array}{rl}& \text{where }{p}_{\theta }(\tau )=\prod _{t=1}^T{\pi }_{\theta }(a_t|s_t)\\ & \text{ i.e. probability of trajectory w/o dynamics }p(s^{\prime }|s,a)\end{array}\end{array}$$

接下来，就是求梯度。

（近似）梯度推导

最终结果就是：

$${\mathrm{\nabla }}_{{\theta }^{\prime }}J({\theta }^{\prime })\approx E_{\tau \sim \theta }[\sum _{t=1}^T\frac{p_{{\theta }^{\prime }}(a_t|s_t)}{p_{\theta }(a_t|s_t)}{\mathrm{\nabla }}_{{\theta }^{\prime }}\log {\pi }_{{\theta }^{\prime }}(a_t|s_t)(\sum _{t^{\prime }=t}^{T}r(s_t^{\prime },a_t^{\prime }))]$$

关于上面这个式子的推导过程中的“近似”，我在下面回答几个问题：

几个问题

Q1: 我们为什么要把 $\prod$ 删去？

A1:

1. 避免 $T$ 比较大的时候，这个 $\prod$ 过大或者过小（过小是主因）。从而导致梯度爆炸或者梯度消失（同上文，梯度消失是主因）。

   为何 $\prod$ 会过大/过小：既然 $\tau$ 是从旧策略 $\theta$ 中采样的一条路径，我们自然认为 $\mathrm{\forall }t:p_{\theta }(a_t|s_t)>p_{{\theta }^{\prime }}(a_t|s_t)$ 是大概率的事件。如果 $t$ 比较大，就会导致多个小于 1 的 $\frac{p_{{\theta }^{\prime }}(a_t|s_t)}{p_{\theta }(a_t|s_t)}$ 连乘，从而导致 $\prod$ 过小。

2. $T$ 比较大的时候，连乘式会大大增加方差，这也是我们不想要的

Q2: 为什么可以把 $\prod _{t^{″}=t}^T\cdots$ 删去？

A3: 删去之后，虽然式子就不再等于梯度，但是属于 policy iteration 这个算法框架了。Policy iteration 仍然可以对 ${\pi }_{\theta }^{\prime }$ 进行优化

Q3: 为什么可以把 $\prod _{t^{\prime }=1}^t$ 删去？

A3: （见上面图片中最下方蓝色部分「为什么能这么做」）