6.2.1 直接求策略梯度面临的困难#

在策略方法中，我们的目标是找到最优的策略参数 $\theta^*$，使得期望回报能够最大化

直接计算 $J(\theta)$ 的梯度

其中:

• $p_\theta(\tau) = p_0(s_0) \prod_{t=0}^{T-1} \pi_\theta(a_t|s_t) p(s_{t+1}|s_t, a_t)$ 是在策略 $\pi_\theta$ 下生成轨迹 $\tau$ 的概率分布
• $R(\tau) = \sum_{t=0}^{T} \gamma^{t} r_t$ 是轨迹 $\tau$ 的累计回报，它是与参数 $\theta$ 无关，但与轨迹 $\tau$ 相关的量。

这里出现了两个难以计算的困难：

1. 环境动态未知 (Model-free)：轨迹 $\tau$ 的生成主要由环境动态变化 $p(s_{t+1}|s_t, a_t)$ 和策略 $\pi_\theta(a_t|s_t)$ 决定。环境动态通常是未知的，这意味着我们无法直接计算 $p_\theta(\tau)$ 的解析形式，也即无法计算出上式的解析解。即使能通过采样的方式估计出 $p_\theta(\tau)$ 的数值，求解它的梯度 $\frac{\partial}{\partial \theta} p_\theta(\tau)$ 也是非常困难的，因为它涉及到整个轨迹的概率分布，而不是单个状态或动作的概率分布。
2. 轨迹空间巨大：若状态空间或动作空间是连续空间，想要遍历全部可能的轨迹 $\tau$ 是无法实现的。若状态空间和动作空间是离散空间，随着时间步数 $T$ 的增加，轨迹的数量也会呈指数级增长，这使得直接计算积分是不可行的。

因此，无论是解析求解还是数值积分，都是不可行的。

6.2.2 分解轨迹分布的梯度 $\frac{\partial}{\partial \theta} p_\theta(\tau)$#

既然环境动态与策略参数 $\theta$ 无关，那么 $\frac{\partial}{\partial \theta} p(s_{t+1} | s_t, a_t) = 0$。考虑到轨迹分布 $p_\theta(\tau)$ 是链式乘法形式的分布函数，做一个对数变换，得到

对 $\theta$ 求导，得到

利用 Log-Derivative Trick，

这下就很简单了，我们把上式代入到 $\nabla_\theta J(\theta)$ 的表达式中，得到

这里虽然 $p_\theta(\tau)$ 解析形式得不到，积分也是无法计算的，但是我们可以转化为采样的方式来估计 $\nabla_\theta J(\theta)$，这就是策略梯度方法的核心思想。

6.2.3 策略梯度定理#

需要指出

并非策略梯度的最简化形式，这里面仍然有很多可以消除的项。展开轨迹 $\tau$ 的回报 $R(\tau)$，得到

展开第一个期望项，得到

而双求和里面的那个期望实际上可以进一步简化，这里要考虑到轨迹 $\tau = (s_0, a_0, \ldots, s_T)$ 看起来是一个多维随机向量，实际上，内部变量之间存在依赖关系—— $r_k$ 的产生仅依赖于历史状态和动作 $\{(s_i, a_i)\}_{i=0}^k$，与未来的状态和动作是相互条件独立的:

注意这里我们省略了 $r_k$ 的生成过程，$r_k$ 可以是由确定性的奖励函数 $r(s_k, a_k)$ 给出，也可以是由随机的奖励分布 $p(r_k | s_k, a_k)$ 给出，这里为了公式简化表达，将期望奖励 $r_k$ 直接表达成了一个随机的奖励函数值

好，继续关注新出现的后一项期望，它是一个条件期望

由于

逐级回代，可以得到最开始的第一个期望项结果实际上也就是 $0$，因此

将 $t$ 时刻的的回报记作 $G_t$:

从而得到简化的策略梯度形式，也即下面的策略梯度定理:

Theorem (策略梯度定理)

6.2.4 策略梯度上升#

拿到策略梯度后，我们就可以使用梯度上升法来更新策略参数 $\theta$，以最大化 $J(\theta)$。梯度上升的更新规则为

其中$\alpha$是学习率，$J(\theta)$是目标函数。

6.2.5 两种策略梯度公式的比较#

前面我们分析得到了两种策略梯度的公式

与

两个公式是等价的，且第二个公式是第一个的简化。但是在实际使用上，第二个公式使用范围更加广泛：

• 学习模式对比
  • 第一个公式只适用于轨迹 $\tau$ 已经完全确定的情况，也即 $R(\tau)$ 已经计算出的情况。换言之，第一个公式不能在每个时间步 $t$ 都更新参数。
  • 第二个公式能在每个时间步 $t$ 都更新参数，因为本身梯度可以看作是在每个时间步都做一次 $\theta \leftarrow \theta + \alpha \gamma^t G_t \nabla\log \pi_\theta(a_t\vert s_t)$，累计后完成整个梯度上升。这里期望下标虽是 $\tau$，但这只是简化的写法，实际上每个时间步 $t$ 用到的随机变量并没有完全覆盖 $\tau$ 中的所有变量。
• 采样方差对比
  • 第一个公式中所有时间步共享同一个整条轨迹的回报 $R(\tau)$，引入了大量与当前梯度无关的历史噪声和未来噪声，导致不同时间步梯度项之间强相关，方差较大。
  • 第二个公式中每个时间步使用从该步开始的累积回报 $G_t$，减少了无关变量的影响，且便于引入基线进一步降低方差，因此方差更小、估计更稳定。

6.2.6 含有基线的策略梯度#

策略梯度公式中可以引入基线，在保持梯度无偏估计的同时，通过减去一个只依赖于状态的基线，降低回报 $G_t$ 的波动性，从而减小梯度估计的方差，使学习更加稳定高效。

其中 $b(s_t)$ 是基线函数，基线函数只需要满足其值与动作无关的条件。通常选用状态价值函数 $V(s_t)$ 作为基线函数。

下面验证含基线的策略梯度的无偏性。为了验证这一性质，我们只需要证明

拆开条件期望

证毕。

6.2.7 REINFORCE 算法#

REINFORCE 算法的本质是通过 Monte Carlo 方法来估计策略的梯度。它的基本思想是通过采样来计算每个时间步的回报，然后使用这些回报来更新策略参数，是一种分幕式的强化学习算法。

REINFORCE 算法用到了将策略梯度按时间步 $t$ 分解的思路进行更新

它的好处有：

• 在线更新：不需要等到所有轨迹数据收集完毕再统一更新，可以在每个时间步立即更新参数，提高数据效率
• 方差降低：每个时间步只使用从该步开始的回报$G_t$，而不是整条轨迹的总回报$R(\tau)$，减少了与当前动作无关的历史奖励带来的噪声
• 便于引入基线：这种分解形式更容易引入状态值函数作为基线，进一步降低方差

REINFORCE 算法

python 伪代码如下：

def REINFORCE(env, policy, alpha, gamma, num_episodes):
    for episode in range(num_episodes):
        # 生成一个完整的轨迹
        states, actions, rewards = generate_episode(env, policy)
            
        # 计算每个时间步的回报
        G = 0
        for t in reversed(range(len(states))):
            G = rewards[t] + gamma * G
                
            # 更新策略参数
            policy.update(states[t], actions[t], alpha * G, gamma)
    
    return policy

6.2.8 Actor-Critic#

Actor-Critic (演员-评论家，AC 方法) 方法结合了策略梯度 (Actor) 和值函数近似 (Critic) 的优势，通过引入值函数作为基准 (baseline) 来降低策略梯度的方差，从而提升学习效率。其核心思想是：

• Actor：负责根据当前策略 $\pi_\theta(a|s)$ 选择动作，并通过策略梯度更新策略参数 $\theta$；
• Critic：负责估计状态值函数 $V_w(s)$ 或动作值函数 $Q_w(s,a)$，并通过TD误差等目标优化值函数参数 $w$。

AC 方法使用了含基线的策略梯度定理。其策略梯度可表示为：

其中 优势函数 $A(s_t, a_t) = Q(s_t, a_t) - V(s_t)$ 表示在状态 $s_t$ 下选择动作 $a_t$ 的相对优势。Critic 的任务即为估计 $A(s_t, a_t)$，常见实现方式包括：

1. TD误差法：用 $\delta_t = r_{t+1} + \gamma V_w(s_{t+1}) - V_w(s_t)$ 作为优势函数的无偏估计；
2. 广义优势估计（GAE）：结合多步TD误差的加权平均，平衡偏差与方差。

Actor-Critic 算法

关键改进与变体

1. 异步优势Actor-Critic（A3C） 多个并行的Actor线程同时与环境交互，异步计算梯度并更新全局参数，打破了样本相关性，提升训练效率和稳定性。

2. 优势Actor-Critic（A2C） A3C的同步版本，等待所有并行Actor完成采样后统一计算平均梯度再更新，实现更简单，训练更稳定。

3. 确定性策略梯度（DPG） 适用于连续动作空间，Actor输出确定性动作而非动作概率分布，通过链式法则计算梯度，常结合经验回放和目标网络形成 DDPG 算法。

6.3.1 步长选择的难题#

前述的经典策略梯度算法 (如 REINFORCE，Actor-Critic) 的缺点是难以确定合适的步长。

• 如果步长过大，策略的更新可能会导致直接跨越过最优点，产生较大的策略变动。而这种巨大的策略变动则有可能导致策略本身性能的退化；
• 如果步长过小，更新会非常缓慢。

因此，我们需要找到能够合适的步长来更新策略参数。假设我们已经有了一个还不错的旧策略 $\pi_{\theta_0}$，我们希望利用策略梯度方法得到一个更好的新策略 $\pi_\theta$，即

现在的目标就是该如何基于旧策略 $\pi_{\theta_0}$ 改进得到新策略 $\pi_\theta$。

6.3.2 策略差异恒等式#

下面推导量化两个策略的目标函数差异的两个恒等式。

恒等式一

对于给定的两个策略 $\pi_{\theta_0}$ 和 $\pi_\theta$, 存在如下恒等式

其中，$\tau = (s_0, a_0, s_1, a_1, \dots)$ 是采样自策略 $\pi_\theta$ 轨迹，$A_{\pi_{\theta_0}}(s_t, a_t)$ 是策略 $\pi_{\theta_0}$ 对应的优势函数。

下面给出这个恒等式的证明，注意这里的证明利用到了初始状态 $s_0$ 的概率分布与策略本身无关，是两个策略目标函数所共有的概率分布:

展开

有

恒等式证毕。

恒等式二

对于给定的两个策略 $\pi_{\theta_0}$ 和 $\pi_\theta$, 存在如下恒等式

其中:

• $\rho_{\pi_\theta}(s) = p(s_0 = s) + \gamma p(s_1 = s | \pi_\theta) + \gamma^2 p(s_2 = s | \pi_\theta) + \cdots$ 是状态 $s$ 在策略 $\pi_\theta$ 下的折扣状态访问分布，反映了从初始状态分布出发，按照策略 $\pi_\theta$ 与环境交互，在整个无限长轨迹中，状态 $s$ 出现的”折扣期望次数”；
• $A_{\pi_{\theta_0}}(s_t, a_t)$ 是策略 $\pi_{\theta_0}$ 对应的优势函数。

下面基于恒等式一来证明恒等式二：

其中，$p(s_t = s | \pi_\theta)$ 是在策略 $\pi_\theta$ 下，在第 $t$ 时刻状态 $\{s_t = s\}$ 的概率。证毕。

6.3.3 TRPO 方法#

• TRPO 方法的原始论文可以点此访问: TRPO

利用前面恒等式二的结果，只要满足

就可以保证策略 $\pi_\theta$ 比策略 $\pi_{\theta_0}$ 更好。