5-基于策略梯度的RL

[TOC]

• 策略梯度
  • 最优梯度的度量
  • 度量的梯度
• 基于蒙特卡洛的策略梯度——REINFORCE
  • 梯度上升算法
• AC方法
  • QAC
  • A2C：通过引入偏置量减少估计的方差
  • off-policy AC：将on-policy方法转换为 off-policy方法
    • 重要性采样
  • DPG：随机策略变为确定性策略

5.1 策略梯度

之前的方法以策略为核心，基于价值产生策略，并用表格表示策略

策略梯度 (policy gradient) 是基于策略的方法，用策略函数近似策略

利用机器学习模型的泛化能力，将已知状态上的策略泛化到未知状态上的策略

目标函数是策略的函数，通过优化目标函数直接获取最优策略

• A-C方法，实际上是将策略梯度与价值函数结合的方法

5.1.1 策略的表示

表格型策略

策略为在每个状态下 $s\in \mathcal{S}$ 采取每个动作 $a\in \mathcal{A}(s)$ 的可能性可以用表格 $\pi (a|s)$ 表示，在表格中使用 $(s,a)$ 获取每个策略

	$a_1$	$a_2$	$a_3$	$a_4$	$a_5$
$s_1$	$\pi (a_1|s_1)$	$\pi (a_2|s_1)$	$\pi (a_3|s_1)$	$\pi (a_4|s_1)$	$\pi (a_5|s_1)$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
$s_9$	$\pi (a_1|s_9)$	$\pi (a_2|s_1)$	$\pi (a_3|s_1)$	$\pi (a_4|s_1)$	$\pi (a_5|s_1)$

缺点：当状态空间很大或无穷、状态连续变化时，用表格表示策略就非常低效，体现在存储与泛化能力的缺陷上

函数型策略

用带参数的函数拟合策略，也可以表示为 ${\pi }_{\theta }(a|s),\pi (a,s,\theta ),{\pi }_{\theta }(a,s)$

$$\pi (a|s,\theta ),\theta \in {\text{R}}^m$$

image-20240307100321679

(a) 输入是状态和动作，输出是当前状态下采取这个动作使累积奖励最大化的可能性

(b) 输入是状态，输出是当前状态下采取各个动作使累积奖励最大化的可能性

最优的策略可以通过最优化度量标量的目标函数获取，这种方法称为 策略梯度

• 更适合处理高维度或连续的动作空间
• 具有更强大的泛化能力
• 具有更好的收敛性质和稳定性
• 能够学习随机策略

缺点：

• 通常会收敛到局部最优，而非全局最优，所以需要加噪音扰动
• 评价一个策略通常不高效，且方差较大（受数据分布影响大，策略一直变，所以数据分布一直变）

表格型VS函数型

最优策略的定义：

• 表格型：若一个策略 $\pi^$\mathrm{使}\mathrm{每}\mathrm{个}\mathrm{状}\mathrm{态}\mathrm{价}\mathrm{值}\mathrm{都}\mathrm{是}\mathrm{最}\mathrm{大}\mathrm{的}，\mathrm{即}$\mathbf{V}_{\pi^}(S)\ge\mathbf{V}_{\pi}(S),\forall \pi\in \Pi$
• 函数型：指定一个标量的策略度量指标目标函数，使目标函数最大化的策略就是最优策略

获取一个动作的概率：

• 表格型：通过 $(s,a)$ 可查表获取

• 函数型：计算策略函数的值 $\pi (a|s,\theta )$

  参数每传播一次，都需要计算一次

策略更新：

• 表格型：直接修改 $\pi (a|s)$ 的值
• 函数型：通过修改策略函数的参数 $\theta$ 间接影响策略

策略梯度基本思路

所有的策略度量指标 $J(\pi )$ 都是 $\pi$ 的函数，而 $\pi (a|s,\theta )$ 是关于参数 $\theta$ 的函数 ，不同的参数值 $\theta$ 会影响策略优劣的度量值，因此，通过最优化 $\theta$ 的值来最大化这些度量指标，可以找到最优的策略

最优化算法为梯度上升法

$${\theta }_{t+1}={\theta }_t+\alpha {▽}_{\theta }J({\theta }_t)$$

• 如何定义策略度量指标
• 如何计算策略度量指标的梯度

5.1.2 策略度量指标

平均状态价值

$$\begin{array}{rl}{\bar{V}}_{\pi }& =\sum _{s\in \mathcal{S}}d(s)V_{\pi }(s)={\mathbf{d}}^T{\mathbf{V}}_{\pi }\\ & =E[V_{\pi }(S)]\end{array}$$

• ${\bar{V}}_{\pi }$ 为在策略 $\pi$ 下加权平均的状态价值
• $d(s)\ge 0,\sum _{s\in \mathcal{S}}d(s)=1$ 是状态 $s$ 的权重，也可以理解为状态的概率分布 $S\sim d$
• 向量形式下，$\mathbf{d}=\left[\begin{array}{c}⋮\\ d(s)\\ ⋮\end{array}\right]\in {\text{R}}^{|\mathcal{S}|},{\mathbf{V}}_{\pi }=\left[\begin{array}{c}⋮\\ V_{\pi }(s)\\ ⋮\end{array}\right]\in {\text{R}}^{|\mathcal{S}|}$

若求解加权平均，需要知道状态 $S$ 服从的分布 $d$

$d$ 与策略 $\pi$ 无关

将分布 $d$ 记为 $d_0$ ，此时，平均状态价值记为 ${\bar{V}}_{\pi }^0$

相对简单，因为度量指标函数的梯度计算相对简单

一种情况是每个状态都是同等重要的，因此将 $d_0$ 视为均匀分布，$d_0(s)=\frac{1}{|\mathcal{S}|}$

另一种情况是只关注特定的状态 $s_0$ ， 如在一些任务中所有回合都从相同的起始状态 $s_0$ 出发，实际上就是最大化从 $s_0$ 出发得到的回报，因此 $d_0(s_0)=1,d_0(s\ne s_0)=0\Rightarrow {\bar{V}}_{\pi }=V_{\pi }(s_0)$

$d$ 与策略 $\pi$ 有关

状态的分布与策略 $\pi$ 有关，即 $d$ 是策略 $\pi$ 下的稳态分布

• 状态分布概率值是状态转移矩阵特征值为1的特征向量$${\mathbf{d}}_{\pi }^T{P}_{\pi }={\mathbf{d}}_{\pi }^T$$

平均单步立即奖励

$${\bar{r}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=E[r_{\pi }(s)],S\sim d_{\pi }$$

其中，$r_{\pi }(s)=\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta )r(s,a)$ ，$r(s,a)=E[R|s,a]=\sum _{r^{\prime }}{r}^{\prime }P(r^{\prime }|s,a)$

两种度量指标的关系

关于策略的度量指标，可以定义在折扣奖励 $\gamma \in [0,1)$ 下，也可以定义在非折扣奖励 $\gamma =1$ 下

对于 平均单步立即奖励 ${\bar{r}}_{\pi }$ ，只是对立即奖励的平均，不求回报所以也不需要考虑折扣因子，此时 $\gamma =1$

${\bar{r}}_{\pi }$ 是一种非常短视的度量指标，只考虑立即奖励，相反，${\bar{V}}_{\pi }$ 是一种相对远视的度量指标，考虑到所有步的总奖励，虽然二者不相等，但成正比

$${\bar{r}}_{\pi }=(1-\gamma ){\bar{V}}_{\pi }$$

一个达到最优，另一个也能达到极值

证明：贝尔曼方程 $V_{\pi }=r_{\pi }+\gamma P_{\pi }{V}_{\pi }$ ，两边同乘 $d_{\pi }^T$

$${\bar{V}}_{\pi }={\bar{r}}_{\pi }+\gamma d_{\pi }^T{P}_{\pi }{V}_{\pi }={\bar{r}}_{\pi }+\gamma d_{\pi }^T{V}_{\pi }={\bar{r}}_{\pi }+\gamma {\bar{V}}_{\pi }$$

等价定义

image-20240312103943638

平均状态价值

在策略 $\pi$ 下有从状态 $S_0$ 开始的轨迹 $(A_0,R_1,S_1,A_1,R_2,\cdots )$ ，满足 $A_t=\pi (S_t,\theta )$ ，$R_{t+1},S_{t+1}\sim P(R_{t+1},S_{t+1}|S_t,A_t)$

对于

$$\begin{array}{rl}J(\theta )& =E\left[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{R}_{t+1}\right]\\ & =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)E[\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{R}_{t+1}|S_0=s]\\ & =\sum _{s\in \mathcal{S}}{d}_{\pi }(s)V_{\pi }(s)\\ & ={\bar{V}}_{\pi }\end{array}$$

平均单步立即奖励

假设在策略 $\pi$ 下生成了起始状态为 $s_0$ 的轨迹，奖励序列为 $\{R_{t+1}{\}}_{t=0}^{\mathrm{\infty }}$，这个轨迹的平均单步奖励为

$$\begin{array}{rl}{\bar{r}}_{\pi }& =\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}E[R_{t+1}+R_{t+2}+\cdots +R_{t+n}|S_0=s_0]\\ & =\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}E[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s_0]\\ & ⟺\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}E\left[\sum _{t=0}^{n-1}{R}_{t+1}\right]\\ & =\sum _s{d}_{\pi }(s)r_{\pi }(s)\end{array}$$

• 起始状态 $s_0$ 是什么不重要

证明：

首先，证明对于任意的起始状态 $s_0$ ，有第一个等号成立

$$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}E[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s_0]& =\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}\sum _{t=0}^{n-1}E[R_{t+1}|S_0=s_0]\\ & \stackrel{\text{Cesaro mean}}{=}\underset{t\to \mathrm{\infty }}{lim}E[R_{t+1}|S_0=s_0]\end{array}$$

• 纬洛平均：对于一个序列 $\{a_k{\}}_{k=1}^{\mathrm{\infty }}$ 若其是收敛的，即 $\underset{k\to \mathrm{\infty }}{lim}{a}_k$ 是存在的，则 $\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}\sum _{k=1}^{\mathrm{\infty }}{a}_k=\underset{k\to \mathrm{\infty }}{lim}{a}_k$ ，故序列 ${\left\{\frac{1}{n}\sum _{k=1}^n{a}_k\right\}}_{n=1}^{\mathrm{\infty }}$ 是一个收敛序列

其次，证明等价

对于 $E[R_{t+1}|S_0=s_0]$ ，其全期望公式

$$\begin{array}{rl}E[R_{t+1}|S_0=s_0]& =\sum _{s\in \mathcal{S}}E[R_{t+1}|S_0=s_0,S_t=s]P^{(t)}(s|s_0)\\ & \stackrel{\mathrm{马}\mathrm{尔}\mathrm{科}\mathrm{夫}\mathrm{性}\mathrm{质}}{=}\sum _{s\in \mathcal{S}}E[R_{t+1}|S_t=s]P^{(t)}(s|s_0)\\ & =\sum _{s\in \mathcal{S}}{r}_{\pi }{P}^{(t)}(s|s_0)\end{array}$$

• $P^{(t)}(s|s_0)$ 表示在第 $t$ 轮迭代中使用的状态转移矩阵$$\underset{t\to \mathrm{\infty }}{lim}{P}^{(t)}(s|s_0)=d_{\pi }(s)$$因此，起始状态 $s_0$ 并不重要

故有等价成立

最后，对于任意的稳态分布 $d$ ，是否仍然成立

$$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}E\left[\sum _{t=0}^{n-1}{R}_{t+1}\right]& =\underset{n\to \mathrm{\infty }}{lim}\frac{1}{n}\sum _{s\in \mathcal{S}}d(s)E[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s]\\ & =\sum _{s\in \mathcal{S}}d(s)\underset{n\to \mathrm{\infty }}{lim}E[\sum _{t=0}^{n-1}{R}_{t+1}|S_0=s]\\ & =\sum _{s\in \mathcal{S}}d(s){\bar{r}}_{\pi }\\ & ={\bar{r}}_{\pi }\end{array}$$

即，对任意的稳态分布 $r(s)$ 都有上述等价形式

5.1.3 策略度量指标的梯度

所有度量指标的梯度有一个统一形式

$${▽}_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )\cdot Q_{\pi }(s,a)$$

• $J(\theta )$ 是不同的策略度量指标 ${\bar{V}}_{\pi },{\bar{r}}_{\pi },{\bar{V}}_{\pi }^0$

• $=$ 可以是等于、近似、成比例

• $\eta$ 是状态的分布或状态的权重，在不同问题中呈现不同的分布

  

  image-20240312104729196

  

  image-20240312104754749

  

  image-20240312104820120

  

  image-20240312105023700

一些特殊的结果

$${▽}_{\theta }{\bar{r}}_{\pi }\simeq \sum _{s\in \mathcal{S}}{d}_{\pi }(s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )\cdot Q_{\pi }(s,a)$$

• 当折扣情况， $\simeq$ 为 $\approx$ ；当非折扣情况，$\simeq$ 为 $=$

由于 平均单步立即奖励 与 平均状态价值成正比，所以

$$\begin{array}{rl}{▽}_{\theta }{\bar{V}}_{\pi }& =\frac{1}{1-\gamma }{▽}_{\theta }{\bar{r}}_{\pi }\\ & =\sum _{s\in \mathcal{S}}{\rho }_{\pi }(s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )\cdot Q_{\pi }(s,a)\end{array}$$

策略梯度的计算

为了便于计算，需要将梯度改写

$${▽}_{\theta }\ln \pi (a|s,\theta )=\frac{{▽}_{\theta }\pi (a|s,\theta )}{\pi (a|s,\theta )}\Rightarrow {▽}_{\theta }\pi (a|s,\theta )=\pi (a|s,\theta ){▽}_{\theta }\ln \pi (a|s,\theta )$$

将其代入策略度量指标的梯度

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )\cdot Q_{\pi }(s,a)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta ){▽}_{\theta }\ln \pi (a|s,\theta )\cdot Q_{\pi }(s,a)\\ & =\sum _{s\in \mathcal{S}}\eta (s)E_{A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|s,\theta )\cdot Q_{\pi }(s,A)|S=s]\\ & =E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot Q_{\pi }(S,A)]\end{array}$$

此时，目标函数可以用样本近似

$${▽}_{\theta }J(\theta )\approx {▽}_{\theta }\ln \pi (a|s,\theta )\cdot Q_{\pi }(s,a)$$

注

因为需要计算 $\ln \pi (a|s,\theta )$ ，必须保证 $\pi (a|s,\theta )>0,\mathrm{\forall }a,s,\theta$

在RL中，若不做处理，这个条件并不满足，如贪心策略或确定性策略，有些动作 $\pi (a)=0$

为确保满足条件，需要对所有的 $\pi (a|s,\theta )$ 通过 Softmax 函数归一化，将其取值变为 $(0,1)$

Softmax ：对于一个特征向量 $X=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]$ ，$z_i=\frac{e^{x_i}}{\sum _{j=1}^n{e}^{x_j}}\in (0,1),\sum _{i=1}^n{z}_i=1$

决策值可以归一化为

$$\pi (a|s,\theta )=\frac{e^{h(s,a,\theta )}}{\sum _{a^{\prime }\in \mathcal{A}(s)}{e}^{h(s,a^{\prime },\theta )}}$$

其中，$\pi (a|s,\theta )$ 的值由函数 $h(s,a,\theta )$ 确定，即 $h(\cdot )$ 为参数为 $\theta$ 的策略函数，输入状态会给出该状态下执行某个动作的概率

image-20240307164637524

策略函数 $h(\cdot )$ 可以用神经网络实现，输入为 $s$ ，参数为 $\theta$，输出由 $|\mathcal{A}(s)|$ 个，每个输出对应采取每个动作的概率 $\pi (a|s,\theta )$ 且 $\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta )=1$，此时这个神经网络的输出层为 Softmax

• 由于 $\pi (a|s,\theta )>0,\mathrm{\forall }a$ ，所以策略是随机性及探索性的
• 策略梯度也可改为确定性策略

softmax策略的梯度

$$\begin{array}{rl}{▽}_{\theta }\ln \pi (a|s,\theta )& ={▽}_{\theta }h(s,a,\theta )-\frac{1}{\sum _{a\in \mathcal{A}(s)}{e}^{h(s,a,\theta )}}\sum _{a\in \mathcal{A}(s)}{e}^{h(s,a,\theta )}{▽}_{\theta }h(s,a,\theta )\\ & ={▽}_{\theta }h(s,a,\theta )-E_{a\sim \pi (a|s,\theta )}[{▽}_{\theta }h(s,a,\theta )]\end{array}$$

因此，策略网络的梯度为

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot Q_{\pi }(S,A)]\\ & =E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[({▽}_{\theta }h(S,A,\theta )-E_{a\sim \pi (A|S,\theta )}[{▽}_{\theta }h(S,A,\theta )])Q_{\pi }(S,A)]\end{array}$$

5.1.4 与基于价值的学习对比

基于价值的学习由一个 $w$ 为参数的价值函数 $Q(s,a,w)$

优化目标为最小化TD误差：

$$J(w)=E_{\pi }\left[\frac{1}{2}{(r_{t+1}+\gamma \underset{a^{\prime }\in \mathcal{A}(s^{\prime })}{max}\hat{Q}(s^{\prime },a^{\prime },w)-\hat{Q}(s,a,w))}^2\right]$$

更新方式

$$w_{t+1}=w_t+{\alpha }_t[r_{t+1}+\gamma \underset{a\in \mathcal{A}(s_{t+1})}{max}{\hat{Q}}_{\pi }(s_{t+1},a,w_t)-\hat{Q}(s_t,a_t,w_t)]{▽}_w\hat{Q}(s_t,a_t,w_t)$$

基于策略梯度的学习 由一个 $\theta$ 为参数的策略函数 $\pi (a|s,\theta )$

优化目标为最大化策略度量指标

$$\underset{\theta }{max}J(\theta )=E_{{\pi }_{\theta }}[\pi (a|s,\theta ){\hat{\delta }}_{\pi }(s,a)]$$

更新方式

$${\theta }_{t+1}={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot {\hat{\delta }}_t^{\pi }(s_t,a_t)]$$

5.2 基于蒙特卡洛的策略梯度——REINFORCE

不管采用哪种策略度量指标，对策略函数的优化方法通过梯度上升法最大化 $J(\theta )$

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {▽}_{\theta }J(\theta )\\ & ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot Q_{\pi }(S,A)]\\ & \stackrel{\mathrm{随}\mathrm{机}\mathrm{梯}\mathrm{度}\mathrm{上}\mathrm{升}\mathrm{法}}{=}{\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot Q_{\pi }(s_t,a_t)\end{array}$$

此外，真实的动作价值 $Q_{\pi }(s_t,a_t)$ 也是未知的，需要近似

• 基于MC方法去近似动作价值，称为 REINFORCE 算法

  用累积奖励值的无偏采样 $Q_t(s_t,a_t)=G_t$ 去近似 $Q_{\pi }(s_t,a_t)$

• 基于TD方法去近似，称为AC算法

5.2.3 伪代码

$$\overline{)\begin{array}{ll}& \mathrm{初}\mathrm{始}\mathrm{化}：\mathrm{带}\mathrm{参}\mathrm{策}\mathrm{略}\mathrm{函}\mathrm{数}\pi (a|s,\theta ),\gamma \in (0,1),\alpha >0\\ & \mathrm{目}\mathrm{标}：\mathrm{寻}\mathrm{找}\mathrm{最}\mathrm{优}\mathrm{策}\mathrm{略}\mathrm{即}\mathrm{最}\mathrm{大}\mathrm{化}\mathrm{目}\mathrm{标}\mathrm{函}\mathrm{数}J(\theta )\\ & \mathrm{对}\mathrm{于}\mathrm{第}k\mathrm{轮}\mathrm{迭}\mathrm{代}:\\ & \mathrm{以}{s}_0\mathrm{为}\mathrm{起}\mathrm{始}\mathrm{状}\mathrm{态}，\mathrm{基}\mathrm{于}\mathrm{策}\mathrm{略}\pi ({\theta }_t)\mathrm{生}\mathrm{成}\mathrm{一}\mathrm{个}\mathrm{回}\mathrm{合}(s_0,a_0,r_1,\cdots ,s_{T-1},a_{T-1},r_T)\\ & \mathrm{对}\mathrm{于}t=0,1,\cdots ,T-1:\\ & \mathrm{价}\mathrm{值}\mathrm{更}\mathrm{新}：Q_t(s_t,a_t)=\sum _{k=t+1}^T{\gamma }^{k-t-1}{r}_k\\ & \mathrm{策}\mathrm{略}\mathrm{更}\mathrm{新}：{\theta }_{t+1}={\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot Q_t(s_t,a_t)\\ & {\theta }_t={\theta }_T\end{array}}$$

采样

从 $(s_t,a_t)$ 出发，采集一个回合

• 采集状态样本： $S\sim d$ ，其中分布 $d$ 状态为在策略 $\pi$ 下的稳态分布

• 采集动作样本：$A\sim \pi (A|S,\theta )$ ，$a_t$ 是策略 $\pi (a|s_t,{\theta }_t)$ 的采样

由采样也可看出，REINFORCE 算法为同策略 on-policy 算法

REINFORCE是离线方法

基于蒙特卡洛方法，必须将所有的回合数据采集完后才能开始运行，所以策略 ${\theta }_{t+1}$ 更新后，并没有立即产生数据，即REINFORCE算法是一种离线算法

缺点：

• 基于片段式数据的任务，任务需要终止状态，才能去计算回报

• 低数据利用效率：需要大量的训练数据

• 高训练方差

  从单个或多个片段中采样到的回报去估计动作价值有很高的方差

5.2.2 算法分析

由于 ${▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)=\frac{{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}$

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot Q_{\pi }(s_t,a_t)\\ & ={\theta }_t+\alpha \left(\frac{{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}\right)\cdot Q_{\pi }(s_t,a_t)\\ & ={\theta }_t+\alpha \underset{{\beta }_t}{\underbrace{\left(\frac{Q_{\pi }(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}\right)}}{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)\\ & ={\theta }_t+\alpha {\beta }_t{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$$

其中，$\alpha {\beta }_t$ 作为梯度上升法的步长，必须足够小

• 若 ${\beta }_t>0$ ，则在 $s_t$ 时选择 $a_t$ 的可能性被提高，即 $\pi (a_t|s_t,{\theta }_{t+1})>\pi (a_t|s_t,{\theta }_t)$ ，且 ${\beta }_t$ 越大，增大程度越大
• 若 ${\beta }_t<0$ ，则 $\pi (a_t|s_t,{\theta }_{t+1})<\pi (a_t|s_t,{\theta }_t)$

对于任意的${\theta }_t$ 与 ${\theta }_{t+1}$ ，当 ${\theta }_{t+1}-{\theta }_t$ 足够小时，

$$\pi (a_t|s_t,{\theta }_{t+1})\approx \pi (a_t|s_t,{\theta }_t)+{({▽}_{\theta }\pi (a_t|s_t,{\theta }_t))}^T({\theta }_{t+1}-{\theta }_t)$$

从微分角度看，随着 ${\theta }_{t+1}-{\theta }_t\to 0$ ，这个近似变为等式

$$\begin{array}{rl}\pi (a_t|s_t,{\theta }_{t+1})& \approx \pi (a_t|s_t,{\theta }_t)+{({▽}_{\theta }\pi (a_t|s_t,{\theta }_t))}^T({\theta }_{t+1}-{\theta }_t)\\ & \stackrel{{\theta }_{t+1}-{\theta }_t\to 0}{=}\pi (a_t|s_t,{\theta }_t)+{({▽}_{\theta }\pi (a_t|s_t,{\theta }_t))}^T(\alpha {\beta }_t{▽}_{\theta }\pi (a_t|s_t,{\theta }_t))\\ & =\pi (a_t|s_t,{\theta }_t)+\alpha {\beta }_t\Vert {▽}_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }_2\end{array}$$

其中，梯度上升法步长 $\alpha >0$ ，由此可见，当 ${\beta }_t>0$ 时，$\pi (a_t|s_t,{\theta }_{t+1})>\pi (a_t|s_t,{\theta }_t)$ ；当 ${\beta }_t<0$ ，$\pi (a_t|s_t,{\theta }_{t+1})<pi(a_t|s_t,{\theta }_t)$

${\beta }_t=\frac{Q_{\pi }(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}$ 能很好平衡探索与利用

利用 ：若某个动作价值大， $Q_{\pi }(s_t,a_t)$ 越大，则策略更新后，在 $s_t$ 下选择 $a_t$ 的可能性越大

${\beta }_t\propto Q_{\pi }(s_t,a_t)$ ，若 $Q_{\pi }(s_t,a_t)$ 增大，则 ${\beta }_t$ 会增大，引起 $\pi (a_t|s_t,{\theta }_{t+1})$ 增大

探索 ：若在状态 $s_t$ 下，选择动作 $a_t$ 的可能性很小，则策略更新后，会增大选择 $a_t$ 的可能性

$\pi (a_t|s_t,{\theta }_t)$ 越小，则 ${\beta }_t$ 越大，从而 $\pi (a_t|s_t,{\theta }_{t+1})$ 会增大

5.3 AC方法

将价值近似函数引入到策略梯度中，得到了 Actor-Critic 方法

Actor：策略更新，策略会被应用于决策/动作选择

• 生成使评论家满意的策略

Critic：策略评估/价值评估，用度量指标衡量策略的优劣

• 学会准确估计演员策略所采取动作的价值函数

• QAC
• A2C：通过引入偏置量减少估计的方差
• off-policy AC：将on-policy方法转换为 off-policy 方法
  • 重要性采样
• DPG：随机策略变为确定性策略

策略梯度方法的步骤：

1. 用于度量策略好坏的策略度量指标函数/目标函数 $J(\theta )$ ，如：${\bar{V}}_{\pi },{\bar{r}}_{\pi }$

2. Critic（策略评估）：最小化价值函数与价值的损失

   $$\begin{gathered} Q(s,a)\simeq {\hat{Q}}_w(s,a)=r(s,a)+\gamma E_{s^{\prime }\sim P(s^{\prime }|s,a),a^{\prime }\sim {\pi }_w(a^{\prime }|s^{\prime })}[Q_w(s^{\prime },a^{\prime })] \\ {w}_{t+1}=w_t+{\alpha }_w[r_{t+1}+\gamma {\hat{Q}}_t(s_{t+1},a_{t+1},w_t)-{\hat{Q}}_t(s_t,a_t,w_t)]{▽}_w\hat{Q}(s_t,a_t,w_t) \end{gathered}$$

3. Actor（策略更新）

   通过梯度上升法最大化 $J(\theta )$

   $$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {▽}_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot Q_{\pi }(S,A)]\end{array}$$

   为便于计算，使用随机梯度上升法

   $${\theta }_{t+1}={\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,\theta )\cdot Q_t(s_t,a_t)$$

策略梯度的方法为 Actor ，其中 $Q_t(s_t,a_t)$ 作为价值评估/策略评估，对应 Critic

对于 ${\hat{Q}}_w(s,a)$ 的获取，若使用TD方法，这类算法统称为 AC 方法

5.3.1 QAC

$$\overline{)\begin{array}{ll}& \mathrm{初}\mathrm{始}\mathrm{化}：\mathrm{带}\mathrm{参}\mathrm{策}\mathrm{略}\mathrm{函}\mathrm{数}\pi (a|s,\theta ),\gamma \in (0,1),\alpha >0\\ & \mathrm{目}\mathrm{标}：\mathrm{寻}\mathrm{找}\mathrm{最}\mathrm{优}\mathrm{策}\mathrm{略}\mathrm{即}\mathrm{最}\mathrm{大}\mathrm{化}\mathrm{目}\mathrm{标}\mathrm{函}\mathrm{数}J(\theta )\\ & \mathrm{对}\mathrm{于}\mathrm{每}\mathrm{个}\mathrm{回}\mathrm{合}\mathrm{的}t\mathrm{时}\mathrm{刻}：\\ & \mathrm{基}\mathrm{于}\mathrm{策}\mathrm{略}\pi (a|s_t,{\theta }_t)\mathrm{生}\mathrm{成}\mathrm{动}\mathrm{作}{a}_t,\mathrm{获}\mathrm{得}{r}_{t+1},s_{t+1},\mathrm{再}\mathrm{基}\mathrm{于}\pi (a|s_{t+1},{\theta }_t)\mathrm{生}\mathrm{成}{a}_{t+1}\\ & \mathrm{即}(s_t,a_t,r_{t+1},s_{t+1},a_{t+1})\\ & Critic(\mathrm{价}\mathrm{值}\mathrm{更}\mathrm{新}):\\ & w_{t+1}=w_t+{\alpha }_w[r_{t+1}+\gamma {\hat{Q}}_t(s_{t+1},a_{t+1},w_t)-{\hat{Q}}_t(s_t,a_t,w_t)]{▽}_w\hat{Q}(s_t,a_t,w_t)\\ & Actor(\mathrm{策}\mathrm{略}\mathrm{更}\mathrm{新}):\\ & {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{▽}_{\theta }\ln \pi (a_t|s_t,\theta )\cdot {\hat{Q}}_t(s_t,a_t,w_{t+1})\end{array}}$$

• 实质上，是 基于价值近似函数的Sarsa+策略梯度

QAC是同策略 on-policy 算法

在求最优化时，由于存在一个期望 ${▽}_{\theta }J({\theta }_t)=E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )Q_{\pi }(S,A)]$ ，故将算法修改为随机梯度上升法

动作需要按照策略 ${\pi }^{(t)}$ 的分布采样，所以 ${\pi }^{(t)}$ 是探索策略，同时又是不断改进的策略，所以是目标策略，因此 QAC 是同策略算法

QAC是随机性策略

采取每个动作 $a_t\in \mathcal{A}(s_t)$ 的概率 $\pi (a_t|s_t,{\theta }_t)>0$

所以，策略本身就具有一定的探索能力 $\pi (a|s,\theta )$ ，不需要 $\epsilon -\mathrm{贪}\mathrm{心}$ 去探索

5.3.2 A2C

advantage actor-critic(A2C)：核心思想是通过引入一个偏置量 bias 减小方差，即

策略梯度对于额外的偏置量是不变的

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot Q_{\pi }(S,A)]\\ & =E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )\cdot (Q_{\pi }(S,A)-b(S))]\end{array}$$

额外的偏置量是关于状态变量 $S$ 的偏置量

• 为什么引入偏置量不改变策略梯度

  相当于证明 $E_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )b(S)]=0$

  $$\begin{array}{rl}{E}_{S\sim \eta ,A\sim \pi (A|S,\theta )}[{▽}_{\theta }\ln \pi (A|S,\theta )b(S)]& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta ){▽}_{\theta }\ln \pi (A|S,\theta )b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta )\frac{{▽}_{\theta }\pi (a|s,\theta )}{\pi (a|s,\theta )}b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s)\sum _{a\in \mathcal{A}(s)}{▽}_{\theta }\pi (a|s,\theta )\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){▽}_{\theta }(\sum _{a\in \mathcal{A}(s)}\pi (a|s,\theta ))\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){▽}_{\theta }1=0\end{array}$$

• 为什么引入偏置量能减小估计方差

  令 ${▽}_{\theta }J(\theta )=E[X]$ ，其中 $X(S,A)={▽}_{\theta }\ln \pi (A|S,\theta )\cdot (Q_{\pi }(S,A)-b(S))$

  $X$ 的期望 $E[X]$ 与 $b(S)$ 无关，方差 $var(X)$ 与 $b(S)$ 有关

  使用方差的迹评价方差大小，$tr[var(X)]=E[X^{T}X]-{\bar{X}}^T\bar{X}$

  已知 ${\bar{X}}^T\bar{X}={(E[X])}^{T}E[X]$ 与偏置量 $b(S)$ 无关

  $$\begin{array}{rl}E[X^{T}X]& =E[{({▽}_{\theta }\ln \pi )}^T{▽}_{\theta }\ln \pi \cdot {(Q_{\pi }(S,A)-b(S))}^2]\\ & =E[\Vert {▽}_{\theta }\ln \pi {\Vert }_2^2\cdot {(Q_{\pi }(S,A)-b(S))}^2]\\ & \stackrel{S\sim \eta ,A\sim \pi }{=}\sum _{s\in \mathcal{S}}\eta (s)E_{A\sim \pi }[\Vert {▽}_{\theta }\ln \pi {\Vert }_2^2\cdot {(Q_{\pi }(S,A)-b(S))}^2]\end{array}$$

  可见偏置量 $b(S)$ 对策略度量函数梯度的方差有影响，

  为使 $var(X)$ 最小化，最优的偏差应使 ${▽}_{b}E[X^{T}X]=0$ ，即

  $$\begin{array}{rl}& E_{A\sim \pi }[\Vert {▽}_{\theta }\ln \pi {\Vert }_2^2\cdot (Q_{\pi }(s,A)-b(s))]=0,s\in \mathcal{S}\\ \Rightarrow & b^{\ast }=\frac{E_{A\sim \pi }[\Vert {▽}_{\theta }\ln \pi {\Vert }_2^2]Q_{\pi }(s,A)}{E_{A\sim \pi }[\Vert {▽}_{\theta }\ln \pi {\Vert }_2^2]},s\in \mathcal{S}\end{array}$$

  且 $b(S)=0$ 不是好的偏置

  • 对于 REINFORCE 与 QAC 算法，其偏置量 $b(S)=0$ ，并不是好的偏置

减小方差的意义：采样时会有更小的误差，在均值相同的情况下，采样时方差小的样本集，每个样本 $X$ 都接近平均值。即使用RM算法近似策略梯度时，随机采集到的每个样本都能接近期望，使策略梯度受随机采样的影响程度最小，进而使得最优化的结果受采样的影响程度最小

因此，在A2C中，算法目标为对 $\theta$ 最优化，使得 $J(\theta )$ 最大，同时，选择一个最优的偏置 $b(S)$ 最小化策略梯度方差 $var(X),X={▽}_{\theta }\ln \pi (A|S,\theta )\cdot (Q_{\pi }(S,A)-b(S))$

$$b^{\ast }(s)=\frac{E_{A\sim \pi (A|s,{\theta }_t)}[\Vert {▽}_{{\theta }_t}\ln \pi (A|s,{\theta }_t){\Vert }^2\cdot Q(s,A)]}{E_{A\sim \pi (A|s,{\theta }_t)}[\Vert {▽}_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2]},s\in \mathcal{S}$$

尽管存在最优的偏置量，但为了计算方便，移除权重 $\Vert {▽}_{\theta }\ln \pi (A|s,{\theta }_t){\Vert }^2$ ，仅使用次优偏置量

$$b(s)=E_{A\sim \pi (A|S,{\theta }_t)}[Q(s,A)]=V_{\pi ({\theta }_t)}(s)$$

算法

令偏置量 $b(s)=V_{\pi }(s)$

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (A|S,{\theta }_t)\cdot (Q_{\pi }(S,A)-b(S))]\\ & ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (A|S,{\theta }_t)\cdot (Q_{\pi }(S,A)-V_{\pi }(S))]\\ & \stackrel{{\delta }_{\pi }(S,A)=Q_{\pi }(S,A)-V_{\pi }(S)}{=}{\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (A|S,{\theta }_t)\cdot {\delta }_{\pi }(S,A)]\end{array}$$

${\delta }_{\pi }(S,A)$ 称为优势函数，因为 $V_{\pi }(s)=\sum _{a\in \mathcal{A}(s)}\pi (a|s,{\theta }_t)Q_{\pi }(s,a)$ ，即状态价值为动作价值的加权平均，若某个动作价值比均值大，说明这个动作是比较好的，其 $Q(s,a)$ 比均值大，${\delta }_{\pi }(s,a)>0$ ，这个动作具有一定优势

• 使用 $\delta$ 代替动作价值 $Q$ ，因为我们在乎的不是动作价值的绝对大小，而是动作价值间的相对大小

将梯度上升法改为随机梯度上升法

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (A|S,{\theta }_t)\cdot [Q_{\pi }(S,A)-V_{\pi }(S)]]\\ & ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi (A|S,{\theta }_t)}[{▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot [{\hat{Q}}_t(s_t,a_t,w_t)-{\hat{V}}_t(s_t,w_t)]]\\ & ={\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot {\hat{\delta }}_t(s_t,a_t)\end{array}$$

另外，由动作价值定义：

$$E[Q_{\pi }(S,A)-V_{\pi }(S)|S=s_t,A=a_t]=E[R^{\prime }+\gamma V_{\pi }(S^{\prime })-V_{\pi }(S)|S=s_t,A=a_t]$$

优势函数可以用TD误差来近似：

$$\begin{array}{rl}& \hat{\delta }(s_t,a_t,w_t)={\hat{Q}}_t(s_t,a_t,w_t)-{\hat{V}}_t(s_t,w_t)\\ ⟹& \hat{\delta }(s_t,w_t)=r_{t+1}+\gamma {\hat{V}}_t(s_{t+1},w_t)-{\hat{V}}_t(s_t,w_t)\end{array}$$

因此，我们仅需要一个神经网络来近似 $V_{\pi }(S)$ 而不再需要动作价值网络 $Q_{\pi }(S,A)$

伪代码

$$\overline{)\begin{array}{ll}& \mathrm{初}\mathrm{始}\mathrm{化}：\mathrm{带}\mathrm{参}\mathrm{策}\mathrm{略}\mathrm{函}\mathrm{数}\pi (a|s,\theta ),\gamma \in (0,1),\alpha >0\\ & \mathrm{目}\mathrm{标}：\mathrm{寻}\mathrm{找}\mathrm{最}\mathrm{优}\mathrm{策}\mathrm{略}\mathrm{即}\mathrm{最}\mathrm{大}\mathrm{化}\mathrm{目}\mathrm{标}\mathrm{函}\mathrm{数}J(\theta )\\ & \mathrm{对}\mathrm{于}\mathrm{每}\mathrm{个}\mathrm{回}\mathrm{合}\mathrm{的}t\mathrm{时}\mathrm{刻}：\\ & \mathrm{基}\mathrm{于}\mathrm{策}\mathrm{略}\pi (a|s_t,{\theta }_t)\mathrm{生}\mathrm{成}\mathrm{动}\mathrm{作}{a}_t,\mathrm{获}\mathrm{得}{r}_{t+1},s_{t+1}\\ & TD\mathrm{误}\mathrm{差}：\\ & {\hat{\delta }}_t=r_{t+1}+\gamma \hat{V}(s_{t+1},w_t)-\hat{V}(s_t,w_t)\\ & Critic(\mathrm{价}\mathrm{值}\mathrm{更}\mathrm{新}):\\ & w_{t+1}=w_t+{\alpha }_w{\hat{\delta }}_t{▽}_w\hat{V}(s_t,w_t)\\ & Actor(\mathrm{策}\mathrm{略}\mathrm{更}\mathrm{新}):\\ & {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\hat{\delta }}_t{▽}_{\theta }\ln \pi (a_t|s_t,\theta )\end{array}}$$

A2C是同策略算法

在一步迭代后，${\theta }_t$ 会更新为 ${\theta }_{t+1}$ ，同时，会基于更新后的策略 $\pi (a|s_t,{\theta }_t)$ 生成下一步经验，因此策略 $\pi$ 既是目标策略又是探索策略

A2C是随机性策略

由于策略梯度算法需要经过 Softmax 层，所以每个动作的概率 $\pi (a|s)>0$ ，即随机性策略

$\text{step size}=\frac{{\delta }_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}$ 能很好平衡探索与利用

由于 ${▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)=\frac{{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}$

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot {\hat{\delta }}_t(s_t,a_t)\\ & ={\theta }_t+\alpha \left(\frac{{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}\right)\cdot {\hat{\delta }}_t(s_t,a_t)\\ & ={\theta }_t+\alpha \underset{\text{step size}}{\underbrace{\left(\frac{{\hat{\delta }}_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}\right)}}{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$$

利用

step size 比较大，也就是优势函数 ${\hat{\delta }}_t(s_t,a_t)$ 比较大，即 $a_t$ 的动作价值 $Q_{{\pi }_{{\theta }_t}}(s_t,a_t)$ 明显大于 $s_t$ 下的平均动作价值 $V_{\pi }(s)$ ，则策略更新后，在 $s_t$ 下选择 $a_t$ 的可能性越大

$\text{step size}\propto {\hat{\delta }}_t(s_t,a_t)$ ，若 ${\hat{\delta }}_t(s_t,a_t)$ 增大，则 $\text{step size}$ 会增大，策略更新时会朝着 $\pi (a_t|s_t,{\theta }_{t+1})$ 增大的方向更新

探索 ：若在状态 $s_t$ 下，选择动作 $a_t$ 的可能性很小，则策略更新后，会增大选择 $a_t$ 的可能性

$\pi (a_t|s_t,{\theta }_t)$ 越小，则 $\text{step size}$ 越大，从而 $\pi (a_t|s_t,{\theta }_{t+1})$ 会增大

5.3.3 异策略AC算法

REINFORCE ，QAC ，A2C 都是同策略算法，因为在计算策略度量指标梯度时，涉及到期望的计算

$${▽}_{\theta }J(\theta )=E_{S\sim \eta ,A\sim \pi }[\ast ]$$

基于RM算法，改为随机梯度下降法，由于在采样过程中，由于动作 $A\sim \pi (A|S,{\theta }_t)$ 策略 $\pi$ 作为探索策略同时也是目标策略，所以他们都是同策略算法

为复用通过其他方法得到的一些经验，通过 重要性采样 技巧，可将其改为异策略AC算法

• 同理，重要性采样可用于任何估计期望的算法中

对于异策略算法，我们希望估计 $E_{A\sim \pi }[\ast ],(A\sim p_0)$ ，其中 $\pi$ 是目标策略，而样本基于探索策略 $\mu ,(\{a_i\}\sim p_1)$

异策略策略梯度

1. 策略梯度表达式
2. 使用梯度上升的方法优化

异策略梯度表达式

设 $\mu$ 为探索策略用于生成经验样本，目标是使用这些经验样本去更新目标策略 $\pi$ ，使得策略度量指标 $J(\theta )$ 最小化

$$J(\theta )=\sum _{s\in \mathcal{S}}{d}_{\mu }(s)V_{\pi }(s)=E_{S\sim d_{\mu }}[V_{\pi }(S)]$$

其中，$d_{\mu }$ 是状态 $S$ 在策略 $\mu$ 下的稳态分布

异策略梯度

在折扣奖励情况下 $\gamma \in (0,1)$ ，目标函数 $J(\theta )$ 的梯度为

$${▽}_{\theta }J(\theta )=E_{S\sim \eta ,A\sim \mu }[\underset{\mathrm{重}\mathrm{要}\mathrm{性}\mathrm{权}\mathrm{重}}{\underbrace{\frac{\pi (A|S,\theta )}{\mu (A|S)}}}{▽}_{\theta }\ln \pi (A|S,\theta )Q_{\pi }(S,A)]$$

• $\mu$ 为探索策略，$\eta$ 为状态服从的分布$$\eta (s)=\sum _{s^{\prime }\in \mathcal{S}}{d}_{\mu }(s^{\prime })P{r}_{\pi }(s|s^{\prime })$$$P{r}_{\pi }(s|s^{\prime })=\sum _{k=0}^{\mathrm{\infty }}{\gamma }^k{\left[P_{\pi }^k\right]}_{s^{\prime }s}=[(I-\gamma P_{\pi }{)}^{-1}{]}_{s^{\prime }s}$ ，表示基于策略 $\pi$ 从状态 $s^{\prime }$ 转移到 $s$ 的概率，其中 $[\cdot {]}_{s^{\prime }s}$ 表示矩阵第 $s^{\prime }$ 行，第 $s$ 列的值

异策略梯度优化

异策略梯度仍引入偏置量 $b(S)$ ，有

$${▽}_{\theta }J(\theta )=E_{S\sim \eta ,A\sim \mu }[\frac{\pi (A|S,\theta )}{\mu (A|S)}{▽}_{\theta }\ln \pi (A|S,\theta )\cdot (Q_{\pi }(S,A)-b(S))]$$

为减少估计方差，令偏置量 $b(S)=V_{\pi }(S)$

$${▽}_{\theta }J(\theta )=E_{S\sim \eta ,A\sim \mu }[\frac{\pi (A|S,\theta )}{\mu (A|S)}{▽}_{\theta }\ln \pi (A|S,\theta )\cdot (Q_{\pi }(S,A)-V_{\pi }(S))]$$

相应的随机梯度上升算法为

$${\theta }_{t+1}={\theta }_t+\alpha \frac{\pi (a_t|s_t,{\theta }_t)}{\mu (a_t|s_t)}{▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot \left(\underset{{\delta }_t(s_t,a_t)}{\underbrace{{\hat{Q}}_t(s_t,a_t,w_t)-{\hat{V}}_t(s_t,w_t)}}\right)$$

为了便于计算，将优势函数 ${\delta }_t(s_t,a_t)$ 用TD误差去近似

$${\hat{Q}}_t(s_t,a_t,w_t)-{\hat{V}}_t(s_t,w_t)\approx r_{t+1}+\gamma {\hat{V}}_t(s_{t+1},w_t)-{\hat{V}}_t(s_t,w_t)={\hat{\delta }}_t(s_t,a_t)$$

因此，异策略梯度优化为

$${\theta }_{t+1}={\theta }_t+\alpha \frac{\pi (a_t|s_t,{\theta }_t)}{\mu (a_t|s_t)}{▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot {\hat{\delta }}_t(s_t,a_t)$$

充分利用的算法

在异策略梯度中

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha \frac{\pi (a_t|s_t,{\theta }_t)}{\mu (a_t|s_t)}{▽}_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\cdot {\hat{\delta }}_t(s_t,a_t)\\ & ={\theta }_t+\alpha \frac{{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)}{\mu (a|s_t)}{\hat{\delta }}_t(s_t,a_t)\\ & ={\theta }_t+\alpha \frac{{\hat{\delta }}_t(s_t,a_t)}{\mu (a|s_t)}{▽}_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$$

此时，$\mu (a|s_t)$ 可看做是固定值，若 ${\hat{\delta }}_t(s_t,a_t)$ 越大，则表明动作 $a_t$ 的优势越大，策略更新时要朝着 $a_t$ 增大的方向迭代，即充分利用

伪代码

$$\overline{)\begin{array}{ll}& \mathrm{初}\mathrm{始}\mathrm{化}：\mathrm{探}\mathrm{索}\mathrm{策}\mathrm{略}\mathrm{为}\mu (a|s),\mathrm{带}\mathrm{参}\mathrm{目}\mathrm{标}\mathrm{策}\mathrm{略}\mathrm{函}\mathrm{数}\pi (a|s,{\theta }_0),\gamma \in (0,1),\alpha >0\\ & \mathrm{状}\mathrm{态}\mathrm{价}\mathrm{值}\mathrm{近}\mathrm{似}\mathrm{函}\mathrm{数}\hat{V}(s,w^{(0)})\\ & \mathrm{目}\mathrm{标}：\mathrm{寻}\mathrm{找}\mathrm{最}\mathrm{优}\mathrm{策}\mathrm{略}\mathrm{即}\mathrm{最}\mathrm{大}\mathrm{化}\mathrm{目}\mathrm{标}\mathrm{函}\mathrm{数}J(\theta )\\ & \mathrm{对}\mathrm{于}\mathrm{每}\mathrm{个}\mathrm{回}\mathrm{合}\mathrm{的}t\mathrm{时}\mathrm{刻}：\\ & \mathrm{基}\mathrm{于}\mathrm{探}\mathrm{索}\mathrm{策}\mathrm{略}\mu (a|s_t)\mathrm{生}\mathrm{成}\mathrm{动}\mathrm{作}{a}_t,\mathrm{获}\mathrm{得}{r}_{t+1},s_{t+1}\\ & TD\mathrm{误}\mathrm{差}（\mathrm{优}\mathrm{势}\mathrm{函}\mathrm{数}）：\\ & {\hat{\delta }}_t=r_{t+1}+\gamma \hat{V}(s_{t+1},w_t)-\hat{V}(s_t,w_t)\\ & Critic(\mathrm{价}\mathrm{值}\mathrm{更}\mathrm{新}):\\ & w_{t+1}=w_t+{\alpha }_w{\hat{\delta }}_t\frac{\pi (a_t|s_t,{\theta }_t)}{\mu (a_t|s_t)}{▽}_w\hat{V}(s_t,w_t)\\ & Actor(\mathrm{策}\mathrm{略}\mathrm{更}\mathrm{新}):\\ & {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\hat{\delta }}_t\frac{\pi (a_t|s_t,{\theta }_t)}{\mu (a_t|s_t)}{▽}_{\theta }\ln \pi (a_t|s_t,\theta )\end{array}}$$

5.3.4 Deterministic actor-critic(DPG)

策略梯度算法，为便于求解，将策略度量函数的梯度转换为期望形式，使用RM算法去近似估计。而这个转换设计 $\ln \pi$ ，因此，$\pi (a|s,\theta )>0,\mathrm{\forall }a$ ，即每个动作的概率都不为0，也不会有动作的概率为1，所以 REINFORCE、QAC，A2C，异策略A2C 都是随机性策略

随机性策略的缺点是动作 $a_t$ 的个数必须有限，不能处理连续动作

若改用确定性策略，可以处理连续的动作，表示为 $a=\pi (s,\theta )$ ，相当于采取某个动作的概率为1，其余动作概率为0

• $\pi$ 为从状态空间 $\mathcal{S}$ 到动作空间 $\mathcal{A}$ 的映射 $\pi :\mathcal{S}\mapsto \mathcal{A}$
• $\pi$ 也可以是一个神经网络，其输入是状态 $s$ ，输出是一个动作 $a$ ，其参数为 $\theta$

image-20240512000149033

梯度的计算

之前的梯度仅是针对随机策略的梯度，若策略是确定性的，需要重新计算梯度

确定性策略梯度的统一形式

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s){▽}_{\theta }\pi (s)({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s,\theta )}\\ & =E_{s\sim \eta }[{▽}_{\theta }\pi (s)({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s,\theta )}]\end{array}$$

• $\eta$ 为状态 $s$ 的分布，具体表达式由探索策略下状态的稳态分布与基于策略 $\pi$ 的状态转移确定
• 对于策略 $\pi$ 下的动作价值 $Q_{\pi }(s,a)$ ，先对 $a$ 求梯度，然后将所有的动作替换为 $\pi (s)$ ——二者是等价的

DPG天然是异策略

首先，actor 是异策略的

• 求策略度量梯度时并不涉及动作的分布，因为这个动作 $a$ 会被替换为 $\pi (s)$ ，所以不需要 $A$ 对应的分布

  之后使用随机梯度上升法相当于对真实的梯度进行随机采样，若在采样时，给定了一个 $s_t$ ，根据这个状态 $s_t$ 可以得到 $a_t$ ，并不需要关心这个 $a_t$ 是哪个策略得到的，因此可以使用任何的探索策略，即DPG天然是异策略的

其次，critic 也是异策略的

• 对价值函数的近似需要的经验样本是 $(s_t,a_t,r_{t+1},s_{t+1},{\tilde{a}}_{t+1})$ ，${\tilde{a}}_{t+1}=\pi (s_{t+1})$ ，这个经验样本的生成涉及两个策略

  第一个策略是对状态 $s_t$ 时生成 $a_t$ ，这个策略是探索策略，$a_t$ 用于与环境交互

  第二个策略是对状态 $s_{t+1}$ 生成 ${\tilde{a}}_{t+1}$ ，这个策略必须是 $\pi$ ，因为这是 critic 要去评价的策略 ，所以 $\pi$ 是目标策略，${\tilde{a}}_{t+1}$ 在下一时刻并不会用于与环境实际交互

两种常用的度量指标梯度

平均状态价值

将平均状态价值的折扣情况作为策略度量指标

$$J(\theta )={\bar{V}}_{\pi }=E[V_{\pi }(S)]=\sum _{s\in \mathcal{S}}{d}_0(s)V_{\pi }(s)$$

其中，$\sum _{s\in \mathcal{S}}{d}_0(s)=1$ ，为了便于计算，状态服从与策略 $\pi$ 独立的稳态分布

关于状态分布的选择：

• $d_0(s_0)=1$ 且 $d_0(s\ne s_0)=0$ ，其中状态 $s_0$ 是我们关注的起始状态

  策略优化的目标是最大化从 $s_0$ 开始的折扣奖励

• $d_0$ 是另一个不同于 $\pi$ 的探索策略 $\mu$ 下的稳态分布

  与异策略有关，因为DPG算法天然是异策略的，不需要重要性采样进行转换

为计算目标函数的梯度，首先要计算 $\gamma \in (0,1)$ 时 $V_{\pi }(s),\mathrm{\forall }s\in \mathcal{S}$ 的梯度

$${▽}_{\theta }{V}_{\pi }(s)=\sum _{s^{\prime }\in \mathcal{S}}P{r}_{\pi }(s^{\prime }|s){▽}_{\theta }\pi (a|s^{\prime },\theta )({▽}_a{Q}_{\pi }(s^{\prime },a)){|}_{a=\pi (s^{\prime })}$$

• 其中，$P{r}_{\pi }(s^{\prime }|s)=\sum _{k=0}^{\mathrm{\infty }}{\gamma }^k{\left[P_{\pi }^k\right]}_{s{s}^{\prime }}={[(I-\gamma P_{\pi }{)}^{-1}]}_{s{s}^{\prime }}$ ，表示基于策略 $\pi$ 从状态 $s$ 转移到 $s^{\prime }$ 的概率，其中 $[\cdot {]}_{s{s}^{\prime }}$ 表示矩阵第 $s$ 行，第 $s^{\prime }$ 列的值

策略度量指标的梯度 ${▽}_{\theta }J(\theta )$ 为

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{\eta }_{\pi }(s){▽}_{\theta }\pi (s,\theta )({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s)}\\ & =E_{S\sim {\eta }_{\pi }}[{▽}_{\theta }\pi (s,\theta )({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s)}]\end{array}$$

其中，${\eta }_{\pi }(s)=\sum _{s^{\prime }\in \mathcal{S}}{d}_0(s^{\prime })P{r}_{\pi }(s|s^{\prime })$

• 其中，$P{r}_{\pi }(s|s^{\prime })=\sum _{k=0}^{\mathrm{\infty }}{\gamma }^k{\left[P_{\pi }^k\right]}_{s^{\prime }s}={[(I-\gamma P_{\pi }{)}^{-1}]}_{s^{\prime }s}$ ，表示基于策略 $\pi$ 从状态 $s^{\prime }$ 转移到 $s$ 的概率，其中 $[\cdot {]}_{s^{\prime }s}$ 表示矩阵第 $s^{\prime }$ 行，第 $s$ 列的值

平均单步立即奖励

将平均单步立即奖励作为策略度量指标

$$J(\theta )={\bar{r}}_{\pi }=\sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=E_{S\sim d_{\pi }}[r_{\pi }(S)]$$

其中，$r_{\pi }(s)=E[R|s,a=\pi (s,\theta )]=\sum _{r}rP(r|s,a=\pi (s,\theta ))$

策略梯度为

$$\begin{array}{rl}{▽}_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}{d}_{\pi }(s){▽}_{\theta }\pi (a|s,\theta )({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s,\theta )}\\ & =E_{S\sim d_{\pi }}[{▽}_{\theta }\pi (a|s,\theta )({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s,\theta )}]\end{array}$$

• 其中，$d_{\pi }$ 为状态 $S$ 基于策略 $\pi$ 的稳态分布

DPG算法

基于策略梯度，使用梯度上升法最大化策略度量函数

$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{E}_{S\sim {\eta }_{\pi }}[{▽}_{\theta }\pi (s,\theta )({▽}_a{Q}_{\pi }(s,a)){|}_{a=\pi (s)}]$$

相应的使用随机梯度上升法去近似

$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{▽}_{\theta }\pi (s_t,{\theta }_t)({▽}_a{Q}_{\pi }(s_t,a)){|}_{a=\pi (s_t)}$$

伪代码

$$\overline{)\begin{array}{ll}& \mathrm{初}\mathrm{始}\mathrm{化}：\mathrm{探}\mathrm{索}\mathrm{策}\mathrm{略}\mathrm{为}\mu (a|s),\mathrm{带}\mathrm{参}\mathrm{确}\mathrm{定}\mathrm{性}\mathrm{目}\mathrm{标}\mathrm{策}\mathrm{略}\mathrm{函}\mathrm{数}\pi (s,{\theta }_0),\gamma \in (0,1),\alpha >0\\ & \mathrm{状}\mathrm{态}\mathrm{价}\mathrm{值}\mathrm{近}\mathrm{似}\mathrm{函}\mathrm{数}\hat{V}(s,w^{(0)})\\ & \mathrm{目}\mathrm{标}：\mathrm{寻}\mathrm{找}\mathrm{最}\mathrm{优}\mathrm{策}\mathrm{略}\mathrm{即}\mathrm{最}\mathrm{大}\mathrm{化}\mathrm{目}\mathrm{标}\mathrm{函}\mathrm{数}J(\theta )\\ & \mathrm{对}\mathrm{于}\mathrm{每}\mathrm{个}\mathrm{回}\mathrm{合}\mathrm{的}t\mathrm{时}\mathrm{刻}：\\ & \mathrm{基}\mathrm{于}\mathrm{探}\mathrm{索}\mathrm{策}\mathrm{略}\mu (s_t,{\theta }_t)\mathrm{生}\mathrm{成}\mathrm{动}\mathrm{作}{a}_t,\mathrm{获}\mathrm{得}{r}_{t+1},s_{t+1}\\ & TD\mathrm{误}\mathrm{差}（\mathrm{优}\mathrm{势}\mathrm{函}\mathrm{数}）：\\ & {\hat{\delta }}_t=r_{t+1}+\gamma \hat{Q}(s_{t+1},\pi (s_{t+1},{\theta }_t),w_t)-\hat{Q}(s_t,a_t,w_t)\\ & Critic(\mathrm{价}\mathrm{值}\mathrm{更}\mathrm{新}):\\ & w_{t+1}=w_t+{\alpha }_w{\hat{\delta }}_t{▽}_w\hat{Q}(s_t,a_t,w_t)\\ & Actor(\mathrm{策}\mathrm{略}\mathrm{更}\mathrm{新}):\\ & {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{▽}_{\theta }\pi (s_t,{\theta }_t)({▽}_a{\hat{Q}}_{\pi }(s_t,a,w_{t+1})){|}_{a=\pi (s_t)}\end{array}}$$

对于探索策略 $\mu$ ，也可以将其变为 $\pi +\mathrm{噪}\mathrm{音}$

每次得到一个 $\pi (s)$ 后，因为 $\pi$ 本身是确定性是，不能探索，所以加上一些噪音，可以有一定的随机性，下一个动作的生成就与目标策略 $\pi$ 有了关系

• 实质上，$\pi +\mathrm{噪}\mathrm{音}$ 与 $\epsilon -\mathrm{贪}\mathrm{心}$ 非常类似，但这里不能用贪心算法，因为此处应对的时动作空间连续的情况，不能给无限的连续动作赋予一定探索概率

此时，DPG可以变为同策略算法

DPG的进一步改进

使用不同的价值近似基函数去近似 $\hat{Q}(s,a,w)$ 会得到不同的DPG改进算法

• 线性函数：$\hat{Q}(s_t,a_t,w_t)={\varphi }^T(s,a)\cdot w$

  线性近似基函数的难点在于基函数(特征向量)的选择，由于函数结构的限制，逼近动作价值的能力有限

• 神经网络 ：DDPG

https://zhuanlan.zhihu.com/p/337976595