第 17 章在第 16 章单步决策的基础上，扩展到序列决策，考虑当前动作影响未来状态与收益。核心内容包括：

马尔可夫决策过程（MDP）

五元组：状态集合 S、动作集合 A(s)、转移模型 P(s'|s,a)、奖励函数 R(s,a,s')（或 R(s,a)）、折扣因子 γ ∈ [0,1]。

• 策略 π(s)：状态到动作的映射
• 价值函数：状态价值 V^π(s) 和动作价值 Q^π(s,a)
• 贝尔曼方程：V^π(s) = Σₛ' P(s'|s,π(s)) [R(s,π(s),s') + γV^π(s')]
• 最优价值函数 V* 满足贝尔曼最优方程：V*(s) = max_a Σ P(s'|s,a) [R(s,a,s') + γV*(s')]

求解 MDP 的算法

• 值迭代：反复应用贝尔曼最优算子更新 V，直到收敛
• 策略迭代：交替进行策略评估和策略改进，通常收敛更快
• 线性规划：将 MDP 转化为线性规划求解（适用于小规模）

部分可观测 MDP（POMDP）

• 在 MDP 基础上加入观测模型 P(o|s,a)
• 信念状态 b(s) 是状态上的概率分布
• 信念状态的更新：给定动作 a 和观测 o，新信念 b'(s') = α P(o|s',a) Σₛ P(s'|s,a) b(s)
• POMDP 的求解：将问题转化为连续状态 MDP（信念空间），常用方法包括离线值迭代（如 PBVI）和在线规划（如蒙特卡洛树搜索）

POMDP 的近似方法

• 基于点的值迭代（PBVI）只关注可达信念点
• 在线方法：实时动态规划（RTDP）、蒙特卡洛树搜索（MCTS）
• 简化假设：使用最可能状态（「最可能信念」方法）或有限历史窗口

不同模型的比较