概率推理
《人工智能现代方法》读书笔记
第 13 章标志着从确定性逻辑世界转向不确定性推理。核心内容包括:
概率基本概念
- 概率公理:0 ≤ P(A) ≤ 1、P(true) = 1、P(Ω) = 1、可加性
- 无条件概率(先验)、条件概率:P(A|B) = P(A∧B) / P(B)
- 概率的合取规则:P(A∧B) = P(A) P(B|A)
贝叶斯规则
P(A|B) = P(B|A) P(A) / P(B)
常用于因果推理(已知原因求结果)与诊断推理(已知结果求原因)的转换。
随机变量与联合分布
- 随机变量分为离散、连续(本章主要离散)
- 联合概率分布表:所有变量取值的概率总和为 1
- 边缘化(求和消元)、归一化
独立性
- 绝对独立:P(A∧B) = P(A) P(B) 或 P(A|B) = P(A)
- 条件独立:给定 C,A 与 B 独立:P(A∧B|C) = P(A|C) P(B|C)
- 条件独立是贝叶斯网络的基础
期望与方差
- 期望:E[X] = Σᵢ xᵢ P(X = xᵢ)
- 方差:Var(X) = E[(X - μ)²]
推理方法
- 枚举推理:用联合分布计算后验概率,复杂度指数级
- 拒绝采样(简单介绍,后续章节详述)
本章重点是掌握概率语言及其在 AI 中的应用,为后续贝叶斯网络、MDP、强化学习打下基础。