Oasis's Cloud

一个人的首要责任,就是要有雄心。雄心是一种高尚的激情,它可以采取多种合理的形式。
—— 《一个数学家的辩白》

概率推理

《人工智能现代方法》读书笔记

作者:oasis


第 13 章标志着从确定性逻辑世界转向不确定性推理。核心内容包括:

概率基本概念

  • 概率公理:0 ≤ P(A) ≤ 1、P(true) = 1、P(Ω) = 1、可加性
  • 无条件概率(先验)条件概率:P(A|B) = P(A∧B) / P(B)
  • 概率的合取规则:P(A∧B) = P(A) P(B|A)

贝叶斯规则

P(A|B) = P(B|A) P(A) / P(B)

常用于因果推理(已知原因求结果)与诊断推理(已知结果求原因)的转换。

随机变量与联合分布

  • 随机变量分为离散、连续(本章主要离散)
  • 联合概率分布表:所有变量取值的概率总和为 1
  • 边缘化(求和消元)、归一化

独立性

  • 绝对独立:P(A∧B) = P(A) P(B) 或 P(A|B) = P(A)
  • 条件独立:给定 C,A 与 B 独立:P(A∧B|C) = P(A|C) P(B|C)
  • 条件独立是贝叶斯网络的基础

期望与方差

  • 期望:E[X] = Σᵢ xᵢ P(X = xᵢ)
  • 方差:Var(X) = E[(X - μ)²]

推理方法

  • 枚举推理:用联合分布计算后验概率,复杂度指数级
  • 拒绝采样(简单介绍,后续章节详述)

本章重点是掌握概率语言及其在 AI 中的应用,为后续贝叶斯网络、MDP、强化学习打下基础。