Oasis's Cloud

一个人的首要责任,就是要有雄心。雄心是一种高尚的激情,它可以采取多种合理的形式。
—— 《一个数学家的辩白》

时间上的概率推理

《人工智能现代方法》读书笔记

作者:oasis


第 14 章在第 13 章概率论基础上,引入贝叶斯网络作为表示不确定性和进行推理的核心工具。重点包括:

贝叶斯网络表示

  • 节点 = 随机变量,有向边 = 直接因果/概率依赖
  • 条件概率表(CPT):每个节点给定父节点取值的条件概率
  • 联合分布的分解:P(X₁, …, Xₙ) = ∏ᵢ P(Xᵢ | Parents(Xᵢ))

贝叶斯网络语义

  • 条件独立性:给定父节点,每个节点与所有非后代节点条件独立(马尔可夫毯)
  • d-分离:用于判断网络中两变量是否给定某些变量条件独立

精确推理

  • 枚举法:使用联合分布全概率求和,指数复杂度
  • 变量消元(Variable Elimination):通过因子动态规划,避免重复计算
  • 消元顺序影响计算复杂度(需寻找最优顺序,NP 难)

近似推理

  • 直接采样:从网络生成样本,计算后验近似
  • 拒绝采样:仅保留与证据一致的样本,但效率低
  • 似然加权:固定证据,仅采样非证据变量,用权值修正
  • 吉布斯采样:马尔可夫链蒙特卡洛(MCMC)方法,逐个变量采样

贝叶斯网络的应用

  • 诊断、预测、决策支持系统
  • 学习 CPT(参数学习)和网络结构(结构学习)