Oasis's Cloud

一个人的首要责任,就是要有雄心。雄心是一种高尚的激情,它可以采取多种合理的形式。
—— 《一个数学家的辩白》

多智能体决策

《人工智能现代方法》读书笔记

作者:oasis


第 18 章是机器学习入门,侧重于监督学习,核心内容包括:

基本概念

  • 训练集、测试集、输入特征、输出标签(离散分类 / 连续回归)
  • 假设空间、归纳偏置、过拟合与欠拟合
  • 性能度量:准确率、精确率、召回率、F1、均方误差等

决策树学习

  • ID3 算法:信息增益、熵、递归划分
  • 剪枝方法:预剪枝(提前停止)、后剪枝(减小错误率)
  • 处理连续属性、缺失值

线性模型

  • 线性回归:最小二乘法、正规方程、梯度下降
  • 逻辑回归:sigmoid 函数、交叉熵损失、极大似然估计

模型评估与选择

  • 交叉验证(k 折)、留一法
  • 偏差-方差分解:偏差(欠拟合)、方差(过拟合)
  • 模型复杂度选择(正则化:L1、L2)

支持向量机(SVM)

  • 最大化间隔、核技巧(第 18 章可能仅介绍概念)

集成学习

  • 袋装法(Bagging)提升法(Boosting)随机森林