第 19 章深入探讨集成学习方法，核心是如何组合多个基学习器以获得比单一模型更好的泛化性能。重点包括：

集成学习的基本思想

• 基学习器：多个弱学习器或中等强度学习器的组合
• 多样性：基模型之间的差异是集成成功的关键
• 偏差-方差权衡：Bagging 主要降低方差，Boosting 主要降低偏差

Bagging 与随机森林

• Bagging（Bootstrap Aggregating）：对训练集进行有放回采样，训练多个基模型，最终投票或平均
• 随机森林：在 Bagging 基础上引入特征子集随机性，进一步增加基模型多样性
• 两种随机性（Bootstrap 采样 + 随机特征子集）如何降低过拟合

Boosting

• AdaBoost：迭代训练，每轮调整样本权重，错误样本权重增大
• 权重系数 α = 1/2 ln((1-ε)/ε)，其中 ε 为当前分类器错误率
• 梯度提升（Gradient Boosting）、XGBoost：基于梯度下降的序列集成

其他集成方法

• Stacking：用元学习器组合多个基模型的预测输出
• Voting：硬投票与软投票
• 交叉验证生成元特征，避免信息泄露

模型评估

• 学习曲线（训练误差 vs 验证误差）判断过拟合
• 多数投票错误概率的计算
• 特征重要性（Gini 不纯度减少 vs 置换精度下降）