Fitting Functions to Data

人工智能机器学习的结构

1. 定义问题
2. 收集数据和处理
3. 创建假设函数
4. 确定权重的数值
5. 创建错误函数（误差函数、成本函数、目标函数或损失函数）
6. 确定数学公式
7. 确定寻找最小值的方法
8. 使用反向传播算法
9. 对函数进行正则化，即使其更加平滑、振荡更小、更稳定

传统且重要的机器学习模型

1. 线性回归：预测一个数值
2. 逻辑回归：分为两类
3. softmax 回归：分为多类
4. 支持向量机：分为两类或进行回归（预测一个数值）
5. 决策树：分为任意数量的类别或进行回归（预测一个数值）
6. 随机森林：分为任意类别或进行回归（预测一个数值）
7. 模型嵌入：通过平均预测值，将多个模型的结果绑定在一起
8. K均值聚类：分为任意数量的类型或进行回归

回归类模型的过程

1. 训练函数（training function）
2. 损失函数（loss function）
3. 优化（Opimization）

数值解和分析解

数值解：

1. 比分析解更容易获得
2. 数值解只是近似解，需要数学分析相关知识
3. 需要足够的计算能力

分析解

1. 解析不容易获得或有时无法获得
2. 需要数学和领域专长
3. 解析方法对于描述解的总要性质、知道数值技术以及近似值方法提供基准真值具有极高的价值。

回归的重要结构

1. 训练函数：参数模型与现实模型之间的对比
2. 损失函数：

• 预测值与真实值的对比
• 绝对值距离与平方距离的对比
• 具有奇点的函数
• 线性回归的损失函数是平方差
• 列向量
• 训练集、验证集和测试集
• 训练数据具有高度相关的特征

3. 性能优化：

• 凸优化
• 定位函数的最小化值
• 微积分概述
• 一维优化
• 线性表达式的导数
• 最小化均方误差损失函数
• 矩阵乘向量
• 过拟合

训练函数