机器学习基础知识

什么是机器学习

学习是要表示出系统的变化，使得系统下次进行同样的任务时变得更有效——$Herbert\ Simon$(人工智能之父）

学习是对经验的表示方法的构造和修改——$Ryszard\ S.Michalski$（Who defined Machine Learning)

学习 = 某种任务上基于经验不断进步——$Tom\ M\ Mitchell$

一个可能是最不需要数学基础的专业的博客却只有数学笔记想来也有一点奇怪

所谓三要素

• T: 任务（Task）
• E: 经验（Experience）
• P: 性能（Performance）

对于任务，通过经验，实现性能改进

通用机器学习系统设计

• 用于训练的经验
  • 经验与目标性能的关系？
    • 自我对抗 vs 大师对抗
    • 训练中的数据能否代表真实数据？
• 确定目标函数
  • 注意训练偏差（bias）
    • 数据：训练数据多样化：（moon and banana）
    • 训练过程：NN数字识别，数据随机化
    • 特征：IBM waston
• 确定学习函数的表示
  • 目标函数的定义
    • 最优 vs 效率
  • 表示$\cdots$
• 确定学习算法
  • 梯度下降
  • 线性规划

数据分析$\to$特征&表示$\to$算法$\to$评价模型

基本概念

• 实例空间(Instance Space) X

  ： 每天的属性描述：温度，风，水，天空

• 假设空间(Hypothesis Space) H

  ：假设if(温度 = 冷 and 湿度 = 高) ;then 不太宜跑步

• 训练样例空间(Sample Space) D

  ：基于问题的正例与负例

  • 目标概念(Target Concept)
    • 正例与负例

即求：$h \in H\qquad s.t.$

$h(x) = c(x) \qquad x\ for all\ X$

However 实例空间往往过于庞大，

$\Rightarrow$导致往往仅能保证在训练集中

机器学习实验方法与原则

评价指标

对于衡量不同任务、模型的性能往往有着不同的评价指标

• 回归任务

  • 平均绝对误差$(MAE)$，均方误差$(MSE)$，均方根误差$(RMSE)$

    $MAR = \frac 1n\sum\limits^n_{i=1}|y_i-p_i|$

    $MSE = \frac 1n\sum\limits^n_{i=1}(y_i-p_i)^2$

    $RMSE = \sqrt{MSE}$

• 分类任务

  • 准确率$(Accuracy)$，精度$(Precision)$，召回率$(Recall)$等等

    • 准确率$(Accuracy = \frac 1n\sum\limits^n_{i=1}())$

    • 错误率$Error \ Rate = 1-Accuracy$

    • 针对于二分类中：

      • 精准率/精度：$Precision = \frac{TP}{TP+FP}$
      • 召回率：$Recall= \frac{TP}{TP+FN}$

      其中TP表示真阳性（True Positive），FN假阴性（False Negative）

      于是可定义TP、FN、FP、TN

      真表示预测正确，阳性表示模型预测给出的结果是正确的，假、阴性亦然

      $F_\beta$对精准率和召回率进行加权调和平均：$F_\beta = \frac{1}{\frac{1}{1+\beta^2}(\frac 1P+\frac {\beta^2}{R})}$

      • $AUC$：$ROC$曲线下的面积，

        $ROC$：根据预测值对样本排序，大于等于阈值记为正例，反之记为负

        于是以假正例率为横轴，真正例率（召回率）为纵轴得到的曲线

• 特定任务下

  • 个性化推荐中
    • 前K项精度$(Precision@K)$，前K项召回率$(Recall@K)$，前K项命中率$(Hit@K)$等
    • 对话系统: $BLEU，ROUGE，METEOR\cdots$

训练集、验证集和测试集

• 训练集：模型可见的样本标签，用于训练模型（过拟合问题）

• 测试集：评估模型在可能的未见样本的表现

  • 尽可能与训练集互斥
  • 评估模型在整个测试集上的表现

• 训练集与测试机划分方式：

  • 随机划分：按照比例，数目
  • 留一划分：一个样本测试，常用语K近邻算法的评估
    • 样本较少
  • 特殊划分
    • 时间划分：气象数据，最终月于测试
    • 推荐系统：用户最终选择作为测试，其余用于训练

• 验证集：训练集额外分出的集合，往往用于超参数调整

  • 直接在训练集上易过拟合
  • 不能在测试机上调整（显然）
  • 不能反应实际中在所有未见样本的测试效果

随机重复实验

• 数据的随机性

  增多测试样本

  重复多次划分数据集

• 模型的随机性

  • 更改随机种子重复训练测试

• 但是应保证每次评价指标独立同分布，将评价指标取均值

K折交叉验证

随机分为K个大小相等的不相交子集合

依次划分出一个测试集，其余用作训练集

• 优点：数据利用率高，数据较少使用
• 训练集有交集，每轮之间不是独立同分布的

根据概统中学过的知识，当增大K时候，会使得方差上升，

但是会使得偏差下降，此外伴随着计算代价的提高

统计有效性检验

概率论与数理统计。。。

• [ ] 有时间打算结合一些别的教材写个小提纲下比较全面的数理统计和概率论知识。。时间一长就分不清了

  教材大概用统计推断、北航数理统计、概率导论之类。。（虽然y1s1个人水平比较菜hhh

推导置信区间

中心极限定理$\Rightarrow$归一化为正态分布

检验主要使用$z$检验与$t$检验

其中对于单次检测，随机变量样本个数比较多的一般用$z$检验

对于多次评测：重复试验，样本个数比较少一般使用$t$检验