Loading...
墨滴

algolearn

2021/11/25  阅读:21  主题:默认主题

模型评估过程中的验证方法

  1. hold out 检验

    • 将原始的样本集合按比例划分成训练集和验证集,例如7:3, 8:2等,
    • 缺点:验证集上的评估指标与数据划分有很大的关系,因此为了消除随机性,常采用下面的交叉检验
  2. 交叉检验

    • k fold交叉验证:将数据集随机划分成k个大小相同的子集,依次偏离这k个子集,每次把当前子集作为验证集,其余作为训练集,最后将k次指标进行平均作为最终结果
    • 留1验证:每次留下一个样本作为验证集,其余用于训练,遍历n次,将n次评估结果的均值作为最终评估指标。当样本总数太大的话,需要遍历次数很多,时间开销大。
  3. 自助法

    • 上面两种方法都是基于划分训练集和测试集进行模型训练和评估的。但是当样本集较小时,将样本集进行划分会进一步导致训练集进一步减小,影响模型的效果,
    • 自助法是基于自主采样的方法。对于总数为n的样本集,进行n次有放回的随机采样,从而得到大小为n的训练集。n次采样过程中有的样本会重复进行采样,有的样本未被采样,将这些未被采样过的样本作为测试集用于模型验证。

🤔 自助法中,对n个样本进行n次采样,当n趋于无穷大时,最终有多少数据未被选择过?

一个样本在一次抽样中被采样到的概率为 ,未被采样到的概率为 ,n次抽样均未被抽到的概率为 ,当n趋于无穷大时,概率为

我们知道

当n很大时,大约有1/e的样本未被采样过,也就是36.8%的样本可以作为验证集。

欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~

算法工程师面试那些事儿
算法工程师面试那些事儿

algolearn

2021/11/25  阅读:21  主题:默认主题

作者介绍

algolearn