Loading...
墨滴

BulletTech官方微信

2021/09/25  阅读:27  主题:自定义主题1

神经网络调参技巧

神经网络调参技巧

1 引言

最近向知乎大神学习了一波神经网络的调参技巧,也搜到了深度学习专家Andrej Kapathy的一篇博客《A Recipe for Training Neural Networks》。在此结合这几篇文章和自己的一些经验,做一篇神经网络调参的小技巧分享。

2 损失曲线分析

有了Tensorboard, MLflow等可视化工具,训练过程中的损失曲线很容易观测。曲线的形状往往可以直观地反应模型训练的状况。

  • 常见的损失曲线往往一开始下降较快,后面逐渐趋缓。如果发现曲线接近线性,则可能学习率较小,损失下降不够充分。
  • 曲线波动过于剧烈,可能的原因是batch size太小。batch size也不是越大越好,batch size小的时候,每个batch计算的梯度方向没有那么精确,batch间的方差较大,反而容易逃离鞍点。batch size可以作为一个超参数调节。经验上,batch size可以为数据量的根号大小。
  • 训练集和验证集曲线差距较大,可能是训练集发生了过拟合。反之,若差距太小,则可能模型拟合不够。
  • loss最小的点未必是评价指标最优的点。比如在二分类问题中,loss最小的点未必是auc最大的点。有效的方法是,打印出每一个epoch的模型表现。
  • 在实际使用过程中,我还遇到过验证集loss一路向上的情况,奇怪的是选出的模型在测试集上表现并不差,似乎并不是由于过拟合造成的。这一现象在知乎上也有讨论,大家的观点是验证集的loss并不能完全反应最终模型的好坏。

3 学习率调整

对神经网络来说,学习率的调整优先级较高。调参的顺序可以是学习率、epoch个数 - batch size - 学习率衰减参数。

  • 可以尝试使用学习率的warm up。
  • 学习率衰减的参数在不同模型和任务下往往不同。
  • 一般以10倍间隔来进行参数搜索。

4 dropout层

dropout层可以很好地减少过拟合。另一方面,还可以认为是一种模型ensemble的方式,推荐大家使用。

5 优化器

Adam优化器是对参数比较稳健的优化器,包括不合适的学习率。

6 ensemble

我们甚至可以用不同的随机数种子来ensemble模型。

7 Swish激活函数

Swish激活函数其实已经提出来很久了,但是最近Kaggle的高分方案中它却屡屡出现。它的形式是:f(x) = x · sigmoid(x)。是一个平滑且非单调的函数。
在提出的它的论文中,作者指出了在神经网络层数大于40层以后,Swish激活函数优于ReLU等其他激活函数。在浅层神经网络中,它对模型结果是否有所提升,仍需要我们自己去尝试。

8 batch normalization

batch normalization在norm的时候,使每个独立样本看到了同一个batch内其他样本的信息,起到了一定的正则化的效果。
0均值也使输入位于激活函数的饱和区,加快收敛速度。

9 小结

调参有科学也有艺术的成分。在实际使用过程中,不妨尝试一下上述经验之谈。可能某些tips恰好适用于你的模型和任务,助你模型表现一飞冲天。

BulletTech官方微信

2021/09/25  阅读:27  主题:自定义主题1

作者介绍

BulletTech官方微信