Loading...
墨滴

BulletTech官方微信

2021/10/11  阅读:18  主题:自定义主题1

算法中多分类、多标签、多任务等multi家族

算法中多分类、多标签、多分类等multi家族

1 前言

在机器学习中,有一些multi-X的任务,如multi-class(多分类),multi-label(多标签),multi-task(多任务)等任务。今天,我们就来一起研究下multi家族。

2 multi-class任务

多分类任务是指每条数据有一个标签,但标签有多个类别(大于2)。多分类任务与常见的二分类任务相比,区别不大。需要注意的是,此时,损失函数由二分类问题中经过sigmoid函数后,计算的二元交叉熵转变为经过softmax函数后,计算的多元交叉熵。

多分类任务的评价指标也有所不同。常见二分类问题的评价指标有:准确率(Precision)、召回率(Recall)和F1值(F1-score)。这些都是建立在二分类的混淆矩阵(2维)的基础上。
对于多分类问题,这三个评价指标又分别存在micro和macro两类。如在sklearn.metrics.f1_score中average有以下几种参数:{'micro', 'macro', 'samples','weighted', 'binary'} or None。
对于macro,我们分别计算每个类别的准确率、召回率和F1值,然后取平均得到最终的评价指标。考虑到类别不平衡,我们可以算平均时加上权重(weighted)。
对于micro,我们计算总体的混淆矩阵然后计算最终的评价指标。

3 multi-label任务

多标签任务是指每条数据有多个标签。例如,预测一位病人是否患有多种疾病。
最简单的处理方式是把它当做多个二分类任务来处理。但是,这样既费时费力,同时多个标签之间往往会存在相关关系。
常见的做法是仍然在同一个模型中进行训练(一个loss)。处理方式是对最后分类层(n个结点表示n个标签)的输出作用sigmoid函数,然后分别计算二元交叉熵并取平均。更高级的做法是使用序列模型或图模型,它们的好处是可以考虑到不同标签之间的依赖关系。

4 multi-task任务

多任务学习是指同时学习多个任务(有多个loss),如预测用户是否点击和是否转发。一般来说多个任务是同步学习的,当然也可以采用异步的模式(更像是预训练,在任务A的基础上用任务B做微调)。

常见的多任务学习的模型结构如图(a)所示,底层参数完全共享,顶层参数随不同任务而不同。这种方式要求不同任务的输入变量需要保持一致,这一点往往是很难做到的(不同任务有各自独有的特征)。因此如(c)所示的MMOE(Multi-gate Mixture-of-Experts)的结构出现了。它允许我们有共享也有独有的部分,它们的权重由gate通过学习来决定。
多任务学习的好处可能有以下几点:

  • 缓解冷启动问题,如新任务数据量较小。
  • 提高模型的鲁棒性。不同的任务往往有不同的噪声。

5 总结

本文总结了在机器学习任务中常出现的multi家族。理清它们的概念有利于身心健康,更能让你灵活地使用不同任务解决实际问题。

BulletTech官方微信

2021/10/11  阅读:18  主题:自定义主题1

作者介绍

BulletTech官方微信