Loading...
墨滴

algolearn

2021/11/15  阅读:25  主题:默认主题

什么是高维组合特征?

为了提高模型对数据复杂关系的拟合能力,在做特征工程时常常对一些特征进行组合,构成高阶特征。

以逻辑回归为例,假设数据特征向量为 ,则有

其中 表示 的组合特征。第 个特征的取值个数为 ,那么 的维度大小为 。当 为ID类特征,例如user id有m个,item id有n个,那么 的参数规模为 ,生产环境中,uid和nid可达百万级,几乎无法学习 规模的参数。

一种行之有效的方法是将 进行矩阵分解,由 分解为两个 的矩阵乘法, 。此时 ,这样需要学习的参数规模为 ,其实类似于embedding的形式。

欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~

算法工程师面试那些事儿
算法工程师面试那些事儿

algolearn

2021/11/15  阅读:25  主题:默认主题

作者介绍

algolearn