Loading...
墨滴

巴拉拉能量

2021/04/22  阅读:42  主题:极简黑

FACE SHIFTER

Face Shifter是CVPR202的一篇文章,是一个两阶段的,可用于任意两张人脸图像换脸的模型,由AEI-Net和HEAR-Net两部分组成,经过合适的训练,AEI-Net本身就已经可以得到不错的换脸效果,在此基础上,可以再训练一个HEAR-Net,着重解决目标图像脸部遮挡问题,并进一步对换脸效果进行优化。模型推理速度不俗,并且能够生成质量较高的换脸结果。

论文地址

工程地址1

工程地址2

1. AEI-Net:Adaptive Embedding Integration Network

  AEI-Net是一个新型的属性编码器,核心是AAD层(Adaptive Attentional Denormalization Layers),用于自适应提取目标属性,即输入源图像 提供人脸特征和目标图像 用于提供人脸的姿态、表情、场景亮度和背景等信息,AEI-Net本身输出 ,已经是一个高保真的换脸结果。总的来说AEI-Net由三部分组成:

  • 实体编码器 从源图像提取特征
  • 多层级属性编码其 从目标图像提取属性
  • AAD生成器生成最终的换脸结果

  模型结构如下: 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述   其中实体编码器采用一个预训练好的人脸识别模型,多层级属性编码器是一个类U-Net结构,AAD生成器负责将前面两个模块的输出进行一个集成处理从而得到 ,不同于可能造成图像模糊的特征concat,论文提出了一个AAD层,这也是论文方法的核心。

  如上图c所示,令 代表输入ADD层的激活后的结果图(3Dtensor:C,H,W):首先对 进行批梯度归一化: 在这里插入图片描述   然后从 开始设计了三条平行支路分别用于属性(来自目标人脸)集成,实体(来自源人脸)集成与自适应脸部掩码生成。

   表示第k层提取到的属性信息,通过对 进行反规范化得到属性激活结果 在这里插入图片描述   这里两个参数与z_{att}^k有关,和 这个tensor形状一致。

   是实体信息,为尺寸 的一维向量,通过如下方式计算其实体激活结果 : 在这里插入图片描述   AAD的核心在于从实体特征和属性特征中自适应地继承有效区域信息,两个特征分别参与合成脸部的不同区域。比如 更多地参与合成能够体现人脸特征的部位比如眼睛、嘴巴和脸部轮廓。这里使用了 通过卷积和sigmoid操作来生成一个注意力掩码 ,掩码各个位置取值范围0-1。

  这样第三条分支可以得到ADD层的输出 : 在这里插入图片描述   AEI-Net训练时使用对抗损失来使得输出 更加真实,鉴于AEI-Net的层级结构,论文使用了一个多尺度的判别器,并且还引入了一个实体保留损失来保留更多的实体特征(余弦相似性): 在这里插入图片描述   属性保留损失则是一个L2损失: 在这里插入图片描述   当源图像和目标图像是一张图时(训练集数据组队方式,完全组队对可能几百张图就能得到十几万的训练样本),论文定义了一个重建损失,本质上时像素级别的L2距离: 在这里插入图片描述   至此,AEI-Net的损失函数可以定义为: 在这里插入图片描述   中间的 取5,其余两个取10。

2. HEAR-Net:Heuristic Error Acknowledging Refinement Network

  HEAR-Net通过自监督的方式处理异常区域,尽管AEI-Net的结果一般情况下已经足够好,但是对于目标图像中带遮挡的问题还是无法有效解决。论文提出了一种启发式的方法来处理面部遮挡,如下图a所示,当目标图像中面部有遮挡时,生成结果可能缺失一部分遮挡,即便是原图像和目标图像是一张图,遮挡部分可能也会缺失。因此可以通过重建的图像和输入之间的误差来定位遮挡,称为输入图像的启发式误差。   基于以上观察,首先利用HEAR-Net生成一个脸部图像,首先得到目标图像的启发式误差: 在这里插入图片描述   然后将第一阶段即AEI-Net的输出 与这个启发式误差输入到一个类U-Net结构中,得到最终调整过之后的输出结果: 在这里插入图片描述   整个流程如下图所示: 在这里插入图片描述   HEAR-Net的训练是一个完全自监督的过程,其中尸体保留损失定义为: 在这里插入图片描述   另外,定义一个描述第一阶段输出和第二阶段输出之间变化的损失,用于保证二者的一致性: 在这里插入图片描述   重建损失则用于限制当源图像和目标图像一致时第二阶段的模型训练的效果: 在这里插入图片描述   最终: 在这里插入图片描述   最后贴一些实验效果对比: 在这里插入图片描述   第二阶段HEAR-Net的实验效果: 在这里插入图片描述   定量(human evaluation): 在这里插入图片描述


欢迎关注 深度学习与数学   [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读,算法和其他互联网技能的学习,概率论、线性代数等高等数学知识的回顾] 在这里插入图片描述

- END -

巴拉拉能量

2021/04/22  阅读:42  主题:极简黑

作者介绍

巴拉拉能量