Adobe与学者研新技术把Selfie自拍变“他拍” 魔术修图效果惊人
自拍也能变为他拍，魔幻修图界又出新招式，但效果实在感人。
智能手机的出现，让摄影变成了一项大众艺术，也让越来越多的人爱上“自拍”。但自拍照常常存在构图问题，比如不自然的肩膀姿势、占据一小半镜头的手臂，或者极其诡异的视角。要想解决这个问题，可以选择随身携带三脚架或自拍棍，也可以选择随身携带一个朋友作为摄影师（该方法对单身狗极其不友好）。
或者，你还可以选择相信后期修图的艺术。近日，来自Adobe研究院、柏克莱分校（UC Berkeley）、鲁汶大学（Catholic University of Leuven）的研究者开发了一种“自拍”变“他拍”的新技术，通过识别目标的姿势并生成身体的纹理，在给定的自拍背景中完善和合成人物。
在这篇论文中，研究者提出了一种叫做“Unselfie（非自拍）”的图片转换方法，能够将自拍照中的人物，转变为手臂、肩膀、躯干都比较放松舒展的“他拍图像” 。它会把所有举起的手臂调整为向下，然后调整服装细节，最后填充好所有暴露出来的背景区域。
点图看看该技术的神奇修图效果：
除了用来修饰社交媒体上的自拍照，这项技术还有很多应用方式，如果你急需一张证件照，而无人能帮你拍摄，那这项技术就能派上用场。
当然，这个方法目前还不太成熟，除了效果一般之外，偶尔还有翻车的时候，比如生成Fig. 10这样的图像：
“自拍”转“他拍”的三大挑战
总的来说，“自拍”转“他拍”存在三大挑战：没有成对的训练数据（自拍—他拍图像对）；一个自拍姿势可能对应多个他拍姿势；改变姿势会在背景中留下空洞，因此在转换过程中要填补这些空洞。研究者尝试用之前的几种方法来解决挑战，但实验结果表明，这些方法会产生明显的伪影，其纹理细节也会由于外观信息的高度压缩而丢失。因此，他们提出借助合成“自拍-他拍”图像对和自监督学习的方法来解决上述问题。
具体来说，研究者提出了一种利用他拍图像合成对应自拍图像的方法，他们利用非参数化最近姿态搜索模块来检索最接近给定他拍图像的自拍图像，然后合成对应的自拍照。他们还在推理过程中应用了一个最近姿态搜索模块。给定一个自拍姿态输入，模型会检索出与之匹配度最高的他拍姿态，然后利用这个姿态来合成最后的他拍效果。合成的输出的结果不止一个，用户可以从中选择，这就解决了上面提到的挑战2。
利用上述步骤合成的成对数据可以直接用来训练一个有监督的人像生成网络，但实验结果显示，明显的伪影问题依然没有解决。之前的各种方法对于合成的成对训练数据与真实自拍测试数据之间的像素级domain gap非常敏感。受到CVPR 2019 论文《Coordinate-based texture inpainting for pose-guided image generation》的启发，研究者使用基于坐标的修补方法在UV 空间中修补身体纹理，空间中大部分是不变的原始身体姿态，因此在面临合成数据的瑕疵时更具鲁棒性。此外，基于坐标的修补方法可以重新利用可见像素，从而获得更清晰的结果。
【相关图辑】“P图神手”kanahoooo为网友修图 点图看看前后惊人对比：
为了应对挑战3，研究者使用了一个基于合成网络的门控卷积层来完善身体外观和填补背景空白，并保持人体与背景之间的平滑过渡。总的来说，为了解决“unselfie”任务，研究者提出了三段式pipeline：首先在数据库中搜索最相近的他拍姿势，然后执行基于坐标的身体纹理修补，最后使用合成模块来细化结果，并在背景上合成它们。
实验结果
研究者在定性评估、用户研究和定量评估三方面将他们提出的方法与以往类似方法进行了比较。下图表明，与之前的DPIG和PATN方法相比，Unselfie方法生成了更逼真的人体姿势和背景。
由于没有对应自拍照的ground truth 他拍照，因而不能使用SSIM 之类的指标。所以，为了定量比较该方法与其他基准方法的成像结果，研究者使用了FID 和KID 两项指标。结果显示，定量比较中的FID 和KID 结果与用户研究保持一致，该方法显著优于其他方法。
方法局限
不过，该方法在以下几个方面依然存在局限。首先，对于具有挑战性的自拍姿势或角度来说，最近姿态搜索模块可能难以找到与之匹配的他拍姿态，这导致合成图像中的手臂或肩膀相较于头部区域过细或过宽。这一问题在top-1结果中出现的比例少于10%，并且用户通常可以从top-5结果中找到良好的兼容姿势。
此外，刚才Fig.10示例也暴露出了背景合成的局限。不过，针对此问题，研究者也展示了利用已有模型对图像背景进行修复的示例，从而证明了在大规模数据集上训练的图像修复模型的好处。
最后，系统在DensePose 检测中容易出错。如Fig.10（右）所示，DensePose没有检测到她的手臂在前方。所以，合成模块在结果中依然保留了她的手臂。
【相关图辑】内地精灵样网红再被揭发极惊吓真身 神级P图超大码身材变Barbie（点图放大浏览）：
【相关图辑】Cammi谢芷蕙P图技巧进化到连片都无真相 胸仲大过个头（点图放大浏览）：
【本文转自“机器之心”，微信公众号：almosthuman2014】