新浪新闻客户端

简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN
2019年10月22日 17:10 新浪网 作者 量子位

  鱼羊 发自 凹非寺

  量子位 报道 | 公众号 QbitAI

  看着这样一张抽象的人脸素描,你能猜出真人长什么样吗?

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  现在,有一只GAN,不仅能够完美突破次元壁,复现真实人脸:

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  左:素描;右:CSAGAN生成

  甚至不画嘴,也不会生成无嘴怪人。效果真实,画面高清,连脸上的皱纹,都刻画得清清楚楚。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  相比之下,Pix2pix这样的著名选手黯然失色。困难模式下简直AV画质。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  制造如此神奇魔法的GAN,名叫CSAGAN,即有条件的自注意力机制生成对抗网络(conditional self-attention generative adversarial network)。诞生于中科大类脑智能技术及应用国家工程实验室。

  世上的GAN千千万,CSAGAN为什么这么秀?

  

两大秘诀

  CSAGAN的独特之处,是在保持面部结构不确实的同时,生成高质量的人脸图像。

  首先立功的,是条件自注意力模块(CSAM)

  在模型框架中,研究人员采用了掩码残差单元(MRU),并在最后一个MRU之前加入了条件自注意力模块。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  条件自注意力机制能够建模人脸不同区域之间的长期依赖关系,也就是说,即使素描图里没画清楚鼻子嘴巴,CSAGAN一样能生成五官齐全的一张脸。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  MRU和条件自注意力模块的输入是处理过的黑白线条图。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  稀疏线条图的密集距离场表示

  给定来自上一层的线条图和特征图,条件自注意力模块会以自注意力机制计算输出新的特征图。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  而另一个秘诀,是多尺度鉴别器。它能保证生成的人脸具有更加完整的结构和真实的纹理。

  鉴别器由不同深度的子网组成,深度不同,最后一层接收域的大小自然也不一样。最深子网络最后一层中的接收域和捕获全局结构的整个图像大小一致。这些子网在前几层彼此共享权重。

  这样,大尺度鉴别器会注意面部整体结构的完整性,而小尺度鉴别器则专注于细节,增强生成面部图像的真实感。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  最后一排是真实照片

  

中科大团队

  这篇论文的第一作者,是来自中国科学技术大学类脑智能技术及应用国家工程实验室的Yuhang Li。

  论文的通讯作者,是该实验室的陈雪锦副教授。陈老师专注于计算机图形学、计算机视觉研究,在中科大读博期间,师从沈向洋教授,2010年从耶鲁大学计算机系博士后出站。

  简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

  论文的另外两位作者,是中科大信息科学技术学院执行院长吴枫教授和该实验室副主任查正军教授。

  传送门

  论文地址:

  https://arxiv.org/abs/1910.08914

  — 完 —

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders 我要反馈
新浪新闻客户端
新浪新闻客户端

扫描左侧二维码下载,更多精彩内容随你看。(官方微博:新浪新闻

图片故事

新浪新闻意见反馈留言板 400-052-0066 欢迎批评指正

违法和不良信息举报电话:4000520066
举报邮箱:jubao@vip.sina.com

Copyright © 1996-2020 SINA Corporation

All Rights Reserved 新浪公司 版权所有