新浪新闻客户端

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!
2020年03月28日 23:14 新浪网 作者 设计癖

  编辑:卝生

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  看到这样的街角,是不是想问这是哪一部日本动画电影里的场景?

  宫崎骏、新海诚的电影常常从现实场景中获取灵感,这张“日本动漫”截图同样有对应的真实空间。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  但这一次,打破次元壁的却不是人类画师,而是一只名叫AnimeGAN的GAN。

  繁华街道,车水马龙,几秒即可在二次元场景中复现:

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!
三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  即便是西方街景,在AnimeGAN的画笔下,也能毫无违和转化成日漫画风:

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!
三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  看完AnimeGAN的作品展示,我产生了一个大胆的想法。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  看,我的二次元和三次元老婆完美统一了!

01

  风格迁移+生成对抗网络(GAN)

  这项来自武汉大学和湖北工业大学的研究,采用的是神经风格迁移 + 生成对抗网络(GAN)的组合。

  除了解决生成图像动画风格纹理不明显、丢失原始图像内容这样的问题,AnimeGAN最大的特点是快。

  比如上面的石原里美,在V100上跑了1.64s就完成了次元的跃迁。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  那么,这个轻量级的GAN有什么样的特别之处呢?

  AnimeGAN架构

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  作者介绍,AnimeGAN是基于CartoonGAN的改进,并提出了一个更加轻量级的生成器架构。

  AnimeGAN的生成器可以视作一个对称的编码器-解码器网络,由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。

  为了有效减少生成器的参数数量,AnimeGAN的网络中使用了8个连续且相同的IRB(inverted residual blocks)。

  在生成器中,具有1×1卷积核的最后一个卷积层不使用归一化层,跟随其后的是tanh非线性激活函数。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  上图中,K为内核大小,C为特征图数量,S为每个卷积层的跨度,H是特征图的高度,W是特征图的宽度,Resize值用于设置特征图大小的插值方法,⊕表示逐元素加法。

  损失函数

  论文还提出了三个新的损失函数,以提升风格化的动漫视觉效果。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!△不同权重的定性比较

  灰度风格损失:

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  灰度对抗损失:

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  生成器网络的颜色重建损失(基于图像像元的损失):

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

02

  实验结果

  与CartoonGAN相比,可以明显看出AnimeGAN参数更少,模型更小,计算量更少,推理速度更快,是一个相对轻量级的GAN。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  细节甚至还更胜一筹。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  与此前的SOTA方法相比,可以看出,CartoonGAN生成的动漫图像中通常会存在颜色伪影区域(图中红框),ComixGAN生成的动漫图像中通常会存在过度风格化的区域(失去了原始照片的内容,目标纹理难以辨识),而AnimeGAN很好地解决了这些问题。

  定性分析,AnimeGAN取得了比SOTA方法更高质量的视觉动漫效果。

  目前,AnimeGAN已经开源,数据集和预训练模型均可下载。如果你也想把自己记录的风景用宫崎骏/新海诚/今敏的风格呈现,不妨一试~

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

03

  One More Thing

  或许你已经猜出来了,AnimeGAN的作者们本身也是二次元文化爱好者,出于兴趣开始了这样一个研究项目,真·「我的兴趣就是我的工作」。

  论文作者,是湖北工业大学刘罡副教授,陈颉博士,以及他们的学生Xin Chen。

  此前,刘教授和Xin Chen还研究了一个动漫线稿自动上色模型,GitHub用户@pradeeplam根据他们的论文进行了复现,效果也很不错。

三次元风景照秒变二次元,石原里美吉卜力化,AnimeGAN厉害了!

  传送门

  GitHub地址(含论文):https://github.com/TachibanaYoshino/AnimeGAN

  作者知乎专栏:https://zhuanlan.zhihu.com/p/76574388

  上色项目:https://github.com/pradeeplam/Anime-Sketch-Coloring-with-Swish-Gated-Residual-UNet

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
吉卜力二次元
权利保护声明页/Notice to Right Holders 我要反馈
新浪新闻客户端
新浪新闻客户端

扫描左侧二维码下载,更多精彩内容随你看。(官方微博:新浪新闻

图片故事

新浪新闻意见反馈留言板 400-052-0066 欢迎批评指正

违法和不良信息举报电话:4000520066
举报邮箱:jubao@vip.sina.com

Copyright © 1996-2020 SINA Corporation

All Rights Reserved 新浪公司 版权所有