全都是不存在的人丨参考文献1

有只AI能捏出不存在的人脸,不论男女,不论老幼,几乎可以乱真。

这就是地表最强的人脸生成器,英伟达的StyleGAN2。从它出生到现在,足有三个月了。如此漫长的一段日子,还赶上病毒把大量人类憋疯在家里,就没人把这只AI玩坏么?

不可能。至少有些沉迷于性转的死宅,是不会放过它的。一小撮来自俄罗斯的战斗少年,就把StyleGAN2的性别变幻技能,单独释放了出来。哈利波特娘就此诞生:

图丨参考文献2

于是,少年们一鼓作气,用同样的原理把肤色/种族以及年龄变幻大法,都从本体上分离开来:

图丨参考文献2

执行每一个任务的小AI,都能和当下成绩最好的算法媲美,令人感到幸福。

如何挖掘性转技能

来自俄罗斯的互联网公司Yandex以及莫斯科物理技术学院的三个少年,是怎么从一个随意生成人脸的算法里,把性转这个特殊功能分离出来的?他们用的是“蒸馏”(Distillation)技法。

蒸馏的思路,是让StyleGAN2来当老师,它生成的图像里包含了知识,可以拿来训练出一个学生模型。性转AI就是这个学生,作为一个小模型,能够快速完成自己特定的任务。

但问题是,StyleGAN2生成的只是一张一张图,不是一组一组男女对照的图。但学生需要的偏偏是成对的训练数据,该怎么办?

要从人脸生成器的工作方式上入手。生成器其实是依靠一种叫做“潜码”的东西来生产图像的。潜码是一个随机生成的向量(有长度、有方向),只要把它输入给生成器,便得到一张对应的图片。所以需要探索的是,怎样的潜码对应了怎样的性别。

这个问题,可以用一个辨别男女的图像分类AI轻松解决。每输入一张人像,AI就会输出一个性别。

AI除了给出分类结果,还会告诉你它的判断有多笃定。置信分数(Confidence)在0~1之间,分数越高,表示AI越肯定一张图是男是女。为了保证训练数据的质量,分值太低的图会被丢弃丨参考文献2

当然,只判断每一张图的性别是不够的。因为目标是性转,不是把男生变成一个长相完全不同的女生。

接下来,要把所有男生放到一起、所有女生放到一起观察。每人都是一个向量,在空间里对应一个自己的位置。把男生的中心和女生的中心位置算出来,得出两个位置之间的差,依然是个向量。而这个向量的方向,就是性转的方向了。

既有了方向,便很容易造出一组一组男女对应的图:还是随机生成潜码,然后给潜码加上这个向量,减去这个向量,加上向量的1/2,减去向量的1/2。这样,每一张照片可以得到5张图,再按照图像分类器的判断,选出“最男”和“最女”(AI置信分最高)的图片,成对的性转数据集就是这样做好的。

右 = 最男 & 最女丨参考文献2

数据集里有5万个样本,每个样本包括了2张源图(性转前),和1张目标图(性转后)。拿它去训练学生模型,成效斐然:

图丨参考文献2

除了性别变幻之外,肤色改和年龄改也是用同样的原理蒸馏的,几只小AI的成绩都媲美了当下最强的算法。

注意,AI们的训练数据,全部是StyleGAN2出品的合成图像,而测试内容却是修改真实照片。AI表现优良,的确值得少年们骄傲;而这也表示,他们当初选择信任StyleGAN2的图像生成能力,没有选错。

在巨人的肩膀上

可能有些同学还不太认识StyleGAN2,这里就认真介绍一下这只闪闪发光的AI。

从名字能看出它是只GAN,就是生成对抗网络(Generative Adversarial Network)。所谓对抗,指的是AI身体里住着一位画家(生成器),和一位鉴赏家(判别器),相爱相杀:画家看了人类的画作或者照片,努力生成逼真的图像,让鉴赏家以为那就是人类的作品;鉴赏家努力不被骗,激励画家产出更逼真的图像。一来二去两者都变得更强,GAN的画作渐渐以假乱真。

StyleGAN也有这样的双重人格。只是它身体里的画家与众不同,是用一张图的风格(比如色调、纹理)来改造另一张图。

修改图片风格的方法叫“风格迁移”,是Leon Gatys团队的名作,能把猫片变成油画丨Joss Whittle

StyleGAN的开发者把人像照片的风格分成了三种尺度:在粗糙尺度上固定脸型、朝向、发型;在中等尺度上固定发色和五官特征;而在精细尺度上,只是图片的配色会有改变,人不会再变成另一个人了。

左上=粗糙尺度,左中=中等尺度,左下=精细尺度丨参考文献3

初代StyleGAN,其实已经成为了最强的人脸生成器,甚至支持1024×1024高清大图生成。可开发者们依然从算法里挑出了缺憾,并在二代算法中有效填补了缺憾。

比如奇怪的“水滴”瑕疵不见了:

上=初代,下=二代丨参考文献1五官不同步(比如脸的朝向变了,牙齿朝向却没有一起变)的问题也改善了:

下=二代,牙齿和眼球能随着脸的朝向一起转动丨参考文献1

另外,科学家说,三种尺度之间的配合也比从前要自然一些:

图丨参考文献1

于是,新的巅峰出现了。技术宅们自然要抓住调戏它的机会,这才有开头看到的一幕。

生生不息的性转

其实,就算没有StyleGAN,人类拿AI做性转的行径也早就开始了。

2016年,一个叫FaceApp的手机应用降临,几乎举世震惊。“Gender Swap”可能是它最骄傲的功能:

雷布斯娘,王健林娘丨FaceApp

与之相比,就是让十几岁的少年看到自己垂暮的样子,也不会激起更热烈的回响了。

人类对性转(尤其是娘化)这件事的热忱,大概也是技术发展不可缺少的动力吧。

史蒂夫·乔布子表示同意(误)。

图 | Choco

参考文献:

[1] Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J., & Aila, T. (2019). Analyzing and improving the image quality of stylegan. arXiv preprint arXiv:1912.04958.

[2] Viazovetskyi, Y., Ivashkin, V., & Kashin, E. (2020). StyleGAN2 Distillation for Feed-forward Image Manipulation. arXiv preprint arXiv:2003.03581.

[3] Karras, T., Laine, S., & Aila, T. (2019). A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4401-4410).

作者:栗子

编辑:Odette

本文来自果壳,未经授权不得转载.

如有需要请联系sns@guokr.com

来源: 果壳