用AI指挥另一个AI,GAN+CLIP的组合成了“CG艺术家”

梦晨发自凹非寺量子位报道公众号 QbitAI

嫌弃 GAN 生成的图像不够炫酷?

不需要改变数据集,只需要给 CLIP 下达的命令中把“虚幻引擎”几个字加上,再让 CLIP 去指挥 GAN,图像就立马变成了高大上的 CG 艺术风。

文字中加入虚幻引擎这个技巧,最早由 Aran Komatsuzaki 发在推特上,吸引了大量 CV 圈的人来围观。

后来有人把这套流程发在了 Colab 上,网友们都玩疯了。

还可以指定成“彩色铅笔风格”

或者“吉卜力风格”:

最绝的是,加上“3D photo inpainting”竟然可以生成立体构图。

CLIP 是 OpenAI 开发的一个负责给图像重排序的模型,它与 GAN 合作的方式也很简单。

先用一张平平无奇的随机图案作为种子,像这种:

像这样让 CLIP 算出其与文字描述的相似度打分,然后反馈给 GAN,让 GAN 以提升分数为目标不断迭代。

AI 艺术家组合就这么出现了。

除了在提示中加入风格要求之外,还可以直接告诉 AI 一个人名,看看在 AI 眼中他们长啥样。

甚至能用来猜猜那些从未露面的大佬们,比如神秘的比特币之父中本聪。

这就是 AI 心目中的中本聪,不管你信不信,反正我是信了。

在线试玩

VQGAN+CLIP 在 Colab 上有很多版本,我们经过对比选择了一个加入额外优化和池化技巧,在速度和质量上都比较出色的一个(链接在文章末尾)。

第 1 步和第 2 步,按顺序执行就好。

第 3 步,选择使用的模型,默认的是用 ImageNet 训练的。

第 4 步设置参数,一般情况下只需要在 texts 里填上要生成的内容,用“”分隔。

width 和 height 控制生成图像的分辨率,model 可以选择使用的模型(需要在第 3 步中下载)。

改变 seed 的数字可以更换随机图像种子。

另外还可以在 init_image 处指定一张初始图片,需要把图片上传到 Colab 环境里再填入链接。

比如,有人使用这样一张图片作为图像种子,开发了新玩法:生成宝可梦。

第五步执行,300*300 分辨率的图迭代 500 次只需要几分钟。

最后,还可以把生成的过程合成为视频。

就是这么简单,快来试试吧。

在线试玩:

https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ

VQGAN:https://github.com/CompVis/taming-transformers

CLIP:https://openai.com/blog/clip/

参考链接:

[1]https://twitter.com/arankomatsuzaki/status/1399471244760649729

[2]https://twitter.com/92C8301A/status/1408795789766365187

[3]https://twitter.com/ak92501

[4]https://twitter.com/casvaIuir/status/1408394829218914305

本文链接

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注