欢迎大家来到IT世界,在知识的湖畔探索吧!
前言
前几日在网上学习NFT制作时,发现了一个NFT作品自动生成的网站wombo,原本以为是通过身体组件遍历组合生成新NFT作品,结果发现是通过提供关键词使AI自动生成作品。
AI都已经可以制作艺术品了吗!!!
AI作品 Man
艺术品是对事物的理解,情感的表达,抽象的阐述。能从不同的角度表现我们的认知。过去认为AI是不可能进入艺术与文化行业的。如今看来此结论似乎并不成立了。
它可以通过输入关键词自动生成AI艺术品,而且每次生成的艺术品都是随机的,这意味着作品具有唯一性。
一、技术介绍
这个AI是怎么绘图的? 答案是多模态生成。
0 模态,指的是文本、图像、声音等不同的信息表现形式。
1 多模态,则是把不同类型的信息结合起来。
AI作画主要由两种技术:CLIP和DC-GAN构成。
1.CLIP模型寻找图像
如果给每个图片标上文字描述组成一对,用大量这种图文对去训练AI,就能让它理解到图文之间的对应关系。
CLIP流程
Open AI在2021年1月份发布的DALL-E和CLIP,这两个都属于结合图像和文本的多模态模型,其中DALL-E是基于文本来生成模型的模型,而CLIP是用文本作为监督信号来训练可迁移的视觉模型.
Wombo工程师也曾在一次采访中透露过,他们的算法中就使用了CLIP。
CLIP(Contrastive Language-Image Pre-training),即一种基于对比文本-图像对的预训练方法或者模型
CLIP使用了4亿组从网上收集的图文对做训练,可以理解颜色和形状,日常物品或建筑物,甚至抽象的艺术风格比如“印象派”或“赛博朋克”。
对于训练好的模型,如果我们给一个输入文本,它就可以找到对应的图片,或者根据图片描述它的内容。
思考一下!如果你有了通过文本找到相匹配图片的方法,那么有没有可能根据我对于事物的描述,可以画出我想要的事物样子的算法呢?
2.DC-GAN模型生成图像
接下来,还要解决图像生成的部分。
如果我们有了文本就可以有找到图片的能力,我们有没有可以根据一部小说,生成一部电影呢?
没错,就是GAN了,这里GAN要接受CLIP的调度。
至于Wombo的算法具体使用了哪种GAN,并未公开。但根据网络搜集的信息来看,DC-GAN的可能性最大。
DC-GAN最早于2015年提出,是第一个使用深度卷积网络生成图像的GAN变体。
它可以通过对输入的图像进行
GAN模型包括生成网络G和鉴别网络D,生成网络的目的是生成假的图像使鉴别网络无法鉴别真假,鉴别网络的目的是努力分辨真假图像,练就火眼金睛。最终直到鉴别网络分辨不出生成网络生成的以假乱真的图像为止。
下图是DC-GAN的图解:
DC-GAN流程
生成网络(Generator)接收一个随机噪声z,然后通过上采样(up-sampling)生成图像G(z)。上采样主要采用反卷积算法,G接收一个100-d随机噪声z,经过Project and reshape(实际上就是一个全连接层),转化为一个4*4*1024的feature map,然后经过多个反卷积层,生成大小为64*64*3的图像。
鉴别网络(Discriminator)的输入为一张图片,经过下采样(down-sampling,卷积运算),再接全连接层处理,送入sigmoid函数,输出真假概率。
Wombo生成的是高分辨率图像,卷积在效率上要比Transformer占优势。
二、实现途径
由于该项目没有开源,且配置很麻烦,我们这里通过在线网址测试来介绍AI作画流程。
整个流程是这样的:
1.打开wombo网站
打开网站后我们可以看到如下图所示界面。(这个网站需要科学),第一行输入作画关键词,第二列选择输入作画风格,点击生成。
其中:
0 最上面一栏是关键词输入栏,我们在这里输入关键词或者短句,如animal,a girl。
1 在第二栏点击选择要生成图片的风格
2 选择好风格以后点击Create生成作品。
2.作品生成
首先使用DC-GAN生成一张随机图像作为种子(seek)。
然后让CLIP给图像与文字描述的相似度打分,反馈给GAN模型,GAN模型以提升分数为目标不断进行迭代。
加载过程就是迭代训练的过程,我们可以在等待过程中看到中间的结果
最终满足精度的图片将被输出,作品可以自定义标题。GAN模型训练中的随机性意味着生成图像的唯一性。
3.作品下载
点击save便可下载作品。如果对生成结果不满意,还可以点击按钮再生成一次。
三、效果展示
输入((蒸汽朋克风格)):
Chinese City
欢迎大家来到IT世界,在知识的湖畔探索吧!
输出结果为:
欢迎大家来到IT世界,在知识的湖畔探索吧!Tokyo
输入(各种风格):
Map
生成:
四、总结
AI艺术品将成为NFT领域的下一个趋势,也成为最近圈内热议的话题。实际上,Wombo也有进军NFT领域的打算。我们可以在作品生成界面看到发布为NFT作品的按钮。
不同的AI艺术模型有着不同的特点,有的偏向于真实,有的偏向于想象力。从文化教育行业角度来看,我们可以结合不同AI的特点来激发艺术家的灵感,或者由AI提供主题风格,艺术家来赋予其意义。.
不过凡事都有两面,有的人用此创作艺术品,有的人用此制作非法资源。
请各位读者把握住平衡,捍卫法律,坚守道德底线。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://itzsg.com/73518.html