AIGC时代，3D引擎有何作为？Unity高级经理孙志鹏：可能实现“一句话建模”

欢迎大家来到IT世界,在知识的湖畔探索吧!

每经记者：朱成祥 每经编辑：梁枭

近期，无论是科技领域还是资本市场，最火热的概念莫过于ChatGPT和AIGC（人工智能技术生成内容）。从文本到图片，AIGC都有丰富的应用。

那么，在3D世界，AIGC有没有应用空间？3D引擎与ChatGPT以及GPT类工具，能否擦出火花？

针对以上问题，《每日经济新闻》记者近日采访了国际3D引擎巨头Unity多位专家。Unity中国高级经理兼跨端移植技术负责人孙志鹏告诉记者，对应AI作画，3D引擎可能实现“一句话建模”。

3D引擎可能实现“一句话建模”

ChatGPT可实现人工智能创作文本，基于文本，AI作画可实现人工智能创作图片，即从一维的文本到二维的平面图片。那么，基于文本，能否形成三维的视频呢？即利用CG（计算机动画）技术以及3D引擎技术，进一步由AI制作微电影。如此前，艺术家团体Sagans就借助虚幻引擎5和AI算法，创造出赛博朋克风格的MV。

对此，孙志鹏表示，AI已被不断集成至Unity的工具流中，主要用于强化管线的渲染能力，同时也会在程序化数字资产生成和可微渲染的部分，为AIGC的落地做能力加强和生态储备，并参与GPT之类的预训练模型的使用探索。在多模态、数据合成、对比学习等领域紧跟学术界成果，争取早日在3D数字资产创作领域实现AIGC。

对应AI作画，3D引擎可能实现“一句话建模”。以场景生成为例，目前看起来一个可能的路径是：首先通过GPT之类的生成模块，自动生成对一个用户需要的场景足够详细的描述，然后通过一个多模态模块进行模态融合，去驱动一个全可微的程序化建模模块来生成场景，继而通过可微渲染器渲染的结果，最后把这个结果交给类似CLIP（文末注）的模块去生成符合最初描述的图像或视频。

而类似过程可以用在很多类型的资产生成过程中，“一句话建模”也就由此实现了。在此之前，工具引擎需要在程序化和可微的方向上做好准备，同时时刻紧跟AIGC相关领域的科研进展，在新锐技术落地的第一时间，让一切成为可能。

中国很可能诞生最大的元宇宙世界

三维空间除了视频，还有直播等场景。目前，虚拟人技术发展迅速，那么Unity能否进一步将自身技术应用到电视直播中，从虚拟人升级到虚拟演播室？

对此，Unity中国回复记者称，此前，由韩国开发者使用Unity打造的虚拟人SUA已经吸引了全世界的关注。作为实时渲染的数字人类，SUA全身都基于实时渲染实现。实时渲染的渲染速度与交互性，让SUA可以与观众实时互动，也就让虚拟演播室成为可能。

另外，目前虚拟人在实际应用中，普遍缺乏真实的人物表情。但在影视制作领域，却已能生成生动的面部表情。比如年前火热的电影——《阿凡达2水之道》。该影片的CG技术提供方WētāFX，和此前已被Unity收购的Wētā Digital师出同门。

图片来源：Unity供图

Unity Wētā Tools对《每日经济新闻》记者表示，制作中的最大突破是为影片中的数字角色制作创新地提出了APFS系统（Anatomically Plausible Facial System），这是一个基于肌肉纤维曲线的面部动画参数化系统，同时Wētā也提供了一整套与之配合的特效画面制作生产流程。

全新的APFS系统提供了一个更基于解剖学基础、更以动画师为中心的创作环境。在帮助动画师通过肌肉曲线直接控制面部肌肉，生成高保真的面部表情的同时，也将复杂的非线性皮肤表现纳入深度神经网络（一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型），继而通过大约7～10万次的高质量面部扫描来训练AI模型，旨在帮助电影创作者更高效地制作高逼真度画面。

Unity在3D引擎和CG技术领域拥有的技术实力，能给中国的相关产业发展带来哪些助力？

Unity中国表示，公司致力于打造中国本土的、适配各类国产软硬件平台的数字生产力工具，丰富由实时图形渲染技术支撑的AR、VR、MR以及数字孪生体验，赋能中国数字经济安全、稳定、健康发展。

在Unity看来，中国拥有世界上最大的游戏市场和汽车市场，也是最大的制造业国家、基建国家。这意味着，中国拥有全球最大的数字孪生市场，也很可能诞生最大的元宇宙世界。

注：CLIP，Contrastive Language-Image Pre-training，是一种机器学习技术，它可以准确理解和分类图像和自然语言文本，这对图像和语言处理具有深远的影响。

封面图片来源：Unity供图

每日经济新闻