近年,“造人”是业界高度关注的话题。
从中国第一个原创虚拟学生清华大学的“华智冰”,到小红书“潮流数字时代”里以阿喜、IMMA、ALiCE为代表的20+虚拟KOL,虚拟人(virtual human或computersynthesized characters)越来越多的出现在人们的日常生活中……
不仅有虚拟偶像、MMD(MikuMikuDance,虚拟角色跳舞)等文化现象大流行,更在AI加持下为数字人类初步赋予自主智能。
早在20世纪70年代,对虚拟人的研究就已经在学术界起步。
不同的学科领域,对抽象和模拟人类的侧重点并不同。比如体育、军事等,关注虚拟人运动和行为的模拟仿真;医疗领域着重对数字化的人体结构进行重建和分析;图形学、影视的课题则是如何让虚拟人的外形达到真实人类的高度还原。
当前,虚拟人已逐步发展为涉及计算机图形学、运动学和动力学、多功能感知、人工智能和虚拟现实等多个学科的前沿交叉领域。随着人工智能研究深入,如何让虚拟人具有一定程度的自主感知能力、逻辑推理、语言甚至情感,成为了学界和产业界共同关心的前沿阵地。
泛互联网产业中所谈及的虚拟人技术与案例更侧重其在外观、智能等方面与人的相似性,在难辨真假的同时可以进行交互。通过3D图像软件或其它模拟仿真工具制作,以数据形式存在的人与类人角色,都可以算作数字人(digital humans),游戏和影视中也可叫做数字角色(digitalcharacter)。
其中,虚拟偶像是从应用场景出发的一种称谓。无论2D、3D或怎样的表现形式,只要以满足用户对成长、美好的向往为出发点进行公开活动,都可划分到偶像范畴。虚拟人可以被打造为虚拟偶像,同样也可以成为虚拟演员、虚拟作家等等。
另外,按照不同的照美术风格,还可以划分为高保真风格、写实风格与卡通渲染。其中写实-卡通是一种谱系而非存在泾渭分明的界线,而卡通风格也可进一步细分,比如美式卡通、韩系风格、二次元风格等。
△英雄联盟中的卡通风格角色Seraphine
除风格及场景外,虚拟角色还可以按照制作主体、方式、驱动方式进行分类。艺术家从创意想象出发,经过2D原画-3D建模-绑定-动画等流程制作出的,属于PGC类型;一般用户基于平台工具,将自己的照片、视频上传后自动化生成,或组合已有的面部特征、修改参数进行“捏人”的,属于UGC类型。
目前,产业应用领域集中关注的方向是高保真、可实时驱动的虚拟人,包括以下三个重要的技术方向:高保真、智能化、工具化。
在视觉表现层面,做出从外形、表情到动作都1:1还原真实人的高保真虚拟人(Digital Doubles),如数字奥巴马;
运用人工智能,使虚拟人初具智能和情感表达,如微软小冰;
开发更轻量、便捷的工具,让艺术家和普通用户都能快速生产高品质美术资产,或自己的数字孪生体,如Epic的metahuman creator。
制作实时渲染、高保真、可交互的数字人类,需要影视、游戏两个领域技术的取长补短。影视真实但不实时,游戏正好相反。
△历代劳拉,越发真实
在高保真虚拟人技术领域仍有技术难点有待挑战。
人类视觉对同类的形象、特别是对面部高度敏感,在似像非像的阶段,很容易跌入“恐怖谷”。因此,制作风格化的虚拟角色成为另一种选择,卡通形象做出夸张化的动作表情并不会吓到观众,还为艺术创作留下很大空间。
影视等非实时渲染领域,也探索出数字化复制、合成真实人类外形的技术,正向实时渲染的游戏、远程会议等领域进行迁移。
△皮特本人与使用面部合成技术后的形象
突破静态拟真的瓶颈,如何让虚拟人自然地动起来,也是一大难题。
人类能从对方的表情、肢体中读取丰富的非语言信息,虚拟人表情和动作中微小的不自然都能被察觉到。
简单皱眉,牵动骨骼肌肉皮肤一系列变化,如果用手工的方式调整,工作量极其巨大,此时AI则需要体现其不可替代的价值——通过合理架构,利用人类动作和表情数据集,以人类为蓝本学习,甚至学到被人类忽略的微妙细节。
未来,在类似《头号玩家》的数字场景中,每个用户都将有自己的虚拟形象,开放世界中大量的非用户角色(NPC)也需要做到千人千面。
那么,虚拟人可以做什么?风格化的虚拟角色在商业层面充满可能性。
尽管当下二次元风格的虚拟主播更为主流,但真实系偶像的潜力同样不可小觑。当虚拟人的制作精度、动作自然度跨越恐怖谷,自然也有望跨入优质偶像的行列,并有更广的应用场景。
韩国艺术家金贤日创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。SUA拥有自己的Twitter,不定期更新自己的日常活动,模仿人类做出扭头、撅嘴、转动眼睛的动作,十分流畅。
使用游戏引擎制作写实风格的影像短片已并非难事,“虚拟演员”是高质量的人形美术资产,在数量和质量上有着极高的影视制作需求。
在2021年Epic官方及合作伙伴发起的短片竞赛中,科幻题材实时渲染短片《K.I.T》就使用了多个虚拟人作为主要演员,以精良制作斩获多个传统电影奖项。
△露易丝照片(左)及渲染后的虚拟形象(右)
新华社与搜狗联合发布“AI合成主播”,可在用户输入新闻文本后,在屏幕展现虚拟数字人形象并进行新闻播报,且唇形动作能与播报声音实时同步;今年两会期间,科大讯飞A.I.虚拟人爱加“上岗”,和虚拟主播们“组团”走进全国“两会”,并在央视网、人民网等主流媒体亮相;小红书平台上的阿喜、IMMA、ALiCE等虚拟人物已经完成Off-White、GUCCI、Givenchy等品牌新品全球首发上身,B站更是推出了一系列的二次元主播,并不断加大向虚拟主播业务的资源倾斜。
浦发银行和百度共同发布的数字员工“小浦”,利用自然语言处理、语音识别、计算机视觉等人工智能技术制作的虚拟数字人,可通过移动设备为用户提供“面对面”的银行业务服务。
更进一步的未来,随着技术进步,虚拟人物技术的应用场景将更加丰富。相关数据显示,2020年虚拟偶像周边市场规模达645.6亿元,预计2021年将突破千亿。而我们距离超级数字场景中千人千面的数字化存在,更加迫切需要基础学科的支撑,需要一系列精密硬件、技术、算法和软件的相互配合,需要跨界的力量。