8 月 4 日，由讯飞输入法、科大讯飞苏州研究院（以下简称讯飞苏研院）携手蜃楼志 STUDIO 出品的方言保护计划公益短片《姑苏琐记・天仙子》正式上线。片中“天仙子 —— 雨笙”一角的画外音皆由科大讯飞的 AI 苏州方言合成系统配音完成，婉转悠扬与真人言谈无异。除此之外，片中另一惊喜是讯飞苏研院首次推出的古风高保真数字孪生虚拟人，以巨果娱乐艺人张曦悦为建模原型，打造数字世界的第二分身。
此次虚拟人整体打造，也是讯飞苏研院首次将 AI 技术与影视技术打通，塑造出的高保真孪生形象，对比常见的虚拟人，团队的着眼点从“更美”转换到“更真”，为未来元宇宙中人的形象，拓宽了想象空间。
高保真数字孪生虚拟人 —— 把住细节，力求真实
为真人打造其孪生形象，首先需要原型人物进入由百余台高清单反组成的相机阵列中，阵列系统在 0.1 秒内完成人体信息采集后，再通过 AI 算法进行自动化建模，根据不同的精度要求，建模时长可相应调整。初步生成白模后，确认人体的主要特征信息齐全，此时一个完整的 3D 人体模型便打造完成。
完成“骨骼”建立，就要进入“皮相”打造，材质和纹理如何栩栩如生，细节到绒毛、皱纹和眼袋等，就是虚拟人与真人无二致的关键所在。孪生数字人皮肤的制作是一项复杂的工程，模型师制作材质球，从固有色、粗糙度、次表面散射、高光、凹凸等维度为虚拟人制作材质，保证虚拟人精细到脸部的绒毛都能清晰可见。在完美复刻原型细节的同时，还需进一步上妆，完成她所承担的角色需求。这不仅需要考虑皮肤结构、光线影响、透视与反射等技术向问题，对讯飞模型师的“美妆”能力，也是极大的挑战。
人体的大部分外在表征信息可由相机阵列瞬时采集并由算法构建完成，但是为了保证模型的完整性、真实度和便于后期驱动，模型师会为虚拟人单独制作眼球、牙齿、舌头和毛发，根据真人的模样制作后再和虚拟人身体相匹配。
此次，虚拟人“雨笙”的形象是身着宋制传统服饰的古装形象，相比于现代日常妆造，古装造型的结构和首饰会更加复杂，并且有严格的制式要求。给虚拟人做发型的过程宛如发型师给真人盘头，同样是将一头披散的长发盘成双鬟发髻，不同之处在于，讯飞苏研院虚拟人团队的模型师需要在软件里用一双虚拟的手 —— 导线来实现，先用导线生成毛发，再通过改变其形状做成参照的发型，也为后续驱动做好了准备。
细节是真与实的边界，把握不好细节还原的尺度可能会造成“恐怖谷效应”，观看者也难以对虚拟人产生情感联结，时刻感知到“TA”是个假人。若想虚拟人更加真实，除了身体构造的还原，影响其合理性的诸如材质、光线等因素，也需要讯飞苏研院虚拟人团队的技术人员们对照现实条件去进行复原。而将一个虚拟空间的虚拟人放置进现实环境中，打破次元壁的方法之一便是参照真实环境来进行布光。首先模型师会分析环境的光源信息，分析出主光源和辅光源，再将调好的光线参数布置到虚拟人身上，由此来生成明暗对比、光影等，实现虚拟人与真实环境融为一体。而如拍摄时摄影师会通过打光来显瑜遮瑕一般，模型师也可通过特定的布光方式给虚拟人打光，人为干预光线条件而促使虚拟人在视觉上的美化。
AI 助力方言传承，坚持初心是保证内容的引擎
《姑苏琐记・天仙子》是 AI 苏州方言系列风物短片的收官之作，此前已推出《姑苏琐记・金缕衣》和《姑苏琐记・懒画眉》，引发了全网方言保护热潮，收获了学术界、文艺界及 Z 世代的肯定，看到了一群为爱发电的年轻人为方言保护与传承付出的努力。蜃楼志沿袭了以往考究的传统文艺风格，从服化道到片中的美术道具皆根据史实资料设计，更是找到了完全仿照宋代制式的苏州博物馆的墨戏堂拍摄了室内戏份，对细节的坚持和对作品的“锱铢必较”才促使了一部部优质作品的诞生。
此次虚拟人的真人原型是巨果娱乐旗下艺人张曦悦，其是在圈内小有名气的古风汉服 UP 主 ——“阿时爱吃红烧肉”，因汉服、古风、复原妆造出圈。成立于 2015 年的巨果娱乐致力于艺人经纪、影视开发、品牌专案、音乐版权等领域的合作，此次与讯飞苏研院联动合作打造张曦悦的数字孪生虚拟人，也是看中了元宇宙热潮，希望搭上元宇宙快车，以开放的姿态积极拥抱科技新潮。
科大讯飞将在虚拟人领域持续发力，未来想象无限
讯飞苏研院在科大讯飞总部的技术基础之上，开展了高保真数字孪生虚拟人半自动乃至全自动化生产路径的开发，期待能突破技术黑箱的限制。锚定文旅行业赛道，在苏州热土之上，为千载文化所加持，落地更多产品想象
元宇宙概念大热，虚拟人被认为是元宇宙的入场券，近几年，虚拟人的产值和市场占有率正逐步扩大，虚拟人的应用场景也正待更丰富更深度的开发。此次推出的高保真数字孪生虚拟人是讯飞苏研院首次亮相的高度写实虚拟人，建造虚拟人的过程尽量减少人为干预，力求还原最接近真人的形象和符合现实条件的细节把控。未来，虚拟人势必会发挥更强的势能，而讯飞苏研院瞄准了“造人”这一赛道，将持续发力，不断推出更具场景多样性、功能丰富性的 AI 数字虚拟人。
短片中的虚拟人以古风造型的“天仙子”一角亮相，温婉尔雅，栩栩如生，但这并不会限制其应用场景的开拓和功能的丰富。无论是习得一技之长，讲好江南故事，让更多“Z 世代”的青年人通过她来重新发现传统艺术之美；亦或是通过内容短片与线上交互，实现虚拟与真实世界链接的想象，总之技术当骨架、文化作血肉，终归无限可能。未来，“雨笙”将逐步实现讯飞苏研院与更多合作方对其的想象，在自己垂直的领域生根发芽，找到属于自己的一方舞台。