9月1日,「阿里云-云工开物」邀请了4位院士/教授,用“自己的数字分身”给大家讲授AI相关的知识。此次「开学季 Ai 第一课」采用的技术,是由36氪此前曾报道的「数字生命技术领域创新企业「MyTwins.ai」提供的。
张亚勤院士的数字人(采用MyTwins.ai数字分身技术生成) 图片来源:MyTwins.ai
本次公开课导师包括图灵奖得主John E. Hopcroft,中国工程院院士、清华大学智能产业研究院(AIR)院长张亚勤,浙江大学人工智能研究所所长吴飞,复旦大学计算机学院教授黄萱菁,阿里云高校合作部负责人李贝,向观众展示了教育领域可以用老师的数字分身来给学生讲课。
作为数字分身直播产品的提供方,MyTwins.ai在年初与淘宝知名头部主播陈洁Kiki合作后,持续进行了一系列技术迭代,现阶段已经能够让数字分身以不同的体态、表情、拍摄角度“出镜”,适应更多视频及直播环境。
数字人直播带货的概念在近年来逐渐火爆,成为电商竞争新赛道的同时,也掀起了数字人技术新一轮的发展浪潮。而在AI技术的支持下,数字人主播以其低成本的优势,吸引了大量的关注。
早期很多数字人产品,只能让数字人保持单一体态,根据口播内容做一些简单的口型变化和上肢动作。MyTwins.ai相关负责人告诉36氪,早期数字人受限技术而无法做到声音与口型同步,比如发“阿”的声音,嘴巴应该是张大的,数字人的嘴巴却是闭着的。
“后来我们采用3D Flame技术对人脸建模,通过声音驱动3D几何表征形变,再使用3D Gaussian进行渲染。在口型、表情、姿态的精准度上,远远高于传统的纯2D技术路线所展现的效果。”
此外,为了让用户快速拿到生成好的数字分身,降低产品的使用门槛,MyTwins.ai研发了一套通用模型。