如何一键变身“奥运冠军”?腾讯QQ影像中心告诉你

2021-08-09 18:28:39 来源:中华网科技
        【每日科技网】

  在刚刚落幕的东京奥运会上,中国体育代表团取得了38枚、32枚银牌、18枚铜牌的优异成绩。这届奥运会期间,除了全民热议运动健儿的精彩表现之外,还有一项神奇的变身活动——「我的奥运夺冠时刻」也在全网发酵,引得网民争相试玩和转发。

  在手机QQ的相机功能中,或者天天P图app中,只需上传一张自己的半身照或是全身照,就可以一秒get奥运健儿的同款夺冠时刻,让众多网友大呼“神奇”,“玩得停不下来”。

  在这个变身视频的背后,是QQ影像中心研发的人体姿态迁移技术。人体姿态迁移技术简单来说,就是给到机器一副含有人物的图片和一个目标姿态,之后经过计算将人物转换为目标姿态的状态。

  区别于人脸功能,围绕人体的GAN生成落地难度较大。在人体动作迁移实现过程中,动作跨度大、像素搬移多、纹理复杂、动作自由度高和自遮挡频繁等干扰因素导致生成指定姿态的人体一直比较困难。目前,主流的人体人体姿态迁移方案有2D warp、3D warp和不依赖warp的解决方案,这三种方式各有利弊,且并未真正落地于实际商业生产应用。

  三大技术突破,解锁人体姿态迁移动效新体验

  针对现有方案的不足,并考虑在实际应用中,多图或视频输入的姿态迁移方法会使得用户使用门槛很高,带来不太好的用户体验。QQ影像中心团队采用基于单图的3D人体重建结合GAN生成的技术路线。

  首先,比起主流方式所需要的视频+在线微调(finetune)模式,QQ影像中心的技术只需要单张用户图就可以完成姿态迁移,并且不需要在线进行模型微调。如此,便能成功将用户的交互难度大大降低。

  针对难度极大的3D人体重建,虽然市面上有开源的3D mesh数据库,比如加州伯克利分校的开源端到端框架HMR,但是效果并不理想。所以QQ影像中心团队为此专门研发了一套人体3D重建算法,让整个效果更为流畅连贯。输入单张用户图片,就能得到地人体形状和纹理,继而将动态变化的每一帧都转化到参考帧上,再经过计算制作成。

  其次,是生成清晰度高,纹理还原度好,支持更高分辨率输出(1024x1024)。比起原先2D warp、3D warp在逼真程度和清晰度上的短板,QQ影像中心算法能够保证其生成质量。其中利用人体分割和背景填充技术,完成目标视频的背景修补。

  而针对3D warp图纹理信息粗糙的现象,则利用GAN网络来细化(refine)用户warp图。具体做法是将用户信息与warp图信息在GAN网络中融合,生成自然的目标姿态用户图。在这一步中GAN网络又分为两个子网络,分别是重建网络与姿态生成网络。将用户图重建,之后生成网络输入粗粒度warp图,之后接受重建网络的特征图并进行特征融合,以保证细节信息的准确性,之后特征图将进入解码器,融合前景和特征图,最后得到输出图。

  最后,针对基于3D的技术方案容易遇到动作僵硬的问题,QQ影像中心通过平滑策略、2D点辅助优化等策略,既保证了素材的动作准确性,也使动作更加连贯自然。

  其实,这次「我的奥运夺冠时刻」变身的爆款出圈并非首例。此前,手机 QQ相机功能中内嵌的热门AI玩法——漫画脸,迪士尼童话脸等,同样出自QQ影像中心团队。

  从人脸到人体动作迁移,QQ影像中心持续探索前沿 AI 和 CV 算法,致力于将前沿的 AI 能力、3D 渲染技术以及先进的玩法赋能产品。团队在语义分割、目标检测、分类识别、GAN生成对抗等方面的深厚技术积累,在AI生成领域已进行了很多相关算法的研发和落地工作。

  值得期待的是,未来QQ影像中心也会带来更多玩法落地,给用户带来更多有趣的科技体验。

  关于腾讯QQ影像中心

  腾讯QQ影像中心(原腾讯光影研究室)是腾讯旗下专注于研究前沿影像处理技术的团队,在单目深度估计技术、语义分割、目标检测、分类识别、GAN生成对抗等方面均有深厚的技术积累。团队一直致力于探索泛娱乐综合解决方案,将前沿的AI能力、先进的玩法引擎和3D渲染技术赋能产品,让视觉创意更多样,音视频编辑更智能,社交沟通更趣味。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前