腾讯优图刷新人体姿态估计国际权威榜单,相关论文被ECCV2020收录

2020-10-26 15:13:10 来源:凤凰网科技
        【每日科技网】

  近日,腾讯优图实验室在人体2D姿态估计任务中获得创新性技术突破,其提出的基于语义对抗的数据增强算法Adversarial Semantic Data Augmentation (ASDA),刷新了人体姿态估计国际权威榜单。相关论文(Adversarial Semantic Data Augmentation for Human Pose Estimation)已被计算机视觉会议EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV2020)收录。

  作为计算机视觉领域的基础技术之一,人体姿态可以理解为对“人体”的姿态(关键点,比如头、左手、右脚等)的位置估计,其中2D人体姿态估计在多种视觉应用中发挥着重要作用。不过尽管该技术研究的时间历程较长,相关创新方法也层出不穷,但在很多场景下,其效果依然不尽人意。

  如图1所示,对于对称性较强的人体、遮挡比较严重的场合以及多人场景,2D姿态估计的表现普遍比较差。解决上述问题的一种有效的方法是对数据集进行数据增强,然而现有的数据增强算法比如图片的翻转、旋转或者图片色度的改变,都是全局尺度上的数据增强,无法解决图中所示的挑战性案例。

  图1. 二维人体姿态估计的挑战性案例

  为解决上述提及的难点,优图提出了基于语义对抗的数据增强算法Adversarial Semantic Data Augmentation (ASDA)。该算法的整体pipeline如图2所示,输入图片经过生成网络,进行语义粒度上的数据增强;增强后的图片作为姿态估计网络的输入,进行姿态估计,得到二维人体姿态。生成网络生成增强样本,提升姿态估计网络的预测难度,姿态估计网络则试图预测增强后图片。

  图2. ASDA算法流程图

  与其他算法相比,腾讯优图的算法有三点创新。创新之一,提出了一种基于局部变换的数据增强方式,有效填补了全局数据增强的缺陷。创新之二设计了一种基于人体语义部件的数据增强算法(SDA, Semantic Data Augmentation),通过语义粒度上的图像替换以及变换来有效模拟之前网络无法处理的挑战案例。

  第三点创新便是提出了ASDA算法,该算法在MPII、COCO、LSP等主流二维人体姿态估计Benchmark上均超过了state-of-the-art方法,达到第一名水平,将人体2D姿态估计的准确度推进到全新高度。ASDA作为一种通用的数据增强方法,可以便捷地用在二维人体姿态估计的不同数据集以及不同网络结构上。

  实践结果表明,优图的算法在COCO、MPII、LSP三个姿态估计的benchmark达到了的水平,图4-7展示了在以上三个权威数据集上优图的方法与其他SOTA算法在准确度上的差距。为了方便展示ASDA算法的效果,在COCO测试集进行可视化得到图3,可以看到优图的算法能够有效的解决图1中的挑战性案例。

  图3. ASDA的可视化结果展示

  图4. ASDA的数值指标展示-LSP

  图5. ASDA的数值指标展示-MPII

  图6. 本文方法对应MPII官方榜单结果

  图7. ASDA的数值指标展示-COCO

  作为腾讯旗下的人工智能实验室之一,优图聚焦计算机视觉,专注人脸识别、图像识别、OCR、机器学习、数据挖掘等领域开展技术研发和行业落地,在推动产业数字化升级过程中,始终坚持基础研究、产业落地两条腿走路的发展战略,与腾讯云与智慧产业深度融合,挖掘客户痛点,切实为行业降本增效。

  在未来,腾讯优图也将继续深耕于人体2D姿态估计技术,并将持续探索更多的应用场景和应用空间,让更多的用户享受到科技带来的红利。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前