自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

2023-09-21 14:29:03 来源:中华网
        【每日科技网】

  9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。

  如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV模态手柄追踪算法,让手柄在LED灯减少或处于盲区的背景下,也能实时、有效追踪。

  自研Centaur多模态融合追踪算法

  VR设备的轻量化和小型化,一直是XR行业探索和努力的方向。

  基于当前行业主流的“光学追踪+惯性导航系统”追踪方案,开发无灯环手柄会面临两大技术难点:首先,减少LED灯的数量,会影响光学追踪的稳定性;其次,更少的LED观测数量,会增大手柄初始化与追踪解算难度。但如果在手柄上增加新的传感器,这又会提升造价成本,并增加手柄的耗电速率。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO 4系列手柄与PICO 全新研发的无灯环手柄

  PICO全新自研的Centaur多模态融合追踪算法,将光学追踪算法和CV模态手柄追踪算法进行了有效融合。这不仅解决了无灯环手柄「识别难」的问题,也为XR行业的追踪交互提供了新的思路。头显既能通过光学追踪算法识别手柄上LED灯发出的红外光,还能够在LED灯被手部遮挡时,通过CV模态追踪算法识别裸手的特征,从而准确还原出手柄控制器的6DoF信息。两大算法结合手柄本身具备的惯性导航系统,使得新手柄无需增加新的传感器,也能实现稳定、精准的追踪。

  创新技术研发思路

  为了率先实现Centaur多模态追踪算法的产品化,PICO组建了跨部门的攻关小组,包括手柄追踪算法团队、裸手追踪算法团队和交互数据团队。经过多次论证后,最终实现了一套基于神经网络的多模态手柄追踪框架,其融合了惯性测量单元(IMU)、光学传感器和手部图像信息。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  * PICO Centaur多模态融合算法 模型

  在框架设计中,手柄追踪算法团队负责提升光学追踪的稳定性,并搭建算法框架;裸手追踪算法团队设计了SOTA端到端的6DoF位姿估计模型,提升手部追踪的稳定性;而交互数据团队则通过自研多源三维数据采集设备与高精重建算法,提供大量标注数据。

  这样的追踪系统,不仅能基于红外 LED 实现高精度追踪,还能够利用裸手检测“隔山打牛”。为了验证效果,PICO还联合极客玩家进行了极限测试,在音游、游动健身等对追踪精度要求极高的场景下,该算法的追踪效果都可媲美PICO 4的HyperSense振感手柄。

  搭建全方位自研体系

  PICO Centuar多模态追踪算法的推出,得益于PICO在两大核心算法上的技术积累。PICO Neo3和PICO 4两代产品的打磨,帮助PICO 在光学追踪领域积累了扎实的技术。与此同时,PICO 在裸手追踪上也持续探索,相关技术已位列全球第一梯队。PICO通过不断优化端到端的时序模型、千万级高精训练集以及MTP延迟测试方案,在算法延迟与追踪丢失率方面实现技术突破,在游戏、运动等快速甩动手柄的场景下,给用户带来流畅且稳定的体验。

  而这些技术创新背后,是PICO独立自研的高精度数据平台,以及专业的测试平台。

  比如为了生产更符合开发需求的高精度裸手姿态数据,PICO一方面采用了业内的基于相机阵列的自研多视角手部姿态标注技术,另一方面针对该特定任务进行预重建,进一步提升手部姿态数据的精度。这无疑为算法的训练,提供了强大的支撑和助力。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO多模态同步相机系统 采集高精度数据

  近期,PICO交互数据实验室团队的研究发现,被国际会议ICCV 2023成功收录,包含了一篇Oral论文和三篇会议论文。这些涉及高效数据获取、高精度数据标注、数据应用等方面的实践研究,也代表了国际计算机视觉领域的成果。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO交互数据实验室的研究成果,被国际会议ICCV 2023收录

  作为全球的XR品牌,PICO 凭借前瞻性的技术意识和充分的技术积累,创新研发了多模态的融合追踪算法,为行业AI交互提供了全新思路,也进一步助推了手柄的轻量化,为用户提供更符合人体工学,且兼具细腻振感的交互体验。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

智启车展新篇,解构新时代驾乘体验 哈曼创新科技赋能车内体验升维

2025年4月23日,第二十一届上海国际汽车工业展览会盛大启幕,本次车展以“拥抱创新共赢未来”为主题,集齐了全球各大汽车行业巨头的前沿科技与创新成果,共同描绘未来智能出行与绿色生态的蓝图。作为汽车科技

2周前

移动云:以“AI+”力量重塑中小企业数字化未来

数字化转型,是中小企业在新时代背景下的“必答题”。连续两年的政府工作报告提出,加快传统产业和中小企业数字化转型,深入开展中小企业数字化赋能专项行动。《中小企业数字化赋能专项行动方案(2025—2027

2周前

奥维云网二手房数据,助力“以旧换新”政策下家电企业抢占先机

在“双碳”目标和消费升级的行业背景下,中国家电家居行业正迎来以“以旧换新”为核心的政策红利期。2024年国务院明确提出推动消费品以旧换新,家电、家居产品成为重点领域。而这一政策的落地,与存量房市场(二

奥维云网

2周前

华为世界地球日短片发布,快去开启“与地球和鸣”的空间音频之旅吧

清晨被闹钟叫醒,夜晚伴着车流入眠……声音,是我们对这个世界的“第一印象”。然而,在这些日常的喧嚣之外,远方的原野则在发出动人的“天籁”。4月22日世界地球日,华为发布「与地球和鸣」主题纪录片,可在华为

华为

2周前

AI算法+硬件堆料,终结拍鸟技术痛点的佳能专微系统

拍鸟正成为当下热门的摄影题材,我们手中相机也加入了各种便利的人工智能功能,让拍鸟变得更加方便。像是佳能EOSR5MarkII和EOSR1的鸟眼识别追踪、预连拍以及机内AI超分辨率与神经网络降噪都是生态

2周前

权威认可!小天鹅荣膺奥维云网三项行业大奖

作为家居产业第三方数据代表,奥维云网(AVC)一直以来是整个泛家居行业发展的见证者,在不断深耕独特业务场景和数据特征过程中,助力家居企业更快响应市场变化,推动行业创新发展。近日,小天鹅品牌接连斩获由奥

小天鹅

3周前