自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

2023-09-21 14:29:03 来源:中华网
        【每日科技网】

  9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。

  如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV模态手柄追踪算法,让手柄在LED灯减少或处于盲区的背景下,也能实时、有效追踪。

  自研Centaur多模态融合追踪算法

  VR设备的轻量化和小型化,一直是XR行业探索和努力的方向。

  基于当前行业主流的“光学追踪+惯性导航系统”追踪方案,开发无灯环手柄会面临两大技术难点:首先,减少LED灯的数量,会影响光学追踪的稳定性;其次,更少的LED观测数量,会增大手柄初始化与追踪解算难度。但如果在手柄上增加新的传感器,这又会提升造价成本,并增加手柄的耗电速率。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO 4系列手柄与PICO 全新研发的无灯环手柄

  PICO全新自研的Centaur多模态融合追踪算法,将光学追踪算法和CV模态手柄追踪算法进行了有效融合。这不仅解决了无灯环手柄「识别难」的问题,也为XR行业的追踪交互提供了新的思路。头显既能通过光学追踪算法识别手柄上LED灯发出的红外光,还能够在LED灯被手部遮挡时,通过CV模态追踪算法识别裸手的特征,从而准确还原出手柄控制器的6DoF信息。两大算法结合手柄本身具备的惯性导航系统,使得新手柄无需增加新的传感器,也能实现稳定、精准的追踪。

  创新技术研发思路

  为了率先实现Centaur多模态追踪算法的产品化,PICO组建了跨部门的攻关小组,包括手柄追踪算法团队、裸手追踪算法团队和交互数据团队。经过多次论证后,最终实现了一套基于神经网络的多模态手柄追踪框架,其融合了惯性测量单元(IMU)、光学传感器和手部图像信息。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  * PICO Centaur多模态融合算法 模型

  在框架设计中,手柄追踪算法团队负责提升光学追踪的稳定性,并搭建算法框架;裸手追踪算法团队设计了SOTA端到端的6DoF位姿估计模型,提升手部追踪的稳定性;而交互数据团队则通过自研多源三维数据采集设备与高精重建算法,提供大量标注数据。

  这样的追踪系统,不仅能基于红外 LED 实现高精度追踪,还能够利用裸手检测“隔山打牛”。为了验证效果,PICO还联合极客玩家进行了极限测试,在音游、游动健身等对追踪精度要求极高的场景下,该算法的追踪效果都可媲美PICO 4的HyperSense振感手柄。

  搭建全方位自研体系

  PICO Centuar多模态追踪算法的推出,得益于PICO在两大核心算法上的技术积累。PICO Neo3和PICO 4两代产品的打磨,帮助PICO 在光学追踪领域积累了扎实的技术。与此同时,PICO 在裸手追踪上也持续探索,相关技术已位列全球第一梯队。PICO通过不断优化端到端的时序模型、千万级高精训练集以及MTP延迟测试方案,在算法延迟与追踪丢失率方面实现技术突破,在游戏、运动等快速甩动手柄的场景下,给用户带来流畅且稳定的体验。

  而这些技术创新背后,是PICO独立自研的高精度数据平台,以及专业的测试平台。

  比如为了生产更符合开发需求的高精度裸手姿态数据,PICO一方面采用了业内的基于相机阵列的自研多视角手部姿态标注技术,另一方面针对该特定任务进行预重建,进一步提升手部姿态数据的精度。这无疑为算法的训练,提供了强大的支撑和助力。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO多模态同步相机系统 采集高精度数据

  近期,PICO交互数据实验室团队的研究发现,被国际会议ICCV 2023成功收录,包含了一篇Oral论文和三篇会议论文。这些涉及高效数据获取、高精度数据标注、数据应用等方面的实践研究,也代表了国际计算机视觉领域的成果。

自研多模态追踪算法,PICO 为「手柄小型化」找到新思路

  *PICO交互数据实验室的研究成果,被国际会议ICCV 2023收录

  作为全球的XR品牌,PICO 凭借前瞻性的技术意识和充分的技术积累,创新研发了多模态的融合追踪算法,为行业AI交互提供了全新思路,也进一步助推了手柄的轻量化,为用户提供更符合人体工学,且兼具细腻振感的交互体验。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前