全国首个!华为联合移动完成重要测试 Token吞吐率大增372%

2026-06-26 11:36:30 来源:快科技
        【每日科技网】

  据“华为数据存储”公众号消息,在2026 MWC上海展期间,华为与中国移动通信集团湖北有限公司(以下简称“湖北移动”)联合宣布,双方已成功完成全国运营商首个AI推理加速解决方案现网测试。

  此次测试基于华为OceanStor A800存储与昇腾A3超节点架构,并搭载UCM(Unified Cache Manager,推理记忆数据管理)能力,在长序列AI推理场景下,实现Token吞吐率最高提升372%的突破性成果,为运营商智算业务的高效部署提供了重要技术支撑。

  据介绍,本次测试在湖北移动现网环境中部署vLLM-Ascend框架,面向MiniMax M2.5、GLM-5.1等主流大模型,模拟了8K至190K长序列输入场景。

  测试结果显示,在MiniMax M2.5模型场景下,启用UCM后,首Token延迟(TTFT)优化26%至62%,单NPU卡Token输出效率(TPS)也获得明显提升。

  其中,在64K序列长度下,TPS提升58%;在128K序列长度下,TPS提升78%。

  在GLM-5.1模型场景下,UCM带来的加速效果更加明显,TTFT优化幅度达到51%至93%,TPS提升56%至372%。

  具体来看,在64K序列长度下,TPS提升313%;在128K序列环境下,TPS最高提升372%。

  华为表示,测试结果表明,随着上下文长度不断增加,AI推理加速方案的优势将持续放大,有效解决了长序列推理中的KV Cache容量瓶颈。

  对于运营商而言,这意味着在大模型推理、智能客服、内容生成、行业智能体等长序列AI业务场景中,现网智算资源有望获得更高利用效率,同时降低长上下文推理带来的性能压力。

全国运营商首个!华为联合湖北移动完成AI推理加速现网测试:Token吞吐率大增372%

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

宝马X5砍掉天地门设计 :称用户使用起来会很吃力

2026年7月初,宝马正式发布第五代X5,新车覆盖燃油、混动、纯电等五种动力版本,但最受舆论热议的并非动力升级,而是延续二十余年的分体式“天地门”设计彻底退出产品序列。自1999年初代X5诞生起,天地

宝马X5

1周前

首发2400兆帕热成型钢 奕境发布天穹智盾:深度协同华为ADS 5.0

奕境汽车发布了标准安全架构“天穹智盾”,该架构与华为乾崑智驾ADS5全方位深度协同,开创性实现全体系、全时域、全维度三大核心价值突破,重新定义整车安全防护全新基准。“天穹智盾”安全架构,实现与华为乾崑

奕境

1周前

14.38万起售卖爆了!MONA L03打破小鹏所有车型同期小订纪录

昨晚,小鹏Mona系列第二款量产车L03开启预售,价格为14.38万元起,而据官方消息,这款车开卖即爆,预售订单量已经打破了小鹏所有车型同期小订记录。从官方公布的预定渠道看,预定分为线上和线下两种渠道

MONA L03

1周前

年轻人的第一台法拉利SUV被小鹏造出了 只卖14.38万

小鹏MONA系列首款SUV——MONAL03正式开启预售。新车共推出纯电及超级增程共六个版型,预售价区间为14.38万-16.58万元。在发布会上,小鹏汽车董事长何小鹏不仅交出了MONAM03上市60

1年闪充不要钱 比亚迪海洋网旗舰轿车海豹08上市:19.69万起

刚刚,比亚迪海洋网旗舰轿车海豹08上市,共推出六款配置车型,涵盖插电混动和纯电两种,对应售价19.69-22.99万元以及19.69-23.99万元。海豹08外观高度还原比亚迪Ocean-S概念车的设

海豹08

1周前

年轻人第一台智能时尚SUV!小鹏MONA L03开启预售:14.38万起

小鹏MONAL03在北京完成首秀并正式开启预售,共推出6款车型,预售价14.38-16.58万元,正式上市时间定在7月16日。M系列为轿车,L系列为SUV,新车为小鹏MONA首款SUV车型,其定位为紧