全国首个!华为联合移动完成重要测试 Token吞吐率大增372%

2026-06-26 11:36:30 来源:快科技
        【每日科技网】

  据“华为数据存储”公众号消息,在2026 MWC上海展期间,华为与中国移动通信集团湖北有限公司(以下简称“湖北移动”)联合宣布,双方已成功完成全国运营商首个AI推理加速解决方案现网测试。

  此次测试基于华为OceanStor A800存储与昇腾A3超节点架构,并搭载UCM(Unified Cache Manager,推理记忆数据管理)能力,在长序列AI推理场景下,实现Token吞吐率最高提升372%的突破性成果,为运营商智算业务的高效部署提供了重要技术支撑。

  据介绍,本次测试在湖北移动现网环境中部署vLLM-Ascend框架,面向MiniMax M2.5、GLM-5.1等主流大模型,模拟了8K至190K长序列输入场景。

  测试结果显示,在MiniMax M2.5模型场景下,启用UCM后,首Token延迟(TTFT)优化26%至62%,单NPU卡Token输出效率(TPS)也获得明显提升。

  其中,在64K序列长度下,TPS提升58%;在128K序列长度下,TPS提升78%。

  在GLM-5.1模型场景下,UCM带来的加速效果更加明显,TTFT优化幅度达到51%至93%,TPS提升56%至372%。

  具体来看,在64K序列长度下,TPS提升313%;在128K序列环境下,TPS最高提升372%。

  华为表示,测试结果表明,随着上下文长度不断增加,AI推理加速方案的优势将持续放大,有效解决了长序列推理中的KV Cache容量瓶颈。

  对于运营商而言,这意味着在大模型推理、智能客服、内容生成、行业智能体等长序列AI业务场景中,现网智算资源有望获得更高利用效率,同时降低长上下文推理带来的性能压力。

全国运营商首个!华为联合湖北移动完成AI推理加速现网测试:Token吞吐率大增372%

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

中兴通讯6G布局持续突破:“2+4”战略牵引,关键技术验证跑出加速度

当前,全球6G已进入标准制定与技术试验并行的关键窗口期。作为通信设备领域的核心厂商,中兴通讯正依托“2+4”战略布局,在6G技术研发、原型验证与产业协同方面密集发力,多项创新成果近期集中亮相。明确“2

2个月前

买手机别被忽悠!这4个参数根本没用

2026年的手机市场,一场关于“参数”的迷思正在蔓延。消费者被各种天文数字包围,却在实际使用中频频失望。IDC最新洞察揭示了一个令人深思的现实:消费者的购买决策,正在从理性功能考量转向情感需求满足——

5个月前

苹果WWDC 2026定档6月8日 聚焦AI进展与新版Siri

苹果公司3月24日宣布,第36届全球开发者大会(WWDC)将于6月8日至12日举行,活动将以线上形式结合位于加州库比蒂诺总部的线下环节同步进行。据苹果官方消息,今年大会将重点展示“AI进展”,同时发布

5个月前

moto首款大折叠razr fold国内亮相 F1赛场演绎速度与科技交融

F1中国大奖赛在上海国际赛车场燃情开赛。作为F1全球智能手机合作伙伴,联想moto携旗下多款新品亮相展台,其中最引人注目的当属首次面向国内公众展出的首款书本式大折叠手机——motorazrfold折叠

5个月前

轻薄美学新标杆 荣耀Magic V6发布,颜值与实力双在线

荣耀正式发布折叠屏旗舰MagicV6,以219g极致轻薄机身、多元时尚配色与精湛工艺,重新定义折叠屏时尚美学,同时搭载7150mAh青海湖电池、6400万潜望长焦等硬核配置,实现颜值与实力的完美平衡,

荣耀Magic V6

5个月前

MWC 2026观察:AI手机开启“自动驾驶”时代,中国厂商引领硬件革命

2026年世界移动通信大会(MWC2026)于3月2日至5日在西班牙巴塞罗那举行。本届展会以“智能新纪元”为主题,AI技术从幕后走向台前,成为绝对主角。各大手机厂商不再满足于让AI停留在写诗、画图的层

半年前