昇腾生态硬核赋能!上交大攻克超长上下文推理难题,性能大幅跃升

2025-11-26 17:01:23 来源:中华网
        【每日科技网】

  随着大语言模型在文本分析、智能问答等场景的广泛应用,处理1M超长文本推理时,常常面临显存不足、运算速度卡顿的行业痛点,严重限制了超长文本场景的应用。近日,上海交通大学李健教授团队依托上海交通大学 鲲鹏昇腾科教创新卓越中心的算力支持,基于vLLM-Ascend 推理框架研发出一套针对超长上下文推理的稀疏注意力 KV Cache 分层缓存管理系统。在昇腾 AI 软硬件平台的全方位赋能下,该项目成功破解单卡支持超长上下文推理的显存与性能双重难题,同时大幅提升吞吐量。

  项目核心创新在于设计了 KV Cache 分级缓存集成机制。该机制先对推理任务进行实时分析,智能识别Top-K 重要块并集中算力处理,从源头提升计算效率;同时采用数据冷热分层存储策略,根据数据访问频率,将生成数据动态划分为高频热数据与低频冷数据,再针对性优化存储位置,减少资源浪费。这一机制的落地依托昇腾CANN异构计算架构灵活的动态调度能力,能精准控制冷热数据在显存与主存间的流转,大幅降低数据迁移开销。最终,该方案实现单卡流畅处理超过1M的超长文本推理任务,系统推理吞吐量超过39%,彻底突破传统系统在长序列处理上的显存与性能瓶颈。

  同时项目进行了元数据结构优化与缓存机制设计,其中数据索引与掩码是关键支撑 —— 通过精简索引结构、合并掩码维护步骤,有效减少重复运算,使昇腾NPU算力更集中于注意力计算与文本生成等核心任务,提升硬件利用效率。相关优化已通过vLLM-Ascend推理框架灵活集成,保障了技术方案的顺利落地。

  目前,该项目源代码已在 Gitee 社区中开源,后续将进一步推送到昇腾开源生态,合入GitHub社区vLLM-Ascend项目专区。此次技术突破,不仅为超长文本推理提供了高效解决方案,更印证了昇腾生态在AI创新中的赋能价值。未来,随着该系统在更多行业场景的落地,昇腾将持续为AI技术研发提供算力与技术保障,推动大语言模型在长文本分析、智能办公、数字孪生等千行百业的深度应用,加速人工智能产业化进程。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前