Mellanox 200G HDR深度学习加速引擎结合 NVIDIA 将人工智能平台应用加速两倍

2023-03-06 13:30:03 来源:科技讯
        【每日科技网】

  Mellanox 网络计算“分层聚合和归约协议”(SHARP) 技术与 NVIDIA 聚合通信函数库 (NCCL) 结合,为人工智能带来性能突破

  2019 年 3 月 19 日, Mellanox Technologies, Ltd.(纳斯达克股票代码:MLNX)是面向数据中心服务器和存储系统的高性能、端到端互连解决方案的供应商,该公司今天宣布,其采用“可扩展分层聚合和归约协议”(SHARP) 技术的 HDR 200G InfiniBand 创造了新的性能记录,使深度学习操作性能提高了一倍。Mellanox 网络计算 SHARP技术与 NVIDIA V100 Tensor Core GPU 技术以及聚合通信函数库 (NCCL) 的结合,为深度学习和人工智能应用带来了的效率和可扩展性。

  将先进的 NVIDIA GPU、Mellanox 的 InfiniBand网络、GPUDirect RDMA技术 和 NCCL通信库相结合以训练神经网络,已成为扩展深度学习框架(如 Caffe、Caffe2、Chainer、MXNet、TensorFlow 和 PyTorch)的事实标准。借助 Mellanox SHARP 技术和 HDR InfiniBand网络,可以卸载并加速深度学习训练的数据聚合操作,从而将性能提高至两倍。

  通过与 NVIDIA 合作,并在 Mellanox 的性能实验室进行测试验证,使用 Mellanox HDR InfiniBand Quantum 交换机连接 4 台系统主机,每台主机使用 8 个采用 NVLink 互连技术的 NVIDIA V100 Tensor Core GPU 和一片ConnectX-6 HDR 网卡,并通过将 SHARP 的本地流聚合功能与 NVIDIA 的 NCCL 2.4 通信库(该库现在可以充分利用Mellanox 网络提供的双向带宽)集成,实现了 19.6Gb/s 的有效归约带宽。在使用相同硬件配置的情况下,与NVIDIA 当前基于树型通信结构的实现相比,SHARP实现了两倍的带宽性能。

  在更常见的系统配置中,如果每个主机系统中有4 个HCA卡用于各种工作的负载均衡,其中 SHARP 和 NCCL 的初始计算将会产生70.3GB/s的流量。对于更高密度的GPU系统,如 NVIDIA DGX-2,其每个系统节点中有 16 个采用 NVLink 技术的 NVIDIA V100 Tensor Core GPU,Mellanox的网络计算功能和全双向带宽更将被用的淋漓尽致。

  Mellanox Technologies 市场副总裁 Gilad Shainer 表示:“我们与 NVIDIA 的长期合作为我们带来了强大的解决方案,这些方案充分利用 Mellanox InfiniBand网络的卓越性能,包括 GPUDirect RDMA技术,以及集成在NCCL中的网络计算技术,为人工智能应用提供了两倍于以往的性能。HDR InfiniBand网络计算加速引擎(包括 SHARP 技术)为 HPC 和人工智能工作负载提供了优异的性能和可扩展性。”

  NVIDIA 副总裁兼加速计算总经理 Ian Buck 表示:“Mellanox 的解决方案和我们的开源聚合通信函数库 NCCL的整合,极大地增强了 NVIDIA 无与伦比的 CUDA-X 加速库的性能。我们携手合作,共同提供完整解决方案,确保数据中心内要求最为苛刻的人工智能应用能够从性能和扩展效率中受益。”

  辅助资源:

  ● 深入了解 Mellanox SHARP

  ● 深入了解 Mellanox Quantum HDR 200Gb/s InfiniBand 智能交换机

  ● 在 Twitter、Facebook、Google+、领英和 YouTube 上关注 Mellanox。

  ● 加入 Mellanox 社区

  关于 Mellanox

  Mellanox公司的英文全称是Mellanox Technologies(中文名:迈络思),是一家在全球范围内为服务器和存储提供端到端InfiniBand和以太网互联解决方案的领军企业。Mellanox互连解决方案通过低延迟、高吞吐量的强大性能,可以极大的提升数据中心效率,在应用和系统之间快速的传递数据,提升系统可用性。Mellanox为业内提供了加快内部设备互联的技术和产品,包括网卡、交换机、软件和芯片,这些产品都可以加速应用的执行,并化的提升HPC、企业数据中心、Web2.0、云计算、存储以及金融服务的效率。

  注:Mellanox、ConnectX-6、Mellanox Quantum、Mellanox 可扩展分层聚合和归约协议 (SHARP) 以及 Mellanox 徽标是 Mellanox Technologies, Ltd. 的注册商标。所有其他商标均为其各自所有者的资产。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

第七届中国人工智能大赛厦门圆满收官,筑牢AI安全底座,推动技术产业融合

2026年11月12日,第七届中国人工智能大赛成果发布会在厦门成功举办。本届大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办。国家有关部门和厦门市有关领导出席成果发布会并致辞,围绕人工智能产

5天前

AI+制造”的下一程,不再拼谁的模型参数大,而是拼谁能先把场景对上

2027年3月10日至13日,亚洲(天津)人工智能产业链展(AIIE)将在国家会展中心(天津)举办。本次人工智能产业链展将按产业链逻辑分为以下领域——AI+行业应用、AI+工业制造、AI安全、具身智能

5天前

实力再进阶!新华三虚拟化等多项市场份额表现亮眼

近日, 国际数据公司(IDC)发布《2026年上半年中国软件定义计算SDC市场跟踪报告》。数据显示,紫光股份旗下新华三集团在中国虚拟机软件(VMS)市场份额排名跃升至第二位,实现市场地位新突破。同时,

1周前

微珩启元一月内完成两轮融资,浙大博士团队以3D DRAM+近存计算破局AI推理“内存墙”

AI大模型进入规模化推理阶段后,竞争的焦点正在发生变化。除了芯片的算力之外,数据搬运效率、能耗和单位Token成本,也越来越影响推理系统的整体效率。在这样的背景下,一家创业公司——杭州微珩启元科技在一

1周前

海能达 W60 穿戴式 PoC 终端亮相 | 公专协同,打通专网 “最后一百米”

对于使用PDT窄带专网的一线单位而言,通信盲区不仅意味着语音联络不畅,也可能导致人员位置无法实时上图。随着路面视频监控日益完善、警情逐步向室内空间延伸,地下空间、建筑内部等窄带基站难以有效覆盖的区域,

3周前

从一颗模组到一个平台,澜存科技如何让 AI 进入真实终端

近日,上海澜存科技有限公司宣布完成数千万元Pre-A轮股权融资,本轮投资方为锡创投,拓界资本担任独家财务顾问。继2026年4月完成由凡创资本领投、申冉基金跟投的天使轮融资后,澜存在三个月内连续完成两轮

2个月前