AMD正式宣布收购AI芯片初创公司Taalas,进一步强化其在AI推理领域的战略布局。
Taalas成立于2023年,总部位于加拿大多伦多,其核心技术路线与主流GPU、Groq LPU及Cerebras晶圆级加速器等数据流架构存在本质区别。
该公司并非依赖传统的高带宽内存(HBM)存储模型权重,而是将权重直接蚀刻进硅片之中,形成模型专用集成电路。
芯片主要由两个功能区域构成:用于存储模型权重的掩膜ROM召回结构,以及用于存放KV缓存和微调适配器的SRAM召回结构。这一方案有望将推理性能提升一个数量级甚至更多。
今年2月,Taalas发布了首款测试芯片HC1,采用台积电6纳米工艺制造。初步基准测试显示,该芯片运行Meta Llama 3.1 8B模型时,速度达每秒16,960个token——这一成绩在当时约为英伟达GPU的48倍、Cerebras加速器的8.5倍。
尽管Llama 3.1以当前标准已非最新模型,但该光罩尺寸芯片的主要目的在于验证技术概念的可性行。
Taalas计划于今年夏季推出第二代HC2芯片,目标将单芯片支持的参数量提升至200亿。虽然这一数值本身并不算庞大,但通过类似GPU的流水线并行方式,权重可分布在多颗加速器上协同运行。
以单芯片200亿参数计算,仅需50颗加速器即可支撑万亿参数级别的大模型,而AMD拥有机架级计算平台与内部系统设计团队,足以承接这一需求。
作为对比,英伟达近期发布的LPX系统在运行同等规模模型时,需数十颗GPU与至少2000颗Groq LPU配合,Taalas方案在空间占用与功耗效率方面具备显著优势。
据知情人士透露,AMD计划将Taalas技术芯片与Instinct系列的Helios机架配对使用,构建分离式架构:计算密集型的提示词处理由GPU负责,token生成任务则卸载至Taalas加速器。
另一种部署模式为,客户先在Instinct加速器上部署和验证模型,待效果确认后再迁移至Taalas加速器,形成类似“tick-tock”的迭代节奏。
此前,AMD在AI领域持续加码并购:2024年以6.65亿美元收购AI模型开发商Silo AI,随后以49亿美元收购服务器厂商ZT Systems,为Helios机柜产品线奠定基础;此外,公司还收购了包括推理软件开发商MK1在内的多家AI初创企业,加速完善其AI全栈生态。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.



