【每日科技网】
TencentOS Server AI全面支持满血版DeepSeek R1,在双机16卡的硬件环境上,分别在短输入场景(如知识问答)以及长输入场景(如企业私有信息的检索增强生成)均获得超过2.6倍的推理性能提升!
本性能评估采用2台8卡服务器,显存总量共1536GB,部署TencentOS Server AI版,2台服务器采用RDMA高速网络互联,测试样本采用通用的数据集。分别测试输入200tokens/输出500tokens以及输入6144tokens/输出1024tokens下的吞吐能力,测试结果如下:
TencentOS Server AI是腾讯云发布的一款针对AI场景的操作系统,提供了从基础架构到AI框架以及模型的全栈式AI环境,一方面简化部署,另一方面通过高性能的AI框架,实现大模型如DeepSeek推理效率成倍的增加。
免责声明：本文仅代表作者个人观点，与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
本网站有部分内容均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，若因作品内容、知识产权、版权和其他问题，请及时提供相关证明等材料并与我们联系，本网站将在规定时间内给予删除等相关处理.
