时间:2025-08-08 16:32 作者:林秀晶
浪潮信息发布面向万亿参数大模型的超节点AI服务器,浪潮多节点服务器销量最大的是
8月8日消息,浪潮信息发布面向万亿参数大模型的超节点AI服务器“元脑SD200”。据悉,该产品基于浪潮信息研发的多主机低延迟内存语义通信架构,向上扩展支持64路本土GPU芯片。
元脑SD200可实现单机内运行超万亿参数大模型,并支持多个大模型机内同时运行及多智能体实时协作与按需调用,目前已实现商用。
据介绍,在实际评测中,元脑SD200运行DeepSeek R1和Kimi K2等全参模型的64卡整机推理性能实现超线性扩展。
具体来看,在架构层面,元脑SD200基于自主研发的开放总线交换技术首创多主机三维网格系统架构,实现64路本土GPU芯片高速互连;通过创新远端GPU虚拟映射技术,突破多主机交换域统一编址难题,实现显存统一地址空间扩增8倍,单机可以提供最大4TB显存和64TB内存,为万亿参数、超长序列大模型提供充足键值缓存空间。同时,依托百纳秒级超低延迟链路,构建64卡大高速互连域统一原生内存语义通信,实测结果表明,在推理过程常见的小数据包通信场景中,全规约(All Reduce)性能表现优异,显著提升计算与通信效率。
在系统层面,根据万亿参数大模型计算、通信需求特征,浪潮信息开发智能总线管理系统,实现超节点64卡全局最优路由的自动创建,支持不同拓扑切换,资源按需切分。对于全规约、全聚集(All Gather)等典型通信算子,开展不同数据量大小的细粒度通信策略设计,如多层级通信机制等,实现通信延时进一步降低。同时依托开放的PD分离框架,支持异步KV Cache高效传输与差异化并行策略,在提升业务服务级别目标的同时保持对多元算力的兼容性,实现计算与通信架构的深度协同优化。
据了解,元脑SD200超节点AI服务器通过软硬协同系统创新,向上扩展突破芯片性能边界,在大模型场景中展示出优异的性能表现。结合优化的PD分离框架,SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍,满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。(定西)
1、北大全面取消绩点背后,是这位教授发起的一场大胆试点,北大 绩点
2、业绩波动,秦安股份布局真空镀膜与传感器欲打造新增长极,秦安股份公司
3、\(^o^)/~:D18无人机首飞成功~,d8无人机教程