华为云CEO：384超节点每卡性能可达英伟达H20三倍

华为云CEO：384超节点每卡性能可达英伟达H20三倍

（文/观察者网 吕栋 编辑/张广凯）

“芯片重不重要？重要。但更重要的是，能够提供客户所需要的计算结果。”8月28日，在中国国际大数据产业博览会开幕式上，华为常务董事、华为云计算CEO张平安说道。

这是华为云被传出组织架构大调整后，张平安首次公开发声。他表示，华为云正在坚定不移地造算力黑土地，通过昇腾AI云服务和Tokens服务满足客户的“最终计算结果”。

在当下，大模型发展对AI基础设施提出了更高要求，未来十年，算力的需求可能会有数万倍的增长。但是相比英伟达、AMD等海外厂商，国产芯片的发展受到美国层层围堵。

在芯片工艺受限的情况下，中国如何提升算力性能和规模？张平安表示，华为可以发挥“大杂烩”的优势——综合在光通信、网络、供电等多方面的技术，以系统补单点，以空间换算力，以带宽换算力，以能源换算力，通过云上算力集群，获得规模优势和提升性能。

今年4月，华为云发布了CloudMatrix384超节点，将384颗昇腾NPU和192颗鲲鹏CPU，通过全新高速网络MatrixLink全对等互联，形成一台超级“AI服务器”，算力规模达到300 PFlops。此外，对于万亿、十万亿参数的大模型训练任务，可以通过横向扩展方式，将432个超节点连在一起，组成一个16万卡的AI集群。如果这个集群用于训练千亿参数大模型，可以同时支持1300个。

在这次大会上，华为云宣布其Tokens服务接入CloudMatrix384超节点，通过xDeepServe架构创新，单芯片最高可实现2400TPS、50msTPOT的高吞吐、低时延，超过业界水平。

观察者网从现场了解到，xDeepServe是以Transformerless的极致分离架构，把MoE大模型拆成可独立伸缩的Attention、FFN、Exper三个微模块，相当于在一台CloudMatrix384上把“大模型”拆成“积木”，并分派到不同的NPU上同步处理任务。之后，再用基于内存语义的微秒级XCCL通信库与FlowServe自研推理引擎，把它们重新拼成一个超高吞吐的LLM服务平台，即Tokens的“超高速流水线”。通过xDeepServe不断调优，最终实现了从非超节点单卡吞吐600tokens/s至超节点单卡吞吐2400tokens/s的提升。

“昇腾AI云服务，我们可以称之为国产的，我们不在意它是7纳米、5纳米还是10纳米，我们在意的是这样的AI云服务，能够为客户提供算力服务，提供Token服务，来服务客户的最终计算结果。很高兴告诉大家，现在我们超节点的Token服务，在50ms时延下，每卡可以生产出2400个Token，这个效率是H20的三倍。除盘古外，我们还支持主流的DeepSeek、Kimi等开源大模型。”张平安在大会上表示。

CloudMatrix384超节点

根据大会上的信息，目前华为云正围绕贵安、乌兰察布、和林格尔、芜湖三大核心枢纽，打造“全国算力一张网”，其中在贵州已部署超40套CloudMatrix384超节点。相比去年同期，华为云整体算力规模增长接近250%，昇腾AI云服务客户从从去年的321家增长到今年1714家，重大事故为零的记录连续保持了756天。

与此同时，华为云围绕智能驾驶领域集中发布CloudVeo智能驾驶云服务等解决方案和成果，华为云贵安汽车专区正式上线，长安天枢智驾搭载华为云CloudMatrix 384超节点也同步亮相。

华为云透露，中国最大的智能驾驶（辅助）企业引望已经跑在昇腾上。多个项目的实际测试结果显示，在典型感知模型、E2E、VLA模型上，CloudMatrix 384超节点可以达到或者超过H1002.5-3倍。

就在这次大会前，华为云组织架构调整引发诸多关注。市场传言称，华为云多个部门被裁撤整合。调整后，华为云将聚焦3+2+1业务：3包括通算、智算、存储；2包括AI PaaS、数据库；1则主要为安全业务。

Canalys数据显示，今年一季度，华为云在中国大陆云服务市场中排名第二，占据18%的份额，与阿里云33%的份额仍有差距。而阿里云AI相关工作负载已连续七个季度实现三位数增长，成为其云业务的核心引擎。

在分析人士看来，市场主流需求已从“上云”转向“上AI”，客户对AI的旺盛需求正重塑云计算应用方式。华为云此次组织“阵痛”是一次必然的战略抉择，就是通过砍掉协同效应弱、资源消耗大的外围研发，将所有力量都集中到能最大化“昇腾AI+盘古”组合优势的核心场景上。

这次大会上，华为副总裁、中国云业务部部长陈林也谈到组织架构调整一事。他表示，“原因很简单，就是聚焦AI饱和投入。当前是人工智能应用行业落地的加速期，中国拥有千行万业的业务场景，各行各业都在积极的拥抱AI，中国非常有机会在各行业构筑起全球领先的优势。”

“我们希望大模型能在昇腾云上跑的更快更好。”张平安也提到，在蒸汽机发明的时候，人们曾经尝试着给三轮车装上蒸汽机，这让火车的发明推迟了四十年，因此，在AI时代来临的时候，要积极拥抱AI原生思维，用AI原生的思维来构筑AI，围绕AI重新构建应用、数据、流程、人员。

“今天是硅基辅助人来干活，AI是工具；未来AI可能会成为执行任务的主体，人的任务就是管理AI，控制AI的开关。对于希望用AI构筑领先优势的企业来说，只有通过AI原生思维来拥抱AI，才能充分发挥AI的潜力，提高效率，创新业务模式，抓住智能时代机遇，实现智能跃迁。”他表示。

本文系观察者网独家稿件，未经授权，不得转载。

Top

1、阿里财报：投入AI和消费见效，闪购带动淘宝月活增长25%

2、时隔一年回到德国，街坊邻居的困窘让我震惊,德国回家了

3、今年华北雨季为何偏长,今年华北地区雨水多吗