超节点与集群：两种扩容思路的差别

两种思路

大规模算力系统的扩容方式可以粗略分为两种：

一是横向集群——增加服务器节点，节点之间通过数据中心网络（以太网 / InfiniBand）互联。这是传统高性能计算与云计算的主流方式。

二是超节点——用超高带宽互联把大量加速卡组织成一个逻辑上的大机器，卡间可直接互访内存。这是近几年为应对大模型训练通信压力而出现的路线。

差别在哪里

互联方式：集群依赖网络，超节点依赖专用高带宽互联。共享内存：超节点提供跨卡的共享内存池（公开信息中已有 256 TB 量级），集群不具备。故障域：集群的故障域通常更小，单节点故障影响有限；超节点的故障域更大，需要更强的容错设计。扩展上限：集群理论上可以扩展得更大；超节点受互联拓扑约束，但单域内通信效率更高。

各自的适用场景

超节点更适合通信密集型任务——大模型预训练、MoE 架构、需要频繁参数同步的场景。集群更适合任务粒度较细、需要灵活调度、或对故障隔离要求高的场景。

选择时的判断方法

不要只看总算力数字。更有用的方法是把实际任务的通信特征画出来：每步的通信量、通信与计算的比例、对时延的敏感度。通信占比高的任务，超节点的优势更明显；反之，多花在超节点上的成本可能不值。

一个常见的误解

超节点与集群不是替代关系。实际部署中，超节点常作为集群中的一个高带宽域存在——先在一个超节点内完成紧耦合的通信，再在节点之间用网络连接。理解这一点，有助于看懂厂商发布中的各种规模数字。