关注星融元

前言

随着AI大模型的兴起，数据中心正在经历前所未有的变革。AI模型的规模巨大并持续快速增长。自2017年起，AI模型的规模每半年翻一番，从初代Transformer的6500万增长到GPT-4的1.76万亿，预计下一代大语言模型的尺寸将达到10万亿。

什么是AI大模型？

AI大模型（Artificial Intelligence Large Model）是指具有庞大参数规模和复杂程度的神经网络模型，它们通过大规模的数据训练，能够在各种任务中表现出高度准确和广泛的泛化能力（即对新鲜样本或未知数据的适应能力）。

AI大模型具备以下特点：

• 参数规模庞大：AI大模型通常包含数十亿至数千亿个参数，这使得它们能够处理更加复杂的数据和任务。
• 学习能力强：由于参数众多，AI大模型能够从海量数据中学习到丰富的特征和模式，从而实现对复杂问题的准确预测和判断。
• 应用广泛：AI大模型在自然语言处理、计算机视觉、自动驾驶、医疗健康等多个领域都有广泛的应用。

不过AI大模型在展现其强大能力的同时，也为我们带来了如下挑战：

1. 训练成本高昂：由于参数规模庞大，AI大模型的训练需要大量的计算资源和时间。
2. 数据隐私和安全性问题：训练过程中可能涉及大量的敏感数据，如何保护这些数据不被泄露是一个重要问题。
3. 泛化能力限制：尽管AI大模型在大规模数据上表现出色，但在少样本、小样本场景下的泛化能力仍有待提高。

AI模型是如何训练的？

上文提到AI大模型训练成本昂贵，那么AI模型是如何来训练的呢？它的训练步骤有哪些？

AI训练程序首先将模型参数加载到GPU内存中，之后进行多个epoch的训练。

每个epoch的处理过程可以简单描述为4步：

1. 加载训练数据，在每个epoch中，根据batch size将整个数据集分为若干个mini-batch，分批次加载训练数据，直到遍历整个训练数据集。
2. 训练，包括前向传播、计算损失、反向传播和参数/梯度更新，每个mini-batch都进行上述步骤。
3. 评估，使用评估数据集对模型的指标进行评估。这一步是可选的，可以在整个训练完成后单独进行，也可以间隔若干个epoch进行一次。
4. 保存checkpoint，包括模型状态、优化器状态和训练指标等。为了减少存储需求，通常经过多个epoch后保存一次。

AI大模型训练的网络流量有哪些？

在大模型出现之前，整个过程在一台AI服务器内部完成，训练程序从服务器本地磁盘读取AI模型和训练集，加载到内存中，训练、评估，然后将结果存储回本地磁盘。而大模型的出现改变了这一切。

首先是模型的参数规模超出了单个GPU的内存，以GPT-3为例，要加载1750亿参数及其优化器状态，需要至少125块H100/A100。其计算量也非常庞大，为了加速计算，需要更多的GPU，OpenAI在训练GPT-3时使用了1024块A100。 这些GPU要协同起来一起计算，需要相互之间通信以交换信息，包括参数/梯度、中间激活等。

同时，庞大的数据集被所有GPU共享，需要集中存放到存储服务器中。另一方面，定期保存的checkpoint包含了所有参数和优化器状态，也需要通过存储服务器共享。这样，在每个训练epoch中，都要通过网络读写数据，这些网络流量分为两类，如图1所示：

图1 AI训练时的网络流量分类

• 第一类是GPU之间同步梯度和中间激活的网络流量，它发生在所有GPU之间，是一种广播式流量，逻辑上需要所有GPU全连接。
• 第二类是GPU和存储服务器之间的流量，它仅仅发生在GPU和存储服务器之间，是一种单播流量，逻辑上仅需要以存储服务器为中心的星型连接。

网络如何承载AI大模型流量？

上述第一类网络流量——GPU之间的网络流量，与传统数据中心内部的流量迥然不同，具有广播式、超大流量、超低时延、超高频率、零容忍丢包和严格时间同步的特点。毋庸置疑，这样的流量特点对网络提出了新的需求。网络承载AI大模型流量是一个复杂而关键的任务，需要从多个方面进行优化和应对。

（一）网络架构优化

1. 高带宽网络：AI大模型训练需要处理大量的数据，因此网络必须具备高带宽以支持高速数据传输。传统数据中心的100Gbps带宽接入可能无法满足需求，需要升级到800Gbps、1.6Tbps甚至更高的接入带宽。

2. 多轨道网络架构：采用多轨道网络架构可以提高集群通信效率，减少跨交换机的通信量。例如星融元的星智AI网络——基于LLM大模型的Rail Only网络，架构图如下。

Rail-Only网络架构

3. 全互联架构：在AI大模型训练场景中，采用全互联架构可以减少网络跳数，降低时延。例如，在星融智算中心网络中，每个通道内Spine交换机和Leaf交换机之间做fullmesh全互联，如图2所示。

图2：full-mesh全互联组网

（二）协议与技术升级

1. RDMA：使用RDMA（远程直接内存访问）协议可以减少传输时延和提升网络吞吐。

图3：RDMA工作原理

从图3可以看出，RDMA绕过了操作系统提供的协议栈，规避了TCP/IP的限制，直接在网络传输层之下进行数据传输，并且允许网络适配器直接从内存缓冲区中读写数据，而无需CPU的干预。与传统模式相比，RDMA大幅度降低了消息传输中的处理延迟，能够充分利用网络带宽，提高数据传输的效率。

传统模式和RDMA模式的对比

国际组织(InfiniBand Trade Association, IBTA)发布了最早的 RDMA技术——IB。IB是为 RDMA 量身定制的网络技术，能够提供极高的网络带宽，以满足高性能计算中对数据传输速度的需求。但RDMA 在早期采用 IB 作为传输层，必须使用专门的IB 交换机和 IB 网卡才可实现，导致设备成本和维护成本高，兼容性和灵活性差。

而后IBTA 发布了RoCE技术，允许应用通过以太网实现远程内存访问。RoCE 技术可通过普通以太网交换机实现，只需服务器支持 RoCE 网卡即可。目前的 RoCEv2标准是UDP 协议，虽然 UDP 协议效率比较高，但不像 TCP 协议那样有重传机制等来保障可靠的传输，一旦出现丢包，必须依靠上层应用发现了再做重传，这就会大大降低 RDMA 的传输效率。因此，要想发挥 RoCE 真正的效果，必须为 RDMA 搭建一套不丢包的无损网络环境。星融元的CX-N系列云交换机搭建的超低时延无损以太网能够很好地承载RoCEv2，并基于RoCEv2打造了一张低时延、零丢包、高性能的HPC高性能计算网络。

2. 流量调控：流量控制技术的核心是限制单个客户端向服务器发送的数据量，以确保服务器能够及时处理这些数据。例如，星融元Asterfusion CX-N系列云交换机使用PFC技术来进行流控。

PFC是一种基于优先级的流量控制技术，如图所示，DeviceA发送接口被分成了8个优先级队列，DeviceB接收接口则存在8个接收缓存，二者一一对应。DeviceB接收接口上某个接收缓存发生拥塞时，会发送一个反压信号“STOP”到DeviceA，DeviceA则停止发送对应优先级队列的流量。

图5：PFC工作机制

3. 负载均衡：负载均衡技术的核心是将请求分发到多个服务器上，以提高系统的性能和可用性，避免拥塞和瓶颈。目前的负载均衡技术有DNS负载均衡、七层负载均衡、四层负载均衡等。下图是典型分布式架构的多层负载方案。

图6：多层负载方案

（三）硬件与设备优化

• 高性能交换机：使用高性能的交换机来支持高速数据转发和交换。交换机需要具备足够的端口数量和带宽，以支持大规模GPU集群的通信需求。如星融元CX864E-N 800G交换机等。
• DPU硬件卸载：通过DPU（数据处理单元）硬件卸载技术，可以将网络处理任务从CPU转移到DPU上，从而减轻CPU的负担并提高网络性能。例如，GPU Direct RDMA和GPU Direct Storage等技术可以优化GPU之间的通信路径和数据传输效率。

为AI流量而生——800G超级以太网交换机

上文提到优化硬件以承载AI大模型流量，数据中心交换机需要马不停蹄地升级换代，而星融元CX864E-N 800G交换机正是这样一款超级以太网交换机。它具有如下特点：

• 超大容量，支持64个800G以太网接口，共51.2T交换容量。
• 超低时延交换网，在800G端口上实现业界最强的560ns cut-through时延。
• 200+ MB大容量高速片上包缓存，显著减小集体通信时RoCE流量的存储转发时延。
• Intel至强CPU + 大容量可扩展内存，运行持续进化的企业级SONiC——AsterNOS网络操作系统，并通过DMA直接访问包缓存，对网络流量进行实时加工。
• INNOFLEX可编程转发引擎，可以根据业务需求和网络状态实时调整转发流程，最大程度避免网络拥塞和故障而造成的丢包。
• FLASHLIGHT精细化流量分析引擎，实时测量每个包的延迟和往返时间等，经过CPU的智能分析，实现自适应路由和拥塞控制。
• 10纳秒级别的PTP/SyncE时间同步，保证所有GPU同步计算。
• 开放API，通过REST API开放全部功能给AI数据中心管理系统，与计算设备相互协同，实现GPU集群的自动化部署。

总之，星融元CX864E-N 800G交换机在保持极致性能的同时，实现可编程、可升级的能力，与计算设备形成协同，共同打造10万级别的计算节点互联，将数据中心重构为可与超级计算机媲美的AI超级工厂。

网络性能的效率在确保人工智能应用程序有效运行方面起着至关重要的作用。这种效率决定了系统处理信息的速度，同时也影响着整体应用性能。

人工智能应用程序通常是数据密集型的，需要处理大量信息，因此需要在交换机、路由器和服务器等各种设备之间快速访问和快速传输。速度慢或延迟高的低效网络会干扰实时或接近实时的输入信号，从而缩短处理时间。应用程序的算法依赖于这些信号来识别对准确结果至关重要的特定模式。

当应用程序在网络基础设施上运行时，处理器通过处理器间传输与远程存储器交换信息。这种传输会大大减少延迟和带宽，最终限制应用程序的效率。中央处理器的处理速度与内存访问速度之间的差距越来越大，这给人工智能应用带来了被称为 “内存墙 “的挑战。

尽管 CPU 处理能力有了长足进步，但在提高内存访问速度方面的进展却相对缓慢。这一瓶颈限制了系统的整体性能。

人工智能内存墙问题与网络

在人工智能应用中，处理大型数据集是无可争议的必要条件。然而，这一过程却带来了潜在的绊脚石。由于带宽限制或此类系统特有的高延迟，在处理单元和内存系统等不同组件之间传输上述数据集的速度可能会很慢。

更复杂的是，现代计算机拥有独立的内存层，这些内存层在特定属性（如访问速度和容量）方面各不相同。在这些不同层级之间移动数据会导致内存墙问题，访问时间的增加会影响性能。

在缓存方面，有时会出现请求数据，但却无法在先前为快速检索而设计的缓存中找到数据的情况。这种故障会增加另一个导致瓶颈的问题，即缓存缺失。这种中断会导致严重的延迟，往往会造成系统整体性能的滞后。此外，如果多个处理单元或线程同时访问一个处理单元，就会出现资源争夺，导致效率降低。

不过，网络可以缓解这些问题。分布式系统可以通过将计算和数据分布到多个节点来使用网络资源。这种方法可以改善内存访问时间，减少内存墙问题对人工智能应用性能的影响。

在庞大的网络中，在不同节点间移动信息会产生过多的开销，而减少这些开销的一个有效方法就是采用包含远程直接内存访问（RDMA）的网络技术。

RDMA 实现了两个远程系统内存之间的直接数据传输，无需 CPU 参与。这一过程加快了数据传输，同时最大限度地减少了 CPU 的开销。就人工智能应用而言，RDMA 为优化内存访问开辟了途径，以最快的速度和最高的效率简化了网络各部分之间的通信。

例如，在分布式深度学习系统中，企业可以使用 RDMA 将数据从 GPU 调度到另一个 GPU 或异地存储设施，灵活性极高。RDMA 可以优化可用内存的使用，同时规避潜在的内存障碍，限制内存墙问题的影响。这种模式的转变对基于人工智能的应用具有重大影响，因为在人工智能应用中，无缝通信往往是性能平平与性能卓越的分水岭。

性能之外的网络需求

人工智能应用需要的不仅仅是令人印象深刻的网络性能。以下是网络可使人工智能应用受益的其他领域：

安全性

人工智能应用通常会处理敏感信息，如个人信息或金融交易。使用加密技术和身份验证控制等安全措施确保此类数据的保密性和完整性至关重要。

可扩展性

大规模分布式系统需要较高的可扩展性，因为它们是人工智能工具和快速响应时间的基础。使用软件定义网络等可快速扩展的技术，可确保人工智能应用根据需要无缝增长。

高速连接

大多数人工智能应用需要提供实时或接近实时的洞察和预测，因此保持高速连接至关重要。要正面解决这一问题，需要使用具有高可靠性和容错功能、冗余链路和故障转移机制的网络设计，以确保即使在出现问题时也能不间断地运行。

服务质量QoS

不同类型的信息可能需要不同程度的优先级。由于高优先级数据优先于其他数据，网络产品已发展到提供 QoS 功能。这些功能使应用能够在各种类型的数据流量之间分配网络带宽，并确保优先处理最关键的信息。

星融元AIGC承载网设计方案

超低TCO、超高性价比

相较于IB方案，大幅度降低用户的网络TCO，同时确保超高性能

横向平滑扩容、1:1收敛无阻塞

无收敛的网络设计确保无阻塞的大容量网络，按需横向扩展

整网RoCEv2

基于CEE/DCB能力，提供可与IB媲美的性能和同样无损的网络服务

开放网络操作系统

星融元网络操作系统AsterNOS，SONiC企业级发行版，支持灵活的功能扩展、在线升级

无缝对接云管

AsterNOS 利用简单易用的REST API，可轻松让第三方的云平台/控制器快速纳管

专家级服务

专业、全面、可靠的研发、方案与服务团队，为客户提供小时级的快速响应服务

详情可参考：客户案例：高性能、大规模、高可靠的AIGC承载网络

智能网卡和人工智能应用

智能网络接口控制器（SmartNIC）等专用外设可帮助有效部署人工智能应用。SmartNIC 的一个关键功能是能够将网络处理从主机 CPU 卸载到专用硬件加速器。这可以减少 CPU 负载，同时为运行人工智能应用释放更多资源。

智能网卡使用硬件加速器来执行加密、压缩和协议处理等任务。这种方法还能加快数据传输，从而减少延迟，提高网络吞吐速度，从而加快数据传输，缩短处理时间。

使用智能网卡还能更轻松地解决所有人工智能应用面临的内存墙问题。智能网卡改变了服务器系统处理网络基础设施需求的方式。智能网卡能够承担通常会加重主机 CPU 负担的某些任务，这意味着性能大幅提升，尤其是在数据分析等内存密集型操作中。

将数据包过滤和流量分类任务卸载到 SmartNIC 的专用硬件上，而不是依赖于服务器 CPU 的通用架构，可有效降低服务器 CPU 的使用率，并获得更好的整体效果。此外，许多 SmartNIC 型号都具有本地缓存功能，这意味着无需进行冗长的网络传输，也减少了等待关键信息的时间。

基于开源DPU资源池，破解边缘云算力扩展难题 – 星融元Asterfusion

与其他类型的应用相比，人工智能应用有其独特的要求，对网络基础设施的吞吐量、延迟、安全性、可靠性和可扩展性提出了很高的要求。因此，企业可能有必要调整当前的数据中心网络基础设施，以支持这些需求。

AIGC承载网优化设计思路

网络性能瓶颈问题

通信时长的考虑

带宽：与单机不同，多机之间的网络带宽是比单机内部的带宽要低很多的，

多机之间的网络通信往往会受到网络拓扑、物理连接和网络设备等因素的限制，导致实际的带宽较单机内部的带宽低很多。如单机内部NVLink3.0带宽高达600GB/s；而多机之间的网络一般是400Gb/s或200Gb/s（且是Gb/s）
在AIGC承载网络中，多机之间的通信是必要的，尤其是在分布式计算环境下，不同计算节点之间需要进行数据传输、模型同步和参数更新等操作。这些通信过程可能影响到整体的网络性能和计算效率。

设备转发时延：IB交换机或低时延交换机

性能提升

（1）提升单机网络宽带

提升单机网卡带宽，同时需要匹配主机PCIe带宽和网络交换机的带宽

增加网卡的数量，初期业务量少，可以考虑CPU和GPU共用，后期给CPU准备单独的1到2张网卡，给GPU准备4或8张网卡。

（2）应用RDMA网络（IB或RoCE）

借助RDMA技术，减少了GPU通信过程中的数据复制次数，优化通信路径，降低通信时延。

（3）减少网络拥塞

胖树结构：通过多路径的布线和聚合链路的利用，可以提供高带宽、低延迟和高可靠性的通信。
1:1收敛比

双网分流：通过同时连接到两个不同的网络，将流量分流到两个路径上，从而减轻单一网络的负载和拥塞情况。这里， CPU的流量与GPU流量彻底分离开。

（4）通信算法优化

单机优化

多级优化

• 利用NVLink高带宽优势在单机内部的GPU之间完成数据同步
• 多机之间的GPU利用多网卡建立多个环，对不同分段数据进行同步
• 最后单机内部的GPU再同步一次，最终完成全部GPU的数据同步

大规模网络扩展问题

算力昂贵是大家普遍的共识，由于GPU资源本身稀缺的特性，尽可能多的把GPU资源集中在一个统一的资源池里面，将有利于任务的灵活调度，减少AI任务的排队、减少资源碎片的产生、提升GPU的利用率。

要组成大规模GPU集群，网络的组网方式需要进行优化。

（1）网络架构横向扩展

ToR交换机用于和GPU Server直接连接，构成一个Block。

ToR交换机向上一层是Leaf交换机，一组ToR交换机和一组Leaf交换机之间实现无阻塞全连接架构，构成一个Pod
不同Pod之间使用Spine交换机连接。

接入能力分析

• Block是最小单元，包括256个GPU
• Pod是典型集群规模，包括8个Block，2048个GPU
• 超过2048个GPU，通过Fabric-Pod模式进行扩展

GPU网卡的连接建议

以某厂家的技术实现为例：基于异构网络自适应通信技术，不同服务器上相同位置的GPU，在同一轨道平面，仍然走机间网络通信。

要去往不同位置的GPU（比如host1上的GPU1，需要向其它host上的GPU8 送数据），则先通过机内网络，转发到host1上的GPU8上，然后通过机间网络，来完成通信。机间网络的流量，大部分都聚合在轨道内传输（只经过一级ToR）。机间网络的流量大幅减少，冲击概率也明显下降，从而提供了整网性能。根据实测，异构网络通信在大规模All-to-All场景下，对中小数据包的传输性能提升在30%左右。

（2） 计算与存储网络分离

网络可用性问题

可用性问题在GPU集群中要求不高

因为大规模分布式的AI任务基本都是离线的训练任务，网络中断不会对主业务造成直接影响。

但是也需要关注，因为一个AI训练持续的时间可能会很长，如果没有中间状态保存的话，网络中断就意味着前面花费时间训练出来的成果全部失效，所使用的GPU资源也全部被浪费掉。

AI训练任务对网络拓扑的高度敏感性

某一处网络的中断，会导致其他节点网络的非对称，无限增加上层处理的复杂度，因此，在设计集群的时候需要考虑中断容忍的网络架构。

（1）存储双上联

由于网络中断，导致一个存储节点下线，可能会在网络内触发大量数据恢复流量，增加网络负载，因此，建议采用双上联设计，确保某个交换机或上联链路中断不会影响存储节点的可用性。

（2） 计算网单上行

由于AI训练的特殊性，综合性能与成本考虑，暂不考虑双上联设计。

（3）采用GPU网卡连接方式

同一个GPU Server上的8块卡连接到8个ToR，可以节省机间网络的流量，大部分都聚合在轨道内传输（只经过一级ToR），机间网络的流量大幅减少，冲击概率也明显下降，从而提供了整网性能

但是，上面的方案，GPU Server上任何一个网卡或链接中断都会导致网络的非对称，整个GPU Server都会受到影响。所以，干脆让所有网卡共享同一个交换机，好处是，如果ToR交换机故障，影响到的GPU Server会尽可能少，从整个系统的角度出发，可用性反而提高了

AIGC承载网设计实践

需求汇总（以某客户项目模型为例）

整网的方案设计

计算网络设计—-方案1（整网1：1无收敛）

不考虑GPU的8个接口的接入方式，8个接口接入1台或多台ToR

• 交换机 10 Leaf + 20 ToR= 30 台，提供640个接入端口（20*32=640），每台GPU服务器8端口，可以最大可接入GPU服务器 80台
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧600条，Fabric侧600条，合计1200条

基于该架构，最多可以接入64台ToR，最大可以扩展到2048个200G接口接入，满足1280接口接入的扩展性要求

计算网络设计—-方案2（整网1：1无收敛）

考虑GPU的8个接口的接入方式，8个接口接入到8台Leaf，每8台Leaf作为一个分组

• 交换机 13 Leaf + 24 ToR = 37 台，按600个接入端口（75台GPU服务器），每组8个ToR接入25台GPU服务器，3组ToR接入75台
• 每组ToR接入25台GPU服务器，下行接入带宽为200*200GE，因此，上行也需要至少是200*200GE带宽，每台ToR到每台Leaf为2条200G，总上行带宽为2*13*8*200GE，满足1:1收敛要求
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧600条，Fabric侧624条，合计1224条

方案2扩展性

• 基于该架构，最多可以接入8组ToR ，每组8个ToR接入32台GPU服务器，8组ToR接入256台
• 最大可以扩展到2048个200G接口接入，满足1280接口接入的扩展性要求

存储网络设计（整网3:1收敛）

• 交换机 2 Leaf + 3 ToR = 5 台，提供最大144个接入端口（满足100个接入需求）
• 如果不考虑Leaf高可靠部署，也可以单Leaf接入
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧100条，Fabric侧36条，合计136条

存储网络设计的扩展性

• 交换机 2 Leaf + 5 ToR = 7 台，提供最大240个接入端口（满足240个接入的扩展需求）

设备配置汇总

星融元方案价值与优势

1. 超低TCO、超高性价比：相较于IB方案，大幅度降低用户的网络TCO，同时确保高性能
2. 横向平滑扩容、1:1收敛无阻塞：无收敛的网络设计确保无阻塞的大容量网络，按需横向扩展
3. 整网RoCEv2：基于CEE/DCB能力，提供可与IB媲美的性能和同样无损的网络服务
4. 开放网络操作系统：星融元网络操作系统AsterNOS，SONiC企业级发行版，支持灵活的功能扩展、在线升级
5. 无缝对接云管：AsterNOS 利用简单易用的REST API，可轻松让第三方的云平台/控制器快速纳管
6. 专家级服务：专业、全面、可靠的研发、方案与服务团队，为客户提供小时级的快速响应服务

人工智能（AI）是一项革命性技术，正在改变许多行业和领域。

技术正在从医学到金融服务和娱乐，它正在改变我们日常生活的许多行业和方面。

娱乐，实时游戏、虚拟现实、生成式人工智能和元宇宙应用的快速发展，正在改变我们的日常生活、 虚拟现实、生成式人工智能和元宇宙应用的快速发展正在改变网络、计算、内存、存储和互连 I/O 的交互方式、 存储和互连 I/O 的交互方式。随着人工智能以前所未有的速度 以前所未有的速度发展，网络需要适应 流量的巨大增长。

随着人工智能以前所未有的速度不断发展，网络需要适应数以百计和数以千计的处理器通过数万亿次交易和千兆位 吞吐量。随着人工智能迅速从实验室和研究项目向主流应用迈进的同时，也要求增加网络和计算资源。

最近的发展 ，只是未来十年发展的基石。

我们认为，人工智能集群在未来几年将大幅增长。

这些人工智能工作负载的一个共同特点是，它们都是数据和计算密集型的。典型的人工智能训练工作负载 涉及数十亿个参数和分布在数百或数千个处理器（CPU、GPU 或 TPU）上的大型稀疏矩阵计算。CPU、GPU 或 TPU。这些处理器进行密集计算，然后与同级处理器交换数据。来自对等处理器的数据 或与本地数据合并，然后开始新一轮的处理。在这个计算-交换-还原的循环中，大约有 20-50% 的作业时间用于跨网络通信，因此瓶颈对作业完成时间有很大影响。

TCP/IP 和 RDMA

RDMA 是一种关键的卸载技术，可实现现代人工智能应用所需的可扩展并行处理。在 TCP/IP 套接字中、数据必须先从用户空间复制到内核空间，然后才能到达网络驱动程序和网络。当处理与人工智能应用相关的大量数据时，CPU 可能会成为瓶颈。

这就是远程直接内存访问（RDMA）的用武之地。在高性能计算系统中，RDMA 无处不在，因为它无需依赖内核即可在主内存中交换数据。RDMA 有助于提高吞吐量和性能，从而提高数据传输速率，降低启用 RDMA 的系统之间的延迟，因为它减少了CPU 周期。

RDMA 传输的语义由 InfiniBand Verbs 软件接口定义。这包括内存块的注册、描述符的交换以及 RDMA 读写操作的发布、描述符的交换以及 RDMA 读写操作的发布。该接口独立于作为物理传输层的 Infiniband物理传输层。

RoCE 定义了如何通过以太网传输 InfiniBand 有效载荷。RoCEv2 通过允许流量路由，进一步扩展了这种可扩展性和功能，允许对流量进行路由，并支持在以太网上扩展 RDMA。

集体交流

现代大型语言模型以数十亿或数万亿个参数为基础，并使用大量数据集进行训练，这些数据集无法在任何单个主机 GPU 中运行。任何单个主机 GPU 都无法容纳。这些数据集和模型被分割到多个 GPU 中并行训练，得出的 梯度和权重，然后通过集体通信在各成员 GPU 之间聚合和同步。

集体通信允许在通信器的所有进程之间交换信息。常用的集体通信原语包括广播、聚集、分散、全对全、全局还原（或全还原）和全聚集。最终目标 是确保所有进程在每一步都能同步。在所有参数同步之前，通信器中的任何进程都不能继续运行。

程序员可以利用流行的集体通信库（如 NCCL、oneCCL、RCCL、MSCCL 等），将高效、久经考验的通信算法集成到其应用程序中。应用中集成高效、久经考验的通信算法。

环形算法和二叉树算法通常用于像 allreduce 这样需要在所有 GPU 之间交换信息的集体程序。所有 GPU 之间交换信息。下图显示了用于在四个进程间交换信息的环形算法。

环路具有带宽最优性，要求网络在所有终端主机之间提供线速带宽。虽然带宽效率高，但随着用于训练模型的 GPU 数量增加，延迟也会随环路线性增加。

树形算法通过对参与进程进行排序并将其拆分为不重叠的二进制树，可在保持低延迟的同时扩展 GPU。

分成不重叠的二叉树。下图显示了 16 个进程被分成两棵不重叠的二叉树。

每个进程从两个对等进程接收信息，并向两个对等进程发送信息。这种模式的延迟 不会像环模式那样线性增加，但它要求网络有效地管理流量传输，以便上游进程能以尽可能接近线速的带宽向每个接收进程发送信息。

必须为人工智能网络选择合适的互连设备，以便高效地交换信息，并让进程通过每个障碍，继续前进，进程越过每个障碍，进入下一阶段的计算。

人工智能网络互联

以太网广泛部署在数据中心、骨干网、边缘网和园区网中，其使用情况各不相同，从非常低的速度到目前的 100G、200G、400G 和 800G 高速度，以及未来的 1.6T。到目前的 100G、200G、400G、800G 等高速，路线图中将达到 1.6T。另一方面，Infiniband 是一种网络技术 而 Infiniband 则是 HPC 集群中常用的一种网络技术。如前所述，AI/ML 工作负载是网络密集型的，不同于传统的 HPC 工作负载。

此外，随着大型语言模型（LLM）的激增 此外，随着大型语言模型（LLM）的激增，对 GPU 和存储容量的需求也在不断增加。容量。现代人工智能应用需要拥有数千个 GPU 和存储设备的大型集群。

现代人工智能应用需要配备数千个 GPU 和存储设备的大型集群，而这些集群 随着需求的增长，这些集群必须扩展到数以万计的设备。增长。随着 GPU 速度每隔一年翻一番，避免计算和网络瓶颈至关重要。通过可扩展的网络设计来避免计算和网络瓶颈。可扩展的网络设计。

当应用团队关注计算能力时 网络团队则必须根据以下几个因素对互连进行仔细评估互连：

绩效

衡量人工智能集群性能的关键指标之一是作业完成时间。工作完成时间。要达到理想的 性能，网络必须是无损的、无阻塞的，并且 提供合理的链路利用率。正如后面所讨论的，有了适当的 拥塞控制机制和高效负载平衡技术 技术，RoCEv2 可提供人工智能工作负载所需的最佳性能。

带宽和速度

随着培训工作的规模越来越大，提供更快的网络非常重要。使用端口速度更快的高密度 更快的端口速度。使用商用硅以太网解决方案，网络带宽可以每两年翻一番。同时降低每比特成本和每比特功耗。

无损网络

虽然更快的速度很有用，但无损网络对作业完成时间至关重要。Infiniband 采用基于信用的流量 流量控制，以避免数据包丢失。发送方在收到目标主机发送的表示有可用缓冲区的数据包之前，等待发送数据包。缓冲区。通过使用显式拥塞通知（ECN）和优先级流量控制（PFC），以太网也可作为无损信道运行。无损信道。这些机制对发送方施加反向压力，以避免主机或交换机缓冲区超限。可靠的传输 通过 IB 流量控制或带有 ECN/PFC 的以太网进行可靠传输，对于最大限度地提高 RDMA 性能至关重要

可扩展性

随着 LLM 模型规模的不断扩大，其能力也得到了可靠且可预测的提升。这反过来又推动了更大 这反过来又推动了更大的 LLM，进而推动了更大的人工智能集群互连。简而言之，网络的可扩展性是一个非常重要的考虑因素。

以太网已经证明了其在全球最大云网络中的扩展能力。网络团队能够采用云 设计，并利用运行边界网关协议（BGP）的 CLOS 架构构建分布式网络。

另一方面，Infiniband 的控制平面通过单个子网管理器集中管理，该子网管理器可发现物理拓扑，并在每个节点上设置转发表和 QoS 策略。它定期扫描网络，并根据拓扑变化重新配置设备。这在小型集群中效果良好，但在大规模集群中可能会成为瓶颈。有一些经过深思熟虑的复杂解决方案可以起到修补作用。不过，以太网中的分布式控制平面的规模超过了 Infiniband 48000 的最大子网规模，并提供了更高的弹性。

恢复能力

当 Infiniband 的子网管理器发生故障时，整个子网都可能瘫痪。Infiniband 确实有一些技术可以在某些情况下实现连续转发。在某些情况下可以连续转发，但最终控制平面仍然是集中式的，而且很脆弱。完全故障切换到 而子网越大，停机时间就越长（需要传输的状态越多、 跨节点的扫描范围越大）。根据与客户的交谈，停机时间可能是 30 秒到几分钟不等。在某些用例中，客户 但对于大型人工智能/ML 工作负载来说，这种故障会严重影响作业完成时间和整体性能。性能。使用以太网和 Arista SSU 等功能的分布式可扩展架构，链路和节点故障对整体性能的影响极小甚至没有影响。对大型人工智能网络的整体性能影响极小甚至没有影响。

可见性

遥测和可视性对于实现网络自动化和无缝操作极为重要。网络团队希望将目前用于数据中心通用计算和存储的工具、流程和解决方案扩展到人工智能集群中。

互操作性

OAI 网络通常与各种存储和通用计算基础设施相连接。基于以太网的人工智能网络实现了高效、灵活的网络设计，避免了通过这些不同系统的管道瓶颈。虽然 IP 流量可以通过物理 Infiniband 网络传输，但所有服务器都必须配备 Infiniband HCA 或通过 Infiniband 至以太网网关，这极大地限制了进出 IB 网络的吞吐量。

开放

以太网拥有一个非常强大的生态系统，包括多个芯片供应商、系统供应商和光学供应商，并推动基于开放和标准的解决方案在各供应商之间实现互操作。InfiniBand 则由于选择有限和锁定解决方案而明显落后。

总之，以太网因其可扩展性、互操作性、可靠性、成本效益、灵活性和熟悉度而被认为是人工智能网络的最佳解决方案。以太网的良好记录、广泛采用和对高速网络的支持，使其成为希望建立高效、可扩展的网络基础设施以支持其人工智能工作负载的企业的不二之选。

让我们来看看使用以太网的人工智能工作负载的关键要求。网络需要支持 RoCEv2 的无损传输、优先处理控制流量的服务质量 (QoS)、可调整的缓冲分配、有效的负载平衡和实时监控。