网络性能的效率在确保人工智能应用程序有效运行方面起着至关重要的作用。这种效率决定了系统处理信息的速度，同时也影响着整体应用性能。

人工智能应用程序通常是数据密集型的，需要处理大量信息，因此需要在交换机、路由器和服务器等各种设备之间快速访问和快速传输。速度慢或延迟高的低效网络会干扰实时或接近实时的输入信号，从而缩短处理时间。应用程序的算法依赖于这些信号来识别对准确结果至关重要的特定模式。

当应用程序在网络基础设施上运行时，处理器通过处理器间传输与远程存储器交换信息。这种传输会大大减少延迟和带宽，最终限制应用程序的效率。中央处理器的处理速度与内存访问速度之间的差距越来越大，这给人工智能应用带来了被称为 “内存墙 “的挑战。

尽管 CPU 处理能力有了长足进步，但在提高内存访问速度方面的进展却相对缓慢。这一瓶颈限制了系统的整体性能。

人工智能内存墙问题与网络

在人工智能应用中，处理大型数据集是无可争议的必要条件。然而，这一过程却带来了潜在的绊脚石。由于带宽限制或此类系统特有的高延迟，在处理单元和内存系统等不同组件之间传输上述数据集的速度可能会很慢。

更复杂的是，现代计算机拥有独立的内存层，这些内存层在特定属性（如访问速度和容量）方面各不相同。在这些不同层级之间移动数据会导致内存墙问题，访问时间的增加会影响性能。

在缓存方面，有时会出现请求数据，但却无法在先前为快速检索而设计的缓存中找到数据的情况。这种故障会增加另一个导致瓶颈的问题，即缓存缺失。这种中断会导致严重的延迟，往往会造成系统整体性能的滞后。此外，如果多个处理单元或线程同时访问一个处理单元，就会出现资源争夺，导致效率降低。

不过，网络可以缓解这些问题。分布式系统可以通过将计算和数据分布到多个节点来使用网络资源。这种方法可以改善内存访问时间，减少内存墙问题对人工智能应用性能的影响。

在庞大的网络中，在不同节点间移动信息会产生过多的开销，而减少这些开销的一个有效方法就是采用包含远程直接内存访问（RDMA）的网络技术。

RDMA 实现了两个远程系统内存之间的直接数据传输，无需 CPU 参与。这一过程加快了数据传输，同时最大限度地减少了 CPU 的开销。就人工智能应用而言，RDMA 为优化内存访问开辟了途径，以最快的速度和最高的效率简化了网络各部分之间的通信。

例如，在分布式深度学习系统中，企业可以使用 RDMA 将数据从 GPU 调度到另一个 GPU 或异地存储设施，灵活性极高。RDMA 可以优化可用内存的使用，同时规避潜在的内存障碍，限制内存墙问题的影响。这种模式的转变对基于人工智能的应用具有重大影响，因为在人工智能应用中，无缝通信往往是性能平平与性能卓越的分水岭。

性能之外的网络需求

人工智能应用需要的不仅仅是令人印象深刻的网络性能。以下是网络可使人工智能应用受益的其他领域：

安全性

人工智能应用通常会处理敏感信息，如个人信息或金融交易。使用加密技术和身份验证控制等安全措施确保此类数据的保密性和完整性至关重要。

可扩展性

大规模分布式系统需要较高的可扩展性，因为它们是人工智能工具和快速响应时间的基础。使用软件定义网络等可快速扩展的技术，可确保人工智能应用根据需要无缝增长。

高速连接

大多数人工智能应用需要提供实时或接近实时的洞察和预测，因此保持高速连接至关重要。要正面解决这一问题，需要使用具有高可靠性和容错功能、冗余链路和故障转移机制的网络设计，以确保即使在出现问题时也能不间断地运行。

服务质量QoS

不同类型的信息可能需要不同程度的优先级。由于高优先级数据优先于其他数据，网络产品已发展到提供 QoS 功能。这些功能使应用能够在各种类型的数据流量之间分配网络带宽，并确保优先处理最关键的信息。

星融元AIGC承载网设计方案

超低TCO、超高性价比

相较于IB方案，大幅度降低用户的网络TCO，同时确保超高性能

横向平滑扩容、1:1收敛无阻塞

无收敛的网络设计确保无阻塞的大容量网络，按需横向扩展

整网RoCEv2

基于CEE/DCB能力，提供可与IB媲美的性能和同样无损的网络服务

开放网络操作系统

星融元网络操作系统AsterNOS，SONiC企业级发行版，支持灵活的功能扩展、在线升级

无缝对接云管

AsterNOS 利用简单易用的REST API，可轻松让第三方的云平台/控制器快速纳管

专家级服务

专业、全面、可靠的研发、方案与服务团队，为客户提供小时级的快速响应服务

详情可参考：客户案例：高性能、大规模、高可靠的AIGC承载网络

智能网卡和人工智能应用

智能网络接口控制器（SmartNIC）等专用外设可帮助有效部署人工智能应用。SmartNIC 的一个关键功能是能够将网络处理从主机 CPU 卸载到专用硬件加速器。这可以减少 CPU 负载，同时为运行人工智能应用释放更多资源。

智能网卡使用硬件加速器来执行加密、压缩和协议处理等任务。这种方法还能加快数据传输，从而减少延迟，提高网络吞吐速度，从而加快数据传输，缩短处理时间。

使用智能网卡还能更轻松地解决所有人工智能应用面临的内存墙问题。智能网卡改变了服务器系统处理网络基础设施需求的方式。智能网卡能够承担通常会加重主机 CPU 负担的某些任务，这意味着性能大幅提升，尤其是在数据分析等内存密集型操作中。

将数据包过滤和流量分类任务卸载到 SmartNIC 的专用硬件上，而不是依赖于服务器 CPU 的通用架构，可有效降低服务器 CPU 的使用率，并获得更好的整体效果。此外，许多 SmartNIC 型号都具有本地缓存功能，这意味着无需进行冗长的网络传输，也减少了等待关键信息的时间。

基于开源DPU资源池，破解边缘云算力扩展难题 – 星融元Asterfusion

与其他类型的应用相比，人工智能应用有其独特的要求，对网络基础设施的吞吐量、延迟、安全性、可靠性和可扩展性提出了很高的要求。因此，企业可能有必要调整当前的数据中心网络基础设施，以支持这些需求。

AIGC承载网优化设计思路

网络性能瓶颈问题

通信时长的考虑

带宽：与单机不同，多机之间的网络带宽是比单机内部的带宽要低很多的，

多机之间的网络通信往往会受到网络拓扑、物理连接和网络设备等因素的限制，导致实际的带宽较单机内部的带宽低很多。如单机内部NVLink3.0带宽高达600GB/s；而多机之间的网络一般是400Gb/s或200Gb/s（且是Gb/s）
在AIGC承载网络中，多机之间的通信是必要的，尤其是在分布式计算环境下，不同计算节点之间需要进行数据传输、模型同步和参数更新等操作。这些通信过程可能影响到整体的网络性能和计算效率。

设备转发时延：IB交换机或低时延交换机

性能提升

（1）提升单机网络宽带

提升单机网卡带宽，同时需要匹配主机PCIe带宽和网络交换机的带宽

增加网卡的数量，初期业务量少，可以考虑CPU和GPU共用，后期给CPU准备单独的1到2张网卡，给GPU准备4或8张网卡。

（2）应用RDMA网络（IB或RoCE）

借助RDMA技术，减少了GPU通信过程中的数据复制次数，优化通信路径，降低通信时延。

（3）减少网络拥塞

胖树结构：通过多路径的布线和聚合链路的利用，可以提供高带宽、低延迟和高可靠性的通信。
1:1收敛比

双网分流：通过同时连接到两个不同的网络，将流量分流到两个路径上，从而减轻单一网络的负载和拥塞情况。这里， CPU的流量与GPU流量彻底分离开。

（4）通信算法优化

单机优化

多级优化

• 利用NVLink高带宽优势在单机内部的GPU之间完成数据同步
• 多机之间的GPU利用多网卡建立多个环，对不同分段数据进行同步
• 最后单机内部的GPU再同步一次，最终完成全部GPU的数据同步

大规模网络扩展问题

算力昂贵是大家普遍的共识，由于GPU资源本身稀缺的特性，尽可能多的把GPU资源集中在一个统一的资源池里面，将有利于任务的灵活调度，减少AI任务的排队、减少资源碎片的产生、提升GPU的利用率。

要组成大规模GPU集群，网络的组网方式需要进行优化。

（1）网络架构横向扩展

ToR交换机用于和GPU Server直接连接，构成一个Block。

ToR交换机向上一层是Leaf交换机，一组ToR交换机和一组Leaf交换机之间实现无阻塞全连接架构，构成一个Pod
不同Pod之间使用Spine交换机连接。

接入能力分析

• Block是最小单元，包括256个GPU
• Pod是典型集群规模，包括8个Block，2048个GPU
• 超过2048个GPU，通过Fabric-Pod模式进行扩展

GPU网卡的连接建议

以某厂家的技术实现为例：基于异构网络自适应通信技术，不同服务器上相同位置的GPU，在同一轨道平面，仍然走机间网络通信。

要去往不同位置的GPU（比如host1上的GPU1，需要向其它host上的GPU8 送数据），则先通过机内网络，转发到host1上的GPU8上，然后通过机间网络，来完成通信。机间网络的流量，大部分都聚合在轨道内传输（只经过一级ToR）。机间网络的流量大幅减少，冲击概率也明显下降，从而提供了整网性能。根据实测，异构网络通信在大规模All-to-All场景下，对中小数据包的传输性能提升在30%左右。

（2） 计算与存储网络分离

网络可用性问题

可用性问题在GPU集群中要求不高

因为大规模分布式的AI任务基本都是离线的训练任务，网络中断不会对主业务造成直接影响。

但是也需要关注，因为一个AI训练持续的时间可能会很长，如果没有中间状态保存的话，网络中断就意味着前面花费时间训练出来的成果全部失效，所使用的GPU资源也全部被浪费掉。

AI训练任务对网络拓扑的高度敏感性

某一处网络的中断，会导致其他节点网络的非对称，无限增加上层处理的复杂度，因此，在设计集群的时候需要考虑中断容忍的网络架构。

（1）存储双上联

由于网络中断，导致一个存储节点下线，可能会在网络内触发大量数据恢复流量，增加网络负载，因此，建议采用双上联设计，确保某个交换机或上联链路中断不会影响存储节点的可用性。

（2） 计算网单上行

由于AI训练的特殊性，综合性能与成本考虑，暂不考虑双上联设计。

（3）采用GPU网卡连接方式

同一个GPU Server上的8块卡连接到8个ToR，可以节省机间网络的流量，大部分都聚合在轨道内传输（只经过一级ToR），机间网络的流量大幅减少，冲击概率也明显下降，从而提供了整网性能

但是，上面的方案，GPU Server上任何一个网卡或链接中断都会导致网络的非对称，整个GPU Server都会受到影响。所以，干脆让所有网卡共享同一个交换机，好处是，如果ToR交换机故障，影响到的GPU Server会尽可能少，从整个系统的角度出发，可用性反而提高了

AIGC承载网设计实践

需求汇总（以某客户项目模型为例）

整网的方案设计

计算网络设计—-方案1（整网1：1无收敛）

不考虑GPU的8个接口的接入方式，8个接口接入1台或多台ToR

• 交换机 10 Leaf + 20 ToR= 30 台，提供640个接入端口（20*32=640），每台GPU服务器8端口，可以最大可接入GPU服务器 80台
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧600条，Fabric侧600条，合计1200条

基于该架构，最多可以接入64台ToR，最大可以扩展到2048个200G接口接入，满足1280接口接入的扩展性要求

计算网络设计—-方案2（整网1：1无收敛）

考虑GPU的8个接口的接入方式，8个接口接入到8台Leaf，每8台Leaf作为一个分组

• 交换机 13 Leaf + 24 ToR = 37 台，按600个接入端口（75台GPU服务器），每组8个ToR接入25台GPU服务器，3组ToR接入75台
• 每组ToR接入25台GPU服务器，下行接入带宽为200*200GE，因此，上行也需要至少是200*200GE带宽，每台ToR到每台Leaf为2条200G，总上行带宽为2*13*8*200GE，满足1:1收敛要求
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧600条，Fabric侧624条，合计1224条

方案2扩展性

• 基于该架构，最多可以接入8组ToR ，每组8个ToR接入32台GPU服务器，8组ToR接入256台
• 最大可以扩展到2048个200G接口接入，满足1280接口接入的扩展性要求

存储网络设计（整网3:1收敛）

• 交换机 2 Leaf + 3 ToR = 5 台，提供最大144个接入端口（满足100个接入需求）
• 如果不考虑Leaf高可靠部署，也可以单Leaf接入
• 接入侧和Fabric内部互联均可以使用200G的AOC（含两端的200G光模块），其中接入侧100条，Fabric侧36条，合计136条

存储网络设计的扩展性

• 交换机 2 Leaf + 5 ToR = 7 台，提供最大240个接入端口（满足240个接入的扩展需求）

设备配置汇总

星融元方案价值与优势

1. 超低TCO、超高性价比：相较于IB方案，大幅度降低用户的网络TCO，同时确保高性能
2. 横向平滑扩容、1:1收敛无阻塞：无收敛的网络设计确保无阻塞的大容量网络，按需横向扩展
3. 整网RoCEv2：基于CEE/DCB能力，提供可与IB媲美的性能和同样无损的网络服务
4. 开放网络操作系统：星融元网络操作系统AsterNOS，SONiC企业级发行版，支持灵活的功能扩展、在线升级
5. 无缝对接云管：AsterNOS 利用简单易用的REST API，可轻松让第三方的云平台/控制器快速纳管
6. 专家级服务：专业、全面、可靠的研发、方案与服务团队，为客户提供小时级的快速响应服务