AIDC网络运维平台—AI后端网络场景部署示例
前言
本文主要介绍通过Asterfusion AIDC网络运维平台部署AI后端网络场景的详细配置示例，涉及新建场所、配置库存、规划拓扑、基础网络配置及有线业务配置，以可视化的方式实现整网业务快速开通。
读者对象
本手册主要适用于方案规划设计及现场实施人员，相关人员应具备以下能力：
• 熟悉Asterfusion数据中心网络交换机产品
• 熟悉Asterfusion AIDC网络运维平台基本操作
• 了解RoCE、PFC、ECN等技术
修改记录
| 日期 | 版本 | 修改备注 |
| 2026-06-12 | V1.0 | 首次发布 |
目录
1 概述
AI集群后端网络部署可采用Rail-optimized（轨道优化）架构。AIDC网络运维平台内置的AI后端网络场景也源于此架构进行构建。
图1-1 Rail-optimized架构
如上图，其核心设计思路是将每台服务器的同号网卡接入同一台Leaf交换机，确保GPU间的多机通信尽可能经过最少跳数内完成。在这种设计下，GPU节点间的通信可利用自身的NVSwitch[[1]]内部通路，只需要经过一跳即可到达，而无需跨多台交换机，避免产生额外时延。具体如下：
① 服务器内互联：8张GPU通过NVLink总线连接至NVSwitch，实现服务器内部GPU间的低时延通信，降低Scale-Out网络传输压力；
② 服务器-网络互联：所有服务器遵循统一的连线逻辑，网卡按“NIC1-Leaf1、NIC2-Leaf2……”的规则，分别接入多台Leaf交换机；
③ 网络层互联：Leaf与Spine交换机采用全互联模式，采用2层Clos架构。
[[1]] NVSwitch为NVIDIA推出的承载高速NVLink的交换芯片，在Scale-Up网络实现多GPU以NVLink能够达到的最高速度进行通信。
2 部署AI后端网络示例
下面以构建一个16计算节点（每台服务器4个GPU，共64个GPU）的AI集群为例进行说明，部署6台CX532-N交换机，其中2台作为Spine节点，4台Leaf节点。核心配置思路如下：
- 每个GPU连接专用网卡，每台服务器的网卡按照“NIC1-Leaf1、NIC2-Leaf2……”的规则接入Leaf交换机，为每个Rail规划一个子网，Leaf交换机作为Rail内的默认网关。
- 网络采用2层Clos架构，Spine与Leaf全互联，利用IPv6 link-local特性建立unnumbered BGP邻居，宣告各Rail的网段路由，实现路由交换，无需为Leaf-Spine互联接口规划IP地址；
- Leaf下行与上行容量的比值应严格遵循1:1收敛比，保证无阻塞传输；
- Leaf、Spine交换机启用一键RoCE及负载均衡特性，构建无损网络。
如图1 为AI后端网络组网拓扑图，后续步骤我们将通过AIDC网络运维平台部署该组网方案以及业务开通。
图2-1 AI后端网络组网图
各节点AS号、Loopback及网关VLAN IP地址规划如下：
| 设备名称 | AS号 | Loopback 0 IP地址 | VLAN号 | 网关IP地址 |
| Leaf-1 | 65204 | 10.1.0.204/32 | 101 | 10.10.1.1/25 |
| Leaf-2 | 65205 | 10.1.0.205/32 | 102 | 10.10.1.129/25 |
| Leaf-3 | 65206 | 10.1.0.206/32 | 103 | 10.10.2.1/25 |
| Leaf-4 | 65207 | 10.1.0.207/32 | 104 | 10.10.2.129/25 |
| Spine-1 | 65202 | 10.1.0.202/32 | – | – |
| Spine-2 | 65203 | 10.1.0.203/32 | – | – |
2.1 新建场所
场所是管理员可以用来监控、管理、配置所有网络设备的集合。
首先登录网络运维平台，在【导航】-【地图】页面，新建场所用于单独管理将要部署的AI后端网络，后续的库存管理组网配置将都在此场所下进行。
图2-2 新建场所
图2-3 新建场所显示
2.2 录入库存
创建或批量导入设备到指定场所/组织，当添加至库存的设备连接网络运维平台上线时，平台会根据设备的MAC地址自动将设备归属至指定的组织/场所。
当前提供两种方式配置库存设备：
- 位于组织视图时，可以指定库存的组织/场所。
- 位于场所视图时，添加的库存直接指定至该场所。
本例中我们使用第二种方式，直接在创建好的AIDC-BE场所中配置库存设备。在AIDC-BE场所视图下，点击【配置】-【库存信息】，我们采用csv批量导入库存设备的方式快速配置库存。
图2-3 导入库存设备
点击【选择文件】导入预先规划好的库存设备csv文件，本例中库存csv文件内容如表1所示。点击【开始测试上传数据】后，将会显示csv文件的测试结果，如图2-4，测试完成后点击【开始上传设备】即可完成库存导入。图2-5 为导入完成后的设备库存信息。
| MAC | DeviceType | Name | FirmwareTag | Loopback | PortScaleProfile | Description |
| 0c1c94fe0000 | sonic-vm | Leaf-2 | default | 10.1.0.205/32 | ||
| 0c4d6d3c0000 | sonic-vm | Leaf-1 | default | 10.1.0.204/32 | ||
| 0c5a16a70000 | sonic-vm | Leaf-3 | default | 10.1.0.206/32 | ||
| 0c936b630000 | sonic-vm | Leaf-4 | default | 10.1.0.207/32 | ||
| 0ca74ee50000 | sonic-vm | Spine-2 | default | 10.1.0.203/32 | ||
| 0cbf55840000 | sonic-vm | Spine-1 | default | 10.1.0.202/32 |
图2-4 传库存设备
图2-5 库存设备信息显示
您也可以手动录入库存设备。点击【创建】按钮，进行库存设备创建，填入必要信息后即可完成手动录入库存设备。
图2-6 手动录入库存
2.3 设备自动上线
设备应与网络运维平台之间三层互通（本例中的所有设备均通过带外管理网与平台互通）。设备上电后，需要指定平台IP地址以建立连接。建议通过ansible playbook方式批量执行如下命令启用ucentral特性并指定平台服务器IP地址。
sonic# configure terminal
sonic(config)# feature ucentral state enable
sonic(config)# feature ucentral autorestart enable
sonic(config)# ucentral-client server 10.240.3.201配置完成后，平台会自动发现设备，且会根据之前导入的库存信息将设备归属至AIDC-BE该场所。在AIDC-BE场所视图下，点击【设备】按钮，可看看到所有设备信息状态。
图2-7 设备信息
2.4 规划拓扑
2.4.1 导入规划拓扑
AIDC网络运维平台内置了三大AI数据中心典型场景，本例中选择AI数据中心后端网络部署。在AIDC-BE场所视图下，点击【配置】-【规划拓扑】，初次进行规划拓扑时会直接进入场景选择页面，选择【AI数据中心后端网络部署】，由于我们使用csv导入规划拓扑，点击【生成空白拓扑】按钮清空Spine/Leaf的类型及数量。
图2-8 场景选择
点击完成后会生成空白拓扑，点击【导入配置】选择准备好的规划拓扑csv文件，csv文件内容如图2-9 所示，每台Leaf的1-8接口连接Spine-1，9-16接口连接Spine-2。平台能够自动校验csv内容并显示校验结果，如图2-10所示。
图2-9 规划拓扑csv信息
图2-10 导入拓扑配置
测试通过后，点击【下一步】，进入配置分析页面，页面显示了即将导入的拓扑配置详细信息，确认后点击【应用配置】，即可自动完成拓扑规划，如图2-12 所示为应用配置后生成的规划拓扑。
图2-11 应用配置
图2-12 拓扑生成
本平台还支持手动配置规划拓扑，如需手动配置规划拓扑可参考2.4.2-2.4.3章节。
2.4.2 （可选）场景选择
AIDC-BE场所视图下，点击【配置】-【规划拓扑】，初次进行规划拓扑时会直接进入场景选择页面，选择【AI数据中心后端网络部署】，根据图2-1 组网拓扑图，我们需要填入2台Spine，4台Leaf（本例中设备型号选择SONIC-VM类型）。点击【完成】按钮即可自动创建拓扑模板，如图2-14 所示。
图2-13 场景选择及设备数量配置
图2-14 AIDC后端网络场景拓扑模板
2.4.3 （可选）拓扑编辑
根据拓扑图，我们需要编辑拓扑模板，点击规划拓扑中的每个设备上的【编辑】按钮进入编辑页面，在编辑页面中选择库存中的设备，即可完成设备角色配置。
图2-15 配置设备角色
图2-16 配置角色结果
完成设备角色配置后，按照组网架构图配置设备间连线。每个Leaf的接口1-8连接Spine-1，接口9-16连接Spine-2，每个Leaf剩余的16个接口用于连接GPU服务器。以Spine-1配置接口连线为例，点击【编辑】按钮进入编辑页面。选择本端接口与对端接口后，点击保存即可完成连线配置。整个规划拓扑配置完连线后效果如图2-17 所示。
图2-17 配置设备互连线
图2-18 完整规划拓扑展示
2.4.4 拓扑校验
点击【拓扑一致性验证】按钮对规划拓扑与真实拓扑进行校验，若存在与真实拓扑不一致的情况，将会显示具体不一致原因以及真实拓扑信息。请确保校验通过后再进行后续配置操作以避免业务出现问题。
图2-19 拓扑一致性校验
图2-20 拓扑校验视图结果
2.5 基础网络配置
AI数据中心后端网络场景的基础网络配置分为接口配置及BGP配置，其主要作用是打通Spine与Leaf间的链路状态和路由协议。
点击【基础网络配置】按钮进入配置页面。
图2-21 基础网络配置按钮
图2-22 基础网络配置页面
2.5.1 接口配置
本例中Leaf、Spine设备通过建立unnumbered BGP邻居实现路由交换，无需为互联接口人工规划IP地址，因此跳过接口配置。
2.5.2 BGP配置
点击步骤2【AIDC后端网络BGP部署】按钮，进行BGP配置。参考表1 中规划的各设备AS号，配置各设备BGP，以Spine-1为例，在Spine-1的配置部分，使能BGP并配置本地AS号。
图2-23 使能BGP及配置本地AS
点击【创建BGP PEER-GROUP】按钮进入BGP对等体配置页面。Spine-1的所有接口与Leaf-1到Leaf-4均建立BGP邻居，最终配置如图2-24 所示。
图2-24 配置BGP对等体
点击【完成】按钮，完成对等体配置。图2-25 为Spine-1配置完成BGP后的信息显示。其余设备也按照同样方式参考规划拓扑完成BGP配置。
图2-25 Spine-1 BGP配置信息
2.5.3 配置推送
基础网络配置完成后，点击【推送配置】按钮，将基础网络配置推送至设备，完成Spine-Leaf互通。
图2-26 推送基础网络配置按钮
选择确认推送配置的设备，点击【下一步】开始推送，等待推送成功完成后，再进行有线业务配置。
图2-27 选择推送设备
图2-28 开始推送配置
2.6 有线业务配置
基础配置完成后，Spine-Leaf之间完成互通，点击【有线业务配置】进行业务配置。
图2-29 有线业务配置按钮
进入有线业务配置页面后点击【创建】按钮进行创建有线业务配置模板。
图2-30 有线业务配置模板
为了满足AI后端网络对于无损网络的要求，网络运维平台有线业务配置模块支持RoCE、业务VLAN、智能选路及ARS功能。本例中选择以RoCE、ARS功能协同构建无损网络。
2.6.1 Leaf节点业务配置
- 配置一键RoCE
CX-N系列交换机支持队列0-7，共计8个队列，其中3、4队列为无损队列（最多支持两个无损队列），其余队列为有损队列。
默认模板使用系统默认DSCP映射，3、4队列使能PFC和ECN，6、7队列设置严格优先级调度。
在创建模板时，您可指定以下三个参数：
- cable-length：指定线缆长度，影响PFC与ECN参数的计算。可选5m/40m/100m/300m，若无对应选项，则选择接近的数值，例如实际线缆长度为10米，则选择5m。
- incast-level：指定流量Incast模型，影响PFC参数的计算，可选low（例如1:1）/medium（例如3:1）/high（例如10:1）。在GPU后端网络中一般选择low。
- traffic-model：指定业务类型：吞吐敏感型业务、时延敏感型业务，均衡型，影响ECN参数的计算。可选throughput/latency/balance。在GPU后端网络中一般选择balance或throughput模式。
当我们提供的无损RoCE配置不完全适用于您的业务场景时，您可参考3.1 RoCE调参/调优进行配置调整和参数调优，使业务性能达到最优。
以配置Leaf-1 RoCE为例，在有线业务配置页面填写模板名称及设备后，点击【RoCE功能】-【EasyRoCE】-【创建RoCE】，配置RoCE应用到所有接口。
图2-31 配置RoCE
点击【添加】按钮完成RoCE配置
图2-32 RoCE配置信息显示
- 配置业务VLAN
根据组网拓扑以及表2 规划的网关VLAN IP表，配置Leaf设备业务VLAN，以Leaf-1为例，点击【业务VLAN】-【创建】进入业务VLAN配置页面，Leaf-1的业务VLAN规划的为101，网关IP为10.10.1.1/25，下行链路根据规划拓扑配置为17-32口。根据如上信息进行配置。
图2-33 创建业务VLAN
点击【添加】按钮完成业务VLAN创建。
图2-34 业务VLAN配置显示
- 配置ARS
ARS的配置逻辑如下：使能ARS → 创建ARS实例 → 绑定下一跳组 → 调整idle-time。
下面分别对每个步骤进行说明：
(1) 首先使能ARS功能，后续的ARS实例配置均基于ARS功能能使的情况下进行。
(2) 其次，应当明确的是，ARS实例和下一跳组（也即ECMP组）是“一对一”的关系。对于Spine来说，每个Leaf宣告的路由是不同的，例如，Leaf-1宣告的路由的ECMP组成员是Spine与Leaf-1互联的多条链路。因此，每个Leaf都有一个对应的下一跳组，故有多少个Leaf，就应该创建多少个实例。而对于Leaf-1来说，其他Leaf宣告的所有路由的ECMP组成员都是与Spine-1、2互联的链路，故Leaf上只需要创建一个实例。
(3) 接下来，需要指定路由的目的网段，将期望的下一跳组绑定到对应的ARS实例。对于Spine-1来说，下一跳组是与Leaf-1互联链路组成的ECMP组，因此只需要指定Leaf-1的Loopback0 IP即可。对于Leaf-1来说，下一跳组是与两台Spine互联链路组成的ECMP组，因此只需要指定其余任一台Leaf的Loopback 0 IP即可。
(4) 最后，配置idle-time（空闲时间）。Idle-time可以决定一条流被分割成一系列Flowlet（子流）的粒度，若帧间隔大于该时间则触发流分割。理论上建议idle-time配置为RTT[[1]]/2，实际使用时可以先使用默认值，然后视实际业务流量负载情况再调整idle-time。若发现端侧存在较多乱序，可将idle-time调大；若发现Leaf-Spine间负载均衡不均，再将idle-time调小。
[[1]] RTT（Round-Trip Time）是指数据包从发送端到接收端再返回到发送端所需的总时间。
按照如上描述以Leaf-1为例配置ARS，点击【ARS】-【创建ARS Profile】进入ARS Profile页面，该部分为使能ARS功能配置。
图2-35 使能ARS功能
点击【保存】按钮，保存配置。完成ARS功能，此时将会出现ARS实例配置按钮，点击【创建ARS Instance】按钮进入ARS实例配置。
图2-36 配置ARS实例
点击【保存】按钮完成ARS实例创建。
图2-37 ARS配置信息显示
至此Leaf-1的业务配置已全部完成。
2.6.2 Spine节点业务配置
Spine设备业务配置涉及配置RoCE及ARS，后续以Spine-1设备配置为例进行配置。
- 配置一键RoCE
在有线业务配置页面新建模板，填写模板名称及设备后，点击【RoCE功能】-【EasyRoCE】-【创建RoCE】，配置RoCE应用到所有接口。完成配置后点击添加完成RoCE配置。
图2-38 RoCE配置显示
- 配置ARS
如前所示，对于Spine来说，应分别为每台Leaf创建一个ARS实例，并分别指定各Leaf的Loopback0 IP以绑定到对应的下一跳组。点击【ARS】-【创建ARS Profile】进入ARS Profile页面，该部分为使能ARS功能配置，操作配置与Leaf-1一致，不再赘述。点击【创建ARS Instance】按钮进入ARS实例配置，需要配置4个实例，对应4台Leaf设备。
图2-39 Spine-1 ARS实例配置
至此Spine-1设备的有线业务配置完成。其余设备按照类似操作根据业务规划配置即可。
2.6.3 配置推送
完成所有设备的业务配置后，在有线业务配置页面可看到所配置的业务模板信息。
图2-40 业务配置模板信息
点击【推送配置】按钮可将模板单个进行推送至设备，也可点击【筛选配置模板】进入批量推送页面，本例中选择批量推送配置。在筛选配置模板页面，点击【全选】进行选中所有配置模板。
图2-41 筛选配置模板页面
点击【批量推送配置】-【下一步】，即可开始推送配置至设备，等待业务推送完成后，整个网络业务就完成部署。
图2-42 批量推送业务配置
图2-43 业务配置推送完成
3 维护
3.1 RoCE调参/调优
当我们提供的无损RoCE配置不完全适用于您的业务场景时，您可以在有线业务配置页面对应的业务配置模板中通过调整PFC/ECN水线，使业务性能达到最优。
ECN水线通过min_th、max_th以及probability来调整：
- min_th设置显式拥塞通告的下限绝对值，单位为字节。即当队列中的报文长度达到此数值时，接口开始按照概率将报文的ECN字段置为CE；
- max_th设置显式拥塞通告的上限绝对值，单位为字节。即当队列中的报文长度达到此数值时，接口开始将全部报文的ECN字段置为CE；
- probability设置最大标记概率，整数形式，取值范围[1,100]。
PFC水线通过修改动态阈值系数dynamic_th来调整：PFC水线= 2dynamic_th×剩余可用buffer。
以Spine-1业务配置模板为例，选中Spine-1业务配置模板，点击【编辑】-【RoCE功能】-【PFC/ECN】，此时会显示之前通过Easy RoCE自动生成的PFC/ECN策略信息。
图3-1 PFC/ECN信息
选择ECN条目并点击【编辑】按钮，可对ECN水线进行调整。调整后点击【保存】完成ECN水线调整。
图3-2 ECN水线调整
选择PFC条目并点击【编辑】按钮，可对PFC水线进行调整。调整后点击【保存】完成PFC水线调整。
图3-3 PFC水线调整
调整完成后，保存Spine-1业务配置模板并重新推送至设备即可应用调整的PFC/ECN水线。
3.2 设备日常运维
点击【设备】选择需要查看的设备，进入设备页面，该页面中提供了丰富的设备级运维功能。
图3-4 设备信息
【概览】页面：
显示设备基本信息、接口状态、实时告警信息，关联链路。
图3-5 设备概览
【详情】页面
【系统详情】显示设备的综合健康值、设备硬件温度、风扇、电源等信息。
图3-6 设备系统详情
【业务详情】显示设备主要业务状态信息。
图3-7 设备业务详情
【统计】页面
【概览】提供设备CPU、内存、接口速率、吞吐量、LLDP信息。
图3-8 设备统计概览
【接口】提供更为丰富的接口统计指标。
图3-9 设备接口详细统计
【光模块】提供光模块详细信息。
图3-10 设备光模块信息
【Buffer】提供设备Buffer统计指标。
图3-11 设备Buffer统计信息
【RoCE】提供设备详细的RoCE统计指标。
图3-12 设备RoCE指标统计
【配置】页面
显示设备基础的配置信息。
图3-13 设备配置信息
如有其它问题，请填写需求表单联系我们。www.asterfusion.com
