A-Lab Archives - 星融元Asterfusion

A-Lab | 网工提效利器！面向 AI 场景的“向导式” 综合性规划工具

关注星融元

A-Lab 是星融元服务于新一代网络运维工程师的资讯专栏，你可以在这里找到各类基于开放网络技术架构的配置指导和技术分享。访问地址：https://asterfusion.com/alab-for-netdevops/

今天我们介绍的是一套专为大规模 AI 网络环境搭建打造的综合性规划工具 EasyRoCE-AID （AI基础设施蓝图规划，AI Infrastructure Descriptor）。

它致力于为复杂的 AI 基础设施建设梳理脉络、把控全局，其核心价值在于通过系统性规划与整合，让抽象的网络架构和设备布局直观呈现，为技术人员提供清晰、精准的行动指南。

EasyRoCE Toolkit 是星融元依托开源、开放的网络架构与技术，为AI 智算、超算等场景的RoCE网络提供的一系列实用特性和小工具，如一键配置RoCE，高精度流量监控等…所有功能对签约客户免费开放。

详情访问：https://asterfusion.com/easyroce/

帮助网络架构师快速梳理智算环境的复杂需求，一站式规划参数、存储、业务管理和带外管理四张网

借助实用组网设计模板，自动计算并生成组网方案、设备互联关系和网络配置

一键导出 JSON 格式的设备互联关系数据，加速部署其他 EasyRoCE 系列工具插件，如GPU 节点内部路由规划（IRM）、主动路径规划（PPD）、多租户网络（MVD）以及实现与统一监控面板等（UG）相关的可视化呈现功能。

下面我们就逐步梳理一个典型智算中心基础网络的通用流程，来看 AID 工具是如何一步步引导用户完成高效且规范的部署动作。

步骤1：获取各类服务器基础信息

智算环境下的服务主要有 GPU 服务器、存储服务器、业务管理服务器三类，这一步需要手动向 AID 录入所有服务器硬件的设备名称、型号、功率、高度等等硬件信息。

服务器的网口数量和带宽规格，是后续规划网络的关键信息，另有部分信息（例如名称、高度）会作为 AID 中其他规划模块的引用对象。

步骤2：根据模板自动设计组网方案

有了上一步提供的服务器硬件信息，此时我们就可以根据集群规模大小，选择合适的“组网模板设计工具”（二层或三层，一般二层网络可满足大多数建网需求）。该设计工具本质上是从用户填写的 GPU 服务器、存储服务器、管理服务器和交换机规格信息，自动计算出每层所需的交换机数量。

根据生成的组网方案，此时便可到AID对应位置去补充每台交换机的名称、型号、设备功率、设备高度、出厂序列号等信息。其中最大功率、设备高度等是后续规划设备分布的重要参数。

步骤3：确定机柜布局

该步骤依据设备性能特点、散热需求及数据交互逻辑，为实施规划人员制定机柜内部的最优空间分布方案提供参考。

机柜的布局信息包括机柜所在的园区、楼栋、楼层、房间、排/列、机柜编码、U#、设备名称。

点击左侧按钮展开，可以看到这排机柜的情况，其中机柜中每台设备的名称都引用于已填写的表格信息。

步骤4：生成网络规划配置

经过上述步骤，智算环境下各个设备的互联关系也基本确定了。此时用户可运行 AID 内含的宏程序自动生成连接关系、自动填充互联 IP、服务器 Bond 口 IP、带外管理口 IP 等信息，快速完成参数网、存储网、业务管理网、带外管理网的规划配置，免去了人工计算的低效和潜在的错误风险。

步骤5：与 EasyRoCE 工具模块对接

由AID规划配置的模块主要有，GPU Node内部路由规划器（IRM）、端到端路径规划（EPS）、主动路径规划（PPD）、多租户网络部署（MVD）等。

以主动路径规划工具（PPD）为例，我们使用 AID 工具规划交换机的设备名称、设备型号、设备角色、上行端口序号、下行端口序号、实例 ID、实例描述信息、下行 IP 列表、管理口地址、管理地址掩码、交换机的帐号密码.

其中除了实例 ID 和实例描述信息需要人为规划，其他字段都可以点击“填充设备信息”按钮完成自动填充。

AID还可以联动基于 Prometheus+Grafana 的监控面板，辅助实现 RDMA 网络在大屏的可视化呈现功能。

参阅：一文解读开源开放生态下的RDMA网络监控实践

与 拓扑自动呈现（TG）深度协同，依据设备互联信息，一键自动生成涵盖机柜内部、跨机柜乃至跨机房的完整网络拓扑图，精准展现设备层级关系、链路连接状态，以直观图形界面助力运维人员实时把控全网架构，迅速定位故障节点

借助光模块地图（TM），细致呈现光模块分布，明确各条光纤链路所用光模块状态信息，为光模块故障快速定位和提前预警提供重要参考

联动 链路分布地图（LM），实时映射数据链路流量走向与负载分布，以动态可视化形式展现 AI 训练、推理等任务引发的流量潮汐变化，辅助优化网络资源分配，及时发现并化解拥塞风险

更多AI智算网络技术分享，请持续关注星融元

产品与方案咨询：400-098-9811

“黑盒”状态的集合通信

智算集群通常都是以GPU服务器为最小单位构建的，服务器内部安装了若干块GPU计算单元，在此之上会有CUDA、NCCL、PyTorch等软件系统协同构建AI大模型的训练/推理任务的基础环境。

目前最广泛应用的是英伟达的开源集合通信库 NCCL（NVIDIA Collective Communication Library），可以在英伟达的 GPU 芯片之间进行高效的数据交换和协同工作。其他云和 GPU 厂商也推出了一批 xCCLs，例如 HCCL、ACCL、TCCL 和 oneCCL 等

大模型的训练调优过程中，我们经常会遇到例如集群性能表现不如预期、训练任务中断现象，其原因除了来自模型自身或 GPU 服务器内部配置问题等等，还有可能是网络层面的数据传输。

然而，集合通信库位于开发框架之下，对于 GPU 集群的使用者来说，集合通信路径是透明无感知的黑盒状态。

EPS 是什么？

EasyRoCE – EPS （E2E Path Scheduler，端到端路径规划）的主要功能是把集合通信库运行时不对外展示的各项关键信息，例如数据通信路径、任务中选用的 GPU、网卡状态等呈现给用户，帮助 GPU 集群的使用者快速定位问题，更好地利用集群的硬件资源，并基于此进行最佳路由规划。

对于 EPS 给出的推荐路由配置，用户可以自行决定是否下发。若确认选用推荐路由，EPS 可以调用星融元 RoCE 交换机提供的 REST API 完成配置自动下发。

通信环可视化：自动解析通信链路信息，透传底层状态
路由自动生成：算法和路径相关的路由推荐机制，配置自动下发
辅助决策：底层通信信息集中到统一面板展示

如何使用 EPS？

本文提供的演示环境下，EPS 工具将会被部署在集群的 Master 节点（即产生 NCCL 日志文件的位置），并以 systemd 守护进程的方式在后台实时监控日志文件——每当日志更新，EPS 自动会解析最新的信息，转换为便于阅读和理解的形式推送到统一监控面板（如 EasyRoCE-UG ）中集中呈现。

EPS 是星融元 EasyRoCE Toolkit 之一，以下仅展示基础功能，完整功能和最新版本请联系项目销售/售前人员。

1. 安装配置EPS

演示环境中的 Master 节点为一台独立的 CentOS 服务器，项目指定的工作目录为 /home/admin/EPS

2. 配置监控面板

演示使用 EasyRoCE Toolkit 内的统一监控面板（UG，Unified Glancer），在此之前需要提前完成该平台的部署，请参阅：一文解读开源开放生态下的RDMA网络监控实践中的“监控平台配置”部分。

我们只需要为 UG 再添加一个呈现 HTML 的 Pannel，并完成 HTML 源的配置（如下图所示），EPS 解析出来的集合通信环信息就将作为各类 RDMA 网络相关监控指标信息的补充，辅助集群设施调优决策。

完成以上所有步骤，我们就可以在 UG 看到实时更新的集合通信库运行信息，手动更新NCCL 日志文件，可以看到 UG 中呈现的解析信息也同步刷新。

VPP（Vector packet processing）是 Linux 基金会下FD.io项目的一部分。VPP 的目标是提供一个快速的L2-L4 用户态网络堆栈，该堆栈可在x86、Arm 和 Power 等常见架构上运行。VPP 从网络 IO 层读取最大可用数据包矢量，然后通过数据包处理图(Packet Processing graph)处理这个矢量。VPP集成了DPDK(Data Plane Development Kit)项目，通过它直接访问硬件网卡资源。

什么是矢量包处理？

与矢量包处理相对的是传统的“标量（scalar）”处理。在标量处理模式下，系统一次仅处理一个数据包，完成整个包处理流程后再处理下一个包。在这种模式下，每个数据包都需要独立分配计算资源、缓存管理、并经历上下文切换。当网络I/O速度很高时，这些额外的开销与处理单个包的时间相近，导致效率低下。

矢量处理通过引入以下改进克服了标量处理的不足：

批量处理多个数据包：VPP通过将一组数据包（典型为64个或更多）组合成一个“矢量”，在每个节点中一次性对这些数据包进行处理。与逐个包处理相比，这种方式分摊了资源准备和上下文切换的开销，从而显著提升了矢量中每个数据包的处理速度。
利用SIMD并行处理能力：现代CPU的Single Instruction Multiple Data（SIMD）指令集能够通过单条指令同时对多个数据执行相同的操作。相比于传统的“每次仅处理一个数据”的方式，SIMD显著提高了运算速度。例如，Marvell OCTEON 10 ARM Neoverse N2处理器支持的SVE2（Scalable Vector Extensions Version 2）允许灵活配置128位到2048位的矢量长度。在2048位配置下，一条指令可以同时处理高达64个IPv4地址，从而大幅提升网络数据流的处理能力。
优化缓存利用：现代CPU通常具备较大的L1/L2缓存。矢量处理可以将多个数据包一次性加载到高速缓存中，减少对内存的频繁访问。例如，Marvell OCTEON 10 ARM Neoverse N2处理器拥有64KB的L1缓存，可以一次存储约42个1500字节的完整数据包或3276个IPv4包头，从而减少了多次的缓存-内存交换，进一步提高了包处理效率。

简言之，矢量包处理通过批量化、并行计算和缓存优化，有效提升了处理速度，特别适用于高性能网络环境。

VPP的优势：用户态网络协议栈

传统的Linux网络协议栈工作在内核态，注重通用性和软件灵活性，但在高性能网络中存在瓶颈，主要问题包括：

内核态与用户态切换开销：用户态程序处理网络数据时需要频繁切换到内核态，带来显著的延迟，特别是在高流量场景下。
逐层处理开销：协议栈按OSI模型逐层处理，每层都涉及协议解析和数据拷贝，导致效率低下。
软中断和单线程限制：Linux内核的网络栈主要依赖软中断和单线程处理，无法充分利用多核CPU的优势，特别是高并发时。即使通过RSS（Receive Side Scaling）将不同的数据流分配到多个CPU核心，仍然存在调度和同步的开销，无法实现完全并行处理。

VPP在用户态实现了完整的网络协议栈，包括IP, TCP, Session层和应用层公共库。

它解决了传统Linux协议栈的一些问题：

减少上下文切换：VPP在用户态运行，避免了用户态和内核态之间的切换，利用DPDK直接访问网卡，跳过了内核的网络协议栈。
融合协议处理：VPP将IP、TCP、Session等协议层结合在一起，减少了协议层之间的冗余数据传递，数据包不需要在每层之间进行反复的数据拷贝和传递，因为这些协议层的处理是在同一内存区域中完成的。
用户态多线程处理：与内核态的单线程处理模型不同，VPP充分利用现代CPU的多核和多线程能力，并在用户态中通过线程池并行处理多个数据流。用户态的线程调度开销更小，任务分配更灵活，借助多线程，VPP能够将网络流量有效地分布到多个CPU核心，近乎线性地提升网络吞吐量。

简言之，用户态网络协议栈技术使得VPP通过减少内核态与用户态切换、融合协议层处理、多线程优化和直接硬件访问，显著提升了高并发和高吞吐量场景下的网络性能。

DPDK与VPP的集成

数据平面开发套件 (DPDK) 是由 Linux 基金会主办的一个开源项目，它提供了一组用户态的库和驱动程序，可提高各种 CPU 架构（如 Intel x86、ARM 和 PowerPC）上的数据包处理速度。

DPDK 绕过 Linux 内核，在用户态执行数据包处理以最大限度地提高网络性能。DPDK 通过使用在用户态运行的轮询模式驱动程序 (PMD) 来实现这一点，该驱动程序不断检查传入的数据包队列以查看新数据是否已到达，从而实现高吞吐量和低延迟。PMD 在数据链路层（第 2 层）工作。

VPP 专注于从第 2 层到第 7 层的网络协议，并使用 DPDK 作为其网络驱动程序。这种集成将 DPDK 的 L2 性能与 VPP 在 L3 到 L7 上的灵活性相结合。

它们的结合带来如下好处：

直接硬件访问：VPP使用用户态的 DPDK来直接访问网络硬件，从而避免了传统Linux网络协议栈中的内核态与用户态切换，消除了大部分与内核相关的开销。
直接内存访问：VPP通过将网络设备的DMA内存区域映射到用户态，减少了内存拷贝和上下文切换。

通过与DPDK相结合，VPP实现了完整的用户态网络协议栈，并大幅度提升网络处理性能。

VPP这一开源技术在通用CPU的基础上，实现了传统上需要专门的网络硬件设备（如路由器）和专业的网络操作系统才能达到的性能，以极高的性价比为广大用户带来了开放网络技术的红利。

星融元借助VPP和DPDK的应用实例

小型边缘云网关

凭借VPP 技术，星融元即将正式推出的一款采用Marvell OCTEON 10 ARM Neoverse2 8核处理器的小盒子（ET2500），在加载全部BGP路由（约100万条）的情况下，仍具备高达48Gbps的路由性能，足以同时处理3000个4K高清视频通话的流量，满足企业、小型城域网和小型云边缘网关的需求。相比未采用VPP的同等处理器的网关设备，性能提升了10倍以上。

整个ET系列开放计算平台提供一站式的软件开发环境，包括FusionNOS-Framework基座操作系统、容器虚拟化环境及丰富的应用开发套件。客户可以将跑在X86服务器上的应用便捷的迁移到ET系列开放计算平台，同时也可以快速的进行自研应用的开发，充分满足边缘计算、大数据处理、物联网及人工智能等场景的多样化业务需求。

DPU架构的智能网卡

星融元Asterfusion自主研发的Helium DPU网卡基于高性能DPU芯片设计，符合PCle及以太网协议，提供PCle x 8 Gen3.0/4.0通道接口并支持高达100Gbps多功能业务处理能力，对网络、计算、存储等功能进行卸载和加速，充分释放服务器CPU资源。基于x86开发的各种DPDK应用、VPP应用和一般Linux驱动应用，仅需要简单编译就可以迅速移植到Helium DPU网卡上。

基于x86开发的各种应用（DPDK、VPP）移植到Helium DPU网卡上的架构图

云网扩容方案验证 —扩容Pod和新增Pod方案

1 扩容Pod方案

1.1 组网拓扑

1.2 验证流程

1.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Leaf2的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果1.2.2-1。

在Server1上，ping Server2，有结果1.2.2-2。

验证扩容时和扩容后的组网：

完成Spine2、Leaf3，以及Server3的网络配置，让Spine1、Leaf1、Leaf2上与扩容设备Spine2、Leaf3的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果1.2.2-3。

然后，打开原Pod上被shutdown的互联口，完成Pod内扩容设备的正式接入。

在Server3上，分别ping Server1和Server2，有结果1.2.2-4。

观察接入时Server1长ping Server2的情况，有结果1.2.2-5。

1.2.2 结果

结果1.2.2-1：

Server1 172.16.1.11可以ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果1.2.2-2：

Server1 172.16.1.11可以ping通Server2 172.16.1.12。

结果1.2.2-3：

Server3 172.16.1.13此时无法分别ping通Server1 172.16.1.11和Server2 172.16.1.12。

结果1.2.2-4：

no shutdown原Pod设备上的互联口，完成扩容设备的正式接入之后，Server3立即可以分别ping通Server1和Server2。

1.3 结论

对于扩容Pod方案，在扩容期间，原Pod的Overlay网络（172.16.1.0/24）下的接入设备的通信一切正常，不会受到影响。扩容完成后，新增设备可以和原有的接入设备正常互通。

2 新增Pod方案

2.1 组网拓扑

2.2 验证流程

2.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Border的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果2.2.2-1。

在Server1上，通过172.16.1.0/24的IP ping Underlay（10.0.0.0/24）网络的网关，有结果2.2.2-2。

验证扩容时和扩容后的组网：

完成Superspine、Spine2、Leaf2，以及Server3的网络配置，让Superspine与Spine1之间的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果2.2.2-3。

然后，打开Superspine与Spine1之间的互联口，完成扩容Pod的正式接入。

在Server3上，分别ping Server1和Server2，有结果2.2.2-4。

观察接入时Server1长ping Server2的情况，有结果2.2.2-5。

2.2.2 结果

结果2.2.2-1：

Server1 172.16.1.11可以Ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果2.2.2-2：
Server1 172.16.1.11可以ping通Server2 10.0.0.12，即Overlay网络（172.16.1.0/24）可以和Underlay网络（10.0.0.0/24）互访。

结果2.2.2-3：

Server3 172.16.1.13此时无法别ping通Server1和Server2。

结果2.2.2-4：

no shutdown Superspine与Spine1之间的互联口，完成扩容Pod的正式接入之后，Server3立即可以分别ping通Server1和Server2。

结果2.2.2-5：

在扩容接入新Pod期间，Server1长ping Server2的流量没有受到影响、没有丢包。

2.3 结论

新增Pod（共享Border）的扩容方案中，扩容期间，原Pod的Overlay网络（172.16.1.0/24）和Underlay网络（10.0.0.0/24）的通信一切正常，不会受到影响。扩容完成后，新增Pod的接入设备可以和原Pod的接入设备、Border正常互通。

3 交换机和服务器网络配置

3.1 扩容Pod方案

3.1.1 服务器

3.1.2 交换机

3.1.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.1.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 19                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 19                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.10 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  neighbor 11.2.3.10 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.1.2.3 Leaf-03

leaf-03# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/76                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-03                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65502                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-03#

3.1.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.21 remote-as 65505                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.1.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.9 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.17 remote-as 65501                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.9 activate                                                                                                                                                                                                               
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2 新增Pod方案

3.2.1 服务器

3.2.2 交换机

3.2.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.2.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.2.2.3 Border

border# show running-config                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
vrf 17216                                                                                                                                                                                                                                  
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 1719                                                                                                                                                                                                                                  
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 1719                                                                                                                                                                                                                        
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 ip address 10.0.0.1/24                                                                                                                                                                                                                    
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname border                                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 ip address 10.230.1.19/24 gw 10.230.1.1                                                                                                                                                                                                   
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65510                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
router bgp 65510 vrf 17216                                                                                                                                                                                                                 
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
border#

3.2.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65510                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.2.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2.2.6 Superspine

superspine# show running-config                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/12                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/32                                                                                                                                                                                                                    
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/36                                                                                                                                                                                                                    
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/4                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/8                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.9/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname superspine                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.9                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.17 remote-as 65502                                                                                                                                                                                                        
 neighbor 11.2.3.21 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
superspine#

Multi-homing验证方案 —基于EVPN的高可靠方案

1 目标概述

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

1 目标概述

本文主要描述在CX-N的云区组网中，通过EVPN Multi-homing的方案实现一台Server同时在多台交换机上挂载，提供all-active 冗余机制，实现负载均衡、故障收敛等功能。

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

设备角色、BGP AS号、设备带外管理地址、环回口地址信息如下表：

3.2 带内管理网络业务IP地址表

带内管理网络互联地址信息入下表：

4 硬件与软件环境

4.1 硬件环境

4.2 软件环境

5 配置过程

5.1 Spine01交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.1/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.5/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.9/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.13/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.9/32
sonic(config-loif-0)#exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65209
sonic(config-router)# bgp router-id 172.61.0.9
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.2 remote-as 65205
sonic(config-router)# neighbor 172.62.0.2 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.6 remote-as 65206
sonic(config-router)# neighbor 172.62.0.6 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.10 remote-as 65207
sonic(config-router)# neighbor 172.62.0.10 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.14 remote-as 65208
sonic(config-router)# neighbor 172.62.0.14 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.9/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.2 Spine02交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.17/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.21/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.25/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.29/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.10/32
sonic(config-if-0/12)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65210
sonic(config-router)# bgp router-id 172.61.0.10
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.18 remote-as 65205
sonic(config-router)# neighbor 172.62.0.18 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.22 remote-as 65206
sonic(config-router)# neighbor 172.62.0.22 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.26 remote-as 65207
sonic(config-router)# neighbor 172.62.0.26 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.30 remote-as 65208
sonic(config-router)# neighbor 172.62.0.30 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.10/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.3 Leaf01交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.5/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.2/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.18/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65205
sonic(config-router)# bgp router-id 172.61.0.5
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.1 remote-as 65209
sonic(config-router)# neighbor 172.62.0.1 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.17 remote-as 65210
sonic(config-router)# neighbor 172.62.0.17 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.5/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.5
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.4 Leaf02交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.6/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.6/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.22/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65206
sonic(config-router)# bgp router-id 172.61.0.6
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.5 remote-as 65209
sonic(config-router)# neighbor 172.62.0.5 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.21 remote-as 65210
sonic(config-router)# neighbor 172.62.0.21 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.6/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.6
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.5 Leaf03交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.7/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.10/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.26/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 # VLAN MAC
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65207
sonic(config-router)# bgp router-id 172.61.0.7
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.9 remote-as 65209
sonic(config-router)# neighbor 172.62.0.9 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.25 remote-as 65210
sonic(config-router)# neighbor 172.62.0.25 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.7/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.7
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.6 Leaf04交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.8/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.14/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.30/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65208
sonic(config-router)# bgp router-id 172.61.0.8
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.13 remote-as 65209
sonic(config-router)# neighbor 172.62.0.13 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.29 remote-as 65210
sonic(config-router)# neighbor 172.62.0.29 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.8/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.8
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.7 Server1及虚机配置

#配置bond0为hash模式
[root@Sever1 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f0
DEVICE="ens1f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f1
DEVICE="ens1f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.2/24 dev eth0.100
ip addr add 200.0.0.2/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up
ifconfig eth0.100 hw ether 52:54:00:34:c8:d9
ifconfig eth0.200 hw ether 52:54:00:34:c8:d0

5.8 Server2及虚机配置

#配置bond0为hash模式
[root@Sever2 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.3/24 dev eth0.100
ip addr add 200.0.0.3/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

5.9 Server3及虚机配置

#配置bond0为hash模式
[root@Sever3 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f0
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.4/24 dev eth0.100
ip addr add 200.0.0.4/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

6 查看BGP状态

6.1 Leaf01 BGP状态

6.2 Leaf02 BGP状态

6.3 Leaf03 BGP状态

6.4 Leaf04 BGP状态

6.5 Spine01 BGP状态

6.6 Spine02 BGP状态

7 查看聚合状态

7.1 Leaf01聚合状态

7.2 Leaf02聚合状态

7.3 Leaf03 聚合状态

7.4 Leaf04 聚合状态

8 查看VxLAN隧道状态

8.1 Leaf01状态

8.2 Leaf02状态

8.3 Leaf03 状态

8.4 Leaf04 状态

9 查看EVPN MH状态

9.1 Leaf01状态

9.2 Leaf02状态

9.3 Leaf03 状态

9.4 Leaf04 状态

10 虚机互相访问

Server1上的虚机访问Server2的虚机

Server1上的虚机访问Server3的虚机

Server2上的虚机访问Server3的虚机

11 故障测试

Server1上的虚机持续访问Server3的虚机，中间断开Server1和Leaf1的链路，然后再恢复，观察流量是否有中断。

观察到流量始终没有丢包。

Server1上的虚机持续访问Server3的虚机，中间重启Leaf，然后再恢复，观察流量是否有中断。

在Server1上抓包，可以看到ping包从ens1f1发出，从ens1f0回复

ens1f0对应Leaf1,ens1f1对应的是Leaf2，那我们重启Leaf2，收发包应该都切到Leaf1，到ens1f0

并且中间没有丢包

配置手册：CX-N下基于REST API方法的VXLAN EVPN场景验证

1 目标

本文主要描述如何在Asterfusion CX308P-48Y-N和CX532P-N（以下简称CX308和CX532）搭建的网络上，使用BGP EVPN自动化地创建VXLAN隧道、传递虚拟路由，完成其连接的Server的数据包封装及解封装工作。

注：REST API目前无法涵盖所有功能，因此部分功能配置依然依赖命令行进行配置。

2 设备拓扑

部署所使用的设备、接口及管理IP如下：

3 具体配置

3.1 原子级REST API配置

3.1.1 修改CLI-mode

REST API与Klish命令行不兼容，使用REST API的前提就是修改cli-mode为bash。需要在四台交换机上配置如下命令：

admin@Leaf1:~$ config cli-mode bash

3.1.2 登录交换机

执行REST API需要登陆对应的交换机后，才能调用其接口。

POST https://10.230.1.7/rest/v3/login
{
"username":"admin",
"password":"asteros"
}

3.1.3 配置各交换机端口速率及IP

Spine1:
POST https://10.230.1.7/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.2/24"
        ]
    }

}

Spine2:
POST https://10.230.1.8/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.2/24"
        ]
    }

}

Leaf1:
admin@Leaf1:~$ sudo config interface speed Ethernet0 10000
admin@Leaf1:~$ sudo config interface speed Ethernet1 10000

POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.1/24"
        ]
    }

}

Leaf2:
admin@Leaf2:~$ sudo config interface speed Ethernet0 10000
admin@Leaf2:~$ sudo config interface speed Ethernet1 10000
POST https://10.230.1.19/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.1/24"
        ]
    }

}

3.1.4配置Leaf1、Leaf2的VRF及VLAN信息

Leaf1:
POST https://10.230.1.18/rest/v3/vrfs/
{
    "vrf-123": {
        "src_mac": " 00:11:22:33:44:55"
    }
}
POST: https://10.230.1.18/rest/v3/vlans/
{
    "vlan100": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "vlan100": {
        "ip_addr": [
            "100.0.10.1/24"
        ],
        "vrf": "vrf-123",
        "mac_address": " 00:11:22:33:44:55 "
    }
}

Leaf2:
POST https://10.230.1.19/rest/v3/vrfs/
{
    "vrf-456": {
        "src_mac": "00:11:22:33:44:a5"
    }
}

POST: https://10.230.1.19/rest/v3/vlans/
{
    "vlan200": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST: https://10.230.1.19/rest/v3/router-interfaces/
{
    "vlan200": {
        "vrf": "vrf-456",
        "ip_addr": [
            "100.0.20.1/24"
        ],
        "mac_address": " 00:11:22:33:44:a5"
    }
}

3.1.5 配置BGP

Spine1:
admin@Spine1:~$ sudo config bgp asn 65201
POST https://10.230.1.7/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.0.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.7/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine1:~$ sudo config bgp add network default 10.10.25.1/32 ipv4

Spine2:
admin@Spine2:~$ sudo config bgp asn 65202
POST https://10.230.1.8/rest/v3/protocols/bgp-neighbors/
{
    "10.100.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.100.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.8/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine2:~$ sudo config bgp add network default 10.10.25.2/32 ipv4


Leaf1:
admin@Leaf1:~$ sudo config bgp asn 65203
POST https://10.230.1.18/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.18/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf1:~$ sudo config bgp add network default 10.10.25.3/32 ipv4


Leaf2:
admin@Leaf2:~$ sudo config bgp asn 65204
POST https://10.230.1.19/rest/v3/protocols/bgp-neighbors/
{
    "10.0.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.19/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf2:~$ sudo config bgp add network default 10.10.25.4/32 ipv4

3.1.6 配置VTEP开启EVPN

Leaf1:
admin@Leaf1:~$ sudo config evpn advertise all-vni
admin@Leaf1:~$ sudo config vxlan add vxlan0 10.10.25.3
admin@Leaf1:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0


Leaf2:
admin@Leaf2:~$ sudo config evpn advertise all-vni
admin@Leaf2:~$ sudo config vxlan add vxlan0 10.10.25.4
admin@Leaf2:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0

3.1.7 配置VXLAN映射

Leaf1:
POST https://10.230.1.18/rest/v3/protocols/evpn-tunnel-maps/
{
    "100": {
        "map": "vlan100",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-123",
        "type": "vrf",
        "vxlan_id": "0"

    }
}
Leaf2:
POST https://10.230.1.19/rest/v3/protocols/evpn-tunnel-maps/
{
    "200": {
        "map": "vlan200",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-456",
        "type": "vrf",
        "vxlan_id": "0"

    }
}

3.1.8 保存&重载

以Spine1为例：

POST https://10.230.1.7/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1. 7/rest/v3/system_config/
{
    "action": "reload"
}

3.1.9 服务器配置

Server1:

[root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0 gw 100.0.10.1 dev ens1f0

Server2:

[root@server2 network-scripts]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev enp2s0f0

3.1.10 配置验证

3.1.10.1服务器连通性

Server1:

Server2:

3.1.10.2查看Leaf1信息

查看EVPN信息

查看VXLAN VTEP

查看Leaf1路由

3.1.10.3查看Leaf2信息

查看EVPN信息

查看VXLAN VTEP

查看Leaf2路由

3.2 Overlay REST API配置（事务级）

事务级API为针对Overlay网络配置的API，只支持VLAN、VRF以及VXLAN映射这些配置需要进行重新配置，端口IP、BGP等配置只能使用原子级REST API。

3.2.1 安装事务级API

上传安装包到Leaf交换机上，执行如下命令：

unzip overlay_rest_api_20231121.zip -d overlayrestapi
cd overlayrestapi
chmod +x install.sh
./install.sh rest-api_20231121.aa018e98735f584bf595638f2013f95b.deb

3.2.1overlay_rest_api_20231121 下载

3.2.2 配置VLAN、VRF以及EVPN映射关系

Leaf1:
POST https://10.230.1.18/rest/v3/overlay/evpn/nvo
{
    "vrf": [
        {
            "vrf": "vrf-100",
            "mac": "00:00:ff:23:33:11",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.10.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan101",
            "vrf": "vrf-100",
            "ip_addr": [
                "200.0.10.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan101",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-100",
            "l2vni": "101",
            "vlan": "vlan101",
            "network_redistribute": "true"
        }
    ]
}

Leaf2:
{
    "vrf": [
        {
            "vrf": "vrf-200",
            "mac": "00:00:ff:23:33:22",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.20.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan201",
            "vrf": "vrf-200",
            "ip_addr": [
                "200.0.20.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan201",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-200",
            "l2vni": "201",
            "vlan": "vlan201",
            "network_redistribute": "true"
        }
    ]
}

3.2.3 保存&重载

Leaf1:
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "reload"
}

Leaf2:
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "reload"
}

3.2.4 服务器配置

Server1:

[root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.10.1 dev ens1f1

Server2:

[root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.20.1 dev enp2s0f1

3.2.2 配置验证

3.2.5.1服务器连通性

Server1:

Server2:

3.2.5.2查看Leaf1信息

查看EVPN信息

查看Leaf1路由

3.2.5.3查看Leaf2信息

查看EVPN信息

查看Leaf2路由

安装指导-基于Proxmox VE的安装部署和性能测试

1 目标

本文档将简要介绍Proxmox VE基本概念，并使用PVE进行集群部署以及功能验证。

2 概要介绍

2.1 关于Proxmox VE

Proxmox VE (Virtual Environment) 是一个开源的虚拟化平台，它基于 Debian GNU/Linux 发行版，并集成了 KVM (Kernel-based Virtual Machine) 和 LXC (Linux Containers) 两种虚拟化技术，提供了一套完整的虚拟化解决方案。以下为PVE架构图：

图1.1：PVE架构

由以下几个组件构成：

Proxmox VE管理界面：提供了易于使用的Web界面，用于管理虚拟机、容器、存储、网络和集群等。
KVM虚拟化：Proxmox VE基于Linux内核虚拟机（KVM）技术实现了完整的虚拟化，并支持Windows和Linux等操作系统的虚拟化。
LXC容器：Proxmox VE支持Linux容器（LXC）技术，可以在同一物理主机上运行多个隔离的Linux容器，从而提供更高的资源利用率和更快的启动时间。
存储管理：Proxmox VE支持多种存储类型，包括本地存储、网络存储（NFS、iSCSI、FC）、对象存储（Ceph、Swift）等，可以通过Web界面方便地管理存储池、卷和镜像等。
网络管理：Proxmox VE支持多种网络模式，包括桥接、NAT、VLAN、OpenvSwitch等，可以通过Web界面方便地管理虚拟网络接口、虚拟交换机和虚拟网络等。
集群管理：Proxmox VE支持多台物理主机组成的集群，可以通过Web界面方便地管理节点、HA、负载均衡等。
API：Proxmox VE提供RESTful API，可以通过API方便地进行自动化管理和集成。

2.2 功能特性与ESXi对比

功能/特性	Proxmox VE	ESXi
许可证费用	开源免费	商业许可证
支持的虚拟化技术	KVM, LXC	VMware 虚拟化技术
界面和管理工具	Web 界面管理工具	客户端界面
高可用性 (HA)	支持	支持
备份与恢复	完整备份和恢复方案，包括快照	完整备份和恢复方案，包括快照
存储管理	多种存储管理方式，包括本地存储、NFS、iSCSI 和 Ceph 等	多种存储管理方式，包括本地存储、NFS、iSCSI 和 Fibre Channel 等
网络管理	多种网络管理方式，包括 NAT、桥接和 VLAN 等	多种网络管理方式，包括 NAT、桥接和 VLAN 等
安全性	基于角色的用户访问控制、防火墙和 TLS 加密等	基于角色的用户访问控制、防火墙和 TLS 加密等
社区支持	活跃的社区支持和开发者社区	有活跃的用户和支持社区

表2.1：功能对比

3 配置

3.1 最小硬件配置

CPU要求为Intel EMT64或AMD64，需要支持Intel VT/AMD-V虚拟化。
内存不低于2GB，以确保操作系统和Proxmox VE服务正常运行。如需运行虚拟机，需相应增加更多内存。如需运行Ceph或ZFS，还需要增配内存，大概1TB存储空间增加1GB内存。
高性能高冗余存储资源，最好使用SSD盘。
操作系统盘：带有电池保护缓存的硬RAID卡，没有硬RAID卡时可以使用带有SSD缓存的ZFS。
虚拟机存储：本地磁盘可以采用带有电池保护缓存的硬RAID卡，或不带硬RAID卡的ZFS。ZFS和Ceph都不能和硬RAID控制器同时使用。也可以共享分布式存储。
多块千兆网卡。根据所用存储技术和集群配置，可以选配更多网卡。也可使用10Gbit或更高速网卡。
如需使用PCI直通，必须采用支持VT-d/AMD-d的CPU。

3.2 推荐系统硬件配置

CPU：64位（Intel EMT64或AMD64），推荐使用多核CPU。
CPU和主板需要支持Intel VT/AMD-V技术，以便支持KVM全虚拟化功能。
内存：8GB，如果要运行虚拟机则应配置更多硬RAID卡，带有电池保护（BBU）或闪存保护的写缓存。
性能硬盘，最好是15k转速的SAS盘，配置成Raid10。
最少2块以太网卡，也根据采用的共享存储技术配置更多网卡。

3.3 软件源配置

默认情况下，PVE是企业订阅源，并且每次登录有订阅通知窗口，需要去除弹窗，并且将软件源更改为国内源。

vi /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
将if(data.status!==’Active’)修改为 if(false)

cat >/etc/apt/sources.list <<EOF
deb https://mirrors.ustc.edu.cn/debian bookworm main contrib
deb https://mirrors.ustc.edu.cn/debian bookworm-updates main contrib
# security updates
deb https://mirrors.ustc.edu.cn/debian-security bookworm-security main contrib
deb http://download.proxmox.com/debian bookworm pve-no-subscription
EOF

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main
" > /etc/apt/sources.list.d//ceph.list

rm pve-enterprise.list

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bookworm pve-no-subscription">/etc/apt/sources.list.d/pve -no-subscription.list

apt-get update && apt-get upgrade -y

3.4 网络配置

3.4.1 基于网桥的默认配置

网桥相当于一个软件实现的物理交换机。所有虚拟机共享一个网桥，在多个域的网络环境中，也可以创建多个网桥以分别对应不同网络域。理论上，每个Proxmox VE最多可以支持4094个网桥。 Proxmox VE安装程序会创建一个名为vmbr0的网桥，并和检测到的服务器第一块网卡桥接。配置文件/etc/network/interfaces中的对应配置信息如下：

auto lo
iface lo inet loopback

iface ens160 inet manual

auto vmbr0
iface vmbr0 inet static
        address 10.240.4.148/24
        gateway 10.240.4.1
        bridge-ports ens160
        bridge-stp off
        bridge-fd 0

iface ens192 inet manual

3.4.2 路由配置

大部分IPC服务器供应商不支持基于网桥的默认配置方式，出于网络安全的考虑，一旦发现网络接口上有多个MAC地址出现，则会立刻禁用相关网络端口。
可以通过配置“路由”的方式让多个虚拟机共享一个网络端口，对方通信使用同一个MAC地址。

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1
post-up echo 1 > /proc/sys/net/ipv4/ip_forward 
post-up echo 1 > /proc/sys/net/ipv4/conf/eno1/proxy_arp

auto vmbr0
iface vmbr0 inet static
address 203.0.113.17
netmask 255.255.255.248
bridge_ports none
bridge_stp off
bridge_fd 0

3.4.3 网络地址转换（NAT）

利用地址转换技术，所有虚拟机可以使用内部私有IP地址，并通过Proxmox VE服务器的IP来访问外部网络。Iptables将改写虚拟机和外部网络通信数据包，对于虚拟机向外部网络发出的数据包，将源IP地址替换成服务器IP地址，对于外部网络返回数据包，将目的地址替换为对应虚拟机IP地址。配置如下：

auto lo
iface lo inet loopback

auto eno1
#real IP address
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1

auto vmbr0
#private sub network
iface vmbr0 inet static
address 10.10.10.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up iptables -t nat -A POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE

3.4.4 多网口绑定

多网口绑定（也称为网卡组或链路聚合）是一种将多个网卡绑定成单个网络设备的技术。利用该技术可以实现某个或多个目标，例如提高网络链路容错能力，增加网络通信性能等。配置如下：

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

auto bond0
iface bond0 inet static
slaves eno1 eno2
address 192.168.1.2
netmask 255.255.255.0
bond_miimon 100
bond_mode 802.3ad
bond_xmit_hash_policy layer2+3

auto vmbr0
iface vmbr0 inet static
address 10.10.10.2
netmask 255.255.255.0
gateway 10.10.10.1
bridge_ports eno1
bridge_stp off
bridge_fd 0

4 集群配置

4.1 创建集群

4.1.1 通过Web创建集群

在“数据中心”→“集群”下，单击创建集群。输入集群名称，然后从下拉列表中选择一个网络连接作为主集群网络(Link 0)。然后点击“加入信息”按钮，复制Information字符串，接下来，登录到要添加的节点上的Web界面。在“数据中心→集群”下，单击“加入集群”。用之前复制的“加入信息”文本填写Information字段。

4.1.2 命令行创建

# 创建集群的主机
pvecm create CLUSTERNAME
# 待加入集群的主机
pvecm add IP-ADDRESS-CLUSTER

4.2 Qemu/KVM虚拟机

Proxmo VE优先使用半虚拟化硬件，相比于虚拟化硬件（以软件模拟方式实现虚拟化硬件）性能更高。Qemu的半虚拟化硬件采用了virtio标准，并以virtio半虚拟化硬件形式实现。
虚拟机通用配置包括：

节点：虚拟机所处的物理服务器名。
VM ID：Proxmox VE用于标识虚拟机的一个唯一编号。
名称：虚拟机名称，用户描述虚拟机的字符串。
资源池：虚拟机所处的逻辑组。

4.2.1 系统

创建虚拟机时可以修改虚拟机的部分系统配置如下图所示，可以更改SCSI控制器类型，如上面所述一般为了性能选择VirtIO SCSI single，对于不支持VirtIO的虚拟机系统，需要手动安装VirtIO驱动。

图3.2：PVE dashboard01

4.2.2 硬盘

追求最极致的性能，可以选用VirtIO SCSI single，并启用IO Thread选项。在选用VirtIO SCSI single时，Qemu将为每个虚拟磁盘创建一个专用控制器，而不是让所有磁盘共享一个控制器。

虚拟硬盘的Cache模式设置会影响Proxmox VE主机系统向虚拟机操作系统返回数据块写操作完成通知的时机。设置为No cache是指在所有数据块都已写入物理存储设备写队列后，再向虚拟机发出写操作完成通知，而忽略主机页缓存机制。该方式将能较好地平衡数据安全性和写入性能。

Discard指令允许操作系统在SSD上将不再使用的数据通知到SSD底层并在其内部将数据擦除掉。

图3.3：PVE dashboard02

4.2.3 CPU

需要确保虚拟机的在线迁移能力，最好使用默认的kvm64虚拟CPU。如果不在乎在线迁移，或者集群内所有节点硬件型号完全一样，可以设置虚拟CPU类型为host，以获得最好的性能。

如果所有 VM 的内核总数大于服务器上的核心数（例如，在只有 8 个内核的计算机上有 4 个 VM，每个 4 个内核），则是完全安全的。在这种情况下，主机系统将在服务器内核之间平衡 Qemu 执行线程，就像运行标准的多线程应用程序一样。但是，Proxmox VE 将阻止启动虚拟 CPU 内核数多于物理可用内核的虚拟机，因为这只会由于上下文切换的成本而降低性能。

图3.4：PVE dashboard03

4.2.4 内存

当设置内存容量和最小内存容量为相同值时，Proxmox VE将为虚拟机分配固定容量内存。即使使用固定容量内存，也可以在虚拟机启用ballooning设备，以监控虚拟机的实际内存使用量。

当设置的最小内存容量低于设置的内存容量值时，Proxmox VE将为虚拟机至少分配设置的最小容量内存，并在物理服务器内存占用率达到80%之前根据虚拟机需要动态分配内存，直到达到设置的最大内存分配量。当物理服务器内存不足时，Proxmox VE将开始回收分配给虚拟机的内存，并在必要时启动SWAP分区，如果仍然不能满足需要，最终将启动oom进程杀掉部分进程以释放内存。物理服务器和虚拟机之间的内存分配和释放通过虚拟机内的balloon驱动完成，该驱动主要用于从主机抓取或向主机释放内存页面。

图3.5：PVE dashboard04

4.3 防火墙配置

PVE有3种防火墙：

面对数据中心的防火墙：处理流出流入数据中心的流量。
集群防火墙规则是应用于整个Proxmox VE集群的防火墙规则。这些规则通常由集群管理员配置，用于限制集群中所有主机和虚拟机的网络访问。集群防火墙规则是在集群中所有主机的防火墙规则之前生效的。
只有数据中心防火墙开启，才能开启集群内的防火墙，否则单独开启VM的防火墙是无效的。
面对虚拟化服务器的防火墙：处理主机的流量。
主机防火墙规则是应用于单个Proxmox VE主机的防火墙规则。这些规则通常由主机管理员配置，用于限制主机上所有虚拟机和容器的网络访问。主机防火墙规则是在虚拟机防火墙规则之前生效的。
这个防火墙的开关，不会影响VM的防火墙，所以要开启VM的防火墙，不必须开启这个防火墙，不同于数据中心防火墙
面对VM的防火墙：处理VM流出流出的流量。
虚拟机防火墙规则是应用于单个Proxmox VE虚拟机或容器的防火墙规则。这些规则通常由虚拟机管理员配置，用于限制虚拟机或容器的网络访问。虚拟机防火墙规则是在主机防火墙规则之后生效的。
总体来说，防火墙规则是按照集群规则、主机规则、虚拟机规则的顺序依次生效的。当一个数据包到达一个Proxmox VE虚拟机或容器时，首先会检查虚拟机的防火墙规则，如果没有匹配的规则，则检查主机的防火墙规则，最后检查集群的防火墙规则。如果在任意一层中找到了匹配的规则，则该数据包将被允许或拒绝。

每个虚拟网卡设备都有一个防火墙启用标识。可以控制每个网卡的防火墙启用状态。在设置启用虚拟机防火墙后，必须设置网卡上的防火墙启用标识才可以真正启用防火墙。

图3.6：PVE dashboard05

4.3.1 GUI防火墙配置

防火墙规则（Firewall Rules）：防火墙规则定义了应该允许还是阻止的流量类型。规则可以基于源和目标IP、协议类型（如TCP、UDP、ICMP等）、源和目标端口等因素进行定义。规则的顺序非常重要，因为Proxmox VE防火墙会按照规则的顺序进行匹配，并在匹配到的第一个规则处停止。
安全组（Security Groups）：安全组是一组预定义的防火墙规则，可以应用于一个或多个虚拟机或容器。
IP集（IPSet）：IPSet是一种可以匹配一组网络地址、网络端口或其他网络参数的机制。它可以用于创建复杂的、高效的防火墙规则。
日志和审计（Logging and Auditing）：Proxmox VE防火墙提供了详细的日志和审计功能，可以跟踪和记录防火墙的活动，包括被阻止的连接、被允许的连接等。

图3.7：PVE dashboard06

4.3.2 配置文件

数据中心防火墙

/etc/pve/firewall/cluster.fw
[OPTIONS]
该小节用于设置整个集群的防火墙配置项。

ebtables: <boolean> (default = 1)
集群范围内启用ebtables。

enable: <integer> (0 -N)
启用/禁用集群范围的防火墙。

log_ratelimit: [enable=]<1|0> [,burst=<integer>] [,rate=<rate>]
设置日志记录速度阀值。

burst=<integer> (0 - N) (default = 5)
将被记录的初始突发包。

enable=<boolean> (default = 1)
启用或禁用阀值

rate=<rate> (default = 1/second)
突发缓冲区重新填充频度。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

[RULES]
该小节用于设置所有节点公共的防火墙策略。

[IPSET <name>]
整个集群范围内有效的IP集合定义。

[GROUP <name>]
整个集群范围内有效的组定义。

[ALIASES]
整个集群范围内有效的别名定义

主机防火墙

/etc/pve/nodes/<nodename>/host.fw
[OPTIONS]
该小节用于设置当前主机的防火墙配置项。

enable: <boolean>
启用/禁用主机防火墙策略。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

log_nf_conntrack: <boolean> (default = 0)
启用记录连接跟踪信息。

ndp: <boolean>
启用NDP。 

nf_conntrack_allow_invalid: <boolean> (default = 0)
在跟踪连接时允许记录不合法的包。

nf_conntrack_max: <integer> (32768 -N)
最大的跟踪连接数量。

nf_conntrack_tcp_timeout_established: <integer> (7875 -N)
反向连接建立超时时间。

nosmurfs: <boolean>
启用SMURFS过滤器。

smurf_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
SMURFS过滤器日志级别。

tcp_flags_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
非法TCP标志过滤器日志级别。

tcpflags: <boolean>
启用非法TCP标志组合过滤器。

[RULES]
该小节用于设置当前主机的防火墙策略。

VM和LXC的防火墙

/etc/pve/firewall/<VMID>.fw
[OPTIONS]
该小节用于设置当前虚拟机或容器的防火墙配置项。

dhcp: <boolean>
启用DHCP。

enable: <boolean>
启用/禁用防火墙策略。

ipfilter: <boolean>
启用默认IP地址过滤器。相当于为每个网卡接口增加一个空白的ipfilter-net<id>地址集合。
该IP地址集合隐式包含了一些默认控制，例如限制IPv6链路本地地址为网卡MAC生成的地址。对于容器，配置的IP地址将被隐式添加进去。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

macfilter: <boolean>
启用/禁用MAC地址过滤器。

ndp: <boolean>
启用NDP。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

radv: <boolean>
允许发出路由通知。

[RULES]
该小节用于设置当前虚拟机或容器的防火墙策略。

[IPSET <name>]
IP集合定义。

[ALIASES]
IP地址别名定义。

5 安装硬件开发部所需云环境实践

5.1 需求

需要安装15台虚拟机，并且所有虚拟机按照一定的规则能否挂载smb，并且Windows1对外访问以及对内访问没有限制，剩下的14台服务器不能访问外部网络，仅与宿主机和Windows1之间通信。

5.2 规划

宿主机服务器配置：amd 16核32线程处理器，128g内存，8T*2硬盘；宿主机网络配置为网桥模式， IP为192.168.52.200/24，网关为192.168.52.1。

虚拟机	VMID	IP	规格
Windows1	100	192.168.52.201	16c16G
Windows2	101	192.168.52.202	8C16G
Windows3	102	192.168.52.203	8C16G
Windows4	103	192.168.52.204	8C16G
Windows5	104	192.168.52.205	8C16G
Windows6	105	192.168.52.206	8C16G
Windows7	106	192.168.52.207	8C16G
Windows8	107	192.168.52.208	8C16G
Windows9	108	192.168.52.209	8C16G
Windows10	109	192.168.52.210	8C16G
Windows11	110	192.168.52.211	8C16G
Windows12	111	192.168.52.212	8C16G
Windows13	112	192.168.52.213	8C16G
Windows14	113	192.168.52.214	8C16G
Windows15	114	192.168.52.215	8C16G

表4.1：虚拟机规划表

5.3 准备安装介质

官方网站下载最新版本的ISO镜像：Get the free Proxmox VE ISO installer(8.0.2)，然后使用rufus将PVE镜像刻录到u盘后，在服务器以u盘方式引导启动。

下载Windows镜像，准备VirtIO驱动。

5.4 安装PVE

选择Install Proxmox VE（Graphical）。

图4.1：PVE安装步骤01

选择PVE安装的硬盘。

图4.2：PVE安装步骤02

设定时区。

图4.3：PVE安装步骤03

设置密码——既是Web登录密码也是服务器密码。

图4.4：PVE安装步骤04

配置FQDN以及IP地址，此处FQDN的第一部分为host名，如果安装集群的话，需要注意host不能冲突，否则集群无法加入，到此变安装完成, PVE的Web界面http://IP:8006/。

图4.5：PVE安装步05

按照3.3章节对服务器进行初始化

5.5 安装Windows虚拟机

5.5.1 上传镜像到PVE

登录Proxmox VE，在左边资源树中选择 local 存储 – 切换至 ISO Images – Upload。

图4.6：PVE镜像面板01

将Windows和VirtIO镜像上传上去。

图4.7：PVE镜像面板02

不能关闭上传页面否则上传失败。

图4.8：PVE镜像面板03

上传完成后的结果。

图4.9：PVE镜像面板04

5.5.2 创建虚拟机

在Proxmox VE界面的右上方 – 点击 Create VM。

图4.10：PVE VM创建01

General菜单这边配置好VMID以及Name。

图4.11：PVE VM创建02

图4.12：PVE VM创建03

System注意SCSI Controller选择VirtIO SCSI single。

图4.13：PVE VM创建04

Disks，选择VirtIO Block。

图4.14：PVE VM创建05

CPU这边Type选择host便于更好的性能，而KVM则是兼容性更好，规格的话按照之前规划配置。

图4.15：PVE VM创建06

Memory，由于所有虚拟机内存加起来超过宿主机内存，这边手动设置其最小内存，并且开启Ballooning，如3.6.4所述。

图4.16：PVE VM创建07

Network，Model选择VirtIO

图4.17：PVE VM创建08

最后确认。

图4.18：PVE VM创建09

附加驱动：切换到 Hardware – Add – CD/DVD Drive。

图4.19：PVE VM创建10

然后开启，安装Windows系统，在磁盘这边，无法看到磁盘，则需要安装VirtIO驱动。

图4.21：驱动安装01

安装驱动，浏览驱动文件位置——>选择 CD驱动器 virtio-win-0.1.221 – amd64 – w10，确定。

图4.22：驱动安装02

此时可以识别到硬盘

图4.23：驱动安装03

Windows系统安装完成后，很多驱动未安装，打开：资源管理器 – CD驱动器 virtio-win-0.1.221 文件夹，双击“virtio-win-guest-tools”进行安装。

图4.24：驱动安装04

图4.25：驱动安装05

至此安装完成，然后按照规划配置网络即可

克隆虚拟机，以VM100为模板克隆出剩下的虚拟机，完成后，修改硬件规格配置，以及网络配置。

图4.26：虚拟机clone

5.6 配置防火墙

开启集群防火墙，允许所有内部虚拟机对外访问，并且允许外部ssh登录，访问80以及8006端口。

vi /etc/pve/firewall/cluster.fw [OPTIONS]

enable: 1

[RULES]

OUT ACCEPT -source 192.168.52.0/24 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 80 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 8006 -log nolog
IN SSH(ACCEPT) -i vmbr0 -log nolog

配置Windows1防火墙，默认允许任何流量通过。

vi /etc/pve/firewall/100.fw
[OPTIONS]

enable: 1
policy_in: ACCEPT

[RULES]

OUT ACCEPT -log nolog
IN ACCEPT -log nolog

配置Windows2-15防火墙，仅允许宿主机和windows1的流量流出流出。

vi /etc/pve/firewall/101.fw
[OPTIONS]

policy_in: REJECT
enable: 1
policy_out: ACCEPT

[RULES]

OUT ACCEPT -dest 192.168.52.201 -log nolog
OUT ACCEPT -dest 192.168.52.200 -log nolog
IN ACCEPT -source 192.168.52.201 -log nolog
IN ACCEPT -source 192.168.52.200 -log nolog

for (( i=101；i<115;i++ ));do cp $i.fw $i+1.fw;done

至此，所有虚拟机安装配置完成。

6 性能测试——使用pveperf进行测试

	1	2	3	4	5
cpu bogomips	179214.72	179214.72	179214.72	179214.72	179214.72
regex/second	3279660	3261539	3249824	3223121	3263534
HD SIZE	93.93 GB	93.93 GB	93.93 GB	93.93 GB	93.93 GB
BUFFERED READS	188.33 MB/sec	138.38 MB/sec	134.17 MB/sec	71.99 MB/sec 154.62 MB/sec	154.62 MB/sec
AVERAGE SEEK TIME	9.15 ms	19.01 ms	12.30 ms	27.26 ms	23.27ms
FSYNCS/SECOND	9.95	33.41	19.30	29.47	27.98
DNS EXT	589.30 ms	595.68 ms	351.61 ms	627.83 ms	221.95 ms
DNS INT	367.15 ms (PVE)	594.21 ms (PVE)	289.67 ms (PVE)	317.43 ms (PVE)	504.87 ms (PVE)

表6.1：性能测试结果

cpu bogomips：是一个基于时钟计数的测试，用于衡量系统CPU的性能。Proxmox VE的性能要求会随着使用场景和负载的不同而有所变化，但通常来说，CPU BOGOMIPS的值应该在100000以上。
regex/second: 每秒处理的正则表达式，通常该值应 >300000。
HD SIZE: 测试盘的大小，表中为系统盘，这个值与系统性能无关。
BUFFERED READS：缓存读取速度，是一个简单的硬盘读取测试指标，用于衡量硬盘的读取速度。现代硬盘的读取速度应该达到40MB/s以上。
AVERAGE SEEK TIME：（磁盘）平均巡道时间，是一个测试硬盘平均寻道时间的指标，用于衡量硬盘的读取速度。快速的SCSI硬盘的平均寻道时间可以达到小于8ms的值，而常见的IDE/SATA硬盘的平均寻道时间大概在15到20ms之间。
FSYNCS/SECOND: 一个文件系统同步操作的速度指标，用于衡量系统执行写入操作的性能。它反映了文件系统写入操作的速度，即文件系统将数据从内存缓存同步到磁盘的速度，对该值的最低要求是>200。

由于目前仅有两块机械硬盘且其中一块用作了samba，导致无法做raid，并且也无法使用WriteBack模式。

在WriteBack模式下，写操作会先被写入到主机页面缓存中——即写入脏页。当内存负载太高，需要回收内存，那么脏页可能将数据写入硬盘，或者达到了脏页的回收时间，那么也可以将脏页数据写入到硬盘，此时数据才算完整被写入。所以写入和读取都非常的高。

在没有writeback的模式下，结果如下：

root@aster:/tmp# grep -i "^cache\|dirty\|writeback:" /proc/meminfo
Cached:           392152 kB  是用于读取缓存的内存量。
Dirty:                20 kB    它表示要写入（即：已更改）的内存量。要回收此内存，系统必须将更改写出到磁盘。这意味着，根据底层IO子系统，脏页面回收可能会很慢。
Writeback:             0 kB    它是系统当前写入磁盘的内存量，这是内存负载（和脏页回收）和计时回收（最多30秒后，脏页被写回磁盘）的数据

DNS EXT：外部DNS 解析时间，的响应时间应该在100ms以下。
DNS INT：内部DNS 解析时间，的响应时间应该在100ms以下。

根据五次pveperf脚本基准测试结果表明，目前服务器的CPU能够满足PVE性能要求，并且硬盘的读取速度也满足系统需求，但文件系统将数据从内存缓存同步到磁盘的速度不太理想，可以通过更换硬盘为更高写入速度的硬盘或者增加硬盘做硬raid来提升性能；网络方面DNS解析时间过长，可能会造成可能会导致客户端频繁发出DNS请求，并且访问网络资源的速度变慢。

7 参考资料

【1】Proxmox VE Administartion Guide
【2】Proxmox中文文档
【3】OVH Server benchmark
【4】Proxmox VE磁盘WriteBack性能调优和注意事项
【5】PVE开启硬件直通功能

配置指导：开源AAA解决方案 —FreeRADIUS

1 目标

本文档主要讲解如何使用Asterfusion CX-M系列云园区交换机和daloRADIUS进行配置组网，实现一个拥有AAA能力的园区网络。

关于园区网和daloRADIUS的配置部署，请参考《部署手册-开源AAA解决方案-FreeRADIUS》。

2 环境介绍

2.1 硬件环境

2.2 软件环境

3 组网拓扑

4 交互流程

5 RADIUS服务器配置

# 确认Radius服务正常运行

# 服务配置目录

5.1 添加NAS设备账号

5.2 添加终端用户

6 交换机配置

6.1 接入RADIUS服务器

leaf03# configure terminal                                                                                                                                                        
leaf03(config)# dot1x enable
leaf03(config)# dot1x radius-server 172.24.22.4 asteros source 172.24.20.17
leaf03(config)# dot1x radius-server detect-server enable
leaf03(config)# dot1x radius-server testuser testing password

leaf03# configure terminal
leaf03(config)# interface ethernet 25
leaf03(config-if-25)# dot1x enable

6.2 确认配置结果

7 结果验证

# 在接入终端上不开启dot1x认证时，直接以DHCP的方式UP网卡，虽然可以获取到IP地址，但是没有网络访问权限，也无法Ping通网关。

# 认证成功后，VM1拥有网络访问权限，可以在VM1上Ping通网关。

# 接入交换机上，能看到认证信息。

部署手册：开源AAA解决方案 —FreeRADIUS

1 软件介绍

RADIUS（Remote Authentication and Dial-In User Service）是做拨号用户接入认证和服务请求认证的网络协议。RADIUS提供中心式认证、鉴权和计费（AAA）能力，用于管理接入用户使用网络资源。RADIUS允许使用集中式的数据库来保存所有用户的配置信息，以供所有用户共享使用。

FreeRADIUS是一个开源的、模块化、高性能并且功能丰富的一套RADIUS程序，包含服务器、客户端、开发库和一些额外的相关RADIUS工具。作为第一款开源发布的RADIUS程序，源码几乎可以被任何系统编译安装。并且，产品为大规模的AAA认证服务器（1000万用户和每天百万级的请求）部署设计。FreeRADIUS没有Web界面，因此我们使用第三方Web界面DaloRADIUS作为管理界面。

2 基础环境

2.1 部署环境

服务器硬件：KVM虚拟机，2 vCPU + 2GB vMem + 8GB Disk
操作系统：CentOS Linux release 7.8.2003
数据库：PostgreSQL 15.4
Web：v2.4.6
PHP：v5.4.16
FreeRADIUS：v3.0.13
DaloRADIUS：v1.3

2.2 操作系统基础设置

关闭SELinux

SELinux不关闭会导致Web访问异常。

# setenforce 0
# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

关闭防火墙

防止安装完成后无法从外部访问的情况。

# systemctl stop firewalld && systemctl disable firewalld

配置YUM源

配置系统的基础YUM源、EPEL源以及PostgreSQL数据库的源。

# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# wget -P /etc/yum.repos.d/ https://mirrors.163.com/.help/CentOS7-Base-163.repo
# yum clean all
# yum makecache
# yum install epel-release -y
# yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

下载安装包

提前准备好DaloRADIUS的安装包。

# wget https://codeload.github.com/lirantal/daloradius/tar.gz/refs/tags/1.3 -O /tmp/freeradius

3 安装配置数据库

# yum install -y mariadb-server mariadb
# systemctl start mariadb
# systemctl enable mariadb
# mysql_secure_installation

# mysql -u root -p
MariaDB [(none)]> create database radius;
MariaDB [(none)]> grant all on radius.* to radius@localhost identified by 'radius';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit

4 安装配置Web和PHP

# yum install -y httpd
# systemctl enable httpd
# systemctl start httpd

# yum install -y php php-mysql php-pear php-devel php-common php-gd php-mbstring php-mcrypt php-xml php-pear-DB
# systemctl restart httpd

5 安装配置FreeRADIUS

# yum install -y freeradius freeradius-utils freeradius-mysql
# systemctl start radiusd.service
# systemctl enable radiusd.service

# mysql -u root -p radius < /etc/raddb/mods-config/sql/main/mysql/schema.sql
# vim /etc/raddb/mods-available/sql
#  cat  /etc/raddb/mods-available/sql | grep -v ^#
sql {
        # The sub-module to use to execute queries. This should match
        # the database you're attempting to connect to.
        #
        #    * rlm_sql_mysql
        #    * rlm_sql_mssql
        #    * rlm_sql_oracle
        #    * rlm_sql_postgresql
        #    * rlm_sql_sqlite
        #    * rlm_sql_null (log queries to disk)
        #
        driver = "rlm_sql_mysql"


        # The dialect of SQL you want to use, this should usually match
        # the driver you selected above.
        #
        # If you're using rlm_sql_null, then it should be the type of
        # database the logged queries are going to be executed against.
        dialect = "mysql"

        # Connection info:
        #
        server = "localhost"
        port = 3306
        login = "radius"
        password = "radius"

        # Database table configuration for everything except Oracle
        radius_db = "radius"
# chgrp -h radiusd /etc/raddb/mods-available/sql
# systemctl restart radiusd.service

6 安装配置DaloRaDIUS

# cd /tmp/freeradius
# tar xvf daloradius-1.3.tar.gz
# mv daloradius-1.3/ /var/www/html/daloradius
# chown -R apache:apache /var/www/html/daloradius
# cd /var/www/html/daloradius/
# mv library/daloradius.conf.php.sample library/daloradius.conf.php
# chmod -R 644 library/daloradius.conf.php
# mysql -u root -p radius < /var/www/html/daloradius/contrib/db/fr2-mysql-daloradius-and-freeradius.sql
# mysql -u root -p radius < /var/www/html/daloradius/contrib/db/mysql-daloradius.sql
# vim library/daloradius.conf.php
# cat library/daloradius.conf.php
……
$configValues['FREERADIUS_VERSION'] = '2';
$configValues['CONFIG_DB_ENGINE'] = 'mysqli';
$configValues['CONFIG_DB_HOST'] = 'localhost';
$configValues['CONFIG_DB_PORT'] = '3306';
$configValues['CONFIG_DB_USER'] = 'radius';
$configValues['CONFIG_DB_PASS'] = 'radius';
$configValues['CONFIG_DB_NAME'] = 'radius';

# systemctl restart httpd

7 部署结果

完成FreeRADIUS的安装部署后，可通过浏览器访问网址：http://freeradius-ip/daloradius/验证部署结果，默认的用户名和密码为administrator/radius。

案例验证：分析NCCL-Tests运行日志优化Scale-Out网络拓扑

1、背景：All-reduce 和 Ring 算法

背景：All-reduce 和 Ring 算法

GPU并行计算中需要大规模地在计算节点之间同步参数梯度，产生了大量的集合通信流量。为了优化集合通信性能，业界开发了不同的集合通信库（xCCL），其核心都是实现 All-Reduce，这也是分布式训练最主要的通信方式。

LLM训练中的 All Reduce 操作一般分为三个步骤：

把每个节点的数据切分成N份;
通过reduce-scatter，让每个节点都得到1/N的完整数据块;
通过all-gather，让所有节点的每个1/N数据块都变得完整

基于这种流量模式，Ring算法是目前实现该操作最常见的基础算法之一。

顾名思义，Ring算法构建了一个环形网络——每个节点的数据会被切分成N份数据在所有GPU之间移动，且每个GPU只和相邻的GPU通信。这种流水线模式能充分利用所有节点的发送和接收带宽，减少 GPU 等待数据的空闲时间，同时也改善了传输大数据块时的性能和时延抖动问题。（但对于小规模数据传输，Ring算法可能会表现出较高的延迟和低效。）

工具说明：NCCL-Tests

NVIDIA提供的NCCL是当前面向AI的集合通信事实标准，NCCL-Test 是 NVIDIA 开源的工具，我们可以在官方Github下载来进行不同算法的性能测试（例如：ring，trees…）。本次测试使用All reduce的ring算法来进行性能评估。

root@bm-2204kzq:~# /usr/local/openmpi/bin/mpirun  #多机集群测试需要使用MPI方式执行
    --allow-run-as-root 
    -bind-to none  #不将进程绑定到特定的CPU核心
    -H 172.17.0.215:8,172.17.0.81:8 # host列表，:后指定每台机器要用的GPU数量
    -np 16 #指定要运行的进程数，等于总GPU数量
    -x NCCL_SOCKET_NTHREADS=16 
    -mca btl_tcp_if_include bond0 
    -mca pml ^ucx -mca btl ^openib #指定BTL的value为'^openib'
    -x NCCL_DEBUG=INFO #NCCL的调试级别为info
    -x NCCL_IB_GID_INDEX=3  
    -x NCCL_IB_HCA=mlx5_0:1,mlx5_2:1,mlx5_3:1,mlx5_4:1 
    -x NCCL_SOCKET_IFNAME=bond0  #指定了 NCCL 使用的网络接口
    -x UCX_TLS=sm,ud  #调整MPI使用的传输模式
    -x LD_LIBRARY_PATH -x PATH 
    -x NCCL_IBEXT_DISABLE=1 #如使用RoCE网络，此处应禁用
    -x NCCL_ALGO=ring  
/root/nccl-tests/build/all_reduce_perf -b 512 -e 18G -f 2 -g 1 #执行all reduce操作

NCCL-Tests常用参数及解释

GPU 数量
- -t,--nthreads <num threads> 每个进程的线程数量配置，默认 1；
- -g,--ngpus <GPUs per thread> 每个线程的 GPU 数量，默认 1；
数据大小配置
- -b,--minbytes <min size in bytes> 开始的最小数据量，默认 32M；
- -e,--maxbytes <max size in bytes> 结束的最大数据量，默认 32M；
数据步长设置
- -i,--stepbytes <increment size> 每次增加的数据量，默认: 1M；
- -f,--stepfactor <increment factor> 每次增加的倍数，默认禁用；
NCCL 操作相关配置
- -o,--op <sum/prod/min/max/avg/all>指定哪种操作为reduce，仅适用于Allreduce、Reduce或ReduceScatter等操作。默认值为：求和（Sum）；
- -d,--datatype <nccltype/all>指定使用哪种数据类型，默认 : Float；
性能相关配置
- -n,--iters <iteration count> 每次操作（一次发送）循环多少次，默认 : 20；
- -w,--warmup_iters <warmup iteration count> 预热迭代次数（不计时），默认：5；
- -m,--agg_iters <aggregation count> 每次迭代中要聚合在一起的操作数，默认：1；
- -a,--average <0/1/2/3> 在所有 ranks 计算均值作为最终结果 (MPI=1 only). <0=Rank0,1=Avg,2=Min,3=Max>，默认：1；
测试相关配置
- -p,--parallel_init <0/1> 使用线程并行初始化 NCCL，默认: 0；
- -c,--check <0/1> 检查结果的正确性。在大量GPU上可能会非常慢，默认：1；
- -z,--blocking <0/1> 使NCCL集合阻塞，即在每个集合之后让CPU等待和同步，默认：0；
- -G,--cudagraph <num graph launches> 将迭代作为CUDA图形捕获，然后重复指定的次数，默认：0；

案例验证：优化GPU互连拓扑

下图是一个未优化的双机8卡(H20)组网测试拓扑：

按照一般CPU云数据中心的连接方式，将同服务器的网卡连接到一台交换机上，两台交换机之间有4条400G链路相连。参与测试的为星融元（Asterfusion）交换机（CX732Q-N，32 x 400GE QSFP-DD, 2 x 10GE SFP+）。

NCCL-Test 性能测试结果

                                        out-of-place                       in-place          
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)       
         512           128     float     sum      -1    56.12    0.01    0.02      0    54.54    0.01    0.02      0
        1024           256     float     sum      -1    55.09    0.02    0.03      0    53.85    0.02    0.04      0
        2048           512     float     sum      -1    55.67    0.04    0.07      0    54.84    0.04    0.07      0
        4096          1024     float     sum      -1    55.70    0.07    0.14      0    55.05    0.07    0.14      0
        8192          2048     float     sum      -1    56.36    0.15    0.27      0    56.53    0.14    0.27      0
       16384          4096     float     sum      -1    57.21    0.29    0.54      0    57.02    0.29    0.54      0
       32768          8192     float     sum      -1    60.74    0.54    1.01      0    59.87    0.55    1.03      0
       65536         16384     float     sum      -1    67.42    0.97    1.82      0    68.41    0.96    1.80      0
      131072         32768     float     sum      -1    109.6    1.20    2.24      0    108.8    1.20    2.26      0
      262144         65536     float     sum      -1    108.3    2.42    4.54      0    108.3    2.42    4.54      0
      524288        131072     float     sum      -1    115.0    4.56    8.55      0    112.8    4.65    8.72      0
     1048576        262144     float     sum      -1    135.0    7.77   14.57      0    129.4    8.10   15.19      0
     2097152        524288     float     sum      -1    144.6   14.51   27.20      0    142.9   14.67   27.51      0
     4194304       1048576     float     sum      -1    222.0   18.89   35.43      0    220.0   19.07   35.75      0
     8388608       2097152     float     sum      -1    396.5   21.15   39.66      0    392.1   21.40   40.12      0
    16777216       4194304     float     sum      -1    736.3   22.78   42.72      0    904.7   18.55   34.77      0
    33554432       8388608     float     sum      -1   1405.5   23.87   44.76      0   1542.0   21.76   40.80      0
    67108864      16777216     float     sum      -1   2679.0   25.05   46.97      0   2721.0   24.66   46.24      0
   134217728      33554432     float     sum      -1   5490.1   24.45   45.84      0   5291.6   25.36   47.56      0
   268435456      67108864     float     sum      -1    10436   25.72   48.23      0    11788   22.77   42.70      0
   536870912     134217728     float     sum      -1    25853   20.77   38.94      0    23436   22.91   42.95      0
  1073741824     268435456     float     sum      -1    47974   22.38   41.97      0    54979   19.53   36.62      0
  2147483648     536870912     float     sum      -1   117645   18.25   34.23      0   117423   18.29   34.29      0
  4294967296    1073741824     float     sum      -1   248208   17.30   32.44      0   229171   18.74   35.14      0
  8589934592    2147483648     float     sum      -1   474132   18.12   33.97      0   476988   18.01   33.77      0
 17179869184    4294967296     float     sum      -1   949191   18.10   33.94      0   965703   17.79   33.36      0
# Out of bounds values : 0 OK

size (B)：操作处理的数据的大小，以字节为单位；
count (elements)：操作处理的元素的数量；
type：元素的数据类型；
redo p：使用的归约操作；
root：-1 表示这个操作没有根节点（all-reduce 操作涉及到所有的节点）；
time (us)：操作的执行时间，以微秒为单位；
algbw (GB/s)：算法带宽，以 GB/s 为单位；
busbw (GB/s)：总线带宽，以 GB/s 为单位；
wrong：错误的数量，如果这个值不是 0，那可能表示有一些错误发生。

查看结果时需要关注如下几点：

数据量增加时，带宽是否会下降（下降明显不符合预期）；
带宽的峰值，每次算到的带宽峰值，可以只关注 in 或者 out；
平均值，在数据量递增的情况下，可能无法体现最终的结果；
请确保数据量足够大，可以压到带宽上限（通过调整 b、e 或者 n 选项）。

分析以上信息可以发现：平均总线带宽仅22GB/s，在达到47GB/s左右的峰值流量后，随着数据量越大带宽性能却在下降，与正常值相差甚远。

机内拓扑分析

通过 nvidia-smi topo -m 可以得知机内设备拓扑

将上表转化为如下示意图：

NCCL通信路径分析

NCCL中用Channel的概念表示一个通信路径，在初始化的过程会自动感知拓扑并计算最佳的通信路径。为了更好的利用带宽和网卡实现并发通信，NCCL会使用多channel。NCCL-test运行日志里列出了16组channel如下：

### ChannelNum:16
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

Device map 显示 Rank #0-7、#8-15在同一服务器

### Device maps
    ## GPU map
        #  Rank  0 Group  0 Pid 252978 on bm-2204kzq device  0 [0x0f] NVIDIA H20
        #  Rank  1 Group  0 Pid 252979 on bm-2204kzq device  1 [0x34] NVIDIA H20
        #  Rank  2 Group  0 Pid 252980 on bm-2204kzq device  2 [0x48] NVIDIA H20
        #  Rank  3 Group  0 Pid 252981 on bm-2204kzq device  3 [0x5a] NVIDIA H20
        #  Rank  4 Group  0 Pid 252982 on bm-2204kzq device  4 [0x87] NVIDIA H20
        #  Rank  5 Group  0 Pid 252983 on bm-2204kzq device  5 [0xae] NVIDIA H20
        #  Rank  6 Group  0 Pid 252984 on bm-2204kzq device  6 [0xc2] NVIDIA H20
        #  Rank  7 Group  0 Pid 252985 on bm-2204kzq device  7 [0xd7] NVIDIA H20
        #  Rank  8 Group  0 Pid 253834 on bm-2204qhn device  0 [0x0f] NVIDIA H20 
        #  Rank  9 Group  0 Pid 253835 on bm-2204qhn device  1 [0x34] NVIDIA H20 
        #  Rank 10 Group  0 Pid 253836 on bm-2204qhn device  2 [0x48] NVIDIA H20 
        #  Rank 11 Group  0 Pid 253837 on bm-2204qhn device  3 [0x5a] NVIDIA H20 
        #  Rank 12 Group  0 Pid 253838 on bm-2204qhn device  4 [0x87] NVIDIA H20 
        #  Rank 13 Group  0 Pid 253839 on bm-2204qhn device  5 [0xae] NVIDIA H20
        #  Rank 14 Group  0 Pid 253840 on bm-2204qhn device  6 [0xc2] NVIDIA H20
        #  Rank 15 Group  0 Pid 253841 on bm-2204qhn device  7 [0xd7] NVIDIA H20

结合每个channel的具体路径信息（详见文末），在所有16条channel下的机间流量仅有以下8种固定的rank组合：10-0、2-8、1-10、9-2、6-12、14-4、5-14、13-6，对应的，产生通信的网卡有且仅有：

<bm-2204kzq>       <bm-2204qhn>
NIC0: mlx5_0 <---> NIC2: mlx5_2

NIC2: mlx5_2

NIC3: mlx5_3 <---> NIC4: mlx5_4

NIC4: mlx5_4

优化前性能不佳的原因是: 所有跨节点的并行流量都需跨交换机在四条互联链路上负载均衡，而现有的ECMP负载均衡对大流不够友好，形成了性能瓶颈。

所以在设计Scale-out网络拓扑的时候，我们应让集群内所有同轨道的网卡连接在一台交换机上，使集群性能达到最优。

按此方式调整后，测得单机四卡模式跨RoCE交换机（CX732Q-N）的总线带宽与网卡直连数值相近，约195GB/s。

附录

## NIC map
        bm-2204kzq:252982:252982 [*] NCCL INFO NCCL_SOCKET_IFNAME set by environment to bond0
        bm-2204kzq:252982:252982 [*] NCCL INFO Bootstrap : Using bond0:172.17.0.215<0>
        bm-2204kzq:252982:252982 [*] NCCL INFO NCCL version 2.22.3+cuda12.6
        bm-2204kzq:252985:253055 [*] NCCL INFO NET/IB : Using [0]mlx5_2:1/RoCE [1]mlx5_3:1/RoCE [2]mlx5_4:1/RoCE [3]mlx5_0:1/RoCE [RO]; OOB bond0:172.17.0.215<0>
        
        bm-2204qhn:253837:253837 [*] NCCL INFO NCCL_SOCKET_IFNAME set by environment to bond0
        bm-2204qhn:253837:253837 [*] NCCL INFO Bootstrap : Using bond0:172.17.0.81<0>
        bm-2204qhn:253837:253837 [*] NCCL INFO NCCL version 2.22.3+cuda12.6
        bm-2204qhn:253840:253908 [*] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [1]mlx5_2:1/RoCE [2]mlx5_3:1/RoCE [3]mlx5_4:1/RoCE [RO]; OOB bond0:172.17.0.81<0>

### ChannelNum:16
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

    ## Channel C0
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE

        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 00/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 00/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 00/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 00/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 00/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 00/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 00/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 00/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 00/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 00/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 00/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 00/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 00/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 00/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 00/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 00/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 00/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 00/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C1
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
        
        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 01/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 01/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 01/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 01/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 01/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 01/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 01/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE 
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 01/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE 
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 01/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 01/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 01/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 01/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 01/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 01/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 01/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 01/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE 
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 01/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE 
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 01/0 : 2[2] -> 0[0] via P2P/CUMEM
        
    ## Channel C2
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 02/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 02/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 02/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 02/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 02/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 02/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 02/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 02/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 02/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 02/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 02/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 02/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 02/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 02/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 02/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 02/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 02/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 02/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C3
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 03/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 03/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 03/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 03/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 03/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 03/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 03/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 03/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 03/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 03/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 03/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 03/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 03/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 03/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 03/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 03/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 03/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 03/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C4
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 04/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 04/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 04/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 04/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 04/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 04/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 04/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 04/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 04/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 04/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 04/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 04/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 04/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 04/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 04/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 04/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 04/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 04/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C5
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 05/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 05/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 05/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 05/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 05/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 05/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 05/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 05/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 05/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 05/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 05/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 05/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 05/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 05/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 05/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 05/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 05/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 05/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C6
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 06/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 06/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 06/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 06/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 06/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 06/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 06/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 06/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 06/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 06/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 06/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 06/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 06/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 06/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 06/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 06/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 06/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 06/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C7
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 07/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 07/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 07/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 07/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 07/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 07/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 07/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 07/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 07/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 07/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 07/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 07/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 07/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 07/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 07/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 07/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 07/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 07/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C8
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 08/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 08/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 08/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 08/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 08/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 08/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 08/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 08/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 08/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 08/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 08/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 08/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 08/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 08/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 08/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 08/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 08/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 08/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C9
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 09/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 09/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 09/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 09/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 09/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 09/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 09/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 09/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 09/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 09/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 09/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 09/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 09/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 09/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 09/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 09/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 09/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 09/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C10
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 10/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 10/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 10/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 10/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 10/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 10/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 10/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 10/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 10/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 10/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 10/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 10/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 10/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 10/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 10/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 10/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 10/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 10/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C11
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 11/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 11/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 11/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 11/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 11/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 11/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 11/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 11/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 11/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 11/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 11/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 11/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 11/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 11/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 11/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 11/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 11/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 11/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C12
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 12/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 12/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 12/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 12/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 12/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 12/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 12/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 12/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 12/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 12/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 12/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 12/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 12/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 12/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 12/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 12/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 12/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 12/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C13
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 13/0 : 2[2] -> 0[0] via P2P/CUMEM
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 13/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 13/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 13/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 13/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 13/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 13/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 13/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 13/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 13/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 13/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 13/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 13/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 13/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 13/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 13/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 13/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 13/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE

    ## Channel C14
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 14/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 14/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 14/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 14/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 14/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 14/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 14/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 14/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 14/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 14/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 14/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 14/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 14/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 14/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 14/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 14/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 14/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 14/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C15
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
        
        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 15/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 15/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 15/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 15/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 15/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 15/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 15/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 15/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 15/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 15/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 15/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 15/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 15/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 15/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 15/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 15/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 15/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 15/0 : 2[2] -> 0[0] via P2P/CUMEM

云化园区

网络操作系统（SONiC）

可视交换机

开放硬件平台

关注星融元

步骤1：获取各类服务器基础信息

步骤2：根据模板自动设计组网方案

步骤3：确定机柜布局

步骤4：生成网络规划配置

步骤5：与 EasyRoCE 工具模块对接

关注星融元

“黑盒”状态的集合通信

EPS 是什么？

如何使用 EPS？

1. 安装配置EPS

2. 配置监控面板

什么是矢量包处理？

VPP的优势：用户态网络协议栈

DPDK与VPP的集成

星融元借助VPP和DPDK的应用实例

小型边缘云网关

DPU架构的智能网卡

1 扩容Pod方案

1.1 组网拓扑

1.2 验证流程

1.2.1 操作步骤

1.2.2 结果

1.3 结论

2 新增Pod方案

2.1 组网拓扑

2.2 验证流程

2.2.1 操作步骤

2.2.2 结果

2.3 结论

3 交换机和服务器网络配置

3.1 扩容Pod方案

3.1.1 服务器

3.1.2 交换机

3.2 新增Pod方案

3.2.1 服务器

3.2.2 交换机

1 目标概述

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

3.2 带内管理网络业务IP地址表

4 硬件与软件环境

4.1 硬件环境

4.2 软件环境

5 配置过程

5.1 Spine01交换机配置

5.2 Spine02交换机配置

5.3 Leaf01交换机配置

5.4 Leaf02交换机配置

5.5 Leaf03交换机配置

5.6 Leaf04交换机配置

5.7 Server1及虚机配置

5.8 Server2及虚机配置

5.9 Server3及虚机配置

6 查看BGP状态

6.1 Leaf01 BGP状态

6.2 Leaf02 BGP状态

6.3 Leaf03 BGP状态

6.4 Leaf04 BGP状态

6.5 Spine01 BGP状态

6.6 Spine02 BGP状态

7 查看聚合状态

7.1 Leaf01聚合状态

7.2 Leaf02聚合状态

7.3 Leaf03 聚合状态

7.4 Leaf04 聚合状态

8 查看VxLAN隧道状态

8.1 Leaf01状态

8.2 Leaf02状态

8.3 Leaf03 状态

8.4 Leaf04 状态

9 查看EVPN MH状态

9.1 Leaf01状态

9.2 Leaf02状态

9.3 Leaf03 状态