Skip to main content
开放网络的先行者与推动者—星融元
加入我们 | 技术支持(Support)  TEL:(+86)4000989811

51.2T 800G AI智算交换机软硬件系统设计全揭秘

关注星融元

在 AI、HPC 与云计算基础设施飞速演进的当下，性能瓶颈不再源于算力，而是网络系统中的每一个微秒延迟与每一瓦能耗。

为应对这一挑战，星融元推出了旗舰级产品：CX864E-N 64x800G 超低时延 RoCE 交换机。

该产品具备业界领先的560ns端口转发时延和基于 SONiC 的开放网络架构，为下一代 AI 智算网络提供极致性能保障和灵活的方案集成空间。

近期国内外展会上，CX864E-N已吸引了大量客户与行业专家的关注。对此，我们决定不再“藏着掖着”，而是大方展示我们的技术实力与设计理念 —— 星融元将一直以坦诚、开放的态度与客户和同行共同推动开放网络的行业进步。

800G

CX864E-N 早在去年已实现量产并成功部署于多家头部互联网企业与云服务提供商的数据中心，并且交付周期已缩短至约2周，在性能、交期与成本的多维度比较中名列前茅。

CX864E-N 硬件外观概览

设备前面板

在2U高的前面板上，排布着64个800G OSPF 端口，其前后向兼容性可确保从现有的 100GE/200GE/400GE 网络无缝过渡到更高级的800GE，保护历史投资。

800G

在管理口方面，CX864E-N 提供RJ45 MGMT、USB2.0接口及RJ45 Console。

另外，CX864E-N 还提供两个额外的 10G SFP+ 端口，专门用于增强带内网络遥测 （INT） 等管理功能。这一考虑至关重要，因为 800G 交换机上的每个端口都承担着相当大的工作负载，如出现问题，影响会显著放大，因此需要更精准、实时的通信监控。（当然，客户也还可以根据其他网络需求灵活运用这两个端口）

800G

面板右侧还有6个LED指示灯，其中靠近RJ45口的两个分别为：

  • LINK/ACT灯，指示 MGMT接口的link及数据通讯状态
  • SYS灯，指示整机系统的运行状态；

面板右侧竖排四个指示灯从上到下依次为：

  • BMC状态指示灯（BMC）
  • 电源指示灯（P）
  • 风扇状态指示灯（F）
  • 设备定位指示灯（L）

前面板分布着横、纵向排列的三排小型进风孔。外部冷空气正是通过这些气孔进入机箱内部，与风冷系统协同工作，有效提升整体散热效率。

设备背部

CX864E-N 设备背部配备了4个风扇模块以及2个电源模块，为系统提供稳定、高效的散热与供电保障。所有风扇与电源均支持热插拔，无需中断系统运行。电源模块集中布局于设备左侧，单个功率为 3200W。

800G800G

您可能会问：市面上的800G交换机大多有6到8个风扇，而CX864E-N仅有4个，散热如何保证？关于这个问题我们会在下一个部分来解答。

CX864E-N 内部硬件

让我们揭开这台高性能交换机的盖版，从左至右，依次探索这款设备的核心构造，深入了解其内部硬件设计。

800G

散热板

首先看到的是大面积覆盖的散热板（已拆出放置），这是我们采用了 3D真空腔均热板技术的高效风冷散热模块。

800G

相比部分厂商选择的水冷方案，该散热设计在整机满配功耗高达 2180W 的极限工况下，依然能够稳定满足系统运行需求，同时将整机功耗控制在业内较低水平，能效表现出色。在该负载条件下，风扇仅需以约 60% 转速运行便可维持散热系统的正常运作，有效控制噪音水平，避免对运行环境造成干扰。

ASIC 模块

800G

散热板下即是 Marvell Teralynx 10 ASIC 模块（以下简称“TL10”）, 安装在 OSFP 接口背后，是整机网络交换处理能力的核心。TL10是一颗基于 5nm 工艺、单芯片架构的可编程交换芯片，提供51.2 Tbps的吞吐能力。

TL10 的超低时延性能是其最大亮点之一，可将端到端时延控制在约 560 纳秒，在同类芯片中表现极为出色。对于 AI 模型训练、推理以及大规模并行计算任务，低延迟意味着更快的同步、更高的吞吐、更低的能耗浪费，从而提升整个集群效率。

  • 大容量片上缓存（200+ MB）：显著提升 RoCE 传输性能，能够有效缓解网络拥塞引发的数据排队与等待问题。相比竞品采用的外置 HBM 方案，片上缓存在功耗、访问延迟以及成本控制方面具备显著优势。
  • 先进的带内遥测（INT）功能
  • Flowlet 调度机制：通过引入 Flowlet 级别的负载均衡策略，TL10 在高吞吐场景下依然可保持稳定的数据分发效率。该机制显著降低了对缓存资源的依赖，仅需约 200MB，即可满足复杂网络环境下的调度与拥塞控制需求。
  • 高 Radix 架构（512×100GbE）：支持网络大规模横向扩展，助力数据中心从传统三层架构向扁平化两层架构演进，显著减少网络设备数量与布线复杂度，提高整体网络效率与可靠性。
  • 领先的能效比：在面向大规模 AI 训练集群的实际部署中，TL10 相较于同类方案可节省超过 1MW 功耗，在每瓦带宽和计算密度方面处于业界领先水平，显著降低长期运营成本（TCO）。

800G

文末我们将展示基于 TL10 芯片设备的实际延迟测试结果。

电源模组

在ASIC上方是斜向排列的一组电源模组。它们为核心的 ASIC 芯片提供稳定电力支持。值得一提的是，这种非平行布局经过优化，可有效提升电源完整性，为高速数据传输保驾护航。

800G

PTP模块

电源模组上方为 PTP（精确时间协议）模块，支持高达10ns 的PTP与SyncE精度。该模块为可选功能，采用可插拔设计，客户可按需定制，灵活部署。下图是PTP模块已安装与未安装状态的实物图对比。

800G

800G

COMe 模块

长方体组件正是我们的 COMe 模块，基于 x86 架构，搭载 Intel Xeon 处理器，具备强大的计算性能，能够支持 INT-based Routing 等高级网络功能。上面运行我们自研的基于 SONiC -based AsterNOS 操作系统，为交换机提供稳定、高效的控制平面核心，确保整机在复杂网络环境下的灵活调度与可靠运行。

800G

BMC 模块

COMe模块右侧是BMC模块，它同样采用可插拔设计，客户可根据需求升级BMC模块，解锁更高性能与更丰富的管理功能。

800G

NVMe 插槽

COMe 模块左侧是两个全长 2280 的 NVMe 插槽，以及一个兼容 2280 和 2242 尺寸的 M.2 SATA 插槽，为用户提供灵活的本地存储扩展能力。

此外，两个 2280 NVMe 插槽还可选配最多两颗 Hailo-10 AI 加速引擎，支持实时、低延迟且高能效的边缘 AI 推理计算，满足多种智能和AI应用场景的部署需求。

800G

风扇

整机后部配备 4 个可热插拔风扇模块，构成高效简洁的风冷系统。这里也回答了之前的问题，在满负载运行（2180W）下，这套散热方案已完全能够稳定运行，无需塞入额外的风扇来控制温度，大大降低了功耗与系统复杂度。更少的组件，意味着更高的可靠性与更低的运营成本。

800G

其他补充

CX864E-N 整机内部仅使用了一根线缆，其他连接均通过高性能连接器实现板间互联，避免了因复杂线缆引起的信号干扰和维护难题。相比一些友商使用多根线缆的做法，这种设计更可靠，也更利于长期稳定运行。

800G

CX864E-N的PCB采用全球领先的制造工艺，并选用业内已大规模量产的顶级高性能板材，结合Vippo、盲孔（Blind Hole）、背钻（Back Drill）等先进技术工艺，全面满足112G高速SerDes在信号完整性（Signal Integrity）、损耗（Loss）、串扰（Crosstalk）等方面的严苛技术要求。

CX864E-N 软件概述

星融元 CX864E-N交换机搭载企业级 SONiC 发行版 —— AsterNOS。我们致力于打造业界领先的企业版 SONiC，助力客户构建高性能、智能化的网络系统，从控制面到数据面构建起软硬一体的协同架构。

AsterNOS架构图

加速 AI 网络，释放超算潜能

作为超以太网联盟（UEC）的早期成员，Asterfusion 借助超级以太网技术，将网络利用率提升至 90% 甚至更高，全面加速 AI 网络部署与数据中心演进。

解锁AI数据中心潜力：网络利用率如何突破90%？

星融元 CX864E-N RoCE交换机通过 Flowlet 负载均衡、基于 INT 的智能路由与 WCMP 等先进技术，实现 AI 训练与推理网络超过 90% 的利用率。这不仅显著提升 AI 工作负载效率，同时有效降低数据中心建设与运营成本

  • 全功能交钥匙解决方案：AsterNOS 基于社区 SONiC 构建，强化了 EVPN 多归属、RoCEv2、Ansible 自动化 等企业特性，专为复杂部署环境而设计。与自研的开放网络硬件深度适配，提供真正即插即用的一体化解决方案。
  • 更快的版本发布节奏与响应机制：相比社区半年一版的发布频率AsterNOS 实现了季度新版本发布，确保客户需求与问题能被快速响应与解决。
  • 专业支持团队，灵活定制服务：超过 120 名SONiC软件研发工程师，为客户提供专业、灵活的服务支持，包括定制功能开发、问题定位优化以及全方位的技术咨询。
  • 双模式CLI风格，提升用户体验：除了 Linux 风格的 Bash CLI，AsterNOS 还基于 Klish 实现了 Cisco 风格的命令行界面，帮助网络工程师更轻松上手，降低学习曲线。

560ns 超低转发时延、64×800G OSFP 高密度接口、TL10单芯片架构、超大片上缓存、板间无缆互联、定制级 PTP和AI 模块、每一行走线，每一个模块、都是星融元面向 AI 工作负载与低延迟网络的工程化答案。

附录：相关测试数据

800G-test 800G-test

800G-test

配置指导：配置显示拥塞通知ECN

近期文章

名词解释

ECN（Explicit Congestion Notification，显示拥塞通知）是一种基于流的端到端流控技术，保证实现端到端的拥塞控制，在交换机出口(Egress port)拥塞时，对数据包做ECN标记，并让流量发送端降低发送速率来保证网络的可靠性。

背景

在传统网络中TCP 实现将TCP 端节点之间的中间网络视为一个不透明的“黑盒”。TCP 包进入和流出这个盒子，有些时候因为路由器的拥塞发生了丢包，这样路由器会静默地丢弃接下来进入的包。尽管TCP可以检测到TCP包的丢失并且进行重传，但是从TCP处理过程，重传过程和吞吐率下降这些方面看，这个重传过程将会耗费很大。

为了避免因为路由器拥塞而带来的丢包而产生的一系列问题，TCP/IP的设计者们创建了一些用于主机和路由器的标准。这些标准描述了在IP路由器上进行的主动队列管理算法(AQM)(RFC 2309)，使得路由器能够监控转发队列的状态，以提供一个路由器向发送端报告发生拥塞的机制，让发送端在路由器开始丢包前降低发送速率。这种路由器报告和主机响应机制被称为显式拥塞通知（ECN）。

工作原理

ECN需要主动队列管理AQM策略结合才能发挥作用。路由器在队列溢出前检测到拥塞，在IP报头中设置Congestion Experienced (CE) Codepoint代码点来指示正在发生拥塞。

IP层对ECN的支持

在网络层一个发送主机必须能够表明自身能支持ECN与否，路由器在转发时必须能够表明它正在经历拥塞。ECN 使用 IPv4 首部或 IPv6 首部中 ToS (Type of Service，位于首部第 9 到 16 比特位) 字段的两个最低有效位（最右侧的位编码）来表示四个状态码。

IP 报文头部中的DSCP 字段有2 Bit 用于标识ECN。这2 个Bit 分别是：ECT（ECN Capable Transport）用来标识发送端设备是否支持ECN功能和CE（Congestion Experienced）用于标识报文在传输路径上是否经历过拥塞。图1：IP Header中的ECN Bit

图1：IP Header中的ECN Bit

  • 当ECT为0，CE为0时，表示IP报文不支持ECN
  • 当ECT为0，CE为1时，表示IP报文支持ECN
  • 当ECT为1，CE为0时，表示IP报文支持ECN
  • 当ECT为1，CE为1时，表示IP报文支持ECN，且发生了拥塞

当两端支持 ECN 时，它将数据包标为 ECT(0) 或 ECT(1)。如果分组穿过一个遇到阻塞并且相应路由器支持 ECN 的活动队列管理（AQM）队列，它可以将代码点更改为CE而非丢包。这种行为就是“标记”，其目的是通知接收端即将发生拥塞。在接收端，该拥塞指示由上层协议（传输层协议）处理，并且需要将信号回传给发送端，以通知其降低传输速率。

因为 CE 指示只能由支持它的上层协议有效处理，ECN 只能配合上层协议使用。例如 TCP 协议，它支持阻塞控制并且有方法将 CE 指示回传给发送端。

IP层ECN报文交互

ECN 是报文在网络设备出口发生拥塞时，将使能ECN（当IP 报文的ECN 字段为01 或10，表示使能ECN）的IP 报文头部的ECN 字段标记ECN=11，表示该IP 报文遇到网络拥塞，且该IP 报文不会被WRED 机制丢弃。如果接收服务器发现IP 报文的ECN 字段被标记成11，就立刻产生CNP 拥塞通知报文，并将该报文发送带源服务器，CNP 消息里包含了拥塞的数据流信息，远端服务器接收到后，通过降低相应的数据流发送速率，环节网络设备拥塞，从而避免发生丢包。

图2：IP层ECN报文交互示意图

  • 发送端发送IP 报文标记ECN(ECN=10)
  • 交换机在队列拥塞的情况下收到该报文，将ECN 字段修改为11 并转发出去
  • 接收服务器收到ECN 为11 的报文发送拥塞，正常处理该报文
  • 接收端产生拥塞通告，周期发送CNP（Congestion Notification Packets）报文，ECN字段为01，要求报文不能被网路丢弃
  • 交换机收到CNP 报文后正常转发该报文
  • 发送服务器收到ECN 标记为01 的CNP 报文解析后对相应的数据流限速算法

CNP报文格式

CNP作为拥塞控制报文，也会存在延迟和丢包，从发送端到接收端经过的每一跳设备、每一条链路都会有一定的延迟，会最终加大发送端接收到CNP的时间，而与此同时交换机端口下的拥塞也会逐步增多，若发送端不能及时降速，仍然可能造成丢包。建议拥塞通告域的规模不要过大，从而避免因为ECN控制报文交互回路的跳数过多，而影响发送端无法及时降速，造成拥塞。

图3：CNP协议报文格式

图3：CNP协议报文格式

 TCP层对ECN的支持

TCP支持使用TCP头中的三个标记来支持ECN。第一个标记是随机和（Nonce Sum，简称NS），用于防止TCP发送者的数据包标记被意外或恶意改动。另两位用于回传拥塞指示和确认接收到了拥塞指示回应。这即是ECN-Echo（ECE）和Congestion Window Reduced（CWR）位，图4为TCP Header中的CWR和ECE flag。

图4：TCP Header中的CWR和ECE flag

图4：TCP Header中的CWR和ECE flag

  • TCP SYN握手包会包含两个额外的flag： ECN-echo(ECE)和Congestion Window Reduced (CWR) 。这样双方就可以协商在数据传输期间是否可以正确的处理设置了CE位的数据包。
  • 发送方在所有发送的数据包中设置ECN Capable Transport (ECT) 位。
  • 如果发送方收到一个TCP数据包，报头中设置了ECE flag，则发送方将调整其拥塞窗口，就像它从丢失的数据包中快速恢复一样。发送方下一个数据包设置CWR flag，向接收方表明它已对拥塞做出反应。发送方在每个RTT间隔最多做出一次这种反应。
  • 当接收方接收到设置了CE 位的数据包时，接收方将在所有数据包中设置 ECE flag。这将一直持续到它收到一个设置了CWR flag的数据包，表明发送方已经对拥塞做出了反应。 ECT 标志仅在包含数据有效载荷的数据包中设置。发送不包含数据有效载荷的 TCP ACK 数据包时，应清除 ECT 位。

TCP层ECN报文交互

当在一个TCP连接上协商ECN后，发送方指示连接上的TCP段携带IP分组传输流量，将支持ECN的传输用ECT码点标记。这使支持ECN的中间路由器可以标记具有CE码点的IP分组而不是丢弃它们，以指示即将发生的阻塞。

当接收到具有遇到阻塞码点时，TCP接收者使用TCP头中的ECE标记回传这个阻塞指示。当一个端点收到TCP带有ECE位的段时，它减少其拥塞窗口来代替丢包。然后，它设置段的CWR位来确认阻塞指示。节点保持传输设置有ECE位的TCP段，直到它接收到设置有CWR的段。

ECN

图5：TCP层ECN报文交互示意图

  • 发送端主机发送Segment 1-5到接收端，这些Segment全部都设置了ECT
  • Segment 2由遇到阻塞的支持ECN的路由器转发，路由器将IP头设置CE代码点，这里检测到拥塞后的策略并不是直接丢弃数据包
  • 接收端收到Sgement 2后，它会发送带有ECE flag的ACK
  • 交换机收到报文后正常转发该报文
  • 发送端收到带有ECE flag的第一个ACK时，它会降低其传输速率并发送带有CWR flag的下一个Segmemt 6，就好像检测到了丢包一样。同时接收端收到Segment 6后，因为已经解除拥塞所以发送的后续ACK将清除ECE flag

两个ECT Codepoints机制

  • 在RFC2481中，ECN字段被分为ECN-Capable Transport(ECT) bit和CE bit。ECT对应着ECT(0) codepoint。ECT(1)在RFC2481中没有定义，所以在只支持单个ECT codepoint的时候，应该使用ECT(0)。
  • 在RFC3168中，两个ECT codepoint的主要动机是提供一位ECN nouce随机数，路由器在设置CE codepoint时必须“擦除”这个随机数(擦除 CE codepoint的路由器在重建原始随机数时将面临额外的困难，因此终端节点更有可能检测到CE codepoint的重复擦除)。ECN nouce允许为发送方提供一种机制，验证网络元素没有擦除掉CE，并且接收方正确地向发送方报告接收到了带有CE codepoint的数据包。
  • 发送方检测有缺陷网络元素的另一种方法是不定期的发送CE codepoint数据包，以查看接收方是否报告接收到。如果这些数据包在网络中遇到拥塞，路由器可能不会更改数据包，因为 CE codepoint已经设置，所以发送方无法确定路由器是否打算在这些数据包中设置 CE codepoint。 并且与ECN随机数相比，对有缺陷网络元素和接收器的检查效率较低。
  • TCP设置ECN的规则
  • 如果Host收到过ECN-setup SYN packet，那么它才能发送ECN-setup SYN-ACK packet
  • Host不能在packet上设置ECT，除非它已发送过ECN-setup SYN或ECN-setup SYN-ACK packet，并且已收到过ECN-setup SYN或ECN-setup SYN-ACK packet，并且没有发送过non-ECN-setup SYN 或non-ECN-setup SYN-ACK packet
  • 如果Host收到过non-ECN-setup SYN或non-ECN-setup SYN-ACK packet，则它不应在packet上设置 ECT
  • 如果Host曾在packet上设置ECT，则它必须正确设置/清除连接中所有后续packet中的CWR TCP bit
  • 如果Host发送过ECN-setup SYN 或 ECN-setup SYN-ACK packet，并且没有收到 non-ECN-setup SYN 或 non-ECN-setup SYN-ACK packet。那么如果Host收到ECT 和CE设置了的packet，那么它必须按照支持ECN连接指定的方式处理这些packet
  • Host如果不愿意在TCP连接上使用ECN，则它应该清除packet中的ECE和CWR标志
  • Host不能在SYN 或SYN-ACK packet上设置 ECT

Fast ECN

当交换机队列中缓存数据包超过ECN阈值时，交换机会将拥塞信息标记报文的ECN字段，并携带到发送端服务器以通知其网络拥塞。接收端服务器接收到带有ECN字段的数据包后，发送CNP通知发送端服务器调整发送速率。

图6：传统ECN处理机制

图6：传统ECN处理机制

如上图所示，当数据报文进入队列排队时，传统的显式拥塞通知（ECN）判断队列使用的缓存是否超过ECN阈值。如果超过ECN阈值，交换机将数据报文IP头部中的ECN字段标记为11。发送端服务器接收带有ECN字段标记的数据报文的时间为交换机队列的数据包转发时间加上网络中标记的数据包转发时间。如果网络存在严重的网络拥塞，则ECN的反馈不及时可能会加剧队列拥塞。

图7：Fast ECN处理机制

图7：Fast ECN处理机制

Fast ECN通过在数据报文出队列时，标记数据报文的ECN字段，从而缩短了入队列标记ECN的数据包转发时延，接收端服务器可以在最小的时延接收到ECN标记的数据报文，从而加快发送端速率的调整。

配置实例

 网络拓扑

图8：ECN物理网络拓扑

图8：ECN物理网络拓扑

服务器端配置

Server1

[root@server1 ~]# modprobe 8021q
[root@server1 ~]# vconfig add ens1f3 100
[root@server1 ~]# ifconfig ens1f3.100 1.1.1.2/24 up
[root@server1 ~]# route add -net 1.1.0.0 netmask 255.255.0.0 gw 1.1.1.1

Server2

[root@server2 ~]# modprobe 8021q
[root@server2 ~]# vconfig add ens1f3 200
[root@server2 ~]# ifconfig ens1f3.200 1.1.2.2/24 up
[root@server2 ~]# route add -net 1.1.0.0 netmask 255.255.0.0 gw 1.1.2.1

交换机端配置

配置CISCO-LIKE命令行

在交换机配置时，需要先配置CLI模式。然后进入CISCO-LIKE视图，使用CISCO-LIKE命令行进行配置操作。

admin@sonic:~$ sudo config cli-mode cli
admin@sonic:~$ sudo sonic-cli
sonic#

交换机A

sonic# configure terminal
sonic(config)# vlan 100
sonic(config)# vlan 200
sonic(config)# interface ethernet 0/9
sonic(config-if-0/0)# switchport trunk vlan 100
sonic(config)# interface ethernet 0/10

发送流量包

发送流量包

sonic(config-if-0/0)# switchport trunk vlan 200
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 1.1.1.1/24
sonic(config)# interface vlan 200
sonic(config-vlanif-100)# ip address 1.1.2.1/24

Server1和Server2配置了Mellanox网卡，在Server2建立服务端，Server1建立客户端发送IB流量。

Server2：
[root@server3 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3
Server1：
[root@server1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.2.2 -T 12

交机限速

对交换机A出口做端口限速处理，发包时容易产生拥塞。

sonic# configure terminal
sonic(config)# policy-map table-policy
sonic(config-pmap-table-policy)# port-shape 8000000 12800
sonic(config)# interface ethernet 0/10
sonic(config-if-0/4)# service-policy table-policy

观察拥塞情况

交换机A

观察交换机A出口的拥塞情况，可以看到在限速的情况下发IB流量包，交换机A出口没有配置ECN的情况下发生了拥塞

sonic# show counters queue 0/10

 Server1

观察服务器Server1的IB发包带宽, 可以看到服务器Server1在没有配置ECN发生拥塞的情况下，发包的平均带宽为4.59Gb/s。
[root@serveer1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.5.2

代码

配置交换机ECN功能

交换机A

sonic# configure terminal
sonic(config)# wred ecnname
sonic(config-wred-ecnname)# mode ecn gmin 15000 gmax 150000\
gprobability 20
sonic(config)# class-map ecn1
sonic(config-cmap-ecn)# match cos 0
sonic(config)# policy-map ecn2
sonic(config-pmap-enc2)# class ecn1
sonic(config-pmap-enc2)# wred ecnname
sonic(config)# interface ethernet 0/9
sonic(config-if-0/9)# service-policy ecn2
sonic(config)# interface ethernet 0/10
sonic(config-if-0/10)# service-policy ecn2

Server1

[root@Server1 ~]# echo 1 > /proc/sys/net/ipv4/tcp_ecn
[root@Server1 ~]# cma_roce_mode -d mlx5_0 -p 1 -m 2

Server2

[root@Server2 ~]# echo 1 > /proc/sys/net/ipv4/tcp_ecn
[root@Server2 ~]# cma_roce_mode -d mlx5_1 -p 1 -m 2
[root@Server2 ~]# echo 41 > /sys/class/net/enp2s0f1/ecn/roce_np/cnp_dscp

观察ECN功能

清空流量包计数

清空交换机A的流量包计数。

sonic# clear counters queue
Clear saved counters

发送IB流量

Server1和Server2配置了Mellanox网卡，在Server2建立服务端，Server1建立客户端发送IB流量。
Server2：[root@server3 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3
Server1：
[root@server1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.2.2 -T 128

交换机A

观察交换机A入口是否收到CNP的返回流量，cnp_dscp的值设置为41，对应通道UC5。
同时观察交换机A出口的拥塞丢包情况。

sonic# show counters queue 0/10

代码

sonic# show counters queue 0/9

代码

Server1

同时观察到交换机A出口配置ECN的情况下拥塞几乎消失，交换机A入口的队列5收到了CNP的返回流量。Server1发包的平均带宽为5.9Gb/s。

[root@server1 ~]# ib_send_bw -R -x5 -d mlx5_1 -F –report_gbits –rate_limit=100 -f 2 -D 800 -S 3 1.1.2.2
代码

参考资料

    返回资源中心

    最新动态

    云网扩容

    配置指导：云网扩容/新增Pod

    1 扩容Pod方案

    1.1 组网拓扑

    1.2 验证流程

    1.2.1 操作步骤

    1.2.2 结果

    1.3 结论

    2 新增Pod方案

    2.1 组网拓扑

    2.2 验证流程

    2.2.1 操作步骤

    2.2.2 结果

    2.3 结论

    3 交换机和服务器网络配置

    3.1 扩容Pod方案

    3.1.1 服务器

    3.1.2 交换机

    3.2 新增Pod方案

    3.2.1 服务器

    3.2.2 交换机

    1 扩容Pod方案

    1.1 组网拓扑

    图1：扩容Pod方案组网拓扑
    图1：扩容Pod方案组网拓扑

    1.2 验证流程

    1.2.1 操作步骤

    验证扩容前的组网：

    完成Spine1、Leaf1、Leaf2的交换机配置，以及Server1、Server2的网络配置。

    在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果1.2.2-1。

    在Server1上，ping Server2，有结果1.2.2-2。

    验证扩容时和扩容后的组网：

    完成Spine2、Leaf3，以及Server3的网络配置，让Spine1、Leaf1、Leaf2上与扩容设备Spine2、Leaf3的互联口先保持shutdown状态。在Server1上，长ping Server2。

    在Server3上，分别ping Server1和Server2，有结果1.2.2-3。

    然后，打开原Pod上被shutdown的互联口，完成Pod内扩容设备的正式接入。

    在Server3上，分别ping Server1和Server2，有结果1.2.2-4。

    观察接入时Server1长ping Server2的情况，有结果1.2.2-5。

    1.2.2 结果

    结果1.2.2-1：

    Server1 172.16.1.11可以ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

    1.2.2-1

    结果1.2.2-2：

    Server1 172.16.1.11可以ping通Server2 172.16.1.12。

    1.2.2-2

    结果1.2.2-3：

    Server3 172.16.1.13此时无法分别ping通Server1 172.16.1.11和Server2 172.16.1.12。

    1.2.2-3

    结果1.2.2-4：

    no shutdown原Pod设备上的互联口，完成扩容设备的正式接入之后，Server3立即可以分别ping通Server1和Server2。

    1.2.2-4
    1.2.2-4（2）

    1.3 结论

    对于扩容Pod方案，在扩容期间，原Pod的Overlay网络（172.16.1.0/24）下的接入设备的通信一切正常，不会受到影响。扩容完成后，新增设备可以和原有的接入设备正常互通。

    2 新增Pod方案

    2.1 组网拓扑

    图2：新增Pod方案组网拓扑
    图2：新增Pod方案组网拓扑

    2.2 验证流程

    2.2.1 操作步骤

    验证扩容前的组网：

    完成Spine1、Leaf1、Border的交换机配置，以及Server1、Server2的网络配置。

    在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果2.2.2-1。

    在Server1上，通过172.16.1.0/24的IP ping Underlay（10.0.0.0/24）网络的网关，有结果2.2.2-2。

    验证扩容时和扩容后的组网：

    完成Superspine、Spine2、Leaf2，以及Server3的网络配置，让Superspine与Spine1之间的互联口先保持shutdown状态。在Server1上，长ping Server2。

    在Server3上，分别ping Server1和Server2，有结果2.2.2-3。

    然后，打开Superspine与Spine1之间的互联口，完成扩容Pod的正式接入。

    在Server3上，分别ping Server1和Server2，有结果2.2.2-4。

    观察接入时Server1长ping Server2的情况，有结果2.2.2-5。

    2.2.2 结果

    结果2.2.2-1：

    Server1 172.16.1.11可以Ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

    2.2.2-1

    结果2.2.2-2：
    Server1 172.16.1.11可以ping通Server2 10.0.0.12，即Overlay网络（172.16.1.0/24）可以和Underlay网络（10.0.0.0/24）互访。

    2.2.2-2

    结果2.2.2-3：

    Server3 172.16.1.13此时无法别ping通Server1和Server2。

    2.2.2-3

    结果2.2.2-4：

    no shutdown Superspine与Spine1之间的互联口，完成扩容Pod的正式接入之后，Server3立即可以分别ping通Server1和Server2。

    2.2.2-4

    结果2.2.2-5：

    在扩容接入新Pod期间，Server1长ping Server2的流量没有受到影响、没有丢包。

    2.2.2-5

    2.3 结论

    新增Pod（共享Border）的扩容方案中，扩容期间，原Pod的Overlay网络（172.16.1.0/24）和Underlay网络（10.0.0.0/24）的通信一切正常，不会受到影响。扩容完成后，新增Pod的接入设备可以和原Pod的接入设备、Border正常互通。

    3 交换机和服务器网络配置

    3.1 扩容Pod方案

    3.1.1 服务器

    图3：Server1的网络配置
    图3：Server1的网络配置
    图4：Server2的网络配置
    图4：Server2的网络配置
    图5：Server3的网络配置
    图5：Server3的网络配置

    3.1.2 交换机

    3.1.2.1 Leaf-01

    leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

    3.1.2.2 Leaf-02

    leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 19                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 19                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.10 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  neighbor 11.2.3.10 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

    3.1.2.3 Leaf-03

    leaf-03# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/76                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-03                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65502                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-03#

    3.1.2.4 Spine-01

    spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.21 remote-as 65505                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

    3.1.2.5 Spine-02

    spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.9 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.17 remote-as 65501                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.9 activate                                                                                                                                                                                                               
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

    3.2 新增Pod方案

    3.2.1 服务器

    图6：Server1的网络配置
    图6：Server1的网络配置
    图7：Server2的网络配置
    图7：Server2的网络配置
    图8：Server3的网络配置
    图8：Server3的网络配置

    3.2.2 交换机

    3.2.2.1 Leaf-01

    leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

    3.2.2.2 Leaf-02

    leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

    3.2.2.3 Border

    border# show running-config                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
vrf 17216                                                                                                                                                                                                                                  
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 1719                                                                                                                                                                                                                                  
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 1719                                                                                                                                                                                                                        
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 ip address 10.0.0.1/24                                                                                                                                                                                                                    
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname border                                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 ip address 10.230.1.19/24 gw 10.230.1.1                                                                                                                                                                                                   
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65510                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
router bgp 65510 vrf 17216                                                                                                                                                                                                                 
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
border#

    3.2.2.4 Spine-01

    spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65510                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

    3.2.2.5 Spine-02

    spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

    3.2.2.6 Superspine

    superspine# show running-config                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/12                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/32                                                                                                                                                                                                                    
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/36                                                                                                                                                                                                                    
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/4                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/8                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.9/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname superspine                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.9                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.17 remote-as 65502                                                                                                                                                                                                        
 neighbor 11.2.3.21 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
superspine#
    multi-homing

    配置指导：CX-N系列交换机组网配置 EVPN Multi-homing

    1 目标概述

    2 方案拓扑

    3 设备角色及地址规划

    3.1 设备角色、ASN、管理IP地址规划

    3.2 带内管理网络业务IP地址表

    4 硬件与软件环境

    4.1 硬件环境

    4.2 软件环境

    5 配置过程

    5.1 Spine01交换机配置

    5.2 Spine02交换机配置

    5.3 Leaf01交换机配置

    5.4 Leaf02交换机配置

    5.5 Leaf03交换机配置

    5.6 Leaf04交换机配置

    5.7 Server1及虚机配置

    5.8 Server2及虚机配置

    5.9 Server3及虚机配置

    6 查看BGP状态

    6.1 Leaf01 BGP状态

    6.2 Leaf02 BGP状态

    6.3 Leaf03 BGP状态

    6.4 Leaf04 BGP状态

    6.5 Spine01 BGP状态

    6.6 Spine02 BGP状态

    7 查看聚合状态

    7.1 Leaf01聚合状态

    7.2 Leaf02聚合状态

    7.3 Leaf03 聚合状态

    7.4 Leaf04 聚合状态

    8 查看VxLAN隧道状态

    8.1 Leaf01状态

    8.2 Leaf02状态

    8.3 Leaf03 状态

    8.4 Leaf04 状态

    9 查看EVPN MH状态

    9.1 Leaf01状态

    9.2 Leaf02状态

    9.3 Leaf03 状态

    9.4 Leaf04 状态

    10 虚机互相访问

    11 故障测试

    1 目标概述

    本文主要描述在CX-N的云区组网中，通过EVPN Multi-homing的方案实现一台Server同时在多台交换机上挂载，提供all-active 冗余机制，实现负载均衡、故障收敛等功能。

    2 方案拓扑

    图片1：网络拓扑
    图片1：网络拓扑

    3 设备角色及地址规划

    3.1 设备角色、ASN、管理IP地址规划

    设备角色、BGP AS号、设备带外管理地址、环回口地址信息如下表：

    表1：管理IP规划表
    表1：管理IP规划表

    3.2 带内管理网络业务IP地址表

    带内管理网络互联地址信息入下表：

    表2：互联IP规划表
    表2：互联IP规划表

    4 硬件与软件环境

    4.1 硬件环境

    表3：硬件环境
    表3：硬件环境

    4.2 软件环境

    表4：软件环境
    表4：软件环境

    5 配置过程

    5.1 Spine01交换机配置

    sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.1/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.5/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.9/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.13/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.9/32
sonic(config-loif-0)#exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65209
sonic(config-router)# bgp router-id 172.61.0.9
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.2 remote-as 65205
sonic(config-router)# neighbor 172.62.0.2 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.6 remote-as 65206
sonic(config-router)# neighbor 172.62.0.6 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.10 remote-as 65207
sonic(config-router)# neighbor 172.62.0.10 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.14 remote-as 65208
sonic(config-router)# neighbor 172.62.0.14 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.9/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

    5.2 Spine02交换机配置

    sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.17/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.21/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.25/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.29/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.10/32
sonic(config-if-0/12)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65210
sonic(config-router)# bgp router-id 172.61.0.10
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.18 remote-as 65205
sonic(config-router)# neighbor 172.62.0.18 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.22 remote-as 65206
sonic(config-router)# neighbor 172.62.0.22 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.26 remote-as 65207
sonic(config-router)# neighbor 172.62.0.26 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.30 remote-as 65208
sonic(config-router)# neighbor 172.62.0.30 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.10/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

    5.3 Leaf01交换机配置

    sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.5/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.2/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.18/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65205
sonic(config-router)# bgp router-id 172.61.0.5
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.1 remote-as 65209
sonic(config-router)# neighbor 172.62.0.1 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.17 remote-as 65210
sonic(config-router)# neighbor 172.62.0.17 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.5/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.5
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

    5.4 Leaf02交换机配置

    sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.6/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.6/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.22/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65206
sonic(config-router)# bgp router-id 172.61.0.6
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.5 remote-as 65209
sonic(config-router)# neighbor 172.62.0.5 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.21 remote-as 65210
sonic(config-router)# neighbor 172.62.0.21 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.6/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.6
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

    5.5 Leaf03交换机配置

    sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.7/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.10/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.26/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 # VLAN MAC
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65207
sonic(config-router)# bgp router-id 172.61.0.7
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.9 remote-as 65209
sonic(config-router)# neighbor 172.62.0.9 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.25 remote-as 65210
sonic(config-router)# neighbor 172.62.0.25 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.7/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.7
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

    5.6 Leaf04交换机配置

    sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.8/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.14/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.30/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65208
sonic(config-router)# bgp router-id 172.61.0.8
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.13 remote-as 65209
sonic(config-router)# neighbor 172.62.0.13 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.29 remote-as 65210
sonic(config-router)# neighbor 172.62.0.29 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.8/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.8
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

    5.7 Server1及虚机配置

    #配置bond0为hash模式
[root@Sever1 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f0
DEVICE="ens1f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f1
DEVICE="ens1f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络
    5.7
    #添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.2/24 dev eth0.100
ip addr add 200.0.0.2/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up
ifconfig eth0.100 hw ether 52:54:00:34:c8:d9
ifconfig eth0.200 hw ether 52:54:00:34:c8:d0

    5.8 Server2及虚机配置

    #配置bond0为hash模式
[root@Sever2 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络
    5.8
    #添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.3/24 dev eth0.100
ip addr add 200.0.0.3/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

    5.9 Server3及虚机配置

    #配置bond0为hash模式
[root@Sever3 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f0
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络
    5.9
    #添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.4/24 dev eth0.100
ip addr add 200.0.0.4/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

    6 查看BGP状态

    6.1 Leaf01 BGP状态

    6.1

    6.2 Leaf02 BGP状态

    6.2

    6.3 Leaf03 BGP状态

    6.3

    6.4 Leaf04 BGP状态

    6.4

    6.5 Spine01 BGP状态

    6.5

    6.6 Spine02 BGP状态

    6.6

    7 查看聚合状态

    7.1 Leaf01聚合状态

    7.1

    7.2 Leaf02聚合状态

    7.2

    7.3 Leaf03 聚合状态

    7.3

    7.4 Leaf04 聚合状态

    7.4

    8 查看VxLAN隧道状态

    8.1 Leaf01状态

    8.1

    8.2 Leaf02状态

    8.2

    8.3 Leaf03 状态

    8.3

    8.4 Leaf04 状态

    8.4

    9 查看EVPN MH状态

    9.1 Leaf01状态

    9.1

    9.2 Leaf02状态

    9.2

    9.3 Leaf03 状态

    9.3

    9.4 Leaf04 状态

    9.4

    10 虚机互相访问

    Server1上的虚机访问Server2的虚机

    10-1
    10-2

    Server1上的虚机访问Server3的虚机

    10-3
    10-4

    Server2上的虚机访问Server3的虚机

    10-5
    10-6

    11 故障测试

    Server1上的虚机持续访问Server3的虚机，中间断开Server1和Leaf1的链路，然后再恢复，观察流量是否有中断。

    11-1
    11-2

    观察到流量始终没有丢包。

    Server1上的虚机持续访问Server3的虚机，中间重启Leaf，然后再恢复，观察流量是否有中断。

    11-4

    在Server1上抓包，可以看到ping包从ens1f1发出，从ens1f0回复

    11-5
    11-6

    ens1f0对应Leaf1,ens1f1对应的是Leaf2，那我们重启Leaf2，收发包应该都切到Leaf1，到ens1f0

    11-7

    并且中间没有丢包

    11-8
    VXLAN EVPN

    配置手册：CX-N下基于REST API方法的VXLAN EVPN场景验证

    1 目标

    2 设备拓扑

    3 具体配置

    3.1 原子级REST API配置

    3.1.1 修改CLI-mode

    3.1.2 登陆交换机

    3.1.3 配置各交换机端口速率及IP

    3.1.4 配置Leaf1、Leaf2的VRF及VLAN信息

    3.1.5 配置BGP

    3.1.6 配置VTEP开启EVPN

    3.1.7 配置VXLAN映射

    3.1.8 保存&重载

    3.1.9 服务器配置

    3.1.10 配置验证

    3.1.10.1 服务器连通性

    3.1.10.2 查看Leaf1信息

    3.1.10.3 查看Leaf2信息

    3.2 Overlay REST API配置（事务级）

    3.2.1 安装事务级API

    3.2.2 配置VLAN、VRF以及EVPN映射关系

    3.2.3 保存&重载

    3.2.4 服务器配置

    3.2.5 配置验证

    3.2.5.1 服务器连通性

    3.2.5.2 查看Leaf1信息

    3.2.5.3 查看Leaf2信息

    1 目标

    本文主要描述如何在Asterfusion CX308P-48Y-N和CX532P-N（以下简称CX308和CX532）搭建的网络上，使用BGP EVPN自动化地创建VXLAN隧道、传递虚拟路由，完成其连接的Server的数据包封装及解封装工作。

    注：REST API目前无法涵盖所有功能，因此部分功能配置依然依赖命令行进行配置。

    2 设备拓扑

    图片1：网络拓扑
    图片1：网络拓扑

    部署所使用的设备、接口及管理IP如下：

    表1：设备列表
    表1：设备列表

    3 具体配置

    3.1 原子级REST API配置

    3.1.1 修改CLI-mode

    REST API与Klish命令行不兼容，使用REST API的前提就是修改cli-mode为bash。需要在四台交换机上配置如下命令：

    admin@Leaf1:~$ config cli-mode bash

    3.1.2 登录交换机

    执行REST API需要登陆对应的交换机后，才能调用其接口。

    POST https://10.230.1.7/rest/v3/login
{
"username":"admin",
"password":"asteros"
}

    3.1.3 配置各交换机端口速率及IP

    Spine1:
POST https://10.230.1.7/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.2/24"
        ]
    }

}

Spine2:
POST https://10.230.1.8/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.2/24"
        ]
    }

}

Leaf1:
admin@Leaf1:~$ sudo config interface speed Ethernet0 10000
admin@Leaf1:~$ sudo config interface speed Ethernet1 10000

POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.1/24"
        ]
    }

}

Leaf2:
admin@Leaf2:~$ sudo config interface speed Ethernet0 10000
admin@Leaf2:~$ sudo config interface speed Ethernet1 10000
POST https://10.230.1.19/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.1/24"
        ]
    }

}

    3.1.4配置Leaf1、Leaf2的VRF及VLAN信息

    Leaf1:
POST https://10.230.1.18/rest/v3/vrfs/
{
    "vrf-123": {
        "src_mac": " 00:11:22:33:44:55"
    }
}
POST: https://10.230.1.18/rest/v3/vlans/
{
    "vlan100": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "vlan100": {
        "ip_addr": [
            "100.0.10.1/24"
        ],
        "vrf": "vrf-123",
        "mac_address": " 00:11:22:33:44:55 "
    }
}

Leaf2:
POST https://10.230.1.19/rest/v3/vrfs/
{
    "vrf-456": {
        "src_mac": "00:11:22:33:44:a5"
    }
}

POST: https://10.230.1.19/rest/v3/vlans/
{
    "vlan200": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST: https://10.230.1.19/rest/v3/router-interfaces/
{
    "vlan200": {
        "vrf": "vrf-456",
        "ip_addr": [
            "100.0.20.1/24"
        ],
        "mac_address": " 00:11:22:33:44:a5"
    }
}

    3.1.5 配置BGP

    Spine1:
admin@Spine1:~$ sudo config bgp asn 65201
POST https://10.230.1.7/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.0.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.7/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine1:~$ sudo config bgp add network default 10.10.25.1/32 ipv4

Spine2:
admin@Spine2:~$ sudo config bgp asn 65202
POST https://10.230.1.8/rest/v3/protocols/bgp-neighbors/
{
    "10.100.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.100.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.8/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine2:~$ sudo config bgp add network default 10.10.25.2/32 ipv4


Leaf1:
admin@Leaf1:~$ sudo config bgp asn 65203
POST https://10.230.1.18/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.18/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf1:~$ sudo config bgp add network default 10.10.25.3/32 ipv4


Leaf2:
admin@Leaf2:~$ sudo config bgp asn 65204
POST https://10.230.1.19/rest/v3/protocols/bgp-neighbors/
{
    "10.0.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.19/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf2:~$ sudo config bgp add network default 10.10.25.4/32 ipv4

    3.1.6 配置VTEP开启EVPN

    Leaf1:
admin@Leaf1:~$ sudo config evpn advertise all-vni
admin@Leaf1:~$ sudo config vxlan add vxlan0 10.10.25.3
admin@Leaf1:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0


Leaf2:
admin@Leaf2:~$ sudo config evpn advertise all-vni
admin@Leaf2:~$ sudo config vxlan add vxlan0 10.10.25.4
admin@Leaf2:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0

    3.1.7 配置VXLAN映射

    Leaf1:
POST https://10.230.1.18/rest/v3/protocols/evpn-tunnel-maps/
{
    "100": {
        "map": "vlan100",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-123",
        "type": "vrf",
        "vxlan_id": "0"

    }
}
Leaf2:
POST https://10.230.1.19/rest/v3/protocols/evpn-tunnel-maps/
{
    "200": {
        "map": "vlan200",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-456",
        "type": "vrf",
        "vxlan_id": "0"

    }
}

    3.1.8 保存&重载

    以Spine1为例：

    POST https://10.230.1.7/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1. 7/rest/v3/system_config/
{
    "action": "reload"
}

    3.1.9 服务器配置

    Server1:

    3.1.9-1
    [root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0 gw 100.0.10.1 dev ens1f0

    Server2:

    3.1.9-2
    [root@server2 network-scripts]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev enp2s0f0

    3.1.10 配置验证

    3.1.10.1服务器连通性

    Server1:

    3.1.10.1-1

    Server2:

    3.1.10.1-2

    3.1.10.2查看Leaf1信息

    查看EVPN信息

    3.1.10.2-1

    查看VXLAN VTEP

    3.1.10.2-2

    查看Leaf1路由

    3.1.10.3查看Leaf2信息

    查看EVPN信息

    3.1.10.3-1

    查看VXLAN VTEP

    3.1.10.3-2

    查看Leaf2路由

    3.1.10.3-3

    3.2 Overlay REST API配置（事务级）

    事务级API为针对Overlay网络配置的API，只支持VLAN、VRF以及VXLAN映射这些配置需要进行重新配置，端口IP、BGP等配置只能使用原子级REST API。

    3.2.1 安装事务级API

    上传安装包到Leaf交换机上，执行如下命令：

    unzip overlay_rest_api_20231121.zip -d overlayrestapi
cd overlayrestapi
chmod +x install.sh
./install.sh rest-api_20231121.aa018e98735f584bf595638f2013f95b.deb
    3.2.1overlay_rest_api_20231121下载

    3.2.2 配置VLAN、VRF以及EVPN映射关系

    Leaf1:
POST https://10.230.1.18/rest/v3/overlay/evpn/nvo
{
    "vrf": [
        {
            "vrf": "vrf-100",
            "mac": "00:00:ff:23:33:11",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.10.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan101",
            "vrf": "vrf-100",
            "ip_addr": [
                "200.0.10.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan101",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-100",
            "l2vni": "101",
            "vlan": "vlan101",
            "network_redistribute": "true"
        }
    ]
}

Leaf2:
{
    "vrf": [
        {
            "vrf": "vrf-200",
            "mac": "00:00:ff:23:33:22",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.20.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan201",
            "vrf": "vrf-200",
            "ip_addr": [
                "200.0.20.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan201",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-200",
            "l2vni": "201",
            "vlan": "vlan201",
            "network_redistribute": "true"
        }
    ]
}

    3.2.3 保存&重载

    Leaf1:
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "reload"
}

Leaf2:
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "reload"
}

    3.2.4 服务器配置

    Server1:

    3.2.4-1
    [root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.10.1 dev ens1f1

    Server2:

    3.2.4-2
    [root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.20.1 dev enp2s0f1

    3.2.2 配置验证

    3.2.5.1服务器连通性

    Server1:

    3.2.5.1-1

    Server2:

    3.2.5.1-2

    3.2.5.2查看Leaf1信息

    查看EVPN信息

    3.2.5.2-1

    查看Leaf1路由

    3.2.5.2-2

    3.2.5.3查看Leaf2信息

    查看EVPN信息

    3.2.5.3-1

    查看Leaf2路由

    3.2.5.3-2
    proxmox

    配置指导：基于Proxmox VE的安装部署和性能测试

    1 目标

    本文档将简要介绍Proxmox VE基本概念，并使用PVE进行集群部署以及功能验证。

    2 概要介绍

    2.1 关于Proxmox VE

    Proxmox VE (Virtual Environment) 是一个开源的虚拟化平台，它基于 Debian GNU/Linux 发行版，并集成了 KVM (Kernel-based Virtual Machine) 和 LXC (Linux Containers) 两种虚拟化技术，提供了一套完整的虚拟化解决方案。以下为PVE架构图：

    PVE架构

    图1.1：PVE架构

    由以下几个组件构成：

    1. Proxmox VE管理界面：提供了易于使用的Web界面，用于管理虚拟机、容器、存储、网络和集群等。
    2. KVM虚拟化：Proxmox VE基于Linux内核虚拟机（KVM）技术实现了完整的虚拟化，并支持Windows和Linux等操作系统的虚拟化。
    3. LXC容器：Proxmox VE支持Linux容器（LXC）技术，可以在同一物理主机上运行多个隔离的Linux容器，从而提供更高的资源利用率和更快的启动时间。
    4. 存储管理：Proxmox VE支持多种存储类型，包括本地存储、网络存储（NFS、iSCSI、FC）、对象存储（Ceph、Swift）等，可以通过Web界面方便地管理存储池、卷和镜像等。
    5. 网络管理：Proxmox VE支持多种网络模式，包括桥接、NAT、VLAN、OpenvSwitch等，可以通过Web界面方便地管理虚拟网络接口、虚拟交换机和虚拟网络等。
    6. 集群管理：Proxmox VE支持多台物理主机组成的集群，可以通过Web界面方便地管理节点、HA、负载均衡等。
    7. API：Proxmox VE提供RESTful API，可以通过API方便地进行自动化管理和集成。

    2.2 功能特性与ESXi对比

    功能/特性Proxmox VEESXi
    许可证费用开源免费商业许可证
    支持的虚拟化技术KVM, LXCVMware 虚拟化技术
    界面和管理工具Web 界面管理工具客户端界面
    高可用性 (HA)支持支持
    备份与恢复完整备份和恢复方案，包括快照完整备份和恢复方案，包括快照
    存储管理多种存储管理方式，包括本地存储、NFS、iSCSI 和 Ceph 等多种存储管理方式，包括本地存储、NFS、iSCSI 和 Fibre Channel 等
    网络管理多种网络管理方式，包括 NAT、桥接和 VLAN 等多种网络管理方式，包括 NAT、桥接和 VLAN 等
    安全性基于角色的用户访问控制、防火墙和 TLS 加密等基于角色的用户访问控制、防火墙和 TLS 加密等
    社区支持活跃的社区支持和开发者社区有活跃的用户和支持社区
    表2.1：功能对比

    3 配置

    3.1 最小硬件配置

    • CPU要求为Intel EMT64或AMD64，需要支持Intel VT/AMD-V虚拟化。
    • 内存不低于2GB，以确保操作系统和Proxmox VE服务正常运行。如需运行虚拟机，需相应增加更多内存。如需运行Ceph或ZFS，还需要增配内存，大概1TB存储空间增加1GB内存。
    • 高性能高冗余存储资源，最好使用SSD盘。
    • 操作系统盘：带有电池保护缓存的硬RAID卡，没有硬RAID卡时可以使用带有SSD缓存的ZFS。
    • 虚拟机存储：本地磁盘可以采用带有电池保护缓存的硬RAID卡，或不带硬RAID卡的ZFS。ZFS和Ceph都不能和硬RAID控制器同时使用。也可以共享分布式存储。
    • 多块千兆网卡。根据所用存储技术和集群配置，可以选配更多网卡。也可使用10Gbit或更高速网卡。
    • 如需使用PCI直通，必须采用支持VT-d/AMD-d的CPU。

    3.2 推荐系统硬件配置

    • CPU：64位（Intel EMT64或AMD64），推荐使用多核CPU。
    • CPU和主板需要支持Intel VT/AMD-V技术，以便支持KVM全虚拟化功能。
    • 内存：8GB，如果要运行虚拟机则应配置更多硬RAID卡，带有电池保护（BBU）或闪存保护的写缓存。
    • 性能硬盘，最好是15k转速的SAS盘，配置成Raid10。
    • 最少2块以太网卡，也根据采用的共享存储技术配置更多网卡。

    3.3 软件源配置

    默认情况下，PVE是企业订阅源，并且每次登录有订阅通知窗口，需要去除弹窗，并且将软件源更改为国内源。

    订阅提示
    vi /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
将if(data.status!==’Active’)修改为 if(false)

cat >/etc/apt/sources.list <<EOF
deb https://mirrors.ustc.edu.cn/debian bookworm main contrib
deb https://mirrors.ustc.edu.cn/debian bookworm-updates main contrib
# security updates
deb https://mirrors.ustc.edu.cn/debian-security bookworm-security main contrib
deb http://download.proxmox.com/debian bookworm pve-no-subscription
EOF

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main
" > /etc/apt/sources.list.d//ceph.list

rm pve-enterprise.list

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bookworm pve-no-subscription">/etc/apt/sources.list.d/pve -no-subscription.list

apt-get update && apt-get upgrade -y

    3.4 网络配置

    3.4.1 基于网桥的默认配置

    网桥相当于一个软件实现的物理交换机。所有虚拟机共享一个网桥，在多个域的网络环境中，也可以创建多个网桥以分别对应不同网络域。理论上，每个Proxmox VE最多可以支持4094个网桥。 Proxmox VE安装程序会创建一个名为vmbr0的网桥，并和检测到的服务器第一块网卡桥接。配置文件/etc/network/interfaces中的对应配置信息如下：

    auto lo
iface lo inet loopback

iface ens160 inet manual

auto vmbr0
iface vmbr0 inet static
        address 10.240.4.148/24
        gateway 10.240.4.1
        bridge-ports ens160
        bridge-stp off
        bridge-fd 0

iface ens192 inet manual

    3.4.2 路由配置

    大部分IPC服务器供应商不支持基于网桥的默认配置方式，出于网络安全的考虑，一旦发现网络接口上有多个MAC地址出现，则会立刻禁用相关网络端口。
    可以通过配置“路由”的方式让多个虚拟机共享一个网络端口，对方通信使用同一个MAC地址。

    auto lo
iface lo inet loopback

auto eno1
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1
post-up echo 1 > /proc/sys/net/ipv4/ip_forward 
post-up echo 1 > /proc/sys/net/ipv4/conf/eno1/proxy_arp

auto vmbr0
iface vmbr0 inet static
address 203.0.113.17
netmask 255.255.255.248
bridge_ports none
bridge_stp off
bridge_fd 0

    3.4.3 网络地址转换（NAT）

    利用地址转换技术，所有虚拟机可以使用内部私有IP地址，并通过Proxmox VE服务器的IP来访问外部网络。Iptables将改写虚拟机和外部网络通信数据包，对于虚拟机向外部网络发出的数据包，将源IP地址替换成服务器IP地址，对于外部网络返回数据包，将目的地址替换为对应虚拟机IP地址。配置如下：

    auto lo
iface lo inet loopback

auto eno1
#real IP address
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1

auto vmbr0
#private sub network
iface vmbr0 inet static
address 10.10.10.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up iptables -t nat -A POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE

    3.4.4 多网口绑定

    多网口绑定（也称为网卡组或链路聚合）是一种将多个网卡绑定成单个网络设备的技术。利用该技术可以实现某个或多个目标，例如提高网络链路容错能力，增加网络通信性能等。配置如下：

    auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

auto bond0
iface bond0 inet static
slaves eno1 eno2
address 192.168.1.2
netmask 255.255.255.0
bond_miimon 100
bond_mode 802.3ad
bond_xmit_hash_policy layer2+3

auto vmbr0
iface vmbr0 inet static
address 10.10.10.2
netmask 255.255.255.0
gateway 10.10.10.1
bridge_ports eno1
bridge_stp off
bridge_fd 0

    4 集群配置

    4.1 创建集群

    4.1.1 通过Web创建集群

    在“数据中心”→“集群”下，单击创建集群。输入集群名称，然后从下拉列表中选择一个网络连接作为主集群网络(Link 0)。然后点击“加入信息”按钮，复制Information字符串，接下来，登录到要添加的节点上的Web界面。在“数据中心→集群”下，单击“加入集群”。用之前复制的“加入信息”文本填写Information字段。

    4.1.2 命令行创建

    # 创建集群的主机
pvecm create CLUSTERNAME
# 待加入集群的主机
pvecm add IP-ADDRESS-CLUSTER

    4.2 Qemu/KVM虚拟机

    Proxmo VE优先使用半虚拟化硬件，相比于虚拟化硬件（以软件模拟方式实现虚拟化硬件）性能更高。Qemu的半虚拟化硬件采用了virtio标准，并以virtio半虚拟化硬件形式实现。
    虚拟机通用配置包括：

    • 节点：虚拟机所处的物理服务器名。
    • VM ID：Proxmox VE用于标识虚拟机的一个唯一编号。
    • 名称：虚拟机名称，用户描述虚拟机的字符串。
    • 资源池：虚拟机所处的逻辑组。

    4.2.1 系统

    创建虚拟机时可以修改虚拟机的部分系统配置如下图所示，可以更改SCSI控制器类型，如上面所述一般为了性能选择VirtIO SCSI single，对于不支持VirtIO的虚拟机系统，需要手动安装VirtIO驱动。

    PVE dashboard01

    图3.2：PVE dashboard01

    4.2.2 硬盘

    追求最极致的性能，可以选用VirtIO SCSI single，并启用IO Thread选项。在选用VirtIO SCSI single时，Qemu将为每个虚拟磁盘创建一个专用控制器，而不是让所有磁盘共享一个控制器。

    虚拟硬盘的Cache模式设置会影响Proxmox VE主机系统向虚拟机操作系统返回数据块写操作完成通知的时机。设置为No cache是指在所有数据块都已写入物理存储设备写队列后，再向虚拟机发出写操作完成通知，而忽略主机页缓存机制。该方式将能较好地平衡数据安全性和写入性能。

    Discard指令允许操作系统在SSD上将不再使用的数据通知到SSD底层并在其内部将数据擦除掉。

    图3.3：PVE dashboard02

    图3.3：PVE dashboard02

    4.2.3 CPU

    需要确保虚拟机的在线迁移能力，最好使用默认的kvm64虚拟CPU。如果不在乎在线迁移，或者集群内所有节点硬件型号完全一样，可以设置虚拟CPU类型为host，以获得最好的性能。

    如果所有 VM 的内核总数大于服务器上的核心数（例如，在只有 8 个内核的计算机上有 4 个 VM，每个 4 个内核），则是完全安全的。在这种情况下，主机系统将在服务器内核之间平衡 Qemu 执行线程，就像运行标准的多线程应用程序一样。但是，Proxmox VE 将阻止启动虚拟 CPU 内核数多于物理可用内核的虚拟机，因为这只会由于上下文切换的成本而降低性能。

    PVE dashboard03

    图3.4：PVE dashboard03

    4.2.4 内存

    当设置内存容量和最小内存容量为相同值时，Proxmox VE将为虚拟机分配固定容量内存。即使使用固定容量内存，也可以在虚拟机启用ballooning设备，以监控虚拟机的实际内存使用量。

    当设置的最小内存容量低于设置的内存容量值时，Proxmox VE将为虚拟机至少分配设置的最小容量内存，并在物理服务器内存占用率达到80%之前根据虚拟机需要动态分配内存，直到达到设置的最大内存分配量。当物理服务器内存不足时，Proxmox VE将开始回收分配给虚拟机的内存，并在必要时启动SWAP分区，如果仍然不能满足需要，最终将启动oom进程杀掉部分进程以释放内存。物理服务器和虚拟机之间的内存分配和释放通过虚拟机内的balloon驱动完成，该驱动主要用于从主机抓取或向主机释放内存页面。

    PVE dashboard04

    图3.5：PVE dashboard04

    4.3 防火墙配置

    PVE有3种防火墙：

    1. 面对数据中心的防火墙：处理流出流入数据中心的流量。
      集群防火墙规则是应用于整个Proxmox VE集群的防火墙规则。这些规则通常由集群管理员配置，用于限制集群中所有主机和虚拟机的网络访问。集群防火墙规则是在集群中所有主机的防火墙规则之前生效的。
      只有数据中心防火墙开启，才能开启集群内的防火墙，否则单独开启VM的防火墙是无效的。
    2. 面对虚拟化服务器的防火墙：处理主机的流量。
      主机防火墙规则是应用于单个Proxmox VE主机的防火墙规则。这些规则通常由主机管理员配置，用于限制主机上所有虚拟机和容器的网络访问。主机防火墙规则是在虚拟机防火墙规则之前生效的。
      这个防火墙的开关，不会影响VM的防火墙，所以要开启VM的防火墙，不必须开启这个防火墙，不同于数据中心防火墙
    3. 面对VM的防火墙：处理VM流出流出的流量。
      虚拟机防火墙规则是应用于单个Proxmox VE虚拟机或容器的防火墙规则。这些规则通常由虚拟机管理员配置，用于限制虚拟机或容器的网络访问。虚拟机防火墙规则是在主机防火墙规则之后生效的。
      总体来说，防火墙规则是按照集群规则、主机规则、虚拟机规则的顺序依次生效的。当一个数据包到达一个Proxmox VE虚拟机或容器时，首先会检查虚拟机的防火墙规则，如果没有匹配的规则，则检查主机的防火墙规则，最后检查集群的防火墙规则。如果在任意一层中找到了匹配的规则，则该数据包将被允许或拒绝。

    每个虚拟网卡设备都有一个防火墙启用标识。可以控制每个网卡的防火墙启用状态。在设置启用虚拟机防火墙后，必须设置网卡上的防火墙启用标识才可以真正启用防火墙。

    PVE dashboard05

    图3.6：PVE dashboard05

    4.3.1 GUI防火墙配置

    • 防火墙规则（Firewall Rules）：防火墙规则定义了应该允许还是阻止的流量类型。规则可以基于源和目标IP、协议类型（如TCP、UDP、ICMP等）、源和目标端口等因素进行定义。规则的顺序非常重要，因为Proxmox VE防火墙会按照规则的顺序进行匹配，并在匹配到的第一个规则处停止。
    • 安全组（Security Groups）：安全组是一组预定义的防火墙规则，可以应用于一个或多个虚拟机或容器。
    • IP集（IPSet）：IPSet是一种可以匹配一组网络地址、网络端口或其他网络参数的机制。它可以用于创建复杂的、高效的防火墙规则。
    • 日志和审计（Logging and Auditing）：Proxmox VE防火墙提供了详细的日志和审计功能，可以跟踪和记录防火墙的活动，包括被阻止的连接、被允许的连接等。
    PVE dashboard06

    图3.7：PVE dashboard06

    4.3.2 配置文件

    • 数据中心防火墙
    /etc/pve/firewall/cluster.fw
[OPTIONS]
该小节用于设置整个集群的防火墙配置项。

ebtables: <boolean> (default = 1)
集群范围内启用ebtables。

enable: <integer> (0 -N)
启用/禁用集群范围的防火墙。

log_ratelimit: [enable=]<1|0> [,burst=<integer>] [,rate=<rate>]
设置日志记录速度阀值。

burst=<integer> (0 - N) (default = 5)
将被记录的初始突发包。

enable=<boolean> (default = 1)
启用或禁用阀值

rate=<rate> (default = 1/second)
突发缓冲区重新填充频度。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

[RULES]
该小节用于设置所有节点公共的防火墙策略。

[IPSET <name>]
整个集群范围内有效的IP集合定义。

[GROUP <name>]
整个集群范围内有效的组定义。

[ALIASES]
整个集群范围内有效的别名定义
    • 主机防火墙
    /etc/pve/nodes/<nodename>/host.fw
[OPTIONS]
该小节用于设置当前主机的防火墙配置项。

enable: <boolean>
启用/禁用主机防火墙策略。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

log_nf_conntrack: <boolean> (default = 0)
启用记录连接跟踪信息。

ndp: <boolean>
启用NDP。 

nf_conntrack_allow_invalid: <boolean> (default = 0)
在跟踪连接时允许记录不合法的包。

nf_conntrack_max: <integer> (32768 -N)
最大的跟踪连接数量。

nf_conntrack_tcp_timeout_established: <integer> (7875 -N)
反向连接建立超时时间。

nosmurfs: <boolean>
启用SMURFS过滤器。

smurf_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
SMURFS过滤器日志级别。

tcp_flags_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
非法TCP标志过滤器日志级别。

tcpflags: <boolean>
启用非法TCP标志组合过滤器。

[RULES]
该小节用于设置当前主机的防火墙策略。
    • VM和LXC的防火墙
    /etc/pve/firewall/<VMID>.fw
[OPTIONS]
该小节用于设置当前虚拟机或容器的防火墙配置项。

dhcp: <boolean>
启用DHCP。

enable: <boolean>
启用/禁用防火墙策略。

ipfilter: <boolean>
启用默认IP地址过滤器。相当于为每个网卡接口增加一个空白的ipfilter-net<id>地址集合。
该IP地址集合隐式包含了一些默认控制，例如限制IPv6链路本地地址为网卡MAC生成的地址。对于容器，配置的IP地址将被隐式添加进去。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

macfilter: <boolean>
启用/禁用MAC地址过滤器。

ndp: <boolean>
启用NDP。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

radv: <boolean>
允许发出路由通知。

[RULES]
该小节用于设置当前虚拟机或容器的防火墙策略。

[IPSET <name>]
IP集合定义。

[ALIASES]
IP地址别名定义。

    5 安装硬件开发部所需云环境实践

    5.1 需求

    需要安装15台虚拟机，并且所有虚拟机按照一定的规则能否挂载smb，并且Windows1对外访问以及对内访问没有限制，剩下的14台服务器不能访问外部网络，仅与宿主机和Windows1之间通信。

    5.2 规划

    宿主机服务器配置：amd 16核32线程处理器，128g内存，8T*2硬盘；宿主机网络配置为网桥模式， IP为192.168.52.200/24，网关为192.168.52.1。

    虚拟机VMIDIP规格
    Windows1100192.168.52.20116c16G
    Windows2101192.168.52.2028C16G
    Windows3102192.168.52.2038C16G
    Windows4103192.168.52.2048C16G
    Windows5104192.168.52.2058C16G
    Windows6105192.168.52.2068C16G
    Windows7106192.168.52.2078C16G
    Windows8107192.168.52.2088C16G
    Windows9108192.168.52.2098C16G
    Windows10109192.168.52.2108C16G
    Windows11110192.168.52.2118C16G
    Windows12111192.168.52.2128C16G
    Windows13112192.168.52.2138C16G
    Windows14113192.168.52.2148C16G
    Windows15114192.168.52.2158C16G
    表4.1：虚拟机规划表

    5.3 准备安装介质

    官方网站下载最新版本的ISO镜像：Get the free Proxmox VE ISO installer(8.0.2)，然后使用rufus将PVE镜像刻录到u盘后，在服务器以u盘方式引导启动。

    下载Windows镜像，准备VirtIO驱动。

    5.4 安装PVE

    • 选择Install Proxmox VE（Graphical）。
    PVE安装步骤

    图4.1：PVE安装步骤01

    • 选择PVE安装的硬盘。
    PVE安装步骤

    图4.2：PVE安装步骤02

    • 设定时区。
    PVE安装步骤

    图4.3：PVE安装步骤03

    • 设置密码——既是Web登录密码也是服务器密码。
    PVE安装步骤

    图4.4：PVE安装步骤04

    • 配置FQDN以及IP地址，此处FQDN的第一部分为host名，如果安装集群的话，需要注意host不能冲突，否则集群无法加入，到此变安装完成, PVE的Web界面http://IP:8006/。
    PVE安装步骤

    图4.5：PVE安装步05

    5.5 安装Windows虚拟机

    5.5.1 上传镜像到PVE

    • 登录Proxmox VE，在左边资源树中选择 local 存储 – 切换至 ISO Images – Upload。
    VE镜像面板01

    图4.6：PVE镜像面板01

    • 将Windows和VirtIO镜像上传上去。
    PVE镜像面板

    图4.7：PVE镜像面板02

    • 不能关闭上传页面否则上传失败。
    PVE镜像面板03

    图4.8：PVE镜像面板03

    • 上传完成后的结果。
    PVE镜像面板04

    图4.9：PVE镜像面板04

    5.5.2 创建虚拟机

    • 在Proxmox VE界面的右上方 – 点击 Create VM。
    图4.10：PVE VM创建01

    图4.10：PVE VM创建01

    • General菜单这边配置好VMID以及Name。
    图4.11：PVE VM创建02

    图4.11：PVE VM创建02

    图4.12：PVE VM创建03

    图4.12：PVE VM创建03

    • System注意SCSI Controller选择VirtIO SCSI single。
    图4.13：PVE VM创建04

    图4.13：PVE VM创建04

    • Disks，选择VirtIO Block。
    图4.14：PVE VM创建05

    图4.14：PVE VM创建05

    • CPU这边Type选择host便于更好的性能，而KVM则是兼容性更好，规格的话按照之前规划配置。
    图4.15：PVE VM创建06

    图4.15：PVE VM创建06

    • Memory，由于所有虚拟机内存加起来超过宿主机内存，这边手动设置其最小内存，并且开启Ballooning，如3.6.4所述。
    图4.16：PVE VM创建07

    图4.16：PVE VM创建07

    • Network，Model选择VirtIO
    图4.17：PVE VM创建08

    图4.17：PVE VM创建08

    • 最后确认。
    图4.18：PVE VM创建09

    图4.18：PVE VM创建09

    • 附加驱动：切换到 Hardware – Add – CD/DVD Drive。
    图4.19：PVE VM创建10

    图4.19：PVE VM创建10

    图4.19：PVE VM创建10

    图4.19：PVE VM创建10

    • 然后开启，安装Windows系统，在磁盘这边，无法看到磁盘，则需要安装VirtIO驱动。
    图4.21：驱动安装01

    图4.21：驱动安装01

    • 安装驱动，浏览驱动文件位置——>选择 CD驱动器 virtio-win-0.1.221 – amd64 – w10，确定。
    图4.23：驱动安装03

    图4.22：驱动安装02

    此时可以识别到硬盘

    图4.23：驱动安装03

    图4.23：驱动安装03

    • Windows系统安装完成后，很多驱动未安装，打开：资源管理器 – CD驱动器 virtio-win-0.1.221 文件夹，双击“virtio-win-guest-tools”进行安装。
    图4.24：驱动安装04

    图4.24：驱动安装04

    图4.25：驱动安装05

    图4.25：驱动安装05

    至此安装完成，然后按照规划配置网络即可

    • 克隆虚拟机，以VM100为模板克隆出剩下的虚拟机，完成后，修改硬件规格配置，以及网络配置。
    图4.26：虚拟机clone

    图4.26：虚拟机clone

    5.6 配置防火墙

    • 开启集群防火墙，允许所有内部虚拟机对外访问，并且允许外部ssh登录，访问80以及8006端口。
    vi /etc/pve/firewall/cluster.fw [OPTIONS]

enable: 1

[RULES]

OUT ACCEPT -source 192.168.52.0/24 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 80 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 8006 -log nolog
IN SSH(ACCEPT) -i vmbr0 -log nolog
    • 配置Windows1防火墙，默认允许任何流量通过。
    vi /etc/pve/firewall/100.fw
[OPTIONS]

enable: 1
policy_in: ACCEPT

[RULES]

OUT ACCEPT -log nolog
IN ACCEPT -log nolog
    • 配置Windows2-15防火墙，仅允许宿主机和windows1的流量流出流出。
    vi /etc/pve/firewall/101.fw
[OPTIONS]

policy_in: REJECT
enable: 1
policy_out: ACCEPT

[RULES]

OUT ACCEPT -dest 192.168.52.201 -log nolog
OUT ACCEPT -dest 192.168.52.200 -log nolog
IN ACCEPT -source 192.168.52.201 -log nolog
IN ACCEPT -source 192.168.52.200 -log nolog

for (( i=101；i<115;i++ ));do cp $i.fw $i+1.fw;done

    至此，所有虚拟机安装配置完成。

    6 性能测试——使用pveperf进行测试

    12345
    cpu bogomips179214.72179214.72179214.72179214.72179214.72
    regex/second32796603261539324982432231213263534
    HD SIZE93.93 GB93.93 GB93.93 GB93.93 GB93.93 GB
    BUFFERED READS188.33 MB/sec138.38 MB/sec134.17 MB/sec71.99 MB/sec
    154.62 MB/sec    		154.62 MB/sec
    AVERAGE SEEK TIME9.15 ms19.01 ms12.30 ms27.26 ms23.27ms
    FSYNCS/SECOND9.9533.4119.3029.4727.98
    DNS EXT589.30 ms595.68 ms351.61 ms627.83 ms221.95 ms
    DNS INT367.15 ms (PVE)594.21 ms (PVE)289.67 ms (PVE)317.43 ms (PVE)504.87 ms (PVE)
    表6.1：性能测试结果
    • cpu bogomips：是一个基于时钟计数的测试，用于衡量系统CPU的性能。Proxmox VE的性能要求会随着使用场景和负载的不同而有所变化，但通常来说，CPU BOGOMIPS的值应该在100000以上。
    • regex/second: 每秒处理的正则表达式，通常该值应 >300000。
    • HD SIZE: 测试盘的大小，表中为系统盘，这个值与系统性能无关。
    • BUFFERED READS：缓存读取速度，是一个简单的硬盘读取测试指标，用于衡量硬盘的读取速度。现代硬盘的读取速度应该达到40MB/s以上。
    • AVERAGE SEEK TIME： （磁盘）平均巡道时间，是一个测试硬盘平均寻道时间的指标，用于衡量硬盘的读取速度。快速的SCSI硬盘的平均寻道时间可以达到小于8ms的值，而常见的IDE/SATA硬盘的平均寻道时间大概在15到20ms之间。
    • FSYNCS/SECOND: 一个文件系统同步操作的速度指标，用于衡量系统执行写入操作的性能。它反映了文件系统写入操作的速度，即文件系统将数据从内存缓存同步到磁盘的速度，对该值的最低要求是>200。

    由于目前仅有两块机械硬盘且其中一块用作了samba，导致无法做raid，并且也无法使用WriteBack模式。

    在WriteBack模式下，写操作会先被写入到主机页面缓存中——即写入脏页。当内存负载太高，需要回收内存，那么脏页可能将数据写入硬盘，或者达到了脏页的回收时间，那么也可以将脏页数据写入到硬盘，此时数据才算完整被写入。所以写入和读取都非常的高。

    在没有writeback的模式下，结果如下：

    root@aster:/tmp# grep -i "^cache\|dirty\|writeback:" /proc/meminfo
Cached:           392152 kB  是用于读取缓存的内存量。
Dirty:                20 kB    它表示要写入（即：已更改）的内存量。要回收此内存，系统必须将更改写出到磁盘。这意味着，根据底层IO子系统，脏页面回收可能会很慢。
Writeback:             0 kB    它是系统当前写入磁盘的内存量，这是内存负载（和脏页回收）和计时回收（最多30秒后，脏页被写回磁盘）的数据
    • DNS EXT：外部DNS 解析时间，的响应时间应该在100ms以下。
    • DNS INT： 内部DNS 解析时间，的响应时间应该在100ms以下。

    根据五次pveperf脚本基准测试结果表明，目前服务器的CPU能够满足PVE性能要求，并且硬盘的读取速度也满足系统需求，但文件系统将数据从内存缓存同步到磁盘的速度不太理想，可以通过更换硬盘为更高写入速度的硬盘或者增加硬盘做硬raid来提升性能；网络方面DNS解析时间过长，可能会造成可能会导致客户端频繁发出DNS请求，并且访问网络资源的速度变慢。

    7 参考资料

    【1】Proxmox VE Administartion Guide
    【2】Proxmox中文文档
    【3】OVH Server benchmark
    【4】Proxmox VE磁盘WriteBack性能调优和注意事项
    【5】PVE开启硬件直通功能

    FreeRADIUS

    配置指导：开源AAA解决方案 —FreeRADIUS

    1 目标

    2 环境介绍

    2.1 硬件环境

    2.2 软件环境

    3 组网拓扑

    4 交互流程

    5 RADIUS服务器配置

    5.1 添加NAS设备账号

    5.2 添加终端用户

    6 交换机配置

    6.1 接入RADIUS服务器

    6.2 确认配置结果

    7 结果验证

    1 目标

    本文档主要讲解如何使用Asterfusion CX-M系列云园区交换机和daloRADIUS进行配置组网，实现一个拥有AAA能力的园区网络。

    关于园区网和daloRADIUS的配置部署，请参考《部署手册-开源AAA解决方案-FreeRADIUS》。

    2 环境介绍

    2.1 硬件环境

    表1：硬件环境
    表1：硬件环境

    2.2 软件环境

    表2：软件环境
    表2：软件环境

    3 组网拓扑

    图1：组网拓扑
    图1：组网拓扑

    4 交互流程

    图2：RADIUS认证、授权和计费流程
    图2：RADIUS认证、授权和计费流程

    5 RADIUS服务器配置

    # 确认Radius服务正常运行

    确认Radius服务正常运行

    # 服务配置目录

    # 服务配置目录

    5.1 添加NAS设备账号

    5.1添加NAS设备账号

    5.2 添加终端用户

    图3：在Web页面上创建终端用户user03
    图3：在Web页面上创建终端用户user03
    图4：在用户管理页面，确认用户添加成功
    图4：在用户管理页面，确认用户添加成功

    6 交换机配置

    6.1 接入RADIUS服务器

    leaf03# configure terminal                                                                                                                                                        
leaf03(config)# dot1x enable
leaf03(config)# dot1x radius-server 172.24.22.4 asteros source 172.24.20.17
leaf03(config)# dot1x radius-server detect-server enable
leaf03(config)# dot1x radius-server testuser testing password
    6.1
    leaf03# configure terminal
leaf03(config)# interface ethernet 25
leaf03(config-if-25)# dot1x enable
    6.1（1）

    6.2 确认配置结果

    7 结果验证

    # 在接入终端上不开启dot1x认证时，直接以DHCP的方式UP网卡，虽然可以获取到IP地址，但是没有网络访问权限，也无法Ping通网关。
    7
    7（1）
    7（2）
    7（3）
    图5：终端VM1通过dot1x接入时的认证窗口
    图5：终端VM1通过dot1x接入时的认证窗口
    图6：终端VM1使用的dot1x配置
    图6：终端VM1使用的dot1x配置
    图7：认证成功后的网络状态信息
    图7：认证成功后的网络状态信息
    # 认证成功后，VM1拥有网络访问权限，可以在VM1上Ping通网关。
    7（4）
    # 接入交换机上，能看到认证信息。
    7（5）
    FreeRADIUS部署

    配置指导：CX-M系列云园区交换机和daloRADIUS进行配置组网

    1 软件介绍

    2 基础环境

    2.1 部署环境

    2.2 操作系统基础设置

    3 安装配置数据库

    4 安装配置Web和PHP

    5 安装配置FreeRADIUS

    6 安装配置DaloRaDIUS

    7 部署结果

    1 软件介绍

    RADIUS（Remote Authentication and Dial-In User Service）是做拨号用户接入认证和服务请求认证的网络协议。RADIUS提供中心式认证、鉴权和计费（AAA）能力，用于管理接入用户使用网络资源。RADIUS允许使用集中式的数据库来保存所有用户的配置信息，以供所有用户共享使用。

    FreeRADIUS是一个开源的、模块化、高性能并且功能丰富的一套RADIUS程序，包含服务器、客户端、开发库和一些额外的相关RADIUS工具。作为第一款开源发布的RADIUS程序，源码几乎可以被任何系统编译安装。并且，产品为大规模的AAA认证服务器（1000万用户和每天百万级的请求）部署设计。FreeRADIUS没有Web界面，因此我们使用第三方Web界面DaloRADIUS作为管理界面。

    2 基础环境

    2.1 部署环境

    • 服务器硬件：KVM虚拟机，2 vCPU + 2GB vMem + 8GB Disk
    • 操作系统：CentOS Linux release 7.8.2003
    • 数据库：PostgreSQL 15.4
    • Web：v2.4.6
    • PHP：v5.4.16
    • FreeRADIUS：v3.0.13
    • DaloRADIUS：v1.3

    2.2 操作系统基础设置

    关闭SELinux

    SELinux不关闭会导致Web访问异常。

    # setenforce 0
# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

    关闭防火墙

    防止安装完成后无法从外部访问的情况。

    # systemctl stop firewalld && systemctl disable firewalld

    配置YUM源

    配置系统的基础YUM源、EPEL源以及PostgreSQL数据库的源。

    # mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# wget -P /etc/yum.repos.d/ https://mirrors.163.com/.help/CentOS7-Base-163.repo
# yum clean all
# yum makecache
# yum install epel-release -y
# yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

    下载安装包

    提前准备好DaloRADIUS的安装包。

    # wget https://codeload.github.com/lirantal/daloradius/tar.gz/refs/tags/1.3 -O /tmp/freeradius

    3 安装配置数据库

    # yum install -y mariadb-server mariadb
# systemctl start mariadb
# systemctl enable mariadb
# mysql_secure_installation

# mysql -u root -p
MariaDB [(none)]> create database radius;
MariaDB [(none)]> grant all on radius.* to radius@localhost identified by 'radius';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit

    4 安装配置Web和PHP

    # yum install -y httpd
# systemctl enable httpd
# systemctl start httpd

# yum install -y php php-mysql php-pear php-devel php-common php-gd php-mbstring php-mcrypt php-xml php-pear-DB
# systemctl restart httpd

    5 安装配置FreeRADIUS

    # yum install -y freeradius freeradius-utils freeradius-mysql
# systemctl start radiusd.service
# systemctl enable radiusd.service

# mysql -u root -p radius < /etc/raddb/mods-config/sql/main/mysql/schema.sql
# vim /etc/raddb/mods-available/sql
#  cat  /etc/raddb/mods-available/sql | grep -v ^#
sql {
        # The sub-module to use to execute queries. This should match
        # the database you're attempting to connect to.
        #
        #    * rlm_sql_mysql
        #    * rlm_sql_mssql
        #    * rlm_sql_oracle
        #    * rlm_sql_postgresql
        #    * rlm_sql_sqlite
        #    * rlm_sql_null (log queries to disk)
        #
        driver = "rlm_sql_mysql"


        # The dialect of SQL you want to use, this should usually match
        # the driver you selected above.
        #
        # If you're using rlm_sql_null, then it should be the type of
        # database the logged queries are going to be executed against.
        dialect = "mysql"

        # Connection info:
        #
        server = "localhost"
        port = 3306
        login = "radius"
        password = "radius"

        # Database table configuration for everything except Oracle
        radius_db = "radius"
# chgrp -h radiusd /etc/raddb/mods-available/sql
# systemctl restart radiusd.service

    6 安装配置DaloRaDIUS

    # cd /tmp/freeradius
# tar xvf daloradius-1.3.tar.gz
# mv daloradius-1.3/ /var/www/html/daloradius
# chown -R apache:apache /var/www/html/daloradius
# cd /var/www/html/daloradius/
# mv library/daloradius.conf.php.sample library/daloradius.conf.php
# chmod -R 644 library/daloradius.conf.php
# mysql -u root -p radius < /var/www/html/daloradius/contrib/db/fr2-mysql-daloradius-and-freeradius.sql
# mysql -u root -p radius < /var/www/html/daloradius/contrib/db/mysql-daloradius.sql
# vim library/daloradius.conf.php
# cat library/daloradius.conf.php
……
$configValues['FREERADIUS_VERSION'] = '2';
$configValues['CONFIG_DB_ENGINE'] = 'mysqli';
$configValues['CONFIG_DB_HOST'] = 'localhost';
$configValues['CONFIG_DB_PORT'] = '3306';
$configValues['CONFIG_DB_USER'] = 'radius';
$configValues['CONFIG_DB_PASS'] = 'radius';
$configValues['CONFIG_DB_NAME'] = 'radius';

# systemctl restart httpd

    7 部署结果

    完成FreeRADIUS的安装部署后，可通过浏览器访问网址：http://freeradius-ip/daloradius/验证部署结果，默认的用户名和密码为administrator/radius。

    图1：FreeRADIUS的Web界面
    图1：FreeRADIUS的Web界面
    NCCL-Tests

    案例验证：分析NCCL-Tests运行日志优化Scale-Out网络拓扑

    1、背景：All-reduce 和 Ring 算法

    2、工具说明：NCCL-Tests

    2.1NCCL-Tests常用参数及解释

    3、案例验证：优化GPU互连拓扑

    3.1NCCL-Test 性能测试结果

    4、机内拓扑分析

    5、NCCL通信路径分析

    6、附录

    背景：All-reduce 和 Ring 算法

    GPU并行计算中需要大规模地在计算节点之间同步参数梯度，产生了大量的集合通信流量。为了优化集合通信性能，业界开发了不同的集合通信库（xCCL），其核心都是实现 All-Reduce，这也是分布式训练最主要的通信方式。

    图1

    LLM训练中的 All Reduce 操作一般分为三个步骤：

    • 把每个节点的数据切分成N份;
    • 通过reduce-scatter，让每个节点都得到1/N的完整数据块;
    • 通过all-gather，让所有节点的每个1/N数据块都变得完整

    基于这种流量模式，Ring算法是目前实现该操作最常见的基础算法之一。

    图2

    顾名思义，Ring算法构建了一个环形网络——每个节点的数据会被切分成N份数据在所有GPU之间移动，且每个GPU只和相邻的GPU通信。这种流水线模式能充分利用所有节点的发送和接收带宽，减少 GPU 等待数据的空闲时间，同时也改善了传输大数据块时的性能和时延抖动问题。（但对于小规模数据传输，Ring算法可能会表现出较高的延迟和低效。）

    工具说明：NCCL-Tests

    NVIDIA提供的NCCL是当前面向AI的集合通信事实标准，NCCL-Test 是 NVIDIA 开源的工具，我们可以在官方Github下载来进行不同算法的性能测试（例如：ring，trees…）。本次测试使用All reduce的ring算法来进行性能评估。

    root@bm-2204kzq:~# /usr/local/openmpi/bin/mpirun  #多机集群测试需要使用MPI方式执行
        --allow-run-as-root 
        -bind-to none  #不将进程绑定到特定的CPU核心
        -H 172.17.0.215:8,172.17.0.81:8 # host列表，:后指定每台机器要用的GPU数量
        -np 16 #指定要运行的进程数，等于总GPU数量
        -x NCCL_SOCKET_NTHREADS=16 
        -mca btl_tcp_if_include bond0 
        -mca pml ^ucx -mca btl ^openib #指定BTL的value为'^openib'
        -x NCCL_DEBUG=INFO #NCCL的调试级别为info
        -x NCCL_IB_GID_INDEX=3  
        -x NCCL_IB_HCA=mlx5_0:1,mlx5_2:1,mlx5_3:1,mlx5_4:1 
        -x NCCL_SOCKET_IFNAME=bond0  #指定了 NCCL 使用的网络接口
        -x UCX_TLS=sm,ud  #调整MPI使用的传输模式
        -x LD_LIBRARY_PATH -x PATH 
        -x NCCL_IBEXT_DISABLE=1 #如使用RoCE网络，此处应禁用
        -x NCCL_ALGO=ring  
    /root/nccl-tests/build/all_reduce_perf -b 512 -e 18G -f 2 -g 1 #执行all reduce操作

    NCCL-Tests常用参数及解释

    • GPU 数量
      • -t,--nthreads <num threads> 每个进程的线程数量配置， 默认 1；
      • -g,--ngpus <GPUs per thread> 每个线程的 GPU 数量，默认 1；
    • 数据大小配置
      • -b,--minbytes <min size in bytes> 开始的最小数据量，默认 32M；
      • -e,--maxbytes <max size in bytes> 结束的最大数据量，默认 32M；
    • 数据步长设置
      • -i,--stepbytes <increment size> 每次增加的数据量，默认: 1M；
      • -f,--stepfactor <increment factor> 每次增加的倍数，默认禁用；
    • NCCL 操作相关配置
      • -o,--op <sum/prod/min/max/avg/all>指定哪种操作为reduce，仅适用于Allreduce、Reduce或ReduceScatter等操作。默认值为：求和（Sum）；
      • -d,--datatype <nccltype/all>指定使用哪种数据类型，默认 : Float；
    • 性能相关配置
      • -n,--iters <iteration count> 每次操作（一次发送）循环多少次，默认 : 20；
      • -w,--warmup_iters <warmup iteration count> 预热迭代次数（不计时），默认：5；
      • -m,--agg_iters <aggregation count> 每次迭代中要聚合在一起的操作数，默认：1；
      • -a,--average <0/1/2/3> 在所有 ranks 计算均值作为最终结果 (MPI=1 only). <0=Rank0,1=Avg,2=Min,3=Max>，默认：1；
    • 测试相关配置
      • -p,--parallel_init <0/1> 使用线程并行初始化 NCCL，默认: 0；
      • -c,--check <0/1> 检查结果的正确性。在大量GPU上可能会非常慢，默认：1；
      • -z,--blocking <0/1> 使NCCL集合阻塞，即在每个集合之后让CPU等待和同步，默认：0；
      • -G,--cudagraph <num graph launches>  将迭代作为CUDA图形捕获，然后重复指定的次数，默认：0；

    案例验证：优化GPU互连拓扑

    下图是一个未优化的双机8卡(H20)组网测试拓扑：

    按照一般CPU云数据中心的连接方式，将同服务器的网卡连接到一台交换机上，两台交换机之间有4条400G链路相连。参与测试的为星融元（Asterfusion）交换机（CX732Q-N，32 x 400GE QSFP-DD, 2 x 10GE SFP+）。

    图3

    NCCL-Test 性能测试结果

                                            out-of-place                       in-place          
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)       
         512           128     float     sum      -1    56.12    0.01    0.02      0    54.54    0.01    0.02      0
        1024           256     float     sum      -1    55.09    0.02    0.03      0    53.85    0.02    0.04      0
        2048           512     float     sum      -1    55.67    0.04    0.07      0    54.84    0.04    0.07      0
        4096          1024     float     sum      -1    55.70    0.07    0.14      0    55.05    0.07    0.14      0
        8192          2048     float     sum      -1    56.36    0.15    0.27      0    56.53    0.14    0.27      0
       16384          4096     float     sum      -1    57.21    0.29    0.54      0    57.02    0.29    0.54      0
       32768          8192     float     sum      -1    60.74    0.54    1.01      0    59.87    0.55    1.03      0
       65536         16384     float     sum      -1    67.42    0.97    1.82      0    68.41    0.96    1.80      0
      131072         32768     float     sum      -1    109.6    1.20    2.24      0    108.8    1.20    2.26      0
      262144         65536     float     sum      -1    108.3    2.42    4.54      0    108.3    2.42    4.54      0
      524288        131072     float     sum      -1    115.0    4.56    8.55      0    112.8    4.65    8.72      0
     1048576        262144     float     sum      -1    135.0    7.77   14.57      0    129.4    8.10   15.19      0
     2097152        524288     float     sum      -1    144.6   14.51   27.20      0    142.9   14.67   27.51      0
     4194304       1048576     float     sum      -1    222.0   18.89   35.43      0    220.0   19.07   35.75      0
     8388608       2097152     float     sum      -1    396.5   21.15   39.66      0    392.1   21.40   40.12      0
    16777216       4194304     float     sum      -1    736.3   22.78   42.72      0    904.7   18.55   34.77      0
    33554432       8388608     float     sum      -1   1405.5   23.87   44.76      0   1542.0   21.76   40.80      0
    67108864      16777216     float     sum      -1   2679.0   25.05   46.97      0   2721.0   24.66   46.24      0
   134217728      33554432     float     sum      -1   5490.1   24.45   45.84      0   5291.6   25.36   47.56      0
   268435456      67108864     float     sum      -1    10436   25.72   48.23      0    11788   22.77   42.70      0
   536870912     134217728     float     sum      -1    25853   20.77   38.94      0    23436   22.91   42.95      0
  1073741824     268435456     float     sum      -1    47974   22.38   41.97      0    54979   19.53   36.62      0
  2147483648     536870912     float     sum      -1   117645   18.25   34.23      0   117423   18.29   34.29      0
  4294967296    1073741824     float     sum      -1   248208   17.30   32.44      0   229171   18.74   35.14      0
  8589934592    2147483648     float     sum      -1   474132   18.12   33.97      0   476988   18.01   33.77      0
 17179869184    4294967296     float     sum      -1   949191   18.10   33.94      0   965703   17.79   33.36      0
# Out of bounds values : 0 OK
    • size (B)：操作处理的数据的大小，以字节为单位；
    • count (elements)：操作处理的元素的数量；
    • type：元素的数据类型；
    • redo p：使用的归约操作；
    • root：-1 表示这个操作没有根节点（all-reduce 操作涉及到所有的节点）；
    • time (us)：操作的执行时间，以微秒为单位；
    • algbw (GB/s)：算法带宽，以 GB/s 为单位；
    • busbw (GB/s)：总线带宽，以 GB/s 为单位；
    • wrong：错误的数量，如果这个值不是 0，那可能表示有一些错误发生。

    查看结果时需要关注如下几点：

    • 数据量增加时，带宽是否会下降（下降明显不符合预期）；
    • 带宽的峰值，每次算到的带宽峰值，可以只关注 in 或者 out；
    • 平均值，在数据量递增的情况下，可能无法体现最终的结果；
    • 请确保数据量足够大，可以压到带宽上限（通过调整 b、e 或者 n 选项）。

    分析以上信息可以发现：平均总线带宽仅22GB/s，在达到47GB/s左右的峰值流量后，随着数据量越大带宽性能却在下降，与正常值相差甚远。

    机内拓扑分析

    通过 nvidia-smi topo -m 可以得知机内设备拓扑

    图4

    将上表转化为如下示意图：

    图5

    NCCL通信路径分析

    NCCL中用Channel的概念表示一个通信路径，在初始化的过程会自动感知拓扑并计算最佳的通信路径。为了更好的利用带宽和网卡实现并发通信，NCCL会使用多channel。NCCL-test运行日志里列出了16组channel如下：

    ### ChannelNum:16
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

    Device map 显示 Rank #0-7、#8-15在同一服务器

    ### Device maps
    ## GPU map
        #  Rank  0 Group  0 Pid 252978 on bm-2204kzq device  0 [0x0f] NVIDIA H20
        #  Rank  1 Group  0 Pid 252979 on bm-2204kzq device  1 [0x34] NVIDIA H20
        #  Rank  2 Group  0 Pid 252980 on bm-2204kzq device  2 [0x48] NVIDIA H20
        #  Rank  3 Group  0 Pid 252981 on bm-2204kzq device  3 [0x5a] NVIDIA H20
        #  Rank  4 Group  0 Pid 252982 on bm-2204kzq device  4 [0x87] NVIDIA H20
        #  Rank  5 Group  0 Pid 252983 on bm-2204kzq device  5 [0xae] NVIDIA H20
        #  Rank  6 Group  0 Pid 252984 on bm-2204kzq device  6 [0xc2] NVIDIA H20
        #  Rank  7 Group  0 Pid 252985 on bm-2204kzq device  7 [0xd7] NVIDIA H20
        #  Rank  8 Group  0 Pid 253834 on bm-2204qhn device  0 [0x0f] NVIDIA H20 
        #  Rank  9 Group  0 Pid 253835 on bm-2204qhn device  1 [0x34] NVIDIA H20 
        #  Rank 10 Group  0 Pid 253836 on bm-2204qhn device  2 [0x48] NVIDIA H20 
        #  Rank 11 Group  0 Pid 253837 on bm-2204qhn device  3 [0x5a] NVIDIA H20 
        #  Rank 12 Group  0 Pid 253838 on bm-2204qhn device  4 [0x87] NVIDIA H20 
        #  Rank 13 Group  0 Pid 253839 on bm-2204qhn device  5 [0xae] NVIDIA H20
        #  Rank 14 Group  0 Pid 253840 on bm-2204qhn device  6 [0xc2] NVIDIA H20
        #  Rank 15 Group  0 Pid 253841 on bm-2204qhn device  7 [0xd7] NVIDIA H20

    结合每个channel的具体路径信息（详见文末），在所有16条channel下的机间流量仅有以下8种固定的rank组合：10-0、2-8、1-10、9-2、6-12、14-4、5-14、13-6，对应的，产生通信的网卡有且仅有：

    <bm-2204kzq>       <bm-2204qhn>
    NIC0: mlx5_0 <---> NIC2: mlx5_2
    NIC2: mlx5_2 
    NIC3: mlx5_3 <---> NIC4: mlx5_4
    NIC4: mlx5_4

    优化前性能不佳的原因是: 所有跨节点的并行流量都需跨交换机在四条互联链路上负载均衡，而现有的ECMP负载均衡对大流不够友好，形成了性能瓶颈。

    所以在设计Scale-out网络拓扑的时候，我们应让集群内所有同轨道的网卡连接在一台交换机上，使集群性能达到最优。

    图6

    按此方式调整后，测得单机四卡模式跨RoCE交换机（CX732Q-N）的总线带宽与网卡直连数值相近，约195GB/s。

    附录

    ## NIC map
        bm-2204kzq:252982:252982 [*] NCCL INFO NCCL_SOCKET_IFNAME set by environment to bond0
        bm-2204kzq:252982:252982 [*] NCCL INFO Bootstrap : Using bond0:172.17.0.215<0>
        bm-2204kzq:252982:252982 [*] NCCL INFO NCCL version 2.22.3+cuda12.6
        bm-2204kzq:252985:253055 [*] NCCL INFO NET/IB : Using [0]mlx5_2:1/RoCE [1]mlx5_3:1/RoCE [2]mlx5_4:1/RoCE [3]mlx5_0:1/RoCE [RO]; OOB bond0:172.17.0.215<0>
        
        bm-2204qhn:253837:253837 [*] NCCL INFO NCCL_SOCKET_IFNAME set by environment to bond0
        bm-2204qhn:253837:253837 [*] NCCL INFO Bootstrap : Using bond0:172.17.0.81<0>
        bm-2204qhn:253837:253837 [*] NCCL INFO NCCL version 2.22.3+cuda12.6
        bm-2204qhn:253840:253908 [*] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [1]mlx5_2:1/RoCE [2]mlx5_3:1/RoCE [3]mlx5_4:1/RoCE [RO]; OOB bond0:172.17.0.81<0>

    ### ChannelNum:16
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2
    bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

    ## Channel C0
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 00/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE

        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 00/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 00/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 00/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 00/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 00/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 00/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 00/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 00/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 00/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 00/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 00/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 00/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 00/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 00/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 00/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 00/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 00/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 00/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C1
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 01/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2
        
        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 01/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 01/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 01/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 01/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 01/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 01/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 01/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE 
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 01/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE 
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 01/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 01/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 01/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 01/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 01/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 01/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 01/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 01/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE 
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 01/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE 
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 01/0 : 2[2] -> 0[0] via P2P/CUMEM
        
    ## Channel C2
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 02/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 02/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 02/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 02/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 02/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 02/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 02/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 02/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 02/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 02/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 02/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 02/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 02/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 02/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 02/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 02/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 02/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 02/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 02/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C3
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 03/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 03/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 03/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 03/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 03/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 03/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 03/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 03/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 03/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 03/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 03/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 03/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 03/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 03/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 03/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 03/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 03/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 03/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 03/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C4
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 04/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 04/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 04/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 04/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 04/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 04/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 04/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 04/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 04/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 04/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 04/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 04/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 04/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 04/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 04/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 04/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 04/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 04/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 04/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C5
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 05/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 05/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 05/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 05/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 05/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 05/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 05/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 05/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 05/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 05/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 05/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 05/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 05/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 05/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 05/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 05/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 05/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 05/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 05/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C6
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 06/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 06/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 06/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 06/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 06/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 06/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 06/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 06/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 06/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 06/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 06/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 06/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 06/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 06/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 06/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 06/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 06/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 06/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 06/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C7
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 07/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 07/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 07/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 07/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 07/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 07/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 07/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 07/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 07/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 07/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 07/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 07/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 07/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 07/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 07/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 07/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 07/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 07/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 07/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C8
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 08/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 08/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 08/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 08/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 08/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 08/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 08/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 08/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 08/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 08/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 08/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 08/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 08/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 08/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 08/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 08/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 08/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 08/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 08/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C9
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 09/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 09/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 09/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 09/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 09/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 09/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 09/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 09/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 09/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 09/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 09/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 09/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 09/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 09/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 09/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 09/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 09/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 09/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 09/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C10
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 10/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 10/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 10/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 10/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 10/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 10/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 10/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 10/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 10/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 10/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 10/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 10/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 10/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 10/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 10/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 10/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 10/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 10/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 10/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C11
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 11/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 11/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 11/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 11/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 11/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 11/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 11/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 11/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 11/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 11/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 11/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 11/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 11/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 11/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 11/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 11/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 11/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 11/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 11/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C12
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 12/16 :    0   7   5   6   4   3   1   2   8  15  13  14  12  11   9  10

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 12/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 12/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 12/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 12/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 12/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 12/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 12/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 12/0 : 2[2] -> 8[0] [send] via NET/IB/3(0)/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 12/0 : 2[2] -> 8[0] [receive] via NET/IB/0/GDRDMA mlx5_0:1/RoCE
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 12/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 12/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 12/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 12/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 12/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 12/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 12/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 12/0 : 10[2] -> 0[0] [send] via NET/IB/0(8)/GDRDMA mlx5_0:1/RoCE
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 12/0 : 10[2] -> 0[0] [receive] via NET/IB/3/GDRDMA mlx5_0:1/RoCE

    ## Channel C13
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 13/16 :    0   7   5   6   4   3   1  10   8  15  13  14  12  11   9   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 13/0 : 2[2] -> 0[0] via P2P/CUMEM
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 13/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 13/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 13/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 13/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 13/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 13/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 13/0 : 1[1] -> 10[2] [send] via NET/IB/0(2)/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 13/0 : 1[1] -> 10[2] [receive] via NET/IB/1/GDRDMA mlx5_2:1/RoCE
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 13/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 13/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 13/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 13/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 13/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 13/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 13/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 13/0 : 9[1] -> 2[2] [send] via NET/IB/1(10)/GDRDMA mlx5_2:1/RoCE
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 13/0 : 9[1] -> 2[2] [receive] via NET/IB/0/GDRDMA mlx5_2:1/RoCE

    ## Channel C14
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 14/16 :    0   7   5   6  12  11   9  10   8  15  13  14   4   3   1   2

        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 14/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 14/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 14/0 : 5[5] -> 6[6] via P2P/CUMEM
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 14/0 : 6[6] -> 12[4] [send] via NET/IB/1(4)/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 14/0 : 6[6] -> 12[4] [receive] via NET/IB/2/GDRDMA mlx5_3:1/RoCE
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 14/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 14/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 14/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 14/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 14/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 14/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 14/0 : 13[5] -> 14[6] via P2P/CUMEM
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 14/0 : 14[6] -> 4[4] [send] via NET/IB/2(12)/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 14/0 : 14[6] -> 4[4] [receive] via NET/IB/1/GDRDMA mlx5_3:1/RoCE
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 14/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 14/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 14/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 14/0 : 2[2] -> 0[0] via P2P/CUMEM

    ## Channel C15
        bm-2204kzq:252978:253054 [0] NCCL INFO Channel 15/16 :    0   7   5  14  12  11   9  10   8  15  13   6   4   3   1   2
        
        bm-2204kzq:
            [0]mlx5_2:1/RoCE 
            [1]mlx5_3:1/RoCE 
            [2]mlx5_4:1/RoCE 
            [3]mlx5_0:1/RoCE
        
        bm-2204qhn:
            [0]mlx5_0:1/RoCE 
            [1]mlx5_2:1/RoCE 
            [2]mlx5_3:1/RoCE 
            [3]mlx5_4:1/RoCE
            
        bm-2204kzq:252978:253115 [0] NCCL INFO Channel 15/0 : 0[0] -> 7[7] via P2P/CUMEM
        bm-2204kzq:252985:253113 [7] NCCL INFO Channel 15/0 : 7[7] -> 5[5] via P2P/CUMEM
        bm-2204kzq:252983:253114 [5] NCCL INFO Channel 15/0 : 5[5] -> 14[6] [send] via NET/IB/2(6)/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 15/0 : 5[5] -> 14[6] [receive] via NET/IB/3/GDRDMA mlx5_4:1/RoCE
        bm-2204qhn:253840:253973 [6] NCCL INFO Channel 15/0 : 14[6] -> 12[4] via P2P/CUMEM
        bm-2204qhn:253838:253972 [4] NCCL INFO Channel 15/0 : 12[4] -> 11[3] via P2P/CUMEM
        bm-2204qhn:253837:253967 [3] NCCL INFO Channel 15/0 : 11[3] -> 9[1] via P2P/CUMEM
        bm-2204qhn:253835:253971 [1] NCCL INFO Channel 15/0 : 9[1] -> 10[2] via P2P/CUMEM
        bm-2204qhn:253836:253974 [2] NCCL INFO Channel 15/0 : 10[2] -> 8[0] via P2P/CUMEM
        bm-2204qhn:253834:253970 [0] NCCL INFO Channel 15/0 : 8[0] -> 15[7] via P2P/CUMEM
        bm-2204qhn:253841:253968 [7] NCCL INFO Channel 15/0 : 15[7] -> 13[5] via P2P/CUMEM
        bm-2204qhn:253839:253969 [5] NCCL INFO Channel 15/0 : 13[5] -> 6[6] [send] via NET/IB/3(14)/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 15/0 : 13[5] -> 6[6] [receive] via NET/IB/2/GDRDMA mlx5_4:1/RoCE
        bm-2204kzq:252984:253117 [6] NCCL INFO Channel 15/0 : 6[6] -> 4[4] via P2P/CUMEM
        bm-2204kzq:252982:253118 [4] NCCL INFO Channel 15/0 : 4[4] -> 3[3] via P2P/CUMEM
        bm-2204kzq:252981:253116 [3] NCCL INFO Channel 15/0 : 3[3] -> 1[1] via P2P/CUMEM
        bm-2204kzq:252979:253119 [1] NCCL INFO Channel 15/0 : 1[1] -> 2[2] via P2P/CUMEM
        bm-2204kzq:252980:253120 [2] NCCL INFO Channel 15/0 : 2[2] -> 0[0] via P2P/CUMEM
    ZTP

    配置指导：CX-N的ZTP功能验证-以MC-LAG场景为例

    1 介绍

    2 工作原理

    3 具体配置

    3.1 MC-LAG场景准备

    3.1.1 物理拓扑

    3.1.2 设备接口信息

    3.1.3 文件导出

    3.1.4 恢复设备出场设置

    3.1.5 启动ZTP服务

    3.2 DHCP配置

    3.3 配置文件上传FTP

    4 验证

    4.1 配置验证

    4.1.1 Spine1

    4.1.2 Leaf1

    4.1.3 Leaf2

    4.1.4 Leaf3

    4.1.5 Leaf4

    4.2 服务器连通性验证

    4.2.1 服务器配置

    4.2.2 服务器互相访问

    4.3 交换机功能验证

    4.3.1 BGP

    4.3.2 MC-LAG

    4.3.3 VXLAN EVPN

    4.3.4 路由

    1 介绍

    零配置部署ZTP(Zero Touch Provisioning)是指新出厂或者空配置设备（要求设备的/host/ztp/ztp_data.json不存在以及/etc/sonic/config_db.json没有被改动还是默认配置状态）上电时自动加载开局文件（配置文件、升级文件）的功能，实现设备的免现场配置和部署，从而降低人力成本，提升部署效率（需要提前编辑好设备配置文件）。本文旨在指导使用ZTP方式自动化完成CX-N设备的MC-LAG场景的配置工作。

    2 工作原理

    设备使用基于DHCP协议实现的ZTP功能，通过DHCP协议Option字段附带配置文件、升级文件的地址和路径信息，实现相关开局文件的自动化获取和加载任务。本质上就是从FTP获取config_db.json文件替换交换机中的/etc/sonic/config_db.json文件，从而实现配置的自动下发。

    ZTP功能工作原理

    以设备出厂状态为例：

    1. 首先ZTP服务会检查自身设备的/etc/sonic/config_db.json文件相对于默认配置有无改动以及检查/host/ztp/ztp_data.json存在——当ztp成功执行的时候会以此文件来记录操作过程。
    2. 检测到设备没有进行配置后，通过DHCP服务来获取存放ZTP配置的FTP服务器信息，正常DHCP服务器应当配置option bootfile-name ftp://ftpserver:test@10.230.1.11/ztp.json 字段。
    3. 通过获取FTP服务器的ztp.json中的配置信息，到FTP对应路径下获得与设备序列号相同文件名的配置文件。
    4. 将FTP中获取的config_db.json文件覆盖本身的config_db.json文件，重启服务器信息。

    至此，整个ZTP零配置部署流程完成。

    3 具体配置

    3.1 MC-LAG场景准备

    3.1.1 物理拓扑

    拓扑图

    3.1.2设备接口信息

    设备接口信息

    3.1.3文件导出

    完成MC-LAG场景配置后需要导出所有交换机的/etc/sonic/config_db.json文件，并将config_db.json文件改名为设备序列号。以Spine1为例，其序列号如图所示，因此需要将config_db.json改名F018716A006.json。

    获取序列号

    五台交换机的配置文件如下所示：

    五台交换机的配置文件

    3.1.4恢复设备出场设置

    各交换机以此执行如下命令：

    admin@Spine1:~$ sudo sonic-cli
Spine1# delete startup-config

    3.1.5启动ZTP服务

    以Spine1为例，所有交换机按如下方式开启ZTP服务：

    admin@Spine1:~$ sudo config ztp enable
admin@Spine1:~$ sudo config ztp run

    3.2 DHCP配置

    首先准备好FTP服务器（验证使用10.230.1.11，FTP账号密码为ftpuser/ftpuser），修改DHCP服务器的配置文件/etc/dhcp/dhcpd.conf，再对应网段添加option bootfile-nameftp://ftpuser:ftpuser@10.230.1.11/ztp.json。配置完成后重启dhcp服务。

    root@adminserver:/etc/dhcp# vi dhcpd.conf
subnet 10.230.1.0  netmask 255.255.255.0 {
range 10.230.1.100  10.230.1.240;
option routers 10.230.1.1;
option broadcast-address 10.230.1.255;
default-lease-time 21600;
max-lease-time 43200;
allow leasequery;
option domain-name-servers  223.5.5.5,114.114.114.114;
option bootfile-name "ftp://ftpuser:ftpuser@10.230.1.11/ztp.json";
}

    3.3 配置文件上传FTP

    在ftp的根目录下上传ztp.json文件，文件中要配置好ZTP的操作内容。config_db.json指定配置文件所在目录，identifier字段为使用序列号serial-number作为配置识别参数。

    {
  "ztp": {
    "configdb-json": {
      "dynamic-url": {
        "source": {
          "prefix": "ftp://ftpuser:ftpuser@10.230.1.11/ZTP_CFG/",
          "identifier": "serial-number",
          "suffix": ".json"
        },
        "destination": "/etc/sonic/config_db.json"
      }
    },
     "reboot-on-success": true
  }
}

    上传config_db.json配置文件到FTP的ZTP_CFG目录下。

    config_db.json文件

    重启设备，启动后设备将打印ZTP输出结果。打印成功后，可以开始进行配置验证工作。

    输出打印

    4 验证

    4.1 配置验证

    4.1.1 Spine1

    Spine1# show running-config
!
interface ethernet 0/0
 fec rs
 ip address 10.0.10.2/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/4
 fec rs
 ip address 10.0.20.2/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/8
 fec rs
 ip address 10.0.30.2/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/12
 fec rs
 ip address 10.0.40.2/30
 mtu 9216
 speed 100000
exit
!
interface loopback 0
 ip address 10.10.25.1/32
exit
!
hostname Spine1
!
interface mgmt 0
 ip address 10.230.1.7/24 gw 10.230.1.1
exit
!
router bgp 65201
 bgp router-id 10.10.25.1
 no bgp ebgp-requires-policy
 neighbor PEER_V4_EBGP peer-group
 neighbor PEER_V4_EBGP bfd
 neighbor 10.0.10.1 remote-as 65101
 neighbor 10.0.10.1 peer-group PEER_V4_EBGP
 neighbor 10.0.20.1 remote-as 65101
 neighbor 10.0.20.1 peer-group PEER_V4_EBGP
 neighbor 10.0.30.1 remote-as 65102
 neighbor 10.0.30.1 peer-group PEER_V4_EBGP
 neighbor 10.0.40.1 remote-as 65102
 neighbor 10.0.40.1 peer-group PEER_V4_EBGP
 !
 address-family ipv4 unicast
  network 10.10.25.1/32
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor PEER_V4_EBGP activate
  advertise-all-vni
 exit-address-family
exit
!
end

    4.1.2 Leaf1

    Leaf1# show running-config
!
interface vxlan 0
 source 10.10.25.3
exit
!
vrf 100
 mac 60:eb:5a:00:86:20
 vni 1000 vxlan 0
exit-vrf
!
vlan 100
 vni 10
!
vlan 300
!
interface link-aggregation 1
 description server1
 switchport access vlan 100
exit
!
interface link-aggregation 2
 switchport trunk vlan 100
 switchport trunk vlan 300
exit
!
interface ethernet 0/0
 mtu 9216
 no fec
 speed 10000
 link-aggregation-group 1
exit
!
interface ethernet 0/48
 fec rs
 ip address 10.0.10.1/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/52
 fec rs
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/56
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface ethernet 0/60
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface ethernet 0/64
 fec rs
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/68
 fec rs
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/72
 fec rs
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/76
 fec rs
 mtu 9216
 speed 100000
exit
!
interface loopback 0
 ip address 10.10.25.3/32
exit
!
interface vlan 100
 ip address 100.0.10.1/24
 mac-address 18:17:25:37:64:40
 vrf 100
exit
!
interface vlan 300
 ip address 10.0.0.3/24
exit
!
hostname Leaf1
!
interface mgmt 0
 ip address 10.230.1.18/24 gw 10.230.1.1
exit
!
mclag domain 1
 local-address 10.0.0.3
 peer-address 10.0.0.4
 peer-link link-aggregation 2
 commit
 member lag 1
!
router bgp 65101
 bgp router-id 10.10.25.3
 no bgp ebgp-requires-policy
 neighbor 10.0.10.2 remote-as 65201
 neighbor 10.0.10.2 bfd
 !
 address-family ipv4 unicast
  network 10.10.25.3/32
network 10.0.10.1/30
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor 10.0.10.2 activate
  advertise-all-vni
 exit-address-family
exit
!
end

    4.1.3 Leaf2

    Leaf2# show running-config
!
interface vxlan 0
 source 10.10.25.3
exit
!
vrf 100
 mac 60:eb:5a:00:86:20
 vni 1000 vxlan 0
exit-vrf
!
vlan 100
 vni 10
!
vlan 300
!
interface link-aggregation 1
 switchport access vlan 100
exit
!
interface link-aggregation 2
 switchport trunk vlan 100
 switchport trunk vlan 300
exit
!
interface ethernet 0/0
 mtu 9216
 no fec
 speed 10000
 link-aggregation-group 1
exit
!
interface ethernet 0/48
 fec rs
 ip address 10.0.20.1/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/56
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface ethernet 0/60
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface loopback 0
 ip address 10.10.25.3/32
exit
!
interface vlan 100
 ip address 100.0.10.1/24
 mac-address 18:17:25:37:64:40
 vrf 100
exit
!
interface vlan 300
 ip address 10.0.0.4/24
exit
!
hostname Leaf2
!
interface mgmt 0
 ip address 10.230.1.19/24 gw 10.230.1.1
exit
!
mclag domain 1
 local-address 10.0.0.4
 peer-address 10.0.0.3
 peer-link link-aggregation 2
 commit
 member lag 1
!
router bgp 65101
 bgp router-id 10.10.25.3
 no bgp ebgp-requires-policy
 neighbor 10.0.20.2 remote-as 65201
 neighbor 10.0.20.2 bfd
 !
 address-family ipv4 unicast
  network 10.10.25.3/32
network 10.0.20.1/30
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor 10.0.20.2 activate
  advertise-all-vni
 exit-address-family
exit
!
end

    4.1.4 Leaf3

    Leaf3# show running-config
!
interface vxlan 0
 source 10.10.25.4
exit
!
vrf 200
 mac 60:eb:5a:00:86:22
 vni 1000 vxlan 0
exit-vrf
!
vlan 200
 vni 20
!
vlan 300
!
interface link-aggregation 1
 switchport access vlan 200
exit
!
interface link-aggregation 2
 switchport trunk vlan 200
 switchport trunk vlan 300
exit
!
interface ethernet 0/0
 mtu 9216
 no fec
 speed 10000
 link-aggregation-group 1
exit
!
interface ethernet 0/48
 fec rs
 ip address 10.0.30.1/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/56
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface ethernet 0/60
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface loopback 0
 ip address 10.10.25.4/32
exit
!
interface vlan 200
 ip address 100.0.20.1/24
 mac-address 18:17:25:37:64:32
 vrf 200
exit
!
interface vlan 300
 ip address 10.0.0.5/24
exit
!
hostname Leaf3
!
interface mgmt 0
 ip address 10.230.1.20/24 gw 10.230.1.1
exit
!
mclag domain 1
 local-address 10.0.0.5
 peer-address 10.0.0.6
 peer-link link-aggregation 2
 commit
 member lag 1
!
router bgp 65102
 bgp router-id 10.10.25.4
 no bgp ebgp-requires-policy
 neighbor 10.0.30.2 remote-as 65201
 neighbor 10.0.30.2 bfd
 !
 address-family ipv4 unicast
  network 10.10.25.4/32
network 10.0.30.1/30
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor 10.0.30.2 activate
  advertise-all-vni
 exit-address-family
exit
!
end

    4.1.5 Leaf4

    Leaf4# show running-config
!
interface vxlan 0
 source 10.10.25.4
exit
!
vrf 200
 mac 60:eb:5a:00:86:22
 vni 1000 vxlan 0
exit-vrf
!
vlan 200
 vni 20
!
vlan 300
!
interface link-aggregation 1
 switchport access vlan 200
exit
!
interface link-aggregation 2
 switchport trunk vlan 200
 switchport trunk vlan 300
exit
!
interface ethernet 0/0
 mtu 9216
 no fec
 speed 10000
 link-aggregation-group 1
exit
!
interface ethernet 0/48
 fec rs
 ip address 10.0.40.1/30
 mtu 9216
 speed 100000
exit
!
interface ethernet 0/56
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface ethernet 0/60
 fec rs
 mtu 9216
 speed 100000
 link-aggregation-group 2
exit
!
interface loopback 0
 ip address 10.10.25.4/32
exit
!
interface vlan 200
 ip address 100.0.20.1/24
 mac-address 18:17:25:37:64:32
 vrf 200
exit
!
interface vlan 300
 ip address 10.0.0.6/24
exit
!
hostname Leaf4
!
interface mgmt 0
 ip address 10.230.1.21/24 gw 10.230.1.1
exit
!
mclag domain 1
 local-address 10.0.0.6
 peer-address 10.0.0.5
 peer-link link-aggregation 2
 commit
 member lag 1
!
router bgp 65102
 bgp router-id 10.10.25.4
 no bgp ebgp-requires-policy
 neighbor 10.0.40.2 remote-as 65201
 neighbor 10.0.40.2 bfd
 !
 address-family ipv4 unicast
  network 10.10.25.4/32
network 10.0.40.1/30
 exit-address-family
 !
 address-family l2vpn evpn
  neighbor 10.0.40.2 activate
  advertise-all-vni
 exit-address-family
exit
!
end

    4.2 服务器连通性验证

    4.2.1 服务器配置

    Server1：
网卡配置
    4.2.1-1
    路由添加
[root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0  gw 100.0.10.1 dev bond0
Server2：
网卡配置
    4.2.1-2

    路由添加
    [root@server2 ~]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev bond0

    4.2.2 服务器互相访问

    Server1：

    4.2.2-1

    Server2:

    4.2.2-2

    4.3 交换机功能验证

    4.3.1 BGP

    Spine1：

    4.3.1-1

    Leaf1：

    4.3.1-2

    Leaf2：

    4.3.1-3

    Leaf3：

    4.3.1-4

    Leaf4：

    4.3.1-5

    4.3.2 MC-LAG

    Leaf1：

    4.3.2-1

    Leaf2：

    4.3.2-2

    Leaf3：

    4.3.2-3

    Leaf4：

    4.3.2-4

    4.3.3 VXLAN EVPN

    Leaf1：

    4.3.3-1

    Leaf2：

    4.3.3-2

    Leaf3：

    4.3.3-3

    Leaf4：

    4.3.3-4

    4.3.4 路由

    Leaf1：

    4.3.4-1

    Leaf2：

    4.3.4-2

    Leaf3：

    4.3.4-3

    Leaf4：

    4.3.4-4

    对星融元产品感兴趣？

    立即联系！

    电话咨询
    联系表单
    返回顶部

    如何联系我们？

    产品中心

    快速导航

    订阅我们获取最新资讯。

    订阅邮件

    关注星融元

    企业二维码

    © 星融元数据技术（苏州）有限公司 苏ICP备17070048号-2