A-Lab Archives - 星融元Asterfusion

云化园区方案设计及实施指南

1 准备工作
2 开始部署
3 开始配置
4 设备上线
5 下发配置
6 业务验证
7 运维
- 7.1 告警
- 7.2 巡检
  - 7.2.1 业务巡检
  - 7.2.2 系统巡检
8 扩容
附：现场照片

1 准备工作

1.1 方案规划

按照用户的建筑格局、走线、预算、可靠性要求等因素确定整体网络架构。
方案确定后与客户核对，确定。

1.1.1 方案选型

云化园区控制器目前支持3种典型场景：

Spine-Leaf：经典云化园区场景。
Spine-Aggregation-Leaf：支持单Aggregation、双Aggregation；Spine-Leaf混合场景。
传统二层场景：单核心下挂接入交换机。
开放云联场景：仅Leaf交换机，上游设备不管控。

1.1.1.1 中小型园区

适合一组Spine可以承接所有Leaf的单PoD场景。

1.1.1.2 中大型园区

一组Spine无法承接所有Leaf的多PoD场景。其中单汇聚只需要一台汇聚设备；多汇聚需要2台，更加可靠。

1.1.1.3 混合场景

客户现场可能因为各种原因，多个建筑的组网不尽相同，比如新建楼栋线路富裕、老旧楼栋线路故障且修复困难；混合场景适应性更强。

1.1.1.4 传统二层场景

二层场景Leaf交换机业务二层透传，VLAN-MAC转发；Leaf通过带内管理。

1.1.1.5 开放云联场景

适合于上游设备为其他厂商，Leaf部署在二层或者三层的场景。

1.1.2 与上游设备对接方式

根据上游设备的网络能力或者用户偏好选择合适的对接方式。

Spine-Aggregation-Leaf场景支持多种方式与上游设备对接：本地三层接口+静态路由；MC-LAG+静态路由；eBGP；OSPF等。
Spine-Leaf场景支持通过三层接口或VLANif与上游对接；静态路由做业务转发，eBGP。
二层场景只需要通过三层接口与上游设备对接；静态路由做业务转发。
开放云联场景支持三层接口与上游设备对接。

依据网络规模、接口形态等因素选择合适的型号。

1.2 设备选型

依据网络规模、接口形态等因素选择合适的型号。

1.2.1 命名规则介绍

CX202P-24Y-M、CX204Y-48GT-HPW2-M

高速接口	低速接口	可选
Q : 400G D : 200G P : 100G	GT : 1GE电 MT : 2.5GE电 S : 10GE光 Y ：25GE光	-HPW[1..4] PoE+，HPW2：24口PoE+ HPW3：36口PoE+

1.2.2 产品彩页

产品彩页-星融元CX-M系列云化园区交换机-CN-e-20250710.v2.4.pdf

1.3 设备清单

按照规划拓扑整理设备、模块、光纤等物料清单。

型号	用途	数量
CX532P-M	spine	2/2
CX202P-24Y-M	Aggregation	4/4
CX206P-48S-M	Aggregation	2/2
CX204Y-48GT-M	Leaf	80/80
CX204Y-48GT-HPW2-M	Leaf接AP	4/4
CAP6020-Z		10/10
ET2500	模拟终端，每台出12个电口上联Leaf	1/10
42U的机柜	放置设备	5/5
100G多模光模	spine-agg互联（已+2备用）	26
25G多模光模块	agg-leaf互联（已+10备用）	350
10G多模光模块	Spine-Router互联	4
多模光纤	其中30根7-10米，160根3-5米（分别用于跨机柜和较远距离、本机柜链接）（已+10备用）	200
网线	1-3米，ET2500-Leaf互联（已+10备用）	10
总电源功率	10%冗余	8788瓦
电源插座	（已+10备用）	108
CCN控制器	云端wifi.asterfusion.com	1/1
出口跳纤	从设备部署位置到苏州办网出口路由器，根据实际情况准备跳纤	2/2

1.4 设备License

通过技服或销售获取AP的授权文件，借测项目默认2个月授权，正式销售永久授权。

1.5 设备信息表

信息用于记录设备安装位置、MAC、SN、hostname，并记录连线表等实施中的重要信息。
云化园区-100shades-信息表-i-20250110-v1.0

1.6 业务规划

IP规划

总网段	172.22.0.0/16
业务	业务子类	IP地址段	地址池范围	VLAN	网关所在设备
spine上联		10.210.1.252/24		100	openwrt
互联地址		172.22.253.128/25	128-255
AP管理地址	AP管理地址	172.22.254.1/24	172.22.254.1-172.22.254.255	1000
AP管理地址	控制器	172.22.254.2/24	172.22.254.1-172.22.254.255	1000
Agg	带内管理	172.22.253.1/27	172.22.253.1-172.22.253.31	1001
	peer-link			1002
loopback地址		172.22.252.1/24	172.22.252.1-172.22.252.255
有线终端		172.22.251.1/24	172.22.251.1-172.22.251.255	1003
无线终端		172.22.249.1/24	172.22.250.1-172.22.249.255	1004

2 开始部署

2.1 设备安装

按照规划拓扑安装设备，记录设备序列号和MAC地址，填写设备信息表。

2.2.1 部署位置选择

控制器部署在spine旁、公网服务器、leaf下三种情况的配置方式有所不同，根据用户实际情况选择。
推荐部署在公网服务器随时随地都可访问；部署在spine旁通常比Leaf下有更高的可靠性。
本案为方便从西安访问控制器，部署在云端服务器：wifi.asterfusion.com。

注意：控制器部署在一台Spine旁边时，为保证从另外一台Spine过来的流量能够访问控制器，需要通过iBGP发布控制器路由：network 172.22.253.253/30。

2.2.2 安装控制器

将控制器版本的打包文件上传到需要部署的环境，一键安装，-i参数指定控制器IP地址：

./controller_V1.0_R07.bin –i

部署成功后，用户可以通过 https://ip_address 直接访问控制器。
注意：若从R7之前的版本升级到R7之后的版本，且需要保留之前的配置，在安装时不携带-i参数即可.

使用docker-compose一键启动控制器，控制器默认安装目录为 /opt/controller/ 下：

cd /opt/controller/controller_V1.0_R07/wlan-cloud-ucentral-deploy/docker-compose/
docker-compose up -d

参数说明：

-d ：表示后台执行
up ：表示启动控制器
down ：表示关闭控制器

完全清除重新安装

注：无需保留原有数据清除重新安装。以下为清除方法，安装方法同“初次安装”。

docker-compose down
docker image ls
docker rmi 手动列出IMAGE ID
docker volume ls
docker volume rm openwifi_kafka_data openwifi_postgresql_data openwifi_zookeeper_data openwifi_zookeeper_datalog

2.2.3 登录控制器

https://控制器IP或域名
默认用户名/密码: aster@asterfusion.com / Asteria
初次登录系统强制要求修改密码。
本案控制器：https://wifi.asterfusion.com

2.3 创建组织和场所

登录控制器后，点击右上角的【+】添加场所

完成组织创建后，双击创建的组织，进入该组织下：

点击【+】按钮创建一个新的场所
所是管理员可以用来监控、管理、配置所有网络设备的集合。

2.4 设备入库

设备导入至场所

下载导入模板：

将设备信息按照模板填写后，导入到所在场所。

上传后先点击“测试上传数据”对数据进行校验，通过点击“上传数据”开始入库。

3 开始配置

3.1 规划拓扑

采用中大型园区，多汇聚场景。接入交换机分为3组。

3.1.1 自动生成规划拓扑

3.1.2 按照规划设置

注：红色框内为手动必填内容，与规划表核对填写，预留充足时间。规划拓扑50台设备需要至少1.5h。

3.1.3 快速导入规划拓扑

适合设备数量非常多的情况，excel也为项目管理提供材料，这种方式非常快速。
导入方式不需要选择方案和设备，会根据导入信息自动创建设备。

3.1.3.1 下载模板

3.1.3.2 填写规划表

3.1.3.3 导入规划表

3.1.3.4 自动校验规划表

WEB会校验用户输入，并做出提示。修复所有错误，确认无误后点击应用配置。

3.1.3.5 自动生成拓扑

完成互联信息后将得到包含互联关系的完整拓扑。

3.2 基础网络配置

3.2.1 Agg带内管理IP设置

Agg工作在二层模式，所以配置并不需要经常变动，但为了监控设备和网络状态需要为他提供带内管理网段。这里只需要设置网段，控制器会自动从中分配IP给所有Agg设备。

3.2.2 Agg组MC-LAG的互联IP和VLAN设置

Agg组都会建立MC-LAG，PeerLink的IP仅用于本地控制器面通信、MAC和ARP表同步，所以所有Agg组的PeerLink和IP都是相同。

3.2.3 Spine与上游设备互联设置

3.2.4 交换机的统一系统设置

3.3 业务配置

3.3.1 有线业务配置

3.3.1.1 有线终端业务配置

3.3.1.2 AP管理和业务配置

3.3.1.3 高可用DHCP服务器

可选将DHCP服务器设置在Spine上，2台Spine将自动启用DHCP failover高可用服务器；两台服务器协同工作，可靠性更高。

注意：failover必须两台设备时间同步，否则信息无法同步。

创建DHCP配置

支持静态地址绑定，绑定的地址需要在网段内且动态地址池之外。

查看地址池使用情况

3.3.2 无线业务配置

注意：设置无线配置模板的“标签”：该标签必须与AP设备的“标签”一致，控制器会在AP初次上线时自动下发“标签”一致的无线配置。

AP设备的“标签”：在导入库存时设置“AFtag”，或在系统库存中批量修改。

4 设备上线

4.1 Spine-1初始配置

上线阶段只需要给其中一台Spine手动配置上线，其他设备自动获取地址上线。
注意：Spine-1上与Spine-2的互联接口也划为downlink，spine2通过该接口获取地址上线。

interface ethernet 130
    ip address 10.210.1.252/24

connect-controller
    uplink ethernet 130 ip address 10.210.1.252/24 gw 10.210.1.1
    controller-server ip address 172.22.253.254
    downlink ethernet 1-125 ip address 172.22.55.1/24

4.2 Agg第一阶段配置

将脚本添加到控制器，类型为sonic-cli，保存。下发给Agg-G3-1。
注意：如果Leaf上行口连了2台Agg，只需将其中一台Agg下行口加到Access Vlan，否则Leaf的两个上行接口将获取到相同的IP地址。另外一台Agg无需下发脚本。
本案只给Agg-G3-1下发该脚本：

configure
vlan 101
exit
port-group ethernet 1-20
switchport access vlan 101
exit
interface ethernet 49（连接dhcp地址池所在spine1的上行口必须放在最后下发）
no router-interface
switchport access vlan 101
exit
interface vlan 101（最后vlan重新获取ip）
ip address dhcp-alloc
exit
end

4.3 所有设备上线

5 下发配置

5.1 下发基础网络配置

5.2 下发有线业务配置

5.3 下发无线业务配置

将配置推送给“标签”匹配的设备。

6 业务验证

6.1 设备在线情况

6.2 有线业务验证

终端可以获取到地址，访问互联网正常。

6.3 无线业务验证

终端可以获取到地址，访问互联网正常。

7 运维

7.1 告警

7.1.1 告警信息

运维-告警展示了当前告警和管理员对当前告警处理/确认后执行清除动作后的历史告警信息。

7.1.2 告警阈值设置

每一个告警监测项都有其阈值，针对不同的环境和场景可自行设置默认值。

告警阈值同样可以一件同步到子场所或子组织，修改后需再次执行同步操作生效。

7.1.3 告警阈值同步

将当前组织或场所的告警配置同步到其子组织或子场所；同步操作只执行一次，修改后需要重新执行同步。

7.1.4 邮件告警

发件人设置

设置内容参见邮件服务商设置页面的“第三方邮箱客户端登录”。
设置完成后，点击“网络连通性”测试按钮验证配置是否正确。

设置告警收件人

在组织或者场所的“配置-邮件通知”页面设置收件人，收件人是控制器已经存在的用户。
可选发送不同的告警类型、告警级别。

收件人设置同步

将当前组织或场所的告警收件人配置同步到其子组织或子场所；同步操作只执行一次，修改后需要重新执行同步。

邮件告警内容

控制器会将一段时间的告警信息合并后发送给收件人。

7.2 巡检

7.2.1 业务巡检

一键巡检

一键巡检将立即对指定场所和巡检内容执行一次巡检，并生成巡检记录。

周期巡检

开启周期巡检后，控制器将对指定场所和项目执行周期性的巡检，并生成巡检报告。

巡检记录

查看详细信息

巡检报告

巡检报告内容：

7.2.2 系统巡检

系统巡检是对控制器服务器系统的状态检查。

8 扩容

8.1 扩容一个接入交换机组

一个接入交换机组包含了1台或2台Aggregation和若干台Leaf交换机。
扩容时如果已经完成规划拓扑并给spine下发了配置，需要先将spine连接agg的下行口移出LAG，否则下行口无法加到4094、dhcp临时地址池无法生效。

1、临时地址池路由宣告

扩容时spine-1和spine-2都已经下发了正式配置，流量可能从spine-1或spine-2过来，但此时spine-2上没有临时地址池的路由，所以spine-1需要将临时地址池网段宣告出去。

注意：推送配置后，该network会被控制器清除；如需保留，请使用frr对比工具。

router bgp 64513
    address-family ipv4 unicast
    network 172.22.55.0/24（临时地址池网段）

2、Spine-1扩容脚本

将扩容脚本添加到控制器，类型为sonic-cli，保存。下发给Spine-1。
注意：确定好扩容接入交换机组在spine上的接口，将其设置为downlink。

configure
connect-controller
downlink ethernet 1,5,9,13 ip address 172.22.55.1/24
do configure
dhcp pool connect-controller
capwap-ac {{CONTROLLER_SERVER_IP}}
end

3、Agg上线

Agg通过临时地址池自动获取地址、并在控制器上线。

4、Agg第一阶段配置脚本

将扩容脚本添加到控制器，类型为sonic-cli，保存。下发给Agg-1。
注意：如果Leaf上行口连了2台Agg，只需将其中一台Agg下行口加到Access Vlan，否则Leaf的两个上行接口将获取到相同的IP地址。另外一台Agg无需下发脚本。
本案只给Agg1下发该脚本：

configure
vlan 101
exit
port-group ethernet 1-20
switchport access vlan 101
exit
interface ethernet 25（连接dhcp地址池所在spine1的上行口必须放在最后下发）
no router-interface
switchport access vlan 101
exit
interface vlan 101（最后vlan重新获取ip）
ip address dhcp-alloc
exit
end

5、扩容组所有设备上线

观察Spine-1上ARP情况，该接入交换机组的Agg和Leaf都获取到了IP，并在控制器上线。

6、确认版本、升级、重启

7、下发基础网络配置

8、下发有线业务配置
先将新Leaf加入有线业务配置模板或新建模板。下发方法与初次下发相同。

7.2、同Agg的Leaf扩容

临时地址池宣告

扩容时spine-1和spine-2都已经下发了正式配置，流量可能从spine-1或spine-2过来，但此时spine-2上没有临时地址池的路由，所以spine-1需要将临时地址池网段宣告出去。
注意：推送配置后，该network会被控制器清除；如需保留，请使用frr对比工具。

router bgp 64513
    address-family ipv4 unicast
    network 172.22.55.0/24（临时地址池网段）

在spine-1添加回程路由
路由指向扩容的Leaf所在Agg的带内管理地址。
注：控制器下发配置自动清除该配置。

ip route 172.22.55.0/24 172.22.253.7

Agg-1下发扩容脚本
注：控制器下发配置自动清除该配置。

configure
connect-controller
downlink ethernet 21 ip address 172.22.55.1/24
do configure
dhcp pool connect-controller
capwap-ac {{CONTROLLER_SERVER_IP}}
end

确认版本、升级、重启

切换设备场所

注：此时一并设置设备“名称”。

修改规划拓扑

新加设备

链接拓扑

设置设备信息

下发基础网络配置

注意：下发基础网络时，仅需下发相关设备，不涉及的设备无需下发。

下发有线业务配置

先将新Leaf加入有线业务配置模板或新建模板。下发方法与初次下发相同。

7.3 跨Agg组的Leaf扩容

临时地址池宣告

router bgp 64513
    address-family ipv4 unicast
    network 172.22.55.0/24（临时地址池网段）

Spine-1地址池配置【命令行】

注意：show link-aggregation summary确认Leaf上联的Agg与Spine互联的下行LAG口。
本案需要为G1、G2、G3分别扩容1、1、2台Leaf设备。

vlan 4093

interface link-aggregation 1（到Agg-G1）
    switchport access vlan 4093
interface link-aggregation 2（到Agg-G2）
    switchport access vlan 4093
interface link-aggregation 3（到Agg-G3）
    switchport access vlan 4093
    
dhcp pool connect-controller
 address-pool 172.22.55.1 172.22.55.254
 capwap-ac 120.26.204.254
 network 172.22.55.0 255.255.255.0
 routers 172.22.55.1
 vlan 4093

Agg放行DHCP【命令行】

注意：正式配置中，Agg只有trunk vlan，需要放通acces vlan 4093，Leaf的dhcp请求才能被转发到Spine。双汇聚场景只需要其中一台Agg添加如下配置即可。
将Agg-1连接扩容Leaf的下行接口和Agg-1连接Spine-1的上行口加入vlan 4093 access。

vlan 4094

interface ethernet 25（上行口）
    switchport access vlan 4093
interface ethernet 21（下行口）
    switchport access vlan 4093

注：后续步骤同“扩容一台Leaf交换机”

附：现场照片

基于Asterfusion CX-M系列产品的园区网实现- 4. 测试验收及运维

1 Purpose
2 Asterfusion整网情况介绍
- 2.1 整网示意图
3 网络验收测试
4 网络运维
5 结论

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了园区网规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第四部分：测试验收及运维；主要阐述网络实施完成后的验收测试工作，看是否达到设计标准，并且介绍整网的运维工作。

2 Asterfusion整网情况介绍

根据整体网络规划，我们已经将整张Asterfusion campus network建设完成，下面介绍一下整体网络情况。

2.1 整网示意图

从控制器上可以查看整网示意图，点击右上角map按钮，显示如下：

通过map可以很直观的查看当前设备在线情况。

2.2 各office真实拓扑

通过左侧导航栏的组织菜单，可以快速查看各office的真实拓扑，以BJ office为例，如下：

3 网络验收测试

3.1 同Leaf下WI-FI漫游测试

将手机从AP-1附近接入网络，然后移动到AP-2附近，期间持续ping外部网站。并观察设备切换到AP-2时，是否会断网。
本次测试流量路径如下：

手机终端从AP-1接入，流量如红色所示，当发生AP切换后，手机终端流量到达leaf的路径切换为绿色。
本次测试在BJ office进行，使用cloudcampus app进行测试，测试截图如下：

从上面结果可以看到，漫游切换的时间为3ms,并且漫游切换时，0丢包，0掉线。

后续又经过多次测试，发生切换时，均为网络0丢包，0掉线，说明发生漫游时，网络比较稳定。

3.2 不同Leaf之间的WI-FI漫游测试

本次测试拓扑如下图所示：

手机终端从AP1开始接入网络，然后保持移动，分别经过AP2,AP3等所有AP，手机数据流量路径从红色虚线变为绿色虚线，期间从Leaf1设备跨越到Leaf2设备。本次测试在SZ office进行，测试结果如下：

从上面结果可以看到，手机终端在移动过程中，持续在各个AP之间漫游，但始终没有断网，也没有丢失数据包，漫游切换时间在及时毫秒左右，比较稳定。

3.3 同一leaf下的有线终端设备互传文件速率测试

将leaf1上链接一台笔记本电脑，并上传文件到leaf1下的server上，查看传输速率。
本次测试的流量路径如下：

如上图所示，红色虚线表示流量路径。
本次测试采用Xterm工具进行传输测试，测试截图如下：

从截图可以看出，传输一个5GB大小的文件，传输速率为946.86Mb/S，基本已经达到千兆网卡的上限速率。

3.4 不同leaf下的有线终端设备互传文件速率测试

将leaf3上链接的一台电脑上的文件上传到leaf1的server上，查看传输速率。
本次测试的流量路径如下：

如上图所示，红色虚线表示流量路径。
本次测试采用Xterm工具进行传输测试，测试截图如下：

从截图可以看出，传输一个1.6GB大小的文件，传输速率为941.32Mb/S，基本已经达到千兆网卡的上限速率。
3.4及3.4章节测试结果说明内网传输速率可达千兆速率，满足设计规划时的需求。同时可以看出，内网速率瓶颈在终端网卡性能，不论是否跨leaf传输数据，整个内网带宽都不存在瓶颈。

3.5 手机下载速率测试

用手机下载文件，查看速率，测试结果如下：

测试结果说明网络颜值在11毫秒左右，下载和上传速率都符合预期。

3.6 WI-FI稳定性测试

用手机连接WI-FI，在办公区域内移动查看信号稳定性，结果如下

测试结果表明，无论静止在一个AP区域，还是在整个office区域内移动，WI-FI信号都很稳定，会根据信号强弱自动漫游到合适的AP下面。

4 网络运维

前面已经将Asterfusion campus network建设完成，并且测试结论符合建设预期。接下来介绍一下网络运维工作，整网都通过控制器来运维管理。

4.1 设备状态查看

此处可以看到所有设备的基本信息，包括内存及cpu使用率等等。同时点击每台设备的mac信息，还可以单独查看每台设备详细信息。

如果需要链接到设备命令行查看底层信息，可以点击链接按钮进入：

4.2 网络整体信息呈现

此处可以查看整网设备的信息，包括告警、健康状态等。

4.3 日志信息

此处可以查看设备日志及控制器日志等信息

4.4 整网告警信息

此处可以查看告警信息，包括当前信息及历史告警信息。

4.5 用户信息

此处可以查看、添加和删除各种用户。

角色包括系统管理员，组织管理员，一般管理员及普通用户，系统管理员拥有最高权限，其余角色还可以选择对应的组织及场所。

4.6 用户信息分析

可以通过控制器直观分析各研发中心的终端设备上线情况，信号状态等信息。以BJ为例，如下：
有线终端信息。

无线终端信息。

4.7 流量可视化呈现

各研发中心的网络都可以查看内网的流量情况，通过web客户端访问出口设备CX102S上DPU2的ip地址，可以查看网络流量的具体统计信息。

以WH office为例，总览信息如下：

活跃流信息，如下：

主机信息如下：

通过查看流量统计信息，可以及时发现特定主机的访问流量，并可根据这些信息在出口不止ACL规则来限制特定流量。

5 结论

Asterfusion campus netork已经完成部署，总结一下整个部署过程，有以下优点：
1、整网部署简单快捷。在做好控制器安装及完成综合布线之后，从设备上电到完成部署，单个研发中心仅需30分钟即可完成。
2、无线网络支持无线漫游，终端设备可以在各AP之间无缝切换，切换过程用户无感知，不丢包，不掉线。
3、全三层组网，分布式网关，网络内部没有广播报文，有效提高了内部网络带宽利用率。
4、各地办公室内网带宽高，基本不存在网络传输性能瓶颈。
5、业务添加方便，如需新增有线业务网段，只需配置业务vlan及网关，下发即可生效。
6、整网运行状态可直观呈现，能够随时查看设备及控制器的运行状态，CPU及内存使用率，运行时长等信息。
7、运维方便，能够实时查看设备健康状态，并能够根据日志及告警信息快速定位问题，及时处理。
8、整个内网流量信息可视化呈现，方便管理员分析各终端上网情况。

6 云化园区交换机

基于Asterfusion CX-M系列产品的园区网实现- 3.详细规划及实施

1 Purpose
2 WH办公网规划
3 在控制器上进行网络规划
4 WH办公网实施
5 将SZ办公网纳入控制器管理
6 BJ办公网实施
7 XA办公网实施

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了园区网规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第三部分：详细规划及实施；主要阐述根据各研发中心的工勘情况规划设计具体网络拓扑，具体上线前的预配置工作以及网络实施上线工作。

2 WH办公网规划

我们先从WH园区网规划做起，下面是WH园区网具体规划、设计和实施过程。

2.1 需求

WH园区目前人员规模约为50人，办公室面积约为400平米，其中包括两个机房，两个会议室，及开放办公区。研发用服务器设备约为70台。
新建园区网络需满足办公人员及研发服务器联网需求，互联网出口采用两路，一路拨号上网，一路专线。同时还需满足WH办公园区与云上研发服务器及其他城市办公网内网的互联互通。
WH园区具体工勘情况见下表：

条件	值	备注
人员数量	50人	/
办公面积	400平米	2个机房，2个会议室
研发服务器	70台	/
有线终端	50台	/
无线终端	50*2=100台	/

2.2 WH网络设备规划

根据具体工勘信息，计算得出所需设备数量为10台，2台spine交换机，4台leaf交换机，3台AP，1台智能网关GW。其中leaf-1和leaf-2设备用于研发服务器的接入。Leaf-3和leaf4用于用户有线终端和AP的接入。3台AP，其中1台主要覆盖两个会议室，另外2台覆盖开放办公区及机房。智能网关GW设备负责出口路由、VPN及DHCP Server业务。

2.3 WH网络拓扑

2.4 WH网络设备及版本

Model:
CX206Y-48GT-M switches
CX204Y-48GT-M switches
CX102S-16GT-D2-HPW-M switches
CAP6020-Z (AP)
Version:
CX206Y-48GT-M : AsterNOSv5.2R009P01
CX204Y-48GT-M : AsterNOSv5.2 R009P01
CX102S-16GT-D2-HPW-M：AsterNOSv5.2 R011
CAP6020-Z : TIP-V3.0R003P1

2.5 GW设备CX102S-16GT-D2-HPW-M使用简介

CX102S智能网关设备具备161GE、210GE接口，并配备2块DPU卡，本次部署使用此设备作为网关，在DPU1上部署Openwrt系统，实现路由网关功能，并使用系统集成的wireguard组件实现VPN功能。在DPU2上部署openclash及ntopng系统，实现网络业务代理及网络流量图形化呈现功能。

产品示意图如下：

想具体了解此产品请点击链接：https://asterfusion.com/product/cx102s-dpu/

2.6 WH网络互联ip地址规划

2.6.1 设备互联地址

地点	本端设备	本端端口	本端IP	对端设备	对端端口	对端互联IP	备注
WH	spine1	48	2.2.2.1/30	spine2	48	2.2.2.2/30	peerlink
	spine1	49	172.16.11.33/29	GW	17	172.16.11.36/29
	spine2	48	2.2.2.2/30	spine1	48	2.2.2.1/30	peerlink
	spine2	49	172.16.11.33/29	GW	18	172.16.11.36/29
	leaf1	1-48	vlanif：10.250.0.1	server		10.250.0.0/24	自配IP
	leaf2	1-48	vlanif：10.250.0.1	server		10.250.0.0/24	自配IP
	leaf3	1-48	Vlanif:192.168.23.1	Youxian-user		192.168.23.0/24
	leaf4	1-4	Vlanif:172.16.100.1	AP-mgmt		172.16.100.0/24
	leaf4	5-48	Vlanif:192.168.23.1	Youxian-user		192.168.23.0/24
	GW	17	172.16.11.36/29
		18	172.16.11.36/29
		19		Openwrt		172.16.11.34/29	内部接口
		20		Ntopng		172.16.11.35/29	内部接口
		1	VLAN101 pppoe
		2	VLAN102 zhuanxian

2.6.2 设备loopback地址

设备loopback地址
spine1	172.16.1.1/32
spine2	172.16.1.2/32
leaf1	172.16.1.3/32
leaf2	172.16.1.4/32
leaf3	172.16.1.5/32
leaf4	172.16.1.6/32
GW	172.16.1.7/32

2.6.3 设备VLAN信息

VLAN ip地址
vlan	ip	备注
200	172.16.11.36/29	与spine互联
51	172.16.100.1/24	AP管理网关
52	192.168.22.1/24	无线用户网关
53	192.168.23.1/24	有线用户网关
54	10.250.0.254/24	研发服务器网关

2.6.4 AP及用户终端设备地址

终端设备IP网段分配及DHCP地址池
名称	vlan	网关	地址池	DNS
AP-mgmt	51	172.16.100.1	172.16.100.2-254	218.104.111.111	218.104.111.114
AP-user	52	192.168.22.1	192.168.22.2-254	218.104.111.111	218.104.111.114
Youxian-user	53	192.168.23.1	192.168.23.2-254	218.104.111.111	218.104.111.114
server	54	10.250.0.254	无

2.7 WH网络设备及耗材表

城市	编码	名称	型号	描述	数量
武汉	98210275	交换机	CX206Y-48GT-HPW4-M	481GE,610GE	2
	98210264	交换机	CX204Y-48GT-HPW2-M-AC	481GE,410GE,POE	4
	98210438	AP	CAP6020-Z	吸顶AP	3
	98510039	光模块	OM-10G-MM850-300-LC	10G，多模	20
	98210468	网关	CX102S-16GT-D2-HPW-M	161GE,210GE	1
		光纤	10GE,多模光纤	10GE多模	10
		网线	6类网线	6类网线	150

3 在控制器上进行网络规划

3.1 建立组织及办公场所

首先建立根组织，如下

然后建立公司网络组织，如下：

然后建立办公场所，如下：

3.2 设备导入到控制器仓库

将设备导入到控制器仓库有两种方式，一种是手动添加导入，另一种是Excel表格导入。

1、手动添加导入：

在对应场所的设备仓库栏或根目录下的仓库栏都可手动添加设备，如下所示：

具体信息填写如下：

2、 excel表格导入：

将需要上线的设备MAC地址、设备型号信息记录到excel表格中，然后导入到控制器，格式如下：

需要在对应场所的设备仓库栏下导入文件，如下所示：

3.3 将仓库设备导入到办公场所

如果是在办公场所下通过excel文件导入的设备，则不再需要此步，保证设备在对应的场所下即可。
首先勾选所有要导入到指定场所的设备，然后点击批量导入场所按钮，如下所示：

导入完成后，即可在控制器上规划拓扑。

3.4 在控制器上规划拓扑

首先在WH-office场所下，选择网络方案，如下

按照规划，选择spine及leaf的数量。
然后规划网络拓扑，将仓库中设备拖入右侧空白，并连线，即可完成网络拓扑规划。

并且点击每台设备的编辑按钮，可以对设备基础信息及互联接口等信息进行配置，如下

根据2.6章节的网络规划，依次将所有设备基础配置信息填入。

3.5 基础网络配置

基础网络配置主要是对spine设备的上联信息进行配置，以确保与网关设备的网络配置正确。

此处配置上联设备网关地址

此处配置两台spine设备与出口网关设备做MC-LAG互联

此处配置HA上联端口的ip地址及vlan信息

此处配置时区及NTP信息。

配置好之后保存。

完成上述步骤后，即可进入方案实施环节了。

4 WH办公网实施

4.1 设备上架及综合布线

将设备安装到机房机柜的正确位置。
将AP安装到办公区规划的位置。
对办公区所有有线设备及工位进行综合布线，确保网线正常可用。

4.2 设备上电

确保设备按照2.3章节拓扑正确连接。
将所有设备上电。

4.3 设备与控制器链接

4.3.1 配置两台spine设备临时ip，以及GW设备出口路由

配置两台spine设备上行链路的临时ip，以及GW网关的路由信息，确保两台spine设备能够连接互联网。
分别通过串口登录两台spine设备，账号如下：
用户名:admin
密码：asteros
登录后如下：

在两台设备上分别配置如下命令：

Spine-1# configure terminal
Spine-1(config)# interface ethernet 49
Spine-1(config-if-49)# ip address 172.16.11.34/29
Spine-1(config-if-49)# exit
Spine-1(config)# ip route 0.0.0.0/0 172.16.11.36
Spine-1(config)# ucentral-client server 52.76.134.89
Spine-1(config)# ucentral-client enable

此时两台spine设备应该已经在控制器上上线。

4.3.2 配置临时dhcp服务确保leaf设备上线

配置DHCP服务有两种方式
第一种是通过串口配置，以其中一台spine设备作为临时dhcpserver，这里选择spine-2，配置如下：

Spine-2(config)# interface vlan 4094
Spine-2(config)# port-group ethernet 51-54
Spine-2(config- port-group-51-54)# switchport access vlan 4094
Spine-2(config)# interface vlan 4094
Spine-2(config-vlanif-4094)# ip address 172.16.100.1
Spine-2(config-vlanif-4094)# exit
Spine-2(config)# dhcp pool test
Spine-2(config- dhcp-pool-test)# network 172.16.100.0 255.255.255.0
Spine-2(config- dhcp-pool-test)# address-pool 172.16.100.2 172.16.100.254
Spine-2(config- dhcp-pool-test)# lease-time 7000 10000
Spine-2(config- dhcp-pool-test)# routers 172.16.100.1
Spine-2(config- dhcp-pool-test)# capwap 52.76.134.89
Spine-2(config- dhcp-pool-test)# vlan 4094

Note：此处的DHCP 服务只是为leaf设备提供临时地址，以便leaf设备能够访问互联网并发现控制器，当控制器上下发leaf基础配置之后，此DHCP服务就失去作用了，需要手动将此DHCP服务删除。

然后配置GW设备的路由信息，确保spine设备及leaf设备都能够访问控制器。此时spine和leaf设备就都完成初次上线工作了。

第二种是通过控制器上的脚本下发临时dhcp服务到其中一台spine设备
此种方法更简单方便，在控制器页面左侧导航栏找到脚本选项，如下图

进入脚本选项，选择Spine DHCP config for Leaf脚本

修改此脚本的相关描述

只需要修改spine接口与leaf连接的下行接口即可。Ip地址是临时使用，可以用脚本默认的，也可以自己修改。当leaf设备上线后，此ip地址就失效了。修改好之后点击保存。

在设备导航栏下，选择对应场所及设备，下发脚本，如下：

选择脚本，并下发运行

Leaf设备获取地址，并在GW设备上配好相关路由后，就可以在控制器上看到leaf设备上线了。
当leaf和spine设备全部上线之后，后续所有部署操作都只需在控制器上完成即可。

4.4 在GW设备上配置DHCP Server

本次部署将DHCP服务部署在GW设备CX102S上面。
根据业务规划，需要部署三个DHCP地址池，具体配置如下：

1、配置AP-mgmt地址池

sonic# configure terminal
sonic(config)# dhcp pool AP-mgmt
sonic(config-dhcp-pool-AP-mgmt)# address-pool 172.16.100.2 172.16.100.254
sonic(config-dhcp-pool-AP-mgmt)# dns 8.8.8.8
sonic(config-dhcp-pool-AP-mgmt)# network 172.16.100.0 172.16.100.254
sonic(config-dhcp-pool-AP-mgmt)# routers 172.16.100.1
sonic(config-dhcp-pool-AP-mgmt)# vlan 51
sonic(config-dhcp-pool-AP-mgmt)# capwap-ac 52.76.134.89

2、配置AP-user 地址池

sonic# configure terminal
sonic(config)# dhcp pool AP-user
sonic(config-dhcp-pool-AP-user)# address-pool 192.168.22.2 192.168.22.254
sonic(config-dhcp-pool-AP-user)# dns 8.8.8.8
sonic(config-dhcp-pool-AP-user)# network 192.168.22.0 192.168.22.254
sonic(config-dhcp-pool-AP-user)# routers 192.168.22.1
sonic(config-dhcp-pool-AP-user)# vlan 52

3、配置有线地址池

sonic# configure terminal
sonic(config)# dhcp pool Youxian-user
sonic(config-dhcp-pool-Youxian-user)# address-pool 192.168.23.2 192.168.23.254
sonic(config-dhcp-pool-Youxian-user)# dns 8.8.8.8
sonic(config-dhcp-pool-Youxian-user)# network 192.168.23.0 192.168.23.254
sonic(config-dhcp-pool-Youxian-user)# routers 192.168.23.1
sonic(config-dhcp-pool-Youxian-user)# vlan 53

在CX102S上对上面网段添加相关路由之后，当终端设备获取到这些网段ip地址，就可以正常访问internet了。

此时应该可以在控制器上看到spine设备及leaf设备都已经上线成功。

4.5 CX102S设备交换模块配置

Internet-GW# show running-config
interface ethernet 1
switchport access vlan 101
!
interface ethernet 2
switchport access vlan 102
!
interface ethernet 3
!
interface ethernet 16
!
interface ethernet 17
description to-spine1-ethernet49
link-aggregation-group 1
!
interface ethernet 18
description to-spine2-ethernet49
link-aggregation-group 1
!
interface ethernet 19
switchport trunk vlan 101
switchport trunk vlan 102
switchport trunk vlan 200
!
interface ethernet 20
switchport access vlan 200
!
interface loopback 0
ip address 172.16.1.7/32
!
vlan 1
!
vlan 51
!
vlan 52
!
vlan 53
!
vlan 101
description pppoe
!
vlan 102
description zhuanxian
!
vlan 200
description lan
!
interface vlan 1
ip address 192.168.1.254/24
!
interface vlan 200
dhcp select server
ip address 172.16.11.36/29
!
interface link-aggregation 1
switchport access vlan 200
!
hostname Internet-GW
!
dhcp pool AP-mgmt
address-pool 172.16.100.2 172.16.100.254
capwap-ac 43.192.22.13
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 172.16.100.0 255.255.255.0
routers 172.16.100.1
vlan 51
!
dhcp pool AP-user
address-pool 192.168.22.2 192.168.22.254
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 192.168.22.0 255.255.255.0
routers 192.168.22.1
vlan 52
!
dhcp pool Youxian-user
address-pool 192.168.23.2 192.168.23.254
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 192.168.23.0 255.255.255.0
routers 192.168.23.1
vlan 53
!
lldp enable
!
mac-address static 00:11:22:33:44:02 vlan 200 ethernet 20
!
mirror session 1 span src-ethernet 19 dst-ethernet 20
!
ucentral-client enable
!
ucentral-client server 43.192.22.13
!
ip route 192.168.22.0/24 172.16.11.33
ip route 192.168.23.0/24 172.16.11.33
ip route 172.16.1.0/28 172.16.11.33
ip route 43.192.22.13/32 172.16.11.34
!
end
Internet-GW#

4.6 CX102S设备DPU1 openwrt配置

下图是在openwrt上建立的接口

其中zhuanxian 和pppoe是外网接口，to_spine是内网接口，wg1是通往PA私有云的vpn专线接口，wg2是通往aws公有云的vpn专线接口。

下图是路由信息

4.7 基础网络配置下发

将前面已经保存好的各设备基础配置下发

4.8 有线业务配置及下发

按照规划配置有线业务

1、配置有线server业务

2、部署AP业务

3、配置leaf-3有线user业务

4、配置leaf-4有线user业务

5、下发配置

将各业务配置好之后，下发到设备。

当配置完有线业务后，AP应该就可以获取自己的管理ip地址了，此时在控制器上应该可以看到三台AP已经上线。当AP上线之后，即可进行无线业务的配置。

4.9 无线业务配置下发

首先建立无线业务配置模板

配置WIFI基础信息

配置wifi业务信息

完成业务模板配置并保存后，点击推送业务。

当看到推送成功之后，即说明无线业务已经下发成功，无线终端可以连接使用此网络了。

4.10 射频参数配置下发

射频参数可以使用默认配置，也可以手动调整信道及发射功率等参数。如下

点击每台AP的mac地址可进入此设备修改相应参数。为了有更好的网络体验，建议将信道手动调整，相邻的ap分配为不同的信道，并且根据ap之间距离调整发射攻略，以降低各ap之间的信号干扰。

4.11 WH用户终端上线

4.11.1 将有线user终端接入网络

根据规划，将有线user终端的网线插入leaf3的1-48接口和leaf4的4-48接口，能获取到正确IP地址，并访问互联网。

4.11.2 将无线终端接入网络

将笔记本、手机、无线大屏幕、打印机等无线终端连接wifi，能够获取正确IP地址，并访问互联网。

4.11.3 将有线server接入网络

根据规划，将有线server终端的网线接入leaf1和leaf2的1-48接口，并配置正确IP地址，能够访问互联网。

4.11.4 内网各网段终端业务互访

1、用笔记本电脑ssh访问有线PC设备，可以互通。Wireless 终端 to 有线终端。
2、用笔记本电脑ssh访问有线server设备，可以互通。 Wireless终端to有线server。
3、用有线PC访问有线server设备，可以互通。有线终端to有线server。
4、用PC设备访问打印机终端，可以正常打印文件。Wireless终端访问特殊终端。
此时武汉园区网已经部署完成。

5 将SZ办公网纳入控制器管理

本章主要介绍将SZ办公网纳入app.cloudswitch.io控制器管理的操作过程。由于SZ原有网络是采用公司CX-M系列产品部署，并且经过规划调整已经是全三层组网架构，当前由本地控制器管理和运维，现在需要将业务全部迁移到新的控制器上。

5.1 SZ网络基本信息

设备信息

型号	角色	数量	版本	备注
cx308p-48y-m	Spine	2	V5.2R009P01
cx204y-48gt-m-ac	Leaf	5	V5.2R009P02
cx204y-48gt-hpw2-m-ac	Leaf	1	V5.2R009P02
cx204y-24gt-m-swp2	Leaf	1	V5.2R009P02
CAP6020-Z	AP	11	Tip-devel-cc97016c
Aster-Fabric-Controller	Controller	1	V1.0R005T01

拓扑信息

当前设备版本需要进行升级才能与新的控制器版本兼容。

5.2 交换机设备版本升级

5.2.1 上传版本到控制器

为了更好的与新控制器匹配，我们需要对交换机设备进行升级。首先进行版本上传，在SZ本地控制器上找到固件菜单，然后选择添加新的版本镜像

填写相关信息，并选择镜像文件，之后保存。

上传成功后，可在列表中看到新的版本镜像

5.2.2 设备版本升级

在控制器上找到设备栏，并勾选要升级的设备，然后点击固件升级按钮

然后选择固件版本，并点击next

然后点击开始升级即可，升级结束后需要重启才能生效。

5.3 在新控制器上建立对应办公场所

在控制器对应的组织下面，新建场所，如下

5.4 将设备信息导入新控制器

进入SZ-office场所，将设备信息导入到仓库中。

然后选择设备信息文件，并测试上传，如果格式正确，即可完成上传。

设备信息文件格式如下：

完成导入后，即可在SZ-office的仓库中看到相关设备信息

5.5 按照已有网络拓扑信息规划网络

此处规划的网络拓扑与原拓扑一致，如下所示：

5.6 在新控制器上新建业务配置

5.6.1 基础网络配置

此处没有使用HA，上联及路由配置如下：

5.6.2 有线业务配置

具体业务如下

其中leaf1业务如下

由于DHCP relay配置各leaf都一样，因此leaf2-7只展示business vlan信息

Leaf2配置信息如下

Leaf3配置如下：

Leaf4配置如下

Leaf5配置如下

Leaf6配置如下

Leaf7配置如下

5.6.3 无线业务配置

无线业务配置如下

5.7 设备在新控制器上线

通过串口或者SSH方式登录到每台设备，修改每台交换机设备的控制器ip地址，然后即可在新控制器上线。具体修改ip地址命令如下所示：
Leaf-1# configure terminal
Leaf-1(config)# ucentral-client server 52.76.134.89

5.8 设备配置下发

5.8.1 基础网络配置下发

将保存好的基础网络配置下发

5.8.2 有线业务配置下发

将已经建好的配置下发到设备中。

当配置完有线业务后，AP应该就可以获取自己的管理ip地址了，此时在控制器上应该可以看到三台AP已经上线。当AP上线之后，即可进行无线业务的配置。

5.8.3 无线业务配置下发

参照5.9章节，将已经建好的配置下发到AP中。

下发成功后，无线终端应该可以重新连接并访问互联网。

5.8.4 射频参数修改及下发

根据信号强度及互相干扰情况，可以适当调整射频发射功率，以减少信号干扰。以AP-1为例，修改操作如下图所示：
点击对应mac地址进入设置页面

修改相关参数

将每台AP都调整之后，配置如下：

5.9 验证测试

当所有配置正确下发之后，整个网络配置上线结束，此时有线业务和无线业务应该都可以正常互通，并可以访问internet。

1、有线PC业务测试
办公位上的有线PC终端可以获取到ip地址，可以正常上网。

2、有线server业务测试
研发区服务器配置正确ip地址后可以正常上网。

3、无线终端业务测试
手机及笔记本终端可以正常连接wifi，并正常上网。

6 BJ办公网实施

6.1 拓扑规划

BJ园区网络出口与其他三地不同，采用5G无线路由方式接入互联网，内网依然采用spine+leaf架构，具体如下：

6.2 在控制器上建立办公场所

6.3 将设备信息导入控制器

6.4 在控制器上建立拓扑

6.5 设备上线

设备上线及业务配置步骤与wh办公网上线步骤相同，不再一一描述。最终结果呈现如下：

此处根据办公室ap点位对信道及ap进行了调优，保证办公室任何角落wifi信号都保持稳定。

7 XA办公网实施

7.1 拓扑规划

由于XA园区网有特殊生产需求，所以我们在第一部分规划章节将XA园区网规划为spine+leaf和mc-lag的混合场景组网架构。如下：

7.2 在控制器上建立办公场所

7.3 设备信息导入

设备导入过程与其他办公场所相同，不在赘述。

7.4 基础网络配置

此处是混合场景组网，与其他三地有所不同，配置如下：

首先选择场景

然后做如下配置：

保存之后，进入基础网络配置。

配置如下：

7.5 在控制器上建立拓扑

拓扑建立之后，即可准备上线工作。

7.6 设备上线

设备上线及业务配置步骤与WH办公网上线步骤相同，不再一一描述。

7.7 上线后的真实拓扑

7.8 业务下发

有线及无线业务下发方法与其他园区相同。不在一一描述。

7.9 业务验证

当所有配置正确下发之后，整个网络配置上线结束，此时有线业务和无线业务应该都可以正常互通，并可以访问internet。
1、有线PC业务测试
办公位上的有线PC终端可以获取到ip地址，可以正常上网。
2、有线server业务测试
研发区服务器配置正确ip地址后可以正常上网。
3、无线终端业务测试
手机及笔记本终端可以正常连接wifi，并正常上网

8 云化园区交换机

基于Asterfusion CX-M系列产品的园区网实现- 2.初始安装

1 Purpose
2 控制器环境准备
3 Docker安装
4 控制器安装
5 一键启动控制器
- 5.1 安装nginx并配置代理（optional）
- 5.2 控制器登录
6 Asterfusion CX-M enterprise switches as the links below

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了园区网规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第二部分：初始安装，主要说明园区网络控制器安装工作。

2 控制器环境准备

本次实施将控制器安装在AWS云环境中，所需的资源如下：
CPU： 4 core
内存：8GB
硬盘：64GB
系统版本： ubuntu 20.04

3 Docker安装

控制器运行在docker中，所以需要安装docker，本次安装的是docker 27.0.3版本。
安装命令如下：

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install docker-ce

安装成功后，可以通过docker –version查看版本信息，通过sudo systemctl status docker查看状态信息。
Note :由于系统环境及CPU架构可能存在差异，安装过程中可能会报错，一般按照错误提示解决问题并完成安装即可。

4 控制器安装

4.1 安装

将控制器软件压缩包上传到云主机home目录下。
解压控制器版本文件，命令如下：
tar -xvf controller_V1.0_R005T14.tar
进入到版本解压目录，一键安装

进入目录cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose
sudo sh deploy-init.sh

note：需注意安装环境硬件架构，X86架构和arm架构版本不同，需要安装与之相对应的控制器版本。

4.2 配置域名或ip地址

配置控制器ip或域名

进入目录cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose
执行如下命令：
sudo sed -i "s/openwifi.wlan.local/app.cloudswitch.io/g" owsec.env owgw-ui.env owprov.env owsub.env owfms.env owgw.env owanalytics.env owprov-ui.env owrrm.env

note：此处使用已经申请好的域名 app.cloudswitch.io 访问控制器，如果使用ip访问，则直接填写ip地址即可。

4.3 在控制器云管平台打开服务端口

目前控制器需要使用的端口如下表所示：

网络类型	授权方向	授权策略	IP协议	端口范围	优先级	源IP地址段	功能描述
intranet	ingress	Accept	TCP	16011/16011	1	0.0.0.0/0	运维告警
intranet	ingress	Accept	TCP	16006/16006	1	0.0.0.0/0	订阅信息
intranet	ingress	Accept	TCP	15002/15002	1	0.0.0.0/0	连接设备端口
intranet	ingress	Accept	TCP	16002/16003	1	0.0.0.0/0	网关
intranet	ingress	Accept	TCP	16004/16004	1	0.0.0.0/0	固件服务端口
intranet	ingress	Accept	TCP	16009/16009	1	0.0.0.0/0	分析信息
intranet	ingress	Accept	TCP	16005/16005	1	0.0.0.0/0	配置服务端口
intranet	ingress	Accept	TCP	16001/16001	1	0.0.0.0/0	认证服务端口
intranet	ingress	Accept	TCP	5912/5913	1	0.0.0.0/0	rtty远程连接
intranet	ingress	Accept	TCP	443/443	100	0.0.0.0/0	WEBUI服务端口
intranet	ingress	Accept	TCP	22/22	100	0.0.0.0/0	SSH端口

为了控制器能正常运行，需要开通以上端口授权。

4.4 配置域名认证信息（optional）

Note:如果使用ip登录，则可以忽略此章节。
安装certbot软件，申请域名认证

sudo snap install --classic certbot
sudo ln -s /snap/bin/certbot /usr/bin/certbot
sudo certbot certonly --manual dns-01 dns -d "*app.cloudswitch.io"

此处获得的证书在/etc/letsencrypt/live/cloudswitch.io/目录下。
通过如下命令将证书拷贝到控制器相对应目录下即可

sudo cp -L cert.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-cert.pem
sudo cp -L privkey.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-key.pem
sudo cp -L chain.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-ca.pem

5 一键启动控制器

进入目录：cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose

sudo docker-compose up -dcampus_part_1_ cover

note：如果需要停止控制器可用命令sudo docker-compose down

5.1 安装nginx并配置代理（optional）

NOTE: nginx代理只在需要时安装即可，控制器本身是带有nginx组件的，可以提供web服务。

安装nginx组件 sudo apt install nginx
在nginx相关目录下修改配置文件，以保障能够正确解析域名。

5.2 控制器登录

确保控制器已经安装完成并成功启动，可以在本地web客户端输入对应ip地址或域名登录控制器：
如下图所示：

控制器首次安装后，初始登录账户为：tip@ucentral.com / openwifi
注意登录之后及时修改密码。

登录之后界面如下：

此时，已经完成园区网控制器的安装。

6 Asterfusion CX-M 云化园区交换机

云化园区交换机

基于Asterfusion CX-M系列产品的园区网实现- 1.总体规划

1 Purpose
2 项目背景
 3 总体需求
 4 需求分析
 5 公司整体网络示意图
 6 各研发中心内部网络架构规划
 7 各研发中心访问云资源流量示意图
 8 各研发中心互访流量示意图
 9 Asterfusion CX-M enterprise switches as the links below

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第一部分，总体规划，主要根据我们实际部署的经验阐述如何规划一个拥有4研发中心的公司网络，满足各中心网络互联及资源共享的需求。

2 项目背景

Asterfusion公司目前拥有4个研发中心，分别在不同城市，并且拥有1个公有云资源中心和1个私有云资源中心。随着公司业务扩大，各研发中心对网络带宽及资源共享的需求也在逐步增加，为了满足公司各部门的网络需求，我们决定重新规划建设公司整体网络。

3 总体需求

1、公司有4大研发中心，分别位于sz、wh、bj和xa四座城市，并且拥有PA私有云和AWS公有云两大云平台资源池。各地研发中心需要随时访问云资源以及其他城市的服务器资源。
2、各研发中心内部要高速访问服务器资源，需要减少广播报文，并且要保证网络稳定性。
3、各研发中心要访问其他研发中心的服务器资源，以便资源共享，提高研发效率，降低研发成本。
4、公司要求整网统一规划建设和管理运维，以便维护网络安全性及稳定性，同时使各部门互访更便捷。
5、为了更方便维护网络，要求各研发中心的网络流量可视化。

4 需求分析

我们针对总体需求进行认真分析，并给出如下解决方案：

1、针对需求1，可以采用VPN技术使四地研发中心及云资源互联。因此，在各研发中心出口网关位置选用公司CX102S产品作为路由网关，CX102S除了拥有基本交换模块外，还拥有两块DPU，在DPU1上运行openwrt作为出口路由，并且集成wireguard组件，可以方便的搭建VPN网络。
2、针对各研发中心内部高速带宽及减少广播报文的需求，可以采用spine+leaf的整网三层架构部署，并采用分布式网关，各网络设备之间采用10G/40G/100G高速接口互联，从而保证内网带宽。
3、各研发中心互访服务器资源的需求可以通过vpn技术一并解决。
4、本次网络建设使用控制器统一部署，使各地网络全部呈现在控制器上，方便运维和管理。
5、各研发中心的网络流量可视化，通过在出口设备CX102S的DPU2上运行ntopng开源软件来实现。

5 公司整体网络示意图

根据项目总体需求，规划出整体网络如上图所示，其中控制器安装在公有云上，以便管理员随时随地可以查看网络状态。

6 各研发中心内部网络架构规划

其中SZ WH BJ三个研发中心内网统一采用spine+leaf架构进行组网，具体spine、leaf及AP设备的数量根据各地人员数量、研发server数量及办公室面积情况综合确定。内部网络为全三层网络，采用分布式网关Distributed gateway、dhcp-relay、arp-relay、arp-to-host等技术部署。网络出口统一采用CX102S智能网关设备。
网络架构示意图如下：

其中XA研发中心网络由于特殊需求，采用spine+leaf和mc-lag的混合场景组网架构。如下图所示：

7 各研发中心访问云资源流量示意图

以WH office为例，各地研发中心访问云平台如上图所示，在公司园区网出口开启两个vpn客户端，分别连接两个云平台的服务端。

8 各研发中心互访流量示意图

以WH office与SZ office互访为例，将公有云的vpn服务端作为各地互联节点，只需将各地内网的网段路由添加到vpn服务端即可实现互访。

以上就是公司网络的整体规划，接下来我们将按照此规划逐步实施各地网络的部署。

9 Asterfusion CX-M 云化园区交换机

云化园区交换机

A-Lab | 网工提效利器！面向 AI 场景的“向导式” 综合性规划工具

关注星融元

A-Lab 是星融元服务于新一代网络运维工程师的资讯专栏，你可以在这里找到各类基于开放网络技术架构的配置指导和技术分享。访问地址：https://asterfusion.com/alab-for-netdevops/

今天我们介绍的是一套专为大规模 AI 网络环境搭建打造的综合性规划工具 EasyRoCE-AID （AI基础设施蓝图规划，AI Infrastructure Descriptor）。

它致力于为复杂的 AI 基础设施建设梳理脉络、把控全局，其核心价值在于通过系统性规划与整合，让抽象的网络架构和设备布局直观呈现，为技术人员提供清晰、精准的行动指南。

EasyRoCE Toolkit 是星融元依托开源、开放的网络架构与技术，为AI 智算、超算等场景的RoCE网络提供的一系列实用特性和小工具，如一键配置RoCE，高精度流量监控等…所有功能对签约客户免费开放。

详情访问：https://asterfusion.com/easyroce/

帮助网络架构师快速梳理智算环境的复杂需求，一站式规划参数、存储、业务管理和带外管理四张网

借助实用组网设计模板，自动计算并生成组网方案、设备互联关系和网络配置

一键导出 JSON 格式的设备互联关系数据，加速部署其他 EasyRoCE 系列工具插件，如GPU 节点内部路由规划（IRM）、主动路径规划（PPD）、多租户网络（MVD）以及实现与统一监控面板等（UG）相关的可视化呈现功能。

下面我们就逐步梳理一个典型智算中心基础网络的通用流程，来看 AID 工具是如何一步步引导用户完成高效且规范的部署动作。

步骤1：获取各类服务器基础信息

智算环境下的服务主要有 GPU 服务器、存储服务器、业务管理服务器三类，这一步需要手动向 AID 录入所有服务器硬件的设备名称、型号、功率、高度等等硬件信息。

服务器的网口数量和带宽规格，是后续规划网络的关键信息，另有部分信息（例如名称、高度）会作为 AID 中其他规划模块的引用对象。

步骤2：根据模板自动设计组网方案

有了上一步提供的服务器硬件信息，此时我们就可以根据集群规模大小，选择合适的“组网模板设计工具”（二层或三层，一般二层网络可满足大多数建网需求）。该设计工具本质上是从用户填写的 GPU 服务器、存储服务器、管理服务器和交换机规格信息，自动计算出每层所需的交换机数量。

根据生成的组网方案，此时便可到AID对应位置去补充每台交换机的名称、型号、设备功率、设备高度、出厂序列号等信息。其中最大功率、设备高度等是后续规划设备分布的重要参数。

步骤3：确定机柜布局

该步骤依据设备性能特点、散热需求及数据交互逻辑，为实施规划人员制定机柜内部的最优空间分布方案提供参考。

机柜的布局信息包括机柜所在的园区、楼栋、楼层、房间、排/列、机柜编码、U#、设备名称。

点击左侧按钮展开，可以看到这排机柜的情况，其中机柜中每台设备的名称都引用于已填写的表格信息。

步骤4：生成网络规划配置

经过上述步骤，智算环境下各个设备的互联关系也基本确定了。此时用户可运行 AID 内含的宏程序自动生成连接关系、自动填充互联 IP、服务器 Bond 口 IP、带外管理口 IP 等信息，快速完成参数网、存储网、业务管理网、带外管理网的规划配置，免去了人工计算的低效和潜在的错误风险。

步骤5：与 EasyRoCE 工具模块对接

由AID规划配置的模块主要有，GPU Node内部路由规划器（IRM）、端到端路径规划（EPS）、主动路径规划（PPD）、多租户网络部署（MVD）等。

以主动路径规划工具（PPD）为例，我们使用 AID 工具规划交换机的设备名称、设备型号、设备角色、上行端口序号、下行端口序号、实例 ID、实例描述信息、下行 IP 列表、管理口地址、管理地址掩码、交换机的帐号密码.

其中除了实例 ID 和实例描述信息需要人为规划，其他字段都可以点击“填充设备信息”按钮完成自动填充。

AID还可以联动基于 Prometheus+Grafana 的监控面板，辅助实现 RDMA 网络在大屏的可视化呈现功能。

参阅：一文解读开源开放生态下的RDMA网络监控实践

与 拓扑自动呈现（TG）深度协同，依据设备互联信息，一键自动生成涵盖机柜内部、跨机柜乃至跨机房的完整网络拓扑图，精准展现设备层级关系、链路连接状态，以直观图形界面助力运维人员实时把控全网架构，迅速定位故障节点

借助光模块地图（TM），细致呈现光模块分布，明确各条光纤链路所用光模块状态信息，为光模块故障快速定位和提前预警提供重要参考

联动 链路分布地图（LM），实时映射数据链路流量走向与负载分布，以动态可视化形式展现 AI 训练、推理等任务引发的流量潮汐变化，辅助优化网络资源分配，及时发现并化解拥塞风险

更多AI智算网络技术分享，请持续关注星融元

产品与方案咨询：400-098-9811

实时解析和可视化呈现 GPU 集合通信路径

关注星融元

“黑盒”状态的集合通信

智算集群通常都是以GPU服务器为最小单位构建的，服务器内部安装了若干块GPU计算单元，在此之上会有CUDA、NCCL、PyTorch等软件系统协同构建AI大模型的训练/推理任务的基础环境。

目前最广泛应用的是英伟达的开源集合通信库 NCCL（NVIDIA Collective Communication Library），可以在英伟达的 GPU 芯片之间进行高效的数据交换和协同工作。其他云和 GPU 厂商也推出了一批 xCCLs，例如 HCCL、ACCL、TCCL 和 oneCCL 等

大模型的训练调优过程中，我们经常会遇到例如集群性能表现不如预期、训练任务中断现象，其原因除了来自模型自身或 GPU 服务器内部配置问题等等，还有可能是网络层面的数据传输。

然而，集合通信库位于开发框架之下，对于 GPU 集群的使用者来说，集合通信路径是透明无感知的黑盒状态。

EPS 是什么？

EasyRoCE – EPS （E2E Path Scheduler，端到端路径规划）的主要功能是把集合通信库运行时不对外展示的各项关键信息，例如数据通信路径、任务中选用的 GPU、网卡状态等呈现给用户，帮助 GPU 集群的使用者快速定位问题，更好地利用集群的硬件资源，并基于此进行最佳路由规划。

对于 EPS 给出的推荐路由配置，用户可以自行决定是否下发。若确认选用推荐路由，EPS 可以调用星融元 RoCE 交换机提供的 REST API 完成配置自动下发。

通信环可视化：自动解析通信链路信息，透传底层状态
路由自动生成：算法和路径相关的路由推荐机制，配置自动下发
辅助决策：底层通信信息集中到统一面板展示

如何使用 EPS？

本文提供的演示环境下，EPS 工具将会被部署在集群的 Master 节点（即产生 NCCL 日志文件的位置），并以 systemd 守护进程的方式在后台实时监控日志文件——每当日志更新，EPS 自动会解析最新的信息，转换为便于阅读和理解的形式推送到统一监控面板（如 EasyRoCE-UG ）中集中呈现。

EPS 是星融元 EasyRoCE Toolkit 之一，以下仅展示基础功能，完整功能和最新版本请联系项目销售/售前人员。

1. 安装配置EPS

演示环境中的 Master 节点为一台独立的 CentOS 服务器，项目指定的工作目录为 /home/admin/EPS

2. 配置监控面板

演示使用 EasyRoCE Toolkit 内的统一监控面板（UG，Unified Glancer），在此之前需要提前完成该平台的部署，请参阅：一文解读开源开放生态下的RDMA网络监控实践中的“监控平台配置”部分。

我们只需要为 UG 再添加一个呈现 HTML 的 Pannel，并完成 HTML 源的配置（如下图所示），EPS 解析出来的集合通信环信息就将作为各类 RDMA 网络相关监控指标信息的补充，辅助集群设施调优决策。

完成以上所有步骤，我们就可以在 UG 看到实时更新的集合通信库运行信息，手动更新NCCL 日志文件，可以看到 UG 中呈现的解析信息也同步刷新。

浅谈VPP与DPDK技术以及产业界应用实例

VPP（Vector packet processing）是 Linux 基金会下FD.io项目的一部分。VPP 的目标是提供一个快速的L2-L4 用户态网络堆栈，该堆栈可在x86、Arm 和 Power 等常见架构上运行。VPP 从网络 IO 层读取最大可用数据包矢量，然后通过数据包处理图(Packet Processing graph)处理这个矢量。VPP集成了DPDK(Data Plane Development Kit)项目，通过它直接访问硬件网卡资源。

什么是矢量包处理？

与矢量包处理相对的是传统的“标量（scalar）”处理。在标量处理模式下，系统一次仅处理一个数据包，完成整个包处理流程后再处理下一个包。在这种模式下，每个数据包都需要独立分配计算资源、缓存管理、并经历上下文切换。当网络I/O速度很高时，这些额外的开销与处理单个包的时间相近，导致效率低下。

矢量处理通过引入以下改进克服了标量处理的不足：

批量处理多个数据包：VPP通过将一组数据包（典型为64个或更多）组合成一个“矢量”，在每个节点中一次性对这些数据包进行处理。与逐个包处理相比，这种方式分摊了资源准备和上下文切换的开销，从而显著提升了矢量中每个数据包的处理速度。
利用SIMD并行处理能力：现代CPU的Single Instruction Multiple Data（SIMD）指令集能够通过单条指令同时对多个数据执行相同的操作。相比于传统的“每次仅处理一个数据”的方式，SIMD显著提高了运算速度。例如，Marvell OCTEON 10 ARM Neoverse N2处理器支持的SVE2（Scalable Vector Extensions Version 2）允许灵活配置128位到2048位的矢量长度。在2048位配置下，一条指令可以同时处理高达64个IPv4地址，从而大幅提升网络数据流的处理能力。
优化缓存利用：现代CPU通常具备较大的L1/L2缓存。矢量处理可以将多个数据包一次性加载到高速缓存中，减少对内存的频繁访问。例如，Marvell OCTEON 10 ARM Neoverse N2处理器拥有64KB的L1缓存，可以一次存储约42个1500字节的完整数据包或3276个IPv4包头，从而减少了多次的缓存-内存交换，进一步提高了包处理效率。

简言之，矢量包处理通过批量化、并行计算和缓存优化，有效提升了处理速度，特别适用于高性能网络环境。

VPP的优势：用户态网络协议栈

传统的Linux网络协议栈工作在内核态，注重通用性和软件灵活性，但在高性能网络中存在瓶颈，主要问题包括：

内核态与用户态切换开销：用户态程序处理网络数据时需要频繁切换到内核态，带来显著的延迟，特别是在高流量场景下。
逐层处理开销：协议栈按OSI模型逐层处理，每层都涉及协议解析和数据拷贝，导致效率低下。
软中断和单线程限制：Linux内核的网络栈主要依赖软中断和单线程处理，无法充分利用多核CPU的优势，特别是高并发时。即使通过RSS（Receive Side Scaling）将不同的数据流分配到多个CPU核心，仍然存在调度和同步的开销，无法实现完全并行处理。

VPP在用户态实现了完整的网络协议栈，包括IP, TCP, Session层和应用层公共库。

它解决了传统Linux协议栈的一些问题：

减少上下文切换：VPP在用户态运行，避免了用户态和内核态之间的切换，利用DPDK直接访问网卡，跳过了内核的网络协议栈。
融合协议处理：VPP将IP、TCP、Session等协议层结合在一起，减少了协议层之间的冗余数据传递，数据包不需要在每层之间进行反复的数据拷贝和传递，因为这些协议层的处理是在同一内存区域中完成的。
用户态多线程处理：与内核态的单线程处理模型不同，VPP充分利用现代CPU的多核和多线程能力，并在用户态中通过线程池并行处理多个数据流。用户态的线程调度开销更小，任务分配更灵活，借助多线程，VPP能够将网络流量有效地分布到多个CPU核心，近乎线性地提升网络吞吐量。

简言之，用户态网络协议栈技术使得VPP通过减少内核态与用户态切换、融合协议层处理、多线程优化和直接硬件访问，显著提升了高并发和高吞吐量场景下的网络性能。

DPDK与VPP的集成

数据平面开发套件 (DPDK) 是由 Linux 基金会主办的一个开源项目，它提供了一组用户态的库和驱动程序，可提高各种 CPU 架构（如 Intel x86、ARM 和 PowerPC）上的数据包处理速度。

DPDK 绕过 Linux 内核，在用户态执行数据包处理以最大限度地提高网络性能。DPDK 通过使用在用户态运行的轮询模式驱动程序 (PMD) 来实现这一点，该驱动程序不断检查传入的数据包队列以查看新数据是否已到达，从而实现高吞吐量和低延迟。PMD 在数据链路层（第 2 层）工作。

VPP 专注于从第 2 层到第 7 层的网络协议，并使用 DPDK 作为其网络驱动程序。这种集成将 DPDK 的 L2 性能与 VPP 在 L3 到 L7 上的灵活性相结合。

它们的结合带来如下好处：

直接硬件访问：VPP使用用户态的 DPDK来直接访问网络硬件，从而避免了传统Linux网络协议栈中的内核态与用户态切换，消除了大部分与内核相关的开销。
直接内存访问：VPP通过将网络设备的DMA内存区域映射到用户态，减少了内存拷贝和上下文切换。

通过与DPDK相结合，VPP实现了完整的用户态网络协议栈，并大幅度提升网络处理性能。

VPP这一开源技术在通用CPU的基础上，实现了传统上需要专门的网络硬件设备（如路由器）和专业的网络操作系统才能达到的性能，以极高的性价比为广大用户带来了开放网络技术的红利。

星融元借助VPP和DPDK的应用实例

小型边缘云网关

凭借VPP 技术，星融元即将正式推出的一款采用Marvell OCTEON 10 ARM Neoverse2 8核处理器的小盒子（ET2500），在加载全部BGP路由（约100万条）的情况下，仍具备高达48Gbps的路由性能，足以同时处理3000个4K高清视频通话的流量，满足企业、小型城域网和小型云边缘网关的需求。相比未采用VPP的同等处理器的网关设备，性能提升了10倍以上。

整个ET系列开放计算平台提供一站式的软件开发环境，包括FusionNOS-Framework基座操作系统、容器虚拟化环境及丰富的应用开发套件。客户可以将跑在X86服务器上的应用便捷的迁移到ET系列开放计算平台，同时也可以快速的进行自研应用的开发，充分满足边缘计算、大数据处理、物联网及人工智能等场景的多样化业务需求。

DPU架构的智能网卡

星融元Asterfusion自主研发的Helium DPU网卡基于高性能DPU芯片设计，符合PCle及以太网协议，提供PCle x 8 Gen3.0/4.0通道接口并支持高达100Gbps多功能业务处理能力，对网络、计算、存储等功能进行卸载和加速，充分释放服务器CPU资源。基于x86开发的各种DPDK应用、VPP应用和一般Linux驱动应用，仅需要简单编译就可以迅速移植到Helium DPU网卡上。

基于x86开发的各种应用（DPDK、VPP）移植到Helium DPU网卡上的架构图

云网扩容方案验证 —扩容Pod和新增Pod方案

1 扩容Pod方案

1.1 组网拓扑

1.2 验证流程

1.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Leaf2的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果1.2.2-1。

在Server1上，ping Server2，有结果1.2.2-2。

验证扩容时和扩容后的组网：

完成Spine2、Leaf3，以及Server3的网络配置，让Spine1、Leaf1、Leaf2上与扩容设备Spine2、Leaf3的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果1.2.2-3。

然后，打开原Pod上被shutdown的互联口，完成Pod内扩容设备的正式接入。

在Server3上，分别ping Server1和Server2，有结果1.2.2-4。

观察接入时Server1长ping Server2的情况，有结果1.2.2-5。

1.2.2 结果

结果1.2.2-1：

Server1 172.16.1.11可以ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果1.2.2-2：

Server1 172.16.1.11可以ping通Server2 172.16.1.12。

结果1.2.2-3：

Server3 172.16.1.13此时无法分别ping通Server1 172.16.1.11和Server2 172.16.1.12。

结果1.2.2-4：

no shutdown原Pod设备上的互联口，完成扩容设备的正式接入之后，Server3立即可以分别ping通Server1和Server2。

1.3 结论

对于扩容Pod方案，在扩容期间，原Pod的Overlay网络（172.16.1.0/24）下的接入设备的通信一切正常，不会受到影响。扩容完成后，新增设备可以和原有的接入设备正常互通。

2 新增Pod方案

2.1 组网拓扑

2.2 验证流程

2.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Border的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果2.2.2-1。

在Server1上，通过172.16.1.0/24的IP ping Underlay（10.0.0.0/24）网络的网关，有结果2.2.2-2。

验证扩容时和扩容后的组网：

完成Superspine、Spine2、Leaf2，以及Server3的网络配置，让Superspine与Spine1之间的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果2.2.2-3。

然后，打开Superspine与Spine1之间的互联口，完成扩容Pod的正式接入。

在Server3上，分别ping Server1和Server2，有结果2.2.2-4。

观察接入时Server1长ping Server2的情况，有结果2.2.2-5。

2.2.2 结果

结果2.2.2-1：

Server1 172.16.1.11可以Ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果2.2.2-2：
Server1 172.16.1.11可以ping通Server2 10.0.0.12，即Overlay网络（172.16.1.0/24）可以和Underlay网络（10.0.0.0/24）互访。

结果2.2.2-3：

Server3 172.16.1.13此时无法别ping通Server1和Server2。

结果2.2.2-4：

no shutdown Superspine与Spine1之间的互联口，完成扩容Pod的正式接入之后，Server3立即可以分别ping通Server1和Server2。

结果2.2.2-5：

在扩容接入新Pod期间，Server1长ping Server2的流量没有受到影响、没有丢包。

2.3 结论

新增Pod（共享Border）的扩容方案中，扩容期间，原Pod的Overlay网络（172.16.1.0/24）和Underlay网络（10.0.0.0/24）的通信一切正常，不会受到影响。扩容完成后，新增Pod的接入设备可以和原Pod的接入设备、Border正常互通。

3 交换机和服务器网络配置

3.1 扩容Pod方案

3.1.1 服务器

3.1.2 交换机

3.1.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.1.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 19                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 19                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.10 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  neighbor 11.2.3.10 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.1.2.3 Leaf-03

leaf-03# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/76                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-03                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65502                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-03#

3.1.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.21 remote-as 65505                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.1.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.9 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.17 remote-as 65501                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.9 activate                                                                                                                                                                                                               
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2 新增Pod方案

3.2.1 服务器

3.2.2 交换机

3.2.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.2.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.2.2.3 Border

border# show running-config                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
vrf 17216                                                                                                                                                                                                                                  
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 1719                                                                                                                                                                                                                                  
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 1719                                                                                                                                                                                                                        
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 ip address 10.0.0.1/24                                                                                                                                                                                                                    
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname border                                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 ip address 10.230.1.19/24 gw 10.230.1.1                                                                                                                                                                                                   
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65510                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
router bgp 65510 vrf 17216                                                                                                                                                                                                                 
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
border#

3.2.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65510                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.2.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2.2.6 Superspine

superspine# show running-config                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/12                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/32                                                                                                                                                                                                                    
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/36                                                                                                                                                                                                                    
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/4                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/8                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.9/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname superspine                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.9                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.17 remote-as 65502                                                                                                                                                                                                        
 neighbor 11.2.3.21 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
superspine#

Multi-homing验证方案 —基于EVPN的高可靠方案

1 目标概述

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

1 目标概述

本文主要描述在CX-N的云区组网中，通过EVPN Multi-homing的方案实现一台Server同时在多台交换机上挂载，提供all-active 冗余机制，实现负载均衡、故障收敛等功能。

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

设备角色、BGP AS号、设备带外管理地址、环回口地址信息如下表：

3.2 带内管理网络业务IP地址表

带内管理网络互联地址信息入下表：

4 硬件与软件环境

4.1 硬件环境

4.2 软件环境

5 配置过程

5.1 Spine01交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.1/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.5/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.9/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.13/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.9/32
sonic(config-loif-0)#exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65209
sonic(config-router)# bgp router-id 172.61.0.9
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.2 remote-as 65205
sonic(config-router)# neighbor 172.62.0.2 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.6 remote-as 65206
sonic(config-router)# neighbor 172.62.0.6 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.10 remote-as 65207
sonic(config-router)# neighbor 172.62.0.10 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.14 remote-as 65208
sonic(config-router)# neighbor 172.62.0.14 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.9/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.2 Spine02交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.17/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.21/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.25/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.29/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.10/32
sonic(config-if-0/12)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65210
sonic(config-router)# bgp router-id 172.61.0.10
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.18 remote-as 65205
sonic(config-router)# neighbor 172.62.0.18 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.22 remote-as 65206
sonic(config-router)# neighbor 172.62.0.22 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.26 remote-as 65207
sonic(config-router)# neighbor 172.62.0.26 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.30 remote-as 65208
sonic(config-router)# neighbor 172.62.0.30 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.10/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.3 Leaf01交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.5/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.2/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.18/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65205
sonic(config-router)# bgp router-id 172.61.0.5
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.1 remote-as 65209
sonic(config-router)# neighbor 172.62.0.1 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.17 remote-as 65210
sonic(config-router)# neighbor 172.62.0.17 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.5/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.5
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.4 Leaf02交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.6/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.6/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.22/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65206
sonic(config-router)# bgp router-id 172.61.0.6
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.5 remote-as 65209
sonic(config-router)# neighbor 172.62.0.5 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.21 remote-as 65210
sonic(config-router)# neighbor 172.62.0.21 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.6/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.6
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.5 Leaf03交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.7/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.10/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.26/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 # VLAN MAC
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65207
sonic(config-router)# bgp router-id 172.61.0.7
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.9 remote-as 65209
sonic(config-router)# neighbor 172.62.0.9 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.25 remote-as 65210
sonic(config-router)# neighbor 172.62.0.25 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.7/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.7
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.6 Leaf04交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.8/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.14/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.30/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65208
sonic(config-router)# bgp router-id 172.61.0.8
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.13 remote-as 65209
sonic(config-router)# neighbor 172.62.0.13 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.29 remote-as 65210
sonic(config-router)# neighbor 172.62.0.29 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.8/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.8
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.7 Server1及虚机配置

#配置bond0为hash模式
[root@Sever1 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f0
DEVICE="ens1f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f1
DEVICE="ens1f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.2/24 dev eth0.100
ip addr add 200.0.0.2/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up
ifconfig eth0.100 hw ether 52:54:00:34:c8:d9
ifconfig eth0.200 hw ether 52:54:00:34:c8:d0

5.8 Server2及虚机配置

#配置bond0为hash模式
[root@Sever2 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.3/24 dev eth0.100
ip addr add 200.0.0.3/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

5.9 Server3及虚机配置

#配置bond0为hash模式
[root@Sever3 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f0
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.4/24 dev eth0.100
ip addr add 200.0.0.4/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up