A-Lab Archives - Page 2 of 8 - 星融元Asterfusion

配置指导：基于Asterfusion CX-M系列产品的园区网实现- 3.详细规划及实施

1 Purpose
2 WH办公网规划
3 在控制器上进行网络规划
4 WH办公网实施
5 将SZ办公网纳入控制器管理
6 BJ办公网实施
7 XA办公网实施

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了园区网规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第三部分：详细规划及实施；主要阐述根据各研发中心的工勘情况规划设计具体网络拓扑，具体上线前的预配置工作以及网络实施上线工作。

2 WH办公网规划

我们先从WH园区网规划做起，下面是WH园区网具体规划、设计和实施过程。

2.1 需求

WH园区目前人员规模约为50人，办公室面积约为400平米，其中包括两个机房，两个会议室，及开放办公区。研发用服务器设备约为70台。
新建园区网络需满足办公人员及研发服务器联网需求，互联网出口采用两路，一路拨号上网，一路专线。同时还需满足WH办公园区与云上研发服务器及其他城市办公网内网的互联互通。
WH园区具体工勘情况见下表：

条件	值	备注
人员数量	50人	/
办公面积	400平米	2个机房，2个会议室
研发服务器	70台	/
有线终端	50台	/
无线终端	50*2=100台	/

2.2 WH网络设备规划

根据具体工勘信息，计算得出所需设备数量为10台，2台spine交换机，4台leaf交换机，3台AP，1台智能网关GW。其中leaf-1和leaf-2设备用于研发服务器的接入。Leaf-3和leaf4用于用户有线终端和AP的接入。3台AP，其中1台主要覆盖两个会议室，另外2台覆盖开放办公区及机房。智能网关GW设备负责出口路由、VPN及DHCP Server业务。

2.3 WH网络拓扑

2.4 WH网络设备及版本

Model:
CX206Y-48GT-M switches
CX204Y-48GT-M switches
CX102S-16GT-D2-HPW-M switches
CAP6020-Z (AP)
Version:
CX206Y-48GT-M : AsterNOSv5.2R009P01
CX204Y-48GT-M : AsterNOSv5.2 R009P01
CX102S-16GT-D2-HPW-M：AsterNOSv5.2 R011
CAP6020-Z : TIP-V3.0R003P1

2.5 GW设备CX102S-16GT-D2-HPW-M使用简介

CX102S智能网关设备具备161GE、210GE接口，并配备2块DPU卡，本次部署使用此设备作为网关，在DPU1上部署Openwrt系统，实现路由网关功能，并使用系统集成的wireguard组件实现VPN功能。在DPU2上部署openclash及ntopng系统，实现网络业务代理及网络流量图形化呈现功能。

产品示意图如下：

想具体了解此产品请点击链接：https://asterfusion.com/product/cx102s-dpu/

2.6 WH网络互联ip地址规划

2.6.1 设备互联地址

地点	本端设备	本端端口	本端IP	对端设备	对端端口	对端互联IP	备注
WH	spine1	48	2.2.2.1/30	spine2	48	2.2.2.2/30	peerlink
	spine1	49	172.16.11.33/29	GW	17	172.16.11.36/29
	spine2	48	2.2.2.2/30	spine1	48	2.2.2.1/30	peerlink
	spine2	49	172.16.11.33/29	GW	18	172.16.11.36/29
	leaf1	1-48	vlanif：10.250.0.1	server		10.250.0.0/24	自配IP
	leaf2	1-48	vlanif：10.250.0.1	server		10.250.0.0/24	自配IP
	leaf3	1-48	Vlanif:192.168.23.1	Youxian-user		192.168.23.0/24
	leaf4	1-4	Vlanif:172.16.100.1	AP-mgmt		172.16.100.0/24
	leaf4	5-48	Vlanif:192.168.23.1	Youxian-user		192.168.23.0/24
	GW	17	172.16.11.36/29
		18	172.16.11.36/29
		19		Openwrt		172.16.11.34/29	内部接口
		20		Ntopng		172.16.11.35/29	内部接口
		1	VLAN101 pppoe
		2	VLAN102 zhuanxian

2.6.2 设备loopback地址

设备loopback地址
spine1	172.16.1.1/32
spine2	172.16.1.2/32
leaf1	172.16.1.3/32
leaf2	172.16.1.4/32
leaf3	172.16.1.5/32
leaf4	172.16.1.6/32
GW	172.16.1.7/32

2.6.3 设备VLAN信息

VLAN ip地址
vlan	ip	备注
200	172.16.11.36/29	与spine互联
51	172.16.100.1/24	AP管理网关
52	192.168.22.1/24	无线用户网关
53	192.168.23.1/24	有线用户网关
54	10.250.0.254/24	研发服务器网关

2.6.4 AP及用户终端设备地址

终端设备IP网段分配及DHCP地址池
名称	vlan	网关	地址池	DNS
AP-mgmt	51	172.16.100.1	172.16.100.2-254	218.104.111.111	218.104.111.114
AP-user	52	192.168.22.1	192.168.22.2-254	218.104.111.111	218.104.111.114
Youxian-user	53	192.168.23.1	192.168.23.2-254	218.104.111.111	218.104.111.114
server	54	10.250.0.254	无

2.7 WH网络设备及耗材表

城市	编码	名称	型号	描述	数量
武汉	98210275	交换机	CX206Y-48GT-HPW4-M	481GE,610GE	2
	98210264	交换机	CX204Y-48GT-HPW2-M-AC	481GE,410GE,POE	4
	98210438	AP	CAP6020-Z	吸顶AP	3
	98510039	光模块	OM-10G-MM850-300-LC	10G，多模	20
	98210468	网关	CX102S-16GT-D2-HPW-M	161GE,210GE	1
		光纤	10GE,多模光纤	10GE多模	10
		网线	6类网线	6类网线	150

3 在控制器上进行网络规划

3.1 建立组织及办公场所

首先建立根组织，如下

然后建立公司网络组织，如下：

然后建立办公场所，如下：

3.2 设备导入到控制器仓库

将设备导入到控制器仓库有两种方式，一种是手动添加导入，另一种是Excel表格导入。

1、手动添加导入：

在对应场所的设备仓库栏或根目录下的仓库栏都可手动添加设备，如下所示：

具体信息填写如下：

2、 excel表格导入：

将需要上线的设备MAC地址、设备型号信息记录到excel表格中，然后导入到控制器，格式如下：

需要在对应场所的设备仓库栏下导入文件，如下所示：

3.3 将仓库设备导入到办公场所

如果是在办公场所下通过excel文件导入的设备，则不再需要此步，保证设备在对应的场所下即可。
首先勾选所有要导入到指定场所的设备，然后点击批量导入场所按钮，如下所示：

导入完成后，即可在控制器上规划拓扑。

3.4 在控制器上规划拓扑

首先在WH-office场所下，选择网络方案，如下

按照规划，选择spine及leaf的数量。
然后规划网络拓扑，将仓库中设备拖入右侧空白，并连线，即可完成网络拓扑规划。

并且点击每台设备的编辑按钮，可以对设备基础信息及互联接口等信息进行配置，如下

根据2.6章节的网络规划，依次将所有设备基础配置信息填入。

3.5 基础网络配置

基础网络配置主要是对spine设备的上联信息进行配置，以确保与网关设备的网络配置正确。

此处配置上联设备网关地址

此处配置两台spine设备与出口网关设备做MC-LAG互联

此处配置HA上联端口的ip地址及vlan信息

此处配置时区及NTP信息。

配置好之后保存。

完成上述步骤后，即可进入方案实施环节了。

4 WH办公网实施

4.1 设备上架及综合布线

将设备安装到机房机柜的正确位置。
将AP安装到办公区规划的位置。
对办公区所有有线设备及工位进行综合布线，确保网线正常可用。

4.2 设备上电

确保设备按照2.3章节拓扑正确连接。
将所有设备上电。

4.3 设备与控制器链接

4.3.1 配置两台spine设备临时ip，以及GW设备出口路由

配置两台spine设备上行链路的临时ip，以及GW网关的路由信息，确保两台spine设备能够连接互联网。
分别通过串口登录两台spine设备，账号如下：
用户名:admin
密码：asteros
登录后如下：

在两台设备上分别配置如下命令：

Spine-1# configure terminal
Spine-1(config)# interface ethernet 49
Spine-1(config-if-49)# ip address 172.16.11.34/29
Spine-1(config-if-49)# exit
Spine-1(config)# ip route 0.0.0.0/0 172.16.11.36
Spine-1(config)# ucentral-client server 52.76.134.89
Spine-1(config)# ucentral-client enable

此时两台spine设备应该已经在控制器上上线。

4.3.2 配置临时dhcp服务确保leaf设备上线

配置DHCP服务有两种方式
第一种是通过串口配置，以其中一台spine设备作为临时dhcpserver，这里选择spine-2，配置如下：

Spine-2(config)# interface vlan 4094
Spine-2(config)# port-group ethernet 51-54
Spine-2(config- port-group-51-54)# switchport access vlan 4094
Spine-2(config)# interface vlan 4094
Spine-2(config-vlanif-4094)# ip address 172.16.100.1
Spine-2(config-vlanif-4094)# exit
Spine-2(config)# dhcp pool test
Spine-2(config- dhcp-pool-test)# network 172.16.100.0 255.255.255.0
Spine-2(config- dhcp-pool-test)# address-pool 172.16.100.2 172.16.100.254
Spine-2(config- dhcp-pool-test)# lease-time 7000 10000
Spine-2(config- dhcp-pool-test)# routers 172.16.100.1
Spine-2(config- dhcp-pool-test)# capwap 52.76.134.89
Spine-2(config- dhcp-pool-test)# vlan 4094

Note：此处的DHCP 服务只是为leaf设备提供临时地址，以便leaf设备能够访问互联网并发现控制器，当控制器上下发leaf基础配置之后，此DHCP服务就失去作用了，需要手动将此DHCP服务删除。

然后配置GW设备的路由信息，确保spine设备及leaf设备都能够访问控制器。此时spine和leaf设备就都完成初次上线工作了。

第二种是通过控制器上的脚本下发临时dhcp服务到其中一台spine设备
此种方法更简单方便，在控制器页面左侧导航栏找到脚本选项，如下图

进入脚本选项，选择Spine DHCP config for Leaf脚本

修改此脚本的相关描述

只需要修改spine接口与leaf连接的下行接口即可。Ip地址是临时使用，可以用脚本默认的，也可以自己修改。当leaf设备上线后，此ip地址就失效了。修改好之后点击保存。

在设备导航栏下，选择对应场所及设备，下发脚本，如下：

选择脚本，并下发运行

Leaf设备获取地址，并在GW设备上配好相关路由后，就可以在控制器上看到leaf设备上线了。
当leaf和spine设备全部上线之后，后续所有部署操作都只需在控制器上完成即可。

4.4 在GW设备上配置DHCP Server

本次部署将DHCP服务部署在GW设备CX102S上面。
根据业务规划，需要部署三个DHCP地址池，具体配置如下：

1、配置AP-mgmt地址池

sonic# configure terminal
sonic(config)# dhcp pool AP-mgmt
sonic(config-dhcp-pool-AP-mgmt)# address-pool 172.16.100.2 172.16.100.254
sonic(config-dhcp-pool-AP-mgmt)# dns 8.8.8.8
sonic(config-dhcp-pool-AP-mgmt)# network 172.16.100.0 172.16.100.254
sonic(config-dhcp-pool-AP-mgmt)# routers 172.16.100.1
sonic(config-dhcp-pool-AP-mgmt)# vlan 51
sonic(config-dhcp-pool-AP-mgmt)# capwap-ac 52.76.134.89

2、配置AP-user 地址池

sonic# configure terminal
sonic(config)# dhcp pool AP-user
sonic(config-dhcp-pool-AP-user)# address-pool 192.168.22.2 192.168.22.254
sonic(config-dhcp-pool-AP-user)# dns 8.8.8.8
sonic(config-dhcp-pool-AP-user)# network 192.168.22.0 192.168.22.254
sonic(config-dhcp-pool-AP-user)# routers 192.168.22.1
sonic(config-dhcp-pool-AP-user)# vlan 52

3、配置有线地址池

sonic# configure terminal
sonic(config)# dhcp pool Youxian-user
sonic(config-dhcp-pool-Youxian-user)# address-pool 192.168.23.2 192.168.23.254
sonic(config-dhcp-pool-Youxian-user)# dns 8.8.8.8
sonic(config-dhcp-pool-Youxian-user)# network 192.168.23.0 192.168.23.254
sonic(config-dhcp-pool-Youxian-user)# routers 192.168.23.1
sonic(config-dhcp-pool-Youxian-user)# vlan 53

在CX102S上对上面网段添加相关路由之后，当终端设备获取到这些网段ip地址，就可以正常访问internet了。

此时应该可以在控制器上看到spine设备及leaf设备都已经上线成功。

4.5 CX102S设备交换模块配置

Internet-GW# show running-config
interface ethernet 1
switchport access vlan 101
!
interface ethernet 2
switchport access vlan 102
!
interface ethernet 3
!
interface ethernet 16
!
interface ethernet 17
description to-spine1-ethernet49
link-aggregation-group 1
!
interface ethernet 18
description to-spine2-ethernet49
link-aggregation-group 1
!
interface ethernet 19
switchport trunk vlan 101
switchport trunk vlan 102
switchport trunk vlan 200
!
interface ethernet 20
switchport access vlan 200
!
interface loopback 0
ip address 172.16.1.7/32
!
vlan 1
!
vlan 51
!
vlan 52
!
vlan 53
!
vlan 101
description pppoe
!
vlan 102
description zhuanxian
!
vlan 200
description lan
!
interface vlan 1
ip address 192.168.1.254/24
!
interface vlan 200
dhcp select server
ip address 172.16.11.36/29
!
interface link-aggregation 1
switchport access vlan 200
!
hostname Internet-GW
!
dhcp pool AP-mgmt
address-pool 172.16.100.2 172.16.100.254
capwap-ac 43.192.22.13
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 172.16.100.0 255.255.255.0
routers 172.16.100.1
vlan 51
!
dhcp pool AP-user
address-pool 192.168.22.2 192.168.22.254
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 192.168.22.0 255.255.255.0
routers 192.168.22.1
vlan 52
!
dhcp pool Youxian-user
address-pool 192.168.23.2 192.168.23.254
dns 218.104.111.111,218.104.111.114
lease-time 6000 12000
network 192.168.23.0 255.255.255.0
routers 192.168.23.1
vlan 53
!
lldp enable
!
mac-address static 00:11:22:33:44:02 vlan 200 ethernet 20
!
mirror session 1 span src-ethernet 19 dst-ethernet 20
!
ucentral-client enable
!
ucentral-client server 43.192.22.13
!
ip route 192.168.22.0/24 172.16.11.33
ip route 192.168.23.0/24 172.16.11.33
ip route 172.16.1.0/28 172.16.11.33
ip route 43.192.22.13/32 172.16.11.34
!
end
Internet-GW#

4.6 CX102S设备DPU1 openwrt配置

下图是在openwrt上建立的接口

其中zhuanxian 和pppoe是外网接口，to_spine是内网接口，wg1是通往PA私有云的vpn专线接口，wg2是通往aws公有云的vpn专线接口。

下图是路由信息

4.7 基础网络配置下发

将前面已经保存好的各设备基础配置下发

4.8 有线业务配置及下发

按照规划配置有线业务

1、配置有线server业务

2、部署AP业务

3、配置leaf-3有线user业务

4、配置leaf-4有线user业务

5、下发配置

将各业务配置好之后，下发到设备。

当配置完有线业务后，AP应该就可以获取自己的管理ip地址了，此时在控制器上应该可以看到三台AP已经上线。当AP上线之后，即可进行无线业务的配置。

4.9 无线业务配置下发

首先建立无线业务配置模板

配置WIFI基础信息

配置wifi业务信息

完成业务模板配置并保存后，点击推送业务。

当看到推送成功之后，即说明无线业务已经下发成功，无线终端可以连接使用此网络了。

4.10 射频参数配置下发

射频参数可以使用默认配置，也可以手动调整信道及发射功率等参数。如下

点击每台AP的mac地址可进入此设备修改相应参数。为了有更好的网络体验，建议将信道手动调整，相邻的ap分配为不同的信道，并且根据ap之间距离调整发射攻略，以降低各ap之间的信号干扰。

4.11 WH用户终端上线

4.11.1 将有线user终端接入网络

根据规划，将有线user终端的网线插入leaf3的1-48接口和leaf4的4-48接口，能获取到正确IP地址，并访问互联网。

4.11.2 将无线终端接入网络

将笔记本、手机、无线大屏幕、打印机等无线终端连接wifi，能够获取正确IP地址，并访问互联网。

4.11.3 将有线server接入网络

根据规划，将有线server终端的网线接入leaf1和leaf2的1-48接口，并配置正确IP地址，能够访问互联网。

4.11.4 内网各网段终端业务互访

1、用笔记本电脑ssh访问有线PC设备，可以互通。Wireless 终端 to 有线终端。
2、用笔记本电脑ssh访问有线server设备，可以互通。 Wireless终端to有线server。
3、用有线PC访问有线server设备，可以互通。有线终端to有线server。
4、用PC设备访问打印机终端，可以正常打印文件。Wireless终端访问特殊终端。
此时武汉园区网已经部署完成。

5 将SZ办公网纳入控制器管理

本章主要介绍将SZ办公网纳入app.cloudswitch.io控制器管理的操作过程。由于SZ原有网络是采用公司CX-M系列产品部署，并且经过规划调整已经是全三层组网架构，当前由本地控制器管理和运维，现在需要将业务全部迁移到新的控制器上。

5.1 SZ网络基本信息

设备信息

型号	角色	数量	版本	备注
cx308p-48y-m	Spine	2	V5.2R009P01
cx204y-48gt-m-ac	Leaf	5	V5.2R009P02
cx204y-48gt-hpw2-m-ac	Leaf	1	V5.2R009P02
cx204y-24gt-m-swp2	Leaf	1	V5.2R009P02
CAP6020-Z	AP	11	Tip-devel-cc97016c
Aster-Fabric-Controller	Controller	1	V1.0R005T01

拓扑信息

当前设备版本需要进行升级才能与新的控制器版本兼容。

5.2 交换机设备版本升级

5.2.1 上传版本到控制器

为了更好的与新控制器匹配，我们需要对交换机设备进行升级。首先进行版本上传，在SZ本地控制器上找到固件菜单，然后选择添加新的版本镜像

填写相关信息，并选择镜像文件，之后保存。

上传成功后，可在列表中看到新的版本镜像

5.2.2 设备版本升级

在控制器上找到设备栏，并勾选要升级的设备，然后点击固件升级按钮

然后选择固件版本，并点击next

然后点击开始升级即可，升级结束后需要重启才能生效。

5.3 在新控制器上建立对应办公场所

在控制器对应的组织下面，新建场所，如下

5.4 将设备信息导入新控制器

进入SZ-office场所，将设备信息导入到仓库中。

然后选择设备信息文件，并测试上传，如果格式正确，即可完成上传。

设备信息文件格式如下：

完成导入后，即可在SZ-office的仓库中看到相关设备信息

5.5 按照已有网络拓扑信息规划网络

此处规划的网络拓扑与原拓扑一致，如下所示：

5.6 在新控制器上新建业务配置

5.6.1 基础网络配置

此处没有使用HA，上联及路由配置如下：

5.6.2 有线业务配置

具体业务如下

其中leaf1业务如下

由于DHCP relay配置各leaf都一样，因此leaf2-7只展示business vlan信息

Leaf2配置信息如下

Leaf3配置如下：

Leaf4配置如下

Leaf5配置如下

Leaf6配置如下

Leaf7配置如下

5.6.3 无线业务配置

无线业务配置如下

5.7 设备在新控制器上线

通过串口或者SSH方式登录到每台设备，修改每台交换机设备的控制器ip地址，然后即可在新控制器上线。具体修改ip地址命令如下所示：
Leaf-1# configure terminal
Leaf-1(config)# ucentral-client server 52.76.134.89

5.8 设备配置下发

5.8.1 基础网络配置下发

将保存好的基础网络配置下发

5.8.2 有线业务配置下发

将已经建好的配置下发到设备中。

当配置完有线业务后，AP应该就可以获取自己的管理ip地址了，此时在控制器上应该可以看到三台AP已经上线。当AP上线之后，即可进行无线业务的配置。

5.8.3 无线业务配置下发

参照5.9章节，将已经建好的配置下发到AP中。

下发成功后，无线终端应该可以重新连接并访问互联网。

5.8.4 射频参数修改及下发

根据信号强度及互相干扰情况，可以适当调整射频发射功率，以减少信号干扰。以AP-1为例，修改操作如下图所示：
点击对应mac地址进入设置页面

修改相关参数

将每台AP都调整之后，配置如下：

5.9 验证测试

当所有配置正确下发之后，整个网络配置上线结束，此时有线业务和无线业务应该都可以正常互通，并可以访问internet。

1、有线PC业务测试
办公位上的有线PC终端可以获取到ip地址，可以正常上网。

2、有线server业务测试
研发区服务器配置正确ip地址后可以正常上网。

3、无线终端业务测试
手机及笔记本终端可以正常连接wifi，并正常上网。

6 BJ办公网实施

6.1 拓扑规划

BJ园区网络出口与其他三地不同，采用5G无线路由方式接入互联网，内网依然采用spine+leaf架构，具体如下：

6.2 在控制器上建立办公场所

6.3 将设备信息导入控制器

6.4 在控制器上建立拓扑

6.5 设备上线

设备上线及业务配置步骤与wh办公网上线步骤相同，不再一一描述。最终结果呈现如下：

此处根据办公室ap点位对信道及ap进行了调优，保证办公室任何角落wifi信号都保持稳定。

7 XA办公网实施

7.1 拓扑规划

由于XA园区网有特殊生产需求，所以我们在第一部分规划章节将XA园区网规划为spine+leaf和mc-lag的混合场景组网架构。如下：

7.2 在控制器上建立办公场所

7.3 设备信息导入

设备导入过程与其他办公场所相同，不在赘述。

7.4 基础网络配置

此处是混合场景组网，与其他三地有所不同，配置如下：

首先选择场景

然后做如下配置：

保存之后，进入基础网络配置。

配置如下：

7.5 在控制器上建立拓扑

拓扑建立之后，即可准备上线工作。

7.6 设备上线

设备上线及业务配置步骤与WH办公网上线步骤相同，不再一一描述。

7.7 上线后的真实拓扑

7.8 业务下发

有线及无线业务下发方法与其他园区相同。不在一一描述。

7.9 业务验证

当所有配置正确下发之后，整个网络配置上线结束，此时有线业务和无线业务应该都可以正常互通，并可以访问internet。
1、有线PC业务测试
办公位上的有线PC终端可以获取到ip地址，可以正常上网。
2、有线server业务测试
研发区服务器配置正确ip地址后可以正常上网。
3、无线终端业务测试
手机及笔记本终端可以正常连接wifi，并正常上网

8 云化园区交换机

配置指导：基于Asterfusion CX-M系列产品的园区网实现- 2.初始安装

1 Purpose
2 控制器环境准备
3 Docker安装
4 控制器安装
5 一键启动控制器
- 5.1 安装nginx并配置代理（optional）
- 5.2 控制器登录
6 Asterfusion CX-M enterprise switches as the links below

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了园区网规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第二部分：初始安装，主要说明园区网络控制器安装工作。

2 控制器环境准备

本次实施将控制器安装在AWS云环境中，所需的资源如下：
CPU： 4 core
内存：8GB
硬盘：64GB
系统版本： ubuntu 20.04

3 Docker安装

控制器运行在docker中，所以需要安装docker，本次安装的是docker 27.0.3版本。
安装命令如下：

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install docker-ce

安装成功后，可以通过docker –version查看版本信息，通过sudo systemctl status docker查看状态信息。
Note :由于系统环境及CPU架构可能存在差异，安装过程中可能会报错，一般按照错误提示解决问题并完成安装即可。

4 控制器安装

4.1 安装

将控制器软件压缩包上传到云主机home目录下。
解压控制器版本文件，命令如下：
tar -xvf controller_V1.0_R005T14.tar
进入到版本解压目录，一键安装

进入目录cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose
sudo sh deploy-init.sh

note：需注意安装环境硬件架构，X86架构和arm架构版本不同，需要安装与之相对应的控制器版本。

4.2 配置域名或ip地址

配置控制器ip或域名

进入目录cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose
执行如下命令：
sudo sed -i "s/openwifi.wlan.local/app.cloudswitch.io/g" owsec.env owgw-ui.env owprov.env owsub.env owfms.env owgw.env owanalytics.env owprov-ui.env owrrm.env

note：此处使用已经申请好的域名 app.cloudswitch.io 访问控制器，如果使用ip访问，则直接填写ip地址即可。

4.3 在控制器云管平台打开服务端口

目前控制器需要使用的端口如下表所示：

网络类型	授权方向	授权策略	IP协议	端口范围	优先级	源IP地址段	功能描述
intranet	ingress	Accept	TCP	16011/16011	1	0.0.0.0/0	运维告警
intranet	ingress	Accept	TCP	16006/16006	1	0.0.0.0/0	订阅信息
intranet	ingress	Accept	TCP	15002/15002	1	0.0.0.0/0	连接设备端口
intranet	ingress	Accept	TCP	16002/16003	1	0.0.0.0/0	网关
intranet	ingress	Accept	TCP	16004/16004	1	0.0.0.0/0	固件服务端口
intranet	ingress	Accept	TCP	16009/16009	1	0.0.0.0/0	分析信息
intranet	ingress	Accept	TCP	16005/16005	1	0.0.0.0/0	配置服务端口
intranet	ingress	Accept	TCP	16001/16001	1	0.0.0.0/0	认证服务端口
intranet	ingress	Accept	TCP	5912/5913	1	0.0.0.0/0	rtty远程连接
intranet	ingress	Accept	TCP	443/443	100	0.0.0.0/0	WEBUI服务端口
intranet	ingress	Accept	TCP	22/22	100	0.0.0.0/0	SSH端口

为了控制器能正常运行，需要开通以上端口授权。

4.4 配置域名认证信息（optional）

Note:如果使用ip登录，则可以忽略此章节。
安装certbot软件，申请域名认证

sudo snap install --classic certbot
sudo ln -s /snap/bin/certbot /usr/bin/certbot
sudo certbot certonly --manual dns-01 dns -d "*app.cloudswitch.io"

此处获得的证书在/etc/letsencrypt/live/cloudswitch.io/目录下。
通过如下命令将证书拷贝到控制器相对应目录下即可

sudo cp -L cert.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-cert.pem
sudo cp -L privkey.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-key.pem
sudo cp -L chain.pem /home/ubuntu/controller_V1.0_R005/wlan-cloud-ucentral-deploy/docker-compose/certs/restapi-ca.pem

5 一键启动控制器

进入目录：cd ~/controller_V1.0_ R005T14/wlan-cloud-ucentral-deploy/docker-compose

sudo docker-compose up -dcampus_part_1_ cover

note：如果需要停止控制器可用命令sudo docker-compose down

5.1 安装nginx并配置代理（optional）

NOTE: nginx代理只在需要时安装即可，控制器本身是带有nginx组件的，可以提供web服务。

安装nginx组件 sudo apt install nginx
在nginx相关目录下修改配置文件，以保障能够正确解析域名。

5.2 控制器登录

确保控制器已经安装完成并成功启动，可以在本地web客户端输入对应ip地址或域名登录控制器：
如下图所示：

控制器首次安装后，初始登录账户为：tip@ucentral.com / openwifi
注意登录之后及时修改密码。

登录之后界面如下：

此时，已经完成园区网控制器的安装。

6 Asterfusion CX-M 云化园区交换机

云化园区交换机

配置指导：基于Asterfusion CX-M系列产品的园区网实现- 1.总体规划

1 Purpose
2 项目背景
 3 总体需求
 4 需求分析
 5 公司整体网络示意图
 6 各研发中心内部网络架构规划
 7 各研发中心访问云资源流量示意图
 8 各研发中心互访流量示意图
 9 Asterfusion CX-M enterprise switches as the links below

1 Purpose

为了介绍使用Asterfusion CX-M系列产品及控制器产品实现园区网络整网部署的方法，我们编写了规划、安装、实施和测试验收等一系列文档。通过阅读这些文档，用户可以简单快捷的实现园区网络的规划和部署上线，当用户已经规划好整体网络并做好上线前准备工作后，用户可以在30分钟内实现整网部署上线。本文是第一部分，总体规划，主要根据我们实际部署的经验阐述如何规划一个拥有4研发中心的公司网络，满足各中心网络互联及资源共享的需求。

2 项目背景

Asterfusion公司目前拥有4个研发中心，分别在不同城市，并且拥有1个公有云资源中心和1个私有云资源中心。随着公司业务扩大，各研发中心对网络带宽及资源共享的需求也在逐步增加，为了满足公司各部门的网络需求，我们决定重新规划建设公司整体网络。

3 总体需求

1、公司有4大研发中心，分别位于sz、wh、bj和xa四座城市，并且拥有PA私有云和AWS公有云两大云平台资源池。各地研发中心需要随时访问云资源以及其他城市的服务器资源。
2、各研发中心内部要高速访问服务器资源，需要减少广播报文，并且要保证网络稳定性。
3、各研发中心要访问其他研发中心的服务器资源，以便资源共享，提高研发效率，降低研发成本。
4、公司要求整网统一规划建设和管理运维，以便维护网络安全性及稳定性，同时使各部门互访更便捷。
5、为了更方便维护网络，要求各研发中心的网络流量可视化。

4 需求分析

我们针对总体需求进行认真分析，并给出如下解决方案：

1、针对需求1，可以采用VPN技术使四地研发中心及云资源互联。因此，在各研发中心出口网关位置选用公司CX102S产品作为路由网关，CX102S除了拥有基本交换模块外，还拥有两块DPU，在DPU1上运行openwrt作为出口路由，并且集成wireguard组件，可以方便的搭建VPN网络。
2、针对各研发中心内部高速带宽及减少广播报文的需求，可以采用spine+leaf的整网三层架构部署，并采用分布式网关，各网络设备之间采用10G/40G/100G高速接口互联，从而保证内网带宽。
3、各研发中心互访服务器资源的需求可以通过vpn技术一并解决。
4、本次网络建设使用控制器统一部署，使各地网络全部呈现在控制器上，方便运维和管理。
5、各研发中心的网络流量可视化，通过在出口设备CX102S的DPU2上运行ntopng开源软件来实现。

5 公司整体网络示意图

根据项目总体需求，规划出整体网络如上图所示，其中控制器安装在公有云上，以便管理员随时随地可以查看网络状态。

6 各研发中心内部网络架构规划

其中SZ WH BJ三个研发中心内网统一采用spine+leaf架构进行组网，具体spine、leaf及AP设备的数量根据各地人员数量、研发server数量及办公室面积情况综合确定。内部网络为全三层网络，采用分布式网关Distributed gateway、dhcp-relay、arp-relay、arp-to-host等技术部署。网络出口统一采用CX102S智能网关设备。
网络架构示意图如下：

其中XA研发中心网络由于特殊需求，采用spine+leaf和mc-lag的混合场景组网架构。如下图所示：

7 各研发中心访问云资源流量示意图

以WH office为例，各地研发中心访问云平台如上图所示，在公司园区网出口开启两个vpn客户端，分别连接两个云平台的服务端。

8 各研发中心互访流量示意图

以WH office与SZ office互访为例，将公有云的vpn服务端作为各地互联节点，只需将各地内网的网段路由添加到vpn服务端即可实现互访。

以上就是公司网络的整体规划，接下来我们将按照此规划逐步实施各地网络的部署。

9 Asterfusion CX-M 云化园区交换机

云化园区交换机

51.2T 800G AI智算交换机软硬件系统设计全揭秘

关注星融元

在 AI、HPC 与云计算基础设施飞速演进的当下，性能瓶颈不再源于算力，而是网络系统中的每一个微秒延迟与每一瓦能耗。

为应对这一挑战，星融元推出了旗舰级产品：CX864E-N 64x800G 超低时延 RoCE 交换机。

该产品具备业界领先的560ns端口转发时延和基于 SONiC 的开放网络架构，为下一代 AI 智算网络提供极致性能保障和灵活的方案集成空间。

近期国内外展会上，CX864E-N已吸引了大量客户与行业专家的关注。对此，我们决定不再“藏着掖着”，而是大方展示我们的技术实力与设计理念 —— 星融元将一直以坦诚、开放的态度与客户和同行共同推动开放网络的行业进步。

CX864E-N 早在去年已实现量产并成功部署于多家头部互联网企业与云服务提供商的数据中心，并且交付周期已缩短至约2周，在性能、交期与成本的多维度比较中名列前茅。

CX864E-N 硬件外观概览

设备前面板

在2U高的前面板上，排布着64个800G OSPF 端口，其前后向兼容性可确保从现有的 100GE/200GE/400GE 网络无缝过渡到更高级的800GE，保护历史投资。

在管理口方面，CX864E-N 提供RJ45 MGMT、USB2.0接口及RJ45 Console。

另外，CX864E-N 还提供两个额外的 10G SFP+ 端口，专门用于增强带内网络遥测（INT）等管理功能。这一考虑至关重要，因为 800G 交换机上的每个端口都承担着相当大的工作负载，如出现问题，影响会显著放大，因此需要更精准、实时的通信监控。（当然，客户也还可以根据其他网络需求灵活运用这两个端口）

面板右侧还有6个LED指示灯，其中靠近RJ45口的两个分别为：

LINK/ACT灯，指示 MGMT接口的link及数据通讯状态
SYS灯，指示整机系统的运行状态；

面板右侧竖排四个指示灯从上到下依次为：

BMC状态指示灯（BMC）
电源指示灯（P）
风扇状态指示灯（F）
设备定位指示灯（L）

前面板分布着横、纵向排列的三排小型进风孔。外部冷空气正是通过这些气孔进入机箱内部，与风冷系统协同工作，有效提升整体散热效率。

设备背部

CX864E-N 设备背部配备了4个风扇模块以及2个电源模块，为系统提供稳定、高效的散热与供电保障。所有风扇与电源均支持热插拔，无需中断系统运行。电源模块集中布局于设备左侧，单个功率为 3200W。

您可能会问：市面上的800G交换机大多有6到8个风扇，而CX864E-N仅有4个，散热如何保证？关于这个问题我们会在下一个部分来解答。

CX864E-N 内部硬件

让我们揭开这台高性能交换机的盖版，从左至右，依次探索这款设备的核心构造，深入了解其内部硬件设计。

散热板

首先看到的是大面积覆盖的散热板（已拆出放置），这是我们采用了 3D真空腔均热板技术的高效风冷散热模块。

相比部分厂商选择的水冷方案，该散热设计在整机满配功耗高达 2180W 的极限工况下，依然能够稳定满足系统运行需求，同时将整机功耗控制在业内较低水平，能效表现出色。在该负载条件下，风扇仅需以约 60% 转速运行便可维持散热系统的正常运作，有效控制噪音水平，避免对运行环境造成干扰。

ASIC 模块

散热板下即是 Marvell Teralynx 10 ASIC 模块（以下简称“TL10”）, 安装在 OSFP 接口背后，是整机网络交换处理能力的核心。TL10是一颗基于 5nm 工艺、单芯片架构的可编程交换芯片，提供51.2 Tbps的吞吐能力。

TL10 的超低时延性能是其最大亮点之一，可将端到端时延控制在约 560 纳秒，在同类芯片中表现极为出色。对于 AI 模型训练、推理以及大规模并行计算任务，低延迟意味着更快的同步、更高的吞吐、更低的能耗浪费，从而提升整个集群效率。

大容量片上缓存（200+ MB）：显著提升 RoCE 传输性能，能够有效缓解网络拥塞引发的数据排队与等待问题。相比竞品采用的外置 HBM 方案，片上缓存在功耗、访问延迟以及成本控制方面具备显著优势。
先进的带内遥测（INT）功能
Flowlet 调度机制：通过引入 Flowlet 级别的负载均衡策略，TL10 在高吞吐场景下依然可保持稳定的数据分发效率。该机制显著降低了对缓存资源的依赖，仅需约 200MB，即可满足复杂网络环境下的调度与拥塞控制需求。
高 Radix 架构（512×100GbE）：支持网络大规模横向扩展，助力数据中心从传统三层架构向扁平化两层架构演进，显著减少网络设备数量与布线复杂度，提高整体网络效率与可靠性。
领先的能效比：在面向大规模 AI 训练集群的实际部署中，TL10 相较于同类方案可节省超过 1MW 功耗，在每瓦带宽和计算密度方面处于业界领先水平，显著降低长期运营成本（TCO）。

文末我们将展示基于 TL10 芯片设备的实际延迟测试结果。

电源模组

在ASIC上方是斜向排列的一组电源模组。它们为核心的 ASIC 芯片提供稳定电力支持。值得一提的是，这种非平行布局经过优化，可有效提升电源完整性，为高速数据传输保驾护航。

PTP模块

电源模组上方为 PTP（精确时间协议）模块，支持高达10ns 的PTP与SyncE精度。该模块为可选功能，采用可插拔设计，客户可按需定制，灵活部署。下图是PTP模块已安装与未安装状态的实物图对比。

COMe 模块

长方体组件正是我们的 COMe 模块，基于 x86 架构，搭载 Intel Xeon 处理器，具备强大的计算性能，能够支持 INT-based Routing 等高级网络功能。上面运行我们自研的基于 SONiC -based AsterNOS 操作系统，为交换机提供稳定、高效的控制平面核心，确保整机在复杂网络环境下的灵活调度与可靠运行。

BMC 模块

COMe模块右侧是BMC模块，它同样采用可插拔设计，客户可根据需求升级BMC模块，解锁更高性能与更丰富的管理功能。

NVMe 插槽

COMe 模块左侧是两个全长 2280 的 NVMe 插槽，以及一个兼容 2280 和 2242 尺寸的 M.2 SATA 插槽，为用户提供灵活的本地存储扩展能力。

此外，两个 2280 NVMe 插槽还可选配最多两颗 Hailo-10 AI 加速引擎，支持实时、低延迟且高能效的边缘 AI 推理计算，满足多种智能和AI应用场景的部署需求。

风扇

整机后部配备 4 个可热插拔风扇模块，构成高效简洁的风冷系统。这里也回答了之前的问题，在满负载运行（2180W）下，这套散热方案已完全能够稳定运行，无需塞入额外的风扇来控制温度，大大降低了功耗与系统复杂度。更少的组件，意味着更高的可靠性与更低的运营成本。

其他补充

CX864E-N 整机内部仅使用了一根线缆，其他连接均通过高性能连接器实现板间互联，避免了因复杂线缆引起的信号干扰和维护难题。相比一些友商使用多根线缆的做法，这种设计更可靠，也更利于长期稳定运行。

CX864E-N的PCB采用全球领先的制造工艺，并选用业内已大规模量产的顶级高性能板材，结合Vippo、盲孔（Blind Hole）、背钻（Back Drill）等先进技术工艺，全面满足112G高速SerDes在信号完整性（Signal Integrity）、损耗（Loss）、串扰（Crosstalk）等方面的严苛技术要求。

CX864E-N 软件概述

星融元 CX864E-N交换机搭载企业级 SONiC 发行版 —— AsterNOS。我们致力于打造业界领先的企业版 SONiC，助力客户构建高性能、智能化的网络系统，从控制面到数据面构建起软硬一体的协同架构。

加速 AI 网络，释放超算潜能

作为超以太网联盟（UEC）的早期成员，Asterfusion 借助超级以太网技术，将网络利用率提升至 90% 甚至更高，全面加速 AI 网络部署与数据中心演进。

解锁AI数据中心潜力：网络利用率如何突破90%？

星融元 CX864E-N RoCE交换机通过 Flowlet 负载均衡、基于 INT 的智能路由与 WCMP 等先进技术，实现 AI 训练与推理网络超过 90% 的利用率。这不仅显著提升 AI 工作负载效率，同时有效降低数据中心建设与运营成本

全功能交钥匙解决方案：AsterNOS 基于社区 SONiC 构建，强化了 EVPN 多归属、RoCEv2、Ansible 自动化等企业特性，专为复杂部署环境而设计。与自研的开放网络硬件深度适配，提供真正即插即用的一体化解决方案。
更快的版本发布节奏与响应机制：相比社区半年一版的发布频率AsterNOS 实现了季度新版本发布，确保客户需求与问题能被快速响应与解决。
专业支持团队，灵活定制服务：超过 120 名SONiC软件研发工程师，为客户提供专业、灵活的服务支持，包括定制功能开发、问题定位优化以及全方位的技术咨询。
双模式CLI风格，提升用户体验：除了 Linux 风格的 Bash CLI，AsterNOS 还基于 Klish 实现了 Cisco 风格的命令行界面，帮助网络工程师更轻松上手，降低学习曲线。

560ns 超低转发时延、64×800G OSFP 高密度接口、TL10单芯片架构、超大片上缓存、板间无缆互联、定制级 PTP和AI 模块、每一行走线，每一个模块、都是星融元面向 AI 工作负载与低延迟网络的工程化答案。

附录：相关测试数据

配置指导：配置显示拥塞通知ECN

工作原理

ECN需要主动队列管理AQM策略结合才能发挥作用。路由器在队列溢出前检测到拥塞，在IP报头中设置Congestion Experienced (CE) Codepoint代码点来指示正在发生拥塞。

IP层对ECN的支持

在网络层一个发送主机必须能够表明自身能支持ECN与否，路由器在转发时必须能够表明它正在经历拥塞。ECN 使用 IPv4 首部或 IPv6 首部中 ToS (Type of Service，位于首部第 9 到 16 比特位) 字段的两个最低有效位（最右侧的位编码）来表示四个状态码。

IP 报文头部中的DSCP 字段有2 Bit 用于标识ECN。这2 个Bit 分别是：ECT（ECN Capable Transport）用来标识发送端设备是否支持ECN功能和CE（Congestion Experienced）用于标识报文在传输路径上是否经历过拥塞。

图1：IP Header中的ECN Bit

当ECT为0，CE为0时，表示IP报文不支持ECN
当ECT为0，CE为1时，表示IP报文支持ECN
当ECT为1，CE为0时，表示IP报文支持ECN
当ECT为1，CE为1时，表示IP报文支持ECN，且发生了拥塞

当两端支持 ECN 时，它将数据包标为 ECT(0) 或 ECT(1)。如果分组穿过一个遇到阻塞并且相应路由器支持 ECN 的活动队列管理（AQM）队列，它可以将代码点更改为CE而非丢包。这种行为就是“标记”，其目的是通知接收端即将发生拥塞。在接收端，该拥塞指示由上层协议（传输层协议）处理，并且需要将信号回传给发送端，以通知其降低传输速率。

因为 CE 指示只能由支持它的上层协议有效处理，ECN 只能配合上层协议使用。例如 TCP 协议，它支持阻塞控制并且有方法将 CE 指示回传给发送端。

IP层ECN报文交互

ECN 是报文在网络设备出口发生拥塞时，将使能ECN（当IP 报文的ECN 字段为01 或10，表示使能ECN）的IP 报文头部的ECN 字段标记ECN=11，表示该IP 报文遇到网络拥塞，且该IP 报文不会被WRED 机制丢弃。如果接收服务器发现IP 报文的ECN 字段被标记成11，就立刻产生CNP 拥塞通知报文，并将该报文发送带源服务器，CNP 消息里包含了拥塞的数据流信息，远端服务器接收到后，通过降低相应的数据流发送速率，环节网络设备拥塞，从而避免发生丢包。

发送端发送IP 报文标记ECN(ECN=10)
交换机在队列拥塞的情况下收到该报文，将ECN 字段修改为11 并转发出去
接收服务器收到ECN 为11 的报文发送拥塞，正常处理该报文
接收端产生拥塞通告，周期发送CNP（Congestion Notification Packets）报文，ECN字段为01，要求报文不能被网路丢弃
交换机收到CNP 报文后正常转发该报文
发送服务器收到ECN 标记为01 的CNP 报文解析后对相应的数据流限速算法

CNP报文格式

CNP作为拥塞控制报文，也会存在延迟和丢包，从发送端到接收端经过的每一跳设备、每一条链路都会有一定的延迟，会最终加大发送端接收到CNP的时间，而与此同时交换机端口下的拥塞也会逐步增多，若发送端不能及时降速，仍然可能造成丢包。建议拥塞通告域的规模不要过大，从而避免因为ECN控制报文交互回路的跳数过多，而影响发送端无法及时降速，造成拥塞。

图3：CNP协议报文格式

TCP层对ECN的支持

TCP支持使用TCP头中的三个标记来支持ECN。第一个标记是随机和（Nonce Sum，简称NS），用于防止TCP发送者的数据包标记被意外或恶意改动。另两位用于回传拥塞指示和确认接收到了拥塞指示回应。这即是ECN-Echo（ECE）和Congestion Window Reduced（CWR）位，图4为TCP Header中的CWR和ECE flag。

图4：TCP Header中的CWR和ECE flag

TCP SYN握手包会包含两个额外的flag： ECN-echo(ECE)和Congestion Window Reduced (CWR) 。这样双方就可以协商在数据传输期间是否可以正确的处理设置了CE位的数据包。
发送方在所有发送的数据包中设置ECN Capable Transport (ECT) 位。
如果发送方收到一个TCP数据包，报头中设置了ECE flag，则发送方将调整其拥塞窗口，就像它从丢失的数据包中快速恢复一样。发送方下一个数据包设置CWR flag，向接收方表明它已对拥塞做出反应。发送方在每个RTT间隔最多做出一次这种反应。
当接收方接收到设置了CE 位的数据包时，接收方将在所有数据包中设置 ECE flag。这将一直持续到它收到一个设置了CWR flag的数据包，表明发送方已经对拥塞做出了反应。 ECT 标志仅在包含数据有效载荷的数据包中设置。发送不包含数据有效载荷的 TCP ACK 数据包时，应清除 ECT 位。

TCP层ECN报文交互

当在一个TCP连接上协商ECN后，发送方指示连接上的TCP段携带IP分组传输流量，将支持ECN的传输用ECT码点标记。这使支持ECN的中间路由器可以标记具有CE码点的IP分组而不是丢弃它们，以指示即将发生的阻塞。

当接收到具有遇到阻塞码点时，TCP接收者使用TCP头中的ECE标记回传这个阻塞指示。当一个端点收到TCP带有ECE位的段时，它减少其拥塞窗口来代替丢包。然后，它设置段的CWR位来确认阻塞指示。节点保持传输设置有ECE位的TCP段，直到它接收到设置有CWR的段。

图5：TCP层ECN报文交互示意图

发送端主机发送Segment 1-5到接收端，这些Segment全部都设置了ECT
Segment 2由遇到阻塞的支持ECN的路由器转发，路由器将IP头设置CE代码点，这里检测到拥塞后的策略并不是直接丢弃数据包
接收端收到Sgement 2后，它会发送带有ECE flag的ACK
交换机收到报文后正常转发该报文
发送端收到带有ECE flag的第一个ACK时，它会降低其传输速率并发送带有CWR flag的下一个Segmemt 6，就好像检测到了丢包一样。同时接收端收到Segment 6后，因为已经解除拥塞所以发送的后续ACK将清除ECE flag

两个ECT Codepoints机制

在RFC2481中，ECN字段被分为ECN-Capable Transport(ECT) bit和CE bit。ECT对应着ECT(0) codepoint。ECT(1)在RFC2481中没有定义，所以在只支持单个ECT codepoint的时候，应该使用ECT(0)。
在RFC3168中，两个ECT codepoint的主要动机是提供一位ECN nouce随机数，路由器在设置CE codepoint时必须“擦除”这个随机数(擦除 CE codepoint的路由器在重建原始随机数时将面临额外的困难，因此终端节点更有可能检测到CE codepoint的重复擦除)。ECN nouce允许为发送方提供一种机制，验证网络元素没有擦除掉CE，并且接收方正确地向发送方报告接收到了带有CE codepoint的数据包。
发送方检测有缺陷网络元素的另一种方法是不定期的发送CE codepoint数据包，以查看接收方是否报告接收到。如果这些数据包在网络中遇到拥塞，路由器可能不会更改数据包，因为 CE codepoint已经设置，所以发送方无法确定路由器是否打算在这些数据包中设置 CE codepoint。并且与ECN随机数相比，对有缺陷网络元素和接收器的检查效率较低。
TCP设置ECN的规则
如果Host收到过ECN-setup SYN packet，那么它才能发送ECN-setup SYN-ACK packet
Host不能在packet上设置ECT，除非它已发送过ECN-setup SYN或ECN-setup SYN-ACK packet，并且已收到过ECN-setup SYN或ECN-setup SYN-ACK packet，并且没有发送过non-ECN-setup SYN 或non-ECN-setup SYN-ACK packet
如果Host收到过non-ECN-setup SYN或non-ECN-setup SYN-ACK packet，则它不应在packet上设置 ECT
如果Host曾在packet上设置ECT，则它必须正确设置/清除连接中所有后续packet中的CWR TCP bit
如果Host发送过ECN-setup SYN 或 ECN-setup SYN-ACK packet，并且没有收到 non-ECN-setup SYN 或 non-ECN-setup SYN-ACK packet。那么如果Host收到ECT 和CE设置了的packet，那么它必须按照支持ECN连接指定的方式处理这些packet
Host如果不愿意在TCP连接上使用ECN，则它应该清除packet中的ECE和CWR标志
Host不能在SYN 或SYN-ACK packet上设置 ECT

Fast ECN

当交换机队列中缓存数据包超过ECN阈值时，交换机会将拥塞信息标记报文的ECN字段，并携带到发送端服务器以通知其网络拥塞。接收端服务器接收到带有ECN字段的数据包后，发送CNP通知发送端服务器调整发送速率。

图6：传统ECN处理机制

如上图所示，当数据报文进入队列排队时，传统的显式拥塞通知（ECN）判断队列使用的缓存是否超过ECN阈值。如果超过ECN阈值，交换机将数据报文IP头部中的ECN字段标记为11。发送端服务器接收带有ECN字段标记的数据报文的时间为交换机队列的数据包转发时间加上网络中标记的数据包转发时间。如果网络存在严重的网络拥塞，则ECN的反馈不及时可能会加剧队列拥塞。

图7：Fast ECN处理机制

Fast ECN通过在数据报文出队列时，标记数据报文的ECN字段，从而缩短了入队列标记ECN的数据包转发时延，接收端服务器可以在最小的时延接收到ECN标记的数据报文，从而加快发送端速率的调整。

配置实例

网络拓扑

图8：ECN物理网络拓扑

服务器端配置

Server1

[root@server1 ~]# modprobe 8021q
[root@server1 ~]# vconfig add ens1f3 100
[root@server1 ~]# ifconfig ens1f3.100 1.1.1.2/24 up
[root@server1 ~]# route add -net 1.1.0.0 netmask 255.255.0.0 gw 1.1.1.1

Server2

[root@server2 ~]# modprobe 8021q
[root@server2 ~]# vconfig add ens1f3 200
[root@server2 ~]# ifconfig ens1f3.200 1.1.2.2/24 up
[root@server2 ~]# route add -net 1.1.0.0 netmask 255.255.0.0 gw 1.1.2.1

交换机端配置

配置CISCO-LIKE命令行

在交换机配置时，需要先配置CLI模式。然后进入CISCO-LIKE视图，使用CISCO-LIKE命令行进行配置操作。

admin@sonic:~$ sudo config cli-mode cli
admin@sonic:~$ sudo sonic-cli
sonic#

交换机A

sonic# configure terminal
sonic(config)# vlan 100
sonic(config)# vlan 200
sonic(config)# interface ethernet 0/9
sonic(config-if-0/0)# switchport trunk vlan 100
sonic(config)# interface ethernet 0/10

发送流量包

sonic(config-if-0/0)# switchport trunk vlan 200
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 1.1.1.1/24
sonic(config)# interface vlan 200
sonic(config-vlanif-100)# ip address 1.1.2.1/24

Server1和Server2配置了Mellanox网卡，在Server2建立服务端，Server1建立客户端发送IB流量。

Server2：
[root@server3 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3
Server1：
[root@server1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.2.2 -T 12

交机限速

对交换机A出口做端口限速处理，发包时容易产生拥塞。

sonic# configure terminal
sonic(config)# policy-map table-policy
sonic(config-pmap-table-policy)# port-shape 8000000 12800
sonic(config)# interface ethernet 0/10
sonic(config-if-0/4)# service-policy table-policy

观察拥塞情况

交换机A

观察交换机A出口的拥塞情况，可以看到在限速的情况下发IB流量包，交换机A出口没有配置ECN的情况下发生了拥塞

sonic# show counters queue 0/10

Server1

观察服务器Server1的IB发包带宽, 可以看到服务器Server1在没有配置ECN发生拥塞的情况下，发包的平均带宽为4.59Gb/s。
[root@serveer1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.5.2

配置交换机ECN功能

交换机A

sonic# configure terminal
sonic(config)# wred ecnname
sonic(config-wred-ecnname)# mode ecn gmin 15000 gmax 150000\
gprobability 20
sonic(config)# class-map ecn1
sonic(config-cmap-ecn)# match cos 0
sonic(config)# policy-map ecn2
sonic(config-pmap-enc2)# class ecn1
sonic(config-pmap-enc2)# wred ecnname
sonic(config)# interface ethernet 0/9
sonic(config-if-0/9)# service-policy ecn2
sonic(config)# interface ethernet 0/10
sonic(config-if-0/10)# service-policy ecn2

Server1

[root@Server1 ~]# echo 1 > /proc/sys/net/ipv4/tcp_ecn
[root@Server1 ~]# cma_roce_mode -d mlx5_0 -p 1 -m 2

Server2

[root@Server2 ~]# echo 1 > /proc/sys/net/ipv4/tcp_ecn
[root@Server2 ~]# cma_roce_mode -d mlx5_1 -p 1 -m 2
[root@Server2 ~]# echo 41 > /sys/class/net/enp2s0f1/ecn/roce_np/cnp_dscp

观察ECN功能

清空流量包计数

清空交换机A的流量包计数。

sonic# clear counters queue
Clear saved counters

发送IB流量

Server1和Server2配置了Mellanox网卡，在Server2建立服务端，Server1建立客户端发送IB流量。
Server2：[root@server3 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3
Server1：
[root@server1 ~]# ib_send_bw -R -x 5 -d mlx5_0 -F –report_gbits -f 2 -D 800 -S 3 1.1.2.2 -T 128

交换机A

观察交换机A入口是否收到CNP的返回流量，cnp_dscp的值设置为41，对应通道UC5。
同时观察交换机A出口的拥塞丢包情况。

sonic# show counters queue 0/10

sonic# show counters queue 0/9

Server1

同时观察到交换机A出口配置ECN的情况下拥塞几乎消失，交换机A入口的队列5收到了CNP的返回流量。Server1发包的平均带宽为5.9Gb/s。

[root@server1 ~]# ib_send_bw -R -x5 -d mlx5_1 -F –report_gbits –rate_limit=100 -f 2 -D 800 -S 3 1.1.2.2

参考资料

返回资源中心

配置指导：云网扩容/新增Pod

1 扩容Pod方案

1.1 组网拓扑

1.2 验证流程

1.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Leaf2的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果1.2.2-1。

在Server1上，ping Server2，有结果1.2.2-2。

验证扩容时和扩容后的组网：

完成Spine2、Leaf3，以及Server3的网络配置，让Spine1、Leaf1、Leaf2上与扩容设备Spine2、Leaf3的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果1.2.2-3。

然后，打开原Pod上被shutdown的互联口，完成Pod内扩容设备的正式接入。

在Server3上，分别ping Server1和Server2，有结果1.2.2-4。

观察接入时Server1长ping Server2的情况，有结果1.2.2-5。

1.2.2 结果

结果1.2.2-1：

Server1 172.16.1.11可以ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果1.2.2-2：

Server1 172.16.1.11可以ping通Server2 172.16.1.12。

结果1.2.2-3：

Server3 172.16.1.13此时无法分别ping通Server1 172.16.1.11和Server2 172.16.1.12。

结果1.2.2-4：

no shutdown原Pod设备上的互联口，完成扩容设备的正式接入之后，Server3立即可以分别ping通Server1和Server2。

1.3 结论

对于扩容Pod方案，在扩容期间，原Pod的Overlay网络（172.16.1.0/24）下的接入设备的通信一切正常，不会受到影响。扩容完成后，新增设备可以和原有的接入设备正常互通。

2 新增Pod方案

2.1 组网拓扑

2.2 验证流程

2.2.1 操作步骤

验证扩容前的组网：

完成Spine1、Leaf1、Border的交换机配置，以及Server1、Server2的网络配置。

在Server1上，ping Overlay（172.16.1.0/24）网络的网关，有结果2.2.2-1。

在Server1上，通过172.16.1.0/24的IP ping Underlay（10.0.0.0/24）网络的网关，有结果2.2.2-2。

验证扩容时和扩容后的组网：

完成Superspine、Spine2、Leaf2，以及Server3的网络配置，让Superspine与Spine1之间的互联口先保持shutdown状态。在Server1上，长ping Server2。

在Server3上，分别ping Server1和Server2，有结果2.2.2-3。

然后，打开Superspine与Spine1之间的互联口，完成扩容Pod的正式接入。

在Server3上，分别ping Server1和Server2，有结果2.2.2-4。

观察接入时Server1长ping Server2的情况，有结果2.2.2-5。

2.2.2 结果

结果2.2.2-1：

Server1 172.16.1.11可以Ping通Overlay（172.16.1.0/24）网络的网关172.16.1.1。

结果2.2.2-2：
Server1 172.16.1.11可以ping通Server2 10.0.0.12，即Overlay网络（172.16.1.0/24）可以和Underlay网络（10.0.0.0/24）互访。

结果2.2.2-3：

Server3 172.16.1.13此时无法别ping通Server1和Server2。

结果2.2.2-4：

no shutdown Superspine与Spine1之间的互联口，完成扩容Pod的正式接入之后，Server3立即可以分别ping通Server1和Server2。

结果2.2.2-5：

在扩容接入新Pod期间，Server1长ping Server2的流量没有受到影响、没有丢包。

2.3 结论

新增Pod（共享Border）的扩容方案中，扩容期间，原Pod的Overlay网络（172.16.1.0/24）和Underlay网络（10.0.0.0/24）的通信一切正常，不会受到影响。扩容完成后，新增Pod的接入设备可以和原Pod的接入设备、Border正常互通。

3 交换机和服务器网络配置

3.1 扩容Pod方案

3.1.1 服务器

3.1.2 交换机

3.1.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.1.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 19                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 19                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 neighbor 11.2.3.10 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  neighbor 11.2.3.10 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.1.2.3 Leaf-03

leaf-03# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/76                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-03                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65502                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-03#

3.1.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.21 remote-as 65505                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.1.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.9 remote-as 65503                                                                                                                                                                                                         
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.17 remote-as 65501                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.9 activate                                                                                                                                                                                                               
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2 新增Pod方案

3.2.1 服务器

3.2.2 交换机

3.2.2.1 Leaf-01

leaf-01# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 18                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 18                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 18                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/20                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/22                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.1/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.18/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 18                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 18                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-01                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.18                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65501                                                                                                                                                                                                                           
 bgp router-id 10.23.1.18                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.2 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.2 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-01#

3.2.2.2 Leaf-02

leaf-02# show running-config                                                                                                                                                                                                               
!                                                                                                                                                                                                                                          
vrf 20                                                                                                                                                                                                                                     
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 20                                                                                                                                                                                                                                    
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
access-list ab l3 ingress                                                                                                                                                                                                                  
 bind interface ethernet 0/0                                                                                                                                                                                                               
 rule 100 source-ip 0.0.0.0/0 packet-action copy-to-cpu                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport access vlan 20                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/16                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.13/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.20/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 20                                                                                                                                                                                                                          
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 20                                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname leaf-02                                                                                                                                                                                                                           
!                                                                                                                                                                                                                                          
evpn-overlay enable                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.20                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65505                                                                                                                                                                                                                           
 bgp router-id 10.23.1.20                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.14 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.14 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
leaf-02#

3.2.2.3 Border

border# show running-config                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
vrf 17216                                                                                                                                                                                                                                  
 vni 10172                                                                                                                                                                                                                                 
exit-vrf                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
vlan 1719                                                                                                                                                                                                                                  
 vni 17216                                                                                                                                                                                                                                 
!                                                                                                                                                                                                                                          
vlan 19                                                                                                                                                                                                                                    
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
 speed 10000                                                                                                                                                                                                                               
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/1                                                                                                                                                                                                                     
 speed 10000                                                                                                                                                                                                                               
 switchport                                                                                                                                                                                                                                
 switchport access vlan 19                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/48                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/52                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/56                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/60                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/64                                                                                                                                                                                                                    
 ip address 11.2.3.5/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/72                                                                                                                                                                                                                    
 ip address 11.2.3.9/30                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.19/32                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 1719                                                                                                                                                                                                                        
 arp proxy mode evpn                                                                                                                                                                                                                       
 ip address 172.16.1.1/24                                                                                                                                                                                                                  
 mac-address 00:11:22:33:44:55                                                                                                                                                                                                             
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vlan 19                                                                                                                                                                                                                          
 ip address 10.0.0.1/24                                                                                                                                                                                                                    
 vrf 17216                                                                                                                                                                                                                                 
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname border                                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 ip address 10.230.1.19/24 gw 10.230.1.1                                                                                                                                                                                                   
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface vxlan 0                                                                                                                                                                                                                          
 source 10.23.1.19                                                                                                                                                                                                                         
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65510                                                                                                                                                                                                                           
 bgp router-id 10.23.1.19                                                                                                                                                                                                                  
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.6 remote-as 65502                                                                                                                                                                                                         
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.6 activate                                                                                                                                                                                                               
  advertise-all-vni                                                                                                                                                                                                                        
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
router bgp 65510 vrf 17216                                                                                                                                                                                                                 
 !                                                                                                                                                                                                                                         
 address-family ipv4 unicast                                                                                                                                                                                                               
  redistribute connected                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  advertise ipv4 unicast                                                                                                                                                                                                                   
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
border#

3.2.2.4 Spine-01

spine-01# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.2/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.6/30                                                                                                                                                                                                                    
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.17/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.7/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-01                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
lldp enable                                                                                                                                                                                                                                
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.18                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65502                                                                                                                                                                                                                           
 bgp router-id 10.23.1.7                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.1 remote-as 65501                                                                                                                                                                                                         
 neighbor 11.2.3.5 remote-as 65510                                                                                                                                                                                                         
 neighbor 11.2.3.18 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.1 activate                                                                                                                                                                                                               
  neighbor 11.2.3.5 activate                                                                                                                                                                                                               
  neighbor 11.2.3.18 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-01#

3.2.2.5 Spine-02

spine-02# show running-config                                                                                                                                                                                                              
!                                                                                                                                                                                                                                          
vrf mgmt                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
interface ethernet 0/40                                                                                                                                                                                                                    
 ip address 11.2.3.14/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/44                                                                                                                                                                                                                    
 ip address 11.2.3.10/30                                                                                                                                                                                                                   
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/80                                                                                                                                                                                                                    
 ip address 11.2.3.21/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.8/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname spine-02                                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
interface mgmt 0                                                                                                                                                                                                                           
 vrf mgmt                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 11.2.3.22                                                                                                                                                                                                               
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65504                                                                                                                                                                                                                           
 bgp router-id 10.23.1.8                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.13 remote-as 65505                                                                                                                                                                                                        
 neighbor 11.2.3.22 remote-as 65503                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.13 activate                                                                                                                                                                                                              
  neighbor 11.2.3.22 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
line vty                                                                                                                                                                                                                                   
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
spine-02#

3.2.2.6 Superspine

superspine# show running-config                                                                                                                                                                                                            
!                                                                                                                                                                                                                                          
interface ethernet 0/0                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/12                                                                                                                                                                                                                    
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/32                                                                                                                                                                                                                    
 ip address 11.2.3.18/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/36                                                                                                                                                                                                                    
 ip address 11.2.3.22/30                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/4                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface ethernet 0/8                                                                                                                                                                                                                     
 shutdown                                                                                                                                                                                                                                  
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
interface loopback 0                                                                                                                                                                                                                       
 ip address 10.23.1.9/32                                                                                                                                                                                                                   
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
hostname superspine                                                                                                                                                                                                                        
!                                                                                                                                                                                                                                          
ip route 0.0.0.0/0 10.230.1.1 200                                                                                                                                                                                                          
!                                                                                                                                                                                                                                          
router bgp 65503                                                                                                                                                                                                                           
 bgp router-id 10.23.1.9                                                                                                                                                                                                                   
 no bgp ebgp-requires-policy                                                                                                                                                                                                               
 neighbor 11.2.3.17 remote-as 65502                                                                                                                                                                                                        
 neighbor 11.2.3.21 remote-as 65504                                                                                                                                                                                                        
 !                                                                                                                                                                                                                                         
 address-family l2vpn evpn                                                                                                                                                                                                                 
  neighbor 11.2.3.17 activate                                                                                                                                                                                                              
  neighbor 11.2.3.21 activate                                                                                                                                                                                                              
  advertise-all-vni                                                                                                                                                                                                                        
 exit-address-family                                                                                                                                                                                                                       
exit                                                                                                                                                                                                                                       
!                                                                                                                                                                                                                                          
end                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                           
superspine#

配置指导：CX-N系列交换机组网配置 EVPN Multi-homing

1 目标概述

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

1 目标概述

本文主要描述在CX-N的云区组网中，通过EVPN Multi-homing的方案实现一台Server同时在多台交换机上挂载，提供all-active 冗余机制，实现负载均衡、故障收敛等功能。

2 方案拓扑

3 设备角色及地址规划

3.1 设备角色、ASN、管理IP地址规划

设备角色、BGP AS号、设备带外管理地址、环回口地址信息如下表：

3.2 带内管理网络业务IP地址表

带内管理网络互联地址信息入下表：

4 硬件与软件环境

4.1 硬件环境

4.2 软件环境

5 配置过程

5.1 Spine01交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.1/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.5/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.9/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.13/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.9/32
sonic(config-loif-0)#exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65209
sonic(config-router)# bgp router-id 172.61.0.9
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.2 remote-as 65205
sonic(config-router)# neighbor 172.62.0.2 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.6 remote-as 65206
sonic(config-router)# neighbor 172.62.0.6 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.10 remote-as 65207
sonic(config-router)# neighbor 172.62.0.10 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.14 remote-as 65208
sonic(config-router)# neighbor 172.62.0.14 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.9/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.2 Spine02交换机配置

sonic# configure terminal
#配置互联口
sonic(config)# interface ethernet 0/0
sonic(config-if-0/0)# ip address 172.62.0.17/30
sonic(config-if-0/0)# interface ethernet 0/4
sonic(config-if-0/4)# ip address 172.62.0.21/30
sonic(config-if-0/4)# interface ethernet 0/8
sonic(config-if-0/8)# ip address 172.62.0.25/30
sonic(config-if-0/8)# interface ethernet 0/12
sonic(config-if-0/12)# ip address 172.62.0.29/30
sonic(config-if-0/12)# q
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.10/32
sonic(config-if-0/12)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# q
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# q
sonic(config)# router bgp 65210
sonic(config-router)# bgp router-id 172.61.0.10
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.18 remote-as 65205
sonic(config-router)# neighbor 172.62.0.18 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.22 remote-as 65206
sonic(config-router)# neighbor 172.62.0.22 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.26 remote-as 65207
sonic(config-router)# neighbor 172.62.0.26 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.30 remote-as 65208
sonic(config-router)# neighbor 172.62.0.30 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.10/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)#q
#配置EVPN
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#write

5.3 Leaf01交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.5/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.2/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.18/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65205
sonic(config-router)# bgp router-id 172.61.0.5
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.1 remote-as 65209
sonic(config-router)# neighbor 172.62.0.1 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.17 remote-as 65210
sonic(config-router)# neighbor 172.62.0.17 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.5/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.5
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.4 Leaf02交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.6/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.6/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.22/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# exit
sonic(config)# interface ethernet 0/1
sonic(config-if-0/1)# link-aggregation-group 6
sonic(config-if-0/1)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:01
sonic(config-lagif-5)# exit
sonic(config)# interface link-aggregation 6
sonic(config-lagif-6)# switchport trunk vlan 100
sonic(config-lagif-6)# switchport trunk vlan 200
sonic(config-lagif-6)# lacp system-id 00:00:01:00:00:02
sonic(config-lagif-6)# exit
sonic(config)# vrf 123
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 123
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 123
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65206
sonic(config-router)# bgp router-id 172.61.0.6
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.5 remote-as 65209
sonic(config-router)# neighbor 172.62.0.5 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.21 remote-as 65210
sonic(config-router)# neighbor 172.62.0.21 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.6/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)#exit
sonic(config-router)#exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.6
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 123
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 100
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:01
sonic(config-lagif-5)# interface link-aggregation 6
sonic(config-lagif-6)# evpn mh es-id 200
sonic(config-lagif-6)# evpn mh es-sys-mac 00:00:01:00:00:02
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.5 Leaf03交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.7/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.10/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.26/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 # VLAN MAC
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65207
sonic(config-router)# bgp router-id 172.61.0.7
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.9 remote-as 65209
sonic(config-router)# neighbor 172.62.0.9 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.25 remote-as 65210
sonic(config-router)# neighbor 172.62.0.25 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.7/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.7
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.6 Leaf04交换机配置

sonic# configure terminal
sonic(config)# interface loopback 0
sonic(config-loif-0)# ip address 172.61.0.8/32
#配置互联口
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# ip address 172.62.0.14/30
sonic(config-if-0/48)# interface ethernet 0/52
sonic(config-if-0/52)# ip address  172.62.0.30/30
sonic(config-if-0/52)# exit
#配置聚合口
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# exit
sonic(config)# interface ethernet 0/0 
sonic(config-if-0/0)# link-aggregation-group 5
sonic(config-if-0/0)# exit
sonic(config)# vlan 100
sonic(config-vlan-100)# exit
sonic(config)# vlan 200
sonic(config-vlan-200)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# switchport trunk vlan 100
sonic(config-lagif-5)# switchport trunk vlan 200
sonic(config-lagif-5)# lacp system-id 00:00:01:00:00:03
sonic(config-lagif-5)# exit
sonic(config)# vrf 124
sonic(config-vrf)# exit
sonic(config)# interface vlan 100
sonic(config-vlanif-100)# ip address 100.0.0.1/16
sonic(config-vlanif-100)# mac-address 00:11:22:33:44:55 
sonic(config-vlanif-100)# vrf 124
sonic(config-vlanif-100)# interface vlan 200
sonic(config-vlanif-200)# ip address 200.0.0.1/16
sonic(config-vlanif-200)# mac-address 00:11:22:33:44:66
sonic(config-vlanif-200)# vrf 124
sonic(config-vlanif-200)# exit
#配置BGP
sonic(config)# route-map FROM_BGP_PEER_V4 permit 65535
sonic(config-route-map)# exit
sonic(config)# route-map DEFAULT_EVPN_ROUTE_MAP permit 15
sonic(config-route-map)# exit
sonic(config)# router bgp 65208
sonic(config-router)# bgp router-id 172.61.0.8
sonic(config-router)# neighbor PEER_V4_EBGP peer-group
sonic(config-router)# neighbor 172.62.0.13 remote-as 65209
sonic(config-router)# neighbor 172.62.0.13 peer-group PEER_V4_EBGP
sonic(config-router)# neighbor 172.62.0.29 remote-as 65210
sonic(config-router)# neighbor 172.62.0.29 peer-group PEER_V4_EBGP
sonic(config-router)# address-family ipv4 unicast
sonic(config-router-af)# network  172.61.0.8/32
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map FROM_BGP_PEER_V4 out
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# redistribute connected
sonic(config-router-af)# exit
sonic(config-router)# address-family l2vpn evpn
sonic(config-router-af)# advertise-all-vni 
sonic(config-router-af)# neighbor PEER_V4_EBGP activate
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP in
sonic(config-router-af)# neighbor PEER_V4_EBGP route-map DEFAULT_EVPN_ROUTE_MAP out
sonic(config-router-af)# exit
sonic(config-router)# exit
#配置EVPN
sonic(config)# interface vxlan 0
sonic(config-vxlanif-0)# source 172.61.0.8
sonic(config-vxlanif-0)# exit
sonic(config)# vlan 100
sonic (config-vlan-100)# vni 100
sonic (config-vlan-100)# exit
sonic(config)# vlan 200
sonic (config-vlan-200)# vni 200
sonic (config-vlan-200)# exit
sonic(config)# vrf 124
sonic(config-vrf)# vni 1000
sonic(config-vrf)# exit
sonic(config)# evpn mh redirect-off 
sonic(config)# evpn mh mac-holdtime 0
sonic(config)# evpn mh neigh-holdtime 0
sonic(config)# interface ethernet 0/48
sonic(config-if-0/48)# evpn mh uplink
sonic(config-if-0/48)# exit
sonic(config)# interface ethernet 0/52
sonic(config-if-0/52)# evpn mh uplink
sonic(config-if-0/52)# exit
sonic(config)# interface link-aggregation 5
sonic(config-lagif-5)# evpn mh es-id 300
sonic(config-lagif-5)# evpn mh es-sys-mac 00:00:01:00:00:03
sonic(config-vrf)# write
sonic(config-vrf)# reload

5.7 Server1及虚机配置

#配置bond0为hash模式
[root@Sever1 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f0
DEVICE="ens1f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens1f1
DEVICE="ens1f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.2/24 dev eth0.100
ip addr add 200.0.0.2/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up
ifconfig eth0.100 hw ether 52:54:00:34:c8:d9
ifconfig eth0.200 hw ether 52:54:00:34:c8:d0

5.8 Server2及虚机配置

#配置bond0为hash模式
[root@Sever2 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.3/24 dev eth0.100
ip addr add 200.0.0.3/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

5.9 Server3及虚机配置

#配置bond0为hash模式
[root@Sever3 ~]# cat  /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
USERCTL=yes
BONDING_OPTS="miimon=100 mode=4 lacp_rate=fast xmit_hash_policy=layer3+4 fail_over_mac=1 "
MASTER=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f0
DEVICE="enp2s0f0"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

[root@Sever3 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0f1
DEVICE="enp2s0f1"
BOOTPROTO=none
ONBOOT="yes"
MASTER=bond0
SLAVE=yes

#重新加载bonding模块，重启网络

#添加并绑定网桥 
brctl addbr br0
brctl addif br0 bond0
ifconfig br0 up

#启动虚机
virt-install --name VM1 --ram 2048 --vcpus 2 \
 --disk path=/opt/CentOS-7-x86_64-GenericCloud.qcow2,size=10,format=qcow2  --accelerate \
--vnc  --vncport=5911 --vnclisten=0.0.0.0 \
--network bridge=br0,model=virtio  \
--import \
--noautoconsole

#进入虚机，创建Vlan接口及配置IP
ip link add link eth0 name eth0.100 type vlan id 100
ip link add link eth0 name eth0.200 type vlan id 200
ip addr add 100.0.0.4/24 dev eth0.100
ip addr add 200.0.0.4/24 dev eth0.200
ip link set dev eth0.100 up
ip link set dev eth0.200 up

6 查看BGP状态

6.1 Leaf01 BGP状态

6.2 Leaf02 BGP状态

6.3 Leaf03 BGP状态

6.4 Leaf04 BGP状态

6.5 Spine01 BGP状态

6.6 Spine02 BGP状态

7 查看聚合状态

7.1 Leaf01聚合状态

7.2 Leaf02聚合状态

7.3 Leaf03 聚合状态

7.4 Leaf04 聚合状态

8 查看VxLAN隧道状态

8.1 Leaf01状态

8.2 Leaf02状态

8.3 Leaf03 状态

8.4 Leaf04 状态

9 查看EVPN MH状态

9.1 Leaf01状态

9.2 Leaf02状态

9.3 Leaf03 状态

9.4 Leaf04 状态

10 虚机互相访问

Server1上的虚机访问Server2的虚机

Server1上的虚机访问Server3的虚机

Server2上的虚机访问Server3的虚机

11 故障测试

Server1上的虚机持续访问Server3的虚机，中间断开Server1和Leaf1的链路，然后再恢复，观察流量是否有中断。

观察到流量始终没有丢包。

Server1上的虚机持续访问Server3的虚机，中间重启Leaf，然后再恢复，观察流量是否有中断。

在Server1上抓包，可以看到ping包从ens1f1发出，从ens1f0回复

ens1f0对应Leaf1,ens1f1对应的是Leaf2，那我们重启Leaf2，收发包应该都切到Leaf1，到ens1f0

并且中间没有丢包

配置手册：CX-N下基于REST API方法的VXLAN EVPN场景验证

1 目标

本文主要描述如何在Asterfusion CX308P-48Y-N和CX532P-N（以下简称CX308和CX532）搭建的网络上，使用BGP EVPN自动化地创建VXLAN隧道、传递虚拟路由，完成其连接的Server的数据包封装及解封装工作。

注：REST API目前无法涵盖所有功能，因此部分功能配置依然依赖命令行进行配置。

2 设备拓扑

部署所使用的设备、接口及管理IP如下：

3 具体配置

3.1 原子级REST API配置

3.1.1 修改CLI-mode

REST API与Klish命令行不兼容，使用REST API的前提就是修改cli-mode为bash。需要在四台交换机上配置如下命令：

admin@Leaf1:~$ config cli-mode bash

3.1.2 登录交换机

执行REST API需要登陆对应的交换机后，才能调用其接口。

POST https://10.230.1.7/rest/v3/login
{
"username":"admin",
"password":"asteros"
}

3.1.3 配置各交换机端口速率及IP

Spine1:
POST https://10.230.1.7/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.2/24"
        ]
    }

}

Spine2:
POST https://10.230.1.8/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.2/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.2/24"
        ]
    }

}

Leaf1:
admin@Leaf1:~$ sudo config interface speed Ethernet0 10000
admin@Leaf1:~$ sudo config interface speed Ethernet1 10000

POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.100.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.100.1/24"
        ]
    }

}

Leaf2:
admin@Leaf2:~$ sudo config interface speed Ethernet0 10000
admin@Leaf2:~$ sudo config interface speed Ethernet1 10000
POST https://10.230.1.19/rest/v3/router-interfaces/
{
    "C1": {
        "vrf": "default",
        "ip_addr": [
            "10.0.200.1/24"
        ]
    },
    "C2": {
        "vrf": "default",
        "ip_addr": [
            "10.100.200.1/24"
        ]
    }

}

3.1.4配置Leaf1、Leaf2的VRF及VLAN信息

Leaf1:
POST https://10.230.1.18/rest/v3/vrfs/
{
    "vrf-123": {
        "src_mac": " 00:11:22:33:44:55"
    }
}
POST: https://10.230.1.18/rest/v3/vlans/
{
    "vlan100": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST https://10.230.1.18/rest/v3/router-interfaces/
{
    "vlan100": {
        "ip_addr": [
            "100.0.10.1/24"
        ],
        "vrf": "vrf-123",
        "mac_address": " 00:11:22:33:44:55 "
    }
}

Leaf2:
POST https://10.230.1.19/rest/v3/vrfs/
{
    "vrf-456": {
        "src_mac": "00:11:22:33:44:a5"
    }
}

POST: https://10.230.1.19/rest/v3/vlans/
{
    "vlan200": {
        "members": [
            {
                "id": "Y1",
                "tagging_mode": "untagged"
            }
        ]
    }
}
POST: https://10.230.1.19/rest/v3/router-interfaces/
{
    "vlan200": {
        "vrf": "vrf-456",
        "ip_addr": [
            "100.0.20.1/24"
        ],
        "mac_address": " 00:11:22:33:44:a5"
    }
}

3.1.5 配置BGP

Spine1:
admin@Spine1:~$ sudo config bgp asn 65201
POST https://10.230.1.7/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.0.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.7/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine1:~$ sudo config bgp add network default 10.10.25.1/32 ipv4

Spine2:
admin@Spine2:~$ sudo config bgp asn 65202
POST https://10.230.1.8/rest/v3/protocols/bgp-neighbors/
{
    "10.100.100.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65203",
            "keepalive": "60"
        }
    },
     "10.100.200.1": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.2",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65204",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.8/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Spine2:~$ sudo config bgp add network default 10.10.25.2/32 ipv4


Leaf1:
admin@Leaf1:~$ sudo config bgp asn 65203
POST https://10.230.1.18/rest/v3/protocols/bgp-neighbors/
{
    "10.0.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L1",
            "local_addr": "10.0.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.100.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L1",
            "local_addr": "10.100.100.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.18/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf1:~$ sudo config bgp add network default 10.10.25.3/32 ipv4


Leaf2:
admin@Leaf2:~$ sudo config bgp asn 65204
POST https://10.230.1.19/rest/v3/protocols/bgp-neighbors/
{
    "10.0.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S1-L2",
            "local_addr": "10.0.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65201",
            "keepalive": "60"
        }
    },
     "10.100.200.2": {
        "configuration": {
            "rrclient_enable": "false",
            "name": "S2-L2",
            "local_addr": "10.100.200.1",
            "nhopself_enable": "false",
            "admin_status": "up",
            "holdtime": "180",
            "asn": "65202",
            "keepalive": "60"
        }
    }
}
POST https://10.230.1.19/rest/v3/protocols/bgp-interface-neighbors/
{
    "C1": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    },
    "C2": {
        "configuration": {
            "admin_status": "up",
            "asn": "external"
        }
    }
}
admin@Leaf2:~$ sudo config bgp add network default 10.10.25.4/32 ipv4

3.1.6 配置VTEP开启EVPN

Leaf1:
admin@Leaf1:~$ sudo config evpn advertise all-vni
admin@Leaf1:~$ sudo config vxlan add vxlan0 10.10.25.3
admin@Leaf1:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0


Leaf2:
admin@Leaf2:~$ sudo config evpn advertise all-vni
admin@Leaf2:~$ sudo config vxlan add vxlan0 10.10.25.4
admin@Leaf2:~$ sudo config vxlan evpn_nvo add nvo0 vxlan0

3.1.7 配置VXLAN映射

Leaf1:
POST https://10.230.1.18/rest/v3/protocols/evpn-tunnel-maps/
{
    "100": {
        "map": "vlan100",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-123",
        "type": "vrf",
        "vxlan_id": "0"

    }
}
Leaf2:
POST https://10.230.1.19/rest/v3/protocols/evpn-tunnel-maps/
{
    "200": {
        "map": "vlan200",
        "type": "vlan",
        "vxlan_id": "0"

    },
    "1000": {
        "map": "vrf-456",
        "type": "vrf",
        "vxlan_id": "0"

    }
}

3.1.8 保存&重载

以Spine1为例：

POST https://10.230.1.7/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1. 7/rest/v3/system_config/
{
    "action": "reload"
}

3.1.9 服务器配置

Server1:

[root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0 gw 100.0.10.1 dev ens1f0

Server2:

[root@server2 network-scripts]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev enp2s0f0

3.1.10 配置验证

3.1.10.1服务器连通性

Server1:

Server2:

3.1.10.2查看Leaf1信息

查看EVPN信息

查看VXLAN VTEP

查看Leaf1路由

3.1.10.3查看Leaf2信息

查看EVPN信息

查看VXLAN VTEP

查看Leaf2路由

3.2 Overlay REST API配置（事务级）

事务级API为针对Overlay网络配置的API，只支持VLAN、VRF以及VXLAN映射这些配置需要进行重新配置，端口IP、BGP等配置只能使用原子级REST API。

3.2.1 安装事务级API

上传安装包到Leaf交换机上，执行如下命令：

unzip overlay_rest_api_20231121.zip -d overlayrestapi
cd overlayrestapi
chmod +x install.sh
./install.sh rest-api_20231121.aa018e98735f584bf595638f2013f95b.deb

3.2.1overlay_rest_api_20231121 下载

3.2.2 配置VLAN、VRF以及EVPN映射关系

Leaf1:
POST https://10.230.1.18/rest/v3/overlay/evpn/nvo
{
    "vrf": [
        {
            "vrf": "vrf-100",
            "mac": "00:00:ff:23:33:11",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.10.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan101",
            "vrf": "vrf-100",
            "ip_addr": [
                "200.0.10.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan101",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-100",
            "l2vni": "101",
            "vlan": "vlan101",
            "network_redistribute": "true"
        }
    ]
}

Leaf2:
{
    "vrf": [
        {
            "vrf": "vrf-200",
            "mac": "00:00:ff:23:33:22",
            "l3vni": "2000",
            "static_redistribute": "false",
            "network": ["200.0.20.0/24"]

        }
    ],
    "router_interface": [
        {
            "vlan": "vlan201",
            "vrf": "vrf-200",
            "ip_addr": [
                "200.0.20.1/24"
            ],
            "description": "test"
        }
    ],
    "vlan": [
        {
            "vlan": "vlan201",
            "vlan_member": [
                {
                    "id": "Y2",
                    "tagging_mode": "untagged"
                }
            ]
        }
    ],
    "nvo_subnet": [
        {
            "vrf": "vrf-200",
            "l2vni": "201",
            "vlan": "vlan201",
            "network_redistribute": "true"
        }
    ]
}

3.2.3 保存&重载

Leaf1:
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.18/rest/v3/system_config/
{
    "action": "reload"
}

Leaf2:
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "save"
}
POST https://10.230.1.19/rest/v3/system_config/
{
    "action": "reload"
}

3.2.4 服务器配置

Server1:

[root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.10.1 dev ens1f1

Server2:

[root@server1 ~]# route add -net 200.0.20.0 netmask 255.255.255.0 gw 200.0.20.1 dev enp2s0f1

3.2.2 配置验证

3.2.5.1服务器连通性

Server1:

Server2:

3.2.5.2查看Leaf1信息

查看EVPN信息

查看Leaf1路由

3.2.5.3查看Leaf2信息

查看EVPN信息

查看Leaf2路由

配置指导：基于Proxmox VE的安装部署和性能测试

1 目标

本文档将简要介绍Proxmox VE基本概念，并使用PVE进行集群部署以及功能验证。

2 概要介绍

2.1 关于Proxmox VE

Proxmox VE (Virtual Environment) 是一个开源的虚拟化平台，它基于 Debian GNU/Linux 发行版，并集成了 KVM (Kernel-based Virtual Machine) 和 LXC (Linux Containers) 两种虚拟化技术，提供了一套完整的虚拟化解决方案。以下为PVE架构图：

图1.1：PVE架构

由以下几个组件构成：

Proxmox VE管理界面：提供了易于使用的Web界面，用于管理虚拟机、容器、存储、网络和集群等。
KVM虚拟化：Proxmox VE基于Linux内核虚拟机（KVM）技术实现了完整的虚拟化，并支持Windows和Linux等操作系统的虚拟化。
LXC容器：Proxmox VE支持Linux容器（LXC）技术，可以在同一物理主机上运行多个隔离的Linux容器，从而提供更高的资源利用率和更快的启动时间。
存储管理：Proxmox VE支持多种存储类型，包括本地存储、网络存储（NFS、iSCSI、FC）、对象存储（Ceph、Swift）等，可以通过Web界面方便地管理存储池、卷和镜像等。
网络管理：Proxmox VE支持多种网络模式，包括桥接、NAT、VLAN、OpenvSwitch等，可以通过Web界面方便地管理虚拟网络接口、虚拟交换机和虚拟网络等。
集群管理：Proxmox VE支持多台物理主机组成的集群，可以通过Web界面方便地管理节点、HA、负载均衡等。
API：Proxmox VE提供RESTful API，可以通过API方便地进行自动化管理和集成。

2.2 功能特性与ESXi对比

功能/特性	Proxmox VE	ESXi
许可证费用	开源免费	商业许可证
支持的虚拟化技术	KVM, LXC	VMware 虚拟化技术
界面和管理工具	Web 界面管理工具	客户端界面
高可用性 (HA)	支持	支持
备份与恢复	完整备份和恢复方案，包括快照	完整备份和恢复方案，包括快照
存储管理	多种存储管理方式，包括本地存储、NFS、iSCSI 和 Ceph 等	多种存储管理方式，包括本地存储、NFS、iSCSI 和 Fibre Channel 等
网络管理	多种网络管理方式，包括 NAT、桥接和 VLAN 等	多种网络管理方式，包括 NAT、桥接和 VLAN 等
安全性	基于角色的用户访问控制、防火墙和 TLS 加密等	基于角色的用户访问控制、防火墙和 TLS 加密等
社区支持	活跃的社区支持和开发者社区	有活跃的用户和支持社区

表2.1：功能对比

3 配置

3.1 最小硬件配置

CPU要求为Intel EMT64或AMD64，需要支持Intel VT/AMD-V虚拟化。
内存不低于2GB，以确保操作系统和Proxmox VE服务正常运行。如需运行虚拟机，需相应增加更多内存。如需运行Ceph或ZFS，还需要增配内存，大概1TB存储空间增加1GB内存。
高性能高冗余存储资源，最好使用SSD盘。
操作系统盘：带有电池保护缓存的硬RAID卡，没有硬RAID卡时可以使用带有SSD缓存的ZFS。
虚拟机存储：本地磁盘可以采用带有电池保护缓存的硬RAID卡，或不带硬RAID卡的ZFS。ZFS和Ceph都不能和硬RAID控制器同时使用。也可以共享分布式存储。
多块千兆网卡。根据所用存储技术和集群配置，可以选配更多网卡。也可使用10Gbit或更高速网卡。
如需使用PCI直通，必须采用支持VT-d/AMD-d的CPU。

3.2 推荐系统硬件配置

CPU：64位（Intel EMT64或AMD64），推荐使用多核CPU。
CPU和主板需要支持Intel VT/AMD-V技术，以便支持KVM全虚拟化功能。
内存：8GB，如果要运行虚拟机则应配置更多硬RAID卡，带有电池保护（BBU）或闪存保护的写缓存。
性能硬盘，最好是15k转速的SAS盘，配置成Raid10。
最少2块以太网卡，也根据采用的共享存储技术配置更多网卡。

3.3 软件源配置

默认情况下，PVE是企业订阅源，并且每次登录有订阅通知窗口，需要去除弹窗，并且将软件源更改为国内源。

vi /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
将if(data.status!==’Active’)修改为 if(false)

cat >/etc/apt/sources.list <<EOF
deb https://mirrors.ustc.edu.cn/debian bookworm main contrib
deb https://mirrors.ustc.edu.cn/debian bookworm-updates main contrib
# security updates
deb https://mirrors.ustc.edu.cn/debian-security bookworm-security main contrib
deb http://download.proxmox.com/debian bookworm pve-no-subscription
EOF

echo "deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main
" > /etc/apt/sources.list.d//ceph.list

rm pve-enterprise.list

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bookworm pve-no-subscription">/etc/apt/sources.list.d/pve -no-subscription.list

apt-get update && apt-get upgrade -y

3.4 网络配置

3.4.1 基于网桥的默认配置

网桥相当于一个软件实现的物理交换机。所有虚拟机共享一个网桥，在多个域的网络环境中，也可以创建多个网桥以分别对应不同网络域。理论上，每个Proxmox VE最多可以支持4094个网桥。 Proxmox VE安装程序会创建一个名为vmbr0的网桥，并和检测到的服务器第一块网卡桥接。配置文件/etc/network/interfaces中的对应配置信息如下：

auto lo
iface lo inet loopback

iface ens160 inet manual

auto vmbr0
iface vmbr0 inet static
        address 10.240.4.148/24
        gateway 10.240.4.1
        bridge-ports ens160
        bridge-stp off
        bridge-fd 0

iface ens192 inet manual

3.4.2 路由配置

大部分IPC服务器供应商不支持基于网桥的默认配置方式，出于网络安全的考虑，一旦发现网络接口上有多个MAC地址出现，则会立刻禁用相关网络端口。
可以通过配置“路由”的方式让多个虚拟机共享一个网络端口，对方通信使用同一个MAC地址。

auto lo
iface lo inet loopback

auto eno1
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1
post-up echo 1 > /proc/sys/net/ipv4/ip_forward 
post-up echo 1 > /proc/sys/net/ipv4/conf/eno1/proxy_arp

auto vmbr0
iface vmbr0 inet static
address 203.0.113.17
netmask 255.255.255.248
bridge_ports none
bridge_stp off
bridge_fd 0

3.4.3 网络地址转换（NAT）

利用地址转换技术，所有虚拟机可以使用内部私有IP地址，并通过Proxmox VE服务器的IP来访问外部网络。Iptables将改写虚拟机和外部网络通信数据包，对于虚拟机向外部网络发出的数据包，将源IP地址替换成服务器IP地址，对于外部网络返回数据包，将目的地址替换为对应虚拟机IP地址。配置如下：

auto lo
iface lo inet loopback

auto eno1
#real IP address
iface eno1 inet static
address 192.51.100.5
netmask 255.255.255.0
gateway 192.51.100.1

auto vmbr0
#private sub network
iface vmbr0 inet static
address 10.10.10.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0
post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up iptables -t nat -A POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s ’10.10.10.0/24’ -o eno1 -j MASQUERADE

3.4.4 多网口绑定

多网口绑定（也称为网卡组或链路聚合）是一种将多个网卡绑定成单个网络设备的技术。利用该技术可以实现某个或多个目标，例如提高网络链路容错能力，增加网络通信性能等。配置如下：

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno2 inet manual

auto bond0
iface bond0 inet static
slaves eno1 eno2
address 192.168.1.2
netmask 255.255.255.0
bond_miimon 100
bond_mode 802.3ad
bond_xmit_hash_policy layer2+3

auto vmbr0
iface vmbr0 inet static
address 10.10.10.2
netmask 255.255.255.0
gateway 10.10.10.1
bridge_ports eno1
bridge_stp off
bridge_fd 0

4 集群配置

4.1 创建集群

4.1.1 通过Web创建集群

在“数据中心”→“集群”下，单击创建集群。输入集群名称，然后从下拉列表中选择一个网络连接作为主集群网络(Link 0)。然后点击“加入信息”按钮，复制Information字符串，接下来，登录到要添加的节点上的Web界面。在“数据中心→集群”下，单击“加入集群”。用之前复制的“加入信息”文本填写Information字段。

4.1.2 命令行创建

# 创建集群的主机
pvecm create CLUSTERNAME
# 待加入集群的主机
pvecm add IP-ADDRESS-CLUSTER

4.2 Qemu/KVM虚拟机

Proxmo VE优先使用半虚拟化硬件，相比于虚拟化硬件（以软件模拟方式实现虚拟化硬件）性能更高。Qemu的半虚拟化硬件采用了virtio标准，并以virtio半虚拟化硬件形式实现。
虚拟机通用配置包括：

节点：虚拟机所处的物理服务器名。
VM ID：Proxmox VE用于标识虚拟机的一个唯一编号。
名称：虚拟机名称，用户描述虚拟机的字符串。
资源池：虚拟机所处的逻辑组。

4.2.1 系统

创建虚拟机时可以修改虚拟机的部分系统配置如下图所示，可以更改SCSI控制器类型，如上面所述一般为了性能选择VirtIO SCSI single，对于不支持VirtIO的虚拟机系统，需要手动安装VirtIO驱动。

图3.2：PVE dashboard01

4.2.2 硬盘

追求最极致的性能，可以选用VirtIO SCSI single，并启用IO Thread选项。在选用VirtIO SCSI single时，Qemu将为每个虚拟磁盘创建一个专用控制器，而不是让所有磁盘共享一个控制器。

虚拟硬盘的Cache模式设置会影响Proxmox VE主机系统向虚拟机操作系统返回数据块写操作完成通知的时机。设置为No cache是指在所有数据块都已写入物理存储设备写队列后，再向虚拟机发出写操作完成通知，而忽略主机页缓存机制。该方式将能较好地平衡数据安全性和写入性能。

Discard指令允许操作系统在SSD上将不再使用的数据通知到SSD底层并在其内部将数据擦除掉。

图3.3：PVE dashboard02

4.2.3 CPU

需要确保虚拟机的在线迁移能力，最好使用默认的kvm64虚拟CPU。如果不在乎在线迁移，或者集群内所有节点硬件型号完全一样，可以设置虚拟CPU类型为host，以获得最好的性能。

如果所有 VM 的内核总数大于服务器上的核心数（例如，在只有 8 个内核的计算机上有 4 个 VM，每个 4 个内核），则是完全安全的。在这种情况下，主机系统将在服务器内核之间平衡 Qemu 执行线程，就像运行标准的多线程应用程序一样。但是，Proxmox VE 将阻止启动虚拟 CPU 内核数多于物理可用内核的虚拟机，因为这只会由于上下文切换的成本而降低性能。

图3.4：PVE dashboard03

4.2.4 内存

当设置内存容量和最小内存容量为相同值时，Proxmox VE将为虚拟机分配固定容量内存。即使使用固定容量内存，也可以在虚拟机启用ballooning设备，以监控虚拟机的实际内存使用量。

当设置的最小内存容量低于设置的内存容量值时，Proxmox VE将为虚拟机至少分配设置的最小容量内存，并在物理服务器内存占用率达到80%之前根据虚拟机需要动态分配内存，直到达到设置的最大内存分配量。当物理服务器内存不足时，Proxmox VE将开始回收分配给虚拟机的内存，并在必要时启动SWAP分区，如果仍然不能满足需要，最终将启动oom进程杀掉部分进程以释放内存。物理服务器和虚拟机之间的内存分配和释放通过虚拟机内的balloon驱动完成，该驱动主要用于从主机抓取或向主机释放内存页面。

图3.5：PVE dashboard04

4.3 防火墙配置

PVE有3种防火墙：

面对数据中心的防火墙：处理流出流入数据中心的流量。
集群防火墙规则是应用于整个Proxmox VE集群的防火墙规则。这些规则通常由集群管理员配置，用于限制集群中所有主机和虚拟机的网络访问。集群防火墙规则是在集群中所有主机的防火墙规则之前生效的。
只有数据中心防火墙开启，才能开启集群内的防火墙，否则单独开启VM的防火墙是无效的。
面对虚拟化服务器的防火墙：处理主机的流量。
主机防火墙规则是应用于单个Proxmox VE主机的防火墙规则。这些规则通常由主机管理员配置，用于限制主机上所有虚拟机和容器的网络访问。主机防火墙规则是在虚拟机防火墙规则之前生效的。
这个防火墙的开关，不会影响VM的防火墙，所以要开启VM的防火墙，不必须开启这个防火墙，不同于数据中心防火墙
面对VM的防火墙：处理VM流出流出的流量。
虚拟机防火墙规则是应用于单个Proxmox VE虚拟机或容器的防火墙规则。这些规则通常由虚拟机管理员配置，用于限制虚拟机或容器的网络访问。虚拟机防火墙规则是在主机防火墙规则之后生效的。
总体来说，防火墙规则是按照集群规则、主机规则、虚拟机规则的顺序依次生效的。当一个数据包到达一个Proxmox VE虚拟机或容器时，首先会检查虚拟机的防火墙规则，如果没有匹配的规则，则检查主机的防火墙规则，最后检查集群的防火墙规则。如果在任意一层中找到了匹配的规则，则该数据包将被允许或拒绝。

每个虚拟网卡设备都有一个防火墙启用标识。可以控制每个网卡的防火墙启用状态。在设置启用虚拟机防火墙后，必须设置网卡上的防火墙启用标识才可以真正启用防火墙。

图3.6：PVE dashboard05

4.3.1 GUI防火墙配置

防火墙规则（Firewall Rules）：防火墙规则定义了应该允许还是阻止的流量类型。规则可以基于源和目标IP、协议类型（如TCP、UDP、ICMP等）、源和目标端口等因素进行定义。规则的顺序非常重要，因为Proxmox VE防火墙会按照规则的顺序进行匹配，并在匹配到的第一个规则处停止。
安全组（Security Groups）：安全组是一组预定义的防火墙规则，可以应用于一个或多个虚拟机或容器。
IP集（IPSet）：IPSet是一种可以匹配一组网络地址、网络端口或其他网络参数的机制。它可以用于创建复杂的、高效的防火墙规则。
日志和审计（Logging and Auditing）：Proxmox VE防火墙提供了详细的日志和审计功能，可以跟踪和记录防火墙的活动，包括被阻止的连接、被允许的连接等。

图3.7：PVE dashboard06

4.3.2 配置文件

数据中心防火墙

/etc/pve/firewall/cluster.fw
[OPTIONS]
该小节用于设置整个集群的防火墙配置项。

ebtables: <boolean> (default = 1)
集群范围内启用ebtables。

enable: <integer> (0 -N)
启用/禁用集群范围的防火墙。

log_ratelimit: [enable=]<1|0> [,burst=<integer>] [,rate=<rate>]
设置日志记录速度阀值。

burst=<integer> (0 - N) (default = 5)
将被记录的初始突发包。

enable=<boolean> (default = 1)
启用或禁用阀值

rate=<rate> (default = 1/second)
突发缓冲区重新填充频度。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

[RULES]
该小节用于设置所有节点公共的防火墙策略。

[IPSET <name>]
整个集群范围内有效的IP集合定义。

[GROUP <name>]
整个集群范围内有效的组定义。

[ALIASES]
整个集群范围内有效的别名定义

主机防火墙

/etc/pve/nodes/<nodename>/host.fw
[OPTIONS]
该小节用于设置当前主机的防火墙配置项。

enable: <boolean>
启用/禁用主机防火墙策略。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

log_nf_conntrack: <boolean> (default = 0)
启用记录连接跟踪信息。

ndp: <boolean>
启用NDP。 

nf_conntrack_allow_invalid: <boolean> (default = 0)
在跟踪连接时允许记录不合法的包。

nf_conntrack_max: <integer> (32768 -N)
最大的跟踪连接数量。

nf_conntrack_tcp_timeout_established: <integer> (7875 -N)
反向连接建立超时时间。

nosmurfs: <boolean>
启用SMURFS过滤器。

smurf_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
SMURFS过滤器日志级别。

tcp_flags_log_level: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
非法TCP标志过滤器日志级别。

tcpflags: <boolean>
启用非法TCP标志组合过滤器。

[RULES]
该小节用于设置当前主机的防火墙策略。

VM和LXC的防火墙

/etc/pve/firewall/<VMID>.fw
[OPTIONS]
该小节用于设置当前虚拟机或容器的防火墙配置项。

dhcp: <boolean>
启用DHCP。

enable: <boolean>
启用/禁用防火墙策略。

ipfilter: <boolean>
启用默认IP地址过滤器。相当于为每个网卡接口增加一个空白的ipfilter-net<id>地址集合。
该IP地址集合隐式包含了一些默认控制，例如限制IPv6链路本地地址为网卡MAC生成的地址。对于容器，配置的IP地址将被隐式添加进去。

log_level_in: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流入方向的防火墙日志级别。

log_level_out: <alert | crit | debug | emerg | err | info | nolog | notice | warning>
流出方向的防火墙日志级别。

macfilter: <boolean>
启用/禁用MAC地址过滤器。

ndp: <boolean>
启用NDP。

policy_in: <ACCEPT | DROP | REJECT>
流入方向的防火墙策略。

policy_out: <ACCEPT | DROP | REJECT>
流出方向的防火墙策略。

radv: <boolean>
允许发出路由通知。

[RULES]
该小节用于设置当前虚拟机或容器的防火墙策略。

[IPSET <name>]
IP集合定义。

[ALIASES]
IP地址别名定义。

5 安装硬件开发部所需云环境实践

5.1 需求

需要安装15台虚拟机，并且所有虚拟机按照一定的规则能否挂载smb，并且Windows1对外访问以及对内访问没有限制，剩下的14台服务器不能访问外部网络，仅与宿主机和Windows1之间通信。

5.2 规划

宿主机服务器配置：amd 16核32线程处理器，128g内存，8T*2硬盘；宿主机网络配置为网桥模式， IP为192.168.52.200/24，网关为192.168.52.1。

虚拟机	VMID	IP	规格
Windows1	100	192.168.52.201	16c16G
Windows2	101	192.168.52.202	8C16G
Windows3	102	192.168.52.203	8C16G
Windows4	103	192.168.52.204	8C16G
Windows5	104	192.168.52.205	8C16G
Windows6	105	192.168.52.206	8C16G
Windows7	106	192.168.52.207	8C16G
Windows8	107	192.168.52.208	8C16G
Windows9	108	192.168.52.209	8C16G
Windows10	109	192.168.52.210	8C16G
Windows11	110	192.168.52.211	8C16G
Windows12	111	192.168.52.212	8C16G
Windows13	112	192.168.52.213	8C16G
Windows14	113	192.168.52.214	8C16G
Windows15	114	192.168.52.215	8C16G

表4.1：虚拟机规划表

5.3 准备安装介质

官方网站下载最新版本的ISO镜像：Get the free Proxmox VE ISO installer(8.0.2)，然后使用rufus将PVE镜像刻录到u盘后，在服务器以u盘方式引导启动。

下载Windows镜像，准备VirtIO驱动。

5.4 安装PVE

选择Install Proxmox VE（Graphical）。

图4.1：PVE安装步骤01

选择PVE安装的硬盘。

图4.2：PVE安装步骤02

设定时区。

图4.3：PVE安装步骤03

设置密码——既是Web登录密码也是服务器密码。

图4.4：PVE安装步骤04

配置FQDN以及IP地址，此处FQDN的第一部分为host名，如果安装集群的话，需要注意host不能冲突，否则集群无法加入，到此变安装完成, PVE的Web界面http://IP:8006/。

图4.5：PVE安装步05

按照3.3章节对服务器进行初始化

5.5 安装Windows虚拟机

5.5.1 上传镜像到PVE

登录Proxmox VE，在左边资源树中选择 local 存储 – 切换至 ISO Images – Upload。

图4.6：PVE镜像面板01

将Windows和VirtIO镜像上传上去。

图4.7：PVE镜像面板02

不能关闭上传页面否则上传失败。

图4.8：PVE镜像面板03

上传完成后的结果。

图4.9：PVE镜像面板04

5.5.2 创建虚拟机

在Proxmox VE界面的右上方 – 点击 Create VM。

图4.10：PVE VM创建01

General菜单这边配置好VMID以及Name。

图4.11：PVE VM创建02

图4.12：PVE VM创建03

System注意SCSI Controller选择VirtIO SCSI single。

图4.13：PVE VM创建04

Disks，选择VirtIO Block。

图4.14：PVE VM创建05

CPU这边Type选择host便于更好的性能，而KVM则是兼容性更好，规格的话按照之前规划配置。

图4.15：PVE VM创建06

Memory，由于所有虚拟机内存加起来超过宿主机内存，这边手动设置其最小内存，并且开启Ballooning，如3.6.4所述。

图4.16：PVE VM创建07

Network，Model选择VirtIO

图4.17：PVE VM创建08

最后确认。

图4.18：PVE VM创建09

附加驱动：切换到 Hardware – Add – CD/DVD Drive。

图4.19：PVE VM创建10

然后开启，安装Windows系统，在磁盘这边，无法看到磁盘，则需要安装VirtIO驱动。

图4.21：驱动安装01

安装驱动，浏览驱动文件位置——>选择 CD驱动器 virtio-win-0.1.221 – amd64 – w10，确定。

图4.22：驱动安装02

此时可以识别到硬盘

图4.23：驱动安装03

Windows系统安装完成后，很多驱动未安装，打开：资源管理器 – CD驱动器 virtio-win-0.1.221 文件夹，双击“virtio-win-guest-tools”进行安装。

图4.24：驱动安装04

图4.25：驱动安装05

至此安装完成，然后按照规划配置网络即可

克隆虚拟机，以VM100为模板克隆出剩下的虚拟机，完成后，修改硬件规格配置，以及网络配置。

图4.26：虚拟机clone

5.6 配置防火墙

开启集群防火墙，允许所有内部虚拟机对外访问，并且允许外部ssh登录，访问80以及8006端口。

vi /etc/pve/firewall/cluster.fw [OPTIONS]

enable: 1

[RULES]

OUT ACCEPT -source 192.168.52.0/24 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 80 -log nolog
IN ACCEPT -i vmbr0 -p tcp -dport 8006 -log nolog
IN SSH(ACCEPT) -i vmbr0 -log nolog

配置Windows1防火墙，默认允许任何流量通过。

vi /etc/pve/firewall/100.fw
[OPTIONS]

enable: 1
policy_in: ACCEPT

[RULES]

OUT ACCEPT -log nolog
IN ACCEPT -log nolog

配置Windows2-15防火墙，仅允许宿主机和windows1的流量流出流出。

vi /etc/pve/firewall/101.fw
[OPTIONS]

policy_in: REJECT
enable: 1
policy_out: ACCEPT

[RULES]

OUT ACCEPT -dest 192.168.52.201 -log nolog
OUT ACCEPT -dest 192.168.52.200 -log nolog
IN ACCEPT -source 192.168.52.201 -log nolog
IN ACCEPT -source 192.168.52.200 -log nolog

for (( i=101；i<115;i++ ));do cp $i.fw $i+1.fw;done

至此，所有虚拟机安装配置完成。

6 性能测试——使用pveperf进行测试

	1	2	3	4	5
cpu bogomips	179214.72	179214.72	179214.72	179214.72	179214.72
regex/second	3279660	3261539	3249824	3223121	3263534
HD SIZE	93.93 GB	93.93 GB	93.93 GB	93.93 GB	93.93 GB
BUFFERED READS	188.33 MB/sec	138.38 MB/sec	134.17 MB/sec	71.99 MB/sec 154.62 MB/sec	154.62 MB/sec
AVERAGE SEEK TIME	9.15 ms	19.01 ms	12.30 ms	27.26 ms	23.27ms
FSYNCS/SECOND	9.95	33.41	19.30	29.47	27.98
DNS EXT	589.30 ms	595.68 ms	351.61 ms	627.83 ms	221.95 ms
DNS INT	367.15 ms (PVE)	594.21 ms (PVE)	289.67 ms (PVE)	317.43 ms (PVE)	504.87 ms (PVE)

表6.1：性能测试结果

cpu bogomips：是一个基于时钟计数的测试，用于衡量系统CPU的性能。Proxmox VE的性能要求会随着使用场景和负载的不同而有所变化，但通常来说，CPU BOGOMIPS的值应该在100000以上。
regex/second: 每秒处理的正则表达式，通常该值应 >300000。
HD SIZE: 测试盘的大小，表中为系统盘，这个值与系统性能无关。
BUFFERED READS：缓存读取速度，是一个简单的硬盘读取测试指标，用于衡量硬盘的读取速度。现代硬盘的读取速度应该达到40MB/s以上。
AVERAGE SEEK TIME：（磁盘）平均巡道时间，是一个测试硬盘平均寻道时间的指标，用于衡量硬盘的读取速度。快速的SCSI硬盘的平均寻道时间可以达到小于8ms的值，而常见的IDE/SATA硬盘的平均寻道时间大概在15到20ms之间。
FSYNCS/SECOND: 一个文件系统同步操作的速度指标，用于衡量系统执行写入操作的性能。它反映了文件系统写入操作的速度，即文件系统将数据从内存缓存同步到磁盘的速度，对该值的最低要求是>200。

由于目前仅有两块机械硬盘且其中一块用作了samba，导致无法做raid，并且也无法使用WriteBack模式。

在WriteBack模式下，写操作会先被写入到主机页面缓存中——即写入脏页。当内存负载太高，需要回收内存，那么脏页可能将数据写入硬盘，或者达到了脏页的回收时间，那么也可以将脏页数据写入到硬盘，此时数据才算完整被写入。所以写入和读取都非常的高。

在没有writeback的模式下，结果如下：

root@aster:/tmp# grep -i "^cache\|dirty\|writeback:" /proc/meminfo
Cached:           392152 kB  是用于读取缓存的内存量。
Dirty:                20 kB    它表示要写入（即：已更改）的内存量。要回收此内存，系统必须将更改写出到磁盘。这意味着，根据底层IO子系统，脏页面回收可能会很慢。
Writeback:             0 kB    它是系统当前写入磁盘的内存量，这是内存负载（和脏页回收）和计时回收（最多30秒后，脏页被写回磁盘）的数据

DNS EXT：外部DNS 解析时间，的响应时间应该在100ms以下。
DNS INT：内部DNS 解析时间，的响应时间应该在100ms以下。

根据五次pveperf脚本基准测试结果表明，目前服务器的CPU能够满足PVE性能要求，并且硬盘的读取速度也满足系统需求，但文件系统将数据从内存缓存同步到磁盘的速度不太理想，可以通过更换硬盘为更高写入速度的硬盘或者增加硬盘做硬raid来提升性能；网络方面DNS解析时间过长，可能会造成可能会导致客户端频繁发出DNS请求，并且访问网络资源的速度变慢。

7 参考资料

【1】Proxmox VE Administartion Guide
【2】Proxmox中文文档
【3】OVH Server benchmark
【4】Proxmox VE磁盘WriteBack性能调优和注意事项
【5】PVE开启硬件直通功能

配置指导：开源AAA解决方案 —FreeRADIUS

1 目标

本文档主要讲解如何使用Asterfusion CX-M系列云园区交换机和daloRADIUS进行配置组网，实现一个拥有AAA能力的园区网络。

关于园区网和daloRADIUS的配置部署，请参考《部署手册-开源AAA解决方案-FreeRADIUS》。

2 环境介绍

2.1 硬件环境

2.2 软件环境

3 组网拓扑

4 交互流程

5 RADIUS服务器配置

# 确认Radius服务正常运行

# 服务配置目录

5.1 添加NAS设备账号

5.2 添加终端用户

6 交换机配置

6.1 接入RADIUS服务器

leaf03# configure terminal                                                                                                                                                        
leaf03(config)# dot1x enable
leaf03(config)# dot1x radius-server 172.24.22.4 asteros source 172.24.20.17
leaf03(config)# dot1x radius-server detect-server enable
leaf03(config)# dot1x radius-server testuser testing password

leaf03# configure terminal
leaf03(config)# interface ethernet 25
leaf03(config-if-25)# dot1x enable

6.2 确认配置结果

7 结果验证

# 在接入终端上不开启dot1x认证时，直接以DHCP的方式UP网卡，虽然可以获取到IP地址，但是没有网络访问权限，也无法Ping通网关。

# 认证成功后，VM1拥有网络访问权限，可以在VM1上Ping通网关。

# 接入交换机上，能看到认证信息。

园区智网

网络操作系统（SONiC）

网络可视化（NPB）

开放硬件平台

1 Purpose

2 WH办公网规划

2.1 需求

2.2 WH网络设备规划

2.3 WH网络拓扑

2.4 WH网络设备及版本

2.5 GW设备CX102S-16GT-D2-HPW-M使用简介

2.6 WH网络互联ip地址规划

2.6.1 设备互联地址

2.6.2 设备loopback地址

2.6.3 设备VLAN信息

2.6.4 AP及用户终端设备地址

2.7 WH网络设备及耗材表

3 在控制器上进行网络规划

3.1 建立组织及办公场所

3.2 设备导入到控制器仓库

3.3 将仓库设备导入到办公场所

3.4 在控制器上规划拓扑

3.5 基础网络配置

4 WH办公网实施

4.1 设备上架及综合布线

4.2 设备上电

4.3 设备与控制器链接

4.3.1 配置两台spine设备临时ip，以及GW设备出口路由

4.3.2 配置临时dhcp服务确保leaf设备上线

4.4 在GW设备上配置DHCP Server

4.5 CX102S设备交换模块配置

4.6 CX102S设备DPU1 openwrt配置

4.7 基础网络配置下发

4.8 有线业务配置及下发

4.9 无线业务配置下发

4.10 射频参数配置下发

4.11 WH用户终端上线

4.11.1 将有线user终端接入网络

4.11.2 将无线终端接入网络

4.11.3 将有线server接入网络

4.11.4 内网各网段终端业务互访

5 将SZ办公网纳入控制器管理

5.1 SZ网络基本信息

5.2 交换机设备版本升级

5.2.1 上传版本到控制器

5.2.2 设备版本升级

5.3 在新控制器上建立对应办公场所

5.4 将设备信息导入新控制器

5.5 按照已有网络拓扑信息规划网络

5.6 在新控制器上新建业务配置

5.6.1 基础网络配置

5.6.2 有线业务配置

5.6.3 无线业务配置

5.7 设备在新控制器上线

5.8 设备配置下发

5.8.1 基础网络配置下发

5.8.2 有线业务配置下发

5.8.3 无线业务配置下发

5.8.4 射频参数修改及下发

5.9 验证测试

6 BJ办公网实施

6.1 拓扑规划

6.2 在控制器上建立办公场所

6.3 将设备信息导入控制器

6.4 在控制器上建立拓扑

6.5 设备上线

7 XA办公网实施

7.1 拓扑规划

7.2 在控制器上建立办公场所

7.3 设备信息导入

7.4 基础网络配置

7.5 在控制器上建立拓扑

7.6 设备上线

7.7 上线后的真实拓扑

7.8 业务下发

7.9 业务验证

8 云化园区交换机

1 Purpose

2 控制器环境准备

3 Docker安装