基于Asterfusion CX-N设备部署BGP-EVPN-VXLAN

2024-08-09
星融元Asterfusion

1 目标与物理网络拓扑
2 硬件与软件环境
3 解决方案：BGP EVPN和VXLAN
- 3.1 逻辑组网与配置思路
- 3.2 配置步骤
4 解决方案：AFC配置BGP和EVPN
- 4.1 逻辑组网与配置思路
- 4.2 配置步骤
5 测试结果

1 目标与物理网络拓扑

本文主要描述如何在Asterfusion CX308P-N和CX532P-N（以下简称CX308和CX532）搭建的网络上部署如下解决方案：

BGP EVPN和VXLAN

在网络上承载VXLAN网络，将原本在服务器上进行的封装、去封装全部从Server端卸载到CX308内的VTEP上，并且在网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。

如上解决方案共用一个物理拓扑，如图1所示：

部署过程中所涉及到的设备、接口及管理网口的IP地址如下表1所示：

设备名称	设备型号	IP地址	备注
Spine1	CX532-N	10.230.1.7
Spine2	CX532-N	10.230.1.8
Leaf1	CX308-N	10.230.1.18
Leaf2	CX308-N	10.230.1.19
Servrr1	X86	10.230.1.11	互联网口ens1f2
Server2	X86	10.230.1.12	互联网口ens1f3

表1：设备管理口列表

2 硬件与软件环境

部署环境中涉及到的硬件和软件如表2和表3所示：

名称	型号	硬件指标	数量	备注
交换机	CX532-N	【参见产品彩页】	2	无
交换机	CX308-N	【参见产品彩页】	2	无
服务器	X86	无	2	本方案采用10G网卡
光模块	10G	SFP+	4	无
光模块	100G	QSFP28	12	无
光纤	多模	100G适用	6	无
光纤	多模	10G/25G适用	2	无

表2：硬件环境

名称	版本	备注
AFC	V5.0.0	无
服务器系统	CentOS Linux 7.9.2009	无
服务器内核	3.10.0-1127.18.2.el7	无

表3：软件环境

3 解决方案：BGP EVPN和VXLAN

3.1 逻辑组网与配置思路

配置思路：

1）配置各交换机的端口IP信息

2）配置Leaf1和Leaf2的VLAN信息

3）配置各交换机的BGP

4）配置Leaf1和Leaf2使能EVPN

5）Leaf1和Leaf2创建Vnet，绑定VLAN

6）Leaf1和Leaf2配置二层和三层VXLAN映射

7）配置Server1和Server2的IP和路由信息

8）测试Server1和Server2的连通性

9）查看Leaf1的路由信息

10）查看Leaf2的路由信息

3.2 配置步骤

3.2.1 配置各交换机的端口IP信息

Spine1:
Spine1# configure terminal
Spine1(config)# interface ethernet 0/4
Spine1(config-if-0/4)# ip address 10.0.10.2/24
Spine1(config)# interface ethernet 0/8
Spine1(config-if-0/8)# ip address 10.0.11.2/24

Spine2:
Spine2# configure terminal
Spine2(config)# interface ethernet 0/4
Spine2(config-if-0/4)# ip address 10.1.10.2/24
Spine2(config)# interface ethernet 0/8
Spine2(config-if-0/8)# ip address 10.1.11.2/24

Leaf1:
Leaf1# configure terminal
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/4)# ip address 10.0.10.1/24
Leaf1(config)# interface ethernet 0/52
Leaf1(config-if-0/8)# ip address 10.1.10.1/24

Leaf2:
Leaf2# configure terminal
Leaf2(config)# interface ethernet 0/48
Leaf2(config-if-0/4)# ip address 10.0.11.1/24
Leaf2(config)# interface ethernet 0/52
Leaf2(config-if-0/8)# ip address 10.1.11.1/24
sudo config interface ip add Ethernet52 10.1.11.1/24

3.2.2 配置Leaf1和Leaf2的VLAN信息并配置好网口速率

Leaf1:
Leaf1# configure terminal 
Leaf1(config)# vlan 10
Leaf1(config)# interface vlan 10
Leaf1(config-vlanif-10)# ip address 100.0.10.1/24
Leaf1(config-vlanif-10)# mac-address 18:17:25:55:17:69
Leaf1(config)# interface ethernet 0/2
Leaf1(config-if-0/2)# switchport access vlan 10
Leaf1(config-if-0/2)# speed 10000

Leaf2:
Leaf2# configure terminal 
Leaf2(config)# vlan 20
Leaf2(config)# interface vlan 20
Leaf2(config-vlanif-20)# ip address 100.0.20.1/24
Leaf2(config-vlanif-20)# mac-address 18:17:25:55:17:71
Leaf2(config)# interface ethernet 0/3
Leaf2(config-if-0/3)# switchport access vlan 20
Leaf2(config-if-0/3)# speed 10000

3.2.3 配置各交换机的BGP

Spine1:
Spine1# configure terminal
Spine1(config)# router bgp 65228
Spine1(config-router)# bgp router-id 10.10.0.100
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.100/32
Loopback ip will be used as bgp router-id in frr
Spine1(config)# router bgp 65228
Spine1(config-router)# no bgp ebgp-requires-policy 
Spine1(config-router)# neighbor 10.0.10.1 remote-as 65230
Spine1(config-router)# neighbor 10.0.11.1 remote-as 65231
Spine1(config-router)# address-family ipv4 unicast
Spine1(config-router)# address-family l2vpn evpn
Spine1(config-router-af)# neighbor 10.0.10.1 activate
Spine1(config-router-af)# neighbor 10.0.11.1 activate
Spine1(config-router-af)# advertise-all-vni

Spine2:
Spine1# configure terminal
Spine1(config)# router bgp 65229
Spine1(config-router)# bgp router-id 10.10.0.110
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.110/32
Loopback ip will be used as bgp router-id in frr
Spine1(config)# router bgp 65229
Spine1(config-router)# no bgp ebgp-requires-policy 
Spine1(config-router)# neighbor 10.1.10.1 remote-as 65230
Spine1(config-router)# neighbor 10.1.11.1 remote-as 65231
Spine1(config-router)# address-family ipv4 unicast
Spine1(config-router)# address-family l2vpn evpn
Spine1(config-router-af)# neighbor 10.1.10.1 activate
Spine1(config-router-af)# neighbor 10.1.11.1 activate
Spine1(config-router-af)# advertise-all-vni

Leaf1:
Leaf1# configure terminal 
Leaf1(config)# router bgp 65230
Leaf1(config-router)# bgp router-id 10.10.0.120
Leaf1(config)# interface loopback 0
Leaf1(config-loif-0)# ip address 10.10.0.120/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.120/32
Loopback ip will be used as bgp router-id in frr
Leaf1(config)# router bgp 65230
Leaf1(config-router)# no bgp ebgp-requires-policy
Leaf1(config-router)# neighbor 10.0.10.2 remote-as 65228
Leaf1(config-router)# neighbor 10.1.10.2 remote-as 65229
Leaf1(config-router)# address-family ipv4 unicast
Leaf1(config-router)# network 10.10.0.120/32
Leaf1(config-router)# address-family l2vpn evpn
Leaf1(config-router-af)# neighbor 10.0.10.2 activate
Leaf1(config-router-af)# neighbor 10.1.10.2 activate
Leaf1(config-router-af)# advertise-all-vni

Leaf2:
Leaf2# configure terminal
Leaf2(config)# router bgp 65231
Leaf2(config-router)# bgp router-id 10.10.0.130
Leaf2(config)# interface loopback 0
Leaf2(config-loif-0)# ip address 10.10.0.130/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.130/32
Loopback ip will be used as bgp router-id in frr
Leaf2(config)# router bgp 65231
Leaf2(config-router)# no bgp ebgp-requires-policy
Leaf2(config-router)# neighbor 10.0.11.2 remote-as 65228
Leaf2(config-router)# neighbor 10.1.11.2 remote-as 65229
Leaf2(config-router)# address-family ipv4 unicast
Leaf2(config-router)# network 10.10.0.130/32
Leaf2(config-router)# address-family l2vpn evpn
Leaf2(config-router-af)# neighbor 10.0.11.2 activate
Leaf2(config-router-af)# neighbor 10.1.11.2 activate
Leaf2(config-router-af)# advertise-all-vni

3.2.4 配置Leaf1和Leaf2使能EPVN

Leaf1:
Leaf1# configure terminal
Leaf1(config)# interface vxlan 0
Leaf1(config-vxlanif-0)# source 10.10.0.120
Leaf1(config)# evpn-overlay enable

Leaf2:
Leaf2# configure terminal
Leaf2(config)# interface vxlan 0
Leaf2(config-vxlanif-0)# source 10.10.0.130
Leaf2(config)# evpn-overlay enable

3.2.5 Leaf1和Leaf2创建Vnet，绑定VLAN

Leaf1:
Leaf1(config)# vrf 123
Leaf1(config-vrf)# mac 18:17:25:55:17:69
Leaf1(config-vrf)# interface vlan 10
Leaf1(config-vlanif-10)# vrf 123

Leaf2:
Leaf2(config)# vrf 456
Leaf2(config-vrf)# mac 18:17:25:55:17:71
Leaf2(config-vrf)# interface vlan 20
Leaf2(config-vlanif-20)# vrf 456

3.2.6 Leaf1和Leaf2配置二层和三层VXLAN映射

Leaf1:
Leaf1(config)# vlan 10
Leaf1(config-vlan-10)# vni 10
Leaf1(config)# vrf 123
Leaf1(config-vrf)# vni 1000

Leaf2:
Leaf2(config)# vlan 20
Leaf2(config-vlan-20)# vni 20
Leaf2(config)# vrf 456
Leaf2(config-vrf)# vni 1000

3.2.7 保存配置并重新加载

sonic# write
sonic# reload

3.2.8 配置Server1和Server2的IP和路由信息

Server1：


[root@server1 ~]# ifconfig ens1f2

[root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0 gw 100.0.10.1 dev ens1f2

Server2：

[root@server1 ~]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev ens1f3

3.2.9 测试Server1和Server2的连通性

[root@server1 ~]# ping 100.0.20.3

[root@server1 ~]# ping 100.0.10.2

3.2.10 查看Leaf1的路由信息

查看VTEP信息
admin@Leaf1:~$ show evpn status

交换机路由信息
admin@Leaf1:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf1:~$ ip neigh show nud all | grep Vlan

admin@Leaf1:~$ sudo bridge fdb |grep vxlan

admin@Leaf1:~$ show ip route vrf Vnet123

3.2.11 查看Leaf2的路由信息

查看VTEP信息
admin@Leaf2:~$ show evpn status

交换机路由信息
admin@Leaf2:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf2:~$ ip neigh show nud all | grep Vlan

admin@Leaf2:~$ sudo bridge fdb |grep vxlan

admin@Leaf2:~$ show ip route vrf Vnet123

4 解决方案：AFC配置BGP和EVPN

4.1 逻辑组网与配置思路

配置思路：

1）配置设备的命令行模式

2）在Server2服务器上安装AFC软件，并在AFC Web上导入软件许可

3）在AFC上自动发现物理设备

4）在AFC上自动发现物理设备间的单向和双向链路

5）在AFC上创建Fabric，选择组网类型为Spine/Leaf

6）初始化环境确认

7）在AFC上配置设备BGP邻居

8）应用配置，AFC会自动下发配置到物理设备

9）在AFC上创建租户信息

10）在AFC上创建VPC组

11）在AFC上创建虚拟路由器

12）在AFC上创建虚拟交换机

13）在AFC上创建虚拟端口

14）测试Server1和Server2的连通性

15）查看Leaf1的路由信息

16）查看Leaf2的路由信息

4.2 配置步骤

4.2.1 安装AFC软件

下载AFC-NPB-V5.0.0软件包，在Server2服务器上安装AFC软件。具体操作请查看《AFC-NPB安装手册》，AFC安装完成之后，打开AFC Web端上传软件许可。

4.2.2 自动发现设备

【快速部署】—>【物理网络】—>【发现设备】

输入设备的起始和终止IP（10.230.1.7~10.230.1.8），（10.230.1.18~10.230.1.19）开始扫描。

4.2.3 自动发现链路

【快速部署】—>【物理网络】—>【发现链路】

自动发现链路，默认发现所有设备互联链路。

4.2.4 创建Fabric

【快速部署】—>【物理网络】—>【新建和配置Fabric】—>【添加Fabric】

选择Spine/Leaf类型，输入名称，添加设备，分配设备角色，并配置组网出入口，完成创建。

4.2.5 配置BGP邻居

【快速部署】—>【物理网络】—>【配置BGP】—>【同步设备邻居】

4.2.6 应用配置

【快速部署】—>【物理网络】—>【完成部署】—>【应用配置】

完成应用配置，大概等3分钟，等待配置下发物理设备。

4.2.7 创建租户信息

【虚拟网络】—>【独立部署场景】—>【租户】—>【新建租户】

新建租户，这里的租户代表用户本身，是配置网络的逻辑前提。

4.2.8 创建VPC

【虚拟网络】—>【独立部署场景】—>【VPC】—>【新建VPC】

新建VPC，选择租户和之前创建的Fabric组网。

4.2.9 创建虚拟路由器

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟路由器】—>【新建虚拟路由器】

新建虚拟路由器，预设两台Leaf设备的三层VNI和Fabric子网信息。

4.2.10 创建虚拟交换机

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟交换机】—>【新建虚拟交换机】

新建虚拟交换机，在Leaf设备上创建VLAN，并配置二层VXLAN映射；允许绑定子网，并配置三层VXLAN映射。

4.2.11 创建虚拟端口

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟端口】—>【新建虚拟端口】

新建虚拟端口，配置VLAN绑定的物理端口。

4.2.12 测试Server1和Server2的连通性

[root@server1 ~]# ping 100.0.20.3

[root@server2 ~]# ping 100.0.10.2

4.2.13 查看Leaf1的路由信息

查看VETP信息
admin@Leaf1:~$ show evpn status

查看交换机本身路由显示
admin@Leaf1:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf1:~$ ip neigh show nud all|grep Vlan

admin@Leaf1:~$ show ip route vrf Vnet123

4.2.14 查看Leaf2的路由信息

查看VETP信息
admin@Leaf2:~$ show evpn status

查看交换机本身路由显示
admin@Leaf2:~$ ip route show

下面信息显示Server2的路由转发到了Leaf2
admin@Leaf2:~$ ip neigh show nud all|grep Vlan

admin@Leaf2:~$ show ip route vrf Vnet456

5 测试结果

Server1和Server2之间使用交换机建立的VXLAN通道完成了通信；
Leaf1和Leaf2对服务器之间的通信进行了VXLAN封装/去封装和L2/L3路由转发。

结论： VXLAN网络的封装、去封装可以从Server端卸载到CX308内的VTEP上，并且在网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。

更多内容请参考：A-Lab

A-lab-云网络, A-lab-部署验证

AI/超算/云数据中心

云化园区

网络操作系统（SONiC）

可视交换机

开放硬件平台

应用场景

行业应用