RoCEv2 / EVPN-VXLAN / MC-LAG的部署
目标与物理网络拓扑
本文主要描述如何在Asterfusion CX306P-48S（以下简称CX306P）搭建的模拟网络上部署如下解决方案：
- RoCEv2
在模拟网络上承载RDMA应用，通过CX306P的PFC和ECN功能，为所承载的RDMA应用构建无损的RoCEv2环境。
- BGP EVPN和VXLAN
在模拟网络上承载VXLAN网络，将原本在Open vSwitch上进行的封装、去封装全部从Server端卸载到CX306P内的VTEP上，并且在模拟网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。
- MC-LAG
在模拟网络上为服务器创建一个高可靠环境，确保每台服务器都能通过标准LAG双上联到两台CX306P上，这两台CX306P通过MC-LAG被虚拟化成一台高可靠的交换节点。
如上解决方案共用一个物理拓扑，如图1所示：
部署过程中所涉及到的设备、接口及管理网口的IP地址如下表所示：
|
设备名称 |
接口 |
IP地址 |
|
交换机A |
管理口 |
192.168.4.102 |
|
交换机B |
管理口 |
192.168.4.105 |
|
Server1 |
管理口 |
192.168.4.2 |
|
Server2 |
管理口 |
192.168.5.133 |
|
Server3 |
管理口 |
192.168.4.150 |
硬件与软件环境
部署环境中涉及到的硬件和软件如下表所示：
|
名称 |
型号 |
硬件指标 |
数量 |
备注 |
|
交换机 |
CX306P |
【参见产品彩页】 |
2 |
|
|
服务器 |
1.至少8G内存 2.磁盘不少于500G 3.Server1和Server3的BIOS开启CPU嵌套虚拟化（INTEL：VT-x，AMD：AMD-V） |
3 |
Server1和Server3各需要安装一块Mellanox ConnectX-4网卡（25G） |
|
|
光模块 |
10G |
SFP+ |
12 |
|
|
100G |
QSFP28 |
4 |
||
|
光纤 |
多模 |
10G/25G适用 |
6 |
|
|
多模 |
100G适用 |
2 |
|
软件 |
版本 |
备注 |
|
操作系统 |
Centos7.6 |
安装时选择Compute Node 模式，根目录/至少500G |
|
iperf3 |
可以直接yum install iperf3安装，3台server均需要安装 |
|
|
Mellanox网卡驱动 |
4.7-3.2.9.0 |
具体参考《解决方案-Mellanox网卡驱动安装-e-20200211-v1.1》 |
|
tcpdump |
可以直接yum install tcpdump |
解决方案：RoCEv2
逻辑组网与配置思路
配置思路：
- 为交换机A和交换机B配置IP和路由
- 分别为Server1、Server2、Server3配置IP和路由网关
- 配置Server1的PFC功能
- 配置交换机A的ACL打标DSCP功能
- 使能交换机A和交换机B的QOS功能
- 先在Server1发送IB流量，观察队列流量
- 停掉Server1上的流量发送，在Server2发送普通TCP背景流量，观察队列流量
- 观察ACL规则匹配情况
- 将Server1和Server2的流量都打起来，观察交换机B的出口拥塞情况
- 配置交换机A和交换机B的PFC功能
- 观察测试PFC功能
- 关闭交换机A和交换机B的PFC功能，配置交换机B的ECN功能
- 配置服务器ECN相关设置
- 测试ECN功能
解决方案：BGP EVPN和VXLAN
逻辑组网与配置思路
配置思路：
- 配置交换机A和交换机B的HOSTNAME
- 配置交换机A的EVPN
- 配置交换机B的EVPN
- Server1上创建虚机和VLAN
- Server3上创建虚机和VLAN
- 测试Server1和Server3的连通性
- 查看交换机A的路由信息
- 查看交换机B的路由信息
解决方案：MC-LAG
逻辑组网与配置思路
配置思路：
- 分别为Server1、Server3配置LAG
- 交换机A创建PortChannel，并添加接口
- 交换机A创建VLAN，并添加成员
- 交换B创建PortChannel，并添加接口
- 交换机B创建VLAN，并添加成员
- 交换机A配置MC-LAG
- 交换机B配置MC-LAG
- 测试链路故障
- 测试设备故障
