技术文档
技术手册-RoCEv2 / EVPN-VXLAN / MC-LAG 部署
2022-06-07
本文主要描述如何在Asterfusion CX306P-48S（以下简称CX306P）搭建的模拟网络上部署如下解决方案：
- RoCEv2：在模拟网络上承载RDMA应用，通过CX306P的PFC和ECN功能，为所承载的RDMA应用构建无损的RoCEv2环境。
- BGP EVPN和VXLAN：在模拟网络上承载VXLAN网络，将原本在Open vSwitch上进行的封装、去封装全部从Server端卸载到CX306P内的VTEP上，并且在模拟网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。
- MC-LAG：在模拟网络上为服务器创建一个高可靠环境，确保每台服务器都能通过标准LAG双上联到两台CX306P上，这两台CX306P通过MC-LAG被虚拟化成一台高可靠的交换节点。
如上解决方案共用一个物理拓扑，如图1所示：
部署过程中所涉及到的设备、接口及管理网口的IP地址如下表所示：
| 设备名称 | 接口 | IP地址 |
|---|---|---|
| 交换机A | 管理口 | 192.168.4.102 |
| 交换机B | 管理口 | 192.168.4.105 |
| Server1 | 管理口 | 192.168.4.2 |
| Server2 | 管理口 | 192.168.4.133 |
| Server3 | 管理口 | 192.168.4.150 |
RoCEv2 / EVPN-VXLAN / MC-LAG部署的硬件与软件环境
部署环境中涉及到的硬件和软件如下表所示：
| 名称 | 型号 | 硬件指标 | 数量 | 备注 |
|---|---|---|---|---|
| 交换机 | CX306P | 《参见产品彩页》 | 2 | |
| 服务器 | 1、至少8G内存 2、磁盘不少于500G 3、Server1和Server3的BIOS开启CPU嵌套虚拟化（INTEL：VT-x, AMD:AMD-V） | 3 | Server1和Server3各需要安装一块Mellanox ConnectX-4网卡（25G） | |
| 光模块 | 10G | SFP+ | 12 | |
| 100G | QSFP28 | 4 | ||
| 光纤 | 多模 | 10G/25G适用 | 6 | |
| 多模 | 100G适用 | 2 |
| 软件 | 版本 | 备注 |
|---|---|---|
| 操作系统 | Centos7.6 | 安装时选择Compute Node 模式，根目录/至少500G |
| iperf3 | 可以直接yum install iperf3安装，3台server均需要安装 | |
| Mellanox网卡驱动 | 4.7-3.2.9.0 | 具体参考《解决方案-Mellanox网卡驱动安装-e-20200211-v1.1》 |
| tcpdump | 可以直接yum install tcpdump |
RoCEv2的配置部署
逻辑组网与配置思路
配置思路：
- 为交换机A和交换机B配置IP和路由
- 分别为Server1、Server2、Server3配置IP和路由网关
- 配置Server1的PFC功能
- 配置交换机A的ACL打标DSCP功能
- 使能交换机A和交换机B的QOS功能
- 先在Server1发送IB流量，观察队列流量
- 停掉Server1上的流量发送，在Server2发送普通TCP背景流量，观察队列流量
- 观察ACL规则匹配情况
- 将Server1和Server2的流量都打起来，观察交换机B的出口拥塞情况
- 配置交换机A和交换机B的PFC功能
- 观察测试PFC功能
- 关闭交换机A和交换机B的PFC功能，配置交换机B的ECN功能
- 配置服务器ECN相关设置
- 测试ECN功能
BGP EVPN和VXLAN配置部署
逻辑组网与配置思路
配置思路：
- 配置交换机A和交换机B的HOSTNAME
- 配置交换机A的EVPN
- 配置交换机B的EVPN
- Server1上创建虚机和VLAN
- Server3上创建虚机和VLAN
- 测试Server1和Server3的连通性
- 查看交换机A的路由信息
- 查看交换机B的路由信息
MC-LAG的配置部署思路
逻辑组网与配置思路
配置思路：
- 分别为Server1、Server3配置LAG
- 交换机A创建PortChannel，并添加接口
- 交换机A创建VLAN，并添加成员
- 交换B创建PortChannel，并添加接口
- 交换机B创建VLAN，并添加成员
- 交换机A配置MC-LAG
- 交换机B配置MC-LAG
- 测试链路故障
- 测试设备故障
全文请注册/登录后获取：https://asterfusion.com/d-20220617/
