开放网络的先行者与推动者—星融元
技术支持(Support)  TEL:(+86)4000989811
产品
2022-06-07
关键词
产品

RoCEv2 / EVPN-VXLAN / MC-LAG的部署

2022-06-07

目标与物理网络拓扑

本文主要描述如何在Asterfusion CX306P-48S(以下简称CX306P)搭建的模拟网络上部署如下解决方案:

  • RoCEv2

在模拟网络上承载RDMA应用,通过CX306P的PFC和ECN功能,为所承载的RDMA应用构建无损的RoCEv2环境。

  • BGP EVPNVXLAN

在模拟网络上承载VXLAN网络,将原本在Open vSwitch上进行的封装、去封装全部从Server端卸载到CX306P内的VTEP上,并且在模拟网络上启动BGP EVPN,自动化地创建VXLAN隧道、传递虚拟网络路由。

  • MC-LAG

在模拟网络上为服务器创建一个高可靠环境,确保每台服务器都能通过标准LAG双上联到两台CX306P上,这两台CX306P通过MC-LAG被虚拟化成一台高可靠的交换节点。

如上解决方案共用一个物理拓扑,如图1所示:

部署过程中所涉及到的设备、接口及管理网口的IP地址如下表所示:

设备名称

接口

IP地址

交换机A

管理口

192.168.4.102

交换机B

管理口

192.168.4.105

Server1

管理口

192.168.4.2

Server2

管理口

192.168.5.133

Server3

管理口

192.168.4.150

 硬件与软件环境

部署环境中涉及到的硬件和软件如下表所示:

名称

型号

硬件指标

数量

备注

交换机

CX306P

【参见产品彩页】

2

服务器

1.至少8G内存

2.磁盘不少于500G

3.Server1和Server3的BIOS开启CPU嵌套虚拟化(INTEL:VT-x,AMD:AMD-V)

3

Server1和Server3各需要安装一块Mellanox ConnectX-4网卡(25G)

光模块

10G

SFP+

12

100G

QSFP28

4

光纤

多模

10G/25G适用

6

多模

100G适用

2

软件

版本

备注

操作系统

Centos7.6

安装时选择Compute Node 模式,根目录/至少500G

iperf3

可以直接yum install iperf3安装,3台server均需要安装

Mellanox网卡驱动

4.7-3.2.9.0

具体参考《解决方案-Mellanox网卡驱动安装-e-20200211-v1.1》

tcpdump

可以直接yum install tcpdump

 解决方案:RoCEv2

逻辑组网与配置思路

配置思路:

  • 为交换机A和交换机B配置IP和路由
  • 分别为Server1、Server2、Server3配置IP和路由网关
  • 配置Server1的PFC功能
  • 配置交换机A的ACL打标DSCP功能
  • 使能交换机A和交换机B的QOS功能
  • 先在Server1发送IB流量,观察队列流量
  • 停掉Server1上的流量发送,在Server2发送普通TCP背景流量,观察队列流量
  • 观察ACL规则匹配情况
  • 将Server1和Server2的流量都打起来,观察交换机B的出口拥塞情况
  • 配置交换机A和交换机B的PFC功能
  • 观察测试PFC功能
  • 关闭交换机A和交换机B的PFC功能,配置交换机B的ECN功能
  • 配置服务器ECN相关设置
  • 测试ECN功能

 解决方案:BGP EVPN和VXLAN

逻辑组网与配置思路

配置思路:

  • 配置交换机A和交换机B的HOSTNAME
  • 配置交换机A的EVPN
  • 配置交换机B的EVPN
  • Server1上创建虚机和VLAN
  • Server3上创建虚机和VLAN
  • 测试Server1和Server3的连通性
  • 查看交换机A的路由信息
  • 查看交换机B的路由信息

 解决方案:MC-LAG

逻辑组网与配置思路

配置思路:

  • 分别为Server1、Server3配置LAG
  • 交换机A创建PortChannel,并添加接口
  • 交换机A创建VLAN,并添加成员
  • 交换B创建PortChannel,并添加接口
  • 交换机B创建VLAN,并添加成员
  • 交换机A配置MC-LAG
  • 交换机B配置MC-LAG
  • 测试链路故障
  • 测试设备故障
关注我们

完整手册

36页完整文档,包含具体部署步骤和命令行

对星融元产品感兴趣?

立即联系我们

返回顶部

© 星融元数据技术(苏州)有限公司 苏ICP备17070048号-2