A-Lab Archives - 星融元Asterfusion

CX102S-DPU开放智能网关用户指导手册

1 引言
2 首次登录设备
3 配置DPU1
4 配置DPU2

CX102S-DPU开放智能网关用户指导手册

1 引言

CX102S-DPU开放智能网关内部核心模块为1*交换芯片+2*DPU（高性能计算单元），其中两张DPU和交换芯片通过内部2*10G链路互联，其中面板的1-8接口还支持PoE++供电能力，交换芯片中运行着基于SONiC的开放的网络操作系统AsterNOS，提供丰富的L2/L3转发功能。默认情况下，DPU1默认安装了OpenWrt系统，专为网络出口提供网关能力。DPU2默认安装了Debian系统，用户可以根据实际业务需求，按需安装多种类型的软件工具。

同时，允许用户在设备的两张DPU上安装任意Linux发行版本，包括Ubuntu、Debian、OpenWRT、CentOS 等，从而支持开放的软件生态，如VPP、UFW、OpenVPN、Snort、HAProxy、Nginx、ntopng等，并可根据用户需要在同一台设备上组合运行多个软件。

2 首次登录设备

2.1 设备基础配置

设备初始化情况下没有默认的登录/管理IP，设备上电后需要通过串口连接，配置IP地址后可以通过SSH的方式登录设备。

设备默认登录用户名：admin，密码：asteros。
通过串口连接设备时需注意修改波特率为：115200。

该设备内置两张高性能DPU卡，其中DPU1通过内部接口Ethernet19与交换芯片相连，DPU2通过内部接口Ethernet20与交换芯片相连。缺省情况下，设备面板上的所有物理接口以及内部接口都为access模式，默认均为VLAN1，登录设备后可以通过给VLAN1配置IP地址作为设备的管理IP。

设备配置命令如下：

sonic# configure terminal 
sonic(config)# interface vlan 1
sonic(config-vlanif-1)# ip address 192.168.1.254/24

3 配置DPU1

DPU1默认安装了OpenWrt系统，专为网络出口提供网关能力，用户也可以基于该系统安装第三方软件。如需自定义安装其他基础操作系统，请前往Asterfusion官网参考《CX102S-DPU开放智能网关DPU操作系统安装指导》进行系统安装。

注：如需修改DPU1/DPU2的默认IP地址，请通过串口连接设备后，在命令行输入以下命令分别可以进入DPU1和DPU2后台进行配置修改：（注：命令需一次性完整输入）

sonic# 
sonic# switchUart1           //输入该命令进入DPU1
root@OpenWrt:/# 
root@OpenWrt:/# switchUart0      //输入该命令退出
sonic# 
sonic# switchUart2             //输入该命令进入DPU2
root@OCTEONTX:~/ntopng-6.2# 
root@OCTEONTX:~/ntopng-6.2# switchUart0 //输入该命令退出

3.2 OpenWrt功能配置

3.2.1 配置WAN接口

缺省情况下，OpenWrt默认的LAN接口状态如下图所示，需先创建一个WAN口接入运营商网络：

按照以下步骤创建接口，需要注意设备侧需要对应配置相同的VLAN才能互通（以下步骤中LAN端口为VLAN10，WAN端口为VLAN100，用户可根据网络情况进行修改）
1、点击【网络】-【接口】-【设备】-【添加设备配置】

2、配置以下参数信息，点击【保存】

3、删除IPV6默认配置后点击【保存并应用】

4、再返回到【接口】，点击【添加新接口】

5、配置以下参数信息后点击【创建接口】

6、点击【创建接口后】，根据网络出口真实的IP规划进行配置后点击【保存】

7、WAN接口配置完成后点击【保存并应用】，完成接口的配置

3.2.2 配置LAN接口

1、点击【网络】-【接口】-【设备】-【添加设备配置】

2、配置以下参数信息，点击【保存】

3、再返回到【接口】，点击【添加新接口】

4、点击【创建接口后】，根据网络LAN真实的IP规划进行配置后点击【保存】

5、将初始的LAN口删除后点击【保存并应用】，即可完成OpenWrt的配置

注：如需配置其他功能，详情请参考OpenWrt官方配置指导手册

3.3 设备接口配置

典型场景配置举例：当图中PC需要经过网关设备访问外网时，需要把OpenWrt中eth0.100接口设置为WAN口，eth0.10接口设置成LAN口（上一节配置中已介绍），同时需要把设备的Eth18口与运营商专线连接，配置为WAN端口，把设备的Eth1-4口连接PC，配置成LAN端口，VLAN（WAN：VLAN100，LAN：VLAN10），DPU1与交换机侧通过Ethernet19口进行数据传输。将交换机的内部接口Eth19的VLAN放行，设备配置如下：

sonic# configure terminal 
sonic(config)# vlan 100            //创建WAN口对应的VLAN
sonic(config-vlan-100)# exit
sonic(config)# interface ethernet 18     //配置WAN口
sonic(config-if-18)# no switchport access vlan 1
sonic(config-if-18)# switchport access vlan 100
sonic(config-if-18)# exit
sonic(config)# vlan 10                  //创建LAN口对应的VLAN
sonic(config-vlan-10)# exit
sonic(config)# interface ethernet 1      //配置LAN口（其余LAN口配置相同）
sonic(config-if-1)# no switchport access vlan 1
sonic(config-if-1)# switchport access vlan 10
sonic(config-if-1)# exit

4 配置DPU2

DPU2默认安装了Debian系统，用户也可以基于该系统安装其他第三方软件。该文档以在系统之上安装ntopng（监控网络流量工具）举例，可以将网络出口的全流量进行可视化监控分析，用户如需自定义安装其他基础操作系统，请前往Asterfusion官网参考《CX102S-DPU开放智能网关-DPU操作系统安装指导》进行系统安装，如需自定义安装其他软件工具，请前往Asterfusion官网参考《CX102S-DPU开放智能网关-DPU软件安装指导-ntopng》进行系统安装。

4.1 安装依赖

sonic# switchUart2
admin@OCTEONTX:~$ sudo apt-get install build-essential git bison flex libxml2-dev libpcap-dev libtool libtool-bin rrdtool librrd-dev autoconf pkg-config automake autogen redis-server wget libsqlite3-dev libhiredis-dev libmaxminddb-dev libcurl4-openssl-dev libpango1.0-dev libcairo2-dev libnetfilter-queue-dev zlib1g-dev libssl-dev libcap-dev libnetfilter-conntrack-dev libreadline-dev libjson-c-dev libldap2-dev rename libsnmp-dev libexpat1-dev libmaxminddb-dev libradcli-dev libjson-c-dev libzmq3-dev curl jq libnl-genl-3-dev libgcrypt20-dev
admin@OCTEONTX:~$ sudo apt-get install vim git

4.2 准备源码

root@OCTEONTX:~# git clone https://github.com/ntop/ntopng.git
root@OCTEONTX:~# git clone https://github.com/ntop/ntopng-dist.git /root/ntopng/httpdocs/dist
root@OCTEONTX:~# git clone https://github.com/ntop/nDPI.git /root/ntopng/
# 网络问题可能会导致拉取失败或耗时较长，因此可以手动下载到本地，再上传解压
root@OCTEONTX:~# unzip nDPI-4.10.tar.gz
root@OCTEONTX:~# unzip ntopng-6.2.tar.gz
root@OCTEONTX:~# cp -vrf nDPI-4.10 ntopng-6.2/nDPI
root@OCTEONTX:~# unzip ntopng-dist-6.2-stable.zip
root@OCTEONTX:~# cp -vrf ntopng-dist-6.2-stable/* ntopng-6.2/ httpdocs/dist/

4.3 编译安装

# 进入编译安装目录
root@OCTEONTX:~# cd ntopng-6.2/
root@OCTEONTX:~/ntopng-6.2# 
# 先安装nDPI
root@OCTEONTX:~/ntopng-6.2# cd nDPI
root@OCTEONTX:~/ntopng-6.2 /nDPI# ./autogen.sh
root@OCTEONTX:~/ntopng-6.2 /nDPI# ./configure
root@OCTEONTX:~/ntopng-6.2 /nDPI# make
root@OCTEONTX:~/ntopng-6.2 /nDPI# cd ..
# 再安装ntopng
root@OCTEONTX:~/ntopng-6.2# ./autogen.sh
root@OCTEONTX:~/ntopng-6.2# ./configure
root@OCTEONTX:~/ntopng-6.2# make
root@OCTEONTX:~/ntopng-6.2# make install
root@OCTEONTX:~/ntopng-6.2# which ntopng 
/usr/local/bin/ntopng
root@OCTEONTX:~/ntopng-6.2# ntopng --version
Version:        6.2.240815 [Community build]
GIT rev:        :6.2.240815
root@OCTEONTX:~/ntopng-6.2#
# 配置接口IP地址（可以自定义IP）
root@OCTEONTX:~/ntopng-6.2# ip add add dev eth0 192.168.2.1/24
root@OCTEONTX:~/ntopng-6.2# route add default gw 192.168.2.254
# 启动Redis数据库
root@OCTEONTX:~/ntopng-6.2# systemctl start redis
# 命令行方式运行ntopng
root@OCTEONTX:~/ntopng-6.2# ntopng /etc/ntopng/ntopng.conf --dont-change-user

4.4 交换机侧配置

DPU2与交换机侧通过Ethernet20口进行数据传输，此时需要把交换机上WAN侧（Ethernet 16）的流量镜像到Ethernet20，供DPU2上的ntopng进行监控分析。

sonic# show running-config 
interface ethernet 1                                  //连接PC登录ntopng
 switchport access vlan 20  
!
interface ethernet 8                                  //LAN口
 switchport access vlan 10
!
interface ethernet 16                                 //WAN口
 switchport access vlan 100
!
interface ethernet 19                                 //DPU1与交换机的互联口
 switchport trunk vlan 10
 switchport trunk vlan 100
!
interface ethernet 20                                 //DPU2与交换机的互联口
 switchport access vlan 20
!
vlan 1
!
vlan 10
!
vlan 20
!
vlan 100
!
interface vlan 10
 ip address 192.168.1.254/24
!
interface vlan 20
 ip address 192.168.2.254/24
!
interface vlan 100
 ip address 192.168.17.2/24
!
//配置端口镜像，将16口的流量镜像到20口，供DPU2上的ntopng进行监控分析
mirror session 1 span   
!
mirror session 1 span src-ethernet 16 dst-ethernet 20
!
ip route 0.0.0.0/0 192.168.17.254
!
end
sonic#

4.5 功能验证

当前ntopng所在计算单元的管理IP是192.168.2.1/24，PC配置相同网段的IP，与设备Ethernet1口连接，通过192.168.2.1:3000即可访问ntopngp的WEB界面。默认的用户名密码是admin/admin，第一次登录需要修改密码。

在Web页面上可以看到所有经过WAN口的全部流量：

在Debian Linux上安装ntopng

1 操作前声明
2 工具介绍
3 编译安装
4 启动运行
5 访问验证

DPU软件安装指导-ntopng

本文档介绍如何在星融元CX102S-DPU设备的计算单元（DPU）的Debian Linux系统上安装网络流量可视化监控工具ntopng。

1、ntopng介绍

ntopng是ntop的下一代版本，是一款基于web的网络流量分析工具，它能够实时监控和分析网络流量，提供丰富的可视化界面，帮助用户更好地了解网络状况和优化网络性能。

ntopng支持多种协议和数据源，包括TCP、UDP、HTTP、DNS、NetFlow等，可以对网络流量进行深度分析，并提供实时警报和日志记录功能。ntopng的优点是易于安装和使用，具有强大的功能和灵活的配置选项，可以帮助管理员快速识别网络问题并采取相应措施。

2、 ntopng编译安装

2.1 安装依赖

admin@OCTEONTX:~$ sudo apt-get install build-essential git bison flex libxml2-dev libpcap-dev libtool libtool-bin rrdtool librrd-dev autoconf pkg-config automake autogen redis-server wget libsqlite3-dev libhiredis-dev libmaxminddb-dev libcurl4-openssl-dev libpango1.0-dev libcairo2-dev libnetfilter-queue-dev zlib1g-dev libssl-dev libcap-dev libnetfilter-conntrack-dev libreadline-dev libjson-c-dev libldap2-dev rename libsnmp-dev libexpat1-dev libmaxminddb-dev libradcli-dev libjson-c-dev libzmq3-dev curl jq libnl-genl-3-dev libgcrypt20-dev
admin@OCTEONTX:~$ sudo apt-get install vim git

2.2 准备源码

root@OCTEONTX:~# git clone https://github.com/ntop/ntopng.git
root@OCTEONTX:~# git clone https://github.com/ntop/ntopng-dist.git /root/ntopng/httpdocs/dist
root@OCTEONTX:~# git clone https://github.com/ntop/nDPI.git /root/ntopng/
# 网络问题可能会导致拉取失败或耗时较长，因此可以手动下载到本地，再上传解压
root@OCTEONTX:~# unzip nDPI-4.10.tar.gz
root@OCTEONTX:~# unzip ntopng-6.2.tar.gz
root@OCTEONTX:~# cp -vrf nDPI-4.10 ntopng-6.2/nDPI
root@OCTEONTX:~# unzip ntopng-dist-6.2-stable.zip
root@OCTEONTX:~# cp -vrf ntopng-dist-6.2-stable/* ntopng-6.2/ httpdocs/dist/

3.3 编译安装

# 进入编译安装目录
root@OCTEONTX:~# cd ntopng-6.2/
root@OCTEONTX:~/ntopng-6.2# 
# 先安装nDPI
root@OCTEONTX:~/ntopng-6.2# cd nDPI
root@OCTEONTX:~/ntopng-6.2 /nDPI# ./autogen.sh
root@OCTEONTX:~/ntopng-6.2 /nDPI# ./configure
root@OCTEONTX:~/ntopng-6.2 /nDPI# make
root@OCTEONTX:~/ntopng-6.2 /nDPI# cd ..
# 再安装ntopng
root@OCTEONTX:~/ntopng-6.2# ./autogen.sh
root@OCTEONTX:~/ntopng-6.2# ./configure
root@OCTEONTX:~/ntopng-6.2# make
root@OCTEONTX:~/ntopng-6.2# make install
root@OCTEONTX:~/ntopng-6.2# which ntopng 
/usr/local/bin/ntopng
root@OCTEONTX:~/ntopng-6.2# ntopng --version
Version:        6.2.240815 [Community build]
GIT rev:        :6.2.240815
root@OCTEONTX:~/ntopng-6.2#

3、启动运行

计算单元-1侧配置步骤：

默认情况下，计算单元-1预装OpenWRT系统，可根据用户所处网络环境到OpenWRT的WEB界面进行相应的网络配置。具体配置方法/流程请参考OpenWRT的指导文档。

计算单元-2侧配置步骤：

# 用配置模板，准备一份运行时配置文件
root@OCTEONTX:~/ntopng-6.2# mkdir -p /etc/ntopng
root@OCTEONTX:~/ntopng-6.2# cp ./packages/etc/ntopng/ntopng.conf /etc/ntopng/ntopng.conf

# 启动Redis数据库
root@OCTEONTX:~/ntopng-6.2# systemctl start redis

# 命令行方式运行ntopng
root@OCTEONTX:~/ntopng-6.2# ntopng /etc/ntopng/ntopng.conf --dont-change-user
交换单元侧配置：
计算单元-2的管理口eth0，对应到交换单元为Ethernet20。

sonic# show startup-config 
!
interface ethernet 8
 switchport access vlan 10
!
interface ethernet 16
 switchport access vlan 100
!
interface ethernet 19
 switchport trunk vlan 10
 switchport trunk vlan 100
!
interface ethernet 20
 switchport access vlan 100
!
vlan 1
 broadcast flood
 unknown-uni flood
 unre-multi flood
!
vlan 10
!
vlan 100
!
interface vlan 10
 ip address 192.168.1.2/24
!
interface vlan 100
 ip address 192.168.17.2/24
!
ip route 0.0.0.0/0 192.168.17.254
!
end
sonic#

5 访问验证ntopng运行

当前ntopng所在计算单元的管理IP是192.168.17.26/24，所以通过 http://192.168.17.26:3000 访问ntopngp的WEB界面。默认的用户名密码是admin/admin，第一次登录需要修改密码。

相关产品：CX-M系列云化园区交换机

CX-M系列云化园区交换机：构建新一代精简高效的云化园区网络

JumpServer-开源堡垒机的部署

1 JumpServer简介

Jumpserver 是全球首款完全开源的堡垒机，使用 GNU GPL v2.0 开源协议，是符合 4A 机制的运维安全审计系统。

Jumpserver 使用 Python / Django 进行开发，遵循 Web 2.0 规范，配备了业界领先的 Web Terminal 方案，交互界面美观、用户体验好。

Jumpserver 采纳分布式架构，支持多机房跨区域部署，支持横向扩展，无资产数量及并发限制。

2 目标

使用Jumpserver统一管理公司内网资源，可以实现不通过内网来访问公司Windows/Linux资源。

3 环境准备

一台server，操作系统CentOS 7.4.1708 镜像CentOS-7-x86_64-DVD-1810.iso，IP 192.168.5.135，服务器具体配置如下：

硬件配置：2个CPU核心, 4G 内存, 50G 硬盘（最低）
Python = 3.6.x

4 组件说明

JumpServer 为管理后台, 管理员可以通过 Web 页面进行资产管理、用户管理、资产授权等操作, 用户可以通过 Web 页面进行资产登录, 文件管理等操作
Koko 为 SSH Server 和 Web Terminal Server 。用户可以使用自己的账户通过 SSH 或者 Web Terminal 访问 SSH 协议和 Telnet 协议资产
Luna 为 Web Terminal Server 前端页面, 用户使用 Web Terminal 方式登录所需要的组件
Guacamole 为 RDP 协议和 VNC 协议资产组件, 用户可以通过 Web Terminal 来连接 RDP 协议和 VNC 协议资产 (暂时只能通过 Web Terminal 来访问)

5 端口说明

JumpServer 默认 Web 端口为 8080/tcp, 默认 WS 端口为 8070/tcp
Koko 默认 SSH 端口为 2222/tcp
Guacamole 默认端口为 8081/tcp,
Nginx 默认端口为 80/tcp
Redis 默认端口为 6379/tcp
Mysql 默认端口为 3306/tcp

6 部署过程

6.1 关闭SELinux

SELinux不关闭的情况下会发生无法访问的问题。

[root@localhost  ~]# setenforce 0
[root@localhost  ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

6.2 关闭防火墙

防止安装时出现各个组件的端口不能访问的问题。

[root@localhost  ~]#systemctl stop firewalld && systemctl dible firewalld

6.3 安装依赖包

[root@localhost  ~]# yum -y install wget gcc epel-release git

6.4 安装Redis

JumpServer使用Redis做cache和celery broke。

[root@localhost  ~]# yum -y install redis
[root@localhost  ~]# systemctl enable redis
[root@localhost  ~]# systemctl start redis

6.5 安装Mysql并授权

JumpServer使用Mysql做数据库，也支持Sqlite3，Postgres等。

[root@localhost  ~]# yum -y mariadb mairadb-devel mariadb-server
[root@localhost  ~]# systemctl enable mairadb
[root@localhost  ~]# systemctl start mariadb
[root@localhost  ~]# mysql -uroot -e "create database jumpserver default charset 'utf8'; grant all on jumpserver.* to 'jumpserver'@'127.0.0.1' identified by 'tera123'; flush privileges;"

6.6 Mysql修改存储路径

Mysql yum安装后默认存储路径为根目录，所以需要修改存储路径防止根目录磁盘被占满。

[root@localhost  ~]# vi /etc/my.cnf.d/mariadb-server.cnf
[mysqld]
datadir=/home/mysql
socket=/home/mysql/mysql.sock
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
[root@localhost  ~]# vi /etc/my.cnf.d/client.cnf 
[client-mariadb]
socket=/home/mysql/mysql.sock
[root@localhost  ~]# systemctl restart mariadb

6.7 安装Nginx

安装Nginx，反向代理JumpServer各个组件。

[root@localhost  ~]#vi /etc/yum.repos.d/nginx.rep
[nginx]
name=nginx 
repobaseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1
[root@localhost  ~]# yum -y install nginx
[root@localhost  ~]# systemctl enable nginx

6.8 安装Pyhon3.6

[root@localhost  ~]# yum -y install python36 python36-devel
[root@localhost  ~]# cd /home
[root@localhost  ~]# python3.6 -m venv py3
[root@localhost  ~]# source /home/py3/bin/activate

6.9 安装JumpServer

[root@localhost  ~]# cd /home
[root@localhost  ~]# git clone --depth=1 https://github.com/jumpserver/jumpserver.git
[root@localhost  ~]# yum -y install $(cat /home/jumpserver/requirements/rpm_requirements.txt)

6.10 安装Python依赖库

[root@localhost  ~]# pip install wheel
[root@localhost  ~]# pip install --upgrade pip setuptools
[root@localhost  ~]# pip install -r /home/jumpserver/requirements/requirements.txt

6.11 修改JumpServer配置文件

[root@localhost  ~]# cd /home/jumpserver
[root@localhost  ~]# cp config_example.yml config.yml
[root@localhost  ~]# vi config.yml
SECRET_KEY: FjAvZ0D5c6LwaUJVb7AwPPsiFl2wVVpMGQl41LBbQKi23bPEiK
BOOTSTRAP_TOKEN: e7t4EZ0BBw5GfvlH
DEBUG: false
LOG_LEVEL: ERROR
SESSION_EXPIRE_AT_BROWSER_CLOSE: true
DB_ENGINE: mysql
DB_HOST: 127.0.0.1
DB_PORT: 3306
DB_USER: jumpserver
DB_PASSWORD: tera123
DB_NAME: jumpserver
HTTP_BIND_HOST: 0.0.0.0
HTTP_LISTEN_PORT: 8080
WS_LISTEN_PORT: 8070
REDIS_HOST: 127.0.0.1
REDIS_PORT: 6379

6.12 运行JumpServer

[root@localhost  ~]# cd /home/jumpserver
[root@localhost  ~]# ./jms start all -d

6.13 安装Docker

[root@localhost  ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@localhost~  ] # yum-config-manager\
--add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@localhost  ~]# yum -y install docker-ce wget
[root@localhost  ~]# mkdir /etc/docker
[root@localhost  ~] #yum -y install docker-ce wget
[root@localhost  ~] #systemctl enable docker
[root@localhost  ~] #systemctl start docker

6.14 部署Koko与Guacamole

[root@localhost  ~]# docker run --name jms_koko -d -p 2222:2222\
-p 127.0.0.1:5000:5000\
-e CORE_HOST=http://192.168.5.135:8080\
-e BOOTSTRAP_TOKEN=e7t4EZ0BBw5GfvlH \
--restart=always wojiushixiaobai/jms_koko:1.5.6
[root@localhost  ~]# docker run --name jms_guacamole -d -p 127.0.0.1:8081:8080\
-e JUMPSERVER_SERVER=http://192.168.5.135:8080\ 
-e BOOTSTRAP_TOKEN=e7t4EZ0BBw5GfvlH\ 
--restart=always wojiushixiaobai/jms_guacamole:1.5.6

6.15 部署Luna

Luna为JumpServer的Web前端。

[root@localhost  ~]# cd /home
[root@localhost  ~]# wget https://demo.jumpserver.org/download/luna/1.5.6/luna.tar.gz
[root@localhost  ~]# tar -xvf luna.tar.gz
[root@localhost  ~]# chown -R root:root luna

6.16 配置Nginx

[root@localhost  ~]# vi /etc/nginx/conf.d/default.conf
server {
    listen 80;
    # server_name _;
    client_max_body_size 1000m;  # 录像及文件上传大小限制
    client_header_timeout 360s;
    large_client_header_buffers 4 16k;
    client_body_buffer_size 128k;
    proxy_connect_timeout 600;
    proxy_read_timeout 600;
    proxy_send_timeout 600;

    location /luna/ {
        try_files $uri / /index.html;
        alias /home/luna/;  # luna 路径, 如果修改安装目录, 此处需要修改
    }
    location /media/ {
        add_header Content-Encoding gzip;
        root /home/jumpserver/data/;  # 录像位置, 如果修改安装目录, 此处需要修改
    }

    location /static/ {
        root /home/jumpserver/data/;  # 静态资源, 如果修改安装目录, 此处需要修改
    }

    location /koko/ {
        proxy_pass       http://localhost:5000;
        proxy_buffering off;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        access_log off;
    }

    location /guacamole/ {
        proxy_pass       http://localhost:8081/;
        proxy_buffering off;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $http_connection;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        access_log off;
    }

    location /ws/ {
        proxy_pass http://localhost:8070;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        access_log off;
    }

    location / {
        proxy_pass http://localhost:8080;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        access_log off;
    }
}
[root@localhost  ~]# systemctl start nginx

6.17 端口检查

检查端口状态，必须有6379,8080,8081,80,5555,8070,3306,2222几个端口。

[root@localhost  ~]# netstat -nlp |grep tcp

6.18 验证JumpServer

默认登录密码，admin：admin，登录成功有欢迎界面，此次部署即成功。

[root@localhost  ~]# ssh -p2222 admin@192.168.5.135

7 参考资料

JumpServer官网：http://www.jumpserver.org/
JumpServer文档：https://jumpserver.readthedocs.io/zh/master/

Mellanox网卡驱动安装

1 目标
2 下载驱动
3 安装步骤
4 结论
5 参考资料

Mellanox网卡驱动安装

1 目标

本文档以CentOS7.6为例，详细介绍了Mellanox网卡MLNX_OFED的驱动安装和固件升级方法。

2 下载驱动

该方法适用于CentOS、RHEL、SLES、Ubuntu、EulerOS等操作系统，在安装不同操作系统的驱动时，请下载对应操作系统版本的驱动。

首先根据系统发行版本下载对应的驱动，下载地址如下：https://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers&ssn=q80crdrodvb8ce021n94ep58f1

注意选择download，根据相应的版本选择相应的驱动，点击后要同意协议再下载。

本次下载的驱动版本为：MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64.tgz

3 安装步骤

3.1 把下载好的Mellanox驱动解压缩

[root@localhost ~]# tar –zxvf MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64.tgz
[root@localhost ~]# cd MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64

3.2 查看当前系统的内核版本

[root@localhost MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# uname -r
3.10.0-957.el7.x86_64

3.3 查看当前驱动所支持的内核版本

[root@localhost MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# cat .supported_kernels 
3.10.0-957.el7.x86_64

注：由以上可知下载的默认驱动支持当前的内核版本

3.4 如果当前内核与支持内核不匹配

手动编译适合内核的驱动，在编译之前首先安装gcc编译环境和kernel开发包

[root@localhost MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]#yum  install gcc gcc-c++
libstdc++-devel kernel-default-devel

添加针对当前内核版本的驱动

[root@localhost MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]#./mlnx_add_kernel_support.sh -m /root/MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64  -v

注：完成后生成的驱动文件在/tmp目录下

[root@localhost MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# ls -l /tmp/MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64-ext.tgz
-rw-r--r-- 1 root root 282193833 Dec 23 09:49 /tmp/MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64-ext.tgz

3.5 安装驱动

[root@localhost tmp]# tar xzvf MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64-ext.tgz
[root@localhost tmp]# cd MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64-ext
[root@localhost tmp]# ./mlnxofedinstall

3.6 最后启动openibd服务

[root@localhost ~]#/etc/init.d/openibd start
[root@localhost ~]#chkconfig openibd on

4 结论

Mellanox网卡驱动安装主要根据内核是否匹配分为下载后直接安装和编译安装两部分。

5 参考资料

Mellanox官网：https://www.mellanox.com

点击了解Asterfusion CX-N数据中心交换机

如有其它问题，请填写右侧需求表单联系我们。

OTP动态口令部署验证方案

1 OTP简介

OTP：One-Time Password Algorithm又称一次性密码，是使用密码技术实现的在客户端和服务器之间通过共享秘密的一种认证技术，是一种强认证技术，是增强目前静态口令认证的一种非常方便技术手段，是一种重要的双因素认证技术，动态口令认证技术包括客户端用于生成口令产生器的，动态令牌，是一个硬件设备，和用于管理令牌及口令认证的后台动态口令认证系统组成。

2 OTP三种实现方式

OTP从技术上分为三种形实现式：时间同步、事件同步、挑战应答。

时间同步：原理是基于动态令牌和动态口令验证服务器的时间比对，基于时间同步的令牌，一般每60秒产生一个新口令，要求服务器能够十分精确的保持正确的时钟，同时对其令牌的晶振频率有严格的要求，这种技术对应的终端是硬件令牌。
事件同步：基于事件同步的令牌，其原理是通过某一特定的事件次序及相同的种子值作为输入，通过HASH算法中运算出一致的密码。
挑战应答：常用于的网上业务，在网站上输入下发的挑战码，动态令牌输入该挑战码，通过内置的算法上生成一个6/8位的随机数字，口令一次有效，这种技术目前应用最为普遍，包括刮刮卡、短信密码、动态令牌也有挑战/应答形式。

3 基于时间的OTP动态口令

使用阿里云身份证宝或者Google Authenticator谷歌动态口令验证器可以实现基于时间的OTP动态口令。是一种基于时间同步的OTP计算方式，是通过客户端和服务器持有相同的密钥并基于时间基数，服务端和客户端采用相同的Hash算法，计算出长度为六位的验证码。当客户端和服务端计算出的验证码相同，则验证通过。

4 CenOS部署

在CentOS上安装Google身份验证器服务器端组件，安装之前需要启用EPEL库。

4.1 启用EPEL库

[root@TOTP  ~]# wget \
https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-14.noarch.rpm
[root@TOTP  ~]# rpm -ivh epel-release-7-14.noarch.rpm
[root@TOTP  ~]# yum clean all && yum makecache
[root@TOTP  ~]# yum repolist

4.2 安装服务器端组件

服务器端安装组件可以通过yum安装和编译安装两种方式实现。

yum安装：
[root@TOTP  ~]# yum install google-authenticator
编译安装：
[root@TOTP  ~]# git clone https://github.com/google/google-authenticator.git
[root@TOTP  ~]# cd google-authenticator/libpam/
[root@TOTP  ~]# ./bootstrap.sh
[root@TOTP  ~]# ./configure
[root@TOTP  ~]# make && make install
[root@TOTP  ~]# cp .libs/pam_google_authenticator.so /lib64/security/

4.3 修改配置文件

安装完成之后添加谷歌身份验证器PAM模块，并且配置密码认证。

[root@TOTP  ~]# echo "auth required pam_google_authenticator.so nullok" >>/etc/pam.d/sshd
[root@TOTP  ~]# cat /etc/pam.d/sshd

[root@TOTP  ~]# vi /etc/ssh/sshd_config
ChallengeResponseAuthentication yes
[root@TOTP  ~]# systemctl restart sshd

5 Ubuntu部署

在Ubuntu上安装Google身份验证器服务器端组件。

5.1 安装服务器端组件

服务器端安装组件可以通过apt安装和编译安装两种方式实现。

apt安装：
[root@TOTP  ~]# apt-get install libpam-google-authenticator
编译安装：
[root@TOTP  ~]# git clone https://github.com/google/google-authenticator.git
[root@TOTP  ~]# cd google-authenticator/libpam/
[root@TOTP  ~]# ./bootstrap.sh
[root@TOTP  ~]# ./configure
[root@TOTP  ~]# make && make install
[root@TOTP  ~]# cp .libs/pam_google_authenticator.so /lib64/security/

5.2 修改配置文件

安装完成之后添加谷歌身份验证器PAM模块，并且配置密码认证。

[root@TOTP  ~]# echo "auth required pam_google_authenticator.so" >>/etc/pam.d/sshd
[root@TOTP  ~]# cat /etc/pam.d/sshd

[root@TOTP  ~]# vi /etc/ssh/sshd_config
ChallengeResponseAuthentication yes
[root@TOTP  ~]# /etc/init.d/ssh restart

6 配置认证信息

手机安装google authenticator，在软件中扫描服务器二维码，或者手动添加生成的密钥。配置认证信息。生成的一次性验证码可临时使用。

6.1 生成密钥

生成密钥，并保存输出的二维码和密钥信息，以及一次性密钥。

[root@TOTP  ~]# google-authenticator
Your new secret key is: MNYOJT7NJ5NGE5WPT3CDRJ5XOI
Your verification code is 840082
Your emergency scratch codes are:
  77957928
  71596997
  46394232
  61882336
  25041580

6.2 配置认证信息

使用手机软件google authenticator，扫描服务器二维码，生成服务器6位验证码。

6.3 登录服务器

登录服务器选择Keyboard Interactive登录。

输入密码和6位验证码后，登录成功。

7 参考资料

如有其它问题，请填写右侧需求表单联系我们。www.asterfusion.com

更多产品信息：AsterNOS

AsterNOS监控方案

1 AsterNOS监控方案
2 组网方案
- 2.1 软硬件信息
- 2.2 监控系统规划
3 监控组件部署

1 AsterNOS监控方案

1.1 方案概述

本文档将简要介绍AsterNOS监控方案及其各组件功能，并完成对Asterfusion CX-N系列超低时延云交换机的配置和数据采集。

1.2 整体逻辑方案图

1.3 各组件功能

Alertmanager：主要用于接收Prometheus发送的告警信息，并及时地将告警信息发送到PrometheusAlert进行转发。
PrometheusAlert：运营告警中心消息转发系统，支持主流的监控系统Prometheus以及所有支持WebHook接口的系统发出的预警信息，支持将收到的信息通过WeChat、Mail、飞书、短信等渠道推送。
Grafana：是一个开源的监控数据分析和可视化套件，最常用于对基础设施和应用数据分析的时间序列数据进行可视化分析。
Prometheus：Prometheus是一个开源的系统监控和报警系统，同时支持多种Exporter采集数据，Prometheus性能足够支撑上万台规模的集群。
SNMP Exporter：通过SNMP协议中用不同的OID区分不同的状态数据，OID非常类似于Prometheus中的指标的概念，SNMP Exporter通过从Agent查询指定的OID数据，同时将数据映射到可读的指标上，实现SNMP数据到Prometheus指标的转换，大部分场景下用户无需额外配置即可将OID转换为可读的指标数据。
Node Exporter：多用于收集内核公开的硬件或操作系统指标，监控设备的CPU、内存、磁盘、I/O等信息。

2 组网方案

2.1 软硬件信息

名称	版本	备注
监控节点	CPU：48 Cores 内存：128 GB	Prometheus、Alertmanager Grafana
服务器系统	CentOS Linux release 7.9.2009 (Core)
AsterNOS	AsterNOS Version 3.1 R0402P02
Prometheus	prom/prometheus:v2.37.0
Alertmanager	quay.io/prometheus/alertmanager
Grafana	grafana/grafana-oss:9.0.6
Node Exporter	Node Exporter:v0.3.0	SONiC Node Exporter
SNMP Exporter	SNMP Exporter:0.24.1

表1：软硬件版本信息

2.2 监控系统规划

主机名	节点IP	节点角色
监控节点	管理口：10.240.5.223 Promehteus：9090 Alertmanager：9093 Grafana：3000 PrometheusAlert：8080	Prometheus、Alertmanager、Grafana、PrometheusAlert
AsterNOS	管理口：10.230.1.10 Node Exporter：9100 SNMP Exporter：9116	Node Exporter、SNMP Exporter

表2：监控规划

3 监控组件部署

3.1 Node Exporter

在每台被监控交换机上部署Node Exporter，用于收集内核公开的硬件或操作系统指标，监控交换机的CPU、内存、磁盘、I/O等信息。Node Exporter监听本地9100端口。

root@sonic:~# version=$(curl -s https://api.github.com/repos/kamelnetworks/sonic_exporter/releases | jq '.[0].name' -r)
root@sonic:~# sonic-package-manager install   \
--from-repository "ghcr.io/kamelnetworks/sonic_exporter:${version}" \
--enable
root@sonic:~# config feature state sonic_exporter enabled
root@sonic:~# config sonic-exporter port 9100
root@sonic:~# netstat -nlp |grep 9100

Docker方式安装：
root@sonic:~# docker run -d  --net=host \
-v /run/redis/:/var/run/redis/ \
--name roce_exporter sonic_exporter:0.3.0

3.1.1 Node Exporter Metrics

浏览器访问设备的9100端口，查看采集的数据。

3.1.2 Node Exporter 自定义监控

通过Node Exporter的Textfile插件完成自定义监控，自定义脚本并把内容以Key:value的方式写入以.prom结尾的文件，定时任务执行自定义脚本，添加启动参数，Node Exporter采集数据。

root@sonic:~# ./node_exporter \
--collector.textfile.directory='/home/admin/Prometheus/’
root@sonic:~# cat /home/admin/Prometheus/asternos.prom
#HELP example_metric read from /path/example.prom  
#TYPE example_metric guage  
example_metric 1

3.2 SNMP Exporter数据转换

在每台被监控交换机上部署SNMP Exporter，SNMP Exporter通过Agent查询指定的OID数据，同时将数据映射到可读的指标上，实现SNMP数据到Prometheus指标的转换，完成监控私有数据开发。SNMP Exporter监听本地9116端口。SNMP Exporter文件下载地址：https://github.com/prometheus/snmp_exporter/releases/download/v0.24.1/snmp_exporter-0.24.1.freebsd-amd64.tar.gz

SNMP完整配置文件：

root@sonic:~# tar -xvf snmp_exporter-0.24.1.linux-amd64.tar.gz
root@sonic:~# cd snmp_exporter-0.24.1.linux-amd64
root@sonic:~/snmp_exporter-0.24.1.linux-amd64# cat snmp.yml
auths:
  public_v2:
    community: public
    security_level: noAuthNoPriv
    auth_protocol: MD5
    priv_protocol: DES
    version: 2
modules:
  AsterNOS:
    walk:
    - 1.3.6.1.2.1.2
    - 1.3.6.1.2.1.31.1.1
    get:
    - 1.3.6.1.2.1.1.1.0
    metrics:
    - name: asterSysRunTime
      oid: 1.3.6.1.4.1.56928.25.1.1
      type: gauge
      help: AsterNOS CX-N switch Device operating time
    - name: asterPortHighSpeed
      oid: 1.3.6.1.2.1.31.1.1.1.15
      type: gauge
      help: AsterNOS CX-N Port negotiation Speed
      indexes:
      - labelname: asterPortIndex
        type: gauge
      lookups:
      - labels:
        - asterPortIndex
        labelname: asterPortAlias
        oid: 1.3.6.1.2.1.31.1.1.1.18
        type: DisplayString
      - labels:
        - asterPortIndex
        labelname: asterPortDescr
        oid: 1.3.6.1.2.1.2.2.1.2
        type: DisplayString

root@sonic:~/snmp_exporter-0.24.1.linux-amd64# ./snmp_exporter &

3.2.1 SNMP Exporter Metrics

浏览器访问设备的9116端口，查看采集的数据。Moudle：AsterNOS。

3.2.2 SNMP Exporter Metrics（Docker）

Docker方式安装SNMP Exporter

root@sonic:~# docker load < snmp.tar
root@sonic:~# docker run -d \
-v /home/admin/snmp.yml:/etc/snmp_exporter/snmp.yml \ 
--net=host --name snmp_exporter prom/snmp-exporter:v0.24.1

3.3 监控报警推送

3.3.1 Alertmanager

在监控节点部署Alertmanager，主要用于接收Prometheus发送的告警信息，并及时地将告警转发到ProtmetheusAlert。

[root@computer1 prometheus] docker run --name alertmanager \
-v ~/prometheus/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
-d -p 0.0.0.0:9093:9093 quay.io/prometheus/alertmanager
[root@computer1 prometheus] cat alertmanager.yml
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://127.0.0.1:5001/'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
equal: ['alertname', 'dev', 'instance']

3.3.2 PrometheusAlert

在监控节点部署PrometheusAlert，主要用于接收Alertmanager转发的告警信息，并及时地通过WeChat、Email、飞书和短信等渠道发送告警通知。

[root@computer1 prometheus] docker run -d -p 8080:8080 -v \ ~/prometheus/app.conf:/app/conf/app.conf \
--name prometheusalert feiyu563/prometheus-alert:latest
[root@computer1 prometheus] cat app.conf
appname = PrometheusAlert
#登录用户名
login_user=root
#登录密码
login_password=tera123
#监听地址
httpaddr = "0.0.0.0"
#监听端口
httpport = 8080
runmode = dev
#开启JSON请求
copyrequestbody = true
#告警消息标题
title=PrometheusAlert
#日志文件路径
logpath=logs/prometheusalertcenter.log

3.3.3 对接Email报警

[root@computer1 prometheus]# cat alertmanager.yml 
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'AlertManager_Email'
receivers:
- name: 'AlertManager_Email'
  webhook_configs:
  - url: 'http://10.240.5.223:8080/prometheusalert?type=email&tpl=prometheus-email&email='
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
equal: ['alertname', 'dev', 'instance']

[root@computer1 prometheus]# cat app.conf
#---------------------↓邮件配置-----------------------
#是否开启邮件
open-email=1
#邮件发件服务器地址
Email_host=smtp.qq.com
#邮件发件服务器端口
Email_port=465
#邮件帐号
Email_user=
#邮件密码
Email_password=
#邮件标题
Email_title=AsterNOS告警
#默认发送邮箱
Default_emails=

报警信息：

3.3.4 对接飞书报警

[root@computer1 prometheus]# cat alertmanager.yml 
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 5m
  repeat_interval: 1h
  receiver: 'AlertManager_Feishu'
receivers:
- name: 'AlertManager_Feishu'
  webhook_configs:
  - url: 'http://10.240.5.223:8080/prometheusalert?type=fs&tpl=prometheus-fs&fsurl=https://open.feishu.cn/open-apis/bot/v2/hook/41078fb9-c716-434f-9ca4-d8ba64caa7ea'
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

[root@computer1 prometheus]# cat app.conf
#---------------------↓全局配置-----------------------
appname = PrometheusAlert
#登录用户名
login_user=root
#登录密码
login_password=tera123
#监听地址
httpaddr = "0.0.0.0"
#监听端口
httpport = 8080
runmode = dev
#设置代理 proxy = http://123.123.123.123:8080
proxy =
#开启JSON请求
copyrequestbody = true
#告警消息标题
title=PrometheusAlert
#日志文件路径
logpath=logs/prometheusalertcenter.log
#是否开启飞书告警通道,可同时开始多个通道0为关闭,1为开启
open-feishu=1
#默认飞书机器人地址
fsurl=https://open.feishu.cn/open-apis/bot/v2/hook/41078fb9-c716-434f-9ca4-d8ba64caa7ea

报警信息：

3.4 Prometheus

在监控节点部署Prometheus，用于存储Exporter采集的数据，同时提供数据检索和报警推送等功能。

[root@computer1 prometheus] docker run -d -p 9090:9090 -v \ ~/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \
--name prometheus  prom/prometheus:v2.37.0
[root@computer1 prometheus] cat prometheus.yml
scrape_configs:
  - job_name: "node-exporter"
    static_configs:
      - targets: ["10.230.1.10:9100"]
  - job_name: "snmp-exporter"
    static_configs:
      - targets:
        - 10.230.1.10
    metrics_path: /snmp
    params:
      auth: [public_v2]
      module: [AsterNOS]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 10.230.1.10:9116
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 10.240.5.223:9093
rule_files:
  - "AsterNOS_rules.yml"

[root@computer1 prometheus] cat AsterNOS_rules.yml
groups:
- name: "CXN_node"
  rules:
  - alert: "CPU高负载警告"
    expr: ((1-(node_memory_MemAvailable_bytes / (node_memory_MemTotal_bytes))) * 100)>90
    for: 3m
    labels:
      severity: critical
    annotations:
      summary: "实例 {{ $labels.instance }} 的CPU使用率过高"
      description: "此设备的CPU使用率已超过阈值，当前值: {{ $value }}%。此问题会导致系统中各个服务假死、断连，甚至是服务器宕机，请管理员务必及时处理！"

3.4.1 Prometheus Metrics Explorer

浏览器访问监控节点的9090端口，查看Prometheus采集到的数据。

3.5 Grafana

在监控节点部署Grafana，用于对基础设施和应用数据分析的时间序列数据进行可视化分析。

[root@computer1 prometheus] docker run -d -p 3000:3000 \
--name grafana  grafana/grafana-oss:9.0.6

3.5.1 Grafana Login

浏览器访问监控节点的3000端口访问Grafana登录页面，默认用户名密码admin/admin。

3.5.2 配置数据源

在Grafana管理面板上添加Prometheus数据源。

3.5.3 监控大屏

在Grafana管理面板上导入AsterNOS监控配置文件。AsterNOS监控大屏文件：

CX-N零配置开局能力验证方案

1 简介

零配置部署ZTP(Zero Touch Provisioning)是指新出厂或空配置设备上电启动时采用的一种自动加载开局文件(配置文件、升级文件)的功能,实现设备的免现场配置和部署,从而降低人力成本,提升部署效率。设备支持基于DHCP协议实现的ZTP功能,通过DHCP协议Option字段附带配置文件、升级文件的地址和路径信息,实现相关开局文件的自动化获取和加载任务。

2 验证方案

2.1 功能需求

多台设备同时上线无需手动配置，设备自动从FTP服务器获取对应本台角色设备的全量配置并自动加载，设备之间建立BGP peer，完成网络设备的完整的自动上线。

2.2 组网拓扑

2.3 配置步骤

（1）准备两台设备的全量配置文件：Leaf-A.json、Spine-A.json，配置中包含设备的端口IP以及BGP相关配置；

（2）同时准备引导文件ztp.json，并将配置文件和引导文件同时上传至FTP服务器的相关路径；配置文件名称以实际产品能力为准，但要具备唯一性；

（3）配置DHCP服务器的boot-file字段，指导设备获取引导文件ztp.json；

（4）完成组网拓扑连线，设备Leaf A、Spine A上电；

（5）等待10分钟，登录设备Leaf A与Spine A检查是否获取了相关配置；

（6）通过ping测试互联可达并查看BGP peer的建立情况.

2.4 预计结果

Leaf A和Spine A获取到对应自身序列号的配置文件
Ping测试可达同时建立BGP peer

相关产品：CX-N超低时延交换机

CX-N-MC-LAG三层转发功能验证

1 方案概述

本文主要讲解CX-N 系列交换机基于MC-LAG实现的三层组网下的相关解决方案，验证网络通信、故障转移和恢复等能力。整个验证过程中交换机所有命令通过思科命令行配置完成。

1.1 MC-LAG二层转发

Asterfusion CX-N超低时延云交换机支持基于MC-LAG的二层转发功能，如图1所示：

在上行链路故障转移和恢复测试场景中，使用Server1生成TCP/UDP流量向Server3打流，此时流量路径为：Server1->Leaf1->Spine->Leaf3->Server3。

Leaf1交换机在上联端口HG1故障的情况下，L2流量可以通过Peer-link转发到对端Leaf2，然后通过BGP学习到下一跳为Spine，最后经过Leaf3到Server3。此时流量路径：Server1->Leaf1->Leaf2->Spine->Leaf3->Server3。

1.2 MC-LAG三层转发

Asterfusion CX-N超低时延云交换机支持基于MC-LAG的三层转发功能，相较于MC-LAG的二层转发功能，三层转发新增一条三层冗余链路用于数据转发，转发和控制分离。如图2所示：

在上行链路故障转移和恢复测试场景中，使用Server1生成TCP/UDP流量向Server3打流，此时流量路径为：Server1->Leaf1->Spine->Leaf3->Server3。

Leaf1交换机在上联端口HG1故障的情况下，L3流量可以通过BGP邻居学习到Server3的路由通过三层冗余链路转发到Leaf2，然后通过BGP学习到下一跳为Spine，最后经过Leaf3到Server3。此时流量路径：Server1->Leaf1->Leaf2->Spine->Leaf3->Server3。

2 物理网络拓扑

本次相关方案验证的整体物理拓扑如图1所示：

3 硬件与软件环境

3.1 设备管理口

验证过程中所涉及到的设备、主机名及管理网口IP地址等信息，如表1所示：

设备	主机名	管理口IP地址	备注
CX532-N	Spine1	10.230.1.32
CX308-N	Leaf1	10.230.1.18
CX308-N	Leaf2	10.230.1.19
CX308-N	Leaf3	10.230.1.20
Server	Server1	10.230.1.11
Server	Server3	10.230.1.13

表1：设备管理口列表

3.2 硬件环境

验证环境中涉及到的硬件环境，如表2所示：

名称	型号	硬件指标	数量	备注
Spine	CX532P-N	【参见产品彩页】	1
Leaf	CX308P-48Y-N	【参见产品彩页】	3
光模块	10G	SFP+	6	为了尽量减少物料种类，线缆和模块速率进行了统一，交换机互联使用100G模块和线缆，服务器需用10G模块和线缆
100G	QSFP28	10
网线	/	/	6
光纤	多模	10G /25G适用	3
多模	100G适用	5
服务器	/	内存推荐8G以上	2

表2：硬件环境

3.3 软件环境

验证环境中涉及到的软件环境，如表3所示：

名称	版本	备注
iperf3	3.1.7
CX532-N	SONiC.201911.R0314P06
CX308-N	SONiC.201911.R0314P06
服务器系统	CentOS Linux 7.8.2003
服务器内核	3.10.0-1127.18.2.el7

表3：软件环境

4 基础环境部署

在两台Server服务器上，安装部署本次验证方案的所需要的基础软件。

补充说明：以”[root@server ~]#”为开头的命令表示两台服务器都要执行。

4.1 LLDP

在两台Server服务器上安装LLDP服务，如果是X710网卡要求网卡驱动版本大于2.3.6，然后配置网卡开启LLDP。

[root@server ~]# yum -y install epel-release
[root@server ~]# yum -y install lldpd
[root@server ~]# systemctl start lldpd
[root@server ~]# systemctl enable lldpd
[root@server ~]# lspci |grep -i ether

[root@server ~]# ethtool -i ens1f0
[root@server ~]# ethtool -i ens1f1

[root@sever ~]# ethtool --set-priv-flags ens1f0 disable-fw-lldp on
[root@sever ~]# ethtool --set-priv-flags ens1f1 disable-fw-lldp on

4.2 安装iPerf3

在2台Server服务器上安装iPerf3软件用来打流。

在2台服务器上上执行：
[root@server ~]# yum -y install iperf3
[root@server ~]# iperf3 -v
iperf 3.1.7
Linux compute-2 3.10.0-1160.62.1.el7.x86_64 #1 SMP Tue Apr 5 16:57:59 UTC 2022 x86_64
Optional features available: CPU affinity setting, IPv6 flow label, TCP congestion algorithm setting, sendfile / zerocopy, socket pacing

4.3 检查链路连接

所有交换机设备要提前检查和Server服务器之间的链路连接情况，确保交换机设备和Server服务器之间的链路连接没有问题，以下命令在所有交换机设备上执行。

admin@sonic:~$ sudo config cli-mode cli
admin@sonic:~$ sudo sonic-cli
sonic#
Spine1# show lldp table

Spine2# show lldp table

Leaf1# show lldp table

Leaf2# show lldp table

Leaf3# show lldp table

5 组网环境配置

5.1 逻辑拓扑

5.2 Spine1

5.2.1 设备恢复出厂设置

配置思科命令行，恢复Spine1设备到出厂设置。

Spine1@sonic:~$ sudo config cli-mode cli
Spine1@sonic:~$ sudo sonic-cli
sonic# delete startup-config
sonic# reload

5.2.2 配置Spine1接口IP

在Spine1交换机上配置与3台Leaf交换机的互联接口IP。

Spine1# configure terminal
Spine1(config)# interface ethernet 0/0
Spine1(config-if-0/0)# ip address 10.0.10.2/24
Spine1(config-if-0/0)# interface ethernet 0/4
Spine1(config-if-0/4)# ip address 10.0.11.2/24
Spine1(config-if-0/4)# interface ethernet 0/8
Spine1(config-if-0/8)# ip address 10.0.12.2/24

5.2.3 配置Spine1的BGP

在Spine1交换机上配置3台Leaf交换机的BGP邻居。

Spine1# configure terminal
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.3/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.3/32
Loopback ip will be used as bgp router-id in frr
Spine1(config-loif-0)# ip address 10.10.0.3/3
Spine1(config-loif-0)# router bgp 65003
Spine1(config-router)# neighbor 10.0.10.1 remote-as 65007
Spine1(config-router)# neighbor 10.0.11.1 remote-as 65007
Spine1(config-router)# neighbor 10.0.12.1 remote-as 65008
Spine1(config-router)# route-map DEFAULT_EVPN_ROUTE_MAP permit 65535
Spine1(config-route-map)# route-map FROM_BGP_PEER_V4 permit 65535
Spine1(config)# address-family ipv4 unicast
Spine1(config)# router bgp 65003
Spine1(config-router)# address-family ipv4 unicast
Spine1(config-router-af)# redistribute connected
Spine1(config-router-af)# neighbor 10.0.10.1 route-map FROM_BGP_PEER_V4 in
Spine1(config-router-af)# neighbor 10.0.10.1 route-map FROM_BGP_PEER_V4 out
Spine1(config-router-af)# neighbor 10.0.11.1 route-map FROM_BGP_PEER_V4 in
Spine1(config-router-af)# neighbor 10.0.11.1 route-map FROM_BGP_PEER_V4 out
Spine1(config-router-af)# neighbor 10.0.12.1 route-map FROM_BGP_PEER_V4 in
Spine1(config-router-af)# neighbor 10.0.12.1 route-map FROM_BGP_PEER_V4 out
Spine1(config)# write
Spine1(config)# reload

5.3 Leaf1

5.3.1 设备恢复出厂设置

恢复Leaf1设备到出厂设置。

Leaf1# delete startup-config
Leaf1# reload

5.3.2 配置Leaf1端口速率

配置Leaf1交换机的Ethernet0口速率为10G。

Leaf1# configure terminal 
Leaf1(config)# interface ethernet 0/0  
Leaf1(config-if-0/0)# speed 10000
Leaf1(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.3.3 配置Leaf1接口IP

在Leaf1交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf1# configure terminal 
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/48)# ip address 10.0.10.1/24
Leaf1(config-if-0/48)# interface link-aggregation 1
Leaf1(config-lagif-1)# interface ethernet 0/0     
Leaf1(config-if-0/0)# link-aggregation-group 1
Leaf1(config-if-0/0)# vlan 10
Leaf1(config-vlan-10)# vlan 30
Leaf1(config-vlan-30)# interface ethernet 0/56
Leaf1(config-if-0/56)# ip address 10.2.1.1/24
Leaf1(config-if-0/56)# mac-address 18:17:25:37:77:00
Leaf1(config-if-0/56)# interface ethernet 0/60
Leaf1(config-if-0/60)# switchport trunk vlan 10
Leaf1(config-if-0/60)# switchport trunk vlan 30
Leaf1(config-if-0/60)# interface vlan 10
Leaf1(config-vlanif-10)# ip address 100.0.10.1/24
Leaf1(config-vlanif-10)# interface link-aggregation 1
Leaf1(config-lagif-1)# switchport access vlan 10

5.3.4 配置Leaf1的MC-LAG

在Leaf1交换机上配置与Leaf2交换机互联接口的MC-LAG。

Leaf1# configure terminal 
Leaf1(config)# vlan 30
Leaf1(config-vlan-30)# interface vlan 30
Leaf1(config-vlanif-30)# ip address 11.0.0.6/24
Leaf1(config-vlanif-30)# mclag domain 1
Leaf1(mclag-domain)# local-address 11.0.0.6   
Leaf1(mclag-domain)# peer-address 11.0.0.7
Leaf1(mclag-domain)# peer-link ethernet 0/60
Leaf1(mclag-domain)# member lag 1
Leaf1(mclag-domain)# commit
Leaf1(mclag-domain)# interface vlan 10
Leaf1(config-vlanif-10)# mac-address 18:17:25:37:64:40

5.3.5 配置Leaf1的BGP

在Leaf1交换机上配置与Spine1交换机的BGP邻居。

Leaf1# configure terminal 
Leaf1(config)# router bgp 65007
Leaf1(config-router)# bgp router-id 10.10.0.6
Leaf1(config-router)# interface loopback 0
Leaf1(config-loif-0)# ip address 10.10.0.6/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.6/32
Loopback ip will be used as bgp router-id in frr
Leaf1(config-loif-0)# router bgp 65007
Leaf1(config-router)# neighbor 10.0.10.2 remote-as 65003
Leaf1(config-router)# neighbor 10.2.1.2 remote-as 65007
Leaf1(config-router)# route-map FROM_BGP_PEER_V4 permit 65535
Leaf1(config-route-map)# router bgp 65007
Leaf1(config-router)# address-family ipv4 unicast
Leaf1(config-router-af)# redistribute connected
Leaf1(config-router-af)# neighbor 10.2.1.2 route-map FROM_BGP_PEER_V4 in
Leaf1(config-router-af)# neighbor 10.2.1.2 route-map FROM_BGP_PEER_V4 out
Leaf1(config-router-af)# neighbor 10.0.10.2 route-map FROM_BGP_PEER_V4 in
Leaf1(config-router-af)# neighbor 10.0.10.2 route-map FROM_BGP_PEER_V4 out

5.4 Leaf2

5.4.1 设备恢复出厂设置

恢复Leaf2设备到出厂设置。

Leaf2# delete startup-config
Leaf2# reload

5.4.2 配置Leaf2端口速率

配置Leaf2交换机的Ethernet0口速率为10G。

Leaf2# configure terminal 
Leaf2(config)# interface ethernet 0/0 
Leaf2(config-if-0/0)# speed 10000
Leaf2(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.4.3 配置Leaf2接口IP

在Leaf2交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf2# configure terminal 
Leaf2(config)# interface ethernet 0/48
Leaf2(config-if-0/48)# ip address 10.0.11.1/24
Leaf2(config-if-0/48)# interface link-aggregation 1
Leaf2(config-lagif-1)# interface ethernet 0/0     
Leaf2(config-if-0/0)# link-aggregation-group 1
Leaf2(config-if-0/0)# vlan 10
Leaf2(config-vlan-10)# vlan 30
Leaf2(config-vlan-30)# interface ethernet 0/56
Leaf2(config-if-0/56)# ip address 10.2.1.2/24
Leaf2(config-if-0/56)# mac-address 18:17:25:37:77:01
Leaf2(config-if-0/56)# interface ethernet 0/60
Leaf2(config-if-0/60)# switchport trunk vlan 10
Leaf2(config-if-0/60)# switchport trunk vlan 30
Leaf2(config-if-0/60)# interface vlan 10
Leaf2(config-vlanif-10)# ip address 100.0.10.1/24
Leaf2(config-vlanif-10)# interface link-aggregation 1
Leaf2(config-lagif-1)# switchport access vlan 10

5.4.4 配置Leaf2的MC-LAG

在Leaf2交换机上配置与Leaf1交换机互联接口的MC-LAG。

Leaf2# configure terminal 
Leaf2(config)# vlan 30
Leaf2(config-vlan-30)# interface vlan 30
Leaf2(config-vlanif-30)# ip address 11.0.0.7/24
Leaf2(config-vlanif-30)# mclag domain 1
Leaf2(mclag-domain)# local-address 11.0.0.7   
Leaf2(mclag-domain)# peer-address 11.0.0.6
Leaf2(mclag-domain)# peer-link ethernet 0/60
Leaf2(mclag-domain)# member lag 1
Leaf2(mclag-domain)# commit
Leaf2(mclag-domain)# interface vlan 10
Leaf2(config-vlanif-10)# mac-address 18:17:25:37:64:40

5.4.5 配置Leaf2的BGP

在Leaf2交换机上配置与Spine1交换机的BGP邻居。

Leaf2# configure terminal 
Leaf2(config)# router bgp 65007
Leaf2(config-router)# bgp router-id 10.10.0.7
Leaf2(config-router)# interface loopback 0
Leaf2(config-loif-0)# ip address 10.10.0.7/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.7/32
Loopback ip will be used as bgp router-id in frr
Leaf2(config-loif-0)# router bgp 65007
Leaf2(config-router)# neighbor 10.0.11.2 remote-as 65003
Leaf2(config-router)# neighbor 10.2.1.1 remote-as 65007
Leaf2(config-router)# route-map FROM_BGP_PEER_V4 permit 65535
Leaf2(config-route-map)# router bgp 65007
Leaf2(config-router)# address-family ipv4 unicast
Leaf2(config-router-af)# redistribute connected
Leaf2(config-router-af)# neighbor 10.2.1.1 route-map FROM_BGP_PEER_V4 in
Leaf2(config-router-af)# neighbor 10.2.1.1 route-map FROM_BGP_PEER_V4 out
Leaf2(config-router-af)# neighbor 10.0.11.2 route-map FROM_BGP_PEER_V4 in
Leaf2(config-router-af)# neighbor 10.0.11.2 route-map FROM_BGP_PEER_V4 out

5.5 Leaf3

5.5.1 设备恢复出厂设置

恢复Leaf3设备到出厂设置。

Leaf3# delete startup-config
Leaf3# reload

5.5.2 配置Leaf3端口速率

配置Leaf3交换机的Ethernet0口速率为10G。

Leaf3# configure terminal 
Leaf3(config)# interface ethernet 0/0
Leaf3(config-if-0/0)# speed 10000
Leaf3(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.5.3 配置Leaf3接口IP

在Leaf3交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf3# configure terminal 
Leaf3(config-if-0/0)# interface ethernet 0/48
Leaf3(config-if-0/48)# ip address 10.0.12.1/24
Leaf3(config-if-0/48)# interface link-aggregation 1
Leaf3(config-lagif-1)# interface ethernet 0/0 
Leaf3(config-if-0/0)# link-aggregation-group 1
Leaf3(config-if-0/0)# vlan 20
Leaf3(config-vlan-20)# interface vlan 20
Leaf3(config-vlanif-20)# ip address 100.0.20.1/24
Leaf3(config-vlanif-20)# interface link-aggregation 1
Leaf3(config-lagif-1)# switchport access vlan 20

5.5.4 配置Leaf3的BGP

在Leaf3交换机上配置与Spine1交换机的BGP邻居。

Leaf3(config)# router bgp 65008
Leaf3(config-router)# bgp router-id 10.10.0.8
Leaf3(config-router)# interface loopback 0
Leaf3(config-loif-0)# ip address 10.10.0.8/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.8/32
Loopback ip will be used as bgp router-id in frr
Leaf3(config-loif-0)# route-map FROM_BGP_PEER_V4 permit 65535
Leaf3(config-route-map)# router bgp 65008
Leaf3(config-router)# neighbor 10.0.12.2 remote-as 65003
Leaf3(config-router)# address-family ipv4 unicast
Leaf3(config-router-af)# redistribute connected
Leaf3(config-router-af)# neighbor 10.0.12.2 route-map FROM_BGP_PEER_V4 in
Leaf3(config-router-af)# neighbor 10.0.12.2 route-map FROM_BGP_PEER_V4 out

6 故障转移和恢复测试

6.1 服务器通信测试

在Server3服务器上创建服务端，在Server1服务器使用iperf3软件生成TCP/UDP流量。

[root@server3 ~]# iperf3 -s
[root@server1 ~]# iperf3 -c 100.0.20.3  -l 20k -b 10G   -t 1000

6.2 查看流量路径

Spine1：

流量从Ethernet0口进，Ethernet8口出。

流量路径Server1-Leaf1-Spine1-Leaf3-Server3

6.3 查看设备路由信息

Spine1：

Leaf1：

Leaf2：

6.4 故障测试

流量所在的上行链路断链，检查Leaf的路由信息，查看Server1和Server3打流情况。

Leaf1：
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/72)# shutdown
Server1 Server3打流没有出现断流，有轻微流量抖动：

检查Leaf1路由信息：

由于上行链路断链，Leaf1通过BGP邻居学习到100.0.20.0/24的路由通过三层冗余链路Ethernet56口10.2.1.2到Leaf2再到Spine1

检查Leaf2路由信息：

Leaf2路由信息没有变化

检查Spine1路由信息：

Spine1路由信息没有变化

6.5 查看断链流量路径

Spine1：

流量从Ethernet4口进，Ethernet8口出。

Leaf2：

流量从Leaf2三层冗余链路Ethernet56口进，Ethernet48口出到Spine1。

Leaf1:

由于Leaf1上行链路断链，流量从Leaf1三层冗余链路Ethernet56口出，到Leaf2。

流量路径： Server1-Leaf1（三层冗余链路口）-Leaf2（三层冗余链路口）Spine1-Leaf3-Server3

6.6 故障恢复测试

恢复流量所在的上行链路故障，查看Server1和Server3打流情况。

Leaf1：
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/72)# startup

Server1 Server3打流没有出现断流，有轻微流量抖动：

检查Leaf1路由信息：

Leaf1上行链路断链恢复，路由恢复

检查Leaf2路由信息：

Leaf2路由信息没有变化

检查Spine1路由信息：

Spine1路由信息没有变化

6.7 查看断链恢复流量路径

Spine1：

流量从Ethernet0口进，Ethernet8口出。

Leaf2：

Leaf2没有流量

Leaf1:

Leaf1流量从Ethernet0口进，Ethernet48口出到Spine1。

流量路径恢复： Server1-Leaf1-Spine1-Leaf3-Server3

7 结论

通过上述解决方案验证可知，CX-N系列交换机具备MC-LAG的三层高可用转发功能，同时具备端口、链路及设备组网通信的故障转移和恢复能力。

CX-N云网典型配置方案验证

1 方案概述
2 物理网络拓扑
3 硬件与软件环境
4 基础环境部署
5 组网环境配置

1 方案概述

2 物理网络拓扑

本次相关方案验证的整体物理拓扑如图1所示：

3 硬件与软件环境

3.1 设备管理口

验证过程中所涉及到的设备、主机名及管理网口IP地址等信息，如表1所示：

设备	主机名	管理口IP地址	备注
CX532-N	Spine1	10.230.1.32
CX532-N	Spine2	10.230.1.33
CX308-N	Leaf1	10.230.1.18
CX308-N	Leaf2	10.230.1.19
CX308-N	Leaf3	10.230.1.20
CX308-N	Leaf4	10.230.1.21
Server	Server1	10.230.1.11
Server	Server2	10.230.1.13

表1：设备管理口列表

3.2 硬件环境

验证环境中涉及到的硬件环境，如表2所示：

名称	型号	硬件指标	数量	备注
Spine	CX532P-N	【参见产品彩页】	2
Leaf	CX308P-48Y-N	【参见产品彩页】	4
光模块	10G	SFP+	8	为了尽量减少物料种类，线缆和模块速率进行了统一，交换机互联使用100G模块和线缆，服务器需用10G模块和线缆
100G	QSFP28	24
网线	/	/	8
光纤	多模	10G /25G适用	4
多模	100G适用	12
服务器	/	内存推荐8G以上	2

表2：硬件环境

3.3 软件环境

验证环境中涉及到的软件环境，如表3所示：

名称	版本	备注
iperf3	3.1.7
CX532-N	SONiC.201911.R0314P04
CX308-N	SONiC.201911.R0314P04
服务器系统	CentOS Linux 7.8.2003
服务器内核	3.10.0-1127.18.2.el7

表3：软件环境

4 基础环境部署

在两台Server服务器上，安装部署本次验证方案的所需要的基础软件。

补充说明：以”[root@server ~]#”为开头的命令表示两台服务器都要执行。

4.1 LLDP

在两台Server服务器上安装LLDP服务，如果是X710网卡要求网卡驱动版本大于2.3.6，然后配置网卡开启LLDP。

[root@server ~]# yum -y install epel-release
[root@server ~]# yum -y install lldpd
[root@server ~]# systemctl start lldpd
[root@server ~]# systemctl enable lldpd
[root@server ~]# lspci |grep -i ether

[root@server ~]# ethtool -i ens1f2
[root@server ~]# ethtool -i ens1f3

[root@sever ~]# ethtool --set-priv-flags ens1f2 disable-fw-lldp on
[root@sever ~]# ethtool --set-priv-flags ens1f3 disable-fw-lldp on

4.2 安装iPerf3

在2台Server服务器上安装iPerf3软件用来打流。

在3台服务器上上执行：
[root@server ~]# yum -y install iperf3
[root@server ~]# iperf3 -v
iperf 3.1.7
Linux compute-2 3.10.0-1160.62.1.el7.x86_64 #1 SMP Tue Apr 5 16:57:59 UTC 2022 x86_64
Optional features available: CPU affinity setting, IPv6 flow label, TCP congestion algorithm setting, sendfile / zerocopy, socket pacing

4.3 检查链路连接

admin@sonic:~$ sudo config cli-mode cli
admin@sonic:~$ sudo sonic-cli
sonic#
Spine1# show lldp table

Spine2# show lldp table

Leaf1# show lldp table

Leaf2# show lldp table

Leaf3# show lldp table

Leaf4# show lldp table

5 组网环境配置

5.1 逻辑拓扑

5.2 Spine1

5.2.1 设备恢复出厂设置

配置思科命令行，恢复Spine1设备到出厂设置。

Spine1@sonic:~$ sudo config cli-mode cli
Spine1@sonic:~$ sudo sonic-cli
sonic# delete startup-config
sonic# reload

5.2.2 配置Spine1 接口IP

在Spine1交换机上配置与4台Leaf交换机的互联接口IP。

Spine1# configure terminal
Spine1(config)# interface ethernet 0/0
Spine1(config-if-0/0)# ip address 10.0.10.2/24
Spine1(config)# interface ethernet 0/4
Spine1(config-if-0/4)# ip address 10.0.11.2/24
Spine1(config)# interface ethernet 0/8
Spine1(config-if-0/8)# ip address 10.0.12.2/24
Spine1(config)# interface ethernet 0/12
Spine1(config-if-0/12)# ip address 10.0.13.2/24

5.2.3 配置Spine1 的BGP

在Spine1交换机上配置4台Leaf交换机的BGP邻居。

Spine1# configure terminal
Spine1(config)# router bgp 65003     
Spine1(config-router)# bgp router-id 10.10.0.3
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.3/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.3/32
Loopback ip will be used as bgp router-id in frr
Spine1(config)# router bgp 65003
Spine1(config-router)# no bgp ebgp-requires-policy 
Spine1(config-router)# neighbor 10.0.10.1 remote-as 65007
Spine1(config-router)# neighbor 10.0.11.1 remote-as 65007
Spine1(config-router)# neighbor 10.0.12.1 remote-as 65008
Spine1(config-router)# neighbor 10.0.13.1 remote-as 65008
Spine1(config-router)# address-family l2vpn evpn
Spine1(config-router-af)# neighbor 10.0.10.1 activate
Spine1(config-router-af)# neighbor 10.0.11.1 activate
Spine1(config-router-af)# neighbor 10.0.12.1 activate
Spine1(config-router-af)# neighbor 10.0.13.1 activate
Spine1(config-router-af)# advertise-all-vni
Spine1(config)# write
Spine1(config)# reload

5.3 Spine2

5.3.1 设备恢复出厂设置

配置思科命令行，恢复Spine2设备到出厂设置。

Spine2@sonic:~$ sudo config cli-mode cli
Spine2@sonic:~$ sudo sonic-cli
sonic# delete startup-config
sonic# reload

5.3.2 配置Spine2接口IP

在Spine2交换机上配置与4台Leaf交换机的互联接口IP。

Spine2# configure terminal
Spine2(config)# interface ethernet 0/0
Spine2(config-if-0/0)# ip address 10.1.10.2/24
Spine2(config)# interface ethernet 0/4
Spine2(config-if-0/4)# ip address 10.1.11.2/24
Spine2(config)# interface ethernet 0/8
Spine2(config-if-0/8)# ip address 10.1.12.2/24
Spine2(config)# interface ethernet 0/12
Spine2(config-if-0/12)# ip address 10.1.13.2/24

5.3.3 配置Spine2的BGP

在Spine2交换机上配置4台Leaf交换机的BGP邻居。

Spine2# configure terminal
Spine2(config)# router bgp 65004
Spine2(config-router)# bgp router-id 10.10.0.4
Spine2(config)# interface loopback 0
Spine2(config-loif-0)# ip address 10.10.0.4/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.3/32
Loopback ip will be used as bgp router-id in frr
Spine2(config)# router bgp 65004
Spine2(config-router)# no bgp ebgp-requires-policy 
Spine2(config-router)# neighbor 10.1.10.1 remote-as 65007
Spine2(config-router)# neighbor 10.1.11.1 remote-as 65007
Spine2(config-router)# neighbor 10.1.12.1 remote-as 65008
Spine2(config-router)# neighbor 10.1.13.1 remote-as 65008
Spine2(config-router)# address-family l2vpn evpn
Spine2(config-router-af)# neighbor 10.1.10.1 activate
Spine2(config-router-af)# neighbor 10.1.11.1 activate
Spine2(config-router-af)# neighbor 10.1.12.1 activate
Spine2(config-router-af)# neighbor 10.1.13.1 activate
Spine2(config-router-af)# advertise-all-vni
Spine2(config)# write
Spine2(config)# reload

5.4 Leaf1

5.4.1 设备恢复出厂设置

恢复Leaf1设备到出厂设置。

Leaf1# delete startup-config
Leaf1# reload

5.4.2 配置Leaf1端口速率

配置Leaf1交换机的Ethernet0口速率为10G。

Leaf1# configure terminal 
Leaf1(config)# interface ethernet 0/0  
Leaf1(config-if-0/0)# speed 10000
Leaf1(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.4.3 配置Leaf1接口IP

在Leaf1交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf1# configure terminal 
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/48)# ip address 10.0.10.1/24
Leaf1(config)# interface ethernet 0/52
Leaf1(config-if-0/52)# ip address 10.1.10.1/24
Leaf1(config)# interface link-aggregation 1
Leaf1(config)# interface link-aggregation 3
Leaf1(config)# interface ethernet 0/0
Leaf1(config-if-0/0)# link-aggregation-group 1
Leaf1(config-if-0/0)# interface ethernet 0/56
Leaf1(config-if-0/56)# link-aggregation-group 3
Leaf1(config-if-0/56)# interface ethernet 0/60
Leaf1(config-if-0/60)# link-aggregation-group 3
Leaf1(config)# vlan 10
Leaf1(config)# interface vlan 10
Leaf1(config-vlanif-10)# ip address 100.0.10.1/24
Leaf1(config)# interface link-aggregation 1
Leaf1(config-lagif-1)# switchport access vlan 10
Leaf1(config)# interface link-aggregation 3
Leaf1(config-lagif-3)# switchport trunk vlan 10

5.4.4 配置Leaf1的MC-LAG

在Leaf1交换机上配置与Leaf2交换机互联接口的MC-LAG。

Leaf1# configure terminal 
Leaf1(config)# vlan 30
Leaf1(config)# interface link-aggregation 3
Leaf1(config-lagif-3)# switchport trunk vlan 30
Leaf1(config)# interface vlan 30
Leaf1(config-vlanif-30)# ip address 11.0.0.6/24
Leaf1(config)# mclag domain 1
Leaf1(mclag-domain)# peer-link link-aggregation 3 
Leaf1(mclag-domain)# local-address 11.0.0.6   
Leaf1(mclag-domain)# peer-address 11.0.0.7
Leaf1(mclag-domain)# member lag 1
Leaf1(mclag-domain)# commit
Leaf1(config)# interface vlan 10
Leaf1(config-vlanif-10)# mac-address 18:17:25:37:64:40

5.4.5 配置Leaf1的BGP

在Leaf1交换机上配置2台Spine交换机的BGP邻居。

Leaf1# configure terminal 
Leaf1(config)# router bgp 65007
Leaf1(config-router)# bgp router-id 10.10.0.7
Leaf1(config)# interface loopback 0
Leaf1(config-loif-0)# ip address 10.10.0.7/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.7/32
Loopback ip will be used as bgp router-id in frr
Leaf1(config)# router bgp 65007
Leaf1(config-router)# no bgp ebgp-requires-policy
Leaf1(config-router)# neighbor 10.0.10.2 remote-as 65003
Leaf1(config-router)# neighbor 10.1.10.2 remote-as 65004
Leaf1(config-router)# address-family ipv4 unicast
Leaf1(config-router)# network 10.10.0.7/32
Leaf1(config-router)# address-family l2vpn evpn
Leaf1(config-router-af)# neighbor 10.0.10.2 activate
Leaf1(config-router-af)# neighbor 10.1.10.2 activate
Leaf1(config-router-af)# advertise-all-vni

5.4.6 配置Leaf1 的EVPN

在Leaf1交换机上配置EVPN、创建VNET，建立二三层VXLAN映射。

Leaf1# configure terminal
Leaf1(config)# interface vxlan 0
Leaf1(config-vxlanif-0)# source 10.10.0.7
Leaf1(config)# evpn-overlay enable
Leaf1(config)# vrf 123
Leaf1(config-vrf)# mac 60:eb:5a:00:86:20
Leaf1(config-vrf)# interface vlan 10
Leaf1(config-vlanif-10)# vrf 123
Leaf1(config)# vlan 10
Leaf1(config-vlan-10)# vni 10
Leaf1(config)# vrf 123
Leaf1(config-vrf)# vni 1000
Leaf1(config)# write
Leaf1(config)# reload

5.5 Leaf2

5.5.1 设备恢复出厂设置

恢复Leaf2设备到出厂设置。

Leaf2# delete startup-config
Leaf2# reload

5.5.2 配置Leaf2 端口速率

配置Leaf2交换机的Ethernet0口速率为10G。

Leaf2# configure terminal 
Leaf2(config)# interface ethernet 0/0 
Leaf2(config-if-0/0)# speed 10000
Leaf2(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.5.3 配置Leaf2接口IP

在Leaf2交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf2# configure terminal 
Leaf2(config)# interface ethernet 0/48
Leaf2(config-if-0/48)# ip address 10.0.11.1/24
Leaf2(config)# interface ethernet 0/52
Leaf2(config-if-0/52)# ip address 10.1.11.1/24
Leaf2(config) interface link-aggregation 1
Leaf2(config) interface link-aggregation 3
Leaf2(config)# interface ethernet 0/0     
Leaf2(config-if-0/0)# link-aggregation-group 1
Leaf2(config-if-0/0)# interface ethernet 0/56
Leaf2(config-if-0/56)# link-aggregation-group 3
Leaf2(config-if-0/56)# interface ethernet 0/60
Leaf2(config-if-0/60)# link-aggregation-group 3
Leaf2(config)# vlan 10
Leaf2(config)# interface vlan 10
Leaf2(config-vlanif-10)# ip address 100.0.10.1/24
Leaf2(config)# interface link-aggregation 1
Leaf2(config-lagif-1)# switchport access vlan 10
Leaf2(config)# interface link-aggregation 3
Leaf2(config-lagif-3)# switchport trunk vlan 10

5.5.4 配置Leaf2的MC-LAG

在Leaf2交换机上配置与Leaf1交换机互联接口的MC-LAG。

Leaf2# configure terminal 
Leaf2(config)# vlan 30
Leaf2(config)# interface link-aggregation 3
Leaf2(config-lagif-3)# switchport trunk vlan 30
Leaf2(config)# interface vlan 30
Leaf2(config-vlanif-30)# ip address 11.0.0.7/24
Leaf2(config)# mclag domain 1
Leaf2(mclag-domain)# peer-link link-aggregation 3 
Leaf2(mclag-domain)# local-address 11.0.0.7   
Leaf2(mclag-domain)# peer-address 11.0.0.6
Leaf2(mclag-domain)# member lag 1
Leaf2(mclag-domain)# commit
Leaf2(config)# interface vlan 10
Leaf2(config-vlanif-10)# mac-address 18:17:25:37:64:40

5.5.5 配置Leaf2的BGP

在Leaf2交换机上配置2台Spine交换机的BGP邻居。

Leaf2# configure terminal 
Leaf2(config)# router bgp 65007
Leaf2(config-router)# bgp router-id 10.10.0.7
Leaf2(config)# interface loopback 0
Leaf2(config-loif-0)# ip address 10.10.0.7/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.7/32
Loopback ip will be used as bgp router-id in frr
Leaf2(config)# router bgp 65007
Leaf2(config-router)# no bgp ebgp-requires-policy
Leaf2(config-router)# neighbor 10.0.11.2 remote-as 65003
Leaf2(config-router)# neighbor 10.1.11.2 remote-as 65004
Leaf2(config-router)# address-family ipv4 unicast
Leaf2(config-router)# network 10.10.0.7/32
Leaf2(config-router)# address-family l2vpn evpn
Leaf2(config-router-af)# neighbor 10.0.11.2 activate
Leaf2(config-router-af)# neighbor 10.1.11.2 activate
Leaf2(config-router-af)# advertise-all-vni

5.5.6 配置Leaf2 的EVPN

在Leaf2交换机上配置EVPN、创建VNET，建立二三层VXLAN映射。

Leaf2# configure terminal
Leaf2(config)# interface vxlan 0
Leaf2(config-vxlanif-0)# source 10.10.0.7
Leaf2(config)# evpn-overlay enable
Leaf2(config)# vrf 123
Leaf2(config-vrf)# mac 60:eb:5a:00:86:20
Leaf2(config-vrf)# interface vlan 10
Leaf2(config-vlanif-10)# vrf 123
Leaf2(config)# vlan 10
Leaf2(config-vlan-10)# vni 10
Leaf2(config)# vrf 123
Leaf2(config-vrf)# vni 1000
Leaf2(config)# write
Leaf2(config)# reload

5.6 Leaf3

5.6.1 设备恢复出厂设置

恢复Leaf3设备到出厂设置。

Leaf3# delete startup-config
Leaf3# reload

5.6.2 配置Leaf3 端口速率

配置Leaf3交换机的Ethernet0口速率为10G。

Leaf3# configure terminal 
Leaf3(config)# interface ethernet 0/0
Leaf3(config-if-0/0)# speed 10000
Leaf3(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.6.3 配置Leaf3接口IP

在Leaf3交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf3# configure terminal 
Leaf3(config)# interface ethernet 0/48
Leaf3(config-if-0/48)# ip address 10.0.12.1/24
Leaf3(config)# interface ethernet 0/52
Leaf3(config-if-0/52)# ip address 10.1.12.1/24
Leaf3(config) interface link-aggregation 1
Leaf3(config) interface link-aggregation 3
Leaf3(config)# interface ethernet 0/0 
Leaf3(config-if-0/0)# link-aggregation-group 1
Leaf3(config-if-0/0)# interface ethernet 0/56
Leaf3(config-if-0/56)# link-aggregation-group 3
Leaf3(config-if-0/56)# interface ethernet 0/60
Leaf3(config-if-0/60)# link-aggregation-group 3
Leaf3(config)# vlan 20
Leaf3(config)# interface vlan 20
Leaf3(config-vlanif-20)# ip address 100.0.20.1/24
Leaf3(config)# interface link-aggregation 1
Leaf3(config-lagif-1)# switchport access vlan 20
Leaf3(config)# interface link-aggregation 3
Leaf3(config-lagif-3)# switchport trunk vlan 20

5.6.4 配置Leaf3的MC-LAG

在Leaf3交换机上配置与Leaf4交换机互联接口的MC-LAG。

Leaf3(config)# vlan 30
Leaf3(config)# interface link-aggregation 3
Leaf3(config-lagif-3)# switchport trunk vlan 30
Leaf3(config)# interface vlan 30
Leaf3(config-vlanif-30)# ip address 11.0.0.8/24
Leaf3(config)# mclag domain 1
Leaf3(mclag-domain)# peer-link link-aggregation 3 
Leaf3(mclag-domain)# local-address 11.0.0.8 
Leaf3(mclag-domain)# peer-address 11.0.0.9
Leaf3(mclag-domain)# member lag 1
Leaf3(mclag-domain)# commit
Leaf3(config)# interface vlan 20
Leaf3(config-vlanif-20)# mac-address 18:17:25:37:64:32

5.6.5 配置Leaf3的BGP

在Leaf3交换机上配置2台Spine交换机的BGP邻居。

Leaf3(config)# router bgp 65008
Leaf3(config-router)# bgp router-id 10.10.0.8
Leaf3(config)# interface loopback 0
Leaf3(config-loif-0)# ip address 10.10.0.8/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.8/32
Loopback ip will be used as bgp router-id in frr
Leaf3(config)# router bgp 65008
Leaf3(config-router)# no bgp ebgp-requires-policy
Leaf3(config-router)# neighbor 10.0.12.2 remote-as 65003
Leaf3(config-router)# neighbor 10.1.12.2 remote-as 65004
Leaf3(config-router)# address-family ipv4 unicast
Leaf3(config-router)# network 10.10.0.8/32
Leaf3(config-router)# address-family l2vpn evpn
Leaf3(config-router-af)# neighbor 10.0.12.2 activate
Leaf3(config-router-af)# neighbor 10.1.12.2 activate
Leaf3(config-router-af)# advertise-all-vni

5.6.6 配置Leaf3 的EVPN

在Leaf3交换机上配置EVPN、创建VNET，建立二三层VXLAN映射。

Leaf3# configure terminal
Leaf3(config)# interface vxlan 0
Leaf3(config-vxlanif-0)# source 10.10.0.8
Leaf3(config)# evpn-overlay enable
Leaf3(config)# vrf 456
Leaf3(config-vrf)# mac 60:eb:5a:00:86:22
Leaf3(config-vrf)# interface vlan 20
Leaf3(config-vlanif-10)# vrf 456
Leaf3(config)# vlan 20
Leaf3(config-vlan-10)# vni 20
Leaf3(config)# vrf 456
Leaf3(config-vrf)# vni 1000
Leaf3(config)# write
Leaf3(config)# reload

5.7 Leaf4

5.7.1 设备恢复出厂设置

恢复Leaf4设备到出厂设置。

Leaf4# delete startup-config
Leaf4# reload

5.7.2 配置Leaf4 端口速率

配置Leaf4交换机的Ethernet0口速率为10G。

Leaf4# configure terminal 
Leaf4(config)# interface ethernet 0/0
Leaf4(config-if-0/0)# speed 10000
Leaf4(config-if-0/0)# show this
!
interface ethernet 0/0
speed 10000

5.7.3 配置Leaf4接口IP

在Leaf4交换机上配置与Leaf、Spine交换机的互联接口IP以及PortChannel、VLAN信息。

Leaf4# configure terminal 
Leaf4(config)# interface ethernet 0/48
Leaf4(config-if-0/48)# ip address 10.0.13.1/24
Leaf4(config)# interface ethernet 0/52
Leaf4(config-if-0/52)# ip address 10.1.13.1/24
Leaf4(config) interface link-aggregation 1
Leaf4(config) interface link-aggregation 3
Leaf4(config)# interface ethernet 0/0    
Leaf4(config-if-0/0)# link-aggregation-group 1
Leaf4(config-if-0/0)# interface ethernet 0/56
Leaf4(config-if-0/56)# link-aggregation-group 3
Leaf4(config-if-0/56)# interface ethernet 0/60
Leaf4(config-if-0/60)# link-aggregation-group 3
Leaf4(config)# vlan 20
Leaf4(config)# interface vlan 20
Leaf4(config-vlanif-20)# ip address 100.0.20.1/24
Leaf4(config)# interface link-aggregation 1
Leaf4(config-lagif-1)# switchport access vlan 20
Leaf4(config)# interface link-aggregation 3
Leaf4(config-lagif-3)# switchport trunk vlan 20

5.7.4 配置Leaf4的MC-LAG

在Leaf4交换机上配置与Leaf3交换机互联接口的MC-LAG。

Leaf4(config)# vlan 30
Leaf4(config)# interface link-aggregation 3
Leaf4(config-lagif-3)# switchport trunk vlan 30
Leaf4(config)# interface vlan 30
Leaf4(config-vlanif-30)# ip address 11.0.0.9/24
Leaf4(config)# mclag domain 1
Leaf4(mclag-domain)# peer-link link-aggregation 3 
Leaf4(mclag-domain)# local-address 11.0.0.9
Leaf4(mclag-domain)# peer-address 11.0.0.8
Leaf4(mclag-domain)# member lag 1
Leaf4(mclag-domain)# commit
Leaf4(config)# interface vlan 20
Leaf4(config-vlanif-20)# mac-address 18:17:25:37:64:32

5.7.5 配置Leaf4的BGP

在Leaf4交换机上配置2台Spine交换机的BGP邻居。

Leaf4(config)# router bgp 65008
Leaf4(config-router)# bgp router-id 10.10.0.8
Leaf4(config)# interface loopback 0
Leaf4(config-loif-0)# ip address 10.10.0.8/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.8/32
Loopback ip will be used as bgp router-id in frr
Leaf4(config)# router bgp 65008
Leaf4(config-router)# no bgp ebgp-requires-policy
Leaf4(config-router)# neighbor 10.0.13.2 remote-as 65003
Leaf4(config-router)# neighbor 10.1.13.2 remote-as 65004
Leaf4(config-router)# address-family ipv4 unicast
Leaf4(config-router)# network 10.10.0.8/32
Leaf4(config-router)# address-family l2vpn evpn
Leaf4(config-router-af)# neighbor 10.0.13.2 activate
Leaf4(config-router-af)# neighbor 10.1.13.2 activate
Leaf4(config-router-af)# advertise-all-vni

5.7.6 配置Leaf4 的EVPN

在Leaf4交换机上配置EVPN、创建VNET，建立二三层VXLAN映射。

Leaf4# configure terminal
Leaf4(config)# interface vxlan 0
Leaf4(config-vxlanif-0)# source 10.10.0.8
Leaf4(config)# evpn-overlay enable
Leaf4(config)# vrf 456
Leaf4(config-vrf)# mac 60:eb:5a:00:86:22
Leaf4(config-vrf)# interface vlan 20
Leaf4(config-vlanif-10)# vrf 456
Leaf4(config)# vlan 20
Leaf4(config-vlan-10)# vni 20
Leaf4(config)# vrf 456
Leaf4(config-vrf)# vni 1000
Leaf4(config)# write
Leaf4(config)# reload

更多内容请参考：A-Lab

基于Asterfusion CX-N设备部署BGP-EVPN-VXLAN

1 目标与物理网络拓扑
2 硬件与软件环境
3 解决方案：BGP EVPN和VXLAN
- 3.1 逻辑组网与配置思路
- 3.2 配置步骤
4 解决方案：AFC配置BGP和EVPN
- 4.1 逻辑组网与配置思路
- 4.2 配置步骤
5 测试结果

1 目标与物理网络拓扑

本文主要描述如何在Asterfusion CX308P-N和CX532P-N（以下简称CX308和CX532）搭建的网络上部署如下解决方案：

BGP EVPN和VXLAN

在网络上承载VXLAN网络，将原本在服务器上进行的封装、去封装全部从Server端卸载到CX308内的VTEP上，并且在网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。

如上解决方案共用一个物理拓扑，如图1所示：

部署过程中所涉及到的设备、接口及管理网口的IP地址如下表1所示：

设备名称	设备型号	IP地址	备注
Spine1	CX532-N	10.230.1.7
Spine2	CX532-N	10.230.1.8
Leaf1	CX308-N	10.230.1.18
Leaf2	CX308-N	10.230.1.19
Servrr1	X86	10.230.1.11	互联网口ens1f2
Server2	X86	10.230.1.12	互联网口ens1f3

表1：设备管理口列表

2 硬件与软件环境

部署环境中涉及到的硬件和软件如表2和表3所示：

名称	型号	硬件指标	数量	备注
交换机	CX532-N	【参见产品彩页】	2	无
交换机	CX308-N	【参见产品彩页】	2	无
服务器	X86	无	2	本方案采用10G网卡
光模块	10G	SFP+	4	无
光模块	100G	QSFP28	12	无
光纤	多模	100G适用	6	无
光纤	多模	10G/25G适用	2	无

表2：硬件环境

名称	版本	备注
AFC	V5.0.0	无
服务器系统	CentOS Linux 7.9.2009	无
服务器内核	3.10.0-1127.18.2.el7	无

表3：软件环境

3 解决方案：BGP EVPN和VXLAN

3.1 逻辑组网与配置思路

配置思路：

1）配置各交换机的端口IP信息

2）配置Leaf1和Leaf2的VLAN信息

3）配置各交换机的BGP

4）配置Leaf1和Leaf2使能EVPN

5）Leaf1和Leaf2创建Vnet，绑定VLAN

6）Leaf1和Leaf2配置二层和三层VXLAN映射

7）配置Server1和Server2的IP和路由信息

8）测试Server1和Server2的连通性

9）查看Leaf1的路由信息

10）查看Leaf2的路由信息

3.2 配置步骤

3.2.1 配置各交换机的端口IP信息

Spine1:
Spine1# configure terminal
Spine1(config)# interface ethernet 0/4
Spine1(config-if-0/4)# ip address 10.0.10.2/24
Spine1(config)# interface ethernet 0/8
Spine1(config-if-0/8)# ip address 10.0.11.2/24

Spine2:
Spine2# configure terminal
Spine2(config)# interface ethernet 0/4
Spine2(config-if-0/4)# ip address 10.1.10.2/24
Spine2(config)# interface ethernet 0/8
Spine2(config-if-0/8)# ip address 10.1.11.2/24

Leaf1:
Leaf1# configure terminal
Leaf1(config)# interface ethernet 0/48
Leaf1(config-if-0/4)# ip address 10.0.10.1/24
Leaf1(config)# interface ethernet 0/52
Leaf1(config-if-0/8)# ip address 10.1.10.1/24

Leaf2:
Leaf2# configure terminal
Leaf2(config)# interface ethernet 0/48
Leaf2(config-if-0/4)# ip address 10.0.11.1/24
Leaf2(config)# interface ethernet 0/52
Leaf2(config-if-0/8)# ip address 10.1.11.1/24
sudo config interface ip add Ethernet52 10.1.11.1/24

3.2.2 配置Leaf1和Leaf2的VLAN信息并配置好网口速率

Leaf1:
Leaf1# configure terminal 
Leaf1(config)# vlan 10
Leaf1(config)# interface vlan 10
Leaf1(config-vlanif-10)# ip address 100.0.10.1/24
Leaf1(config-vlanif-10)# mac-address 18:17:25:55:17:69
Leaf1(config)# interface ethernet 0/2
Leaf1(config-if-0/2)# switchport access vlan 10
Leaf1(config-if-0/2)# speed 10000

Leaf2:
Leaf2# configure terminal 
Leaf2(config)# vlan 20
Leaf2(config)# interface vlan 20
Leaf2(config-vlanif-20)# ip address 100.0.20.1/24
Leaf2(config-vlanif-20)# mac-address 18:17:25:55:17:71
Leaf2(config)# interface ethernet 0/3
Leaf2(config-if-0/3)# switchport access vlan 20
Leaf2(config-if-0/3)# speed 10000

3.2.3 配置各交换机的BGP

Spine1:
Spine1# configure terminal
Spine1(config)# router bgp 65228
Spine1(config-router)# bgp router-id 10.10.0.100
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.100/32
Loopback ip will be used as bgp router-id in frr
Spine1(config)# router bgp 65228
Spine1(config-router)# no bgp ebgp-requires-policy 
Spine1(config-router)# neighbor 10.0.10.1 remote-as 65230
Spine1(config-router)# neighbor 10.0.11.1 remote-as 65231
Spine1(config-router)# address-family ipv4 unicast
Spine1(config-router)# address-family l2vpn evpn
Spine1(config-router-af)# neighbor 10.0.10.1 activate
Spine1(config-router-af)# neighbor 10.0.11.1 activate
Spine1(config-router-af)# advertise-all-vni

Spine2:
Spine1# configure terminal
Spine1(config)# router bgp 65229
Spine1(config-router)# bgp router-id 10.10.0.110
Spine1(config)# interface loopback 0
Spine1(config-loif-0)# ip address 10.10.0.110/32
Loopback ip will be used as bgp router-id in frr
Spine1(config)# router bgp 65229
Spine1(config-router)# no bgp ebgp-requires-policy 
Spine1(config-router)# neighbor 10.1.10.1 remote-as 65230
Spine1(config-router)# neighbor 10.1.11.1 remote-as 65231
Spine1(config-router)# address-family ipv4 unicast
Spine1(config-router)# address-family l2vpn evpn
Spine1(config-router-af)# neighbor 10.1.10.1 activate
Spine1(config-router-af)# neighbor 10.1.11.1 activate
Spine1(config-router-af)# advertise-all-vni

Leaf1:
Leaf1# configure terminal 
Leaf1(config)# router bgp 65230
Leaf1(config-router)# bgp router-id 10.10.0.120
Leaf1(config)# interface loopback 0
Leaf1(config-loif-0)# ip address 10.10.0.120/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.120/32
Loopback ip will be used as bgp router-id in frr
Leaf1(config)# router bgp 65230
Leaf1(config-router)# no bgp ebgp-requires-policy
Leaf1(config-router)# neighbor 10.0.10.2 remote-as 65228
Leaf1(config-router)# neighbor 10.1.10.2 remote-as 65229
Leaf1(config-router)# address-family ipv4 unicast
Leaf1(config-router)# network 10.10.0.120/32
Leaf1(config-router)# address-family l2vpn evpn
Leaf1(config-router-af)# neighbor 10.0.10.2 activate
Leaf1(config-router-af)# neighbor 10.1.10.2 activate
Leaf1(config-router-af)# advertise-all-vni

Leaf2:
Leaf2# configure terminal
Leaf2(config)# router bgp 65231
Leaf2(config-router)# bgp router-id 10.10.0.130
Leaf2(config)# interface loopback 0
Leaf2(config-loif-0)# ip address 10.10.0.130/32
Change Loopback0 ip from 10.1.0.1/32 to 10.10.0.130/32
Loopback ip will be used as bgp router-id in frr
Leaf2(config)# router bgp 65231
Leaf2(config-router)# no bgp ebgp-requires-policy
Leaf2(config-router)# neighbor 10.0.11.2 remote-as 65228
Leaf2(config-router)# neighbor 10.1.11.2 remote-as 65229
Leaf2(config-router)# address-family ipv4 unicast
Leaf2(config-router)# network 10.10.0.130/32
Leaf2(config-router)# address-family l2vpn evpn
Leaf2(config-router-af)# neighbor 10.0.11.2 activate
Leaf2(config-router-af)# neighbor 10.1.11.2 activate
Leaf2(config-router-af)# advertise-all-vni

3.2.4 配置Leaf1和Leaf2使能EPVN

Leaf1:
Leaf1# configure terminal
Leaf1(config)# interface vxlan 0
Leaf1(config-vxlanif-0)# source 10.10.0.120
Leaf1(config)# evpn-overlay enable

Leaf2:
Leaf2# configure terminal
Leaf2(config)# interface vxlan 0
Leaf2(config-vxlanif-0)# source 10.10.0.130
Leaf2(config)# evpn-overlay enable

3.2.5 Leaf1和Leaf2创建Vnet，绑定VLAN

Leaf1:
Leaf1(config)# vrf 123
Leaf1(config-vrf)# mac 18:17:25:55:17:69
Leaf1(config-vrf)# interface vlan 10
Leaf1(config-vlanif-10)# vrf 123

Leaf2:
Leaf2(config)# vrf 456
Leaf2(config-vrf)# mac 18:17:25:55:17:71
Leaf2(config-vrf)# interface vlan 20
Leaf2(config-vlanif-20)# vrf 456

3.2.6 Leaf1和Leaf2配置二层和三层VXLAN映射

Leaf1:
Leaf1(config)# vlan 10
Leaf1(config-vlan-10)# vni 10
Leaf1(config)# vrf 123
Leaf1(config-vrf)# vni 1000

Leaf2:
Leaf2(config)# vlan 20
Leaf2(config-vlan-20)# vni 20
Leaf2(config)# vrf 456
Leaf2(config-vrf)# vni 1000

3.2.7 保存配置并重新加载

sonic# write
sonic# reload

3.2.8 配置Server1和Server2的IP和路由信息

Server1：


[root@server1 ~]# ifconfig ens1f2

[root@server1 ~]# route add -net 100.0.20.0 netmask 255.255.255.0 gw 100.0.10.1 dev ens1f2

Server2：

[root@server1 ~]# route add -net 100.0.10.0 netmask 255.255.255.0 gw 100.0.20.1 dev ens1f3

3.2.9 测试Server1和Server2的连通性

[root@server1 ~]# ping 100.0.20.3

[root@server1 ~]# ping 100.0.10.2

3.2.10 查看Leaf1的路由信息

查看VTEP信息
admin@Leaf1:~$ show evpn status

交换机路由信息
admin@Leaf1:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf1:~$ ip neigh show nud all | grep Vlan

admin@Leaf1:~$ sudo bridge fdb |grep vxlan

admin@Leaf1:~$ show ip route vrf Vnet123

3.2.11 查看Leaf2的路由信息

查看VTEP信息
admin@Leaf2:~$ show evpn status

交换机路由信息
admin@Leaf2:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf2:~$ ip neigh show nud all | grep Vlan

admin@Leaf2:~$ sudo bridge fdb |grep vxlan

admin@Leaf2:~$ show ip route vrf Vnet123

4 解决方案：AFC配置BGP和EVPN

4.1 逻辑组网与配置思路

配置思路：

1）配置设备的命令行模式

2）在Server2服务器上安装AFC软件，并在AFC Web上导入软件许可

3）在AFC上自动发现物理设备

4）在AFC上自动发现物理设备间的单向和双向链路

5）在AFC上创建Fabric，选择组网类型为Spine/Leaf

6）初始化环境确认

7）在AFC上配置设备BGP邻居

8）应用配置，AFC会自动下发配置到物理设备

9）在AFC上创建租户信息

10）在AFC上创建VPC组

11）在AFC上创建虚拟路由器

12）在AFC上创建虚拟交换机

13）在AFC上创建虚拟端口

14）测试Server1和Server2的连通性

15）查看Leaf1的路由信息

16）查看Leaf2的路由信息

4.2 配置步骤

4.2.1 安装AFC软件

下载AFC-NPB-V5.0.0软件包，在Server2服务器上安装AFC软件。具体操作请查看《AFC-NPB安装手册》，AFC安装完成之后，打开AFC Web端上传软件许可。

4.2.2 自动发现设备

【快速部署】—>【物理网络】—>【发现设备】

输入设备的起始和终止IP（10.230.1.7~10.230.1.8），（10.230.1.18~10.230.1.19）开始扫描。

4.2.3 自动发现链路

【快速部署】—>【物理网络】—>【发现链路】

自动发现链路，默认发现所有设备互联链路。

4.2.4 创建Fabric

【快速部署】—>【物理网络】—>【新建和配置Fabric】—>【添加Fabric】

选择Spine/Leaf类型，输入名称，添加设备，分配设备角色，并配置组网出入口，完成创建。

4.2.5 配置BGP邻居

【快速部署】—>【物理网络】—>【配置BGP】—>【同步设备邻居】

4.2.6 应用配置

【快速部署】—>【物理网络】—>【完成部署】—>【应用配置】

完成应用配置，大概等3分钟，等待配置下发物理设备。

4.2.7 创建租户信息

【虚拟网络】—>【独立部署场景】—>【租户】—>【新建租户】

新建租户，这里的租户代表用户本身，是配置网络的逻辑前提。

4.2.8 创建VPC

【虚拟网络】—>【独立部署场景】—>【VPC】—>【新建VPC】

新建VPC，选择租户和之前创建的Fabric组网。

4.2.9 创建虚拟路由器

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟路由器】—>【新建虚拟路由器】

新建虚拟路由器，预设两台Leaf设备的三层VNI和Fabric子网信息。

4.2.10 创建虚拟交换机

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟交换机】—>【新建虚拟交换机】

新建虚拟交换机，在Leaf设备上创建VLAN，并配置二层VXLAN映射；允许绑定子网，并配置三层VXLAN映射。

4.2.11 创建虚拟端口

【虚拟网络】—>【独立部署场景】—>【VPC】—>【内部资源】—>【虚拟端口】—>【新建虚拟端口】

新建虚拟端口，配置VLAN绑定的物理端口。

4.2.12 测试Server1和Server2的连通性

[root@server1 ~]# ping 100.0.20.3

[root@server2 ~]# ping 100.0.10.2

4.2.13 查看Leaf1的路由信息

查看VETP信息
admin@Leaf1:~$ show evpn status

查看交换机本身路由显示
admin@Leaf1:~$ ip route show

下面信息显示Server2的路由转发到了Leaf1
admin@Leaf1:~$ ip neigh show nud all|grep Vlan

admin@Leaf1:~$ show ip route vrf Vnet123

4.2.14 查看Leaf2的路由信息

查看VETP信息
admin@Leaf2:~$ show evpn status

查看交换机本身路由显示
admin@Leaf2:~$ ip route show

下面信息显示Server2的路由转发到了Leaf2
admin@Leaf2:~$ ip neigh show nud all|grep Vlan

admin@Leaf2:~$ show ip route vrf Vnet456

5 测试结果

Server1和Server2之间使用交换机建立的VXLAN通道完成了通信；
Leaf1和Leaf2对服务器之间的通信进行了VXLAN封装/去封装和L2/L3路由转发。

结论： VXLAN网络的封装、去封装可以从Server端卸载到CX308内的VTEP上，并且在网络上启动BGP EVPN，自动化地创建VXLAN隧道、传递虚拟网络路由。

更多内容请参考：A-Lab

CX-N系列超低时延云交换机

云化园区

CX-M系列云化园区交换机

网络操作系统（SONiC）

AsterNOS

可视交换机

开放硬件平台

智算中心/数据中心

云化园区

1 引言

2 首次登录设备

2.1 设备基础配置

3 配置DPU1

3.2 OpenWrt功能配置

3.2.1 配置WAN接口

3.2.2 配置LAN接口

3.3 设备接口配置

4 配置DPU2

4.1 安装依赖

4.2 准备源码

4.3 编译安装

4.4 交换机侧配置

4.5 功能验证

1、ntopng介绍

2、 ntopng编译安装

2.1 安装依赖

2.2 准备源码

3.3 编译安装

3、启动运行

5 访问验证ntopng运行

1 JumpServer简介

2 目标

3 环境准备

4 组件说明

5 端口说明

6 部署过程

6.1 关闭SELinux

6.2 关闭防火墙

6.3 安装依赖包

6.4 安装Redis

6.5 安装Mysql并授权

6.6 Mysql修改存储路径

6.7 安装Nginx

6.8 安装Pyhon3.6

6.9 安装JumpServer

6.10 安装Python依赖库

6.11 修改JumpServer配置文件

6.12 运行JumpServer

6.13 安装Docker

6.14 部署Koko与Guacamole

6.15 部署Luna

6.16 配置Nginx

6.17 端口检查

6.18 验证JumpServer

7 参考资料

相关阅读。

1 目标

2 下载驱动

3 安装步骤

3.1 把下载好的Mellanox驱动解压缩

3.2 查看当前系统的内核版本

3.3 查看当前驱动所支持的内核版本

3.4 如果当前内核与支持内核不匹配

3.5 安装驱动

3.6 最后启动openibd服务

4 结论

5 参考资料

点击了解Asterfusion CX-N数据中心交换机

1 OTP简介

2 OTP三种实现方式

3 基于时间的OTP动态口令

4 CenOS部署

4.1 启用EPEL库

4.2 安装服务器端组件

4.3 修改配置文件

5 Ubuntu部署

5.1 安装服务器端组件

5.2 修改配置文件

6 配置认证信息

6.1 生成密钥