标签： 解决方案

关注星融元

故事是这样的

甲方爸爸李工是一名存储行业资深的网络工程师，多年的工作经验让他在服务器上玩得起飞，交换机方面，平时使用的多是 IB 交换机，只会插插线。自从发现IB交换机越用越不爽之后，转向了RoCEv2低时延无损以太网解决方案。但是对接过程中李工也发现，无损以太网络香是真香，但是配置方面也真心不太懂，简直一个大写的懵。

星融元的“一键RoCE”

RoCEv2技术支持在以太网上承载RDMA协议，实现RDMA over Ethernet，但需要网络侧支持无损以太网。目前，星融元网络操作系统AsterNOS使用标准的PFC+ECN来实现无损以太网。在以太网交换机上配置PFC、ECN功能，需要用户熟悉QoS机制、配置逻辑和相关命令行。
对此，星融元针对RoCEv2场景的配置需求进行设计规划，推出一键RoCE,实现了业务级的命令行封装，以达到RoCEv2场景下最佳的可维护性和可用性。

继提供高性价比低时延交换机产品替代方案后，在产品的使用和运维上，星融元进行了网络部署的升级，降低工程师们的运维复杂度，让用户聚焦于业务。

一键启用PFC和ECN，完成无损网络配置

没有一键RoCE配置命令行时，一线实施和运维工程师配置无损网络或者取消配置，需要分别修改PFC和ECN的配置。通常情况下，要配置PFC和ECN，需要工程师理解QoS的配置逻辑和步骤，这对工程师有着一定的网络知识要求。
有了一键RoCE配置命令行后，工程师可以通过一条命令行完成无损网络配置，不需要再使用原子级的命令行，对PFC和ECN进行配置。

无损网络的配置和运行状态，集中展示

在以前运维无损网络时，如果想要进行网络异常定位或者运行状态检查，通常需要到不同命令行视图下进行执行多次show命令，以确定当前的队列映射关系、Buffer使用情况、PFC和ECN在哪个队列中被启用、各种门限的数值、PFC和ECN所在队列的吞吐量、Pasue和CNP报文的触发次数等信息。

现在工程师可以通过show roce命令打印全局的RoCE信息、端口的RoCE信息和计数，以及对RoCE相关计数进行统一清零。

不同业务场景下的参数调优

通过一键RoCE命令行，可以快速配置无损网络，当业务场景不满足于设备提供的默认模板配置时，工程师仍然可以通过qos命令行精细化地调试PFC和ECN的各项参数，让当前业务场景的性能达到最优。

一键RoCE的可应用场景

简化高性能计算和存储网络的部署

一键RoCE的使用对于需要高性能网络传输的应用程序非常有帮助，如高性能计算、存储、大数据分析和人工智能、云计算等领域。它可以提供比传统以太网更高的吞吐量和更低的延迟，从而为这些领域的应用程序提供更高的性能和效率。

高性能计算和存储业务场景中，工程师通常对业务非常熟悉，集中精力在服务器侧的配置调优，对于网络，通常提出的要求是“需要一张高可用、高性能的无损网络”。针对这种情况，高性能计算和存储工程师可以通过一键RoCE命令行，快速完成无损网络配置部署。

这种业务级命令行的封装，将多个原子级命令行进行组合，简化配置流程，节省工程师的时间和精力去完成更有价值的业务侧优化。

定位无损网络的瓶颈和故障

show roce业务级命令行将多个原子级命令行组合成一个语义完整的业务命令，将多个命令的输出信息整合在一起。
在排查网络故障时，可以使用show roce一次性查询和无损网络相关的所有配置信息、运行状态，而不需要逐个查询原子级命令行。从而简化故障排除流程，提高故障排除效率。

图片未来，随着云计算、大数据和AIGC行业的不断发展，对高性能网络传输技术的需求将会越来越大。一键RoCE作为一种快速部署RDMA网络的解决方案，将会在未来得到更广泛的应用。

关注星融元

云数据中心里，为什么需要DCI互通？

云化数据中心，网络资源通过虚拟化技术形成资源池，实现业务与物理网络解耦，通过网络虚拟化，物理网络资源可以被分成多个虚拟网络资源，从而提高网络资源的使用效率。

虚拟网络资源根据业务需求进行分配和调度，可以更好地利用网络资源。此外，虚拟网络资源的快速部署和迁移可以提高业务的灵活性和可用性。

伴随着用户业务规模的扩大和范围的增加，用户可能需要在多个地理位置建立数据中心以满足业务需求。这些数据中心需要进行互联和资源共享。一些应用程序可能需要在多个数据中心之间进行迁移、复制、备份等操作，而另一些应用程序可能需要快速在不同的数据中心之间进行负载均衡和容灾切换，总结下来具体诉求如下：

业务跨DC部署

客户某些业务可能是跨DC部署的，比如客户可能会针对某大型网站划一个独立的VPC，这个VPC可能会跨多个DC，所以在这个VPC内部流量就有跨Fabric互通的需求，同时路由和防火墙需要进行隔离。

业务之间的互通

客户针对不同的业务会划分不同的VPC，不同VPC可能会部署在不同的DC中，业务之间如果有互通的需求，就要求VPC之间能跨DC进行L3互通（VPC之间互通一般为L3互通，如果需要L2互通则需要将VM划分到同一个VPC中）。

业务容灾/多活

业务容灾和多活主要分为两种方式，首先针对比较新的业务系统，客户自己可以通过GSLB（全局负载均衡）的方式进行容灾和多活，具体方式是两个DC同时部署相同的业务，业务相同同时IP地址不同，这样两套系统可以进行容灾处理。这种方式对网络没有什么特别的诉求，但是针对比较旧的一些系统，会要求迁移到容灾中心后，IP地址不能变化，这种情况下，就需要支持跨DC的二层互通。

Multi-Fabric跨DC解决方案解锁无限可能

为了解决这些问题，星融元推出了跨DC解决方案Multi-Fabric使用VXLAN、BGP-EVPN等技术对L2和L3网络进行扩展。这样，用户的应用程序就可以在多个数据中心之间进行迁移、负载均衡、网络容灾切换等操作，而无需担心网络问题，帮助管理多个数据中心之间的网络和资源，提高业务的可扩展性和可靠性。

Multi-Fabric方案简介

使用Multi-Fabric方式的DCI互通，如图所示，在本方案中：

• DCI Leaf间推荐使用eBGP建立VXLAN隧道，在DC内使用eBGP建立VXLAN隧道。
• 如果同时有DCI L2&L3互通需求时，DCI Leaf采用双活部署，这样可以使DCI Leaf专注于DCI网络和数据中心网络之间的数据转发，而Border Leaf专注于数据中心网络和外部网络之间的数据转发。
• L2互通需求：DCI之间有L2互通需求，需要手动开启L2互通功能，建议DCI Leaf分设独立部署。为了避免广播风暴、MAC地址表项限制、环路问题，在没有L2互通需求时L2互通功能默认未开启。

物理网络说明

DCI互联线路

• 直连链路（裸光纤或者DWDM）；
• 企业自有的或者电信运营商的单租户/多租户layer 3 WAN服务；

PS：建议使用能够通过EVPN自动建立VXLAN隧道的链路，类似光纤互联网（Fiber Internet） 等无法运行EVPN的线路，不推荐使用。

Underlay路由设计

Multi-Fabric方案通过在DCI Leaf之间建立eBGP对等体发布Overlay路由，创建VXLAN隧道，对中间Inter-Site Network（站点间网络）的要求只需能够打通Underlay路由，无需感知Overlay网络。DCI Leaf通过Inter-Site Network传递Underlay路由：

Underlay网络设计说明

• Fabric内、DCI Leaf间的Underlay路由推荐使用eBGP，三层路由可达即可；
• 同一个DCI Leaf组VTEP IP相同；
• 同一个DCI Leaf组BGP的Router-ID不同；
• DCI Leaf双活设备组内部两台设备之间通过三层互联，跑动态路由协议；

Overlay路由设计

通过建立三条VXLAN隧道可以支持跨数据中心L2互通和L3互通:

• L2互通时，不同的二层通过不同的二层VNI进行区分，通过RD/RT进行喜好选择；
• L3互通时，不同VPC通过VNI进行隔离，保证跨数据中心VM之间的通信和隔离，通过VPC中RD/RT值进行路由喜好选择。

Overlay网络设计说明

• Fabric内、DCI Leaf间的Overlay路由推荐使用eBGP EVPN；
• DCI Leaf设备上通过BGP EVPN对等体所属的水平分割组，避免BUM流量转发出现环路（DCI Leaf节点收到BUM流量后，不会再转发给属于同一水平分割组的设备，避免因重生成而产生的环路）以及Fabric内重复路由；
• DCI Leaf设备上根据网络需求开启L2互通、L3互通功能，进行BGP EVPN路由重生成；

DCI Leaf路由通告

• Type3路由通告，该类型路由在VXLAN控制平面中主要用于VTEP的自动发现和VXLAN隧道的动态建立。作为BGP EVPN对等体的VTEP，通过Type3路由互相传递二层VNI和VTEP IP地址信息。创建一个头端复制表，用于后续BUM报文在Fabric内部及Fabric之间转发。
• 租户VPC互通的网段路由，通过路由重分发功能将BGP EVPN Type5前缀路由从源端站点的DCI Leaf扩散给目的端站点的DCI Leaf。
• 租户VPC发布的主机路由（Subnet跨Fabric延展场景），通过BGP EVPN Type2 IRB类型路由发布32位主机路由，通过route-map使用明细路由进行引流。

DCI Leaf MAC地址通告

• 主机MAC地址通告，要实现同子网主机的二层互访，两端VTEP需要相互学习主机MAC。作为BGP EVPN对等体的VTEP之间通过MAC重分发功能交换Type2 MAC路由，可以通过相互通告已经获取到的主机MAC。