标签： 解决方案

关注星融元

随着数字化转型的加速，越来越多的企业选择了业务上云。众所周知，不论是政企关键/核心业务中的大型数据库、NoSQL、AI训练，还是互联网业务中的游戏、渲染等场景，对数据读写IOPS和时延有极高的要求。作为全球领先的云服务商，天翼云拥有200万+客户，整合中国电信的平台资源，天翼云以“云网融合、安全可信、绿色低碳、生态开放”四大优势向客户提供公有云、私有云、专属云、混合云、边缘云全栈云服务，很好地满足了政府机构、大中小企业数字化转型需求。

业务飞速发展考验天翼云基础网络设施

多数业务上云早期的方案大多采用物理机+本地盘的方式，这种方式虽然满足了用户的性能需求，但受限于单台服务器的存储资源，一方面可靠性无法得到保障，不仅无法容忍double fault(双点失效)，即使单点故障也无法容忍；另一方面也导致了容量难以扩展。

为此，中国电信天翼云推出完全自主研发的“百万IOPS”X系列云硬盘，与上一代极速型SSD、超高IO云硬盘相比，X系列云硬盘带宽、时延、IOPS等规格指标提升了2~10倍。在提供本地盘级别的性能体验的同时，还提供高达99.9999999%的数据持久性与99.975%的业务可用性，完美满足了关键业务、核心数据库、内存数据库(持久化)、AI训练等场景对存储的性能可靠性及扩展性需求。

对天翼云这样庞大的云来说，除了解决存储问题，还迫切需要一张能够支持大规模分布式存储的网络来满足业务需求，为此，天翼云业务团队做了大量的洞察和分析，也对业界各大云服务商当前提供的解决方案做了深入研究，选定了 Asterfusion 超低时延以太网解决方案。

最终，天翼云基于其自研存储引擎LAVA发布了的X系列云硬盘搭配上星融元全球超低时延交换机形成极具优势的分布式存储解决方案，在性能、可靠性、扩展性、开放性四方面均取得了重大技术突破——“百万IOPS”，“百微秒时延”，性能容量“按需扩展”，满足用户开放网络需求。

低时延、大规模分布式存储网络便捷业务上云用户管理

低时延无损：构建零丢包以太网

TCP协议栈在接收发送报文时，内核需要做多次上下文的切换，每次切换需要耗费5-10微秒。另外还需要至少三次的数据拷贝和依赖CPU进行协议工作，这导致仅仅协议上处理就会带来数10微秒的固定时延，同时增加CPU的负载。

CX664D-N 64*200G高密度大带宽交换机凭借全球最低时延——400ns时延与RDMA—RoCEv2技术，配合天翼云X系列云盘全自研L-RDMA协议减少了GPU通信过程中的数据复制次数，从而大幅降低CPU开销，提升数据传输效率。同时，为了避免网络丢包对分布式存储的影响，Asterfusion云网设备支持“一键无损”方案，通过一键式配置不但支持PFC、ECN等无损网络协议构建低时延零丢包以太网络，还能减轻用户运维复杂度。

设备高可靠：业务持续不中断

为避免部件故障或设备版本升级造成业务中断，Asterfusion针对设备的关键部件，如电源、风扇等，均进行了冗余备份，单个部件发生故障不影响业务的稳定性和连续性，所有模块支持热插拔，故障部件替换轻松便捷无需开关机。

解决方案上，与过去用户网络采用堆叠，每次设备进行版本升级或者故障替换时业务都会中断的情况不同，Asterfusion“去堆叠”技术提供的两种接入方式（MC-LAG、ARP to HOST）满足用户不同需求下的灵活选择，在网络侧提高系统可靠性和业务持续性。

灵活易扩展：性能容量“按需扩展”

中国近年来整体云服务市场规模持续增大，给天翼云的存储扩展性提出高要求，Asterfusion云网络的整体架构设计完全遵循了业界最领先公司广泛部署和使用的Scale-wide架构（按需自由扩展架构），将原本封闭在大型机架式网络设备中的CLOS交换架构开放到网络拓扑设计当中，帮助用户在只采用盒式网络设备的前提下仍然能够搭建出大规模的扁平化云网络，使用户在享受高性能、按需自由扩展的同时，最大限度地降低云网络的TCO。

合作共赢：共享开放生态

天翼云基于自身核心优势，与产业链上下游合作伙伴加强合作，不断丰富产业生态，在网络的选择上也同样如此。区别于传统黑盒交换机，Asterfusion云网交换机硬件基于开源开放OCP标准，以开源开放的SONiC、SAI为内核构建的网络操作系统，打破传统黑盒网络设备软硬件一体的封闭架构，帮助用户解决传统黑盒网络设备的封闭性、锁定性问题，满足用户以及业务对网络开放的需求。

作为中国TOP3云计算服务市场的重要参与者之一，天翼云依托自身技术创新优势，凭借众多政企客户群，正持续助推更多政府机构和企业实现数字化转型。天翼云 “百万IOPS”X系列云硬盘采用了Asterfusion的CX664D-N交换机，为全网200万+客户的业务上云提供优性能、高可靠、易扩展、强开放的网络基础设施环境，最终将惠及用户，更加安心上云。

企业数字化转型推动社会经济发展已然成为时代之大势，天翼云顺势而为， “百万IOPS”X系列云硬盘的公测将有利于企业加快信息化、数字化、智能化转型，有助于企业降本增效。未来，天翼云将持续以领先算力服务助推数字经济发展。

相关阅读：开源网络操作系统AsterNOS：星融元开放网络背后的的力量

关注星融元

业务背景

在私有云的业务场景中，常见的通信中包含了同VPC内虚机互访、不同VPC之间的虚机互访、VPC访问Underlay资源、VPC访问Internet资源、VPC提供服务，被Internet访问、VPC与专线网络之间互访等；实际应用中，大多数云业务通信场景都需要依赖安全、NAT、负载等边界设备组合使用来实现，云承载网络中与边界设备对接的Leaf节点我们通常定义为Border角色。

云网络中的Border角色如何与防火墙、负载均衡为典型的边界设备进行对接实现不同VPC租户业务需求，是私有云网络设计中一个关键问题。

Border边界网络对接方案简介

在星融元私有云网络解决方案中，CX-N系列交换机作为Border角色支持VLAN与VXLAN之间、VXLAN与VXLAN之间的映射和封装转换；采用“共享VTEP+物理横联设计”和“不同VTEP+无横连设计”两种基础架构设计，并可以进行混合部署使用；

客户案例

01、客户需求

• 承载网的Border设备与边界两台防火墙、边界出口路由器旁挂对接，同时保证设备和链路层面的高可用性；
• 承载网的Border设备同时下挂OSS存储，作为OSS存储的接入网关。

02、Border组网架构设计

物理连接：两台Border与两台防火墙、两台边界路由器做Full Mesh全互联，两台Border之间建立横联线路，同时OSS主机链路聚合双上行对接两台Border设备。

<Border部署方案一>

两台Border共享同一个VTEP地址，并组建MC-LAG系统，设置Monitor-Link上行口联动所有下行端口，Border端口放通相关的业务VLAN,并在设备内部创建VLAN虚接口作为面向防火墙和边界路由器的分布式互联地址、以及作为OSS主机的分布式网关。（该方案适用于防火墙双主、部分主备场景以及采用静态路由方式的对接场景）

<Border部署方案二>

两台Border配置不同的VTEP地址，利用物理三层接口以及三层子接口和边界防火墙和边界路由器对接；同时组建MC-LAG系统，设置Monitor-Link上行口联动与OSS主机相连的下行端口，Border与OSS主机相连端口放通OSS业务VLAN,并在设备内部创建VLAN虚接口作为OSS主机的分布式网关。（该方案适用于防火墙主备场景以及采用动态路由协议的对接场景）

VPC承载：

Border建立L3 VXLAN与VLAN的映射关系，同一对L3 VXLAN和VLAN对应的L3VNI虚接口和VLAN虚接口会绑定至一个相同的VRF，该VRF承载并隔离对应的VPC流量；

流量转发：

Border在对应的VRF中将VXLAN报文重新封装成VLAN报文发送至防火墙，防火墙依据VLAN tag识别此报文所属VPC；Border从防火墙收到VLAN报文，匹配云内主机路由条目将带有VLAN封装的报文按照映射关系重新封装成VXLAN报文通过VXLAN隧道发送至云内的Leaf节点；对于VM虚机访问Border下挂OSS资源的流量，Border会在本地做跨VRF的转发进行实现。

关注星融元

前言：算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力，主要通过算力基础设施向社会提供服务。算力基础设施对于实现数字化转型、培育未来产业，以及形成经济发展新动能等方面具有重要作用。

其中，提升算力的高效运载能力是一大重点建设任务，行动计划中指出了如下几方面的具体要求：

一是优化算力高效运载质量。探索构建布局合理、泛在连接、灵活高效的算力互联网。增强异构算力与网络的融合能力，实现计算、存储的高效应用；促进数据处理器（DPU）、无损网络等技术的研发与应用。

二是强化算力接入网络能力。逐步实现城区重要算力基础设施间时延不高于1ms，大力提升边缘节点灵活高效的入算能力。

三是提升枢纽网络传输效率。推动算力网络国家枢纽节点直连网络骨干节点，逐步建成集群间一跳直达链路，国家枢纽节点内重要算力基础设施间时延不高于5ms。

四是探索算力协同调度机制。鼓励各方探索打造多层次算力调度框架体系，探索实现算力的一体化调度应用。

星融元系列化产品方案，助力算力基础设施建设

星融元作为新一代云网络架构的解决方案提供商，致力于为云时代的IT基础设施提供软硬解耦、软件开源、硬件开放、芯片可编程的全栈网络解决方案，为私有云、存储、安全、高性能计算、智慧园区等生态伙伴提供中立开放、功能易扩展的网络连接能力，并以应用场景为中心智能优化运维成本。

全以太超低时延承载网，实现数据中心高性能无损传输

星融元CX-N系列云交换机构建的无损以太网络达到了InfiniBand专用交换机的性能，且功能扩展升级和兼容性有显著优势，供货周期更短。

• 10G-400G全速率下的超低时延转发，Port to Port最低400ns
• 支持RoCEv2，降低传输协议时延
• 支持 PFC / ECN / ETS / DCBX 数据中心高级特性

相关阅读：
HPC场景下CX-N交换机对比IB交换机时延测试报告
【客户案例】AIGC承载网设计实践

高性能DPU算力资源池，降低机房建设和能耗成本50%

Helium DPU资源池解决方案采用标准服务器+多Helium DPU卡的形式为客户打造高性能算力资源池。

• DPU卡卸载网络数据转发及大部分计算类业务，服务器CPU只需完成控制面以及实时性要求不高的复杂计算业务
• 多块DPU网卡存储的数据通过PCIe共享到同一台服务器，实现资源共享
• 所有资源支持云管平台纳管，完成计算、网络资源的统一管理和按需分配

相关阅读：基于开源DPU资源池，破解边缘云算力扩展难题

可编程算网融合硬件平台，加速边界网关创新应用开发

借助可编程ASIC提供的大表项资源和线速转发能力，可扩展的DPU模块的高性能处理器+大容量内存，该平台可灵活应对多场景下的网络业务功能需求（例如数据中心互联的云边界网关、NFV网关、分布式INT等等），大大缩短定制化开发周期。

全流量采集网，提供Pbps级别的网络可视化能力

随着网络规模的扩展，传统网络监测系统的分散部署模式正逐渐被抛弃，取而代之的是网络架构上的全新升级——通过建设统一的流量采集网，实现流量的统一采集、统一处理、统一分发。

相关阅读：新型数据中心建设中的“第三张网”——独立的流量采集网

开放云网架构解决方案提供商

关注星融元

故事是这样的

甲方爸爸李工是一名存储行业资深的网络工程师，多年的工作经验让他在服务器上玩得起飞，交换机方面，平时使用的多是 IB 交换机，只会插插线。自从发现IB交换机越用越不爽之后，转向了RoCEv2低时延无损以太网解决方案。但是对接过程中李工也发现，无损以太网络香是真香，但是配置方面也真心不太懂，简直一个大写的懵。

星融元的“一键RoCE”

RoCEv2技术支持在以太网上承载RDMA协议，实现RDMA over Ethernet，但需要网络侧支持无损以太网。目前，星融元网络操作系统AsterNOS使用标准的PFC+ECN来实现无损以太网。在以太网交换机上配置PFC、ECN功能，需要用户熟悉QoS机制、配置逻辑和相关命令行。
对此，星融元针对RoCEv2场景的配置需求进行设计规划，推出一键RoCE,实现了业务级的命令行封装，以达到RoCEv2场景下最佳的可维护性和可用性。

继提供高性价比低时延交换机产品替代方案后，在产品的使用和运维上，星融元进行了网络部署的升级，降低工程师们的运维复杂度，让用户聚焦于业务。

一键启用PFC和ECN，完成无损网络配置

没有一键RoCE配置命令行时，一线实施和运维工程师配置无损网络或者取消配置，需要分别修改PFC和ECN的配置。通常情况下，要配置PFC和ECN，需要工程师理解QoS的配置逻辑和步骤，这对工程师有着一定的网络知识要求。
有了一键RoCE配置命令行后，工程师可以通过一条命令行完成无损网络配置，不需要再使用原子级的命令行，对PFC和ECN进行配置。

无损网络的配置和运行状态，集中展示

在以前运维无损网络时，如果想要进行网络异常定位或者运行状态检查，通常需要到不同命令行视图下进行执行多次show命令，以确定当前的队列映射关系、Buffer使用情况、PFC和ECN在哪个队列中被启用、各种门限的数值、PFC和ECN所在队列的吞吐量、Pasue和CNP报文的触发次数等信息。

现在工程师可以通过show roce命令打印全局的RoCE信息、端口的RoCE信息和计数，以及对RoCE相关计数进行统一清零。

不同业务场景下的参数调优

通过一键RoCE命令行，可以快速配置无损网络，当业务场景不满足于设备提供的默认模板配置时，工程师仍然可以通过qos命令行精细化地调试PFC和ECN的各项参数，让当前业务场景的性能达到最优。

一键RoCE的可应用场景

简化高性能计算和存储网络的部署

一键RoCE的使用对于需要高性能网络传输的应用程序非常有帮助，如高性能计算、存储、大数据分析和人工智能、云计算等领域。它可以提供比传统以太网更高的吞吐量和更低的延迟，从而为这些领域的应用程序提供更高的性能和效率。

高性能计算和存储业务场景中，工程师通常对业务非常熟悉，集中精力在服务器侧的配置调优，对于网络，通常提出的要求是“需要一张高可用、高性能的无损网络”。针对这种情况，高性能计算和存储工程师可以通过一键RoCE命令行，快速完成无损网络配置部署。

这种业务级命令行的封装，将多个原子级命令行进行组合，简化配置流程，节省工程师的时间和精力去完成更有价值的业务侧优化。

定位无损网络的瓶颈和故障

show roce业务级命令行将多个原子级命令行组合成一个语义完整的业务命令，将多个命令的输出信息整合在一起。
在排查网络故障时，可以使用show roce一次性查询和无损网络相关的所有配置信息、运行状态，而不需要逐个查询原子级命令行。从而简化故障排除流程，提高故障排除效率。

图片未来，随着云计算、大数据和AIGC行业的不断发展，对高性能网络传输技术的需求将会越来越大。一键RoCE作为一种快速部署RDMA网络的解决方案，将会在未来得到更广泛的应用。

关注星融元

云数据中心里，为什么需要DCI互通？

云化数据中心，网络资源通过虚拟化技术形成资源池，实现业务与物理网络解耦，通过网络虚拟化，物理网络资源可以被分成多个虚拟网络资源，从而提高网络资源的使用效率。

虚拟网络资源根据业务需求进行分配和调度，可以更好地利用网络资源。此外，虚拟网络资源的快速部署和迁移可以提高业务的灵活性和可用性。

伴随着用户业务规模的扩大和范围的增加，用户可能需要在多个地理位置建立数据中心以满足业务需求。这些数据中心需要进行互联和资源共享。一些应用程序可能需要在多个数据中心之间进行迁移、复制、备份等操作，而另一些应用程序可能需要快速在不同的数据中心之间进行负载均衡和容灾切换，总结下来具体诉求如下：

业务跨DC部署

客户某些业务可能是跨DC部署的，比如客户可能会针对某大型网站划一个独立的VPC，这个VPC可能会跨多个DC，所以在这个VPC内部流量就有跨Fabric互通的需求，同时路由和防火墙需要进行隔离。

业务之间的互通

客户针对不同的业务会划分不同的VPC，不同VPC可能会部署在不同的DC中，业务之间如果有互通的需求，就要求VPC之间能跨DC进行L3互通（VPC之间互通一般为L3互通，如果需要L2互通则需要将VM划分到同一个VPC中）。

业务容灾/多活

业务容灾和多活主要分为两种方式，首先针对比较新的业务系统，客户自己可以通过GSLB（全局负载均衡）的方式进行容灾和多活，具体方式是两个DC同时部署相同的业务，业务相同同时IP地址不同，这样两套系统可以进行容灾处理。这种方式对网络没有什么特别的诉求，但是针对比较旧的一些系统，会要求迁移到容灾中心后，IP地址不能变化，这种情况下，就需要支持跨DC的二层互通。

Multi-Fabric跨DC解决方案解锁无限可能

为了解决这些问题，星融元推出了跨DC解决方案Multi-Fabric使用VXLAN、BGP-EVPN等技术对L2和L3网络进行扩展。这样，用户的应用程序就可以在多个数据中心之间进行迁移、负载均衡、网络容灾切换等操作，而无需担心网络问题，帮助管理多个数据中心之间的网络和资源，提高业务的可扩展性和可靠性。

Multi-Fabric方案简介

使用Multi-Fabric方式的DCI互通，如图所示，在本方案中：

• DCI Leaf间推荐使用eBGP建立VXLAN隧道，在DC内使用eBGP建立VXLAN隧道。
• 如果同时有DCI L2&L3互通需求时，DCI Leaf采用双活部署，这样可以使DCI Leaf专注于DCI网络和数据中心网络之间的数据转发，而Border Leaf专注于数据中心网络和外部网络之间的数据转发。
• L2互通需求：DCI之间有L2互通需求，需要手动开启L2互通功能，建议DCI Leaf分设独立部署。为了避免广播风暴、MAC地址表项限制、环路问题，在没有L2互通需求时L2互通功能默认未开启。

物理网络说明

DCI互联线路

• 直连链路（裸光纤或者DWDM）；
• 企业自有的或者电信运营商的单租户/多租户layer 3 WAN服务；

PS：建议使用能够通过EVPN自动建立VXLAN隧道的链路，类似光纤互联网（Fiber Internet） 等无法运行EVPN的线路，不推荐使用。

Underlay路由设计

Multi-Fabric方案通过在DCI Leaf之间建立eBGP对等体发布Overlay路由，创建VXLAN隧道，对中间Inter-Site Network（站点间网络）的要求只需能够打通Underlay路由，无需感知Overlay网络。DCI Leaf通过Inter-Site Network传递Underlay路由：

Underlay网络设计说明

• Fabric内、DCI Leaf间的Underlay路由推荐使用eBGP，三层路由可达即可；
• 同一个DCI Leaf组VTEP IP相同；
• 同一个DCI Leaf组BGP的Router-ID不同；
• DCI Leaf双活设备组内部两台设备之间通过三层互联，跑动态路由协议；

Overlay路由设计

通过建立三条VXLAN隧道可以支持跨数据中心L2互通和L3互通:

• L2互通时，不同的二层通过不同的二层VNI进行区分，通过RD/RT进行喜好选择；
• L3互通时，不同VPC通过VNI进行隔离，保证跨数据中心VM之间的通信和隔离，通过VPC中RD/RT值进行路由喜好选择。

Overlay网络设计说明

• Fabric内、DCI Leaf间的Overlay路由推荐使用eBGP EVPN；
• DCI Leaf设备上通过BGP EVPN对等体所属的水平分割组，避免BUM流量转发出现环路（DCI Leaf节点收到BUM流量后，不会再转发给属于同一水平分割组的设备，避免因重生成而产生的环路）以及Fabric内重复路由；
• DCI Leaf设备上根据网络需求开启L2互通、L3互通功能，进行BGP EVPN路由重生成；

DCI Leaf路由通告

• Type3路由通告，该类型路由在VXLAN控制平面中主要用于VTEP的自动发现和VXLAN隧道的动态建立。作为BGP EVPN对等体的VTEP，通过Type3路由互相传递二层VNI和VTEP IP地址信息。创建一个头端复制表，用于后续BUM报文在Fabric内部及Fabric之间转发。
• 租户VPC互通的网段路由，通过路由重分发功能将BGP EVPN Type5前缀路由从源端站点的DCI Leaf扩散给目的端站点的DCI Leaf。
• 租户VPC发布的主机路由（Subnet跨Fabric延展场景），通过BGP EVPN Type2 IRB类型路由发布32位主机路由，通过route-map使用明细路由进行引流。

DCI Leaf MAC地址通告

• 主机MAC地址通告，要实现同子网主机的二层互访，两端VTEP需要相互学习主机MAC。作为BGP EVPN对等体的VTEP之间通过MAC重分发功能交换Type2 MAC路由，可以通过相互通告已经获取到的主机MAC。