标签： 其他

关注星融元

背景与需求

客户的IT建设面临着以下几个问题：

• 随着公司规模日趋发展壮大，目前已经有北京、西安、苏州、武汉、长沙等多个研发中心，研发队伍不断壮大，截止2021年研发人员数量已经达到120多人。大多数研发仍然在个人PC上进行开发，涉及到交换机操作系统的编译，一次编译需要好几个小时，开发效率很低。
• 公司目前在公有云和公司内部机房部署了不少应用，如BUG管理平台、文档管理平台、源码管理平台、企业官方网站、ERP系统、网盘系统，这些应用分散，占用的资源大多还需要额外付费，维护起来也比较麻烦。

针对以上问题，客户决定建设一套自己的私有云网络环境。通过私有云来分配较高配置的虚机满足研发的快速编译需求；通过将企业的IT应用迁移到私有云来节省不必要的开支，并实现统一运维和管理；

Asterfusion解决方案

私有云分成两个区域，一个区域为线上使用环境，主要满足研发虚机分配和客户IT应用部署的需求；

另外一个区域为测试演示环境，主要满足产品测试需求和客户演示需求。同时两个区域相互可达。

客户私有云共分为两期实现：

• 一期线上使用环境主要满足研发虚机使用需求，迁移部分应用，测试演示环境满足基本的组网测试需求。
• 二期主要扩容测试环境，通过加入更多的星融元网络设备，完成更多虚机支撑、业务覆盖全面的的数据中心组网环境。

图1：客户私有云一期网络拓扑图

图1为私有云一期网络拓扑，CX532 设备做Spine，CX306 设备做Leaf

• 线上使用区域：２台Spine，2台Leaf，15台服务器。
• 测试演示区域：２台Spine，4台Leaf，10台服务器。

1RU的标准机身，Asterfusion CX5系列下一代云交换机可以提供32个100G/40G高速以太网接口，向下接入服务器和/或向上连接到骨干层的Spine交换机。其具体款型：CX532P整机交换容量为6.4Tbps。

在1RU的标准空间内，Asterfusion CX3系列下一代云交换机可以提供48个10G或25G以太网接口，向下接入服务器，同时提供6个100G/40G高速以太网接口，向上连接到骨干层的Spine交换机。其具体款型：CX306P-48S和CX306P-48T的整机交换容量为2.16Tbps，CX306P-48Y的整机交换容量为3.6Tbps。

无论是线上区域还是测试区域，Spine和Leaf的端口密度都完全满足需求，并为后期扩容提供冗余空间。

在本案例中主要用到了CX306支持的以下高级功能：

• 最大支持64路基于权重的ECMP（实现流量的负载均衡，保证网络转发的高性能）。
• 支持EVPN，可实现VXLAN隧道自动建立、虚拟网络路由动态传播 、分布式网关、非对称IRB、对称IRB。
• 支持LAG/LACP，最大256个聚合组，每聚合组最大128个接口。
• 支持静态路由 / BGP / MP-BGP。
• 支持命令行 / WebUI / Controller / 集中管理 / REST API。

针对一期测试设备种类较少，覆盖功能不全面，客户私有云二期在测试演示环境又增加了一些网络设备。主要增加了防火墙和border-leaf边缘出口交换机。

图2：私有云二期测试演示环境扩容后网络拓扑图

图2是客户私有云二期演示环境扩容后的网络拓扑图。X532做Spine，X308、X312、X306做Leaf。服务器4台部署Openstack云平台，2台做INT网络监测方面的测试，1台做Firewall、其余3台做裸金属。

二期主要设备类型：Spine -X532，Leaf-X308，Leaf-X312，Leaf-X306

测试演示环境扩容后能够覆盖更多的网络设备，能够演示更多的网络功能。

另外，星融元的网络设备都可以通过星融元控制器AFC来进行统一配置管理。

图3：星融AFC控制器主界面

AFC（星融元控制器）覆盖主要功能：

• 整网拓扑自动绘制，拓扑中展示流量的来源、去向，拓扑中带宽占比TOP10设备展示
• 整网输入输入流量建模并AI分析
• 整网设备数量、类型展现，整网端口使用情况、整网实时输入输出流量折线图概览、历史峰值、平均值
• 整网规则余量、整网策略（融合规则）配置，支持搜索某一融合策略并显示该策略途径设备的拓扑
• 支持RestAPI导出第三方接口
• 支持快照功能，包括流量快照、拓扑快照、策略快照等
• 支持AAA、TACACS认证、用户管理、日志、告警、系统设置
• 支持设备批量升级、配置导入导出
• 支持登录设备自带WEB
• X86服务器部署、计划最多支持100台设备的管理

客户的私有云管平台线上环境采用平安自研的云管平台PA_Stack。如下图4是PA_Stack的运营管理员主界面，可以看到目前的虚机资源分配情况。

图4：星融私有云管平台主界面

客户私有云管平台测试演示环境采用开源的OpenStack（Rocky版本），同时星融元基于该版本开发了Networking-AFC插件。通过将L2/L3网络功能(网络overlay)卸载至CX交换机上，提高云环境下计算节点的性能。插件依赖于AFC软件，通过该软件所提供接口配置CX交换机。

特色亮点与客户价值

高密度的高速接口设计

在1RU的标准空间内CX3系列下一代云交换机可同时交付48个10G/25G以太网端口和6个100G/40G高速以太网端口，最大程度上提升了空间、能源的使用效率，降低TCO（总拥有成本）的同时获得更高的ROI（投资回报）。

按需自由扩展的扁平化云网络

在 Scale-wide 的云网络中，不需要再为价格高昂的框式 Spine 交换机支付超额的成本，并且将网络的规划、部署、调整、优化、扩展的主动权牢牢掌握在自己手中。CX系列构建的扁平云网络极大地简化了云网络基础架构的复杂性，同时具备超强的横向扩展能力，使云计算 Pay-as-you-grow 的基本理念在云网络中得以体现。

转发平面集成线速的NFV

在可编程交换芯片的支持下，星融元 创造性地将云计算常用的NFV（网络功能虚拟化）特性在CX系列的转发平面中编程实现，从而进一步提升了云网络的使用效率。CX系列云交换机目前支持的NFV功能包括：四层SLB（服务器负载均衡）、NAT（网络地址转换）、DDoS（分布式拒绝服务）攻击流量识别与统计。

易用、多样的网络操作系统支撑二次开发

基于对网络应用的深刻理解，星融元在提供的网络操作系统AsterNOS之上开发了从操作系统内核适配、驱动适配、接口适配、虚拟化网络协议、高可靠控制协议等多种功能特性，以改善开源的SONiC/SAI和Stratum/gNMI/gNOI的可用性、易用性。

与云计算无缝融合的云网络

运行在每一台CX系列云交换机上的 AsterNOS 是星融元基于纯粹的 SDN 理念为云计算时代设计开发的一款开放、智能、易用、高性能的网络操作系统。Asteria Fabric Controller (AFC) 是星融为云计算环境设计开发的Cloud SDN Controller，是一个面向云中业务与应用的Cloud SDN 平台。

关注星融元

随着数据流量的不断增长，特别是大数据时代到来后，各行业业务产生的流量激增，数据中心面临着来自应用和数据的网络压力也在“狂飙”。数据中心亟待解决数据中心之间的海量数据高速迁移问题，消除数据中心间的带宽瓶颈，大幅提升数据中心间的带宽利用率等问题。大数据的时代来临，数据中心网络重要性日益显现。

构建一个智能开放、超高性能、符合业务需求的数据中心网络对支撑业务的发展尤为重要，星融元基于多年在开放网络领域的积累，能够为不同用户构建不同规模不够特性的数据中心网络。

构建中小规模的数据中心

在数据中心规模不大，但对大缓存或超低时延有强烈需求的场景中，如提供视频、搜索服务等场景对大缓存有要求，而提供高频交易、AI等高性能计算应用对超低时延有要求，可使用CX564P-N。

和CX308P-48Y-N构建Spine-Leaf扁平化组网，极大地简化了云网络基础架构的复杂性，同时具备超强的横向扩展能力，大幅度降低云网络的TCO（Total Cost of Ownership），使云计算Pay-as-you-grow的基本理念在云网络中得以体现。

该应用的组网使用CX564作为Spine层、CX308P-48Y-N作为Leaf层的两层架构搭建按需自由扩展的扁平化云数据中心网络，两层之间全部采用100G进行互联，采用25G光纤连接具备25G接口的服务器，可实现3072台服务器的接入。

图1: 中小规模数据中心的典型组网

如上图，具体的数量与交换能力分析如下：

构建超大规模、高性价比的数据中心

随着视频、社交网络、大数据分析等数据密集型业务的迅猛发展，云数据中心的流量呈现出指数级的增长态势，势必要求服务器的部署数量达到数万级的规模，对网络也提出了超大规模建设的需求。如图所示，仅通过低成本的1U盒式设备就可以满足大规模的组网需求，用户不需要再为价格高昂的框式核心交换机支付超额的成本，并且将网络的规划、部署、调整、优化、扩展的主动权牢牢掌握在自己手中。

该应用的组网使用CX532P-N作为Fabric层和Spine层、CX308P-48Y-N作为Leaf层、采用三层CLOS架构搭建超大规模的云数据中心网络，各层之间全部采用100G进行互联，采用25G光纤连接具备25G或者10G接口的服务器，可实现24576台服务器的接入。

图2: 超大规模、高性价比数据中心的典型组网

如上图，具体的数量与交换能力分析如下：

构建超低时延无损以太网承载分布式存储集群

云计算、大数据、物联网以及人工智能，这些热议的技术话题，已逐步落地并大规模应用推广。在这样的技术背景下，数据规模将会持续保持着爆炸式的增长趋势，因此对大容量存储的需求也在急剧增加。随着高可靠性、高扩展性、高性能的全闪分布式存储的普及，许多对存储性能要求比较高的业务场景也开始使用分布式存储。但是，想要将SSD的性能完全发挥出来，不仅需要在存储软件层面进行优化，还需要一张低时延、零丢包、高性能的存储网络。

在分布式存储集群部署场景中，用户可使用CX-N系列云交换机根据上层业务需求的不同，选择进行单归或双归接入，存储后端网将单独使用一张物理网，以保证分布式存储集群能够快速无阻塞地完成多副本同步、故障后数据重建等任务，而存储前端网和业务网则共用一张物理网。通过CX-N系列云交换机，配合具有RoCEv2功能网卡对整网流量进行统一规划，构建一张超低时延无损以太网承载分布式存储集群，能够有效的提高用户网络效率，进一步提升分布式存储的性能和效率。

图3: 存算分离场景的网络架构

构建大规模高性能计算低时延无损以太网络

伴随着 5G、大数据、物联网、AI 等新技术融入人们生活的方方面面，可以预见，在未来二三十年间人类将迈入基于数字世界的万物感知、万物互联、万物智能的智能社会。数据中心算力成为新的生产力，数据中心目标也从原有的资源规模向算力规模转变，算力中心的概念被业界广泛接受。数据中心向算力中心演进，网络是数据中心大算力的重要组成部分，提升网络性能，可显著改进数据中心算力能效比。为了满足大算力的需求，多个计算机协同工作，采用十台、百台，甚至成千上万台计算机“并行工作”。各个计算机之间需要互相通信，并对任务进行协同处理。因此，随着业务需求的变化用户对互联网络性能要求越来越高，计算和网络深度融合成为趋势，这就需要建立一套对时延、带宽等有着严格要求的高速网络。

CX-N系列云交换机采用了标准以太网协议和开放软硬件技术，支持无损以太网技术和网络无损防拥塞技术，充分满足用户在HPC应用下对网络带宽、时延等的高要求，为用户构建大规模高性能低时延的无损网络。

图4: 高性能计算无损以太网

构建承载多业务的融合增强型以太网

CX-N系列云交换机可为云数据中心构建超低时延、零丢包、超高性能、业务可视的融合增强型以太网CEE，承载RDMA的以太网能同时支撑高性能计算业务、存储业务和普通业务的路由转发，在保证业务需求的同时，不但能够帮助用户简化网络复杂度，降低用户运维难度，还能帮助用户有效降低TCO的同时获得更高的ROI。

图5: 承载多业务的融合增强型以太网典型组网

关注星融元

网络的发展好像在各方面都是滞后于计算和存储，时延方面也不例外，网络传输时延高，逐渐成为了数据中心高性能的瓶颈。

数据中心进行高性能分布式并高性能计算时的过程会产生数据流，形成了占据70%流量的东西向流量。这些流量，一般为通过TCP/IP网络传输。所以如果能够提升服务器之间的TCP/IP传输速率，，那么数据中心的性能自然也会跟着提升。

于是，RDMA的作用开始发挥了，并广泛应用于高性能（HPC）科学计算中。随着数据中心高带宽、低时延的发展需求，RDMA也开始逐渐应用于某些要求数据中心具备高性能的场景中。

RDMA（ Remote Direct Memory Access，远程直接地址访问技术 ）是一种新的内存访问技术，RDMA将服务器应用数据直接由内存传输到智能网卡（固化RDMA协议），由智能网卡硬件完成RDMA传输报文封装，这样就可以让服务器直接高速读写其他服务器的内存数据，而不需要经过操作系统/CPU耗时的处理。具体看如下：

RDMA的内核旁路机制允许应用与网卡之间的直接数据读写，规避了TCP/IP的限制，将协议栈时延降低到接近1us。RDMA的内存零拷贝机制，无需在应用程序内存和操作系统中的数据缓冲区之间复制数据。这样的传输不需要CPU、缓存或上下文切换器完成任何工作，大幅度降低了消息传输中的处理延迟，同时传输与其他系统操作并行进行，提高了网络传输的性能。

图1：传统模式和RDMA模式的对比

通过对比传统模式和RDMA模式对发送和接收数据的处理过程，RDMA技术最大的突破在于给数据中心通信架构带来了低时延、超低的CPU和内存资源占用率等特性。

低时延主要体现在RDMA的零拷贝网络和内核旁路机制。零拷贝网络网卡可以直接与应用内存相互传输数据，消除了在应用内存与内核内存之间的数据复制操作，使传输延迟显著降低。内核内存旁路机制使应用程序无需执行内核内存调用就可向网卡发送命令。在不需要任何内核内存参与的条件下，RDMA请求从用户空间发送到本地网卡，再通过网络发送给远程网卡，这就减少了在处理网络传输流时内核内存空间与用户空间之间环境切换的次数，降低了网络时延。

超低CPU和内存资源占用率主要体现在应用程序可以直接访问远程内存，而不占用远程服务器中的任何CPU资源，远程CPU中的缓存资源也不会被访问的内容填满，服务器可以将几乎100%的CPU资源和内存资源提供给计算或其他的服务，节省了服务器资源占用的同时，提高了服务器数据处理带宽。

基于对“HPC高性能计算的网络需求”和“RDMA技术”的分析和理解，星融元Asterfusion推出了CX-N系列超低时延云交换机

使用RoCEv2，降低传输协议时延

目前RDMA的网络层协议有三种选择，分别是InfiniBand、iWarp（internet Wide Area RDMA Protocol）、RoCE（RDMA over Converged Ethernet）。

RoCE，允许应用通过以太网实现远程内存访问的网络协议，也是由IBTA提出，是将RDMA技术运用到以太网上的协议。同样支持在标准以太网交换机上使用RDMA，只需要支持RoCE的特殊网卡，网络硬件侧无特殊要求。目前RoCE有两个协议版本，RoCEv1和RoCEv2，RoCEv2是一种网络层协议，可以实现路由功能，允许不同广播域下的主机通过三层访问，是基于UDP协议封装的。但由于RDMA对丢包敏感的特点，而传统以太网又是尽力而为存在丢包问题，所以需要交换机支持无损以太网。

在这几类RDMA网络中，RoCEv2的性能较好、部署成本低。星融元Asterfusion CX-N系列云交换机搭建的超低时延无损以太网能够很好地承载RoCEv2，并基于RoCEv2打造一张低时延、零丢包、高性能的HPC高性能计算网络。

图2：网络融合大趋势下的RDMA

超低时延交换芯片，降低网络转发时延

星融元Asterfusion CX-N系列云交换机，具备业界领先的超低时延能力，可满足高性能计算三大典型场景的低时延网络的需求以及对紧耦合场景中“对于各计算节点间彼此工作的协调、计算的同步以及信息的高速传输有很强的依赖性”提出的超低时延需求。使用 CX-N系列云交换机搭建的高性能计算网络，可大幅降低业务的处理时延，提升高性能计算性能。

使用PFC高优先级队列，提供无损网络

PFC是暂停机制的一种增强，PFC允许在一条以太网链路上创建8个虚拟通道，为每条虚拟通道指定一个优先等级并分配专用的资源（如缓存区、队列等等），允许单独暂停和重启其中任意一条虚拟通道而不影响其他虚拟通道流量的传输，保证其它虚拟通道的流量无中断通过。这一方法使网络能够为单个虚拟链路创建无丢包类别的服务，使其能够与同一接口上的其它流量类型共存。

图3：PFC的工作机制

使用ECN拥塞控制算法，消除网络拥塞

ECN（Explicit Congestion Notification，显式拥塞通知）是构建无损以太网的重要手段，能够提供端到端的流量控制。通过使用ECN功能，网络设备一旦检测到出现了拥塞，会在数据包的IP头部ECN域进行标记。被ECN标记过的数据包到达它们原本要到达的目的地时，拥塞通知就会被反馈给流量发送端，流量发送端再通过对有问题的网络数据包进行限速来回应拥塞通知。从而降低网络延迟与抖动，进而提升高性能计算集群的性能。

图4：ECN的工作机制

1. 发送端服务器发送IP报文标记ECN。
2. 交换机在队列拥塞的情况下收到该报文，修改报文ECN字段并转发。
3. 接收端服务器收到被标记的拥塞报文，正常处理该报文。
4. 接收端产生拥塞通告，周期发送CNP（Congestion Notification Packets）报文，要求报文不能被网络丢弃。
5. 交换机收到CNP报文后正常转发该报文。
6. 发送服务器收到被标记的CNP报文，解析后使用对应的数据流限速算法进行限速。