标签： 科普-数据中心

什么是分布式机框DDC？

DDC，Disaggregated Distributed Chassis的概念指使用若干个低功耗盒式设备组成的集群替换框式设备业务线卡和网板等硬件单元，盒式设备间通过线缆互联形成集群。整个集群通过集中式或者分布式的NOS（网络操作系统）管理，以期突破DCI单框设备性能和功耗瓶颈的问题。

分布式机框方案的优势和劣势？

降低单点功耗：多台低功耗的盒式设备分散部署，解决了功耗集中的问题

传统的机框式交换机随着交换芯片技术的不断提升，交换容量越来越大，端口从 100G 逐步过渡到400G。但随之而来的是交换机功耗的大幅提升，16 槽位的机框交换机，全400G 端口需要4-5 万瓦的电力供应，这对老机房的设备选代升级带来巨大挑战，部分机房机柜电力无法满足需求。

突破框式设备扩容限制：通过多设备集群实现扩容，不受机框尺寸限制；

降低单点功耗：多台低功耗的盒式设备分散部署，解决了功耗集中的问题，降低机柜电力和散热的要求；

提升带宽利用率：与传统的ETH网Hash交换相比，DDC采用信元（Cell）交换，基于Cell进行负载均衡，有助于提升带宽利用率；

缓解丢包：使用设备大缓存能力满足DCI场景高收敛比要求。先通过VOQ（Virtual Output Queue）技术先将网络中接收到的报文分配到不同的虚拟出队列中，再通过Credit通信机制确定接收端有足够的缓存空间后再发送这些报文，从而减少由于出口拥塞带来的丢包。

当然，以上只是有关厂家对外宣称的说法，对此也有业内人士提出了质疑，总结了DDC方案的四大缺陷。

缺陷一：不可靠的设备管控平面

框式设备各部件通过硬件高度集成、可靠性极高的PCIe总线实现控制管理面互联，并设备都使用双主控板设计，确保设备的管控平面高可靠。DDC则使用“坏了就换”的易损模块线缆互联，构筑多设备集群并支撑集群管控平面运行。虽突破了框式设备的规模，但这种不可靠的互联方式给管控面带来了极大风险。两台设备堆叠，异常时会出现脑裂、表项不同步等问题。对于DDC这不可靠的管控平面而言，这种问题更容易发生。

缺陷二：高度复杂的设备NOS

SONiC社区已有基于VOQ架构下的分布式转发机框设计，并持续迭代补充和修改以便于满足对DDC的支持。虽然白盒确实已经有很多落地案例，但“白框”却少有人挑战。构筑一个拉远的“白框”，不仅仅需要考虑集群内多设备的状态、表项信息的同步和管理，还需要考虑到版本升级、回滚、热补丁等多个实际场景在多设备下的系统化实现。DDC对集群的NOS复杂度要求指数级提升，目前业界没有成熟商用案例，存在很大的开发风险。

缺陷三：可维护方案缺失

网络是不可靠的，因此ETH网络做了大量可维护和可定位的特性或工具，比如耳熟能详的INT、MOD。这些工具可以对具体的流进行监控，识别丢包的流特征，从而进行定位排障。但DDC使用的信元仅是报文的一个切片，没有相关IP等五元组信息，无法关联到具体的业务流。DDC一旦出现丢包问题，当前的运维手段无法定位到丢包点，维护方案严重缺失。

缺陷四：成本提升

DDC为突破机框尺寸限制，需要将集群的各设备通过高速的线缆/模块互联；互联成本是远高于框式设备线卡和网板之间通过PCB走线和高速链接器互联，且规模越大互联成本越高。

同时为降低单点功耗集中，通过线缆/模块互联的DDC集群整体功耗高于框式设备。相同一代的芯片，假设DDC集群设备之间用模块互联，集群功耗较框式设备高30%。

AI场景下，DDC方案能否应对？

AI网络支撑的业务其特征是流数量少，单条流的带宽大；同时流量不均匀，经常出现多打一或者多打多的情况（All-to-All和All-Reduce）。所以极易出现流量负载不均、链路利用率低、频繁的流量拥塞导致的丢包等问题，无法充分释放算力。

根据上文，DDC使用信元交换将报文切片成Cells，并根据可达信息采用轮询机制发送，流量负载会较为均衡的分配到每一条链路，实现带宽的充分利用，这可以解决DCN中大小流的问题，仍然存在相当多的缺陷。

缺陷一：硬件要求特定设备，封闭专网不通用

DDC架构中的信元交换和VOQ技术，均依赖特定硬件芯片实现。DCC依赖硬件并通过私有的交换协议构建了一张封闭的专网并不通用，给后续运维以及升级扩容造成困难。

缺陷二：大缓存设计增加网络成本，不适合大规模DCN组网

DDC方案除去高昂的互联成本外，还背负着芯片大缓存的成本负担。DCN网络当前均使用小缓存设备，最大仅64M；而源于DCI场景的DDC方案通常芯片的HBM达到GB以上。

缺陷三：静态时延增加

DDC的大缓存能力将报文缓存，势必增加硬件转发静态时延。同时信元交换，对报文的切片、封装和重组，同样增加网络转发时延。通过测试数据比较，DDC较传统ETH网转发时延增大1.4倍。显然不适应AI计算网络的需求。
缺陷四：DC规模增大，可靠性下降

DDC进入DCN需要满足更大的一个集群，至少要满足一个网络POD。这意味着这个拉远的“框“，各个部件距离更远。那么对于这个集群的管控平面的可靠性、设备网络NOS的同步管理、网络POD级的运维管理要求更高。

全盒式的分布式组网方案

区别于DDC方案本质上仍是一个被拆解的”机框”，星融元的分布式组网则将解耦这件事做得更彻底——依靠高密度、大容量的盒式设备+专利的分布式算法，将禁锢在机箱内的CLOS架构分布到网络中，将网络的规划、部署、调整、优化，这些的主动权交还给用户，大幅降低建设成本，提升可扩展性，轻松实现千万级虚机规模的网络部署

数据面：支持专利的分布式路由算法PICFA，所有交换机能力整合为一个超级的“分布式虚拟路由表”，支持大规模组网扩展

在部署了PICFA的云网络中，所有租户的所有虚拟网络信息被动态、智能、均衡地分布在全网的所有Spine和Leaf交换机上，充分利用所有交换机的所有表项空间，由此，单台网络设备的FIB容量不再成为云的容量限制，虚拟机数量获得量级的提升，服务器计算力被充分利用。

控制面：采用ARP转主机路由的去堆叠方案，将路由分布到全网，Leaf仅保留直接接入VM的MAC表项，降低表项空间要求

Leaf交换机以上均采用L3路由，Leaf交换机仅需保存直接接入的虚机的MAC表项，有效的降低了Leaf交换机上的表项空间要求，也从另一个角度解决了Leaf交换机表项空间不足的问题

管理面：全网统一配置模板，支持ZTP零配置上线，即插即用，提高运维效率，全网分层简化配置，只需两个配置模板（Spine、Leaf）上线即插即用。

星融元全盒式组网在时延敏感网络场景的应用（以AIGC网络为例）

1、接入能力：网络架构横向扩展与存算分离

由于GPU资源本身稀缺的特性，尽可能多的把GPU资源集中在一个统一的资源池里面，将有利于任务的灵活调度，减少AI任务的排队、减少资源碎片的产生、提升GPU的利用率。要组成大规模GPU集群，网络的组网方式需要进行优化

ToR交换机用于和GPU Server直接连接，构成一个Block；ToR交换机向上一层是Leaf交换机，一组ToR交换机和一组Leaf交换机之间实现无阻塞全连接架构，构成一个Pod；不同Pod之间使用Spine交换机连接。

• Block是最小单元，包括256个GPU
• Pod是典型集群规模，包括8个Block，2048个GPU
• 超过2048个GPU，通过Fabric-Pod模式进行扩展

2、高可用设计

可用性问题在GPU集群中要求不高，因为大规模分布式的AI任务基本都是离线的训练任务，网络中断不会对主业务造成直接影响。但是这不意味着网络可用性无需关注，因为一个AI训练持续的时间可能会很长，如果没有中间状态保存的话，网络中断就意味着前面花费时间训练出来的成果全部失效，所使用的GPU资源也全部被浪费。

考虑到AI训练任务对网络拓扑的高度敏感性，某一处网络的中断会导致其他节点网络的非对称，无限增加上层处理的复杂度，因此在设计集群的时候需要考虑中断容忍的网络架构。

存储双上联

由于网络中断，导致一个存储节点下线，可能会在网络内触发大量数据恢复流量，增加网络负载，因此，建议采用双上联设计，确保某个交换机或上联链路中断不会影响存储节点的可用性。

计算单上行

如上文提及，综合性能与成本考虑，计算网暂不考虑双上联设计。

GPU网卡连接方式：同一个GPU Server上的8块卡连接到8个ToR，可以节省机间网络的流量，大部分都聚合在轨道内传输（只经过一级ToR），机间网络的流量大幅减少，冲击概率也明显下降，从而提供了整网性能。但是上面的方案，GPU Server上任何一个网卡或链接中断都会导致网络的非对称，整个GPU Server都会受到影响。所以干脆让所有网卡共享同一个交换机，好处是如果ToR交换机故障，影响到的GPU Server会尽可能少，从整个系统的角度出发，可用性反而提高了。

更多相关资讯：
客户案例：高性能、大规模、高可靠的AIGC承载网络
全以太网超低时延HPC网络方案 – 星融元Asterfusion
全闪分布式存储网络解决方案 – 星融元Asterfusion

本文参考：
http://www.cww.net.cn/article?id=577516
https://www.odcc.org.cn/download/24 DDC 技术白皮书2021

2021 年，云数据中心交换机的销售额以两位数增长，而非云领域的销售额则以中等个位数增长。到 2026 年，全球数据中心交换机市场的价值预计将达到 199 亿美元，年复合增长率为 5.6%。近年来，数据中心交换机市场的云计算部分预计将以几乎是非云计算市场两倍的速度扩张。以下是促成如此强劲的市场预测的主要因素：

• 持续的供应链问题推动了冲动消费
• 各行业数字化转型速度加快
• AI的等新兴业务驱动下，网络基础设施建设进入一轮扩张周期

数据中心交换机市场的美好前景固然带来了巨大的机遇，但在向400G过渡的过程中也面临着挑战。

400G交换机的市场机遇

• 芯片平台的多样性： 芯片多样性是过去几年数据中心行业的主题，这也给半导体巨头 Broadcom 带来了一定的压力。
• 智能设备： 智能设备的技术进步推动了对复杂连接和增强型网络解决方案的需求。预计这一趋势将推动芯片在数据中心服务器中的集成，从而为全球数据中心交换机市场提供利润丰厚的增长机会。

400G交换机的市场挑战

• 数据中心运营成本： 数据中心需要考虑当地的能源价格，因为能源成本在整体运营成本中占很大比重。对于云服务提供商和超大规模数据中心来说，能源成本本身就会令人望而却步。此外，机器维护和人工等额外运营费用也阻碍了市场的扩张。
• 复杂的架构： 由于云计算、服务器虚拟化、计算和存储技术的发展，数据中心架构变得越来越复杂。虽然高性能和更高带宽的数据中心交换机可以处理巨大的工作负载，但在各种架构中实施高带宽解决方案仍面临诸多挑战。
• 此外，在数据中心使用的各种技术之间建立兼容性也变得十分困难，这可能会导致大量额外开支，并阻碍新的部署。

星融元推出的32x400G规格的低时延交换机在公有云、私有云等场景下都有着不俗的性能表现，可为云数据中心多业务融合、高性能计算、大数据分析、高频交易等多种业务场景提供卓越的网络服务。

除了400G规格以外，CX-N系列还有以下型号以供组网选择：

CX-N系列预装的网络操作系统为AsterNOS（基于SONiC），具备高度的功能定制和可扩展性，帮助实现网络运维自动化。对比社区版SONiC，AsterNOS在以下方面做了大量功能补充和增强：

值得一提的是，与MC-LAG 解决方案相比，EVPN Multi-homing不仅能更好地解决可扩展性和流量负载平衡方面的限制，还能提高 VXLAN 接入端的可靠性。

更多有关EVPN Multi-homing的介绍：

MC-LAG还是Multi-Homing？探讨网络通信高可用性的新选择

此外，AsterNOS 完全支持类似 Cisco 的命令行模式，大大降低了运维端的学习成本。

下面是我们在使用 AserNOS 的交换机上演示以 不同的命令行模式（Klish/Bash）配置 VLAN。

欢迎关注微信公众号“星融元Asterfusion”，获取更多技术分享和最新产品动态。

如今，数据中心交换机市场正在向 400G 迁移，主要原因是云计算和云服务的普及推动了对高带宽和低时延的需求，让高性能的交换机得到了更广泛的应用。我们从三个方面进行简单分析。

全球数据的爆炸式增长

数据中心存储着个人消费者、大中小型企业或组织的海量数据，随着互联网的发展，数据量也在不断增长。400G 数据中心交换机作为网络架构不可或缺的一部分，也开始从大型的云数据中心扩展到小型云服务提供商和大型企业。以下列表显示了全球数据使用的一些主要趋势。

• 社交媒体流量呈爆炸式增长
• 边缘小基站的部署和5G 服务的推出与应用
• 物联网和 IoT（工业物联网）的发展势头日益强劲
• 传统的办公室工作正转向远程方式

数据中心网络架构的升级

为满足数据中心对高带宽、高可用性和低延迟网络的发展要求，多级Spine-leaf网络架构的出现简化了数据中心网络，并提供了更高的网络容量，网络架构的变化也使数据中心具备了更灵活的连接和更高的扩展性——随着“东数西算”工程进入加速期，骨干光网络建设需求扩大，需要带宽更高的数据中心交换机来承载流量，以满足终端用户日益增长的需求。

超大规模数据中心和边缘数据中心的扩展

随着对低延迟性能需求的增长，超大规模服务提供商正在努力使云计算服务更靠近终端。这是因为用户与边缘数据中心网络之间的距离较短，能以更低的延迟提供应用和服务，所以边缘数据中心使用的交换机也日益受到重视，并推动数据中心的所有者和运营商改良其基础设施，以适应高速增长的流量。

新格局如何影响数据中心交换机

对于数据中心而言，性能问题实际上是服务器、存储与交换机和各类网络连接之间的问题。数据中心交换机会受到不断变化的数据中心格局的影响，为此所有网络运营商都在寻求可扩展、可靠和高效的交换解决方案。

架构从 ToR 转向 MoR/EoR

从机架顶部（ToR）架构转向MoR或EoR配置是一大重要变化。与 ToR 架构相比，MoR 和 EoR 所需的机架式数据中心交换机更少。这意味着占用更少的机架空间、更少的维护工作以及更少的电力和散热系统部署和能耗。
此外，升级到更高速度只需更换服务器的跳线，而无需更换更长的线缆。不过，为了方便行内服务器与 MoR/EoR 交换机之间的连接，这种转变需要采用结构化布线策略。

更高的交换机端口密度

与 ToR 向 MoR/EoR 转变密切相关的是数据中心交换机速度的提高。当 IEEE802.3ck 成为批准的标准时，为交换机专用集成电路 (ASIC) 提供电气 I/O 的串行器/解串器 (SerDes) 预计将达到 100G。这表明交换机专用集成电路也在提高 I/O 端口的密度。

通过更高的交换机端口密度支持更多的网络设备连接，就有可能减少机架顶部（ToR）交换机的数量。因此，数据中心架构所需的交换机数量总体上会减少。

数据中心使用 QSFP-DD 收发器模块、400G 光缆和 200G/400G 交换机的情况越来越普遍。在骨干网使用 400G 交换机，数据中心使用相同数量的交换机（机架空间）可提供更大的带宽速率（吞吐量）或支持更多网络节点。

星融元推出的32x400G规格的低时延交换机，端口转发时延低至~400ns。软件方面则搭载了AsterNOS网络操作系统（基于SONiC），具备高度的功能定制和可扩展性，帮助实现网络运维自动化，可为云数据中心多业务融合、高性能计算、大数据分析、高频交易等多种业务场景提供卓越的网络服务。

除了400G规格以外，采用全开放架构的数据中心交换机CX-N系列还有以下型号以供组网选择，在公有云、私有云等场景下都有着不错的性能表现。

关注vx公号“星融元Asterfusion”，获取更多技术分享和最新产品动态。

云计算、人工智能和 5G 的大规模增长促使对能够支持新型 400G 技术和架构的高带宽、可扩展解决方案的需求激增。

400G 的解决方案非常适合应对流量持续增长的大容量电信提供商、大型数据中心以及企业。与常规的100G解决方案相比，400G 光收发器模块的每个 RU 可提供 4 倍的高带宽——通过在更少的物理空间中提供相同的带宽，降低每比特成本。另一方面，在现网中引入400G交换机后总端口将会更少，管理起来也更容易。

星融元400G以太网交换机（CX-N系列）

CX732Q-N是星融元推出的一款400G以太网交换机产品，转发时延低至~400ns。

• 32x400G QSFP-DD 端口，兼容40G/100G/200G，可实现平滑的升级过渡
• 支持带内网络遥测：2x10G SFP+ 的INT端口为后端提供实时精准的遥测数据；基于可编程交换芯片实现，不占用CPU性能
• 128G M.2 SSD
• 5+1热插拔风扇，1+1电源

CX-N系列低时延云交换机型号一览

相关阅读：私有云网络的进化之路：与开放网络技术的完美融合

开放的软件架构——AsterNOS

包含CX732Q-N交换机在内的CX-N全系交换机都搭载了AsterNOS网络操作系统，它具备高度的功能定制和可扩展性，帮助实现网络运维自动化，可为云数据中心多业务融合、AIGC网络、高性能计算（HPC）、大数据分析等多种业务场景提供卓越的网络服务。

对比社区版SONiC，AsterNOS在以下方面做了大量功能补充和增强：

支持EVPN多归属

与MC-LAG 解决方案相比，EVPN Multi-homing不仅能更好地解决可扩展性和流量负载平衡方面的限制，还能提高 VXLAN 接入端的可靠性。

参阅：MC-LAG还是Multi-Homing？探讨网络通信高可用性的新选择

思科风格命令行

此外，AsterNOS 完全支持 Cisco风格的命令行模式，大大降低了运维端的学习成本。下面是我们在使用 AserNOS 的交换机上演示以不同的命令行模式（Cisco-like Klish/Linux Bash）配置 VLAN

交换机堆叠是一种网络技术，通过将多台交换机物理连接并逻辑上组成一个单一的高性能交换系统，以提供更高的网络性能、可靠性和可扩展性。本文将介绍交换机堆叠的概念、工作原理以及在企业网络中的应用。

随着企业网络规模和带宽需求的不断增长，构建高性能、可靠的网络基础设施变得至关重要。在这样的背景下，交换机堆叠技术应运而生。交换机堆叠是一种网络技术，通过将多台交换机物理连接并逻辑上组成一个单一的高性能交换系统，以提供更高的网络性能、可靠性和可扩展性。

交换机堆叠的核心思想是将多台交换机视为一个逻辑单元，形成一个共享的交换平面。这样做的好处是：

1. 提升网络性能：交换机堆叠可以提供更高的网络性能。通过将多台交换机物理连接在一起，数据可以在这些交换机之间以高带宽的方式传输，从而降低数据传输延迟并提高网络响应速度。此外，堆叠技术还可以实现交换机之间的负载均衡，确保网络流量得到有效的分配。
2. 增强网络可靠性：交换机堆叠可以增强网络的可靠性。当其中一台交换机出现故障时，堆叠系统可以自动检测到并将故障交换机排除在堆叠集群之外，而不会对整个网络造成中断。这种冗余设计提高了网络的容错性和可靠性。
3. 实现网络可扩展性：交换机堆叠可以实现网络的可扩展性。通过将多台交换机组成一个逻辑单元，可以轻松地扩展网络规模。当需要增加更多的交换机时，只需简单地将新的交换机添加到堆叠中，而无需对整个网络进行复杂的重配置或重新布线。

交换机堆叠的工作原理是通过特定的物理连接和协议来实现的。在堆叠集群中，一台交换机被指定为主交换机（Master Switch），其他交换机则作为成员交换机（Member Switch）连接到主交换机上。主交换机负责管理整个堆叠集群，包括配置和控制交换机的功能。成员交换机则通过特定的堆叠协议与主交换机进行通信，共享交换机的配置和状态信息。

交换机堆叠技术在企业网络中有广泛的应用。它可以用于构建高密度数据中心网络、提供高可靠性的核心交换网络以及构建大规模企业校园网等。通过堆叠技术，企业可以简化网络管理和维护，减少物理设备数量和复杂性，提高网络的灵活性和可管理性。

总结：交换机堆叠是一种关键的网络技术，通过将多台交换机物理连接并逻辑上组成一个单一的高性能交换系统，提供了更高的网络性能、可靠性和可扩展性。通过堆叠技术，企业可以构建高性能的网络基础设施，实现快速的数据传输和高可靠性的网络连接。交换机堆叠技术在企业网络中具有广泛的应用前景，为企业提供了灵活、可管理和可扩展的网络解决方案。

BGP EVPN（Border Gateway Protocol Ethernet Virtual Private Network）是一种用于构建数据中心互联的技术。它提供了一个灵活、可扩展的解决方案，可以在多个数据中心之间建立高效的互联。

Multi Homing 是 BGP EVPN 技术中的一个重要概念，它允许数据中心网络中的设备同时连接到多个交换机，从而提高网络的可靠性和可用性。当一个交换机或链路出现故障时，设备可以快速切换到备用路径，从而保证业务的连续性。

BGP EVPN Multi Homing 主要包括以下几个方面：

Active-Active 和 Active-Standby

在 BGP EVPN Multi Homing 中，设备可以同时连接到多个交换机，这些连接可以是 Active-Active 或 Active-Standby。Active-Active 意味着所有连接都处于活动状态，数据可以通过任何连接发送和接收。Active-Standby 意味着只有一个连接处于活动状态，其他连接处于备用状态，只有在活动连接出现故障时才会被激活。

Symmetric 和 Asymmetric

BGP EVPN Multi Homing 还可以分为 Symmetric 和 Asymmetric 两种模式。Symmetric 模式是指所有连接都有相同的带宽和优先级，可以同时使用；而 Asymmetric 模式则是指连接之间存在带宽和优先级的差异，需要进行流量调度和负载均衡。

Single-Active 和 Multiple-Active

BGP EVPN Multi Homing 还可以分为 Single-Active 和 Multiple-Active 两种模式。Single-Active 模式是指只有一个连接处于活动状态，其他连接处于备用状态；而 Multiple-Active 模式则是指多个连接都处于活动状态，并且可以同时使用。

前缀同步和 MAC 地址同步

当设备同时连接到多个交换机时，BGP EVPN Multi Homing 还需要进行前缀同步和 MAC 地址同步。前缀同步是指在多个交换机之间同步设备的 IP 地址和路由信息，以确保数据可以正确到达目的地。MAC 地址同步是指在多个交换机之间同步设备的 MAC 地址信息，以确保数据可以正确转发。

LACP 和 VRRP

为了提高网络的可靠性和可用性，BGP EVPN Multi Homing 还可以使用 LACP（Link Aggregation Control Protocol）和 VRRP（Virtual Router Redundancy Protocol）等协议。LACP 可以将多个物理连接绑定成一个逻辑连接，提高带宽和可靠性；VRRP 可以将多个路由器虚拟成一个虚拟路由器，提供冗余和负载均衡功能。
总之，BGP EVPN Multi Homing 是一种非常重要的技术，它可以提高数据中心网络的可靠性和可用性，确保业务的连续性。通过了解其原理和实现方式，可以更好地应用和管理 BGP EVPN 技术，为企业的业务发展提供更好的支持。

了解相关内容》〉》〉》〉》〉