标签：科普-数据中心

星融元与焱融科技AI分布式存储软硬件完成兼容性互认证

近期文章

近日，星融元 CX-N 系列超低时延交换机（25G/100G/200G/400G/800G）与焱融科技的 AI 分布式存储软硬件产品完成兼容性测试。双方产品兼容性良好，运行稳定，性能优异，能够为用户提供值得信赖的高性能分布式存储解决方案，满足其在复杂计算场景中的高效需求。

互认证
科技发展日新月异，计算、网络、存储作为现代数据基础设施的三大支柱，日益成为企业业务和 IT 规划的核心考量。特别是在人工智能（AI）和高性能计算（HPC）场景中，AI/ML 应用对底层基础设施提出了更高要求，如高吞吐量、低时延和无损数据传输等。然而，在智算集群、超算集群等计算集群的部署中，先进芯片并不能直接等同于先进算力的实现。先进算力的发挥遵循着 “木桶效应”，即真正的先进算力是计算、存储和网络三个核心环节深度协同的结果。任何一个环节出现短板，都将导致整体系统性能的严重下滑。

焱融科技和星融元，分别作为专业、领先的 AI 存储服务提供商和开放网络解决方案提供商，致力于提供高带宽、低延时、高可靠的数据存储与传输解决方案，为 AI 和 HPC 等高性能工作负载提供坚实支撑，保障先进算力的高效释放，加速企业创新成果落地。

焱融科技自主研发的高性能分布式并行文件系统 YRCloudFile，不断贴近用户业务进行性能优化，满足用户业务中大文件、小文件全流程高带宽、低延迟需求。公司推出的软硬一体化全闪存储一体机已在 AI 大模型、智算中心、自动驾驶、金融量化、教育科研等领域头部企业的业务环境中得到了广泛应用。

星融元 CX-N 系列超低时延交换机，面向 AI/ML 智算中心和云计算数据中心提供一站式全开放网络解决方案，以其构建的超低时延无损以太网，通过 RDMA 技术在以太网上的实现，帮助高性能计算方案突破网络瓶颈，为计算集群提供低时延、零丢包、高性能的网络环境。

CX-N系列产品
此次，星融元与焱融科技完成产品兼容性认证，通过各自在网络和存储领域技术实力的整合，为行业带来新的高性能存储与网络解决方案，消除数据访问与传输的性能瓶颈，充分释放计算潜能。同时，还为用户提供了更具灵活性的多元网络选择，助力企业在快速发展的 AI 时代占得先机。

未来，随着 AI/ML 技术的不断发展及大模型 Scaling law 的继续演进，高性能分布式存储解决方案的需求将持续攀升。星融元将继续与焱融科技等合作伙伴深化技术协同，为用户提供具备更加卓越性能、更高效可靠的现代化 AI 智算基础设施，共同赋能 AI 时代前行发展。

返回资源中心

近期文章

在上一篇中，我们对RoCE、IB的协议栈层级进行了详细的对比分析，二者本质没有不同，但基于实际应用的考量，RoCE在开放性、成本方面更胜一筹。本文我们将继续分析RoCE和IB在拥塞控制、QoS、ECMP三个关键功能中的性能表现。

拥塞控制

拥塞控制即用来减少丢包或者拥塞传播，是传输层的主要功能，但需要借助链路层和网络层的帮助。

RoCEv2 的拥塞控制机制

RoCEv2通过链路层PFC、网络层ECN、传输层DCQCN三者协同配合，实现更高效的拥塞管理，可见，RoCEv2虽然使用了IB的传输层协议，但在拥塞控制方面有所不同。

基于优先级的流量控制（PFC）

PFC在RoCEv2中被用于创建无损的以太网环境，确保RDMA流量不因链路层拥塞而丢失。核心原理是下游控制上游某个通道开启和停止发送数据包，控制方式是发送PFC Pause和Resume帧，触发时机是根据下游SW的ingress的队列数量是否达到某个阈值。

而PFC允许在一条以太网链路上创建8个虚拟通道，并为每条虚拟通道指定一个优先等级，允许单独暂停和重启其中任意一条虚拟通道，同时允许其它虚拟通道的流量无中断通过。这一方法使网络能够为单个虚拟链路创建无丢包类别的服务，使其能够与同一接口上的其它流量类型共存。

如图1所示，DeviceA发送接口分成了8个优先级队列，DeviceB接收接口有8个接收缓存（buffer），两者一一对应（报文优先级和接口队列存在着一一对应的映射关系），形成了网络中 8 个虚拟化通道，缓存大小不同使得各队列有不同的数据缓存能力。

当DeviceB的接口上某个接收缓存产生拥塞时，超过一定阈值（可设定为端口队列缓存的 1/2、3/4 等比例），DeviceB即向数据进入的方向（上游设备DeviceA）发送反压信号“STOP”，如图中第7个队列。

DeviceA接收到反压信号，会根据反压信号指示停止发送对应优先级队列的报文，并将数据存储在本地接口缓存。如果DeviceA本地接口缓存消耗超过阈值，则继续向上游反压，如此一级级反压，直到网络终端设备，从而消除网络节点因拥塞造成的丢包。

显式拥塞通知（ECN）

ECN（Explicit Congestion Notification）是一种IP头部用于的拥塞控制的标记位，允许网络设备在发生拥塞时标记数据包，而不是丢弃它们。

RoCEv2利用ECN位来标记发生拥塞的数据包，接收方在检测到ECN标记后，发送CNP（Congestion Notification Packet）给发送方，后者通过拥塞控制算法（如DCQCN）调整发送速率。

数据中心量化拥塞通知（DCQCN）

DCQCN（Data Center Quantized Congestion Notification）是一种适用于RoCEv2的拥塞控制算法，是数据中心TCP(DCTCP)和量化通知算法的结合，最初在SIGCOMM’15论文”Congestion control for large scale RDMA deployments”中提出。DC-QCN算法依赖于交换机端的ECN标记。结合了ECN和速率限制机制，工作在传输层。当接收方检测到ECN标记时，触发CNP发送给发送方，发送方根据反馈调整发送速率，从而缓解拥塞。

综上，PFC、ECN、DCQCN分别工作在链路层、网络层和传输层。在RoCEv2中，它们被组合使用，以实现更高效的拥塞管理。

PFC：防止数据包在链路层被丢弃，提供无损传输，解决一段链路的问题。
ECN/DCQCN：发送方根据拥塞标记主动调整发送速率，减轻网络负载。解决端到端网络的问题。

InfiniBand 的拥塞控制机制

InfiniBand 的拥塞控制机制可分为三个主要部分：

基于信用的流量控制

IB在链路层实现基于信用的流量控制（Credit-based Flow Control），该机制实现了无损传输，是 InfiniBand 高性能的基础。发送方根据接收方提供的信用（表示可用缓冲区空间）来控制数据包的发送，接收方在处理完数据包后发送信用给发送方，以允许继续发送新的数据包，从而避免网络拥塞和数据包丢失。

如下图所示，发送方当前可用信用值2，通过流水线传输（pipelined transfer）连续向接收方发送数据包，但此时接收方缓冲区已满，发送方会暂停发送新的数据包，直到接收方发送新的信用。

ECN机制

当网络中的交换机或其他设备检测到拥塞时，会在数据包的 IP 头中标记 ECN（Explicit Congestion Notification）。接收方的 CA（Channel Adapter）接收到带有 ECN 标记的数据包后，会生成拥塞通知包（CNP），并将其反馈给发送方，通知其网络出现拥塞需要降低传输速率。

端到端拥塞控制

发送方的 CA 在收到 CNP 后，根据 InfiniBand 拥塞控制算法调整发送速率。发送方首先降低数据发送速率以缓解拥塞，之后逐步恢复发送速率，直到再次检测到拥塞信号。这个动态调整过程帮助维持网络的稳定性和高效性。IBA没有具体定义特定的拥塞控制算法，通常由厂商定制实现。（HCA，Host Channel Adapters，or IB NIC）

RoCEv2与IB拥塞控制机制比较

两者的拥塞控制机制比较如下：

可见，RoCE与IB的拥塞控制机制基本相同，区别在于IB的拥塞控制机制集成度较高，通常由单个厂家提供从网卡到交换机的全套产品，由于厂商锁定，价格高昂。而RoCE的拥塞控制机制基于开放协议，可以由不同厂家的网卡和交换机来配合完成。

随着大规模AI训练和推理集群的扩展，集合通信流量导致了日益严重的拥塞控制问题，由此出现了一些新的拥塞控制技术，如基于In-band Network Telemetry (INT)的HPCC（High Precision Congestion Control），即通过精确的网络遥测来控制流量，以及基于Clear-to-Send (CTS)的Receiver-driven traffic admission，即通过接收方的流量准入控制来管理网络拥塞等。这些新技术在开放的以太网/IP网络上更容易实现。

QoS

在RDMA网络中，不光RDMA流量要获得优先保证。一些控制报文，如CNP、INT、CTS，也需要特别对待，以便将这些控制信号无损、优先的传输。

RoCEv2的QoS

在链路层，RoCEv2采用ETS机制，为不同的流量分配不同的优先级，为每个优先级提供带宽保证。

在网络层，RoCEv2则使用DSCP，结合PQ、WFQ等队列机制，为不同的流量分配不同的优先级和带宽，实现更精细的QoS。

InfiniBand的QoS

在链路层，IB采用SL、VL及它们之间的映射机制，将高优先级的流量分配到专门的VL，优先传输。虽然VL仲裁表 (VL Arbitration Table)能够通过分配不同的权重来影响和控制带宽的分配，但这种方式不能保证每个VL的带宽。

在网络层，IB的GRH支持8个bit的Traffic Class字段，用于在跨子网的时候提供不同的优先级，但同样无法保证带宽。

由此可见，RoCE能够为不同的流量类型提供更精细的QoS 保证和带宽控制，而 InfiniBand 只能提供优先级调度，而非带宽的明确保障。

ECMP

RoCE的ECMP

数据中心IP网络为了高可靠和可扩展性，通常采用Spine-Leaf等网络架构。它们通常在一对RoCE网卡之间提供了多条等价路径，为了实现负载平衡和提高网络拓扑的利用率，采用ECMP（Equal Cost Multiple Paths）技术。对于给定的数据包，RoCE交换机使用某些数据包字段上的哈希（Hash）值在可能的多条等价路径中进行选择。由于可靠传输的要求，同一个RDMA操作应当保持在同一个路径中，以避免由于不同路径造成的乱序问题。

在IP网络中，BGP/OSPF等协议均可以在任意拓扑上计算出等价路径，然后由交换机数据平面基于IP/UDP/TCP等头部字段（如五元组）计算哈希值并轮流转发到不同路径上。在RoCE网络中，为了进一步细分RDMA操作，可以进一步识别BTH头部中的目的QP信息，从而实施更细粒度的ECMP。

InfiniBand的ECMP

在控制平面，IB的路由基于子网管理器，在拓扑发现的基础上实现ECMP，但由于集中式的子网管理器与网络设备分离，可能无法及时感知网络拓扑的变化，进而实现动态的负载均衡。

在数据平面，IB的ECMP同样基于哈希计算和轮转机制。

总结

在拥塞控制方面，RoCE结合了PFC, ECN和DCQCN提供了一套开放的方案，IB则拥有基于Credit的一套高度集成的方案，但在应对大规模集合通信流量时均有所不足。
在QoS方面，RoCE可以实现每个优先级的带宽保证，而IB仅能实现高等级的优先转发。
在ECMP方面，两者均实现了基于Hash的负载分担。

总结来看，IB具备已验证的高性能和低延时优势，RoCEv2则在互操作性、开放性、成本效益方面更胜一筹，且从市场占比及认可度来看，RoCEv2逐渐比肩IB；但不得不承认的是，RoCE和IB在应对大规模AI训练和推理中高带宽、突发式和广播型的集合通信流量时，均有所不足，而RoCE基于其广泛的以太网生态系统，能够更快速地拥抱新技术新协议，其潜力和可塑性更胜一筹，未来有望在网络格局中扮演更重要的角色。

星融元提供一系列基于RoCE的开放网络产品与解决方案：

10G-800G的全场景互联：星融元CX-N数据中心交换机的单机转发时延（400ns）低至业界平均水平的1/4~1/5；采用BGP-EVPN、VXLAN、MC-LAG等技术构建可靠的大二层网络满足生产网络稳定性需求。
搭载开放网络操作系统：星融元AsterNOS以SONiC为内核、依托容器化的系统架构，并提供RESTful API支持第三方应用快速集成，或对接上层管理调度平台，例如OpenStack，K8s等。
EasyRoCE极简运维：支持无损网络一键部署，Prometheus + Grafana 可视化监控大屏配合专用命令行，问题快速定位解决。

参考文档：

https://zhuanlan.zhihu.com/p/643007675

https://blog.csdn.net/essencelite/article/details/135492115

https://support.huawei.com/enterprise/zh/doc/EDOC1100075566/d1e17776

https://www.researchgate.net/publication/4195833_Congestion_Control_in_InfiniBand_Networks

返回资源中心

近期文章

在 AI 算力建设中， RDMA 技术是支持高吞吐、低延迟网络通信的关键。目前，RDMA技术主要通过两种方案实现：Infiniband和RoCE（基于RDMA的以太网技术，以下简称为RoCE）。

RoCE与IB网络架构概述

RoCE和InfiniBand均是InfiniBand Trade Association（IBTA）定义的网络协议栈，其中Infiniband是一种专为RDMA设计的高性能网络，它从硬件层面确保了数据传输的可靠性，为了进一步发挥RDMA的优势，IBTA在2010年定义了RoCE。RoCE则是Infiniband与以太网技术的融合，它在保持Infiniband核心优势的同时，实现了与现有以太网基础设施的兼容性。具体来说，RoCE在链路层和网络层与Infiniband有所不同，但在传输层和RDMA协议方面，RoCE继承了Infiniband的精髓。

从市场应用占比来看，2000年，IB架构规范的1.0版本正式发布，2015年，InfiniBand技术在TOP500榜单中的占比首次超过了50%，但据最新统计，在全球TOP500的超级计算机中，RoCE和IB的占比相当。以计算机数量计算，IB占比为47.8%，RoCE占比为39%；而以端口带宽总量计算，IB占比为39.2%，RoCE为48.5%。

图1 超级计算机 500 强中 RoCE 和 InfiniBand 的利用率

图2 超级计算机 500 强中 RoCE 和 InfiniBand 的利用率

RoCE与IB报文格式对比

RoCE报文格式下图所示：

其中，RoCEv1使用了IB的全局路由头（Global Routing Header），IB BTH是IB的基本传输头（Base Transport Header），ICRC是对InfiniBand层不变字段进行校验的循环冗余校验码，FCS是以太网链路层的校验序列码。

RoCEv2中添加了IP Header和UDP Headrer，引入IP解决了扩展性问题。

图3 RoCE数据包格式

IB报文格式如下图所示：

在一个子网（Subnet）内部，只有Local Routing Header（LRH），对应OSI的链路层。在子网之间，还有一个Global Routing Header（GRH），对应OSI的网络层。在Routing Header之上，是Transport Header，提供端到端的传输服务，包括数据的分段、重组、确认和流量控制。接着就是报文的数据部分，包含应用层数据或上层协议信息。最后是不变字段和可变字段的循环冗余校验码（CRC），用于检测报文在传输过程中的错误。

图4 IB数据包格式

RoCE与IB网络层级对比

IB与RoCE协议栈在传输层以上是相同的，在链路层与网络层有所区别：

RoCEv1中，以太网替代了IB的链路层(交换机需要支持PFC等流控技术，在物理层保证可靠传输)，然而，由于RoCEv1中使用的是L2 Ethernet网络，依赖于以太网的MAC地址和VLAN标签进行通信，而不涉及网络层（IP层，即OSI模型的第三层）的路由功能，因此，RoCE v1数据包不能实现跨不同的IP子网传输，只能在同一广播域或L2子网内进行传输。

RoCEv2在RoCEv1的基础上，融合以太网网络层，IP又替代了IB的网络层，因此也称为IP routable RoCE，使得RoCE v2协议数据包可以在第3层进行路由，可扩展性更优。

图5 RoCE和IB协议栈对比

物理层

RoCE的物理层基于标准以太网，使用PAM4 (Pulse Amplitude Modulation 4)编码方式和64/66b编码。支持铜缆和光纤，接口有 SFP+、QSFP+ 、OSFP等。支持速率从 10GbE到800GbE。
IB的物理层则是专有的，采用更传统的NRZ(Non-Return-to-Zero)调制技术和64/66b编码。支持铜缆和光纤，接口通常为 QSFP、OSFP，支持速率从 10Gbps 到 400Gbps，并可以通过多通道的组合实现更高的总带宽（如 800Gbps）。

对比来看，IB采用的NRZ每个符号只有两个电平，而RoCE采用的PAM4使用 4个不同的电压电平来表示数据，也就是说RZ信号中，每个周期传输1bit的逻辑信息，PAM4每个周期可以传输2bit的信息，因此在相同的波特率下，PAM4的数据传输速率是NRZ的两倍，具有更高的带宽效率，在支持更高速率（如1.6T，3.2T）时具有潜在的优势。目前，六进制（PAM6）和八进制（PAM8）调制技术正处于实验和测试阶段，而InfiniBand（IB）也在逐渐从传统的NRZ（非归零）调制技术转型至PAM4，例如，400G光模块现已能够同时支持IB和以太网标准。相比之下，以太网在调制技术的应用上展现出更为迅速的发展势头。

图6 频域中 PAM4 与 NRZ 信号的频率内容

链路层

RoCE的链路层是标准以太网，为了在传统以太网上实现无损传输，引入了PFC（Priority-based Flow Control），由IEEE 802.1Qbb标准定义，当交换机的某个优先级队列的缓冲区接近满载时，会发送 PFC帧给上游设备，通知其暂停发送该优先级的流量，防止缓冲区溢出，避免数据包在链路层被丢弃。

此外，以太网引入了ETS(Enhanced Transmission Selection) ，它是DCB (Data Center Bridging)标准的一部分，由 IEEE 802.1Qaz 规范定义。ETS 将流量分配到不同的队列，为每个队列分配一个权重，控制每个流量队列能够使用的带宽百分比，保证高优先级的流量，如RDMA等，获得足够的带宽资源。

IB的链路层是专有的，包头称为Local Routing Header，如图所示。

其中，VL是虚拟通道 (Virtual Lanes)，SL是服务等级 (Service Level)，Source/Destination Local Identifier则是链路层地址。

它内建了对无损传输的支持，这是因为它实现了基于信用的流量控制（Credit-based Flow Control）。接收方在每个链路上提供一个信用值，表示其缓冲区能够接收的数据量。发送方根据此信用值发送数据，确保不会超过接收方的处理能力，从而避免缓冲区溢出和数据丢失。

IB链路层结合SL和VL实现QoS，SL共有16个业务等级，用于标识流量优先级，每个数据包可以根据业务需求被分配到不同的服务等级，通过SL-VL映射，将不同优先级的流量分配到不同的VL上，从而确保高优先级流量（如RDMA）不会因低优先级流量的拥塞而受到影响。

对比而言，IB的链路层由专用硬件实现，效率较高，具有超低时延的特点，而RoCE基于标准以太网硬件，时延稍长。但由于两者都达到了100ns级别，而根据UEC的最新定义，在传输RDMA时，端到端性能要求通常为10μs左右，它们的差别不大。

网络层

RoCE的网络层使用IP，可以是IPv4或IPv6。它采用成熟的BGP/OSPF等路由协议，适应任何网络拓扑并具有快速自愈能力；支持ECN（EXPLICIT CONGESTION NOTIFICATION ），用于端到端的拥塞控制；支持DSCP，替代IB的TRAFFIC CLASS，用于实现QoS。
IB的网络层借鉴了IPv6。Global Routing Header的格式与IPv6完全相同，具有128bit地址，只是字段命名不同。但它没有定义路由协议，而是采用子网管理器（Subnet Manager）来处理路由问题，这是一种集中式的服务器，每个网卡端口和交换芯片都通过由SM分配的唯一身份标识（Local ID，LID）进行识别，不具备互操作性，因此很难快速响应网络的变化。

显然，IB网络层是专有的、集中管理的，而RoCE的网络层基于标准以太网和UDP，在互联网数以十亿计算的设备上使用，技术成熟，并在持续发展中；引入SRv6等技术后，IP进一步增强了流量工程、业务链、灵活性和可扩展性等能力，非常适合组建超大规模可自愈的RDMA网络。

传输层

RoCE

RoCE采用了IB的传输层。RoCEv2协议栈虽然包含UDP，但它仅借用了UDP的封装格式，传输层的连接、重传、拥塞控制等功能由IB传输层完成。UDP层的目的端口固定分配给RDMA协议，源端口则是动态分配的，但在一个连接过程中保持固定。这样可以让网络设备通过源端口区分不同的RDMA数据流。

InfiniBand

IB的传输层采用了模块化的灵活设计，通常包含一个基本传输头BTH（Base Transport Header）和若干个（0到多个）扩展的传输头（Extended Transport Header）。

BTH（Base Transport Header）是InfiniBand传输层头部的一部分。它是InfiniBand网络协议中L4传输层的基本头部，用于描述数据包传输的控制信息。格式如下，

关键信息有：

OpCode，操作码。由8个bit组成。前3个bit代表传输服务类型，如可靠连接/不可靠连接/可靠数据报/不可靠数据报/RAW数据报等。后5个bit代表操作类型，如SEND/READ/WRITE/ACK等。
Destination QP，目的QP号（Queue Pair Number）。与TCP端口号类似，代表了RDMA连接（称为Channel）的目的端。但与TCP端口不同的是，QP由Send/Recv两个队列组成，但用同一个号码标识。
Packet Sequence Number，包序列号，简称PSN。与TCP序列号类似，用于检查数据包的传输顺序。
Partition Key，分区键。可以将一个RDMA网络分为多个逻辑分区。在RoCE中可采用新一代的VxLAN等技术替代。
ECN，显示拥塞通知。用于拥塞控制，包含Forward和Backward两个bit，分别表示在发送和返回路径上遇到了拥塞，在RoCE中被IP头部的ECN替代。

BTH帮助接收方理解该包属于哪个连接以及如何处理接收到的包，包括验证包的顺序、识别操作类型等。

在BTH之后，还有RDMA Extended Transport Header，它包含远端的虚拟地址、密钥和数据长度等信息。格式如下，

其中：

VirtualAddress，虚拟地址，代表目的端内存地址。
DMA Length，直接内存访问长度，是要读写的数据长度，以字节为单位。
Remote Key，用于访问远端内存的密钥。

IB传输层通常由RDMA网卡硬件实现，在IB中称为Channel Adapter（CA），在RoCE中称为RoCE网卡，从而提升RDMA传输的性能。在一些高级的RoCE交换机中，还可以感知IB传输层信息并对RDMA数据流做加速处理。

RDMA操作

借助RDMA扩展头，RoCE和IB的传输层对远程主机的地址进行直接的读写操作（Operation）。

RDMA写操作 (RDMA Write)

在 QP（Queue Pair） 建立后可以直接进行，允许发送方直接写入接收方的内存，不需要接收方的CPU参与，并且无需请求。这种操作方式是 RDMA 高性能和低延迟的核心特性之一。

RDMA Write 是一种单向操作。写入方在写入数据后不需要等待接收方的响应，这种操作与常规的 Send/Receive 模式不同，不需要接收方预先准备接收队列。

RDMA读操作 (RDMA Read)

允许发送方从接收方的内存中读取数据，不需要接收方CPU参与。目标地址和数据大小在发送方指定。如下图所示，在一次请求后，可以通过多次响应返回数据,提高了数据传输效率。

图7 RDMA 读操作

发送/接收操作 (Send/Receive)

这是传统的消息传递操作，数据从发送方传递到接收方的接收队列中，需要接收方预先准备接收队列。

在RoCE中，RDMA跳过操作系统的TCP/IP协议栈，直接与RoCE网卡上的传输层连接，借助DMA机制，直接访问本地和远端内存，实现了零拷贝传输，大幅度提升了性能。

同样，IB网卡在硬件上实现RDMA操作，零拷贝传输，两者的性能相当。

当然，无论在RoCE还是IB中，RDMA 连接的初始化、资源分配、队列对 (QP) 管理、以及一些控制路径上的操作（如连接建立、内存注册等）仍然依赖于软件栈。

应用层

RDMA在数据中心、HPC集群、超级计算机中获得了广泛的应用，用于承载AI训练、推理、分布式存储等数据中心内部的关键业务。

例如，在AI训练/推理时， xCCL或者MPI使用RDMA实现点对点和集合通信；在分布式存储时，NVMEoF, Ceph使用RDMA对网络存储器进行读写操作。

网络层级对比小结

在物理层，RoCE和IB都支持800G，但PAM4相比NRZ具有更强的升级潜力，以太网成本也低于IB，RoCE更胜一筹。
在链路层，两者均实现了无损传输，RoCE的ETS能够为不同优先的流量提供带宽保证，且RoCE和IB的时延均达到了100ns级别，在实际应用中差不大。
在网络层，RoCE借助IP的成熟的持续发展，更能适应大规模网络。
传输层及以上，RoCE和IB使用同样的协议，没有区别。

RoCE与IB的较量，究竟谁更胜一筹

总的来说，RoCE和InfiniBand都由IBTA定义，没有本质的不同。RoCE实际上是将成熟的IB传输层和RDMA移植到了同样成熟的以太网和IP网络上，是一种强强联合，在保持高性能的同时，降低了RDMA网络的成本，能够适应更大规模的网络。

根据亚马逊的高级首席工程师Brian Barrett，AWS之所以放弃IB方案，主要是因为：“云数据中心很多时候是要满足资源调度和共享等一系列弹性部署的需求，专用的IB网络构建的集群如同在汪洋大海中的孤岛”。

出于AI算力建设对于成本和开放性的考量，越来越多的公司已经在使用以太网交换机用于大规模AI算力中心，例如当前全球最大的AI超级集群（xAI Colossus，造价数亿美元、配备十万片NVIDIA H100 GPU），便是采用64 x 800G，51.2T以太网方案构建集群网络。

CX864E-N是星融元专为AI训练、推理、高性能计算（HPC）等场景设计的一款行业内顶尖规格的RoCE交换机，拥有51.2T的超大交换容量，助力客户用更优的投入成本，实现与IB网络相当的性能。

8 x CX864E 支持 512 个 GPU 互连，每个端口速度为 400G
192 x CX864E 支持 8192 GPU 互连，每个端口速度为 400G
192 x CX864E 支持 128k ML/AI 节点互连，每端口速度为 100G

参考文献

https://mp.weixin.qq.com/s/PZ_Q5rS5a5YJlczao9SMXw

https://support.huawei.com/enterprise/zh/doc/EDOC1100203347

https://community.fs.com/cn/article/roce-technology-in-high-performance-computing.html

https://ascentoptics.com/blog/cn/understanding-infiniband-a-comprehensive-guide/

https://blog.csdn.net/jkh920184196/article/details/141461235

https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/

返回资源中心

近期文章

什么是算力

算力即计算能力（Computing Power），狭义上指对数字问题的运算能力，而广义上指对输入信息处理后实现结果输出的一种能力。虽然处理的内容不同，但处理过程的能力都可抽象为算力。比如人类大脑、手机以及各类服务器对接收到的信息处理实际都属于算力的应用。

随着信息技术的不断发展，《中国算力白皮书（2022）》中将算力明确定义为数据中心的服务器通过对数据进行处理后实现结果输出的一种能力。当前行业中讨论的算力，狭义上可理解为CPU、GPU等芯片的计算能力，广义上可理解为芯片技术的计算能力，内存、硬盘等存储技术的存力，以及操作系统、数据库等软件技术的算法的三者集合。

算力的分类

随着数字经济时代的到来，算力发展迎来高潮，广泛应用于各个领域，其中包括但不限于日常消费领域、人工智能领域、半导体技术领域。不同应用场景对算力的需求各异，需要不同类型的算力支撑。目前算力主要分为通用算力、智能算力和超算算力。未来还会出现比传统计算更高效、更快速的新一代算力，例如量子算力等。

通用算力

通用算力主要以CPU为代表，即CPU芯片执行计算任务时所表现出的计算能力。不同架构的CPU计算能力不同，因为CPU算力受核心数量、主频、缓存大小等多种因素影响。目前可以根据DMIPS指标来衡量CPU性能。该指标表示CPU每秒能执行多少百万条Dhrystone指令。

分类	特点	引领者	优劣势
x86	复杂指令集、单核能力强	Intel、AMD、海光、兆芯	软件生态好，占有率高；指令集实现复杂，功耗高
ARM	精简指令集、追求多核、低功耗	安谋、高通、Amazon	授权厂商多，能效比高；软件生态劣于x86
MIPS	精简指令集、低功耗	龙芯	软件生态弱、市占率正在下降
Power	单核能力强、高可靠性、高成本	IBM	IBM掌控技术，应用于金融领域
RISC-V	精简指令集	RISC-V基金会、阿里巴巴、兆易创新	完全开放开源、模块化、可扩展
Alpha	精简指令集、速度快	申威	软件生态弱，市占率小

通用算力计算量小，但能够提供高效、灵活、通用的计算能力。因为CPU的架构属于少量的高性能核心结构，即核心数量少，但核心频率高，更加擅长处理复杂的逻辑判断和串行计算的单线程任务，如操作系统的管理、应用程序的执行以及各类后台服务等。而这样的设计在面对大规模并行计算任务时则显得力不从心。

智能算力

智能算力主要以GPU、FPGA、ASIC芯片为代表。每种类型的芯片具有各自的特点和优势。

GPU（Graphics Processing Unit，图形处理器）：GPU在设计之初用于图形渲染，即同时处理大量简单的计算任务。不同于CPU的少量高性能核心架构，GPU拥有大量的核心数但较小的控制单元和缓存，能够完成高度并行的计算任务。GPU主要应用在机器学习的训练阶段，因为机器学习的操作并不依赖于复杂指令，而是大规模的并行计算。

FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）：FPGA是在PAL、GAL 等可编程器件的基础上进一步发展的产物。FPGA是半定制集成电路，具有可重配置的逻辑结构。其内部的电路不是硬刻蚀的，而是可以通过HDL（硬件描述语言）编程来重新配置。这种可编程灵活性使其可以完成人工神经网络的特定计算模式，轻松升级硬件以适应AI场景中新的应用需求。除此以外，FPGA的每个组件功能在重新配置阶段都可以定制，因此在运行时无需指令，可显著降低功耗并提高整体性能。

ASIC（Application-Specific Integrated Circuit，应用特定集成电路）：ASIC是专为满足特定需求而设计的全定制集成电路芯片。ASIC的优势在于其能够针对特定任务进行深度优化，从而实现更高的性能和更低的功耗。一旦量产，其单位成本会显著降低，尤其适合于大规模生产和应用。然而，ASIC设计周期长、成本高，一旦设计完成，很难进行修改或升级以适应新的应用需求。因此，在选择使用ASIC还是FPGA时，需要根据具体的应用场景和需求进行权衡。对于需要高性能、低功耗且应用场景相对固定的系统，ASIC可能是更好的选择；而对于需要快速适应新技术和市场需求变化的应用场景，FPGA则更具优势。

GPU、FPGA、ASIC能力对比表格：

	GPU	FPGA	ASIC
并行计算能力	强大	灵活配置	高效但定制
灵活性	较低（专用于图形和计算）	高（可编程）	低（定制后固定）
功耗	高	适中	低
成本	中等	低	高（设计和制造）
整体性能	高	中等（因可重置而消耗芯片资源）	非常高（高度定制针对性强）
应用领域	图形处理、机器学习等	实时计算、原型设计等	特定应用场景（如数据中心）

超算算力

超算即超级计算，又称高性能计算 (HPC)，利用并行工作的多台计算机系统的集中式计算资源，通过专用的操作系统来处理极端复杂的或数据密集型的问题。超算算力则是由这些超级计算机等高性能计算集群所提供的算力，主要应用于尖端科研、国防军工等大科学、大工程、大系统中，是衡量一个国家或地区科技核心竞争力和综合国力的重要标志。目前，美国的Frontier以 1.206 EFlop/s的HPL性能位居全球超级计算机Top500榜第一，达到了E级计算。

中国信息通信研究院结合业内实践和设想，提出了超算参考架构，由计算系统、存储系统、网络系统、管理系统、安全系统五部分构成。

计算系统：由CPU和异构加速卡计算节点共同组成。
存储系统：采用分布式存储，可提供PB级别以上的容量来进行数据和算据存储。
网络系统：分为存储网络、业务网络以及监控网络等多个网络平面，实现超算系统间各个硬件设备以及子系统间的通信互联。
管理系统：包括资源与业务监控、告警监控、可视化等功能。
安全系统：由防火墙、负载均衡、堡垒机、抗DDoS、日志审计、漏洞扫描、DNS服务器等设备组成。

新一代算力

自人工智能加速应用后，算力需求激增，人们很难保证在未来经典计算能一直满足指数级的算力增长并应用于重大计算问题。于是在全球科技竞争加剧、数字经济快速发展以及新兴技术的推动下出现了以量子计算为代表的新一代算力。

量子计算运用量子态的叠加性，使得量子比特拥有更强的信息编码能力，并可实现多个量子比特的量子纠缠，性能上限远超经典计算。量子计算机使用亚原子粒子的物理学领域来执行复杂的并行计算，从而取代了当今计算机系统中更简单的晶体管。传统计算机中的字符，要么打开，要么关闭，要么是 1，要么是 0。而在量子比特计算中，计算单元是可以打开，关闭或之间的任何值。量子比特的“叠加态”能力，为计算方程增加了强大的功能，使量子计算机在某种数学运算中更胜一筹。

目前阿里巴巴、Google、Honeywell、IBM 、IonQ 和 Xanadu 等少数几家公司都运营着量子计算机，但仍存在退相干、噪声与误差、可扩展性等问题，处于硬件开发的早期阶段。根据专家预测，想要进入量子计算机真正有用的高保真时代，还得需要几十年。

数据中心算力组成

数据中心的计算能力主要依赖于服务器。目前CPU类型的服务器几乎部署在所有的数据中心中，而高性能算力GPU等更多的使用在AI应用场景中，小规模部署于部分数据中心中。然而随着机器学习、人工智能、无人驾驶、工业仿真等新兴技术领域的崛起，传统数据中心遭遇通用CPU在处理海量计算、海量数据时越来越多的性能瓶颈。在数据中心加快步伐部署48核以及64核心等更高核心CPU来应对激增的算力需求的同时，为了应对计算多元化的需求，越来越多的场景开始引入加速芯片，如前文提到的GPU、 FPGA、 ASIC 等。这些加速硬件承担了大部分的新算力需求。

然而实际上的数据中心是一个汇集大量服务器、存储设备及网络设备的基础设施，数据中心算力是服务器、存储及网络设备合力作用的结果，计算、存储及网络传输能力相互协同才能促使数据中心算力水平的提升。单独讨论服务器的算力水平并不能反映数据中心的实际算力水平。

总之，数据中心是人工智能、物联网、区块链等应用服务的重要载体。数据中心算力水平的提升将会在很大程度上推动全社会总体算力供给，满足各行业数字化转型过程中的算力需求。

数据中心网络设备

以实际情况来说，数据中心的算力水平不仅取决于服务器的算力，同时还会在很大程度上受到网络设备的影响，如果网络设备算力水平无法满足要求，很有可能引发“木桶效应”，拉低整个数据中心的实际算力水平。

星融元CX-N系列交换机可以帮助用户构建超低时延、灵活可靠、按需横向扩展的数据中心网络。

超低时延：所搭载的交换芯片具备业界领先的超低时延能力，最低时延达到400ns左右。
高可靠性：通过MC-LAG、EVPN Multihoming、ECMP构建无环路、高可靠、可独立升级的数据中心网络。
RoCEv2能力：全系列标配RoCEv2能力，提供PFC、ECN等一系列面向生产环境的增强网络特性。
RESTful API：支持REST架构的第三方平台和应用都能自动化地管理、调度星融元数据中心网络。

不论是在AI智算还是HPC高性能计算场景下，CX-N交换机都达到了媲美InfiniBand专用交换机的性能，以下是场景测试数据表:

表一：AIGC场景性能测试结果

	带宽	时延	备注
E2E网卡直连	392.95Gb/s	1.95us
E2E跨交换机	392.96Gb/s	2.51us	交换机时延560ns
NCCL网卡直连	371.27GB/s	/
NCCL跨交换机	368.99GB/s	/	CX-N交换机端口利用率95%。

表二：HPC应用测试（对比IB交换机）

HPC应用测试	CX-N交换机				MSB7000
HPC应用	Test1[sec]	Test2[sec]	Test3[sec]	avg[sec]	Test1[sec]	Test2[sec]	Test3[sec]	avg[sec]
WRF	1140.35	1134.64	1128.35	1134.44	1106.72	1099.36	1112.68	1106.25
LAMMPS	341.25	347.19	342.61	343.69	330.47	335.58	332.46	332.83

参考文献：

https://13115299.s21i.faiusr.com/61/1/ABUIABA9GAAgqvv2nAYowLyGBA.pdf

https://13115299.s21i.faiusr.com/61/1/ABUIABA9GAAgk4DrjQYo76ziRQ.pdf

返回资源中心

近期文章

随着AI技术的快速发展，尤其是大模型的训练和推理过程，数据量呈爆炸式增长，这也对底层基础设施提出了更高的要求，网络传输必须朝着更高带宽和更高密度的方向发展以满足需求。800G以太网在400G的基础上进行扩展，提供800Gbps的数据传输速率。

800G以太网优势何在？

高带宽与高速率：提供800Gbps的数据传输速率，远超当前主流网络标准。
高吞吐量和低延迟：显著提升数据传输的吞吐量和降低延迟。当下已推出51.2T交换芯片。
支持高密度与大规模传输：800Gps的传输速率使其能够在有限的物理空间或资源下，有效传输更多的数据，支持更广泛的网络拓扑和大规模部署。

800G以太网的技术解读

如图1所示，800G以太网实际上是一种接口技术，可以支持单个MAC以800Gb/s的速率运行。800G以太网通过集成两个400G PCS实例来实现其高速率传输。这两个400G PCS实例在数据传输过程中协同工作，共同支撑800G的带宽需求。800G-ETC-CR8/KR8规定，800G PMD子层基于IEEE 802.3ck标准的400Gb/s技术，将原来的4个并行通道扩展为8个并行通道。这就将PAM4（四电平调制）和SerDes速度从上一代的50Gbps翻倍至100Gbps，实现了网络的高带宽与高速率。

800G以太网行业现状

目前市场上的800G交换芯片主要有Broadcom Tomahawk 5、Marvell Teralynx 10和Cisco Silicon One G200，NVIDIA Spectrum-4芯片不对外售卖。它们的制作工艺大多基于5nm，吞吐量都为51.2Tb/s，在端口速率配置和一些特色功能上略有不同。比如Broadcom Tomahawk 5芯片更侧重其高效的SerDes设计降低功耗，Marvell Teralynx 10强调其业界超低延迟表现，Cisco Silicon One G200采用P4可编程并行处理器，更加灵活可定制，而NVIDIA Spectrum-4则是专注于AI网络性能的提升。下面附上芯片能力表格以便直观对比。

厂商	Broadcom	Marvell	NVIDIA	Cisco
芯片名称	Tomahawk 5	Teralynx 10	Spectrum-4	Silicon One G200
制程工艺	5nm	5nm	定制4N工艺	5nm
吞吐量	51.2Tb/s	51.2Tb/s	51.2Tb/s	51.2Tb/s
端口速率及配置	64x800Gb/s, 128x400Gb/s, 256x200Gb/s	32x1.6Tb/s, 64x800Gb/s, 128x400Gb/s	"64x800Gb/s （可做两条400Gb/s链路）"	"64x800Gb/s，128x400Gb/s， 256x200Gb/s"
特色功能	高效SerDes设计（借助多达 64 × [PM8x100] SerDes灵活配置端口）	延迟表现低至500纳秒	显著提升AI云网性能	采用P4可编程并行分组处理器，高度灵活可定制

基于这些主流的800G交换芯片已有交换机厂商率先推出800G以太网交换机，例如Arista 7060X5、edgecore AIS800-64D、Cisco Nexus 9232E、星融元Asterfusion CX864E-N等

这代表了网络硬件技术的飞跃，满足高速数据传输需求的同时推动了相关行业应用，但800G以太网技术仍未完善，所有市面上的相关产品仍旧有各自的提升空间和要面临的网络挑战。

800G以太网技术如何破局？

挑战一：误码问题

信号在高速传输的过程中受多种因素影响，例如信号衰减、反射散射和噪声抖动等。这些因素会导致信号质量下降，甚至出现比特错误，即误码。误码率指数据传输中错误比特数与总传输比特数的比例，是数字通信系统中衡量传输质量的关键指标。误码率越高，数据损耗程度越严重。然而在更高速的800G以太网中，常规的信号处理技术不足以解决误码问题，需要更复杂的方式来应对。

解决方案：

更复杂的FEC算法：FEC是一种前向纠错技术，可以在数据传输过程中添加冗余信息，以便在接收端检测和纠正错误。800G以太网目前所有通道均采用 400 Gb/s 标准支持的 RS（544,514）FEC。然而正在开发的下一代800G收发器将使每个通道的速率达到200Gbps，需要更多的冗余数据、更多的纠错机制和更复杂FEC算法来确保数据传输的可靠性。

图3：FEC工作原理

更先进的DSP技术：优化数字信号处理技术，使得DSP芯片对接收到的信号进行更精确的处理，提高信号的质量和稳定性，减少误码的发生。

挑战二：能耗问题

随着数据中心容量和密度的提升，采用传统可插拔光模块方式逐渐遇到一个困难。传统交换芯片与光模块之间有一条较长的电通道，电通道在速率提升时数据损耗越来越大，为了克服通道上的数据损耗，需要在电通道上做复杂信号处理，这些处理会显著增加系统功耗。再加上光模块本身功耗大，尽管已经进行了高效设计，但在大型数据中心中拥有数以万计的光模块，其整体功耗仍是问题。除了光模块外，SerDes的通道数量和单个通道的速率也在不断提升。在800G以太网中，SerDes的速度增加到100Gbps，芯片周围的SerDes通道数量增加到512，这都会导致功耗的上升。

解决方案

CPO光电共封装技术：OFC 2022的Workshops针对高速以太网的功耗问题提到了CPO（Co-packaged Optics）技术。该技术将交换芯片和光引擎共同装配在同一个Socketed（插槽）上，形成芯片和模组的共封装。这样的封装方式显著减小了电通道带来的能耗损失和信号干扰，为800G以太网提供更高的功效。

更高效的SerDes设计：SerDes需要支持更高的速率和更低的功耗，同时保持较小的面积和成本。

图4：CPO技术的电路板组装
优化电路板设计：采用更高效的电路设计和低功耗材料来减少功耗，提高整体能效。

800G以太网的未来

从技术创新的角度来说：交换机和光模块技术不断发展，比如100Gbps SerDes广泛应用，都为800G以太网的实现提供了技术基础，有望在未来几年实现800G以太网的大规模商用。目前一些领先的芯片制造商已经发布了支持1.6T以太网PHY解决方案的产品，这表明800G以太网将向着更高速率迈进。
从行业标准的制定来说：2022年，OIF完成了400ZR标准规范，并正在制定800G LR和ZR的规范，包括光系统参数、FEC算法、DSP技术、OTN映射等技术方面。2023年，IEEE 802.3dj项目中就800G 10km应用是否采用IMDD（强度调制和直接检测）还是其他相关技术进行了讨论。目前，IEEE 802.3正在积极推进800G及1.6T以太网接口的标准化工作。预计在未来两年内，IEEE 802.3、OIF等国际标准组织将陆续完成800G以太网物理层标准的制定，并推动其在实际应用中的开发和验证。
从市场的角度来说：5G 网络、云计算和人工智能等领域快速发展，数据中心对带宽的需求日益增长。800G以太网能够提供更高的带宽和更低的延迟，必定会投入使用，扩大市场规模。再加上目前国内外市场不断有企业在800G通信领域取得显著进展，不难看出800G以太网将成为通信市场的重要增长点。有相关机构预测，到2025年，800G以太网将占数据中心交换机端口的25%以上，表明在未来几年内，800G以太网将实现快速普及。

总结

综上，800G以太网技术是应对未来网络需求的关键解决方案，不断推动数据中心和网络基础设施的升级，满足日益增长的数据传输和处理需求。未来，随着技术的不断进步和市场的扩大，800G以太网有望在未来几年内实现更广泛的商业化和部署。

参考：https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf

https://bbs.huaweicloud.com/blogs/415694

返回资源中心

最新动态

一文揭秘AI智算中心网络流量 – 数据存储篇

关注星融元

本篇为“揭秘AI智算中心网络流量“系列的第三篇，前篇请参阅：

01、生成式AI对数据存储有哪些需求？

对于较小规模的AI模型，本地连接的磁盘存储可能就足够；进入大模型时代，则通常需要基于对象存储或并行文件系统的共享存储。一个完整的生成式AI的工作流的各阶段对存储有不同需求，具体可拆解如下：

数据挖掘：需要从多个来源收集非结构化的数据，一般与混合云集成，用数据湖作为存储平台；
数据准备：进行数据汇总、标准化和版本控制，关注存储的效率和灵活的数据管理能力，多采用统一存储平台；
模型训练和微调：在智算中心内部，结合GPU服务器本地内存和远端的并行/分布式存储系统。因为GPU的投入巨大，需要高性能存储来高效地提供数据，并在整个过程中保持高利用率；
推理阶段：该阶段旨在利用已训练好的模型实时生成输出，需要将输入模型和推理生成的文字/图片/视频流存储下来作为备份。

02、智算中心的存储网络

我们大致可将AI智算中心内部的数据存储系统进行简单的层次分类，主要包括GPU内存、存储网和存储设备。

| 图片引自 NVIDIA技术博客

一般来说，在存储层次结构中位置越高，其存储性能（尤其是延迟）就越快。因为本文的定位在分析网络流量，我们将聚焦于存储网络（data fabric）层次，即智算中心内部GPU服务器内存与远端存储服务器之间传输的数据。

在一个计算和存储分离的部署场景中，一般推荐部署2张Spine-Leaf架构的物理网：前端网和后端网。其中，存储前端网和业务网共用一张物理网。

存储后端网则单独使用一张物理网，以保证分布式存储集群能够快速无阻塞地完成多副本同步、故障后数据重建等任务。存储节点对网络接入侧的可靠性要求相对较高，因此推荐使用双归（MC-LAG）或者多归（EVPN-Multihoming）接入。

存储网络流量主要发生在模型训练的场景，它是一种单播流量，逻辑上仅需要以存储服务器为中心的星型连接。

一是从存储服务器中分批加载训练数据集到GPU内存。
二是训练的中间结果（定期保存的参数和优化器状态，即Check Point）要在存储服务器共享，并通过网络读写。

⑴ 数据集加载流量分析

在一个epoch中，整个训练集被遍历一次，如果进行评估，验证集也将被遍历一次。以下假设在每个epoch中进行评估，整个数据集的存储大小为D。

数据并行时，整个数据集从网络存储读取，通过scatter操作分别加载到不同的GPU上，总网络流量为D。
张量并行时，整个数据集从网络存储读取，通过broadcast操作发送给所有GPU，总的网络流量为 D x G。
流水线并行时，整个数据集从网络存储读取，喂给流水线上第一个GPU，总网络流量为D。
3D并行时，整个数据集从网络存储读取，在数据并行维度上分配，在张量并行维度上广播，总网络流量为D x G（tp）。

以C4数据集为例，数据集的大小约38.5 TB，假设张量并行GPU数量为8，3D并行时每个epoch中加载数据集产生的网络流量为308TB。

⑵ Checkpoint存储流量分析

Checkpoint中存储了模型参数、优化器状态和其它训练状态（包括模型配置、训练的超参数、日志信息等）。优化器包含了梯度、动量和二阶矩估计等，每一种数据大小都等于模型参数。其它训练状态的大小可以忽略不计。假设模型参数为P，数据格式为BFLOAT16，优化器为Adam/AdamW，则checkpoint总大小为：

2 x P + 2 x P x 3 = 8 x P

这个checkpoint要保存在存储服务器中，虽然在张量并行、流水线并行和3D并行时，这些数据从多个GPU上通过gather操作汇聚到存储服务器，但无论如何，数据总量是一个checkpoint大小。假设每个epoch存储一次。这样，每个epoch产生的流量为：

8 x P

以Llama3-70B模型为例，假设每个epoch均存储，则产生的网络存储流量为560GB。

03、存储网设备选型：RoCE还是InfiniBand

相比训练场景，在智算中心存储网传输的流量与并行计算完全不在一个量级——虽然对链路带宽要求不那么高，但仍需满足高速分布式存储业务中所需的高吞吐、低时延、无损传输特性，并灵活满足存储集群规模调整所需的高可扩展性。

NVIDIA DGX SuperPOD™ 的方案在存储网采用的是200G的InfiniBand交换机。而事实上，随着近年来AI以太网技术的进步，RoCE与IB在转发时延上的细微差异，对分布式存储业务性能几乎没有影响。结合科学的网络参数调优，我们已在多个客户现场稳定测得了运行RoCEv2协议的交换机端到端性能全面优于IB交换机的结果。RoCE交换机作为IB平替已是不争的事实。

星融元 CX664P-N 是一款专为智算/超算中心设计的超低时延RoCE交换机，凭借以下特性在存储场景中脱颖而出。

型号为CX564P-664D-N数据中心交换机产品图

CX664D-N— 业务接口：64 x 200GE QSFP56, 2 x 10GE SFP+

CX-N系列一贯的超低延迟特性，端到端性能可媲美IB*（*测试数据详见方案手册）
12.8Tbps 的线速 L2/L3 交换性能，提供高密度 200G/100G 以太网接口，满足主流存储网络需求并兼顾未来升级空间；另有两个 10G 端口用于管理网接入
支持基于 RDMA 的 NVMe-oF (全端口标配RoCEv2)和EVPN-Multihoming → 什么是EVPN多归属，和MC-LAG的区别？
搭载持续进化的企业级SONiC——AsterNOS网络操作系统，其开放的软件架构通过REST API开放全部网络功能给AI智算中心管理系统，实现无损以太网的自动化极简部署 → Easy RoCE：一键启用无损以太网

除存储网之外，基于通用、解耦、高性能的以太网硬件和开放软件框架，星融元可为大模型算力中心提供10G-800G的全场景互联能力。

一文揭秘AI智算中心网络流量 – AI推理篇

关注星融元

本篇为“揭秘AI智算中心网络流量“系列的第二篇，前篇请参阅：一文揭秘AI智算中心网络流量 – 大模型训练篇。有关数据存储流量的分析将于下篇呈现，敬请关注。

AI推理是指从经过训练的大模型中获取用户查询或提示的响应的过程。

为了生成对用户查询的完整响应，AI推理服务器从一次推理迭代中获取输出token，将其连接到用户输入序列，并将其作为新的输入序列反馈到模型中以预测下一个token。这个过程被称为“自回归”计算，此过程重复进行，直到达到预定义的停止标准。

自回归

AI推理系统如何生成一次完整的响应？

⑴ 预填充/提示（Prefill）：模型从用户那里获得输入序列。基于此输入，模型预测第一个输出token。

⑵ 解码（Decode）：将生成的输出token连接到输入序列。更新后的输入序列被反馈到经过训练的模型中，然后生成下一个token。

⑶ 循环：解码继续进行，每个新token都是基于所有先前token的累积序列生成的。这种将输出token自回归地馈送到输入的过程确保模型在每个步骤的输出都受到所有先前token的影响，从而使其能够保持上下文和连贯性。

⑷ 终止：当模型达到停止标准时，它会终止该过程。停止标准可以是以下之一。

最大序列长度：一旦达到总token（输入和输出）数量的定义限制
序列结束 (EOS) ：模型生成一个特殊token，表示文本生成的结束。
上下文完成：当模型确定生成的文本已根据提供的上下文得出自然且合乎逻辑的结论

AI并行推理网络流量分析

由于在预填充阶段已知整个token输入序列，因此推理加速器可以并行计算所有输入token的信息，并执行模型来预测下一个输出token。

在大模型推理时，虽然模型经过了压缩（比如4bit量化），但模型尺寸仍可能超过单个GPU的内存，这时候就需要张量并行，即使单个GPU可以容纳整个模型，张量并行可以加速推理过程。如果并发用户数较大，单个GPU来不及及时响应，就需要数据并行。

让我们再次回顾AI推理的两个关键阶段：

预填充（Prefill）阶段根据用户输入的prompt，生成输入token序列，并进行批处理，计算KV（Key, Value）缓存，并生成第一个输出token。这个阶段可以认为是大模型在理解用户输入，KV缓存存储了输入序列的上下文信息（为下面的Decode阶段缓存），其特点是需要大量的计算。
解码（Decode）阶段是一个循环过程，根据之前生成的token序列和KV缓存，计算下一个token，直到生成完整的输出。这个阶段可以认为是大模型在一个字一个字的说话。由于KV缓存的密集型计算已在 Prefill 阶段完成，因此此阶段仅处理上一阶段新生成的 token。因此，计算密集程度较低；但这一步需要从 KV缓存中读取前面所有token的Key,Value，所以需要高速的内存访问。

由于以上两个阶段对GPU的需求不同，我们可以采用Prefill-Decode解耦的方式，由2个不同类型的GPU分别承担Prefill和Decode阶段的计算任务，顺序执行。这时候就需要在两个阶段间传输KV缓存。

在生产部署时，通常结合上述几种方式。相比AI训练，AI推理只有前向传播过程，计算量相对较低，但需要快速的生成下一个token。流量产生有两个来源：

每次推理在Prefill GPU和Decode GPU之间传递KV缓存；
Prefill GPU集群和Decode GPU集群分别实施张量并行，产生的中间激活的传递。不会有巨量的梯度同步流量。

假设并发用户数为U，数据并行维度为G(dp)，张量并行维度为G(tp)，用户输入序列的平均长度为S(in)个token，模型产生输出的平均长度为S(out)个token。

在张量并行时，前向传播产生了GPU间的网络流量，各个GPU计算出的中间激活值需要合并，由all-reduce操作进行求和。

假设模型有L层，在一次推理过程中，S(in)个输入token在模型的每一layer进行2次批量合并，共2L次，而对于每个输出Token，在模型的每个layer的中均进行2次合并，共 2xS(out) x L 次。此外，在Prefill阶段和Decode阶段之间有一次KV缓存的传递。AI并行推理网络流量如下图所示：

假设模型的隐藏状态大小为H，GPU数量为G，计算激活使用的数据格式为FLOAT16（2个字节表示一个数），每次all-reduce操作的通信量为

2 x H x （G_tp-1）x G_tp

在Prefill阶段，所有输入Token，在模型的每个layer的中均进行2次批量合并，共2xS(in)xL次。在Decode阶段，对于每个Token，在模型的每个layer的中均进行2次合并，共2xS(out)xL次。因此，U个用户的并发推理，中间激活值的总网络流量为

4 x U x（S_in+S_out）x L x H x （G_tp-1）x G_tp

另外，在一次推理中，KV缓存的大小为

4 x S_in x L x H

因此，U个用户的并发推理，KV缓存传递的网络流量为

4 x U x S_in x L x H

以Llama3-120B模型为例，模型层数140，隐藏状态大小8192，张量并行度为4，用户prompt的平均长度S(in)为256个token，产生的输出的平均长度S(out)为4096个token。则要支持100个并发用户请求所需要的推理流量为：

4 x 100 x （256 + 4096）x 140 x 8192 x （4-1）x 4 + 4 x 100 x 256 x 140 x 8192 = 21.896TB

其中，KV缓存传递的流量虽然不大，每个用户约1.17GB，但需要在10ms左右的时间内一次传递完成。如果用1个800G端口传递，最快需要11.7ms。

AI推理对网络的需求

超高频率

AI推理流量虽然远小于训练时的网络流量，但值得注意的是，推理需要在很短的时间内完成，每个token在每一层产生2次流量，并要求在极短时间内传输完毕。假设至少要达到100token/s的推理速度，并行加速比为90%，那么每个token的推理速度要小于1ms，KV缓存需要在10ms左右完成。整个网络吞吐量应大于

4 x 100 x 140 x 8192 x （4-1）x 4/0.001 + 4 x 100 x 140 x 8192/0.01 = 5551GB/s ≈ 44.4Tbps

严格时间同步

无论是训练还是推理流量，都具有非常严格的周期性规律。基于木桶原理，如果GPU的时钟不同步，将造成同样的计算量花费不同的时间，计算快的GPU不得不等待计算慢的GPU。

开放与兼容性

AI推理进程涉及应用已训练好的AI模型进行决策或识别。对比AI训练，AI推理芯片门槛相对更低，我们的确也看到推理领域萌生出了开放生态的雏形，不少新兴初创企业加入竞争，涌现出基于不同算力架构的技术方案。

另一方面，在实际生产部署中的AI推理业务往往会与前端的业务/应用网络形成紧密配合，经由现有数据中心和云网络基础设施对外提供服务。

这便要求基础设施具备相当的开放性——网络不但要连接底层的异构算力（GPU、CPU、NPU）系统，还需要实现与上层管理系统的对接集成，例如与基于K8s的算力调度平台、已有的云管平台等等。

随着大模型的应用不断深化，AI算力部署将从训练场景逐步转向推理，推理需求也逐渐从云端迁移至边缘/终端，并呈现出垂直行业定制化的趋势。在云-边-端之间，我们需要构建一个更为均衡、通用化的网络基础设施体系。

在已被用户场景充分验证的数据中心开放云网能力之上（BGP、VXLAN、Calico容器路由、RoCE、NVMe-oF等），星融元推出的 星智AI 网络解决方案基于通用、解耦、高性能的以太网硬件和开放的SONiC软件框架，为AI智算中心提供10G-800G速率的以太网交换机，灵活支持单一速率或混合速率交换机组网，在保持极致性能的同时可编程、可升级，帮助客户构建高性能的AI智算中心网络，提供用于AI训练、推理、分布式存储、带内外管理等场景的互联能力。

最大支持64个800G以太网接口，共51.2T交换容量
超低时延，在800G端口上实现业界最强的560ns cut-through时延
全端口标配支持RoCEv2
200+MB大容量高速片上包缓存，显著减小集体通信时RoCE流量的存储转发时延
Intel至强CPU + 大容量可扩展内存，运行持续进化的企业级SONiC——AsterNOS网络操作系统，并通过DMA直接访问包缓存，对网络流量进行实时加工
INNOFLEX可编程转发引擎：可以根据业务需求和网络状态实时调整转发流程，最大程度避免网络拥塞和故障而造成的丢包
FLASHLIGHT精细化流量分析引擎：实时测量每个包的延迟和往返时间等，经过CPU的智能分析，实现自适应路由和拥塞控制
10纳秒级别的PTP/SyncE时间同步，保证所有GPU同步计算
开放的软件架构（生产就绪的SONiC，AsterNOS）通过REST API开放全部网络功能给AI智算中心管理系统，与计算设备相互协同，实现AI算力集群的自动化部署

AI Open Ecology

一文揭秘AI智算中心网络流量 – 大模型训练篇

关注星融元

前言：自2017年起，AI模型的规模每半年翻一番，从初代Transformer的6500万增长到GPT-4的1.76万亿，预计下一代大语言模型将达到10万亿规模。另一方面，用于模型训练的数据量持续增长，如C4数据集，原始数据量累计超过9.5PB，每月新增200-300TB，目前经过清洗加工后的数据集大小约38.5 TB，训练样本数364.6M。进一步，随着多模态大模型的兴起，训练数据从单一的文本过渡到图像和视频乃至3D点云，数据规模将是文本数据的1万倍以上。

AI模型的规模巨大并持续快速增长，不仅将带来数据中心流量的指数型增长，独特的流量特征也将为数据中心网络带来崭新的需求。

深入分析AI大模型在训练、推理和数据存储流量将帮助数据中心建设者有的放矢，用更低的成本，更快的速度、更健壮的网络为用户提供更好的服务。

本篇我们将聚焦于介绍AI大模型训练场景下的网络流量，AI推理和数据存储场景会在接下来的文章中呈现，敬请关注。

AI model

AI训练程序首先将模型参数加载到GPU内存中，之后将经历多个epoch（即使用所有训练集对模型进行一次完整训练），每个epoch的处理过程可以简单描述为4步：

加载训练数据，在每个epoch中，根据batch size将整个数据集分为若干个mini-batch，分批次加载训练数据，直到遍历整个训练数据集。
训练，包括前向传播、计算损失、反向传播和参数/梯度更新，每个mini-batch都进行上述步骤。
评估，使用评估数据集对模型的指标进行评估。这一步是可选的，可以在整个训练完成后单独进行，也可以间隔若干个epoch进行一次。
保存checkpoint，包括模型状态、优化器状态和训练指标等。为了减少存储需求，通常经过多个epoch后保存一次。

在大模型出现之前，整个过程在可在一台AI服务器内部完成，训练程序从服务器本地磁盘读取AI模型和训练集，加载到内存中，完成训练、评估，然后将结果存储回本地磁盘。虽然为了加速训练，也会采用多块GPU同时训练，但所有的I/O均发生在一台AI服务器内部，并不需要网络I/O。

AI大模型训练的网络流量有哪些？

进入大模型时代，AI训练的流量路径和其网络需求发生了巨大变革。

首先是模型的参数规模超出了单个GPU的内存，采用GPU集群协同计算，则需要相互之间通信以交换信息，这类信息包括参数/梯度、中间激活值等。

庞大的数据集被所有GPU共享，需要集中存放到远端的存储服务器中通过网络调用，分批加载到GPU服务器上。此外，定期保存的参数和优化器状态也需要通过存储服务器共享，在每个训练epoch中，都要通过网络读写数据。

由此，AI大模型训练的网络流量可分为以下两类：

第一类是GPU之间同步梯度和中间激活的网络流量，它发生在所有GPU之间，是一种广播式流量，逻辑上需要所有GPU全连接。
第二类是GPU和存储服务器之间的流量，它仅仅发生在GPU和存储服务器之间，是一种单播流量，逻辑上仅需要以存储服务器为中心的星型连接。

并行训练技术

其中，GPU之间的网络流量与传统数据中心内部流量迥然不同，这与AI大模型的训练方法息息相关——并行训练技术。

并行训练：AI智算中心的主要流量来源

当前广泛应用于AI训练并行计算模式主要有以下三类：

数据并行	将不同的样本数据分配给不同的GPU，以加快训练速度；用在主机之间
张量并行	将模型的参数矩阵划分为子矩阵，并分配到不同的GPU上，以解决内存限制并加速计算。一般用在主机内部。
流水线并行	将模型分为多个阶段，每个阶段分配给不同的GPU，以改善内存利用率和资源效率。一般用在主机之间

并行训练

常见的集合通信流量模式（如下图）

Collective communication

1.数据并行（Data Parallelism）

在数据并行时，主要的网络流量来源于梯度同步，它发生在每次mini-batch处理之后，由一个all-reduce操作计算平均值。理想情况下，所有GPU全连接，每个GPU给其它G-1个GPU单独发送数据，共需发送G x（G-1）份数据。

FSDP(完全分片数据并行)是一种改进的数据并行技术，旨在优化内存使用和通信效率。它通过将模型参数和梯度在多个GPU之间分片（shard）存储，实现更高效的内存利用和通信。

在FSDP时，网络流量来自前向传播的参数收集以及反向传播中的梯度同步。

前向传播的参数收集由all-gather操作完成，all-gather的通信复杂度与all-reduce相同。

后向传播的梯度同步由all-reduce操作完成，由于每个GPU的参数只有原来的1/G，一个epoch中总的网络流量只有普通数据并行的1/G。

2.张量并行（Tensor Parallelism）

在张量并行时，模型参数分布到G个GPU上，每个GPU只存储1/G参数。网络流量主要来自前向传播过程的中间激活值的传递以及反向传播过程中的梯度同步。

前向传播中，各个GPU计算出的中间激活值需要合并，由一次all-reduce操作进行求和。对于每个Token，在模型的每个layer的中均进行2次合并，共2xTxL次通信。

反向传播中，梯度需要在GPU之间同步，这种在每一层的处理中发生2次，由all-reduce操作将各个GPU上梯度求和。这种同步发生在每个mini-batch的每个layer的处理过程中。共2×N×L次通信。

3.流水线并行（Pipeline Parallelism）

在流水线并行时，网络流量主要来自前向和反向传播过程的中间激活值的传递。与张量并行不同，这些流量的传递发生在模型的前后两个阶段之间，使用Point-to-point通信而非all-reduce操作，并且频率也大大减小了。

综上，在三种并行方式中，张量并行的网络流量最大、频率最高，流水线并行的流量最低，数据并行的通信频率最低。如下表所示，P为模型参数，T为token数，L为模型层数，H为隐藏状态大小，G为GPU数量，N为mini-batch的数量，采用BFLOAT16数据格式，每个参数占2个字节。在每个epoch过程中：

	流量模式	后向传播总网络流量	反向传播同步次数	前向过程总网络流量	前向过程传递次数
数据并行	all-reduce	2 × N × P × G × (G-1)	1	0	0
FSDP	all-gather + all-reduce	2 × N × P × (G-1)	L	2 × N × P × (G-1)	L
张量并行	all-reduce	4 × N × P × L × (G-1)	2 × L	4 × L × T × H × (G-1) × G	2 × L × T
流水线并行	Point-to-point	2 × T × H × (G-1)	G-1	2 × T × H × (G-1)	G-1

以具有80层（L）的Llama3 70B（P）模型和C4数据集为示例计算：采用BFLOAT16数据格式，每个参数占2个字节，隐藏层维度设为8192（H），使用8个GPU（G）进行数据并行。C4数据集token（T）总数约156B，样本数364.6 millions；batch size为2048，则每个epoch包含约178,000个mini-batch（N）。

计算可得每个epoch过程中：

	反向传播总网络流量（PB）	反向传播同步次数	前向过程总网络流量（PB）	前向过程总网络流量
数据并行	1396 PB	1	0	0
FSDP	175	80	175	80
张量并行	26622	160	21840	16015610^9
流水线并行	17.9	7	17.9	7

3D并行技术下的网络流量

数据并行、张量并行和流水线并行三个技术通常会组合起来使用，可进一步提高训练大模型时的效率和可扩展性。这时候，GPU也就按照这三个维度组成了GPU集群。

3D并行技术

假设共有G(tp)×G(pp)×G(dp) 个GPU组成的3D并行阵列，全部P个参数将分割为G(tp)×G(pp)份，每一份大小为P/G(tp)/G(pp)。在模型并行、流水线并行和数据并行三个维度上都存在网络流量。接下来我们将深入到每个epoch的训练过程，分别计算不同阶段的网络流量组成和规模。

3D并行技术

1.反向传播中的网络流量

在每个mini-batch中，反向传播时的梯度同步分为：

张量维度上的梯度同步，在模型的每一层和数据维度的每一组中进行，总共 LxG(dp) 次，每次包含2个all-reduce操作。
数据维度上的梯度同步，在流水线维度的每个阶段和张量维度的每一组中进行，总共 G(tp)xG(pp) 次，每次包含1个all-reduce操作。

如下图所示：

反向传播中的网络流量

这样，在一个epoch中，梯度同步的总网络流量为：

4xNxP/G_tp/G_ppxG_tpx(G_tp-1)xLxG_dp+2xNxP/G_tp/G_ppxG_dpx(G_dp-1)xG_tpxG_pp=2xNxPxG_dpx[2xLx(G_tp-1)/G_pp+(G_dp-1)]

3.流水线并行维度的中间激活梯度传播，流量为：

2xTxHx(G_pp-1)

因此，在一个epoch中，整个反向传播的总流量为：

2xNxPxG_dpx[2xLx(G_tp-1)/G_pp+(G_dp-1)]+2xTxHx(G_pp-1)

2.前向传播中的网络流量

前向传播时，中间激活的传递依次在张量并行、流水线并行维度上交替进行，其中张量并行的激活传递每次包含2个all-reduce操作。

如下图，以一个Token的前向传播所示：

Token的前向传播

因此，在一个epoch中，前向传播总网络流量为：

4xTxHxLxPxG_tpx(G_tp-1)+2xTxHx(G_pp-1)

即：

2xTxHx(2xLxG_tpx(G_tp-1)+(G_pp-1)

由此，我们以Llama3-70B模型为例，采用8路张量并行 x 8路流水线并行 x 16路数据并行的模式，在共1024个GPU上进行训练，一个epoch产生的总流量约为85EB。如此庞大的流量规模，如果用1个交换容量为51.2T的交换机，24小时满负荷运行，需要约20天才能传输完毕。

考虑到一次预训练通常包含100个左右epoch，如果需要在100天完成训练，至少需要20台51.2T交换机来传输训练过程产生的数据。

AI训练对智算中心网络的要求

通过以上分析和计算，我们可以得出一个典型的AI智算中心对计算网的核心需求。

超高带宽：一个epoch就会产生85EB的数据量，相当于整个互联网2.5天的流量。
超低时延：一个训练样本的处理，就会产生100GB以上的数据，并需要在小于1毫秒的时间传输完毕。相当于1000个800G接口的传输速度。
集合通信：GPU服务器之间的All-reduce, All-gather操作带来广播式流量，在上万个GPU之间，也就是上亿个GPU-GPU对之间同步。
零容忍丢包：基于木桶原理，在集体通信过程中，仅仅是一对GPU之间流量的丢包和重传，也会造成整个集体通信的延迟，进而造成大量GPU进入空闲等待时间。
严格时间同步：同样基于木桶原理，如果GPU的时钟不同步，将造成同样的计算量花费不同的时间，计算快的GPU不得不等待计算慢的GPU。

星融元CX-N系列交换机正是为智算中心AI训练场景而生的超低时延以太网交换机——在保持极致性能的同时，实现可编程、可升级的能力，与计算设备形成协同，共同打造10万级别的计算节点互联，将数据中心重构为可与超级计算机媲美的AI超级工厂。

最大支持64个800G以太网接口，共51.2T交换容量。
超低时延，在800G端口上实现业界最强的560ns cut-through时延。
全端口标配支持RoCEv2，支持Rail-only，全连接Clos以及200G/400G混合组网，灵活适应不同的算力中心建设方案
200+ MB大容量高速片上包缓存，显著减小集体通信时RoCE流量的存储转发时延。
Intel至强CPU + 大容量可扩展内存，运行持续进化的企业级SONiC——AsterNOS网络操作系统，并通过DMA直接访问包缓存，对网络流量进行实时加工。
INNOFLEX可编程转发引擎，可以根据业务需求和网络状态实时调整转发流程，最大程度避免网络拥塞和故障而造成的丢包。
FLASHLIGHT精细化流量分析引擎，实时测量每个包的延迟和往返时间等，经过CPU的智能分析，实现自适应路由和拥塞控制。
10纳秒级别的PTP/SyncE时间同步，保证所有GPU同步计算。
开放API，通过REST API开放全部功能给AI数据中心管理系统，与计算设备相互协同，实现GPU集群的自动化部署。

发掘800G以太网的潜力

近期文章

什么是 800G 以太网？

800G以太网是一种用于数据传输和通信网络的高速以太网技术，可提供每秒800千兆位（800Gbps）的数据传输速率。

800G 以太网的速度是上一代 400G 以太网的两倍，可提供更大的带宽，主要用于大型数据中心、云环境和高带宽应用。它可以为这些场景提供更高的速率、更大的吞吐量和更好的网络性能，支持更快、更高效的数据通信。

800G 以太网采用 8 个通道，每个通道的传输速率为 100Gbps。这使 PAM4 的速度从上一代的 50Gbps 翻倍到 100Gbps。

800GbE 规范引入了新的媒体访问控制 (MAC) 和物理编码子层 (PCS)。它本质上重用了IEEE 802.3bs标准中的两组现有 400GbE 逻辑，并进行了一些修改，以在八个物理 106Gb/s 通道上分配数据。由于重用了 PCS，因此保留了标准 RS(544, 514) 前向纠错，以便轻松兼容现有的物理层规范。

实现800G以太网通常需要先进的网络硬件，并且通常采用低功耗设计以提高能源效率。

电气电子工程师协会 (IEEE)负责800G 以太网标准化，这有助于确保不同供应商设备之间的互操作性。

为什么我们需要 800G 以太网？

最直接的答案是应对数据爆炸。谈到训练大规模AI模型，公开数据显示，从GPT-1到GPT-4，模型参数数量已从1.1亿增长到5000亿，甚至可能超过万亿。据研究公司TrendForce称，GPT-3.5大型模型需要20,000个GPU来利用NVIDIA A100显卡的处理能力来处理训练数据。

因此，在超算集群的算力中心，先进芯片和先进算力并不对等，算力芯片只提供算力，先进算力其实遵循着“木桶效应”，算力、存储和网络传输三个核心环节，一个短板，整个系统的性能就会出现巨大的下滑。这也是为什么云服务商都在积极部署800G以太网的原因。

32-node

800 Gb/s 以太网规格

架构概述

800 Gb/s 以太网技术设计为使用 8 个 106 Gb/s 通道和 2xClause 119 PCS (400G) 的接口，用于连接以 800 Gb/s 运行的单个 MAC。下图说明了高级架构。可以使用两个 400G PMD（例如 2x400GBASE-DR4 模块）形成 800G 接口，尽管需要进行偏差管理才能保持在规范范围内。该架构还可以支持较慢的接口，例如 8×106.25G 或更慢的选项，但主要重点是使用 8×106.25G。

high-level architecture

利用现有标准

800 Gb/s 的容量可通过利用两个集成前向纠错 (FEC) 的 400 Gb/s 物理编码子层 (PCS) 实现，支持 8 条 106.25G 通道。400 Gb/s 的 IEEE 802.3 标准采用多通道分布 (MLD) 将数据从单个媒体访问控制 (MAC) 通道分配到 16 个 PCS 通道。在此 800G 标准中，将使用扩展到 800 Gb/s 的 MAC 以及两个经过修改的 400 Gb/s PCS 来驱动 8x100G 通道。这将产生总共 32 个 PCS 通道（400G 标准的 2×16），所有通道均配备 RS(544,514) FEC，如 400G 标准中所述。

MLD 条带化技术的一个重要方面是为每个虚拟通道实施唯一的对齐标记 (AM)。对于 400 Gb/s，每 163,840 x 257b 块将 AM 插入到条带化数据流中。这种做法将继续在 800 Gb/s 上进行，每个 400G 流的间距相同；但是，插入的 AM 数量将是原来的两倍，并且 AM 需要修改以确保 800 Gb/s 流的一致性，并防止配置错误的 400 Gb/s 端口与 800 Gb/s 流同步。芯片到模块 (C2M) 和芯片到芯片 (C2C) 接口采用 802.3ck 标准，每通道运行速度为 106.25G。

800G以太网网络时间表

800G以太网的发展建立在上一代400G以太网的基础上，近年来IEEE（电气电子工程师协会）、OIF（光网络互联论坛）等标准组织相继制定了400G网络的标准，为800G的发展奠定了基础。

2022 年：首款 51.2T 交换芯片发布

2022年，随着首款51.2T交换芯片的发布，网络行业迎来了重要的里程碑。这些交换芯片将支持64个800Gb/s端口，标志着800G以太网发展成为实际的硬件。与此同时，首批800G光模块的验证也在此期间开始。

2023年：标准发布和开发验证

2023年，标准组织取得了重大进展。首先，IEEE发布了IEEE 802.3df标准的第一版，该标准定义了800G以太网的物理层规范。与此同时，OIF还发布了224 Gb/s标准，为800G和1.6T系统构建112 Gb/s和224 Gb/s通道提供了指导方针。

物理层标准将于 2024-2026 年完成

未来两年，标准组织预计将继续努力，最终确定 800G 以太网的物理层标准。这将涉及进一步完善和测试规范，以确保网络设备的互操作性和性能。

800G以太网的多种应用场景

数据中心

AI数据中心：人工智能训练需要大量的数据传输和计算能力，高速以太网技术可以连接GPU集群和数据存储，支持深度学习模型的训练和AI推理。
超高密度数据存储：数据中心需要大容量存储和快速数据传输来满足不断增长的数据需求。800G 以太网可以连接存储服务器，实现超高密度数据存储。例如，大型社交媒体公司可以利用这些技术来管理用户上传的大量照片和视频。
虚拟化和容器化：虚拟化和容器化等技术需要快速的数据传输，以便在不同的虚拟机或容器之间共享资源。800G 以太网可以为虚拟机迁移和容器通信提供高带宽。例如，云服务提供商可以使用这些技术来支持客户的虚拟化工作负载。

云计算

弹性计算资源：云计算提供弹性计算资源的能力，因此需要高速网络连接。800G以太网可以促进云计算用户之间的快速数据传输。例如，科研机构可以利用这些连接在云端运行复杂的模拟和数据分析任务。
云存储和备份：云存储和备份服务需要大容量和高速传输来确保数据的安全性和可用性。高速以太网技术可以连接云存储设备和数据备份服务器。例如，企业可以使用它们来备份关键业务数据。

高性能计算

科学计算、计算模型训练等高性能计算应用需要高速的数据传输和处理能力。800G 网络可提高数据传输速度和网络性能，以执行高性能计算任务。这对于涉及处理复杂计算的科学研究、大数据分析和智能计算训练等应用至关重要。800G 以太网的引入将进一步推动高性能计算的创新和发展。

大数据

数据传输和分析：大数据分析需要广泛的数据传输和处理能力。800G 以太网可以将大规模数据集从源传输到分析平台，从而加速数据处理。例如，医疗保健组织可以使用这些网络分析大量患者医疗记录，从而改善诊断和治疗。
实时数据流：实时数据流需要极低的数据传输延迟。高速以太网技术可以支持实时数据流应用，例如金融交易监控和智能城市监控。例如，金融机构可以使用它们来监控和分析大量交易数据以检测潜在的欺诈行为。

物联网

800G以太网可以连接更多的物联网设备和传感器，实现大规模设备互联，物联网解决方案将具有更高的可扩展性和能力，促进智慧城市、智能交通、智能制造等领域的创新应用。

自动驾驶仪

高清地图和传感器数据：自动驾驶汽车需要高分辨率地图和传感器数据来实现精确定位和环境感知。800G 以太网技术将传输这些大规模数据，增强自动驾驶的安全性和可靠性。
车辆通信：车辆与基础设施之间的通信是自动驾驶的关键。高速以太网将支持车辆之间的实时通信，有助于防止碰撞并提高交通效率。

综上所述，800G网络对于推动创新应用、加速数字化转型、推动技术进步具有举足轻重的作用。

推出 Asterfusion 800G 超级以太网交换机

推出速度和效率巅峰的 Asterfusion 800G 超级以太网交换机！这款交换机采用尖端的Marvell Teralynx 10 51.2 交换芯片，可提供闪电般的性能，800GE 端口的端口到端口延迟低于 560ns。享受最佳的交货时间和价格，同时利用市场领先的 SONiC 企业分销AsterNOS的强大功能。以下是其出色的硬件和软件功能：

型号为CX864E-N的数据中心交换机

强调

51.2T 交换机，2RU 内有 64x800G OSFP 或 128x400G/512x100G
全球速度最快的交换机，800GE 端口的端口到端口延迟低于 560 纳秒
满流量负载下，64x800G SR8 端口的最大 TDP 为 2200W
200+MB 的大型片上缓冲区可实现更好的 ROCE（基于融合以太网的 RDMA）性能
10ns PTP 和 SyncE 性能支持严格同步的 AI 并行计算
先进的 INT（带内网络遥测）用于数据包延迟、丢包和路径遍历，从而实现更先进的拥塞控制算法
基于 SONIC 的开放式 AsterNOS，具有最佳 SAI 支持，更加强大和可靠。
与所有领先供应商的异构 GPU 和 SmartNIC 兼容
线速可编程性，支持不断发展的 UEC（超级以太网联盟）标准

Asterfusion 800G 以太网交换机硬件亮点：

OSFP800 交换机端口，每个支持 1 x 800 GbE（100G PAM4），或通过分支电缆支持 2 x 400G GbE、4x 200 GbE 或 8 x 100 GbE。
512 x 112G 长距离 (LR) 一流 SerDes，通过光学模块/分路器支持 64x800G、128x400G 或 512x100G 接口
高达 14.4Bpps 的 L2/L3 全线速转发
根据流/数据包平衡负载，防止拥塞并确保有效利用可用带宽
前面板上有另外两个 10G SFP+ 端口用于网络遥测管理
每个 OSFP800 端口的功率预算高达 24 W。
采用 Marvell Teralynx10 交换系列硅片。[为 800GE 端口提供业界最低的端到端延迟（低于 560ns）；经过验证的、强大的 112G Serdes，具有业界最低的误码率 (BER)。；全面的数据中心功能集：包括 IP 转发、隧道、丰富的 QoS 和强大的 RDMA。；可编程转发：提供可置换的灵活转发，使运营商能够随着网络需求的发展而编写新的数据包转发协议，而不会影响吞吐量、延迟或功率；广泛的实时网络遥测，包括 P4 带内网络遥测 (INT)。高级共享缓冲： 200+ MB 片上缓冲区，由每个端口动态共享，确保卓越的网络质量和更少的数据包丢失]
Intel Xeon 8 核 CPU，具有线速可编程性，可通过软件升级实现未来的网络协议
具有 LAN 串行支持的 BMC 模块
支持前后气流的热/冷通道
2 RU 尺寸
热插拔、负载共享、冗余 3200W AC PSU。
3+1 热插拔风扇
预装开放网络安装环境 (ONIE) 的硬件交换机
使用 Asterfusion Enterprise SONiC Distribution (AsterNOS) 进行硬件交换机预加载

Asterfusion 企业版 SONiC- AsterNOS

想象一下这样一个世界：网络基础设施不再是障碍，而是一条高速公路。这就是 Asterfusion 正在构建的世界，一次构建一个网络交换机。当其他白盒供应商让您自己拼凑解决方案时，Asterfusion 会预安装其企业版 SONiC，为您提供一站式、交钥匙解决方案。

我们并非一夜之间就取得了这样的成就。自 2017 年以来，我们由 100 多名 SONiC 研发专家组成的专业团队一直专注于一项使命：打造世界上最好的SONiC 企业网络操作系统(NOS)。最终成果是 AsterNOS，这是一款强大的操作系统，专为我们自己的一系列校园和数据中心交换机量身定制，从 1G 一直到 800G。

但兼容性是关键。这就是 AsterNOS 能与所有主流行业芯片完美兼容的原因。我们谈论的不仅仅是最低限度的兼容性——我们的商业 NOS 在功能开发和坚如磐石的稳定性方面都胜过社区版本。此外，我们的顶级支持团队随时准备介入并保持您的网络正常运行。

实践才是真理。在过去的 7 年里，Asterfusion 的 SONiC 企业解决方案在公共云、电信运营商、大型互联网公司、私有云和企业网络的战壕中经过了实战考验。我们已经学到了一些如何让现代网络以光速运行的知识。

软件亮点

预装的AsterNOS是SONiC的企业版，以SAI为内核
集成丰富的L2/L3网络特性，完整支持网络虚拟化、QoS策略等服务
先进的功能容器化和事件驱动的系统架构，加速网络服务开发/定制
提供开放的REST API接口，可供云管理平台等第三方应用集中管理和调用
为传统网络工程师提供KLISH命令行

说到现代 AIDC，AsterNOS 是从头开始构建的，旨在处理未来苛刻的工作负载，例如生成式 AI。我们的精简设计简化了最强大的以太网基础设施的管理和监控，因此您可以专注于最重要的事情 – 为您的用户提供令人难以置信的体验。借助自适应路由和 RoCE 拥塞控制，Asterfusion SONiC 可以像精心调校的管弦乐队一样优化流量，确保您的工作负载发挥最佳性能。

超低延迟网络

无与伦比的速度：采用 Marvell Teralynx10 芯片，这是世界上最快的交换机，800GE 端口的端口到端口延迟低于 560ns。非常适合对延迟敏感的应用程序，例如 AI/ML、HPC 和 NVME。
增强性能：RDMA 支持直接内存访问，将延迟性能提高到微秒级。

无损网络

零数据包丢失：ROCEv2 可确保微秒级低延迟、高吞吐量和接近零数据包丢失，开启人工智能驱动的网络性能和可靠性时代。
高级拥塞控制：受益于丰富的 QoS 功能，包括 ECN、PFC、DCBX、QCN、DCQCN 和 DCTCP，适用于大规模 RDMA 部署。
智能网络遥测 (INT)：监控数据包延迟、丢失和路径遍历，以实现高级拥塞控制算法。

高可靠网络

强大的负载平衡和冗余：最多 8192 条等价多路径 (ECMP) 路由。
无缝连接：BGP 多宿主，用于多个服务器连接，具有自动负载平衡和故障转移功能。
主动/主动多路径：多机箱链路聚合组 (MC-LAG)，实现卓越的 L2 多路径。
快速故障转移：仅需 50 毫秒即可实现 BGP 和 OSPF 的 BFD。

时间敏感网络

精确同步：实现 10ns PTP 和 SyncE 性能，这对于同步 AI 并行计算至关重要。
自动化运维网络
操作轻松：与Python和Ansible集成，支持自动化操作和维护。
零接触配置 (ZTP)：自动获取和加载部署文件，简化设备设置。

开放网络

开放企业 SONiC 分发：AsterNOS 提供最佳的 SAI 支持，确保强大而可靠的性能。
面向未来：线速可编程，支持不断发展的 UEC（超级以太网联盟）标准。

Asterfusion 800G AI网络解决方案

采用 NVIDIA DGX SuperPOD 的 RoCEv2 AI 解决方案

RoCEv2 AI Solution with NVIDIA DGX SuperPOD

通过 Asterfusion 800G 超级以太网交换机体验网络的未来——速度与可靠性和创新相结合。

参考：https://ethernettechnologyconsortium.org/wp-content/uploads/2021/10/Ethernet-Technology-Consortium_800G-Specification_r1.1.pdf

返回资源中心

CX-N系列超低时延云交换机

云化园区

CX-M系列云化园区交换机

网络操作系统（SONiC）

AsterNOS

可视交换机

开放硬件平台

智算中心/数据中心

云化园区

标签： 科普-数据中心

近期文章

最新动态

近期文章

什么是超级以太网系统

超以太网协议栈概览

物理层

链路层

传输层：UET，新一代协议栈的核心

选择性重传（Selective Retransmit）

乱序交付（Out-of-Order Delivery）

包喷洒（Packet Spraying）

拥塞控制（Congestion Control）

端到端的安全

在网计算（In Network Collectives）

软件层：Extended Libfabrics 2.0

星融元RoCE交换机与UEC

最新动态

近期文章

拥塞控制

RoCEv2 的拥塞控制机制

基于优先级的流量控制（PFC）

显式拥塞通知（ECN）

数据中心量化拥塞通知（DCQCN）

InfiniBand 的拥塞控制机制

基于信用的流量控制

端到端拥塞控制

RoCEv2与IB拥塞控制机制比较

QoS

ECMP

RoCE的ECMP

InfiniBand的ECMP

总结

最新动态

近期文章

RoCE与IB网络架构概述

RoCE与IB报文格式对比

RoCE与IB网络层级对比

物理层

链路层

网络层

传输层

RoCE

InfiniBand

RDMA操作

应用层

网络层级对比小结

RoCE与IB的较量，究竟谁更胜一筹

参考文献

最新动态

近期文章

什么是算力

算力的分类

通用算力

智能算力

超算算力

新一代算力

数据中心算力组成

数据中心网络设备

参考文献：

最新动态

近期文章

800G以太网优势何在？

800G以太网的技术解读

800G以太网行业现状

800G以太网技术如何破局？

挑战一：误码问题

解决方案：

挑战二：能耗问题

解决方案

800G以太网的未来

标签：科普-数据中心

本篇为“揭秘AI智算中心网络流量“系列的第二篇，前篇请参阅：一文揭秘AI智算中心网络流量 – 大模型训练篇。有关数据存储流量的分析将于下篇呈现，敬请关注。