大模型的发展已从技术研发阶段全面进入商业落地阶段。

在AI商业化落地的过程中，训练和推理是两个核心阶段。训练是在封闭的环境中让模型学习技能；而推理是7×24小时不间断的为用户提供服务，实时解决问题。因此，AI推理网络的底盘稳不稳、反应快不快，可以说能直接决定用户血压的高低。

过去，智算中心讲究排场——计算、存储、前端业务是“三网分离”的传统物理隔离。表面上看井水不犯河水，实际上呢？硬件采购的账单能把财务看哭，也给后续运维带来了沉重的负担。

今天这篇，我们就来看看将三张网合并为一张网络（融合推理网络）的底层架构、核心技术，以及具体的落地方案，它是如何帮企业在保证AI训练推理网络低时延的同时，还能把兜儿里的钱省下来，最终实现大幅降本增效。

到底什么是融合推理网络？

融合推理网络是指通过统一的物理网络拓扑，将原本物理隔离的计算、存储及前端业务流量融合到同一张高性能网络中。

为了更直观的理解融合推理网络，我们需要对比三种不同的网络流量特征：

当用户向AI抛出一个问题（Prompt）时，进入网络的是并发度极高、但单次数据量极小的老鼠流。这就好比你突然收到几百个客户同时发来问题。消息内容不多，主打一个高频并发。

这还没完，AI为了回复这几百个问题，集群内部必须瞬间去加载海量的模型权重，进行跨节点的缓存迁移，产生吞吐量极大的大象流。

这种复杂的混合流量形态，使得网络极易在多对一通信时形成 Incast 拥塞。

突破硬件隔离的融合网络架构

在传统“三网分离”的架构里，一台 GPU 服务器，得塞进三张不同的网卡：一张跑 GPU 计算，一张管分布式存储，再留一张对接前端业务，并分别接入三套独立的网络设备。如下图：

物理隔离的玩法，看上去是互不干扰，本质上却是自扫门前雪，带宽和网络资源无法互通。在推理任务中，当模型加载完成后，存储网会有高达 90% 的时间处于闲置状态，而隔壁的计算网却可能因为高并发请求堵得水泄不通，两边的带宽根本无法动态调配和复用。

而融合网络架构打破了这种硬性隔离：

• 极致控本：告别冗余的硬件采购。服务器端只需安装一张统一的高性能网卡，搭一套物理拓扑（Spine-Leaf）即可承载所有流量，大幅缩减交换机、网卡和光模块的采购成本。
• 动态带宽共享：靠着交换机自带的 QoS 务分级与调度机制，让无损流量（RoCE）与有损流量（传统 TCP）弹性共存，实现空闲带宽的动态复用。
• 高效运维：不让运维干重复的体力活。依托 Easy RoCE 等技术，在一套网络上进行一次部署配置即可，无需在多张网上重复倒腾，部署效率自然成倍往提升。

对于采用 4090 等轻量级 GPU 的集群，由于显卡本身没有 NVLink 互联通道，其 GPU 间的集合通信转发全卡在 PCIe 或外部网络上，且服务器内部没有富余空间插多张无损网卡。在这种场景下，融合网络架构是企业必须选择的唯一落地方案。

主流融合网络路线对比

在当下的智算网络改造上，基本摸索出了两种最主流的实操路线：一种是偏向稳妥、先解决内部重度资源消耗的计算与存储“两网融合”；另一种则是直接把计算、存储连同前端业务规划在一起的“三网超融合”。

融合推理网络的RoCE无损技术

要在同一张物理网上同时跑对时延极敏感的计算流、大吞吐的存储流和复杂的业务流，需要以下关键技术支撑：

1、ECN over VXLAN：消除 Overlay 网络的拥塞盲区

智算中心多租户场景通常采用 VXLAN 技术进行 Overlay 隔离。但 VXLAN 封装会加上新的外层头部，Underlay 的 Leaf 层和 Spine 层交换机发生拥塞时，Leaf解封装后，拥塞状态无法传递给端侧服务器，导致拥塞管理失效。

ECN over VXLAN 技术实现了内外层 ECN 置位的双向映射。当 Spine 出口拥塞并在外层标记 CE 错位时，Leaf 解封装时会将其完美映射回内层，确保端侧服务器能精准感知上游拥塞并及时发送 CNP 降速报文啦。

在网络规模持续扩张下，“MC-LAG + 全三层”架构虽能提供高可用和灵活的路由能力，但其运维复杂度可想而知。传统网络控制器手工配置、分散管理和被动运维的模式，已成为制约企业业务发展和稳定安全的瓶颈。

2、Fast CNP（快速拥塞通知）：微秒级闭环响应

传统 DCQCN 机制中，从交换机发生拥塞到接收端服务器，再由接收端反向向发送端发回 CNP 报文，需要经历至少一个 RTT 的反馈路径，极易导致降速不及时而触发 PFC 丢包重传。

Fast CNP 技术由交换机在内部直接捕获 RoCEv2 会话并维护流表。一旦交换机检测到拥塞，无需绕道接收端，直接在芯片内部反向构造出 CNP 报文发给发送端服务器。响应路径直接缩短一半以上，实现微秒级响应，从根本上减少了 PFC 兜底的概率，保障了整体吞吐量。

3、QoS 业务分级与混合调度

为了防止有损的前端流量抢占无损的计算与存储通道，融合网络对不同流量的 DSCP 优先级进行了深度映射与严格分级：

• 队列 7（最高优先级，SP 严格优先级调度）：集群控制与管理流量。带宽占比极小，但关乎集群生死，拥有最高转发特权。
• 队列 6（次高优先级）：拥塞控制报文（CNP，建议 DSCP：48）。但享有仅次于集群管理流的绝对转发特权 。确保“刹车指令”全网最快送达 。
• 队列 4 & 队列 3（无损队列，权重 50% / 30%）：分别划给计算流量与存储流量，严禁丢包。
• 队列 0（有损队列）：前端业务网与用户访问请求。外部请求不可预测，允许在极度拥塞时主动丢包并触发 TCP 重传，全面力保无损队列的畅通。

4、微分段：细粒度安全隔离

在单个租户或单个 VRF 内部，传统网络很难做到精细的主机级隔离。微分段技术支持基于具体的主机 IP（32位）或特定的 IP 网段（24位），在同一个租户内部划定精细的安全访问策略。比如，可轻松配置策略让同一网段的 A1 与 A2 互通，但严禁 A1 访问 A5 主机，完美满足企业对 AI 算力实例的精细化安全审计需求。

融合推理网络落地方案设计

无损网络中，设计通常追求 1:1 的无阻塞收敛比。但在融合推理网络中，由于 Fabric 带宽能够弹性共享，追求 1:1 并没有太大必要。推荐采用1.5:1 或 2:1 的非对称收敛比设计。

在超融合网络里，速率差是引发拥塞的罪魁祸首，存储节点必须换上高速网卡，跟前台的 GPU 计算节点保持绝对的速率对齐。在智算中心参考架构设计中，计算与存储节点的网络接入容量，通常按 4:1 进行经验测算。通过 4:1 的收敛超配，可以在保障突发 I/O 吞吐的同时，平摊整体建设成本（TCO）。隔离，可选EVPN MC-LAG/EVPN Multihoming实现高可靠接入。

案例：某算力服务商的千台高密推理网络实践

国内领先的某算力服务提供商为了降低本地化轻量推理集群的初期投入，在单个网络 Pod 内落地了扁平一体化的三网融合方案：

设备选型（单Pod）： Spine 层选用一组 100G 交换机提供高密互联；接入层部署大批量 25G 交换机，并采用高可用架构的高性能交换机作为 Border Leaf 挂载防火墙，向外网提供推理 API 服务。

支撑规模： 在单个Pod内，完美支持了大规模服务器集群（混合部署了前端、推理与存储节点）的高密无损接入。

落地成效： 该方案成功帮客户打破了孤立的交换网络架构，降低了初期建设成本。配合 Prometheus + Grafana 可视化监控平台与 INT（带内网络遥测）技术，运维体验也得到了质的提升。

一文解读开源开放生态下的RDMA网络监控实践

高效的网络架构是释放算力的关键，它直接影响着企业的投资回报。融合推理网络通过优化部署成本、提升带宽利用率，并提供便捷的自动化运维体验，现已成为中小企业落地私有化大模型的优选路径。

在网络通信中，拥塞是一个常见的问题，尤其是在高负载时期或网络拓扑结构不完善的情况下。传统的拥塞控制方法主要通过丢包来指示网络拥塞，当路由器的缓冲区满时，会丢弃数据包，发送方通过检测丢失的数据包来进行拥塞控制。然而，丢包会导致重传，增加网络负担，降低网络性能。

ECN（Explicit Congestion Notification）是一种改进后的拥塞控制方法，它不依赖于丢包来指示拥塞，而是在数据包的头部标记拥塞发生的信号。ECN通过向数据包的 IP 头部添加一个特殊的标记位告知发送方网络发生了拥塞。

ECN的工作原理

ECN 的工作原理可以分为三个主要阶段：标记、回传、响应。

• 标记（第一阶段）：当路由器的缓冲区开始出现拥塞时，它会检查传入的数据包。如果缓冲区超过了某个阈值，路由器会修改数据包的 IP 头部，在其中设置 ECN 位，表示网络出现了拥塞。
• 回传（第二阶段）：标记了 ECN 位的数据包继续在网络中传输，它们不会被丢弃。这使得接收方能够收到所有数据包，无需等待重传。
• 响应（第三阶段）：接收方收到带有 ECN 标记的数据包后，会向发送方发送一条特殊的通知（CNP），告知发送方网络发生了拥塞。发送方收到通知后，会根据接收方的指示适当调整发送速率，以降低网络拥塞的程度。

通过这种方式，ECN 可以更及时地指示网络拥塞，并且避免了丢包带来的额外开销，从而提高了网络的性能和效率。

ECN在网络层的实现

ECN在IP头部中需要2个比特位来承载信息，它在IPv4位于IP头部TOS字段中，示意图如下：

（Differentiated Services Field (区分服务领域):DS Field的两个部分DSCP和CU组合成一个可扩展性相对较强的方法以此来保证IP的服务质量。）

ECN在 IPv4 和 IPv6 头部中的位置和功能是类似的，但由于两者头部结构不同，其具体位置也存在差异。如下表：

支持ECN的标识

支持ECN的发送端（如服务器）在发出IP数据包时，会将其IP头部的ECN字段设置为 ECT(0)或 ECT(1)。这相当于向网络宣告：“我这个数据包是可以被ECN标记的，如果遇到拥塞，请标记我，不要丢弃我。”

拥塞标记

当支持ECN的网络设备（如路由器、交换机）检测到其缓冲区队列开始出现拥塞（但尚未满到需要丢包的程度）时，它会检查正在通过的数据包的ECN字段。如果该字段是 ECT(0)或 ECT(1)，设备就会将其修改成 CE (11)。这个动作是ECN的核心—显式拥塞通知。

信息回传

接收端收到带有 CE 标记的数据包后，会通过其传输层协议（如 TCP ACK 包中的 ECN-Echo 标志位）通知发送端。发送端接到通知后，便会像检测到丢包一样降低发送速率，从而缓解拥塞。

ECN在传输层的实现

TCP

ECN在传输层的实现，是其发挥“端到端”拥塞控制作用的关键一环。在数据传输前，发送方和接收方必须通过三次握手 (Three-Way Handshake) 建立一个稳定的连接。TCP协议负责接收来自网络层（IP）的拥塞信号，并将其反馈给发送方，最终触发发送方的速率调整。

TCP 通过其首部中的两个标志位来实现 ECN 功能。

这2位有4种可能组合，每种组合被称为码点

• ECE (ECN-Echo)​：用于接收方向发送方回显拥塞通知。当接收方收到一个被网络设备标记为拥塞体验（CE）的数据包时（接上一节内容），它会在后续返回的 ACK 包中设置 ECE=1，以此通知发送方网络发生了拥塞•
• CWR (Congestion Window Reduced)​：用于发送方向接收方确认已降低发送速率。当发送方收到一个 ECE=1 的 ACK 包并做出降速响应后，它会在下一个数据包中设置 CWR=1，以此告知接收方：“我已收到拥塞通知并已采取行动”。

UDP

UDP也是网络中传输层的一个核心协议，那么它和TCP的区别又是什么呢？

UDP 本身是无连接、无状态的协议，不像 TCP 那样有复杂的确认和重传机制。因此，ECN 在 UDP 中的实现方式与 TCP 不同，通常需要应用程序的更多参与或依赖配套的反馈协议。

发送方（应用程序）需要通过特定的 API（如 IP_ECNsocket 选项）来检测路径是否支持 ECN，并在发出的 UDP 数据包的 IP 头部设置 ECT 码点（ECT(0) 或 ECT(1)），表明该数据包支持 ECN。

当支持 ECN 的网络设备将 UDP 数据包标记为 CE 后，接收方需要检测到这一标记。由于 UDP 没有类似 TCP 的 ACK 机制，接收方需要生成一个专门的 CNP (Congestion Notification Packet, 拥塞通知报文)，CNP报文内部会携带引发拥塞的原始数据流的关键信息（源和目标IP地址、传输层端口号、拥塞程度信息、QP（Queue Pair）信息），并将其发送回源发送方。发送方在收到 CNP 后，需要主动降低数据发送速率。

ECN在RDMA中的实现方式

在高性能计算和数据中心环境中，RoCEv2 也广泛使用 ECN。其实现方式与 UDP 类似，因为 RoCEv2 运行在 UDP 之上。

支持 ECN 的交换机在检测到拥塞时，会标记 RoCEv2 数据包的 IP 头 ECN 字段为 CE。接收端网卡生成专门的 CNP（拥塞通知报文）​，其中包含导致拥塞的流量源信息，CNP 被发送回引发拥塞的发送端主机，发送端主机收到 CNP 后，会根据DCQCN（数据中心量化拥塞通知） 等算法调整相应数据流的发送速率。

面对AI算力需求，DCQCN如何优化数据中心网络性能？

智算中心的硬件核心在于为 RoCEv2提供稳定、高性能的无损网络环境。这不仅需要网卡支持，更需要交换机的深度配合。CX-N系列数据中心交换机通过其超低时延、无损网络技术、对大容量缓存的优化、高级遥测功能以及对自动化运维的支持，为DCQCN协议在AI计算、高性能计算等场景中的高效、稳定运行提供了坚实的硬件基础。

参阅文献：
https://developer.aliyun.com/article/1494789
https://blog.csdn.net/yuff100/article/details/134858611

DCQCN （ Data Center Quantized Congestion Notification），数据中心量化拥塞通知。它是一种专门为数据中心网络设计的端到端拥塞控制协议。其核心目的是在使用RDMA(RoCEv2) 的网络中，高效地管理网络拥塞，从而保证高吞吐、低延迟和零丢包（或极低丢包）。
简单来说，DCQCN就是RDMA在以太网（RoCE）环境中的“交通警察”，它确保高速数据流不会造成网络堵塞。
本文参阅文献：Congestion Control for Large-Scale RDMA Deployments.pdf

在现代RDMA数据中心网络中，PFC和DCQCN必须同时部署。PFC为RDMA提供了一个安全的、无损的链路层保障，而DCQCN则在更上层智能地管理流量，防止PFC的负面效应出现并优化全局网络效率。它们一快一慢，一局部一全局，共同构成了RoCE网络的拥塞管理基石。

DCQCN的运行条件

DCQCN依赖于PFC（Priority-based Flow Control） 来构建无损链路层，防止因为缓冲区过载导致的丢包。首先，在交换机端口上为承载RoCEv2流量的优先级（例如Priority 3）启用PFC。必须为每个端口预留足够的“空中”缓存（t_flight），以容纳在PFC PAUSE消息生效过程中，对端可能继续发送的数据包。（此值通常与端口速率和链路延迟有关）

数据中心交换机需要支持ECN和RED功能，这是CP（交换机）算法运行的基础。（大多数现代数据中心交换机都支持此功能。）

终端主机必须使用支持RoCEv2和DCQCN的智能网卡（如NVIDIA ConnectX系列），并安装相应的驱动程序和管理工具（如dcbtool）。

PFC – 优先级流量控制

工作机制：接收端交换机端口上的某个优先级队列（如RoCE流量队列）的缓冲区即将被填满。接收端会向发送端发送一个 Pause Frame，告诉它“暂停发送”这个特定优先级的流量。发送端收到后，立即停止发送该优先级的流量，直到接收端发送“解除暂停”的信号或等待一段时间后超时恢复。PFC可以实现无损网络，确保在拥塞时也不会丢包。这对于RDMA的可靠性和性能至关重要。

DCQCN – 数据中心量化拥塞通知

工作机制：交换机检测到拥塞，给数据包打上标记。接收端收到标记包后，向发送端发送拥塞通知包。发送端收到通知后，主动降低自己的发送速率，从源头上减少注入网络的数据量。DCQCN主动管理拥塞，通过降低发送速率来缓解网络中的拥塞点，同时保证不同数据流之间的公平性。

DCQCN与PFC的协同配置

在实际的RoCE网络中，PFC和DCQCN是同时启用、协同工作的。它们的交互流程完美呈现了“治标”与“治本”的结合：

瞬时微突发： 当网络中出现短暂的流量突发时，交换机缓冲区可能瞬间被填满。此时，PFC会迅速介入，触发暂停机制，防止了丢包。这是“治标”，解决了瞬时问题。

持续拥塞： 如果拥塞是持续性的（例如多个服务器同时向一个目标发送大量数据），PFC会反复被触发。虽然它防止了丢包，但并没有解决根本问题。拥塞还在持续，缓冲区始终很高，最终导致延迟增加。

DCQCN根除拥塞： 就在PFC工作的同时，交换机也检测到了持续的拥塞（高队列深度）。它开始给数据包打ECN标记。接收端生成CNP，CNP通知发送端降低速，DCQCN机制随后被激活，交换机队列深度开始下降，拥塞根源得到缓解。随着DCQCN发挥作用，网络中的拥塞被消除，交换机缓冲区水位下降。PFC检测到队列低于阈值，便会发送“解除暂停”的信号，链路恢复正常传输。

DCQCN的应用与部署

DCQCN由Mellanox（现NVIDIA的一部分）在其网卡中实现，并广泛应用于微软等大型数据中心，以支持其云存储、分布式缓存等需要高吞吐量和低延迟的服务。由于其重要性和影响力，DCQCN在2025年获得了SIGCOMM“经典之作奖”。

• AI与大模型训练：在数据并行、流水线并行和张量并行等分布式训练模式中，节点间需要频繁同步海量参数（通常达百GB级别）。DCQCN能有效减少网络拥塞，避免因PFC“刹停”或丢包导致的计算长尾延迟，保障训练任务高效运行。
• 高性能计算（HPC）​​：用于需要极高网络带宽和极低延迟的科学计算、模拟等场景，DCQCN帮助RDMA实现接近线速的传输。
• 云存储与分布式系统：如微软的云存储服务，DCQCN保障了后端存储节点间大数据块传输的效率和稳定性，同时极大降低了CPU开销。

要想实现DCQCN，你的数据中心网络需要满足一些特定条件，并理解其三个核心组件（对应下图）的职责：

智算中心的硬件核心在于为 RoCEv2提供稳定、高性能的无损网络环境。这不仅需要网卡支持，更需要交换机的深度配合。CX-N系列数据中心交换机通过其超低时延、无损网络技术、对大容量缓存的优化、高级遥测功能以及对自动化运维的支持，为DCQCN协议在AI计算、高性能计算等场景中的高效、稳定运行提供了坚实的硬件基础。

【参考文献】

DCQCN （ Data Center Quantized Congestion Notification），数据中心量化拥塞通知。它是一种专门为数据中心网络设计的端到端拥塞控制协议。其核心目的是在使用RDMA(RoCEv2) 的网络中，高效地管理网络拥塞，从而保证高吞吐、低延迟和零丢包（或极低丢包）。
简单来说，DCQCN就是RDMA在以太网（RoCE）环境中的“交通警察”，它确保高速数据流不会造成网络堵塞。
本文参阅文献：Congestion Control for Large-Scale RDMA Deployments.pdf

为什么需要DCQCN？

现代数据中心应用需要高吞吐量和超低延迟网络，具有低 CPU 开销。标准 TCP/IP 堆栈不能满足这些要求，但RDMA可以。在 IP 路由的数据中心网络上，RDMA 使用 RoCEv2 协议部署，该协议依赖于基于优先级的流量控制 (PFC) 可实现无中断网络。

但是，由于队头阻塞和带宽分配不均等问题，PFC 会导致应用程序性能不佳。为了缓解这些问题，DCQCN诞生了。

DCQCN是如何工作的？

DCQCN 是一种基于速率的拥塞控制协议，它模仿了著名的QCN（Quantized Congestion Notification），但做了适应数据中心的修改，更适合RDMA的高性能、低开销特性。

• 发送方：速率调节的起点（运行RDMA应用的服务器）
• 交换机：拥塞的检测和通知者（支持ECN的交换机）
• 接收方：通知的转发者（运行RDMA应用的服务器）

整个过程可以分为以下四个步骤：

步骤 1: 拥塞检测与标记（在交换机发生）

交换机持续监控其出口端口的队列深度。当某个端口的队列长度超过一个预设的阈值（Kmin）时，交换机判断该端口发生了拥塞。对于经过该拥塞端口的数据包，交换机会以一定概率将其IP头中的ECN（显式拥塞通知） 字段标记为“拥塞遭遇”（CE）。这个概率随着队列变长而增加。

步骤 2: 拥塞通知（接收方 -> 发送方）

被标记了ECN的数据包会继续被发送到接收方服务器。接收方的网卡识别到这个ECN标记后，不会像传统TCP一样等待ACK包，而是立即生成并发送一个名为“CNP”（Congestion Notification Packet）的特殊控制包 directly返回给发送方。

CNP包非常小（约64字节），拥有最高优先级，以确保它能最快速度地返回给发送方，几乎无延迟地报告拥塞。

步骤 3: 速率调节（在发送方发生）

发送方收到CNP包后，就知道其发出的数据流在某处造成了网络拥塞。发送方会根据内置的算法立即降低其数据发送速率（Rate）。这个降速过程是多级的：

• 快速恢复：首先进行一次大幅度的降速（乘以一个小于1的因子，如 0.5），以快速缓解网络压力。
• 主动减少：之后进入一个阶段，持续地、较小幅度地降低速率。
• 主动增加：当一段时间内没有收到新的CNP包时，发送方会认为拥塞已经解除，开始缓慢地、逐步地增加发送速率（加法增加），以重新探知可用带宽。

这个“降-增”的循环过程使得DCQCN能够动态、平滑地适应网络状态，既不会过于激进导致带宽浪费，也不会过于保守导致延迟升高。

DCQCN的应用与部署

DCQCN由Mellanox（现NVIDIA的一部分）在其网卡中实现，并广泛应用于微软等大型数据中心，以支持其云存储、分布式缓存等需要高吞吐量和低延迟的服务。由于其重要性和影响力，DCQCN在2025年获得了SIGCOMM“经典之作奖”。

• AI与大模型训练：在数据并行、流水线并行和张量并行等分布式训练模式中，节点间需要频繁同步海量参数（通常达百GB级别）。DCQCN能有效减少网络拥塞，避免因PFC“刹停”或丢包导致的计算长尾延迟，保障训练任务高效运行。
• 高性能计算（HPC）​​：用于需要极高网络带宽和极低延迟的科学计算、模拟等场景，DCQCN帮助RDMA实现接近线速的传输。
• 云存储与分布式系统：如微软的云存储服务，DCQCN保障了后端存储节点间大数据块传输的效率和稳定性，同时极大降低了CPU开销。

要想实现DCQCN，你的数据中心网络需要满足一些特定条件，并理解其三个核心组件（对应上图）的职责：

智算中心的硬件核心在于为 RoCEv2提供稳定、高性能的无损网络环境。这不仅需要网卡支持，更需要交换机的深度配合。CX-N系列数据中心交换机通过其超低时延、无损网络技术、对大容量缓存的优化、高级遥测功能以及对自动化运维的支持，为DCQCN协议在AI计算、高性能计算等场景中的高效、稳定运行提供了坚实的硬件基础。