如何实现 RoCE 配置的自动同步（基础篇） – DCBX协议

进入AI 时代，为多卡、多节点的大规模集群环境构造高性能的无损网络，除了具备必要的 QoS 配置能力外，设备间配置的自动同步也尤为重要。

DCBX（Data Center Bridging Exchange）协议是实现数据中心网络自动化的关键技术，由此可大大减轻运维工作量，并降低人工配置失误引发网络故障的概率。

DCBX 协议为大规模网络部署场景下设备之间的 RoCE 配置同步打下了技术基础，详细内容我们将在下篇展开介绍。

DCBX 产生背景

在现代大规模、多云互联的数据中心中，网络所负载的流量类型庞杂，其中既有对延迟和丢包极度敏感的关键业务流量（如存储、HPC、实时计算），又有可容忍一定延迟的普通数据流量。

因此我们需要对不同类型的流量设定不同的优先级，以保障关键应用的服务质量，与此相关的无损网络特性功能主要有 PFC、ETS 等。显而易见，若采用传统方式人工逐台配置，效率低下且容易引入配置失误，无法满足现代数据中心运营所需。

PFC（基于优先级的流量控制）：流量的无损传输，能够根据优先级控制流量阻塞，减少数据丢包。

ETS（增强传输选择）：用于管理不同流量的带宽分配和优先级控制，从而实现不同类型流量的服务质量管理。

下图是因为没有端到端开启 PFC 而导致的丢包/拥塞扩散示例：

• 交换机上出现拥塞，向服务器发送PFC Pause帧
• 服务器由于未使能 PFC，会继续向交换机发送流量
• 当交换机 Buffer 占用超限，出现流量丢弃则需要重传，导致了时延显著增加或引发故障

什么是DCBX

DCBX（Data Center Bridging Exchange，数据中心桥接交换）协议是基于 IEEE 802.1Qaz 的链路层协议，通过 LLDP（Link Layer Discovery Protocol，链路层发现协议）的扩展字段进行配置交换，以确保不同设备间的流控、服务质量（QoS）等设置保持一致。对于这些设置，我们在当前语境下统称为”DCB 配置”。

具体而言，DCBX 协议主要提供了以下功能：

• 发现对端设备的DCB配置信息
• 更新对端设备的DCB参数到本地
• 监测设备的DCB配置变化

DCBX 协议信息封装

如前文所述，DCBX 协议基于 LLDP 协议拓展而来，DCB的信息被封装在 LLDP 特定的扩展TLV中（Type,Length,Value）。

DCBX TLV包括 ETS Configuration TLV、ETS Recommendation TLV、PFC Configuration TLV和Application Priority TLV。

DCBX 的工作流程

DCBX 的配置宣告，协商以及更新行为通过状态机实现，DCBX 状态机运行在每个使能了 DCBX 的端口上，默认工作流程如下：

本地配置采集

初始化本地配置、本地能力和本地同步意愿。当对端存在，则进入宣告本地配置状态。

本地配置宣告

宣告本地配置。当检测到对端存在，且本地有意愿同步，则进入对端配置采集状态。

对端配置采集

初始化对端的配置、对端能力、对端同步意愿，并进入本地配置更新状态。

本地配置更新

将对端配置与本地配置进行协商，依据协商结果检查数据库中的配置，若与本地配置不一致，则更新数据库中的配置。

配置变化监测

监测本地与对端配置和存在状态是否发生变化，若发生变化则回到本地配置采集阶段。

典型场景应用示例

我们依旧以 PFC 为例，来结合图示简要了解 DCBX 协议如何在交换机与服务器之间，以及交换机和交换机之间完成参数配置交换。

交换机与服务器

DCBX 协议通过设备间双向的能力发现与配置协商，确保了 DCB 功能的端到端一致性。

服务器与交换机 DCBX 配置交换示意图

• 交换机配置 PFC 参数并使能 DCBX
• 服务器使能 DCBX 并配置接收意愿，可选配置 PFC 参数
• 通过 LLDP 扩展字段完成配置交换

交换机和交换机

交换机与交换机之间通过 DCBX 协议完成配置交换，确保了 DCB 配置在转发链路上的一致性。

交换机之间 DCBX 配置交换示意图

• 本地交换机配置接口3、4队列使能 PFC，使能 DCBX 并配置接收意愿
• 对端交换机配置接口6、7队列使能 PFC，使能 DCBX
• 本地发现对端接口 PFC 配置与本地不一致，将对端 PFC 配置同步到本地