RoCE替代InfiniBand需要具备哪些特性

前言

面对 InfiniBand 网络“供货周期长、售后服务差、性价比差”等问题，随着网络技术的发展，如今可通过 RoCE 来替代 InfiniBand 网络，在满足HPC、分布式存储业务需求的同时，能够有效避免 InfiniBand 网络所产生的一系列问题。

用户在选择数据中心网络设备替代InfiniBand网络时除了要求盒式设备本身具备尽可能低的转发时延外，由于 InfiniBand 的丢包处理机制中，任意一个报文的丢失都会造成大量的重传，严重影响数据传输性能，因此最关键的是需要具备差分服务的流量保障机制维护业务的稳定性，为上层业务提供一个零丢包无拥塞的”无损网络”，其次，为了避免及极端情况下出现拥塞，需要提供拥塞保障机制解决用户后顾之忧。

RoCE简介

RoCE 技术支持在以太网上承载 InfiniBand 协议，实现 RDMA over Ethernet。 使得基于以太网的数据传输能够减少网络延时、提高数据传输吞吐量和降低 CPU 负载。

RoCE 协议分为两个版本：

• RoCE v1协议：基于以太网承载 RDMA，只能部署于二层网络，它的报文结构是在原有的 InfiniBand架构的报文上增加二层以太网的报文头，通过 Ethertype 0x8915 标识 RoCE 报文。
• （必选）RoCE v2协议：基于 UDP/IP 协议承载 RDMA，可部署于三层网络，它的报文结构是在原有的 InfiniBand 架构的报文上增加 UDP 头、IP 头和二层以太网报文头，通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2支持基于源端口号 hash，采用 ECMP 实现负载分担，提高了网络的利用率。

在 RoCE 网络中，需要构建无损以太网用于保证网络传输过程中不丢包，构建无损以太网需支持以下关键特性：

• （必选）PFC（Priority-based Flow Control，基于优先级的流量控制）：逐跳提供基于优先级的流量控制，能够实现在以太网链路上运行多种类型的流量而互不影响。
• （必选）ECN（Explicit Congestion Notification，显示拥塞通知）：设备发生拥塞时，通过对报文 IP 头中 ECN 域的标识，由接收端向发送端发出降低发送速率的 CNP（Congestion Notification Packet，拥塞通知报文），实现端到端的拥塞管理，减缓拥塞扩散恶化。
• （建议）DCBX（Data Center Bridging Exchange Protocol，数据中心桥能力交换协议）：使用 LLDP 自动协商 DCB 能力参数，包括 PFC 和 ETS 等。一般用在接入交换机连接服务器的端口，与服务器网卡进行能力协商。
• （可选）ETS（Enhanced Transmission Selection，增强传输选择）：将流量按服务类型分组，在提供不同流量的最小带宽保证的同时提高链路利用率，保证重要流量的带宽百分比。
• （可选）一键RoCE：无损以太网络解决了丢包导致的存储性能波动难题，考虑到在以太网上使用了较多的QoS相关功能，手工配置比较复杂。部分厂商提供了“一键式“RoCE部署方案，让无损以太网的部署和管理变的简单易用。