RDMA四个发展阶段的技术特点
2023-08-09
| 支持RDMA的协议 | 特点 |
|---|---|
| IB | 1) 建设成本高昂，服务器需要专用的IB网卡，专用的IB交换机搭建专用网络，一般是普通网络设备的五到十倍，只有在金融、期货交易等环境中才会考虑使用； 2) 网络基础设施增多使相应的配套设施增加，如线缆、模块、监控、环动、电耗等； 3) InfiniBand网络具备高带宽、无丢包、配置和运维简单等优势； 4) InfiniBand交换机的延迟始终低于以太网交换机，一种特定类型的以太网交换机的端口到端口延迟为230ns，而具有相同端口数量的InfiniBand交换机的端口到端口延迟为100ns。 |
| iWARP | 1) iWARP协议较复杂，包含DDP、MPA和RDMAP三层子协议； 2) 基于TCP提供可靠的服务，但拥塞控制机制复杂，重传机制导致时延增大； 3) TCP需建立连接，工作效率低，且只能适用于点到点的场景，不适合多播场景； 4) 在大规模数据中心和大规模应用程序的场景中，大量的TCP连接会占用较多的系统资源（TCP流量将导致接近100%的CPU资源被占用），影响网络扩展性和性能； 5) iWARP与传统TCP流共享协议号空间，因此需要使用上下文状态来确定数据包是否为iWARP，增加处理延时； 6) iWARP是一个全新的协议，所以服务器网卡需要支持该协议； 7) 未被市场广泛采用，且目前只有Chelsio一家供应商的产品支持iWARP。 |
| RoCEv1 | 1) RoCEv1承载于以太网之上，大幅度降低数据中心网络建设成本； 2) RDMA只能在同一以太网广播域中通信，可伸缩性受限； 3) RoCEv1依赖无损以太网，保障RDMA的低时延、零丢包和高可靠； 4) 无损以太网配置较IB网络更加复杂，运维也更加复杂。 |
| RoCEv2 | 1) 引入IP解决了网络扩展性问题，可以在三层间路由；引入UDP解决负载均衡的问题，提高网络利用率； 2) RoCEv2依赖无损以太网，并定义了拥塞控制协议ECN，保障低时延、零丢包和高可靠； 3) UDP是无连接的，高效，具有较好的实时性，且支持一对一，一对多，多对一和多对多的交互通信； 4) UDP具有较少的开销，占用较少的系统资源，网络扩展性和性能不受影响； 5) 根据UDP端口号可以快速识别RoCE流，处理时延低。 |
通过对支持RDMA网络协议的分析，将三种技术的特点归纳为性能、延时、成本、可靠性、稳定性、配置/运维复杂度以及支持厂商等几个市场比较关心的点进行优劣势对比，更加简明、直观，如表2所示：
优劣势对比
| 特性 | IB | iWARP | RoCEv1 | RoCEv2 |
|---|---|---|---|---|
| 标准组织 | IBTA | IETF | IBTA | IBTA |
| L2/L3网络环境 | IB专网L3 | TCP/IP以太网L3 | 以太网L2 | UDP/IP以太网L3 |
| 交互场景 | 一对一，一对多，多对一，多对多 | 一对一 | 一对一，一对多，多对一，多对多 | 一对一，一对多，多对一，多对多 |
| 性能（吞吐率） | 高 | 低 | 中 | 中 |
| 延时 | 低 | 高 | 中 | 中 |
| 成本 | 高 | 中 | 低 | 低 |
| 可靠性/稳定性 | 高 | 低 | 中 | 中 |
| CPU占用率 | 低 | 高 | 低 | 低 |
| 配置/运维 | 简单 | 中等 | 较复杂 | 较复杂 |
| 支持厂商 | IBM/Microsoft/Intel/Wintel/HP/Dell/Sun等70多家，目前已所剩无几 | Intel/Chelsio等 | Mellanox/Emulex/Broadcom/QLogic/Cavium/Huawei/ATTO Technology等 | |
| Marvel/Microsoft/Linux/Kazan等两个都支持 | ||||
通过上述对比得出，RoCE相对于iWARP有着明显的优势，因此RoCE被很多主流厂商的方案所支持，成为该领域的发展方向。而在RoCE流量的传输中，网络的传输性能和质量直接影响了RDMA应用的体验，承载RoCE流量的以太网的建设就变得非常重要。
