InfiniBand交换机是一种高速网络交换机，它采用了InfiniBand技术，一种面向高性能计算和数据中心的网络协议，来实现高性能、低延迟和高带宽的数据传输，可为计算机到计算机的数据互连提供卓越的吞吐量和最小的延迟。它既用作服务器和存储系统之间的直接或交换互连，也用作存储系统之间的互连，传输速度通常在Gbps至Tbps之间，比传统的以太网和Fibre Channel协议要快得多。

InfiniBand交换机通常用于高性能计算(HPC)、数据中心、云计算和大规模存储等领域，以满足高性能计算和数据传输的需求。随着人工智能的指数级增长，InfiniBand已成为GPU服务器的首选网络互连技术。

InfiniBand的网络架构

InfiniBand 是处理器和 I/O 设备之间数据流的通信链路，支持多达 64,000 个可寻址设备。 InfiniBand 架构 (IBA) 是一种行业标准规范，定义了用于互连服务器、通信基础设施、存储设备和嵌入式系统的点对点交换输入/输出框架。

InfiniBand 具有低延迟、高带宽的特点，非常适合在与数千个互连节点的单一连接中连接多个数据流（集群、通信、存储、管理）。最小的完整IBA单元是子网，多个子网通过路由器连接起来，形成一个大的IBA网络。

InfiniBand 系统由通道适配器、交换机、路由器、电缆和连接器组成。 CA 分为主机通道适配器 (HCA) 和目标通道适配器 (TCA)。 IBA交换机在原理上与其他标准网络交换机类似，但必须满足InfiniBand的高性能和低成本要求。 HCA是IB端节点（例如服务器或存储设备）连接到IB网络的设备点。 TCA 是一种特殊形式的通道适配器，主要用于嵌入式环境，例如存储设备。

HCA是IB端节点（例如服务器或存储设备）连接到IB网络的设备点。 TCA 是一种特殊形式的通道适配器，主要用于嵌入式环境，例如存储设备。

InfiniBand交换机的优势

1. 低延迟：InfiniBand 网络以其极低的延迟而闻名。 RDMA 零拷贝网络减少了操作系统开销，允许数据在网络中快速移动。
2. 高带宽：InfiniBand 网络提供高带宽数据传输功能。它通常支持数10Gb/s甚至更高的带宽，高带宽使得节点之间高速交换数据成为可能。
3. 高吞吐量：由于低延迟和高带宽的特点，IB网络能够实现高吞吐量的数据传输。支持大规模数据流的并行传输，同时减少中间处理和复制操作
4. 可扩展性：支持全局互连网络、树形结构、扁平结构等多级拓扑，可根据应用需求和规模灵活配置和扩展。

InfiniBand交换机的缺点和局限性

InfiniBand（IB）的确拥有众多优势，令人好奇的是，为什么在人工智能爆炸性发展的背景下，市场越来越多地表达出希望以太网成为人工智能工作负载的首选技术。随着时间的推移，业界发现了InfiniBand的几个致命缺点：

1. 成本非常高：与以太网相比，InfiniBand 的主要缺点是价格过高。使用InfiniBand构建专用网络需要指定的IB网卡和交换机，其成本一般是普通网络设备的五到十倍。因此，InfiniBand 只被认真考虑在金融和期货交易等高端行业实施。
2. 运维费用增加：InfiniBand作为专用网络技术，无法充分利用用户现有的IP网络基础设施和积累的运维知识。选择InfiniBand的企业必须聘请专门的人员来处理特定的运维需求。但由于InfiniBand所占据的市场空间有限（不到以太网的1%），行业内经验丰富的运维人员严重短缺。网络故障可能会长时间得不到修复，从而导致高昂的运营费用 (OPEX)。
3. 供应商锁定：供应商锁定的存在是 InfiniBand 交换机的一个主要缺点。这些交换机由特定供应商制造并使用专有协议，这使得它们很难与使用IP以太网的其他网络设备进行通信。这种封闭的架构也给未来需要可扩展扩展的企业带来了风险，因为与单一供应商的捆绑可能会导致不可控的风险。
4. 交货时间长：InfiniBand 交换机的交货时间长是另一个问题。他们的到来是不可预测的，这增加了项目风险并阻碍了业务扩展。
5. 升级慢：网络的升级过程取决于各个厂商的产品版本，无法实现全行业的统一升级。这种升级缓慢会阻碍网络的整体进步。

以太网承载RDMA替代InfiniBand

目前，存在三种类型的RDMA网络。 Infiniband是专为RDMA设计的网络，从硬件层面保证可靠传输，而RoCE和iWARP是基于以太网的RDMA技术，支持相应的Verbs接口。  

RDMA首先在Infiniband传输网络上实现，技术先进但价格昂贵。后来厂商将RDMA移植到传统以太网中，降低了RDMA的使用成本，促进了RDMA技术的普及。下面是各个RDMA网络协议栈的对比，目前业界讨论较多的是RoCEv2网络，RoCEv2克服了 RoCEv1 绑定到单个 VLAN 的限制。通过更改数据包封装（包括 IP 和 UDP 头），可以跨 L2 和 L3 网络使用。

如何实现？

为了在数据中心实现以太网承载RDMA，可以安装支持RoCE的网卡驱动程序和网络适配器。对于以太网交换机，需要选择使用支持PFC（优先流控制）等支持构建无损以太网的产品；对于服务器或主机，需要使用支持RoCEv2流量的网卡。

目前提供RoCE交换机组网方案的国外供应商主要有：思科、Arista、英伟达（ConnectX 系列）、Juniper网络、Aruba （CX 交换机）、DELL （EMC OS10）

国内厂商有基于SONiC提供一站式开放网络解决方案的星融元Asterfusion （25G-400G CX-N 超低时延交换机系列）

前言

面对 InfiniBand 网络“供货周期长、售后服务差、性价比差”等问题，随着网络技术的发展，如今可通过 RoCE 来替代 InfiniBand 网络，在满足HPC、分布式存储业务需求的同时，能够有效避免 InfiniBand 网络所产生的一系列问题。

用户在选择数据中心网络设备替代InfiniBand网络时除了要求盒式设备本身具备尽可能低的转发时延外，由于 InfiniBand 的丢包处理机制中，任意一个报文的丢失都会造成大量的重传，严重影响数据传输性能，因此最关键的是需要具备差分服务的流量保障机制维护业务的稳定性，为上层业务提供一个零丢包无拥塞的”无损网络”，其次，为了避免及极端情况下出现拥塞，需要提供拥塞保障机制解决用户后顾之忧。

RoCE简介

RoCE 技术支持在以太网上承载 InfiniBand 协议，实现 RDMA over Ethernet。 使得基于以太网的数据传输能够减少网络延时、提高数据传输吞吐量和降低 CPU 负载。

RoCE 协议分为两个版本：

• RoCE v1协议：基于以太网承载 RDMA，只能部署于二层网络，它的报文结构是在原有的 InfiniBand架构的报文上增加二层以太网的报文头，通过 Ethertype 0x8915 标识 RoCE 报文。
• （必选）RoCE v2协议：基于 UDP/IP 协议承载 RDMA，可部署于三层网络，它的报文结构是在原有的 InfiniBand 架构的报文上增加 UDP 头、IP 头和二层以太网报文头，通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2支持基于源端口号 hash，采用 ECMP 实现负载分担，提高了网络的利用率。

在 RoCE 网络中，需要构建无损以太网用于保证网络传输过程中不丢包，构建无损以太网需支持以下关键特性：

• （必选）PFC（Priority-based Flow Control，基于优先级的流量控制）：逐跳提供基于优先级的流量控制，能够实现在以太网链路上运行多种类型的流量而互不影响。
• （必选）ECN（Explicit Congestion Notification，显示拥塞通知）：设备发生拥塞时，通过对报文 IP 头中 ECN 域的标识，由接收端向发送端发出降低发送速率的 CNP（Congestion Notification Packet，拥塞通知报文），实现端到端的拥塞管理，减缓拥塞扩散恶化。
• （建议）DCBX（Data Center Bridging Exchange Protocol，数据中心桥能力交换协议）：使用 LLDP 自动协商 DCB 能力参数，包括 PFC 和 ETS 等。一般用在接入交换机连接服务器的端口，与服务器网卡进行能力协商。
• （可选）ETS（Enhanced Transmission Selection，增强传输选择）：将流量按服务类型分组，在提供不同流量的最小带宽保证的同时提高链路利用率，保证重要流量的带宽百分比。
• （可选）一键RoCE：无损以太网络解决了丢包导致的存储性能波动难题，考虑到在以太网上使用了较多的QoS相关功能，手工配置比较复杂。部分厂商提供了“一键式“RoCE部署方案，让无损以太网的部署和管理变的简单易用。

前言

最近闲聊时某客户多次遇到老型号一体机网络故障，基本都和InfiniBand有关。这类型的网络故障，大部分都是OS的RDS通讯相关内核的BUG，或者交换机固件的BUG引起，现场处置其实最好的办法就是重启大法，尽快将内核以及服务干净的重置，这样大部分的问题都可以恢复。因为一般来说，对内核级的网络故障诊断的人才，是非常稀少的，更别说，你在遇到一个数据库故障的时候，能够快速找到熟悉InfiniBand网络的高手。所以，最好是恢复以后，再进行深入分析和诊断，解决隐患。

可能有人会问，如此复杂难以运维那过去用户为何要用这种方案，让我们一起来一探究竟……

为什么过去用户要用InfiniBand

早期，互联网数据的爆炸式增长，给数据中心的处理能力带来了很大的挑战。计算、存储和网络，是推动数据中心发展的三驾马车。计算随着CPU、GPU和FPGA的发展，算力得到了极大的提升。 存储随着闪存盘（SSD）的引入，数据存取时延已大幅降低。但是，网络的发展明显滞后，传输时延高，逐渐成为了数据中心高性能的瓶颈。

人们发现在数据中心内，80%的流量为东西向流量（服务器之间的流量）。 这些流量，一般为数据中心进行分布式并行计算时的过程数据流，通过TCP/IP网络传输。如果服务器之间的TCP/IP传输速率提升了，数据中心的性能自然也会跟着提升。因此各厂商想出了多种RDMA解决方案，为用户解决数据中心网络的瓶颈问题。作为RDMA方案中的角力者，RoCE 定义了如何通过以太网执行RDMA，而InfiniBand架构规范定义了如何通过 InfiniBand 网络执行 RDMA。早期因为InfiniBand方案更加完善、技术先进性，更加符合用户对网络高质量，高带宽，低延迟，0丢失的需求，成为当时用户的唯一选择。

为什么现在用户寻找InfiniBand替代方案

因为RoCE（在以太网络上实现RDMA）技术已经追上InfiniBand，而且更加通用和经济。

如果说IT界要颁发“最快黯淡奖”，那么很有可能会是“InfiniBand”，理由是InfiniBand的规格及标准规范自1999年开始起草，2000年正式发表，之后主力业者纷纷退出，再经过一、二年的前期推展与市场观察，以及PCI Express的出现，几乎注定了InfiniBand的发展界限。

10年以前，InfiniBand 提供比以太网更好的延迟和带宽。然而，该行业已经完成以太网方面的转型期。Inifiband是专有的InfiniBand网络，而RoCE则是基于IP网络，目前90%的网络都是基于IP网络架构设计，相关技术更加成熟，随着技术的发展RoCE业界标准更加统一，技术更加完善和成熟。

而且不管是从购买成本还是从使用成本上考虑，以太网技术都更有经济优势。InfiniBand网络给人的感觉长期以来就是troubleshooting困难，很多一体机用户自己采购InfiniBand设备搭建的网络，因为InfiniBand网络采用单独的设备和协议（非以太网协议），一旦出现故障，往往都无法在短时间内分析出原因，作为网络维护者也找不到任何办法来重置内核服务（也可能水平有限）。

我记得曾经很多用户基于InfiniBand自建的RAC，在高可用测试中，一旦拔掉InfiniBand线，再插回去，即使可以ping通，但RAC就是无论如何也无法重启成功。必须通过reboot主机才能恢复。然后，找不到任何专业的网络技术支持。

其次，还有一个非常重要的原因就是云技术需要以太网

随着云计算向数据化智能化的方向演进，数据的流转与有效利用将为业务带来核心价值。像大规模深度学习、机器训练之类的应用是极其依赖算力的，大量的信息交互对网络提出了很高的要求，由此需要一个低时延、无丢包、高吞吐的算力网络。InfiniBand和RoCE的数据包无法互通，如果要把一体机部署到基于以太网的公有云or私有云上，那么肯定是采用RoCE是一种更好的选择！

InfiniBand总结

综上所述，InfiniBand虽然在早期RDMA解决方案中通过InfiniBand交换机在节点之间直接创建一个专用的受保护通道，并通过InfiniBand适配器管理和执行的远程直接内存访问（RDMA）和发送/接收卸载，方便了数据和消息的移动，与其他网络通信协议相比，具有了更低的延迟，但是，它厂商锁定、价格昂贵以及非通用协议需要专门设备和技能来使用等一系列的缺点，使得用户从早期采购，到后期使用整个路径上都有持续不断的“高额成本”在付出，让用户信息部门长期面临高预算的问题，一定程度上阻碍了用户用户业务的发展，以下为InfiniBand用户使用者在交谈过程时总结的种种心酸。。。

1. 性价比差：目前只有部分厂商有成熟的InfiniBand产品&方案，厂商锁定，方案价格非常昂贵；
2. 兼容性差：云时代下，InfiniBand采用单独的通讯协议，非TCP/IP协议族，无法做到与其他网络设备互通互访；
3. 售后服务差：InfiniBand专网运维依赖原厂，故障定位困难，且解决问题时间较长；
4. 供货周期长：InfiniBand交换机供货周期长，不确定性高，增加项目风险，影响业务扩展；
5. 扩展升级慢：网络的升级取决于部分厂商产品发布的进度，无法做到和业界统一升级；

随着互联网技术的不断发展，越来越多的应用场景对网络的实时性要求越来越高。传统的网络架构和传输协议难以满足这些应用的需求，因此低时延网络应运而生。本文将介绍什么是低时延网络、低时延网络的应用情况、为什么要用低时延网络以及低时延网络的主流解决方案。

什么是低时延网络？

低时延网络是指网络中的数据传输延迟非常低，通常可以达到毫秒级别甚至更短，以满足实时性要求较高的应用需求。低时延网络通常用于在线游戏、音视频通信、虚拟现实、自动驾驶、智能制造等领域。

低时延网络的应用情况

• 在线游戏：在线游戏是低时延网络的一个典型应用场景，因为它需要玩家之间的实时互动和响应。在网络延迟较高的情况下，玩家的操作和反馈会受到明显的延迟，影响游戏的流畅度和体验。
• 音视频通信：视频会议、实时语音等应用需要保证音视频的实时传输和同步，否则会出现语音、画面不同步的情况，影响通信效果和用户体验。
• 虚拟现实：虚拟现实需要高度的实时性和流畅性才能提供良好的用户体验。低时延网络可以保证虚拟环境中的操作和反馈的实时性，提升虚拟现实的沉浸感和真实感。
• 自动驾驶：自动驾驶需要实时获取车辆和周围环境的数据，对数据进行处理和决策，及时做出反应，保证车辆的安全性和稳定性。
• 智能制造：智能制造需要实时获取生产线上的数据，对数据进行分析和处理，及时做出调整和优化，提高生产效率和质量。

为什么要用低时延网络？

传统的网络架构和传输协议在实时性和延迟方面存在一定的局限性，无法满足实时性要求较高的应用需求。低时延网络可以通过优化网络拓扑、传输协议、缓存机制等方式，降低数据传输的延迟，提高网络的实时性和响应速度。这对于在线游戏、音视频通信、虚拟现实、自动驾驶、智能制造等实时应用来说非常重要。

低时延网络的主流解决方案

低时延网络的实现需要采用一些特定的技术和优化策略，如网络拓扑优化、数据传输协议优化、缓存机制优化等。以下是一些主流的低时延网络解决方案：

1. 边缘计算：将计算和存储资源放置在网络的边缘，减少数据传输的距离和延迟。
2. 多路径传输：通过多条网络路径进行数据传输，提高传输的可靠性和实时性。
3. 传输协议优化：通过优化传输协议的设计和实现，减少传输的延迟和丢包率。
4. 缓存机制优化：通过缓存机制的设计和优化，提高数据的响应速度和传输效率。

总结

低时延网络是实时应用的理想选择，可以满足在线游戏、音视频通信、虚拟现实、自动驾驶、智能制造等领域对网络实时性的要求。通过采用特定的技术和优化策略，低时延网络可以实现较低的数据传输延迟和较高的传输效率，提高实时应用的响应速度和用户体验。

网络时延

网络时延是指一个报文或分组从网络的一端传送到另一端所耗费的时间，好比如，快递从广东发出寄到成都需要3天，那么时延就等于3天，时延的高低决定了报文（快递）从一端到另一端的时间，时延越低意味着效率越高。其中时延由节点处理时延、排队时延、发送时延、传播时延四个部分组成。

• 处理时延，是指交换机、路由器等网络设备在收到报文后需要进行处理花费的时间。处理时延往往取决于交换机/路由器性能。
•  排队时延，是指路由器或交换机等网络设备处理数据包排队所消耗的时间，排队时延主要取决于当前队列中是否有其它报文在传输。
• 发送时延，是指从发送数据帧的第一个比特算起，到该帧的最后一个比特发送完毕所需的时间，发送时延即数据包长度/发送速率（信道宽度），所以发送时延与数据包长度成正比，与发送速率成反比。
• 传播时延，是指报文在实际的物理链路上传播数据所需要的时间，传播时延主要取决于信道长度（传播的距离）。

网络时延的重要性

随着数字化和数字化转型的不断推进，我们日常工作、生活中不断的出现新的应用场景，比如：人工智能、大数据、区块链、无人驾驶、边缘计算，5G通信等，新的场景带来更多的终端设备的入网，这就对我们的数据中心提出了更多的挑战。大量终端的入网伴随着海量信息的涌入，数据中心在要求大带宽的同时又关注网络的时延，旨在大带宽低时延的同时具备更高的性价比，来满足用户端良好的网络体验。

例如：过年抢火车票，有人家里装了100M/1000M的带宽或者使用了5G手机，就更容易抢到，因为骨干网上速度都差不多，但最后到个人用户网络那里时延就因网而异，响应速度快就更可能比别人先抢到火车票。

而在很多行业，降低时延就意味着增加收入，谷歌搜索产品和用户体验副总裁提到，0.5秒钟的时延就会造成流量和广告收入减少20%。同样对于电商平台来说，十分之一秒的时延就能导致亚马逊的销售额降低1%。

对于金融行业而言，时延的经济价值最为明显，1秒钟，它可以有翻天覆地改变，在电影《蜂鸟计划》的主人公为了1毫秒的领先，要在两个证券交易所之间修一条1000英里长、直径4英寸的“笔直”光纤，而这领先的每1毫秒将带来的是数百万美元盈利。

“时间就是金钱”这句谚语在高频交易业务中充分显示的其现实意义，早在 2007年，Information Week杂志在一篇题为《Wall Street‘s Quest To Process Data At The Speed Of Light 》的报道中，就提到在美国电子金融交易市场，1ms的时延优势的价值是1亿美元。目前，低时延是全球金融行业的共同追求，谁掌握了速度，谁就站上了这个行业的金字塔，所以对于服务时延敏感的业务需要做到毫秒必争，在满足业务时延需求的同时提高产品性价比，最大程度的降低数据中心网络时延提高数据中心竞争能力。

低时延网络需求的业务有哪些

早期低延时网络方案中，InfiniBand 提供比以太网更好的延迟和带宽成为当时用户唯一选择，但是InfiniBand方案目前因为种种原因面临的供货周期长、售后服务差、性价比差等等问题，极大的阻碍了用户业务的发展。如今该行业已经完成以太网方面的转型期，Inifiband是专有的InfiniBand网络，而RoCE则是基于IP网络，目前90%的网络都是基于IP网络架构设计，相关技术更加成熟，随着技术的发展RoCE业界标准更加统一，技术更加完善和成熟，在低延时网络场景中被用户接受并部署。

目前根据行业发展需求来看对低时延网络需求的业务大致分为以下四类：

• 第一是金融和电子交易类用户，金融衍生物分析、保险精算分析、资产负债管理、投资风险分析，特别是大家耳熟能详从事期货等产品高频交易的电子交易类用户；
• 第二是数字娱乐多媒体类业务，包括4K/8K高清视频直播和点播业务、在线游戏、以及未来的虚拟现实（VR）等实时性要求极高的大带宽业务；
• 第三是部分云业务，譬如实时性要求比较高的云桌面、云支付等业务；
• 第四部分，如：科研院所的生命科学、高精度天气预报、地球科学以及汽车设计/碰撞模拟、航空航天、船舶的设计单位的计算机辅助工程，等等，对网络时延指标非常苛刻，需要一些低时延网络设备和技术加以保障。

低时延场景的组网方案 

金融/证券类业务对低时延的极致需求

信息不对称是交易盈利的不二法则，时延越低，意味着你的信息比别人快，你的订单比别人先到达交易中心，你也就越容易盈利。高频交易（HFT: High Frequency Trading）或称为机器交易、算法交易已经兴起多年，交易品涵盖了期货、股票、外汇等多个领域，为了争取千分之一秒的优势，证券公司甚至还将数据中心安置在交易所附近或同一座建筑里，来满足金融企业特别是有高频交易(HFT)需求的客户对超低时延、高安全等级的网络连接需求。

数字娱乐多媒体类业务的高吞吐低时延需求

TCP协议已经成为Internet主流，TCP的确认机制保证了可靠性，但也带来了吞吐量受限的问题。TCP吞吐量受限于三个因素，带宽BW、往返时延RTT和丢包率ρ。假设带宽足够，且良好的网络质量可以不考虑丢包率，则时延成为决定性因素。如果时延过大，客户体验带宽无法提升，此时仅提高带宽无法解决问题，形象的称之为“网络带宽黑洞”。

实时性云业务的低时延需求

云计算、大数据、物联网等发展趋势使得越来越多的业务运行在云上，云已经成为通信网络无法回避的趋势，而作为云的物理载体——数据中心逐渐成为网络流量的核心。随着越来越多的上层业务迁移到云上，为了满足用户体验，同样也会对云承载网络提出严格的时延需求，例如云支付业务的最佳体验需要时延低于10ms、云桌面业务的最佳体验需要时延低于20ms，等等。

科研院/设计单位所对低时延网络需求

科研院所是科学研究和技术开发的基地，主要从事探索性、创造性科学研究活动，是实施创新驱动发展战略、建设创新型国家的重要力量。在科研院所/设计单位中经常使用超级计算机来解决和处理极其复杂的计算问题，简称HPC。

HPC各计算节点在计算过程中有频繁的通讯需求为了避免CPU等待数据进行计算的情况，因此需要低时延高带宽的网络来连接大量的计算节点间的数据传输，提升计算效率。2020 年以来，十四五和新基建驱动我国高性能计算中心建设进入高速增长期，多地地方政府和企事业单位都在积极建设和筹建高性能计算中心。

综上所述，随着电子交易、高清视频、云计算和HPC等业务的发展，时延已经成为通信网络的重要性能指标，低时延也将成为未来数据中心网络能力竞争的重要手段。在InfiniBand方案问题频发的背景下，如何建设云时代下符合未来发展且具有低时延核心竞争力的云数据中心，是我们需要思考的重要问题。

HPC解决方案