Skip to main content
开放网络的先行者与推动者—星融元
加入我们技术支持(Support)  TEL:(+86)4000989811

从STP到”去STP”,园区网络高可靠技术的演进

更多相关内容


为了保证网络的可靠性,我们往往会对关键链路进行冗余设计,而这难免就会产生一个封闭的物理环路,但是以太网的转发机制又决定了不能有物理环路,一有环路,发给所有主机的广播就会在环路反复传播,这便是广播风暴,此时网络及应用的访问将会变得缓慢,发生网络丢包等,甚至导致网络完全中断。

广播帧泛洪对交换机的CPU影响巨大,会导致不能从本地或远程登录交换机,唯一的选择就是重启或拔线。然而,通常大型的网络中定位和发现网络环路的位置又是相当困难的事情。

为解决网络环路问题,一系列环路保护协议应运而生。其中比较有代表性便是STP(生成树协议)。

什么是STP(生成树协议)

生成树协议是计算机网络中用于构建网络拓扑的一种协议。它通过选择网络中的某些连接来构建一棵无环图,从而避免了网络中的环路,保证了网络的正常运行。
生成树协议的运行比较复杂,简单来说,生成树算法(STA)会首先创建一个拓扑库,找出并关闭网络中的冗余链路。运行STP后,数据帧就只能在STP选定的最优链路上传输。

STP这类防环协议的核心思想都是通过人为阻塞端口来破坏环路

其中值得注意也最让人诟病的是,诸如STP这类防环协议的核心思想都是通过人为阻塞端口来破坏环路,代价就是冗余的链路只能闲置下来做备份。

随着技术进步,人们逐渐开始采用可堆叠交换机和MC-LAG等方式来实现网络的高可靠,它们在一定程度上改善了网络环境,不过也带来了新的问题。

交换机堆叠的优势和弊端

交换机堆叠技术可以将不同物理交换机的端口进行链路聚合,使得下行链路具备更高的带宽和弹性,因为参与堆叠的交换机在逻辑上已经虚拟成一台交换机,所以也不需要为避免产生环路而去人为阻塞线路。

尽管堆叠技术为堆叠组内的多台交换机提供统一的管理界面,但由于堆叠技术高度依赖于软件控制,设备软件升级以及故障替换极易影响业务正常运行,一旦发生软件故障,整个网络节点都将瘫痪。此外,堆叠交换机的厂商锁定问题也较严重,私有的协议和专用线缆,给扩容改造增加了限制或者额外支出。

交换机堆叠技术可以将不同物理交换机的端口进行链路聚合

MC-LAG技术的优势和弊端

堆叠方案逐渐被MC-LAG所取代。

MC-LAG方案是一种采用多个物理连接和多个设备的链路聚合方案,MC-LAG设备在提供统一转发面的时,控制面板是独立的,可以轻松地添加或删除物理连接,从而提供更好的扩展性。

MC-LAG方案是一种采用多个物理连接和多个设备的链路聚合方案

但是,MC-LAG下的peerlink互联同样会占用端口资源,并且相对于堆叠,MC-LAG下两台设备逻辑上仍然是两台,运维复杂度更高。

去STP/堆叠/MC-LAG的新一代高可靠园区网络设计

为了追求网络的高可靠和高可用,大规模部署的二层以太网结构变得越来越复杂、但是健壮性变得越来越差,建设和维护成本都高居不下,那么有没有一种高可靠组网下的更简化的网络架构呢?

一个可行的思路便是压缩二层域,将云数据中心全三层的IP路由组网技术平移到园区网络。

基于Leaf/Spine的全三层IP路由组网

星融元云化园区网络架构从设计之处充分地考虑了环路规避、多路径转发、高可靠、多路径等因素,采用天然无环路的Leaf/Spine架构和轻量级的ECMP机制,基于L3的网络能力,在保证最高链路利用率和最低复杂度的前提下实现组网的可靠性。底层的网络架构得到了全面优化,传统的STP,堆叠,MC-LAG都不再需要了。

返回资源中心

交换机带外管理和带内管理的区别,中小规模园区网如何选择?

更多相关内容


交换机的带外管理是什么?

在带外管理模式中,网络的管理控制信息与用户网络的承载业务信息在不同的逻辑信道传送。

带外管理最大的优势在于,当网络出现故障中断时数据传输和管理都可以正常进行——不同的物理通道传送管理控制信息和数据信息,两者完全独立,互不影响。并且,带外管理可以实现远程管理和监控。

交换机带内管理是什么?

所谓带内管理,是指网络的管理控制信息与用户网络的承载业务信息通过同一个逻辑信道传送,是通过 LAN 管理网络的能力。

带内管理通过协议(如telnet/SSH)管理设备。这是一种常见的方式,提供基于身份的访问控制,以提高安全性。实际操作中需要将管理流量业务流量分开,比如创建一个管理VLAN或环回接口,用于传输设备监控、系统日志和SNMP等管理流量。

带内管理的优势是可以对网络进行实时监控和维护,但需要占用带宽资源,可能受到流量拥塞和用户网络的影响;单独连接console线登录设备执行操作较为不便。

总结:交换机带外管理和带内管理的区别

  • 带内访问是通过Telnet/SSH建立,带外管理访问是一般是通过控制台。
  • 带内访问取决于IP地址和Telnet/SSH端口号,而带外管理则取决于模板中配置的IP地址和端口号。
  • 当网络连接正常时,带内系统可以工作,而带外管理是网络中断时的备用路径。
  • 带内管理是同步的,带外管理是异步的。
  • 带内不需要物理访问,而带外管理也不需要物理访问,因为拨号线是可用的。
  • 带内连接速度高,带外管理连接速度慢。
  • 带内管理连接是通过putty或Secure CRT建立的,带外管理连接是通过终端访问建立的。

如何选择管理型交换机的管理方式?

一般来说,当在一个中小规模的网络环境下,只有少量的设备需要管理并且网络较为可靠时,带内管理是首选。当在一个大规模园区中,有大量的设备需要管理并且需要更高的可靠性时,带外管理是首选。

新一代园区交换机的集群管理——基于“云化集群”的带内管理网

传统情况下,我们的运维工程师需要接console线或者ssh分别登录单台设备执行操作,配其他设备时,又得把流程再执行一遍。这无疑是繁琐低效的,为此有些园区网络方案便会引入一个复杂的SDN控制器实现全网统一管理(带外管理)。但在某些场景下控制器则显得过于笨重了,一旦这种集中控制器出现问题,定位排障又陷入了死局。

星融元云化园区解决方案为中小规模的园区网络提供了一种轻量、灵活的带内网络管理方式——通过集成在交换机操作系统内部的软件模块,建立设备集群。

通过集成在交换机操作系统内部的软件模块,建立设备集群

  • 简化跨设备运维:登录到集群中任何一台设备, 就能管理和配置集群内的所有成员,完成配置备份、跨设备导出,批量升级等操作,无需关注物理连接和IP地址
  • 低成本部署:不用额外布线,不依赖带外网络和管理平台,对拓扑结构无要求
  • 随时启用:可在组网服务任何阶段安装/启用,成员加入和退出不影响控制面和转发面运行
  • 不改变使用习惯: 思科风格CLI,保持广大运维工程师熟悉的命令行体验

返回资源中心

云办公是什么?企业办公网络怎么搭?

更多相关内容


云办公是什么?

云办公又称远程协同办公,是指基于云计算应用模式的办公平台服务,具有应用轻量化、终端多样化、资源共享性、沟通协同性等新型特征,可实现随时随地的多终端灵活办公。

近年来,随着云计算、大数据、5G等技术的发展,办公场景正经历着日新月异的变化,人们的工作习惯也开始向移动化和灵活化转变。根据中国互联网络信息中心发布的第50次《中国互联网络发展状况统计报告》显示,截至2022年6月,中国在线办公用户规模达4.61亿,占网民整体的43.8%。2022年上半年,在线视频、电话会议用户规模较2021年12月增长5.9%。

云办公的趋势给企业办公网络的搭建提出了哪些要求?

为顺应“云办公”发展趋势和不断增长的用户需求,各大互联网企业纷纷加大投入,“钉钉”“腾讯会议”等一批线上办公工具应用规模快速壮大。截至2022年3月,“钉钉”已经服务超过2100万个机构用户;“腾讯会议”注册用户超3亿,月活跃用户数突破1亿。云储存、云笔记、在线会议、异地协同办公、电子合同、发票、移动审批等功能日益细化,各类办公系统应用、物联网设备上云进程如火如荼……随之而来的是访问终端增加,办公网络承载的流量剧增,现网与公有云和私有云的各种对接问题等等,以上这些都给传统办公网络运维管理带来了极大挑战。

  • 终端数量、带宽及相互交互不断增加,内网东-西向流量的持续增长,网络连接能力需要不断扩容
  • 新业务开通、定位广播风暴、增加访问策略、解决WiFi掉线….运维工程师工作繁琐复杂
  • 手机、PC、IoT、安防…对网络需求各不相同,对运维的要求更高

各类办公系统应用、物联网设备上云进程如火如荼

企业办公网络改造,重在云化架构

传统园区组网到云化园区组网变革

星融元用Spine-Leaf架构、Arp-to-Host、分布式网关等云数据中心领域先进的技术理念,对园区的底层网络架构进行了全面的变革。

相较于传统企业园区组网方案,星融元的全三层横向扩展组网可降低园区建设运营成本40%以上,架构精简、时延优化,支持弹性扩展、运维简单。

1、更精简的云办公网络架构,优化延迟,易于扩展

传统的接入-汇聚-核心是一种自下而上逐层收敛的传统园区网络结构,层级越往上,设备性能要求越高。随着网络规模的不断扩展,整个网络的性能瓶颈将聚焦在核心交换机上。

借鉴云数据中心更为扁平的Leaf/Spine架构,我们完全可以采用全盒式的单芯片交换机来搭建更高效、更精简的下一代园区网络。一级横向扩展至多级,接入终端数量轻松扩展至十万级别,并且扩展过程中原有网络架构保持不变,维护复杂度低。区别于三层传统架构,Leaf/Spine架构下的内网流量传输无需全部上行到核心交换机转发,可以降低通信延迟,提供更好的通信质量。

下一代园区网络,用Leaf/Spine架构替代传统三层拓扑

园区网络采用Leaf/Spine架构的网络能够从一级横向扩展至多级

2、全三层路由组网,100%带宽利用支撑云办公

星融元的云化园区网络解决方案是基于IP的全三层网络,其在设计之初就充分地考虑了环路规避、多路径转发、高可靠、多路径等因素,无需再引入STP等防环机制,天然杜绝了二层广播风暴——结合BGP路由和ECMP的负载平衡设计,企业网络中所有的物理线路理论上来说都可被充分利用,实现100%的带宽利用率和端口使用率。

基于Leaf/Spine的全三层IP路由组网

园区网络中所有的物理线路充分利用,天然无环路

3、设备上线即插即用,同层设备一个配置

星融元的云化园区网络解决方案引入了云网络运维体系中广泛使用的零配置部署机制。通过DHCP协议Option字段完成相关开局文件的自动化获取和加载任务,免去现场配置和部署,有效降低人力成本,提升部署效率。

零配置部署,设备上线即插即用

借助软件设计上的创新和初始配置的自动化,一个三层的园区网络,无论有几十台还是上百台网络设备,只需要维护三个网络配置,大幅降低运维综合成本。

园区网络的自动化运维

下一代园区网络,“接线上电”级别的极简运维

4、分布式网关,更优质的移动办公体验

传统的无线方案中,终端发生跨VLAN的AP漫游需建立隧道,将漫游后的数据包发回原先的网关来处理,导致转发路径长,效率较低,并且需要提前进行各种复杂的手动配置。

在星融元云化园区方案中,每个接入交换机上都同时运行着相同的多个子网的网关,可以直接以最优路径进行漫游转发,流量无需到某个集中式网关上“兜圈子”,这种毫秒级的网络切换对于正在运行的上层业务不会有任何影响。

集中式网关方案和分布式网关方案流量路径对比

下一代园区网络,“分布式网关”实现更高效的无线漫游!

返回资源中心

2023年了,汇聚层交换机的堆叠部署还有必要吗?

更多相关内容


汇聚层交换机是什么?

汇聚层是连接接入层和核心层的网络设备,为接入层提供数据汇聚、传输、管理、分发处理的网络节点。
在选择汇聚交换机时,需要考虑到网络中接入交换机的上行端口类型和端口数,以及核心交换机下行的端口类型。在一个典型的三层网络架构中,汇聚层交换机一般具有高速的上行接口和中速的下行接口,提供汇聚的功能。
例如根据策略进行地址合并、协议过滤、路由服务和认证管理,在网段划分的基础上实现网络隔离,避免问题蔓延和影响到核心层。此外,还需提供接入层虚拟网之间的连通性并控制其对核心层的访问,确保核心层的安全性和稳定性等等。

交换机堆叠技术是什么?

交换机的堆叠架构自20世纪90年代提出,其最大的优势在于简化管理。

这是因为堆叠后的交换机可以被视为一个逻辑实体,具有统一的管理界面,简化了管理和操作。

而在高可用性方面,堆叠系统可以将不同物理交换机的端口进行链路聚合,使得下行链路具备更高的带宽和弹性。堆叠系统在逻辑上虚拟成一台交换机,所以也不需要为避免产生环路而去人为阻塞线路。

此外,可堆叠交换机给中小企业提供了一个成本更低的选择——既有与大型框式设备类似的可扩展性,但又能更灵活地按需付费。但是对比模块化的机框式设备的单一电源,堆叠组中的每个设备都有自己的一套硬件,这便意味着需要多个电源线,对于机房电源的数量是有更高要求的。

交换机之间发送堆叠数据时还存在额外开销,因为一些堆叠协议为帧添加额外的报文头部信息。

这里我们整理总结了交换机堆叠技术主要的优势和劣势以供参考。

优势劣势
网络管理员仅仅需要面对一个统一管理界面厂商锁定。堆叠不是一个标准的协议,不同供应商的可堆叠交换机使用不同的电缆、连接器和软件,不可混用。
部署的灵活性。可堆叠交换机可以与其他可堆叠交换机一起运行,也可以独立运行。有限的扩展性和带宽。但由于堆叠带宽的限制,大多数供应商限制了堆叠组内设备的数量
在一些供应商的架构中,活动连接可以分散在多个设备中,如果堆叠组中的一个成员被移除或发生故障,数据将继续流经其他正常设备。扩展或删除堆叠设备可能会导致服务中断(堆叠分裂);复杂的堆叠技术会给交换机软件增加很多复杂性,多台设备高度关联,一损俱损,软件问题咳导致整个堆叠组的瘫痪
背板交换能力的升级,当汇聚层的交换机转发能力不能满足需求时,可以增加新交换机与原交换机组成堆叠系统来实现,提高了整体的转发能力。物理拓扑结构受限,需要采用专有的电缆,参与堆叠的交换机物理位置限制在了同一个机房甚至一个机柜

如何在汇聚层交换机上的进行堆叠部署

交换机堆叠的配置部署较为复杂,具体以各家厂商提供的配置手册为准。

不过其大致流程可总结如下:

  1. 提前规划好堆叠方案。
  2. 按照前期的规划,连接交换机之间的堆叠线缆。
  3. 完成高优先级交换机的堆叠配置,包括堆叠成员ID、堆叠优先级、堆叠域编号、堆叠端口等。完成后保存配置并重启交换机。
  4. 关闭高优先级交换机的堆叠端口,以避免在配置过程中因为堆叠合并而使得低优先级交换机提前自动重启,导致无法保存配置、堆叠无法建立。
  5. 完成低优先级交换机的堆叠配置,完成后保存配置并重启交换机。
  6. 打开高优先级交换机上被关闭的堆叠端口,使堆叠建立。
  7. 检查堆叠组建是否成功。

新一代园区网络架构中的去堆叠设计

如今星融元已将基于云的开放架构重新引入园区网。基于CLOS的Spine-Leaf架构保留了堆叠式架构的优点,同时也解决了其中的一些缺陷。所以星融元的云化园区网络方案中已经完全抛弃了堆叠方案,转而采用基于L3网络功能例如主机路由,ECMP等来实现类似的能力。

这是一种可靠度更高、扩展性更强、但复杂度约等于零的方案。

在这种方案下,不会有堆叠复杂的组网逻辑、纷繁的设备配置、脆弱的状态同步等机制——整个园区设备组网将如同一台具有成千上万个接入端口的超大型虚拟交换机,实现与堆叠类似的统一运维管理。

一台具有成千上万个接入端口的超大型虚拟交换机

  • 接入终端/服务器并不需要为此方案做出任何调整,依然是通过两条(或多条)的线路、采用通用的Bond技术,上连到不同的接入Leaf;
  • 接入Leaf通过使用ARP学习、32位主机路由、BGP同步等功能,利用L3网络天然的高可靠、多路径能力,达到跟传统堆叠一样的效果;
  • 不涉及复杂的堆叠软件开发,因此系统的稳定性非常高,不会因为复杂的堆叠逻辑引入潜在的Bug;
  • 利用L3网络的ECMP负载分担能力,可以充分利用交换机之间的所有带宽传递报文,网络性能更高。
 堆叠式架构云化园区网络架构
部署1.堆叠电缆连接(或业务口连接+堆叠配置)
2.增强配置(分裂检测,负载均衡模式)
1. Spine层和Leaf层之间使用通用线缆连接
2.配置本机接口和peer信息
高可用性物理设备之间的链路聚合全三层网络,天然避免广播风暴和以太环路;运行BGP和ECMP;使用分布式网关设计
物理拓扑结构限制在一个房间或机柜内没有物理限制
管理堆叠组作为一台逻辑设备Spine-Leaf集群作为一台逻辑设备
软件升级需要堆叠组重启,有业务中断在不中断的情况下单独升级每个设备
扩展需要根据当前堆叠的网络拓扑结构进行设计(链形加入到两端,环形需要拆环)按照标准CLOS架构的扩展
接入可扩展性以48口交换机为例最大堆叠成员数为8
最大8 x 48 = 384个接入端口
[2层CLOS,48口交换机作为Spine]最大48 x 48 = 2304个接入端口
[3层CLOS,64口交换机作为3级CLOS的Spine]最大48 x 48 x 64 = 147456个接入端口

方案细节请搜索“星融元官网”获取,或者关注vx:星融元Asterfusion了解更多资讯。

返回资源中心

浅聊SONiC网络操作系统及SONiC社区

更多相关内容


SONiC NOS 是什么

SONiC(Software for Open Networking in the Cloud)是一种开源网络操作系统(NOS),由微软公司开发并开源。它是为数据中心和云计算网络而设计的,并旨在提供一个快速、可扩展和灵活的网络操作系统。SONiC支持多种硬件平台,包括网络交换机、路由器和网关等,可以在各种云计算环境中运行,如公有云、私有云和混合云等。

SONiC的设计理念是将网络设备的数据平面和控制平面分离,以实现更高的灵活性和可扩展性。它基于Linux操作系统的核心,使用容器化技术提供网络服务,并由多个微服务组成。这些微服务包括交换机ASIC驱动、路由协议、VLAN、ACL、QoS等,可以轻松地部署、管理和扩展。
SONiC的开放性和灵活性使得它成为数据中心和云计算网络的理想选择。它可以与各种标准硬件和软件组合使用,从而使客户可以根据自己的需求选择最适合自己的网络设备和服务。此外,SONiC还具有高度可编程性和可定制性,使得客户可以根据自己的需求进行自定义配置和编程。

总之,SONiC是一种快速、可扩展和灵活的网络操作系统,适用于数据中心和云计算网络。它采用容器化技术、微服务架构和分离的数据平面和控制平面,具有高度可编程性和可定制性。同时,SONiC还是一个开源项目,可以根据开发人员和社区的贡献不断发展和改进。

SONiC 社区

SONiC社区是由SONiC用户和开发者组成的一个社区组织,旨在推动SONiC的发展和改进。社区成员包括网络设备制造商、云服务提供商、网络工程师、开发人员和爱好者等。他们通过协作、共享和交流来推动SONiC的发展,并为SONiC的用户提供支持和帮助。

SONiC社区是一个开放的社区,任何人都可以加入。社区成员可以通过其邮件列表、GitHub存储库、Slack频道等渠道进行交流和合作。社区还定期举办会议、研讨会和培训活动,以促进SONiC的发展和提高社区成员的技术水平。

SONiC社区的目标是为SONiC用户提供一个开放、透明和协作的环境,使他们可以共享经验、交流想法和合作开发。社区成员可以共同解决问题、改进SONiC、开发新功能和应用程序等。这种协作和共享精神使得SONiC能够不断发展和改进,成为一个更加强大和灵活的网络操作系统。

总之,SONiC社区是一个开放的、协作的和共享的社区组织,旨在推动SONiC的发展和改进。社区成员可以通过各种渠道进行交流和合作,并共同解决问题、改进SONiC、开发新功能和应用程序等。这种协作和共享精神使得SONiC成为一个更加强大和灵活的网络操作系统。

从SONiC说开去,什么是开放网络

SONiC是目前开放网络技术路线下最富有前景的项目,开放化和标准化是技术发展的宏观大趋势,据Gartner报告指出,SONiC在网络领域的广泛应用和部署将有望使其成为类比于服务器上的Linux一般的存在。

那么什么是开放网络呢,顾名思义,开放网络的最主要特征是其开放性。这意味着网络资源和服务的提供者不仅可以自由地公开其API,还可以将其服务与其他组织或个人的服务集成。这种开放性可以促进创新和合作,从而推动网络生态系统的发展。

开放网络还可以促进数据共享和互操作性,这对于现代各类基于云的应用程序和服务非常重要。例如,大数据分析、物联网和人工智能等领域需要访问和集成来自多个数据源的数据。通过开放网络,这些应用程序和服务得以更轻松地访问和共享数据,从而提高其运行效率和并保证输出的稳定和准确度。此外也可规避因封闭专用技术导致的厂商锁定,帮助运营方优化成本。

另一个重要的开放网络特征是其可扩展性。由于开放网络采用标准化的接口和协议,它们可以很容易地与新技术和服务集成,满足不断变化的云业务需求。

传统网络演进到开放网络的五个维度

对比传统网络,我们可以从网络架构,控制面技术,交换硬件和软件以及面向的业务场景做一个简单区分,

  1. 传统网络架构是基于流量收敛模型的三层组网;开放网络架构多采用Clos全互联,Spine-leaf组网,大大提高数据传输的效率和可靠性,同时还可以实现更高的可扩展性和灵活性。
  2. 传统网络采用的是集中式管理控制,决策路径依赖主控单元;开放网络采用的是分布式算法,可实现全网自治管理,它具有更好的可扩展性和鲁棒性。因为网络中的每个节点都可以独立运行,所以可以更容易地实现网络的扩展和升级,同时也可以更好地应对网络中出现的故障和攻击等问题。
  3. 设备硬件和软件方面,传统网络多采用大机架、专用背板/芯片,上百种板卡。这种方式在网络规模较小的情况下还能够满足需求,但是在面对越来越复杂的网络应用和海量数据的传输时,随着规模和复杂度上升,网络管理和维护难度(每种板卡都需要独立管理维护)以及能耗都会陡然上升。并且,专用背板和芯片也受到厂商定制生产的所带来的局限,灵活大打折扣。传统网络设备使用嵌入式专用系统,这类系统由各厂商专门开发设计,其性能和稳定性的确有保障,但不同厂商之间的互操作性会相对不佳。开放网络采用了更加灵活的硬件架构和模块化的软件设计,能够实现更少的设备数量来完成网络功能。相比于传统网络的大型机架和上百种板卡,开放网络只需要少量的单芯片系统来实现网络功能。除此之外,基于可编程芯片的网络设备还支持通过软件方式进行定制和升级,甚至不需要更换硬件。随着开放网络的标准不断演进和技术发展,基于SONiC的开放网络已在全球头部云服务商和运营商网络中得到了规模化部署,也正在往愈加复杂多样的企业和园区接入场景扩展。
  4. 在传统网络时代,围绕通信标准搭建IT系统是一种常见的做法。这种做法通常是基于特定的通信标准或协议,使用专用的硬件和软件来实现网络功能,其优点在于可以实现高性能和高可靠性的网络功能,但往往难以适应快速变化的业务需求和应用场景。而在开放网络时代,网络功能从专用硬件中解耦出来,由IT业务应用需求而生,被软件定义。

基于SONiC的开放网络是否足以支撑企业级和运营级的商业应用?

随着最终客户对交换芯片的需求和选择向多元化发展,星融元和多个知名交换芯片厂家建立了深度合作关系。今天,星融元所提供的企业级SONiC发行版(AsterNOS)运行在包括Marvell、NVIDIA、Intel/Barefoot等在内的新兴的数据中心交换芯片平台上,并帮助客户完美地实现这些交换芯片的各种能力在一个开放软件系统中充分释放和使用。围绕AsterNOS我们也提供一站式开放网络解决方案,1G-800G的系列化交换机可覆盖从一般云网络,上至AI智算中心,高性能计算,下至各行业企业园区办公网络接入等业务场景需求。

product

面向云数据中心,高性能计算,AI计算集群以及企业园区等场景的解决方案

什么是 BGP EVPN 多归属(Multi-Homing)

更多相关内容


BGP EVPN(Border Gateway Protocol Ethernet Virtual Private Network)是一种用于构建数据中心互联的技术。它提供了一个灵活、可扩展的解决方案,可以在多个数据中心之间建立高效的互联。

Multi Homing 是 BGP EVPN 技术中的一个重要概念,它允许数据中心网络中的设备同时连接到多个交换机,从而提高网络的可靠性和可用性。当一个交换机或链路出现故障时,设备可以快速切换到备用路径,从而保证业务的连续性。

BGP EVPN Multi Homing 主要包括以下几个方面:

Active-Active 和 Active-Standby

在 BGP EVPN Multi Homing 中,设备可以同时连接到多个交换机,这些连接可以是 Active-Active 或 Active-Standby。Active-Active 意味着所有连接都处于活动状态,数据可以通过任何连接发送和接收。Active-Standby 意味着只有一个连接处于活动状态,其他连接处于备用状态,只有在活动连接出现故障时才会被激活。

Symmetric 和 Asymmetric

BGP EVPN Multi Homing 还可以分为 Symmetric 和 Asymmetric 两种模式。Symmetric 模式是指所有连接都有相同的带宽和优先级,可以同时使用;而 Asymmetric 模式则是指连接之间存在带宽和优先级的差异,需要进行流量调度和负载均衡。

Single-Active 和 Multiple-Active

BGP EVPN Multi Homing 还可以分为 Single-Active 和 Multiple-Active 两种模式。Single-Active 模式是指只有一个连接处于活动状态,其他连接处于备用状态;而 Multiple-Active 模式则是指多个连接都处于活动状态,并且可以同时使用。

前缀同步和 MAC 地址同步

当设备同时连接到多个交换机时,BGP EVPN Multi Homing 还需要进行前缀同步和 MAC 地址同步。前缀同步是指在多个交换机之间同步设备的 IP 地址和路由信息,以确保数据可以正确到达目的地。MAC 地址同步是指在多个交换机之间同步设备的 MAC 地址信息,以确保数据可以正确转发。

LACP 和 VRRP

为了提高网络的可靠性和可用性,BGP EVPN Multi Homing 还可以使用 LACP(Link Aggregation Control Protocol)和 VRRP(Virtual Router Redundancy Protocol)等协议。LACP 可以将多个物理连接绑定成一个逻辑连接,提高带宽和可靠性;VRRP 可以将多个路由器虚拟成一个虚拟路由器,提供冗余和负载均衡功能。
总之,BGP EVPN Multi Homing 是一种非常重要的技术,它可以提高数据中心网络的可靠性和可用性,确保业务的连续性。通过了解其原理和实现方式,可以更好地应用和管理 BGP EVPN 技术,为企业的业务发展提供更好的支持。

Build a high-performance, flexible, and scalable cloud data center network.

了解相关内容》〉》〉》〉》〉

返回资源中心

InfiniBand交换机厂家有哪些

更多相关内容


InfiniBand 设备供应商

Mellanox是全球唯一的 IB 交换机制造商。英伟达于 2019 年成功收购了它,现在也提供NVIDIA Quantum InfiniBand 交换机。

InfiniBand交换机 OEM厂商

HP、DELL等厂商不直接生产 InfiniBand交换机,而是从 Mellanox 等厂商采购或获得授权,然后进行转售。

InfiniBand 专用电缆供应商

3M、Advanced Photonics、Amphen、Cinch Connectors、Emcore、FCI、Finisar、Foxconn Electronics、Fujikura America Inc.、Hitachi Cable、Mellanox Technologies、Meritec、Molex、Samtec、Siemon、TE Con​​nectivity 和 Volex。

InfiniBand的替代方案(RoCE)

目前提供RoCE交换机组网方案的供应商主要有思科、Arista、英伟达(ConnectX 系列)、Juniper网络、Aruba (CX 交换机)、DELL (EMC OS10)、星融元Asterfusion (CX-N 超低时延交换机系列)。

Dell’Oro Group 最新的人工智能工作负载网络报告显示,虽然 InfiniBand 预计将保持其领先地位,但以太网预计将取得显着增长,例如到 2027 年收入份额将增加 20 个百分点。

在 RoCE 和 Infiniband 之间进行选择的组织应考虑其独特的要求和成本。如果他们更喜欢最高性能的网络连接,Infiniband 会更好。对于那些寻求最佳性能、易于管理和有限成本的人来说,他们应该为他们的数据中心选择 RoCE。

RDMA技术实现路线包括以下三种:

  • InfiniBand:最早实现的RDMA技术;
  • RoCE(RDMA over Converged Ethernet):基于普通以太网的RDMA技术;
  • iWARP:互联网广域RDMA协议,基于TCP/IP协议栈的RDMA技术。

这里我们主要介绍RoCE技术,它通过封装以太网上的 InfiniBand 传输数据包来实现此目的,借助于更为开放和通用的技术路线,有助于RDMA技术超融合数据中心、云、存储、虚拟化环境中实现的更广范围应用。

对比InfiniBand, RoCE网络具有以下优势

  • 性能相似:在考虑网卡和软件应用的延迟的情况下,在特定场景(例如分布式存储,高性能计算应用WRF,LAMMPS),RoCEv2和IB的端到端延迟差异很小。

点击查看测试数据(分布式存储)

点击查看测试数据(HPC)

  • 成本更低:与 InfiniBand 相比,RoCE v2 的损耗更低,对于寻求实施高性能网络解决方案同时有效管理费用的组织来说,它是一个更经济的选择。基于星融元Asterfusion RoCE 的交换机的价格不到 IB 交换机成本的一半
  • 与以太网的兼容性: RoCE v2 的另一个主要优势是它与以太网的兼容性。它可以在大型数据中心常见的路由以太网上无缝运行。 RoCE v2承载在以太网上,允许使用传统以太网的光纤和光模块。这种与现有基础设施的兼容性简化了集成,并最大限度地减少了大规模网络检修的需要。
  • 货期可控和售后保障

查看面向高性能计算,分布式存储,AI计算集群网络的RoCE网络解决方案

什么是 IB 交换机(InfiniBand Switch)

更多相关内容


InfiniBand交换机是一种高速网络交换机,它采用了InfiniBand技术,一种面向高性能计算和数据中心的网络协议,来实现高性能、低延迟和高带宽的数据传输,可为计算机到计算机的数据互连提供卓越的吞吐量和最小的延迟。它既用作服务器和存储系统之间的直接或交换互连,也用作存储系统之间的互连,传输速度通常在Gbps至Tbps之间,比传统的以太网和Fibre Channel协议要快得多。

InfiniBand交换机通常用于高性能计算(HPC)、数据中心、云计算和大规模存储等领域,以满足高性能计算和数据传输的需求。随着人工智能的指数级增长,InfiniBand已成为GPU服务器的首选网络互连技术。

InfiniBand的网络架构

InfiniBand 是处理器和 I/O 设备之间数据流的通信链路,支持多达 64,000 个可寻址设备。 InfiniBand 架构 (IBA) 是一种行业标准规范,定义了用于互连服务器、通信基础设施、存储设备和嵌入式系统的点对点交换输入/输出框架。

InfiniBand 具有低延迟、高带宽的特点,非常适合在与数千个互连节点的单一连接中连接多个数据流(集群、通信、存储、管理)。最小的完整IBA单元是子网,多个子网通过路由器连接起来,形成一个大的IBA网络。

InfiniBand 系统由通道适配器、交换机、路由器、电缆和连接器组成。 CA 分为主机通道适配器 (HCA) 和目标通道适配器 (TCA)。 IBA交换机在原理上与其他标准网络交换机类似,但必须满足InfiniBand的高性能和低成本要求。 HCA是IB端节点(例如服务器或存储设备)连接到IB网络的设备点。 TCA 是一种特殊形式的通道适配器,主要用于嵌入式环境,例如存储设备。

HCA是IB端节点(例如服务器或存储设备)连接到IB网络的设备点。 TCA 是一种特殊形式的通道适配器,主要用于嵌入式环境,例如存储设备。

无限带宽架构

InfiniBand交换机的优势

  1. 低延迟:InfiniBand 网络以其极低的延迟而闻名。 RDMA 零拷贝网络减少了操作系统开销,允许数据在网络中快速移动。
  2. 高带宽:InfiniBand 网络提供高带宽数据传输功能。它通常支持数10Gb/s甚至更高的带宽,高带宽使得节点之间高速交换数据成为可能。
  3. 高吞吐量:由于低延迟和高带宽的特点,IB网络能够实现高吞吐量的数据传输。支持大规模数据流的并行传输,同时减少中间处理和复制操作
  4. 可扩展性:支持全局互连网络、树形结构、扁平结构等多级拓扑,可根据应用需求和规模灵活配置和扩展。

InfiniBand交换机的缺点和局限性

InfiniBand(IB)的确拥有众多优势,令人好奇的是,为什么在人工智能爆炸性发展的背景下,市场越来越多地表达出希望以太网成为人工智能工作负载的首选技术。随着时间的推移,业界发现了InfiniBand的几个致命缺点:

  1. 成本非常高:与以太网相比,InfiniBand 的主要缺点是价格过高。使用InfiniBand构建专用网络需要指定的IB网卡和交换机,其成本一般是普通网络设备的五到十倍。因此,InfiniBand 只被认真考虑在金融和期货交易等高端行业实施。
  2. 运维费用增加:InfiniBand作为专用网络技术,无法充分利用用户现有的IP网络基础设施和积累的运维知识。选择InfiniBand的企业必须聘请专门的人员来处理特定的运维需求。但由于InfiniBand所占据的市场空间有限(不到以太网的1%),行业内经验丰富的运维人员严重短缺。网络故障可能会长时间得不到修复,从而导致高昂的运营费用 (OPEX)。
  3. 供应商锁定:供应商锁定的存在是 InfiniBand 交换机的一个主要缺点。这些交换机由特定供应商制造并使用专有协议,这使得它们很难与使用IP以太网的其他网络设备进行通信。这种封闭的架构也给未来需要可扩展扩展的企业带来了风险,因为与单一供应商的捆绑可能会导致不可控的风险。
  4. 交货时间长:InfiniBand 交换机的交货时间长是另一个问题。他们的到来是不可预测的,这增加了项目风险并阻碍了业务扩展。
  5. 升级慢:网络的升级过程取决于各个厂商的产品版本,无法实现全行业的统一升级。这种升级缓慢会阻碍网络的整体进步。

以太网承载RDMA替代InfiniBand

目前,存在三种类型的RDMA网络。 Infiniband是专为RDMA设计的网络,从硬件层面保证可靠传输,而RoCE和iWARP是基于以太网的RDMA技术,支持相应的Verbs接口。  

RDMA首先在Infiniband传输网络上实现,技术先进但价格昂贵。后来厂商将RDMA移植到传统以太网中,降低了RDMA的使用成本,促进了RDMA技术的普及。下面是各个RDMA网络协议栈的对比,目前业界讨论较多的是RoCEv2网络,RoCEv2克服了 RoCEv1 绑定到单个 VLAN 的限制。通过更改数据包封装(包括 IP 和 UDP 头),可以跨 L2 和 L3 网络使用。

RoCE、iWARP 和 InfiniBand 的比较

如何实现?

为了在数据中心实现以太网承载RDMA,可以安装支持RoCE的网卡驱动程序和网络适配器。对于以太网交换机,需要选择使用支持PFC(优先流控制)等支持构建无损以太网的产品;对于服务器或主机,需要使用支持RoCEv2流量的网卡。

目前提供RoCE交换机组网方案的国外供应商主要有:思科、Arista、英伟达(ConnectX 系列)、Juniper网络、Aruba (CX 交换机)、DELL (EMC OS10)

国内厂商有基于SONiC提供一站式开放网络解决方案的星融元Asterfusion (25G-400G CX-N 超低时延交换机系列

为高性能计算、分布式存储等场景提供低时延以太网

RoCE替代InfiniBand需要具备哪些特性

更多相关内容


前言

面对 InfiniBand 网络“供货周期长、售后服务差、性价比差”等问题,随着网络技术的发展,如今可通过 RoCE 来替代 InfiniBand 网络,在满足HPC、分布式存储业务需求的同时,能够有效避免 InfiniBand 网络所产生的一系列问题。

用户在选择数据中心网络设备替代InfiniBand网络时除了要求盒式设备本身具备尽可能低的转发时延外,由于 InfiniBand 的丢包处理机制中,任意一个报文的丢失都会造成大量的重传,严重影响数据传输性能,因此最关键的是需要具备差分服务的流量保障机制维护业务的稳定性,为上层业务提供一个零丢包无拥塞的”无损网络”,其次,为了避免及极端情况下出现拥塞,需要提供拥塞保障机制解决用户后顾之忧。

RoCE简介

RoCE 技术支持在以太网上承载 InfiniBand 协议,实现 RDMA over Ethernet。 使得基于以太网的数据传输能够减少网络延时、提高数据传输吞吐量和降低 CPU 负载。

RoCE 协议分为两个版本:

  • RoCE v1协议:基于以太网承载 RDMA,只能部署于二层网络,它的报文结构是在原有的 InfiniBand架构的报文上增加二层以太网的报文头,通过 Ethertype 0x8915 标识 RoCE 报文。
  • (必选)RoCE v2协议:基于 UDP/IP 协议承载 RDMA,可部署于三层网络,它的报文结构是在原有的 InfiniBand 架构的报文上增加 UDP 头、IP 头和二层以太网报文头,通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2支持基于源端口号 hash,采用 ECMP 实现负载分担,提高了网络的利用率。

RoCE 网络中,需要构建无损以太网用于保证网络传输过程中不丢包,构建无损以太网需支持以下关键特性:

  • (必选)PFC(Priority-based Flow Control,基于优先级的流量控制):逐跳提供基于优先级的流量控制,能够实现在以太网链路上运行多种类型的流量而互不影响。
  • (必选)ECN(Explicit Congestion Notification,显示拥塞通知):设备发生拥塞时,通过对报文 IP 头中 ECN 域的标识,由接收端向发送端发出降低发送速率的 CNP(Congestion Notification Packet,拥塞通知报文),实现端到端的拥塞管理,减缓拥塞扩散恶化。
  • (建议)DCBX(Data Center Bridging Exchange Protocol,数据中心桥能力交换协议):使用 LLDP 自动协商 DCB 能力参数,包括 PFC 和 ETS 等。一般用在接入交换机连接服务器的端口,与服务器网卡进行能力协商。
  • (可选)ETS(Enhanced Transmission Selection,增强传输选择):将流量按服务类型分组,在提供不同流量的最小带宽保证的同时提高链路利用率,保证重要流量的带宽百分比。
  • (可选)一键RoCE:无损以太网络解决了丢包导致的存储性能波动难题,考虑到在以太网上使用了较多的QoS相关功能,手工配置比较复杂。部分厂商提供了“一键式“RoCE部署方案,让无损以太网的部署和管理变的简单易用。

Infiniband网络方案与超低时延无损以太网对比图

返回资源中心

传统低时延解决方案(InfiniBand)面临的问题

更多相关内容


前言

最近闲聊时某客户多次遇到老型号一体机网络故障,基本都和InfiniBand有关。这类型的网络故障,大部分都是OS的RDS通讯相关内核的BUG,或者交换机固件的BUG引起,现场处置其实最好的办法就是重启大法,尽快将内核以及服务干净的重置,这样大部分的问题都可以恢复。因为一般来说,对内核级的网络故障诊断的人才,是非常稀少的,更别说,你在遇到一个数据库故障的时候,能够快速找到熟悉InfiniBand网络的高手。所以,最好是恢复以后,再进行深入分析和诊断,解决隐患。

可能有人会问,如此复杂难以运维那过去用户为何要用这种方案,让我们一起来一探究竟……

为什么过去用户要用InfiniBand

早期,互联网数据的爆炸式增长,给数据中心的处理能力带来了很大的挑战。计算、存储和网络,是推动数据中心发展的三驾马车。计算随着CPU、GPU和FPGA的发展,算力得到了极大的提升。 存储随着闪存盘(SSD)的引入,数据存取时延已大幅降低。但是,网络的发展明显滞后,传输时延高,逐渐成为了数据中心高性能的瓶颈。

计算、存储和网络,是推动数据中心发展的三驾马车

人们发现在数据中心内,80%的流量为东西向流量(服务器之间的流量)。 这些流量,一般为数据中心进行分布式并行计算时的过程数据流,通过TCP/IP网络传输。如果服务器之间的TCP/IP传输速率提升了,数据中心的性能自然也会跟着提升。因此各厂商想出了多种RDMA解决方案,为用户解决数据中心网络的瓶颈问题。作为RDMA方案中的角力者,RoCE 定义了如何通过以太网执行RDMA,而InfiniBand架构规范定义了如何通过 InfiniBand 网络执行 RDMA。早期因为InfiniBand方案更加完善、技术先进性,更加符合用户对网络高质量,高带宽,低延迟,0丢失的需求,成为当时用户的唯一选择。

为什么现在用户寻找InfiniBand替代方案

因为RoCE(在以太网络上实现RDMA)技术已经追上InfiniBand,而且更加通用和经济。

如果说IT界要颁发“最快黯淡奖”,那么很有可能会是“InfiniBand”,理由是InfiniBand的规格及标准规范自1999年开始起草,2000年正式发表,之后主力业者纷纷退出,再经过一、二年的前期推展与市场观察,以及PCI Express的出现,几乎注定了InfiniBand的发展界限。

10年以前,InfiniBand 提供比以太网更好的延迟和带宽。然而,该行业已经完成以太网方面的转型期。Inifiband是专有的InfiniBand网络,而RoCE则是基于IP网络,目前90%的网络都是基于IP网络架构设计,相关技术更加成熟,随着技术的发展RoCE业界标准更加统一,技术更加完善和成熟。

而且不管是从购买成本还是从使用成本上考虑,以太网技术都更有经济优势。InfiniBand网络给人的感觉长期以来就是troubleshooting困难,很多一体机用户自己采购InfiniBand设备搭建的网络,因为InfiniBand网络采用单独的设备和协议(非以太网协议),一旦出现故障,往往都无法在短时间内分析出原因,作为网络维护者也找不到任何办法来重置内核服务(也可能水平有限)。

我记得曾经很多用户基于InfiniBand自建的RAC,在高可用测试中,一旦拔掉InfiniBand线,再插回去,即使可以ping通,但RAC就是无论如何也无法重启成功。必须通过reboot主机才能恢复。然后,找不到任何专业的网络技术支持。

其次,还有一个非常重要的原因就是云技术需要以太网

随着云计算向数据化智能化的方向演进,数据的流转与有效利用将为业务带来核心价值。像大规模深度学习、机器训练之类的应用是极其依赖算力的,大量的信息交互对网络提出了很高的要求,由此需要一个低时延、无丢包、高吞吐的算力网络。InfiniBand和RoCE的数据包无法互通,如果要把一体机部署到基于以太网的公有云or私有云上,那么肯定是采用RoCE是一种更好的选择!

InfiniBand总结

综上所述,InfiniBand虽然在早期RDMA解决方案中通过InfiniBand交换机在节点之间直接创建一个专用的受保护通道,并通过InfiniBand适配器管理和执行的远程直接内存访问(RDMA)和发送/接收卸载,方便了数据和消息的移动,与其他网络通信协议相比,具有了更低的延迟,但是,它厂商锁定、价格昂贵以及非通用协议需要专门设备和技能来使用等一系列的缺点,使得用户从早期采购,到后期使用整个路径上都有持续不断的“高额成本”在付出,让用户信息部门长期面临高预算的问题,一定程度上阻碍了用户用户业务的发展,以下为InfiniBand用户使用者在交谈过程时总结的种种心酸。。。

  1. 性价比差:目前只有部分厂商有成熟的InfiniBand产品&方案,厂商锁定,方案价格非常昂贵;
  2. 兼容性差:云时代下,InfiniBand采用单独的通讯协议,非TCP/IP协议族,无法做到与其他网络设备互通互访;
  3. 售后服务差:InfiniBand专网运维依赖原厂,故障定位困难,且解决问题时间较长;
  4. 供货周期长:InfiniBand交换机供货周期长,不确定性高,增加项目风险,影响业务扩展;
  5. 扩展升级慢:网络的升级取决于部分厂商产品发布的进度,无法做到和业界统一升级;

返回资源中心

对星融元产品感兴趣?

立即联系!

返回顶部

© 星融元数据技术(苏州)有限公司 苏ICP备17070048号-2