AI时代,如何吃下数据传输这块蛋糕?
“30台AI服务器1个亿?这就是在抢钱啊!”
近日,中国移动江苏有限公司发布《中国移动智算中心(南京)2023年智算算力项目算力设备采购项目》招标公告,招标项目内容显示,需采购30台人工智能通用计算设备(训练型),预估金额10890万元(人民币/含税),单价限价363万元/台。
从2021年底ChatGPT上线迅速引发广泛关注后,AI行业持续火爆至今,随着行业巨头纷纷下场,AI基础设备的军备竞赛如火如荼。AI训练模型需要大量数据和计算资源,这对网络基础设施提出较高带宽和低时延的要求,很多人立马会想到InfiniBand,但昂贵的方案价格、无法与其他网络设备互通互访的特性以及较长的供货周期让国内AI厂商犯难,基于Ethernet的RoCE方案成了数据传输的首选:提供媲美InfiniBand的高宽带低时延性能,加上较低的成本,网络使用RoCE方案已经成为AI厂商的必然发展趋势。
AI技术需要强大的计算资源来支撑,具有强并行计算能力的GPU能够大幅提升计算效率,缩短AI训练模型时间,配备合适的网卡能够充分发挥GPU的性能,但GPU芯片供应常年短缺,对AI厂商来说抢到GPU已属不易,更遑论挑选型号,采购GPU和网卡的流程往往同时进行,此时无法预判究竟应该配备200G还是400G的网卡。
网卡负责处理网络通信与数据传输,无法确定网卡参数时,可以通过200G/400G RoCE的混合组网来简化管理和部署,使数据中心拥有更好的可扩展性。在混合组网的落地过程中,时常有参数流量超越线路带宽、网络丢包的风险,产生训练速度降级,GPU资源闲置率过高等问题,军备竞赛当前,应该挑选哪家厂商承担基础设施建设的重任?
目前中国市场上的交换机有多种规格,1G/10G/25G/40G/100G都比较常见,市面上200G端口的交换机凤毛麟角,少数厂家能提供200G低密度宽口或是框式交换机,在网络扩展升级的灵活性、成本效益方面都存在劣势;400G端口的交换机也较少见,一般用于高性能数据中心或大型企业网络中,因此能够提供200G/400G RoCE混合组网的厂商十分有限。
星融元作为国内新一代开放云架构解决方案的提供商,7年来始终大力投入研发,拥有众多技术创新,是业界唯一能够提供200G/400G RoCE混合组网、无缝衔接、且网络无损的开放网络厂商。
星融元采用基于RoCE的分布式概念替换了传统机框,相比较框式交换机,星融元盒式交换机拥有高性价比、低故障率、低时延等优点,星融元200G交换机在2U盒式形态下提供64高密度端口,能够提供更大的接入能力,与400G交换机混合组网部署网络,充分满足客户需求。另外星融元“零丢包”数据传输特性保障了网络的稳定性和可靠性,让AI厂商模型运行不中断,为高性能计算集群提供了真正意义上的低时延、零丢包、高性能的网络。
名称 | 型号 | 硬件指标 | 数量 | 备注 |
---|---|---|---|---|
交换机 | Asterfusion CX664D-N | / | 6 | 64口200G低时延交换机 |
服务器 | 超聚变 | CPU:Intel Xeon Platinum 8469C 内存:2048G | 8 | / |
Mellanox网卡 | MCX755106AS-HEAT | Mellanox CX-7 | 64 | / |
BlueField-3 | 8 | |||
网卡驱动 | MLNX_OFED-5.8 | / | / | / |
GPU | NVIDIA H800 | NVIDIA Corporation Device 2324 | 64 | / |
操作系统 | Ubuntu22.04 | / | / | / |
CUDA | V12.2 | / | / | / |
OpenMPI | V4.1.3 | / | / | / |
GPU驱动 | V535.129.03 | / | / | / |
NVIDIA Fabricmanager | V535.129.03 | / | / | / |
NCCL | V2.18.5 | / | / | / |
客户现场软硬件环境&性能测试指标
GPU Server-Leaf-Spine-Leaf-GPU Server
Bond RoCEv2带宽GB/s | QP=0 | QP=128 | QP=300 | QP=1024 | TX_UTIL |
Hash enhancement | 186.32 | 300.32 | 344.64 | 355.25 | 98.62% |
No Hash enhancement | 186.84 | 296.84 | 338.26 | 349.52 | 97.13% |
GPU Server-Leaf-GPU Server
Bond RoCEv2带宽GB/s | QP=0 | QP=128 | QP=300 | QP=1024 | TX_UTIL |
Hash enhancement | 187.14 | 301.39 | 342.91 | 351.84 | 98.84% |
No Hash enhancement | 187.32 | 297.84 | 339.38 | 349.32 | 96.60% |
在多次客户实地RoCE能力测试中,星融元使用Asterfusion CX-N超低时延云交换机搭建AIGC网络,完成RoCEv2吞吐性能测试、网卡Bond性能测试和NCCL all_reduce_perf测试,AIGC计算节点完成RDMA配置和性能优化,获得客户的认可。
AI对市场竞争格局的影响愈发明显,200G/400G交换机的需求越来越多,提出高带宽、低时延、大规模部署的技术要求,同时也带来了诸多市场机会,“重金求设备”便可一窥趋势。
准备好迎接AI基础设施这一波“泼天的富贵”了吗?星融元准备好了。