实时解析和可视化呈现 GPU 集合通信路径
“黑盒”状态的集合通信
智算集群通常都是以GPU服务器为最小单位构建的，服务器内部安装了若干块GPU计算单元，在此之上会有CUDA、NCCL、PyTorch等软件系统协同构建AI大模型的训练/推理任务的基础环境。
目前最广泛应用的是英伟达的开源集合通信库 NCCL（NVIDIA Collective Communication Library），可以在英伟达的 GPU 芯片之间进行高效的数据交换和协同工作。其他云和 GPU 厂商也推出了一批 xCCLs，例如 HCCL、ACCL、TCCL 和 oneCCL 等
大模型的训练调优过程中，我们经常会遇到例如集群性能表现不如预期、训练任务中断现象，其原因除了来自模型自身或 GPU 服务器内部配置问题等等，还有可能是网络层面的数据传输。
然而，集合通信库位于开发框架之下，对于 GPU 集群的使用者来说，集合通信路径是透明无感知的黑盒状态。
EPS 是什么？
EasyRoCE – EPS （E2E Path Scheduler，端到端路径规划）的主要功能是把集合通信库运行时不对外展示的各项关键信息，例如数据通信路径、任务中选用的 GPU、网卡状态等呈现给用户，帮助 GPU 集群的使用者快速定位问题，更好地利用集群的硬件资源，并基于此进行最佳路由规划。
对于 EPS 给出的推荐路由配置，用户可以自行决定是否下发。若确认选用推荐路由，EPS 可以调用 星融元 RoCE 交换机 提供的 REST API 完成配置自动下发。
- 通信环可视化：自动解析通信链路信息，透传底层状态
- 路由自动生成：算法和路径相关的路由推荐机制，配置自动下发
- 辅助决策：底层通信信息集中到统一面板展示
如何使用 EPS？
本文提供的演示环境下，EPS 工具将会被部署在集群的 Master 节点（即产生 NCCL 日志文件的位置），并以 systemd 守护进程的方式在后台实时监控日志文件——每当日志更新，EPS 自动会解析最新的信息，转换为便于阅读和理解的形式推送到统一监控面板（如 EasyRoCE-UG ）中集中呈现。
EPS 是星融元 EasyRoCE Toolkit 之一，以下仅展示基础功能，完整功能和最新版本请联系项目销售/售前人员。
1. 安装配置EPS
演示环境中的 Master 节点为一台独立的 CentOS 服务器，项目指定的工作目录为 /home/admin/EPS
2. 配置监控面板
演示使用 EasyRoCE Toolkit 内的统一监控面板（UG，Unified Glancer），在此之前需要提前完成该平台的部署，请参阅：一文解读开源开放生态下的RDMA网络监控实践 中的“监控平台配置”部分。
我们只需要为 UG 再添加一个呈现 HTML 的 Pannel，并完成 HTML 源的配置（如下图所示），EPS 解析出来的集合通信环信息就将作为各类 RDMA 网络相关监控指标信息的补充，辅助集群设施调优决策。
完成以上所有步骤，我们就可以在 UG 看到实时更新的集合通信库运行信息，手动更新NCCL 日志文件，可以看到 UG 中呈现的解析信息也同步刷新。
