方案优势
Token生成速率提升21.7%
Token生成速率随着并发用户数的增加而稳步提升；经测试，当并发数达到64，对比星融元轨道优化胖树（AsterFabric ROFT）架构提高21.7%
大幅优化推理延迟
对比星融元轨道优化胖树（AsterFabric ROFT）架构提高21.7%，首Token时延（TTFT）降低约50%，每输出Token时延（TPOT）降低约10%。
降低硬件部署成本
Matrix组网移除了Spine层，Leaf同时承担接入与互联角色，单Pod内全部节点同型号部署，运维备件型号单一。
天然负载均衡，消除ECMP哈希极化
通过正交对偶分区，将结构化的Prefill/Decode节点块在底层链路中均匀散开；每对GPU之间仅有一条最优路径为推理任务下 KV Cache 传输提供最短且确定（恒为两跳）的路径。
测试数据
组网所用交换机为星融元数据技术有限公司的800G RoCE 交换机（CX864E-N，64×800G/128×400G），搭载 基于SONiC 的 AsterNOS网络操作系统；服务器侧为某国产GPU卡，单节点8卡，对应4个双口200G网卡（Broadcom PCIe以太网卡）。测试对比了Matrix 组网架构下与主流ROFT（轨道优化胖树）架构的性能。
E2E 转发
Matrix组网测得390.63 Gb/s，与背靠背参考基线390.62 Gb/s基本一致。
集合通信性能测试
Matrix在本次测试覆盖的集合通信负载下能够提供与ROFT相当的性能；进行参数调优后，All-Reduce、All-to-All等测试项的性能均得到进一步提升。其中 All-Reduce 性能达到了162.78 GB/s，All-to-All性能达到了30.11 GB/s。
模型推理性能测试（TGR与响应时延）
Matrix组网在并发数为64的场景下，Toke 生成速率达到13,101.82 token/s，较ROFT提升21.7%；首Token时延（TTFT）降低约50%，每输出Token时延（TPOT）降低约10%。网络硬件成本和整体功耗相比 ROFT 可降低约30%。
选型建议
AsterFabric ROFT 和 AsterFabric Matrix 两种架构均可作为AI算力网络的组网选择，建议结合实际业务流量模型、性能目标和总体拥有成本（TCO）进行选型。
- 优先考虑AsterFabric ROFT：该架构与当前主流的AI集群网络设计实践具有较好的契合度，相关网络设计和工程实施经验较为成熟。对于不熟悉业务模型，缺乏GPU集群及通信参数调优能力，且暂不具备联合调优条件的客户，建议优先选择ROFT，以降低方案实施和调优复杂度。
- 优先评估AsterFabric Matrix：对于以Prefill-Decode（PD）分离为主要部署模式、存在大量跨节点KV Cache传输的推理集群，可优先评估Matrix。在相同GPU规模下，本方案的交换机数量较ROFT减少33%，可降低硬件部署成本。需要注意的是，Matrix组网架构在一定程度上提高了实施复杂度，对网络规划、线缆部署及后续运维提出了更高要求。同时，要充分发挥其性能优势，还需要结合GPU集群部署、通信框架和推理业务特征进行联合调优。
