AI应用对网络基础设施有哪些需求？

2023-08-29

网络性能的效率在确保人工智能应用程序有效运行方面起着至关重要的作用。这种效率决定了系统处理信息的速度，同时也影响着整体应用性能。

人工智能应用程序通常是数据密集型的，需要处理大量信息，因此需要在交换机、路由器和服务器等各种设备之间快速访问和快速传输。速度慢或延迟高的低效网络会干扰实时或接近实时的输入信号，从而缩短处理时间。应用程序的算法依赖于这些信号来识别对准确结果至关重要的特定模式。

当应用程序在网络基础设施上运行时，处理器通过处理器间传输与远程存储器交换信息。这种传输会大大减少延迟和带宽，最终限制应用程序的效率。中央处理器的处理速度与内存访问速度之间的差距越来越大，这给人工智能应用带来了被称为 “内存墙 “的挑战。

尽管 CPU 处理能力有了长足进步，但在提高内存访问速度方面的进展却相对缓慢。这一瓶颈限制了系统的整体性能。

人工智能内存墙问题与网络

在人工智能应用中，处理大型数据集是无可争议的必要条件。然而，这一过程却带来了潜在的绊脚石。由于带宽限制或此类系统特有的高延迟，在处理单元和内存系统等不同组件之间传输上述数据集的速度可能会很慢。

更复杂的是，现代计算机拥有独立的内存层，这些内存层在特定属性（如访问速度和容量）方面各不相同。在这些不同层级之间移动数据会导致内存墙问题，访问时间的增加会影响性能。

在缓存方面，有时会出现请求数据，但却无法在先前为快速检索而设计的缓存中找到数据的情况。这种故障会增加另一个导致瓶颈的问题，即缓存缺失。这种中断会导致严重的延迟，往往会造成系统整体性能的滞后。此外，如果多个处理单元或线程同时访问一个处理单元，就会出现资源争夺，导致效率降低。

不过，网络可以缓解这些问题。分布式系统可以通过将计算和数据分布到多个节点来使用网络资源。这种方法可以改善内存访问时间，减少内存墙问题对人工智能应用性能的影响。

在庞大的网络中，在不同节点间移动信息会产生过多的开销，而减少这些开销的一个有效方法就是采用包含远程直接内存访问（RDMA）的网络技术。

RDMA 实现了两个远程系统内存之间的直接数据传输，无需 CPU 参与。这一过程加快了数据传输，同时最大限度地减少了 CPU 的开销。就人工智能应用而言，RDMA 为优化内存访问开辟了途径，以最快的速度和最高的效率简化了网络各部分之间的通信。

例如，在分布式深度学习系统中，企业可以使用 RDMA 将数据从 GPU 调度到另一个 GPU 或异地存储设施，灵活性极高。RDMA 可以优化可用内存的使用，同时规避潜在的内存障碍，限制内存墙问题的影响。这种模式的转变对基于人工智能的应用具有重大影响，因为在人工智能应用中，无缝通信往往是性能平平与性能卓越的分水岭。