GPU:从并行计算到 AI 服务器
GPU 在 AI 训练和推理中承担大量并行计算。以 NVIDIA H100 SXM 为例,理解它需要同时看三个地方:芯片怎么计算,HBM 怎么供给数据,以及 GPU 模组怎么接入服务器。
GPU 为什么适合 AI?
Transformer 训练和推理会反复执行矩阵乘法。GPU 可以把一个大矩阵运算拆成许多小块,在多个流式多处理器(SM)上并行执行。以 Hopper 架构为例,SM 内的 Tensor Core 加速受支持的数据类型和矩阵运算。训练还需要计算梯度以更新参数,推理则用已有参数生成输出。
为什么 GPU 还需要 HBM?
模型权重、激活值和推理时的 KV 缓存都可能占用显存。显存容量决定能放多少数据,显存带宽决定每秒能搬多少数据。当计算单元等数据的时间超过实际计算时间时,增加峰值算力带来的收益就会受限。HBM 把多层 DRAM 堆叠在一起,通过宽接口向 GPU 提供数据。
GPU、HBM 和 AI 服务器怎么接起来?
在 H100 SXM 的例子里,GPU 芯片与 HBM 通过封装内的互连交换数据。封装完成的 GPU 被装到 SXM 模组,再接入支持它的服务器底板。服务器提供供电、散热和主机连接,多 GPU 系统还可以通过 NVLink 交换数据。这里有两种不同的带宽要看:GPU 读写本地 HBM 的带宽,以及 GPU 之间传输数据的带宽。
规格示例 · NVIDIA H100 SXM
NVIDIA 列出的 H100 SXM 规格包括 80 GB HBM3、3.35 TB/s 显存带宽,以及最高 700 W 的可配置热设计功耗。前两项分别表示显存容量与带宽,700 W 是设计功耗上限的规格示例。实际部署需要结合服务器的供电、散热和工作负载。