標籤 Dynamo

NVIDIA 拆解 AI 記憶體協同設計,一樣的容量拉開三十倍吞吐量

TechMoon 精選圖|NVIDIA AI 推理概念圖,以五個相連節點呈現協同設計,說明相同 HBM 容量下推理吞吐量仍可不同。

NVIDIA 技術部落格 11 月 5 日刊出記憶體協同設計解析,說明 Vera Rubin NVL72 如何在單卡 288GB HBM 與前代相同的條件下,靠 NVFP4、寬專家並行、Dynamo、Vera CPU 與 CMX 五個環節把每兆瓦推理吞吐量拉開最高三十倍。每個倍率數字各有對照組與前提,KV 快取也從各 GPU 的副產品變成艦隊共管的分層資源。

Share to...