標籤 AI 推理

NVIDIA 技術部落格 11 月 5 日刊出記憶體協同設計解析，說明 Vera Rubin NVL72 如何在單卡 288GB HBM 與前代相同的條件下，靠 NVFP4、寬專家並行、Dynamo、Vera CPU 與 CMX 五個環節把每兆瓦推理吞吐量拉開最高三十倍。每個倍率數字各有對照組與前提，KV 快取也從各 GPU 的副產品變成艦隊共管的分層資源。