標籤 分散式訓練

PyTorch 2.15 於 10 月 28 日把改寫版 NCCL 後端設為預設，官方明文退回舊後端的環境變數與 nccl-legacy 只保留到下一版，分散式 checkpoint 也改成 2.14 讀不回 2.15 存的檔案。多 GPU 專案升級前，先確認新後端的行為差異、FSDP2 的預設變更，以及 Mac 上實測可用的 FP8 與 Stream API。