標籤 SageMaker HyperPod

SageMaker HyperPod 範例開源:在訓練迴圈裡抓無聲資料損壞

TechMoon 精選圖:GPU 算錯不報錯的概念圖,以三層檢查與訓練迴圈標出無聲資料損壞。

AWS 於 2026 年 11 月 11 日在 Machine Learning Blog 公開 SageMaker HyperPod 的無聲資料損壞(SDC)偵測方案,配套程式碼更早已在 10 月 26 日合入 awslabs 開源儲存庫:三層檢查放進 PyTorch DDP 訓練迴圈,每步的 NaN/Inf 梯度檢查、跨節點環狀重算稽核、更新後的權重指紋比對,搭配定位、隔離與檢查點回滾。官方量測的效能代價落在 +7.4% 到 +34.7%,範例並自曝兩個漏抓案例;前提是三節點、DDP 與共享儲存。

Share to...