NVIDIA Cosmos 模擬配方更新：模型沒換，生成到部署的接線換了

用 AI 摘要這篇文章：

ChatGPT Claude Perplexity Google Grok

NVIDIA 在 2026 年 11 月 2 日發布技術文章《Build World Models for Interactive Simulation with NVIDIA Cosmos》，台北時間 11 月 3 日凌晨 1 點上線。文章把自駕與機器人團隊的生成式模擬工作流從資料生成、輸出檢查一路接到推論服務部署，同場公布的還有新通過認證的 Cosmos NIM 容器 cosmos3:2.0.0。

先把這次更新的位置講清楚：權重不是新的。以 Hugging Face 的模型版本紀錄核對，兩個自駕檢查點 Cosmos3-Nano-Transfer-Auto 與 Cosmos3-Nano-Sim-Auto 都在 2026 年 8 月 31 日建立，最近一次更新停在 10 月 30 日。11 月 2 日真正的新東西是接線：NVIDIA 把這批 8 月底就建立於 Hugging Face 的權重，配上 Cosmos Framework 裡新整理的模擬配方（simulation recipes）、可直接執行的範例資料，再加上 NIM 部署容器，串成一條照著文件就能重現的流程。

前後差異可以更具體地說。這之前，Cosmos 家族的工具散在多個倉庫：推論與訓練框架一處、示範文件一處、權重又一處，開發者要自己對齊版本與輸入格式。這次整理之後，模擬配方、輸入準備指南與輸出檢查清單收在同一個 cosmos-framework 倉庫，範例資料直接跟著權重一起下載（放在檢查點的 assets/sample_data 目錄），照官方給的指令就能跑出與文件相同的參考輸出。對開發者來說，差別在於過去要自己讀論文、自己拼環境，現在拿到的是一份從下載權重到驗收輸出的完整路徑。

Pin

同一篇文章也交代了 Cosmos Framework 的下一步走向：框架標榜開放且模組化，標的模型對象正從 Cosmos 3 家族往外擴，逐一支援 NVIDIA Alpamayo、GR00T、Qwen 與 pi0.5 等模型；訓練側提供 LoRA 與全參數微調兩條路，強化學習側新收了五種管線，離線的 DPO、線上的 GRPO 與 PPO、從固定教師模型蒸餾的 OPD，以及給擴散式世界模型用的 DiffusionNFT。這些與模擬配方共用同一套框架基礎設施，也是 NVIDIA 把世界模型從單次演示推向可維運工程組件的信號。

還有一個趨勢面的細節：配方被設計成可以交給程式代理執行的技能，放在倉庫的 .agents/skills 目錄下。官方給的範例是把一個有界任務直接寫成指令，例如「用某份配方在某資料集上後訓練某檢查點，固定所有版本號、驗證資料集、訓練與評測回合分開，跑到某個 GPU 時數上限就停」。生成模擬資料這件事，正在從手工作業變成可以委派的工作項目。

誰該留意：有 Hopper 或 Blackwell 的自駕與機器人團隊

這套配方的適用條件相當具體。官方文章寫明檢查點支援 PyTorch 與 vLLM-Omni 兩種執行方式，測試環境是 NVIDIA Hopper 與 Blackwell 兩代架構的 GPU；自駕的參考跑法用 4 張 GPU 起步。作業系統方面，NIM 容器的部署文件以 Linux 為準，需要 NVIDIA 驅動、Docker 與 NVIDIA Container Toolkit。

換句話說，受影響的是本來就在做物理 AI（Physical AI，自駕、機器人、手術模擬這類要跟真實世界互動的 AI）且握有對應算力的團隊。沒有這類 GPU 的個人開發者仍有替代入口：NVIDIA 的 API 測試站 build.nvidia.com 已經掛上 Cosmos3 Nano 的託管預覽端點，用瀏覽器就能試。至於不做物理 AI 的開發者，這次更新與你無關，不需要任何動作。

兩種時間軸：Transfer-Auto 整段重畫，Sim-Auto 邊開邊生成

配方的主角是兩個共用同一套控制介面的自駕模型，差別在生成的時間軸方向。

控制介面叫世界場景圖（World Scenario Map，WSM），可以想成一份描述道路結構的圖層資料：車道、物體方塊、道路標線、交通標誌與道路邊界都在裡面。文字提示詞則負責外觀，描述天氣、光線、時段與路況。兩者分工的意義在於，空間與運動線索由 WSM 鎖住，畫面長什麼樣子交給提示詞，所以同一條路可以換成雨夜重畫一次，道路布局與車輛軌跡卻保持一致。若要同時生成光達（LiDAR）資料，再加上高精地圖的控制層。官方示範的白天改雨夜，就是在這個架構下完成的。

Cosmos3-Nano-Transfer-Auto 走雙向生成，一次對整段多視角影片去噪重建。它的用途是離線批次生成合成資料：輸入與輸出都是 30 fps 的影片，480p 或 720p，更長的序列可以用自回歸分段串接。模型卡寫明支援最多 11 個攝影機視角（含 200 度魚眼），搭配 128 線旋轉光達；官方的參考跑法用 7 個同步 WSM 影片，加上每視角字幕、首影格 RGB 條件與高精地圖光達控制，推論參數設在 720p、35 步，在 4 張 GPU 上產出 7 支 720p 影片（297 格）與 99 個光達掃描。產出怎麼驗收文章也給了答案：查 sample_outputs.json 確認成功與否，用 lidar.safetensors 檢查距離與強度值是否為有限值，再核對各視角與光達的對齊。生成的光達資料是距離與強度表示，可轉成帶逐點強度的 3D 點雲，倉庫附有視覺化工具。

Pin

Cosmos3-Nano-Sim-Auto 是從 Transfer-Auto 蒸餾出來的因果變體，少步蒸餾讓它改成自回歸串流生成：自駕政策（政策在這裡指模型根據看到的畫面決定下一步動作的方法）或人類駕駛輸入每更新一次場景，WSM 渲染器就跟著算出新的控制項，生成器再畫出對應的畫面與光達資料，回到政策端，形成封閉迴路。它的參考跑法沿用 Transfer-Auto 隨附的範例輸入，輸出寫進 outputs/sim_auto/daytime_scene 目錄，驗收檢查與 Transfer-Auto 同一套；倉庫另外提供 Sim-Auto Interactive Drive，讓人直接開著場景跑。一個離線餵資料、一個即時陪政策測試，選哪個配方取決於你要的是資料集還是考場。也因為兩者共用 WSM，同一組控制條件可以分別餵給兩條時間軸，先批次生成訓練資料，再進封閉迴路評測，條件前後一致這件事在兩側都成立。

同族配方往機器人與手術推

自駕之外，文章列出四個同族配方，各有明確分工。

機器人側兩個。Cosmos3-Nano-Sim-Transfer 吃深度影片加提示詞，輸出換了光線、材質與背景的 RGB 影片，但幾何與動作保持原樣；依官方說明，它吃的不限深度影片，分割圖、邊緣圖或模糊影片都可以當輸入，在語言提示下轉成細緻的 RGB 觀察，模擬器的物理狀態不受影響。對機器人示範資料來說，等於第三視角可以換、動作與腕上攝影機錄影不動。Cosmos3-Nano-Sim-Bimanual 則直接從場景與機器手臂動作生成下一個觀察畫面，支援 YAM 與 AgiBot 兩種雙臂機器人形態，可以接政策模型，也可以讓人用搖桿操作。兩者的差異值得記住：Sim-Transfer 是從物理模擬器的狀態生成畫面，Sim-Bimanual 是跳過物理模擬器直接生成。

手術側也有兩個。Cosmos3-H-Embodied-Nano 以 Cosmos3 為底、用 Open-H-Embodiment 資料集後訓練，吃初始 RGB 影格、任務提示與最近 16 個已執行動作，之後接著讀機器手臂的後續動作，可以從動作生成手術影片、從影片預測動作，或兩者同時生成，讓開發者不用先為手術場景建物理模型就能產合成資料、離線評測政策。Cosmos3-H-Dreams 是它蒸餾出的因果少步版本，讀取即時的機器手臂運動學資料生成畫面，讓政策在上實體硬體前，先在由真人或學習到的政策操控的互動環境裡測試。官方文章在這裡的說法是互補：與其明確建模場景幾何、組織變形與物理交互，世界模型直接從同步的手術影片與機器手臂運動學學習視覺動態。

這條產品線的週邊生態其實已經在長。先前 KAIST 的 L3G-World 研究把生成器建在 Cosmos-Predict2.5 底座上做即時世界生成；Sereact 與 Teradyne 的退貨機器人部署技術棧裡，Cosmos 也負責模擬資料生成這一層；評測端的研究如 world2vec 則提醒，世界模型跑分高不等於真的理解環境，驗收標準要另訂。框架權重與生態工具這次一起收攏進 Cosmos Framework，方向是讓世界模型從研究素材變成工程組件。

部署層的記憶體帳：NIM 容器怎麼選

文章後半段是給要上線的團隊看的。新的 Cosmos NIM 容器把量化、投機解碼、快取、token 修剪與 KV 快取感知路由包起來，官方宣稱投機解碼在 H200 上量到約 2 到 3 倍平均加速（此為 NVIDIA 自家量測數字，尚無第三方複核）。容器從 NGC 拉取，映像檔為 nvcr.io/nim/nvidia/cosmos3:2.0.0，需要 NGC API 金鑰；以生成型 Nano 為例，啟動時用環境變數指定模型類型為 generator、變體為 nano，容器起來後先查 /v1/health/ready 等就緒，再查 /v1/metadata 確認載入的模型與效能設定，啟動過程可以從容器日誌追。官方也標榜這批容器在超過 20 款 NVIDIA GPU 上驗證過效能與品質，並附授權支援與季度更新。

選型上最實用的是官方直接給出的記憶體需求表，依任務與模型列出 GPU VRAM 用量（單位 GiB）：

以生成任務的 Nano 為例，BF16 要 58 GiB，換 FP8 降到 44 GiB，再加離線卸載可壓到 31 GiB；參數量上 Edge 是 4B、Nano 16B、Super 64B。對照市面上常見的 80 GiB 等級加速卡，這張表幾乎就是在告訴你哪個變體塞得進哪張卡。

Pin

效能設定有個容易踩的坑：NIM_PERF_PROFILE 有 latency 與 throughput 兩檔，latency 支援 1、2、4 或 8 張 GPU，throughput 需要 2、4 或 8 張。官方特別提醒，在單 GPU 範例裡只把設定改成 throughput 會直接失敗，單卡就選 latency。throughput 的收益也要併發請求才看得到，適合資料集生成或多使用者場景。

除了自架容器，NVIDIA 也把 Cosmos3 Nano 掛上自家 API 目錄當託管預覽端點，走 ai.api.nvidia.com 的 /v1/cosmos/nvidia/cosmos3-nano 路徑，用 API 金鑰就能呼叫文字生影片、圖生影片與動作工作流。依模型說明頁，NIM 路線還支援把自家微調過的 Cosmos 檢查點放進容器服務，並提供串流視覺語言模型推論；官方宣稱事件回應延遲可壓到十分之一以下、達次秒等級，這也是未經第三方複核的官方數字。自架與託管兩條路共用同一套模型家族，試水溫與正式部署之間的遷移成本因此低了一截。

授權與浮水印：模型條款之外還有容器條款

商用前要看清楚的是兩層授權。模型權重與 Cosmos Framework 框架的授權都是 OpenMDW-1.1（開放模型與資料權重授權），Hugging Face 模型卡與 GitHub 上的 LICENSE 全文都這樣寫，這層條款允許下載、使用與修改權重，附帶條件要回原條款確認；但 NIM 容器另受 NGC 條款約束，也就是 NVIDIA 軟體授權協議加產品特定條款。下載權重自跑和拉容器部署，適用的是不同合約，混為一談可能在商用場景踩到紅線。

浮水印是另一個決策點。依 build.nvidia.com 的模型說明頁，輸入媒體會經過安全篩選，生成的圖片與影片強制加上 SynthID 浮水印，兩者都是必要條件，沒有關閉選項。對要把合成資料混進訓練集的團隊，浮水印其實是加分項：合成樣本自帶可偵測標記，來源好交代。但要拿生成畫面直接當對外素材的團隊，就得把水印列入成本。

照文件重現，或先用託管端點試水溫

依硬體條件分流，動作很清楚。握有 Hopper 或 Blackwell GPU 的團隊，照官方文件重現參考跑法是最低成本的第一步：下載 Transfer-Auto 檢查點、用隨附的範例輸入跑一次 4 GPU 推論、按清單驗收輸出，再決定要不要把自己的場景資料做成 WSM 控制項。要接自己的資料，下一步是讀 WSM 渲染器與 Transfer-Auto 後訓練指南，把感測器組態與資料領域對齊。沒有對應算力的開發者，可以先用 build.nvidia.com 的託管端點試文字生影片、圖生影片與動作工作流，感受輸出水準再評估投入。官方也選在今天（11 月 5 日）舉行 Cosmos Framework 直播說明，想跟進的團隊可以從 NVIDIA 頻道看到第一手示範。

三件未定事與時效邊界

三件事在跟進前要留在心上。生成影像的實際畫質與耗時，目前只有官方文件的說法，照參考流程實際跑過之前，數字僅供起點參考。官方文章寫 Transfer-Auto 單段最多 400 格，Hugging Face 模型卡卻寫每視角最多 300 格，兩份官方文件目前不一致，引用規格前宜先確認出處版次。NIM 容器的費用未在文章中揭露，需要 NGC 帳號並依條款洽談，願意自跑權重的團隊則走 OpenMDW-1.1 授權，兩條路的成本結構不同。

時效性方面，NIM 容器承諾季度等級的功能與安全更新，記憶體表與容器版本都可能在下次更新調整；規格數字的事實基準是 2026 年 11 月 2 日的技術文章與 10 月 30 日更新的模型卡，2027 年 2 月前後（下次季度更新）宜回查官方文件再引用。