NVIDIA GR00T 2 世界動作模型：機器人從人類影片學新任務

用 AI 摘要這篇文章：

ChatGPT Claude Perplexity Google Grok

NVIDIA 在 2026 年 11 月 9 日 CoRL 機器人學習會議（Conference on Robot Learning，美國奧斯汀）期間，於官方部落格發表新一代機器人基礎模型 GR00T 2，研究頁也隨之公開，11 月 13 日再於官方 X 帳號分享實機示範。這套模型被 NVIDIA 稱為世界動作模型（world action model，WAM）：它不只決定機器人下一步做什麼，還同時預測動作執行後畫面會怎麼變化。研究頁標示程式碼將於 12 月提供，目前能核對的是官方文件裡的實驗數字與條件。

Pin

這次更新真正值得記住的，是機器人學新任務的資料成本結構改變。過去讓一台機器人學會新任務，大致等於替「每個任務乘上每個身體」重新蒐集一次遙控示範，換一隻機械手臂就要重來。GR00T 2 的路線是把人類第一人稱影片、手持夾爪示範與其他機器人的遙控資料全部放進同一個預訓練混合，新任務只剩最後一段要補。官方研究頁的數字是：50 項目標機器人從未練過的任務上，零樣本平均成功率 40%，每項補 5 次示範、合計不到 3 分鐘的機器人資料，再用一張 RTX 5090 微調 30 分鐘，平均成功率升到 95%。

這些數字綁定特定實驗條件，分母與限制需要拆開看：轉移的邊界、上層代理補上的恢復能力，以及 12 月程式釋出前能先確認的事項。

同時預測影片與動作，解的是資料來源問題

GR00T 2 的核心架構用一句話可以講完：一個擴散 transformer 同時對「接下來的影片畫面」與「接下來的機器人動作」聯合去噪，再由每種機器人身上小型輸出頭，把共同規劃轉成自己身體能執行的馬達指令。模型讀進最近的影片、指令與機器人狀態，生成一段未來影片與一個動作區塊，執行後再重複。官方強調它跑在平行夾爪、五指靈巧手與人形機器人三種身體上。

Pin

把影片預測放進訓練，是為了讓沒有機器人馬達指令的資料也能派上用場。人類影片通常只有畫面，沒有對應的控制訊號；但它記錄了物理互動怎麼展開，物品被拿起後場景如何變化。模型同時學「預測畫面變化」與「產生動作」，等於把人類影片當成關於物理的教材，而不需要假裝它含機器人指令。這個方向在開源社群已經有對照組，先前介紹過的 Verne V0.5 開放權重動作模型 同樣標榜世界模型路線，GR00T 2 則把規模與跨身體範圍再往上推一層。

讀官方研究頁時有一個容易誤讀的地方要先提醒：頁面展示的「未來影片」是模型生成的預測畫面，與攝影機拍到的實際執行畫面是兩回事。預測畫面能展示模型預期物理怎麼變，但它本身不是機器人完成工作的證據，官方在圖說裡也主動標明這個區別。判斷能力時，唯一能引用的是實際執行的成功率數字。

三種來源四十萬小時：資料的分工與真正開放的範圍

官方列出的預訓練資料有三種：40 萬 2,730 小時的人類第一人稱工作影片、1 萬 0,184 小時的手持 UMI 夾爪示範（橫跨 2,897 項任務），以及 2 萬 3,500 小時的機器人遙控資料。遙控資料涵蓋 YAM 與 Franka 的平行夾爪手臂、Sharpa 與 Wuji 靈巧手，以及 Unitree G1 人形機器人。三種來源的分工不同：人類影片提供規模與物理常識，手持夾爪示範比徒手拍攝更接近機器人的操作形態，遙控資料則保留真實機器人的動作經驗。

規模數字要小心引用。40 萬小時是人類影片的總量，其中只有 10 萬小時以 Human-1M-100K 名義在 Hugging Face 開放下載，其餘資料不在公開範圍。把「訓練用了 40 萬小時」寫成「開放了 40 萬小時」是不成立的，總量是開放部分的四倍以上。

手持夾爪這條資料線也值得單獨看。用穿戴或手持裝置蒐集示範、再轉移給機器人，是近來降低資料成本的共同趨勢，先前報導過的 AIRoA-0 開放機器人模型 就是同樣思路的獨立專案。GR00T 2 用自家 GEAR UMI 夾爪與 DexUMI 穿戴式外骨骼補這一塊，硬體設計頁也一併公開。

人類影片到底幫了多少？官方做了一組乾淨的對照實驗：分別用 0%、1%、10%、100% 的人類影片訓練四個模型，再在 72 項 Dexter 下游任務上評估。影片預測的任務進度從 64% 一路升到 77%，實機表現從 50% 升到 70%。每一級都有提升，這是「人類影片有實質貢獻」最直接的證據，也順帶說明了預訓練混合裡最大宗的資料為什麼是它。

示範成本從哪裡省下來：五次示範與三十分鐘微調

回到開頭那組數字，把分母講清楚。測試是這樣設計的：50 項任務出現在人類影片或其他機器人的資料裡，但目標機器人（一台裝著兩隻 Sharpa 靈巧手的雙臂機器人）自己的資料裡從未出現這些任務。零樣本是指令直接下、模型直接做，平均成功率 40%，其中 40 項至少成功過一次。每項任務補 1 次示範，平均升到 71%；補 5 次、合計不到 3 分鐘的機器人資料，加上單張 RTX 5090 約 30 分鐘的 LoRA 微調，平均到 95%，50 項裡有 37 項在所有試次全部成功。

Pin

官方對失敗的歸因寫得很直白：多數未成功的案例，步驟與順序是對的，敗在單一步驟的執行精度。這解釋了為什麼少量機器人示範就能把成功率拉這麼高，要補的是最後一段精度，不是從頭學任務。30 分鐘微調也必須正確理解：前提是預訓練已經完成，這段時間做的是指定任務的適應，從零訓練整個機器人模型的花費屬於另一個量級。

兩個邊界不能省。一個容易誤讀：零樣本不等於目標機器人完全沒有自己的資料。目標機器人仍然吃過認識自己身體的一般操作資料，只是沒有這 50 項任務的示範；先學會控制身體，才談得上把其他來源的任務經驗轉過來。另一個是範圍：這些數字屬於指定的 50 項任務與指定的機器人，把它延伸成任意工廠或家庭環境的可靠度，官方數字不支持。環境光線、物品材質或遮擋改變後的表現，研究頁沒有提供對應數字。

跨身體轉移的三條證據線

「人類或其他機器人的經驗，能幫一台沒練過的機器人學會任務」，官方稱為 X-Adapt，並給了三條不同來源的證據線。從人類到機器人這條：化學實驗室的濾紙任務只由戴著手套與頭腕攝影機的人示範，機器人端零遙控示範，Dexter 在濾紙安裝與潤濕達 65% 成功率，四項任務全部至少成功過。從手持夾爪到機械手臂這條：玩具傾卸卡車的組裝只示範於手持 UMI 夾爪，YAM 手臂端到端完成 60%，這種長任務單次可達 4 分鐘。從穿戴式裝置到機器人手這條：DexUMI 外骨骼的關節與機器人手對應，示範直接映射，Tianji 機器人配 ROBOTERA 手學會香蕉優格、舀穀片與劃火柴點燈這類雙手任務。

靈巧手上的精細操作另有單獨數字：兩隻 22 自由度的 Sharpa 手，GB300 記憶體模組安裝 85%、玩具卡車組裝 65%。官方也測了真機強化學習：只靠任務級成功訊號，三項接觸密集的插入任務從監督後訓練的 40% 到 76%，提升到 88% 到 96%。這組數字的意義在於失敗還能自我修復，但也提醒讀者，監督後訓練與強化學習是兩個階段，引用時不能混為一談。

上層代理補的是恢復力：97/100 與 3/10 的對照

動作能力解決單步精度，多步驟長任務還需要有人排順序、檢查進度、處理掉落與卡住。GR00T 2 的作法是把這層交給推理代理：代理以觀察、推理、行動、驗證的循環運作，經過 WAM API 把 GR00T 2 當工具呼叫，必要時用程式化技能（官方以 ASPIRE 框架學習，先前已開源，詳見 NVIDIA ASPIRE 開源機器人代理框架）修復場景再交回控制。官方把這套分工稱為 System 2 呼叫 System 1：慢思考的代理決定做什麼，快思考的模型決定怎麼做。

連續組裝實驗最能顯示恢復力的價值。每次試驗都把零件倒滿桌面，讓起始狀態刻意不在後訓練資料裡。三種玩具各連續 100 次組裝，代理版分別完成 98、97、97 次，合計 292/300；同一個後訓練策略拿掉代理只剩 71 到 84，純監督後訓練是 23 到 69。五條網路線依序插入交換器的任務，換上強化學習版模型後從 12/20 升到 19/20；把五個充電器插進人指定的插座，從 2/20 直接到 20/20。

視覺標記是另一個實用的機制：上層規劃者直接在 GR00T 2 的攝影機畫面上標出抓取點與放置點。在 YAM 的短指令測試裡，「做什麼與放哪裡」類指令的成功率從 40% 升到 92%，只給步驟文字是 66%；「怎麼做」類指令改善有限，44% 到 59%。標記講不清楚東西的最終朝向與抓放之間的動作，潑倒、擦拭這類仍要靠語言。長任務的上限也寫在同一頁：YAM 垃圾分類 17/20，但 NIST 拆解板只有 3/10；Dexter 在垃圾分類能放對更多物品，卻很少完整完成整項任務，官方自己把這標為現行系統的極限。97/100 與 3/10 出自同一份文件，只引前者不引後者，會嚴重高估現況。

Turbo 版把預測搬上機器人本體：124 毫秒與 50Hz 的分層

GR00T 2 Turbo 是為速度做的縮小版：20 億參數的 transformer 加上壓縮率更高的影片編碼器，動作視界與大版相同。它小到可以直接跑在 Unitree G1 人形機器人機載的 Jetson Thor 上，單次預測 124 毫秒（同一模型在 RTX 5090 上是 38 毫秒），大約每秒規劃一次 1.6 秒長度的全身動作區塊，SONIC 全身控制器以 50Hz 把區塊轉成關節目標，關節 PD 控制跑在 1kHz。官方的圖說寫明整套分層裡只有推理模型不在機器人上，其餘全部機載。

實機成績單在同一頁：舀取並遞送爆米花 48 次全數成功，清理擺滿多種物品的桌面 93%。縮小的代價也有誠實揭露：Turbo 在 YAM 的固定管件安裝（90%）與斷路器插線（100%）贏過大版，但其他四項 YAM 任務與六項 Dexter 任務裡的五項都落後，一項平手。選小模型換速度，任務品質要逐項看，不能只看延遲。

模擬資料在這一代的角色也變具體了。加入模擬資料後，Turbo 在分布外任務的成功率從 6.7% 升到 63.3%，前一代 GR00T 1.7 同條件升到 40.0%。官方同時用代理輔助的真實轉模擬流程重建數位分身做評測，14 個 GR00T 2 政策變體在 25 項 YAM 任務上，模擬與實機成功率的 Pearson 相關係數 0.92。模擬評測能不能代替真機，一直是這個領域的爭點，先前分析的 RoboColosseum 真機評測 顯示模擬排名與真機表現會脫鉤，GR00T 2 這組相關性數字至少把主張往前推了一步，但它仍是官方自測，不是第三方結果。

12 月程式釋出前，能先核對什麼

目前最需要保留的是「開放」的實際範圍。官方部落格稱 GR00T 2 為開放的前沿世界動作模型、建構在 NVIDIA Cosmos 上（Cosmos 相關的模擬工作流可參考 NVIDIA Cosmos 模擬配方更新），並稱其在 RoboCasa365、RoboLab、RoboDojo、MolmoSpaces 四個基準的視覺語言動作與世界動作模型類別都排前三。但授權條款、會釋出哪些模型權重、支援哪些硬體，研究頁都還沒有給出，只標了程式 12 月提供。這些要在釋出當天回查，本文以 2026 年 11 月 15 日查核的官方頁面為準。

產業端的名單可以記下來當追蹤線索：Foxconn 將 GR00T 2 用於伺服器製造的工廠自動化、Nexuni 測試洗衣處理、Siemens 評估工業場景、MicroAGI 用強化學習後訓練的模型在 YAM 手臂上換網路線。這些都是公告當下的評估或應用聲明，不代表已上線的部署，引用時維持「評估中」的口徑最安全。

對自己的專案有機器人研究能量的團隊，12 月前有兩件事可先做：盤點手上有沒有認識目標身體的一般操作資料

，這是零樣本轉移的前提；以及挑一項可重複比較的任務，固定成功判定與人工接手點，等權重釋出後直接量自己的示範成本曲線。一般讀者則記住結論的形狀就好：GR00T 2 改變的是新任務的示範成本結構，從每個任務每個身體都要重新蒐集，變成少量示範加短微調；至於機器人在開放環境的可靠度，證據還停在 3/10 那一端，兩件事不該混為一談。