RobotAgentBench 開源家用機器人評測:瓶頸移到規畫與執行的交接

Aether AI 與加州大學聖地牙哥、戴維斯分校團隊開源 RobotAgentBench,把一個真實家庭擴建成 50 種模擬佈局、90 個原子任務與 4 種開放情境,用部分進度分數與停滯率量測家用機器人的自主性。論文表 1 顯示同一組 Codex 與 InternVLA-A1.5 用三種架構接線,五項能力平均從 23.3 拉到 48.5,開放情境榜首 15.4 是四種情境的進度平均而非家務成功率,瓶頸正在從操作能力移往規畫、執行與驗收的交接設計。

用 AI 摘要這篇文章:

同一個 Codex 程式代理、同一份 InternVLA-A1.5 機器手臂政策,只要換一種架構接線,五項能力平均分數就能從 23.3 拉到 48.5。Aether AI 與加州大學聖地牙哥分校、戴維斯分校的團隊,在 2026 年 10 月 26 日把家用機器人自主性評測 RobotAgentBench 的論文提交到 arXiv(編號 2610.34649),評測程式碼在論文提交同日就公開上 GitHub,保存初始設定庫從 10 月 27 日起滾動釋出,三天內迭代到 0.2.17 版。首次評測結果把一個正在發生的變化量化出來:抓取、開冰箱這類操作能力漸漸不是家用機器人最卡的一關,真正的關卡移到規畫、執行與驗收三者之間怎麼交接。

arXiv 論文頁面:RobotAgentBench: Towards Open-world Robot Autonomy,2026 年 10 月 26 日提交Pin
論文於 2026 年 10 月 26 日提交 arXiv,編號 2610.34649。

同一批零組件,三種接線差出 25 分

RobotAgentBench 把機器人代理拆成三個角色:規畫者讀環境與需求、拆解任務;執行者把指令變成物理動作,來源可以是學習出來的政策模型,也可以是程式碼控制;驗收者盯著執行結果,發現失敗就引導修正。論文用「規畫/執行/驗收」的記號標示每種架構,C 代表程式碼、L 代表學習政策、H 代表混合兩者。

RobotAgentBench 官方專案頁:規畫者、執行者、驗收者三種角色與五種代理架構記法Pin
代理架構以規畫/執行/驗收記法標示,C 是程式碼控制、L 是學習政策、H 是混合執行。

關鍵對比出現在論文表 1:同樣使用 Codex 與 InternVLA-A1.5 這兩個零組件,三種接法分數差距相當大。

架構接法五項能力平均開放情境
–/L/C政策直接動作,程式碼代理只做驗收23.33.7
C/L/–Codex 規畫,政策負責執行26.49.1
C/H/CCodex 規畫與驗收,執行層混合程式碼與政策48.515.4

當對照組看:全程式碼的 Codex 代理平均 31.0 分、開放情境 8.4 分;InternVLA-A1.5 單獨上場只有 18.0 分與 1.0 分。混合架構 48.5 分不只贏過兩個零組件各自單飛的成績,還超過「政策+驗收」接法的兩倍。

分數是怎麼賺來的?論文給了一個具體例子:程式碼控制先把夾爪移到物品附近,讓學習政策從有利的位置開始,減少從陌生視角摸索的負擔。換句話說,政策不必變強,只要讓它在對的時機接手。

另外兩種接法的短板也各自被數字標出來。「政策+驗收」的組合,驗收者看得出失敗,卻生不出另一套有效動作,表現天花板被政策本身的能力壓住,情境推理只有 23.3 分;「規畫+政策」的組合讓 Codex 把情境翻譯成明確指令交給執行器,最大增益恰好落在情境推理(40.0 分),物理操作仍是弱項。兩者相加等於混合架構的啟示:會規畫與會執行中間缺的那塊,是知道什麼時候該用誰。

全程式碼組的變體也值得看。Codex 加上十輪遞迴自我改善(RSI)後平均升到 42.3 分,輸給混合架構但穩定高於原生版本;Claude Code 與 Antigravity CLI 兩個程式代理分別拿到 33.3 分與 39.7 分。把表 1 讀成「瓶頸移向交接設計」是一種解讀;論文自己的結論寫得保守,列的是規畫與執行的協調、失敗恢復與真實部署仍是持續存在的挑戰。

一個真實家庭,擴成 50 種佈局的考場

評測環境不是橫空生成的。團隊先在一個真實房間裡量測參數、檢索相似的家具與物件,用帶人工審查的 real-to-sim 流程重建進模擬器,再擴展出 50 種不同的房間佈局,變化涵蓋裝飾、牆面、地板與家具。要強調的是:50 這個數字代表可測環境的多樣性,不是機器人真的進過 50 戶人家。

任務清單由 90 個原子任務組成,覆蓋拿冰箱食物、微波爐加熱、氣炸鍋操作這類日常活動,操作對象從剛體一路到桌布這種可變形材料與咖啡豆這類顆粒物。往上組合成 18 個短任務(例如從沙發撿起帽子掛到衣帽架)與 8 個長任務(例如整理整個沙發區),另有 4 種開放情境。整份資料集附帶 101.8 小時的訓練示範,分布在推、拉、雙手協調與移動操作等 16 項技能。示範教的是可重用技巧,受測代理得自己判斷該用哪個技巧、什麼順序;示範怎麼生產本身就是另一個研究題目,NVIDIA 的 ScheduleGen 處理的就是多臂示範的排程生成。

硬體規格對齊 AgiBot G1 機器人:22 維動作介面控制頭部、軀幹、雙臂、夾爪與移動底盤;觀測來源是一部 1280×800 的頭頂相機、兩部 848×480 的腕上相機、本體狀態,以及一張隨視角逐步揭示的導航地圖。地圖只畫已知靜態幾何、走過的軌跡與未探索區域,任務目標與建議路線不會出現在裡面,探索因此是有成本的行動:多看一眼可能找到新工作,也可能吃掉原本能拿來執行的時間。

五項能力各自有專屬測法:任務發現看代理能否在沒有待辦清單時碰觸該處理的物件;情境推理看它能否依偏好或分類規則選對目標;失敗恢復從漏抓、撞倒物品的狀態開始考;抗擾測試則在執行中途改變燈光、移動物品,甚至加入人為介入。

15.4 量的是進度,不是成功率

開放情境是整套評測最難的一段。系統只拿到「準備晚餐」「迎接客人」「準備出門」「整理房間」這類高階需求,沒有任務清單,得自己探索環境、推導該做什麼,再靠物理檢查點累積進度。順序本身也在考題裡:論文舉的例子是先從冰箱拿食物、才能放進微波爐加熱,依賴關係想錯了,後面全部白做。

榜首的 15.4 分來自四種情境進度分數的平均:迎賓 15.8、備餐 14.3、出門 13.9、整理 17.6。這是保留部分完成度的進度分,不是家務成功率。一個把杯子拿起來放對位置的系統,會比完全沒動的系統得分高,就算兩者都沒有把客人招待完。

計分條件寫得很清楚:每個任務或情境跑 30 個實例;開放情境連續 120 個模擬秒沒有進展就終止;程式代理每個片段上限 200 次模型回應,單次工具呼叫最多 600 個控制步(等於 30 秒模擬時間)。行為面另有四個輔助指標:任務覆蓋率記錄有接觸或操作啟動證據的任務比例,任務進度把已啟動任務賺到的過程分除以它們的滿分,恢復率記錄失敗後同一任務接著成功的比例,停滯率記錄花在無進展狀態的時間佔比。

停滯率的數字最能說明「會操作」與「會自主」的落差:獨立政策在開放情境的停滯率高得驚人,InternVLA-A1.5 達 88.3%、OpenWAM-Alpha 84.6%,大部分時間處於閒置或無效移動,論文的案例影格裡 InternVLA-A1.5 整段沒有啟動任何任務;程式代理好一些,Codex 的停滯率 33.7%,它傾向反覆重試同一個子任務直到時間耗盡。反覆做同一個失敗的抓取,看起來很忙,卻可能擠掉其他該完成的家務,停滯率就是把「看起來在忙」與「真的有進展」分開的指標。

RobotAgentBench 官方專案頁分析:獨立政策在開放情境的停滯率高於 84%Pin
官方分析指出獨立政策的停滯率高於 84%,右側是 InternVLA-A1.5 與 Codex 的行為對比。

指令寫得太細,學習型執行器反而難消化

哪個程式代理當規畫器最有感?論文的交叉實驗把四個政策模型分別配給三種程式代理規畫,Antigravity CLI 帶來的增益最大,幅度從 +11.6 到 +16.0 分。團隊進一步抽樣每個規畫器的 10 個開放情境片段比對指令風格,發現 Antigravity CLI 的指令比較短、切換比較少、執行細節比較少,詞彙也比較簡單;Codex 則經常寫出鉅細靡遺的操作程序,論文原文的說法是「包括指定該用哪一隻手」,而學習出來的執行器反而難以消化這種長指令。作者的推測是:簡短的高階指令比較接近政策訓練時看過的語言。

這個發現的樣本只有每個規畫器 10 個片段,屬於作者的宣稱而非大樣本統計,但對想把大型語言模型接上機器人政策的團隊是個直接的提醒:規畫器寫得越像工程文件,執行器未必越聽話。

遞迴自我改善則是另一條獨立的故事線。三個程式代理在十個連續片段裡回頭修改自己的控制工具,把成功經驗保留到下一輪,兩個層級的成績都隨輪次上升,例子是把一次到底、超出關節可行範圍的伸取,拆成經過中間姿態的小步驟。要畫清界線:改善的是工具與執行經驗,不是重新訓練模型權重,論文回報的也是第十輪的成績,首次進場的系統拿不到這個數字。

模擬榜單搬到真機:三個系統的對照

論文另挑了任務子集與四個情境代表,讓 InternVLA-A1.5、OpenWAM-Alpha 與 Codex 三個系統在模擬與真實環境各跑 30 個實例,兩邊的訓練示範數量也對齊(原子與短任務各 50 段、長任務與開放情境各 10 段)。

結果方向一致:真實世界的分數普遍較低。Codex 的五項平均從 34.2 降到 31.9,開放情境從 8.7 降到 6.0;InternVLA-A1.5 從 17.8 降到 13.5;OpenWAM-Alpha 從 8.5 降到 8.2,開放情境直接歸零。論文的判讀是實體互動更難、真實場景更雜亂,但三個系統的相對排名保持不變;釋出的真機案例涵蓋一段有人為介入的抗擾任務與一個開放情境。這是配對子集的對照,不是整套榜單的真機版,SO-101 Bench 的量測也指向同一個結論:模擬榜單可以拿來排順位,分數本身搬不到真機上用。

採用之前的三道門檻

授權是分層的。評測程式碼走 Apache-2.0;團隊自製的房間、任務物件與題庫走 CC BY 4.0;AgiBot G1 與 GenieSim 的機器人資源沿用上游 CC BY-NC-SA 4.0 條款,包含姓名標示、非商業與相同方式分享。下載評分程式不等於所有外部元件都能同樣使用。

硬體門檻也不低。想真正啟動模擬,需要 Linux x86_64、Docker、NVIDIA Container Toolkit 與 Isaac Sim 相容的 NVIDIA GPU(原生環境鎖 Isaac Sim 5.1);只想看任務目錄的話,核心套件不需要 GPU。資產檔案約 7.04 GB、33 個壓縮檔,另有約 260 MB 的設定檔。

版本問題最容易踩坑。公開版提供每個任務或情境 30 個保存初始設定,合計 1,470 個,官方文件明講這些是供可重現評測的釋出版本,不是論文結果使用的原始實例。重現時要記下評測器 commit 與設定庫版本,設定庫在 10 月 28 日(UTC)一天內就從 0.2.11 迭代到 0.2.16。想要從訓練端重跑的團隊,團隊另在 Hugging Face 釋出以這份資料微調的 InternVLA-A1.5-RAB 模型與訓練資料集;情境推理的題庫與標準答案包在資產檔裡,屬於評測器資料,受測代理的觀測裡看不到。

對誰有用,還沒定案的部分

機器人研究團隊是直接受眾:評測支援接入自己的代理,架構消融實驗(換規畫器、換執行器、加驗收)正是這套基準設計出來的用法。正在做機器人產品的團隊,把榜單分數當模擬環境的相對值讀就好,真機表現要另外驗。一般讀者則多了一個校準點:「會自己做家務」的機器人離商品化還很遠,但差距已經被拆成可量測的數字,而不是一句「還不夠聰明」。

未定案的部分也要攤開:真機對照只有三個系統的子集,沒有覆蓋全部 11 個政策模型與五種代理架構;開放情境的計分依賴物理檢查點的設計,檢查點怎麼選會影響分數;這些數字對應的是第一版論文的量測條件與公開設定庫的現行版本。

同場加映兩篇相關評測的觀察:RoboWorld 把 25 套模擬環境交給代理自己建,前沿模型在最難任務全數掛零;micro1 的 Dual-Arm Sim 則抓到模型回報完成、感測器說沒有的落差。RobotAgentBench 補上第三塊拼圖:當操作能力漸漸到位,自主性的差距出現在架構交接,而這段差距現在有了計分方式。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2244

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...