MatrAIx 開源個人代理評測基準 PALE:三大模型全倒才算好題

MatrAIx 於 2026 年 11 月 15 日開源個人代理評測基準 PALE(Personal Agents' Last Exam),這是 10 月中發表第一版的 PersonalAgentEval 的開源版本。本次上線開放環境與任務兩軌提案:題目必須讓 GPT、Claude、Gemini 的指定模型在無提示實測全數未通過且平均分數低於 50%,另跑提示輔助版達 100% 才算合格。倉庫目前只有徵題模板與同步腳本,統一執行基礎設施與首份模型名單尚未發布,上線隔天起約 31 小時內湧入 53 件提案。

用 AI 摘要這篇文章:

2026 年 11 月 15 日,MatrAIx 團隊把個人代理評測專案 Personal Agents’ Last Exam(簡稱 PALE)放上 GitHub 開源。這次上架的並非一套能直接跑出分數的評測工具,而是徵題機制:環境(Environment Track)與任務(Task Track)兩軌的提案 PR 同日開放,README 的 News 段明載基礎設施「即將釋出」。PALE 是 MatrAIx 在 2026 年 10 月 14 日發表第一版的 PersonalAgentEval 評測之開源版本,定位是讓外部研究者一起幫「個人 AI 代理」出考題。

對照時間軸可以看出這次開源的節奏:GitHub 倉庫 MatrAIx-ai/Personal-Agents-Last-Exam 於 11 月 9 日建立並寫入第一筆 commit,11 月 15 日官方宣布正式上線並開放提案,到 11 月 17 日仍維持每天多次更新,多數是提案清單的自動同步。換句話說,從閉源前版到開源徵題,中間只隔了約一個月。

開箱倉庫:上架的是徵題規格書,還不是考場

親自把倉庫 clone 下來看,現階段能得到什麼?答案是規格與模板,而不是考場。截至 11 月 17 日,整個 repo 只有 16 個檔案:README、貢獻指南(CONTRIBUTING.md)、三份提案模板(環境提案、任務提案、PR 摘要)、一份名為 Lena Spring Gathering 的範例任務、提案清單(proposal-list.md)、兩支 GitHub Actions 工作流程,以及把 PR 自動彙整進清單的同步腳本 scripts/sync_proposals.py 和它的測試。目錄裡找不到評測執行器、任務環境或計分程式的任何一行程式碼;README 也直說基礎設施「即將釋出」。

GitHub 上 MatrAIx-ai/Personal-Agents-Last-Exam 儲存庫頁面截圖,顯示 Public 專案、79 筆 commit、53 個 pull request、50 顆星、22 個 fork,檔案清單為 .github、assets、proposals、scripts、tests、CONTRIBUTING.md、LICENSE、README.md,右側 About 連到 personalagenteval.com/PALE,無 release 標籤Pin
GitHub 倉庫截圖(2026-11-17 快照):79 筆 commit、53 個 PR、50 顆星,檔案清單只有提案模板與同步腳本,尚無任何 release。來源:GitHub。

MatrAIx 官網的研究牆同樣誠實:PALE 卡片的結果欄全部是 Results pending 與六個 To be announced 佔位。同一面牆上,閉源前版 PersonalAgentEval 已經列出六款代理產品的解決率,從 Instinct 的 60.5% 排到 Gemini Spark 的 25.7%。這組數字屬於閉源前版,跟剛開源的 PALE 是兩回事,看到「MatrAIx 評測」字樣的截圖時值得多看一眼出處。

官網的呈現方式也把「示範」與「評測」分得很開。personalagenteval.com/PALE 頁面用一位虛構使用者 Lena 的十二個月生活,展示代理如何跟著人際、行程與環境變動一路工作,任務時間軸把十二天濃縮成幾秒的動畫;頁面上每個應用介面都標註「公開產品介面參考,非評測 rollout」,明確告訴讀者這些畫面是示意,不是任何模型的實測紀錄。

所以對代理開發者的當下答案很明確:PALE 暫時不能用來跑分或比較模型。它現在的價值是那份把「難」量化成驗收條件的投稿規格,以及已經湧入的數十份環境設計可以當評測參考素材來讀。

「難」被寫成規格:無提示全倒、提示版滿分的雙門檻

PALE 最有辨識度的設計,是它把投稿題目的難度變成兩道可複驗的門檻,寫進貢獻指南的資格表:

資格無提示獨立實測全任務通過率平均正規化 rubric 分數提示輔助驗證
一般題目每模型至少 1 次,建議 5 次0/n低於 50%100% 且通過所有成功閘門
旗艦題目每模型至少 1 次,建議 5 次0/n低於 30%100% 且通過所有成功閘門

幾個名詞值得先講清楚。Rollout(推演軌跡)指讓某個模型在模擬環境中從頭到尾完整跑完一次任務的執行紀錄,包含每一次工具呼叫、對話與最終狀態。「無提示」(unhinted)就是盲測,模型只拿到使用者會拿到的資訊;「提示輔助」(hint-assisted)則是另跑一版,給代理一段固定、有紀錄的提示,把注意力指向關鍵的個人脈絡或推理步驟。

這兩道門檻合起來才是完整的難度定義。無提示版必須全倒:評測時點自 GPT、Claude、Gemini 三家族各指定一名 SOTA 模型扮演個人代理,三個模型都要獨立達到 0/n 的通過率與低於門檻的平均分數,指南特別強調恰好 50% 或 30% 不算過關,也不得把三個模型的成績合併計算來掩蓋某個模型表現較好。提示輔助版必須全對:拿到提示的代理要達到 100% 並通過所有成功閘門,用來證明題目本身可解、失敗確實源自推理或記憶能力,而非環境工具壞掉。提示不得洩露計分內部或直接給答案,也不計入無提示的實測次數。

GitHub 上 CONTRIBUTING.md 文件的 Task difficulty and validation 段落截圖,包含資格門檻表:Accepted task 與 Flagship task 兩列,欄位為每模型至少 1 次無提示實測(建議 5 次)、全任務通過率 0/n、平均正規化 rubric 分數分別低於 50% 與 30%、提示輔助驗證須達 100% 並通過所有成功閘門Pin
官方資格門檻表:無提示實測全數未通過(0/n)、平均分數低於 50%(旗艦題 30%)、提示輔助版 100%。來源:GitHub。

防止「事後挑好成績」的規則也寫得很細:跑無提示實測前要先凍結題目、rubric、模型設定與資源預算;每一次軌跡、種子、工具版本、成本與失敗分析都要提交,不能只挑失敗的跑交差;如果設計改了,整批驗證要重跑;基礎設施故障不能拿來當作題目很難的證據。至於讀者最好奇的「到底會考哪些模型」,答案是還沒揭曉:維護者會按評測時點公布逐批凍結的版本化名單(dated, versioned evaluation roster),首份名單將伴隨第一次基礎設施發布出場,之後每一輪換上當時的 SOTA;投稿者則要記錄每個模型的確切識別碼與版本、評測日期、代理設定、推理設定與資源預算,驗證批次內不得改用會漂移的模型別名。

考題長什麼樣:15 個生活領域,難在人的脈絡會變

PALE 想測的「個人代理」,難度設定與單輪問答基準明顯不同。環境面畫出 15 個領域:金錢與保險、購物與雜貨、旅遊與通勤、健康與照護、餐飲、社群與社區、居家與水電、公共服務與法律、媒體與娛樂、學習與研究、工作與商務、新聞與資訊、天氣與戶外、遊戲、健身與身心健康,由郵件、行事曆、訊息這類個人應用串接起來。

考驗分三組。理解這個人:從未明說的偏好推論、更新過時的脈絡同時保留過去的承諾、回應情緒線索但不擅自假設使用者內在狀態。行動與協調:尊重隱私與支出上限、判斷此刻該直接動手、先問人還是再等等、協調工作家庭健康旅遊財務之間的相依關係(代理越權時誰要負責,可以對照我們先前對 加州訴 OpenAI 代理控管案 的解析)。在變動環境中演化:介面改版、登入過期、存取被封鎖時仍要完成流程,使用者意圖改變時要重用有效的工作而不是重來。README 給了三個代表性案例:Priya 的例行補貨要對上女兒的過敏、最近的商品召回與托兒所裡已有的庫存;Sofia 的替代班機降在不同機場,代理要顧及已訂的車與伴侶未回的訊息;Wei 的一句處方核准,要觸發兩次對話之前交代的郵購藥與照顧者簡報。

兩軌提案各自要交的東西也不一樣。環境軌提案一個 app 或網站:主要領域與次要領域、代理能用的工作流程與應用連接,加上涵蓋資料資產、交付項目、品質檢查與工作量的施工計畫;任務軌提案一個情境:領域、使用者角色、故事與個人化洞察,同樣要附施工計畫,內容涵蓋使用者情境、脈絡、計分方式、模型 rollout 與工作量。

收件品質標準寫在貢獻指南的驗收條件裡,五條都指向「這是不是一道好題」:難度須來自推理、脈絡、協調或執行,不能出自工具故障或被藏住的需求;要可重現,依賴、種子、事件排程、資源上限與重置行為都要有紀錄;計分要有效,得證明參考解法會過、什麼都不做會不過、常見的錯誤或部分完成會被正確處理;要有獨立證據,審查者要能重現「三個 SOTA 模型全倒」的主張;最後是誠信與維護,揭露出處與協作者、尊重資料授權、持續維護被接受的作品。審查也分兩關:提案審查看領域與構想清不清楚、劇本與洞察夠不夠有說服力、施工計畫可不可以審;實作審查看交付的環境或任務有沒有兌現核准的設計、重置與參考解法能不能動、軌跡可不可以重現。

這套設計對應的正是長週期任務(long-horizon)評測的核心假設:世界會在任務進行中改變。人、計畫、權限與環境都會變,代理必須把歷史記憶與最新證據對齊,在多個應用之間協調,並決定何時行動、何時發問、何時等待。想看 Agent 評測怎麼把不同框架的執行紀錄放上同一把尺的讀者,可以參考我們先前對 AWS 開源 UAEF 評測框架的解析,兩者走的路線不同但面對的是同類問題。

徵題首 31 小時湧入 53 案:蓋的是可重置的合成環境

徵題機制的動員速度超出一般開源專案的日常。逐行清點提案清單:從 11 月 16 日 01:49 UTC 第一件提案,到 11 月 17 日 09:00 UTC 最後一件,約 31 小時內累積 53 案,環境軌 28 案、任務軌 25 案,出自 17 個不同的 GitHub 帳號。狀態分佈是 49 案設計審查中、3 案已關閉、1 案草稿,沒有任何一件走完「提案、核准、實作、驗證、合併」的全流程。倉庫全部 PR(含基礎倉庫作業)共 61 件,stars 50 顆、fork 22 個(11 月 17 日快照)。

GitHub 上 proposals/proposal-list.md 文件截圖,標題 Proposal list,說明由提案 PR 自動同步、時間為 UTC,Environment Track 段落標示 28 proposals,表格欄位為 Submitted(UTC)、PR 與 app 或 website、Primary domain、Scope and app connections、Progress、Review、Author、Merged,可見 TrailPocket 旅遊工作區等提案列Pin
提案清單由 PR 自動同步(UTC 時間戳):環境軌 28 案、任務軌 25 案,尚無一件獲核准。來源:GitHub。

挑一件看得出設計意圖的例子:11 月 17 日的環境提案 TrailPocket 是一個獨立品牌的合成旅遊工作區,賣點在於同一份行程計畫在桌機上正確、換到旅人的手機上卻可能不可用,六個檢視畫面串起行程、區域交通資訊、現場觀察與可下載的行程手冊。任務軌的題目名稱則更像一句生活難題,例如「在時刻表對不上山路時保住一日健行」、「在手機失去訊號後讓博物館語音導覽仍可用」、「用累積中的點數訂週年旅行而不動到還在賺取的點數」。

環境提案的主流蓋法很一致:獨立品牌的合成 app,可重置,並註明以哪個真實服務為公開互動參考。雜貨配送參考 Instacart、社群活動參考 Meetup、演出票務參考 Ticketmaster 的轉票指南、租屋搜尋參考 Zillow Rentals、通行費帳戶參考 E-ZPass;也有提案以開源專案為參考藍本,例如文件管理 Paperless-ngx 與家庭自動化 Home Assistant。這個模式讓任務在可控環境裡可重複驗證,同時不必碰真實服務的條款與資料。

背後的驅動力之一是共同作者權。PALE 明定首篇論文的共同作者門檻:3 個不同的被接受任務,或 3 個不同的被接受環境,而且要附上貢獻文件、維護、失敗分析與實質的論文參與,不是丟個 PR 就算數。流程是提案 PR、設計審查、計畫核准後在同一個 PR 裡實作,最後驗證合併,只有驗證合併的貢獻才被算數。對照常駐代理的設計討論,這種把信任、記憶與權限變動都納入考題的取徑,與業界 讓代理長時間待命的設計討論 是同一條問題軸線。

名單未定、53 案未核准:現在該做什麼與何時回查

分流來看。評測研究者與代理開發團隊:現在能把 PALE 當規格書讀,特別是雙門檻、名單凍結與軌跡提交那幾段,比多數基準的文件更具體;但在基礎設施釋出前,別對外宣稱用 PALE 評過任何模型。想貢獻的開發者:首份模型名單與基礎設施發布前是提交提案的時機,初期提案只需描述計畫中的實測、工作量與預期證據,計畫核准後才補完整驗證批次。一般使用者與採購端:這是新聞不是產品更新,現階段沒有需要採取的動作。

還沒確定的事照樣列清楚。基礎設施與首份模型名單沒有公布時間表,「即將釋出」是 README 原文。53 件提案尚無任何一件通過設計審查或合併(其中 6 案已收到審查意見),最終收錄率可能很低。MatrAIx 自述其先前相關研究獲 Nature 投稿邀請與多篇 NeurIPS 2026 錄取,並稱協作對象涵蓋 Stanford、MIT、Harvard 等校研究者、諾貝爾獎得主與 OpenAI、Anthropic、Google DeepMind 的研究人員;這些是 MatrAIx 在 README 的單方面自述,可當背景脈絡,不宜當成品質保證。stars 與提案數都是動態數字(本文快照為 11 月 17 日)。

回查點設在兩處:第一次基礎設施發布(首份模型名單隨之出場,投稿規則可能從「描述計畫」轉為「附完整實測」),以及首批提案進入實作與合併階段時。到時候 PALE 會從徵題公告變成真正的考場,那才是判斷這個基準能不能立住的時刻。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2535

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...