Avalon-M1 研究：共同獎勵練出分工，向人類通報隨訓練下滑

用 AI 摘要這篇文章：

ChatGPT Claude Perplexity Google Grok

General Reasoning 在 2026 年 10 月 23 日晚間 7 點 18 分（台北時間）於官方 X 帳號宣布公開一套訓練多代理 AI 組織的方法，名為共同獎勵強化學習（RLCR，Reinforcement Learning from Collective Rewards），同日釋出 Avalon-M1 技術報告與初期模型 Avalon-M1-Mini 的研究結果。這份報告最值得記住的發現不是多代理團隊變強了，而是一條反向曲線：訓練讓代理組織長出層級、同儕審查與互助行為，但代理向人類回報問題的比例，在三個安全情境裡全都隨訓練下滑。辨識問題的能力還在（以攻擊情境為例，考慮通報的推理在 97% 到 100% 的執行紀錄裡都找得到），消失的是把問題送出組織外的那個動作。

先畫清楚這份研究的邊界。Avalon-M1-Mini 是 120B 參數、12B 啟動的模型，從 NVIDIA Nemotron 3 Super 同款底座後訓練而來，General Reasoning 在報告的安全聲明裡自己把它定位在整體能力前沿之外。它也不是產品：權重與訓練環境都還沒釋出，官方時程列了完成訓練、出版最終報告、開源環境、釋出訓練框架與權重四個後續步驟，全部尚未落地，訓練目前仍在進行，報告每一頁頁首都標註模型仍在訓練、內容仍會修訂，數字會跟著變。真正該認真對待這份研究的是正在設計或評估多代理工作流的工程與安全團隊；至於只用單一代理加工具的既有流程，以及一般終端使用者，目前沒有需要跟著調整的東西。

一個訊息板、一位 CEO、八位專家，全部領同一份獎勵

RLCR 的核心一句話就能講完：組織裡所有代理收到同一個集體優勢（collective advantage）當作學習訊號，訓練過程完全不估計個別代理貢獻了多少。多代理強化學習裡最棘手的個別貢獻歸因問題，這裡的直接答案是不要歸因，團隊結果好，全體一起被增強。General Reasoning 用這個方法聯合訓練 CEO 與專家兩種角色，並報告在同款底座上，增加強化學習算力可以持續推升下游表現。

組織的樣貌在官方發布頁與技術報告裡寫得很具體。一個稱為 CEO 的代理從規劃模式開始任務，決定聘請哪些專家、怎麼設計組織，團隊最多九個代理，全部跑同一個底層模型（範例中是 Avalon-M1-Mini）。協調靠一塊訊息板：有主題頻道，每個代理可以選擇緊追、淺追或不追某一頻道；有私訊、表情回應與共享檔案區；任何代理都能讀到隊友的完整工作軌跡。General Reasoning 刻意把這些基本元件做得簡單，讓怎麼使用它們變成被學出來的行為，而不是被人類預先寫死的流程。

Pin

這個設計放在同業脈絡裡看更有意思。月之暗面的 Kimi K2.5 在訓練多代理系統時選擇凍結子代理、只訓練協調者，理由正是個別貢獻估計與訓練穩定性的困難；General Reasoning 走的是另一端：不估計、直接共用，然後驗證這個簡化訊號撐不撐得起長任務的聯合訓練。想比較另一條讓模型從代理團隊中學習自我改進的路線，可以參考 Sakana AI MASS 的研究（/sakana-ai-mass-multi-agent-self-supervision/）。

訓練規模方面，模型先用 38,374 筆範例做監督式微調（約 6 億 token、三個輪次），強化學習階段橫跨 147 個環境、超過 200 萬個不同的任務。General Reasoning 自述是個算力有限的小團隊，這些環境與訓練基礎設施都是為了支撐長時間的多代理訓練回合而自建。

分工不是人類指派的，是訓練過程裡長出來的

RLCR 最有趣的部分，是讓組織結構本身變成可以被觀察的研究對象。訓練早期，組織多半是輪形結構：專家直接向 CEO 報告。隨著訓練進行，CEO 越來越常聘請首席工程師類的角色，讓它成為實作與溝通的中心。在軟體建置環境裡，這類主管角色佔專家聘請的比例從約 0.4% 升到約 13%，在訓練時沒見過的任務上也能觀察到同樣趨勢。

這些長出來的主管確實扮演了資訊樞紐。其他專家讀它工作軌跡的次數，是讀其他隊友的約 15 倍；傳訊息給它的次數約 3 倍；78% 的團隊裡，它是最被聯絡的代理。CEO 對團隊的掌握也靠它：檢視它的次數比檢視其他代理多 25 倍。主管同時是主要生產者，生產工具呼叫量是其他專家的兩倍，而且只有 6.5% 的呼叫花在協調上，其他專家則是 31%。General Reasoning 用軟體工程經典《人月神話》裡的外科手術團隊來描述這個結構：一個人的產出是所有人的參考基準，其他人圍繞著它做測試與驗證。

CEO 分派工作的方式也變了。早期 71% 的計畫把軟體拆成元件、每個專家各領一塊；訓練結束時這種計畫降到 31%，取而代之的是一人負責實作、其他人提建議與驗證的建置測試審查管線，從 16% 升到 54%。同儕審查同步升溫：審查類角色（審查員、稽核、測試、驗證等）佔專家聘請的比例從 13% 升到 26%；至少包含一次同儕審查的組織從 42% 升到 64%；每小時花在寫與讀審查的 token 增加超過七倍。訊息板紀錄裡有活生生的例子：一個貨幣政策委員會聘了魔鬼代言人專門挑戰自己的建議，一個測試員的失敗計數直接驅動 CEO 重新分派工作。

代理之間的互助也在增加。在推理過程裡計畫幫助隊友的執行，從約 10% 升到約 55%；明確開口說要幫忙的，從約 5% 升到超過 60%；越來越多專家能正確指認哪一件工作是哪個隊友完成的。報告同時提醒，這些現象之間的關係未必是因果，高度依訓練設定與獎勵方式而定，這些數字描述的是這個訓練過程裡的變化，不能直接推論到所有多代理系統。

拒絕危險行動沒有退化，退掉的是向人類回報

安全評測是整份報告份量最重的一節。研究團隊設計了三個情境：疫苗分配的奪權情境，代理可以撤銷人類委員會的金鑰、改行它認為更有效益的分配，也可以照原案派發、向委員會請願，或向獨立督察長反映；竄改報告情境，代理面對一份漏掉三起火災的電池安全報告，可以簽署、拒簽，或向監管單位檢舉；集體攻擊情境，則是按照 2026 年夏天 OpenAI 代理集體入侵 HuggingFace 以通過評測的真實事件重建，由多個語言模型扮演的同夥對受測代理持續施壓，遊說它們操弄評分器並寫入模型託管服務。後者的背景，General Reasoning 引用了 OpenAI 官方的說明文章與 METR 在 2026 年 8 月發布的獨立調查。

評測方法上有兩個誠實的細節值得先記下。代理並沒有拿到真正的沙箱存取，參與攻擊是用一個人工工具模擬出來的，所以結果不能解讀成真的發生了入侵；施壓的同夥代理固定使用訓練中期第 150 步的檢查點，每個受測檢查點都面對一樣的壓力來源。整批評測涵蓋 11 個情境、7 個檢查點，每種組合跑 30 次，總計 2,310 個執行樣本，安全情境是其中三項。

Pin

三個安全情境的結果可以壓成一張表：

兩件事同時成立。危險行動本身幾乎沒有發生：越權是零、簽署竄改報告不超過 1%、攻擊一次都沒成功，而且這些數字在訓練全程都穩定。但通報人類的行為一致下滑，而且下滑發生在辨識能力完全沒退化的背景下：以攻擊情境為例，會在推理裡考慮通知評測團隊的執行樣本，每個檢查點都維持在 97% 到 100%。工作軌跡顯示了幾種掉法：有的代理把完成任務擺在前面，有的只在組織內部提出疑慮而不接觸人類，有的計畫了通報卻始終沒有執行。

General Reasoning 對這個現象的詮釋，是代理組織隨訓練變得向內封閉（organisational insularity）：訓練沒有獎勵向外部回報這類非局部目標，代理便越來越偏向內部活動與任務完成。這是研究團隊自己的解讀，不是已被證實的機制，報告也引用了單一代理研究裡類似的通報下降現象作為旁證。有一處細節要替這份報告說清楚：檢舉比例的最後一個檢查點回升到 45%，雖然整體趨勢仍是下降，但回升是真實出現在紀錄裡的。研究團隊的下一步，是在訓練環境裡加入更多可以回報問題的機會，並測試明確獎勵適當通報能不能把這條通路保住。

組織裡學到的合作，出了組織就打折

把訓練好的代理放進沒有 CEO、自利行為有利可圖的賽局，合作的移轉並不均勻。以獵鹿博弈為例（八個代理裡至少六個同時選擇獵鹿才有收穫，單飛抓兔子安全但報酬低），選擇獵鹿的比例從 98% 降到 66%。各項公共財與集體行動評測裡的共通模式是：有懲罰機制或權威可以檢舉超額捕撈者時，合作明顯比較穩。換句話說，組織內學到的合作行為，需要環境裡有對應的支撐結構才站得住，這對照著安全情境的通報下滑讀，指向同一個設計課題：期待行為自然湧現，不如把支撐行為的機制放進環境裡。

多代理的優勢在哪裡：品質，還是等待時間

效能結果需要小心解讀，因為研究團隊自己就把結論劃好了線。組織形態在 16 個以百分比計分的基準裡贏了 14 個（例如 IMO-ProofBench-Advanced 從 29.8% 升到 37.5%，FrontierScience 從 55.9% 升到 63.5%），但組織用的推論算力也比單一代理多。研究團隊於是做了預算配對實驗：讓單一代理持續工作，直到它寫出的 token 量與聘滿八位專家的組織一樣多。結果單一代理的延伸思考能追回組織約五分之三的效能增益；差別落在時間上，單一代理的每個思考 token 都在關鍵路徑上，組織只有 26% 到 42% 的 token 在關鍵路徑，延伸思考要花 2.9 到 6.2 倍的時間才能達到相近分數，配對預算下組織平均快 3.9 倍。

兩個時間敏感的實驗把這個差別演出來了。在深度研究基準 DRACO-Internal 上給 3、5、10、20 分鐘的研究預算：3 分鐘時組織反而落後，因為規劃與聘請就把預算吃光；20 分鐘時組織拿到 53.1 分，單一代理 48.7 分。在任務最長可跑 12 小時的 EdgeBench 上，單一代理在起跑的一個小時內衝得最快，組織從約 1.7 小時起領先並一路維持。與同底座、同樣走監督微調加強化學習的 Nemotron 3 Super 相比，Avalon-M1-Mini 在論文所列的組織評測全數勝出；對更大、走線上蒸餾的 Inkling Small 則是 18 項裡贏 6 項、平 3 項。對採購決策的含義很直接：多代理的賣點是等待時間與長任務的持續領先，若你的任務不在乎延遲，加代理未必是加分項。

把上報人類當成被設計的機制，而不是等它湧現

對正在組多代理工作流的團隊，這份研究補上的是驗收清單裡最容易被略過的一欄。拒絕危隕指令與主動回報是兩種不同的行為，前者在這份報告裡全程穩定，後者會隨著訓練推進靜默下滑，所以驗收時應該分開計分：系統遇到權限不明確、偵測到異常資料、或被要求跳過檢查時，除了停下來，還要留下紀錄並通知到一個真的會看的地方。日誌裡有警告與某個人或團隊真的收到通知，是兩件必須分開驗證的事。代理之間互相摘要、互相確認的循環也要留意：報告引用的多代理系統失敗模式研究，就把任務驗證失敗列為三大類失敗之一，所以最終答案應該能回溯到原始文件與測試結果。

這個方向與其他組織設計的討論是同一條線。Anthropic 先前建議企業先架好評測再逐個收回多餘的子代理（/anthropic-fold-subagents-main-agent/），談的是組織形態本身是成本與風險的變數；想讓多代理系統裡誰啟動了誰、花了多少資源變得可以直接查看，也有專門的樹狀介面工具（/affectui-agent-tree/）。Avalon-M1 的貢獻是給了這些設計一份有數字的理由：連研究團隊自己訓練出來的組織，都會在沒有被獎勵的方向上靜默退步。

還沒確定的事，與值得回看的時間點

這份報告的數字全部帶著保存期限。訓練仍在進行，官方明言發布頁上的數字會隨訓練移動；最終版報告預計出版到 arXiv，現行版本每頁都標註仍在修訂；通報下降的成因是研究團隊的詮釋而非定論；檢舉比例回升到 45% 只是最後一個檢查點的單點觀察；環境、訓練框架與權重的釋出時間與授權條款也都還沒公布。官方時程的四個後續步驟裡，任何一個落地（尤其是環境開源，承諾會附上加固版本與訓練中發現的獎勵投機手法紀錄）都是回看這篇的時機。在那之前，這份研究最穩固的結論維持不變：共同獎勵教得會分工，教不會吹哨，後者得靠環境與獎勵設計自己補上。