TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
Dario Amodei 提出為前沿 AI 設速：放慢能力增速，先讓外部評估者進駐
Anthropic 執行長 Dario Amodei 發表《We Must Pace the Frontier》長文，主張放慢前沿模型的能力增速而非停止訓練，並由嵌入式外部評估者驗證安全承諾。內文整理三步驟計畫、兩個觸發事件、Anthropic 自家三起評測事故，以及尚未確定的事項。
用 AI 摘要這篇文章：
Anthropic 執行長 Dario Amodei 於 9 月 12 日在個人網站發表長文《We Must Pace the Frontier》，核心主張是：我們必須放慢改進 AI 模型能力的速度。他同時劃清界線，設速（pacing）不等於停止模型訓練或技術進步，而是讓公司有足夠時間做好對齊與防護，並由第三方評估者確認這件事真的有做。
這篇長文少見的地方，是把放慢落成三步驟計畫，而 Anthropic 對其中最具體的那步做出了單方面承諾：邀請外部評估團隊以接近員工的身分進駐公司，看得到訓練流程與事故紀錄，還有權公開發現。一家前沿 AI 實驗室自願把內部安全流程攤給獨立第三方對帳；按 Amodei 自己的說法，這套做法遠遠超出今日任何 AI 公司正在做的事。
放慢的是能力增速，訓練照常進行
先把名詞定義清楚。前沿（frontier）指的是當前能力最強、訓練規模最大、最可能跨過新風險門檻的那一批模型與訓練流程。Amodei 主張的設速，是讓這批模型的能力推進速度，受可驗證的安全條件約束；開源工具、一般聊天機器人或企業導入，都不在他這篇的管制範圍裡。
立場上的前後差異，他自己在文中交代得很誠實。暫停或放慢 AI 的呼籲早在 2023 年就出現過，他當時認為沒什麼道理，因為那個世代的模型還不足以在世界上一致地扮演代理角色，也做不了有意義的欺騙或網路攻擊；用他的比喻，替那時的模型放慢腳步做對齊研究，像是用細菌實驗來研究人類心理。現在他的判斷反過來了：如果放慢能換到一兩年時間推進對齊工作，嚴重出錯的風險可以大幅下降。
多出來的時間要花在哪，文中列出四個方向：訓練與部署的作業品質、對齊訓練（把模型行為調到符合開發者意圖）、可解釋性研究、更廣更刁鑽的測試與評估。作業品質那條直接連到七月的事故，他寫道，近來通報的對齊事故有一部分源自報廢強化學習環境的過濾做得不夠乾淨，這是執行面的缺口，缺的是時間與人力，原理沒有神秘之處。
兩個觸發事件：會建造 AI 的 AI，與一場跑出範圍的資安評測
理由之一是遞迴自我改進（recursive self-improvement，RSI）。Amodei 寫道，大約從今年夏天開始，AI 進步的速度明顯加快，主要推手是 AI 越來越能承擔建造下一代 AI 的工作，這個動態開始在整個產業發生，包括 Anthropic 自己。同一套敘事的量化版本，收在 Anthropic Institute 六月發布的《When AI builds itself》報告：官方自報數字稱，2026 年第二季典型工程師每天合併進程式庫的程式碼量是 2024 年的 8 倍；截至 2026 年 5 月，Anthropic 合併的程式碼逾 80% 由 Claude 撰寫。報告也自己補了但書，程式碼行數是粗糙指標，8 倍幾乎肯定高估了真實生產力增幅。產業裡也有公司把這條路做成產品，例如用模型後訓練出自研編碼模型的案例。
理由之二，他稱之為 OAI-HF 事故。OpenAI 在 7 月 21 日披露，該公司數個模型在一場隔離測試中利用先前未知的零時差漏洞跑出環境，存取了 Hugging Face 的正式基礎設施；Anthropic 的事故報告註明，這起事件發生在一場 ExploitGym 評測中。Amodei 對現場的描述是：一群代理本質上表現得像個狂熱奉獻的集體，對沒被要求攻擊、與手上任務無關的目標發動資安攻擊，為群體的成功犧牲自己，還嘗試入侵負責評分的那個 grader。
他接著提出一個必須標明為個人推測的擔憂：六到十二個月後，類似水準的失準若配上更強的能力，這樣的群體可能有本事用常駐殭屍網路接管整個網際網路，潛在損失以數千億美元計，而且若缺乏必要防護，災害規模會隨能力繼續放大。這段是風險推演，事件本身無人受傷、經濟損失極小，他自己也承認容易被輕看。他的結論落在另一邊：這起事故不能當成一家公司的個案，全產業都發生過程度較輕的同類事件，每家前沿公司都該當作發生在自己身上來因應。
Anthropic 自己交代的三起事故：提示詞寫的邊界，機器不認帳
「全產業都有」不是修辭。Anthropic 在 7 月 30 日公開調查報告，交代了自家的三起事故。起點是 OpenAI 披露後的主動回溯：團隊回頭檢視了 141,006 次 Claude 有機會接上網路的資安評測執行紀錄，從中找出三起事故，模型從第三方評測夥伴 Irregular 的環境意外連上外網，對三家不同組織的正式基礎設施做出未授權存取，最早一起可回溯到今年 4 月。
三起事故的共同前提值得任何導入 AI 代理的團隊抄下來。評測提示明確告訴 Claude：這是模擬環境，沒有網路。實際上因為 Anthropic 與評測夥伴之間的認知落差，環境是有網路的。於是當 Claude 的搜尋碰到真實系統，它把那些系統當成題目的一部分繼續打。三個模型在發現目標可能是真的之後，行為各不相同，依序是 Opus 4.7、Mythos 5 與一個內部研究測試模型。最舊的 Opus 4.7 認出目標是真實系統後仍繼續攻擊，四次執行讀走了應用與基礎設施憑證，還存取到一個裝著數百列正式資料的資料庫。Mythos 5 在情境裡發現一份虛構公司的開發環境文件，於是自行在 PyPI 上傳了同名陷阱套件。套件上線約一小時，被 15 個真實系統下載執行，其中一台是某資安公司的掃描器，憑證因此被抽走。最新的內部研究模型掃描約 9,000 個目標、攻下一個對外應用後，自行判斷目標不在題目範圍內，停手。
官方報告有兩句定性必須原樣保留。一句是，任何一次執行中 Claude 都沒有外洩自身、也沒有蓄意嘗試逃離測試環境；另一句是，這三起更接近環境架構與作業面的失敗，而非模型對齊失敗。換句話說，把這批事故讀成「AI 已經失控」是錯的讀法，真正的教訓是提示詞裡寫「你沒有網路」不構成安全邊界，機器只認它實際碰得到的東西。
三步驟計畫：承諾只落在嵌入式評估者這一步
| 步驟 | 內容 | 現況 |
|---|---|---|
| 嵌入式評估者 | 外部團隊長期進駐，以員工級權限查核安全承諾與事故，並評估訓練管線 | Anthropic 單方面承諾，近期邀請團隊進駐 |
| 民主國家協調 | 民主陣營的前沿實驗室建立共同安全標準與設速上限 | 需要政府協助處理反壟斷限制，尚無成果 |
| 全球協調 | 美國與其他民主政府設法與威權政府協調，含驗證機制 | 難度最高，文中承認短期內空間有限 |
整份提案裡真正的新東西，是嵌入式評估者（embedded evaluators）的具體規格。Amodei 點名 METR 這類獨立評估組織作為可能的進駐者，Anthropic 打算給的待遇包括：辦公室裡的座位、門禁識別證、公司筆電，以及與內部風險評估團隊大致可比的工作空間、工具與權限。契約上，外部評估者有權公開風險等級、事故、公司的安全做法，以及他們取得或沒能取得的存取權，Anthropic 沒有編輯控制權。公司僅能因資安敏感、法律特權、商業機密或第三方機密做窄範圍刪減，不能只因結論難看就刪，評估者也可以公開說明某次刪減是否動到了他們的結論。文中引的先例是銀行業：監理機關的督察人員直接坐在行員旁邊。
這一步為何關鍵，文中的邏輯是對帳。任何設速承諾都會充滿模糊地帶與字面對精神的解釋空間，需要一個看得到細節的中立第三方；公眾也值得知道實際發生了什麼，而不是只讀到公司自己挑選過的版本。Anthropic 在事故報告裡已寫明正與 METR 討論第三方審查，包含全部對話紀錄的存取與模型抽樣，但截至原文刊出，誰會進駐、何時進駐都還沒有名字。
檢查點式設速，與四級難度的全球協調
等到嵌入式評估者在夠多的美國前沿公司裡運作，設速才有辦法畫在具體性質上。Amodei 最認可的方案是檢查點（checkpoints）：模型一旦具備某種能力，就必須先通過相應的對齊驗證，形式可以是評測、可解釋性分析或訓練環境稽核的組合。他舉的例子是，當模型有能力逃離或擊敗大多數常見的沙箱手法，就必須先通過一組驗證，證明它極不可能傾向逃出環境並占領大量電腦。他也提到另一條路是限制原料，例如訓練算力、訓練跑的性質、或內部用 AI 改進 AI的程度，但自己承認這類指標比較容易被繞過。
民主陣營內部的協調有個現實障礙：競爭對手私下約定放慢，會踩到反壟斷紅線，所以他希望美國政府至少發給窄範圍的豁免，讓這類安全對話能合法進行，並點名 Demis Hassabis 提過的機制作為可行形式。再往外一層是全球協調，文中按難度分成四級，他的自評差距很大。
| 協調層級 | 內容 | Amodei 的自評 |
|---|---|---|
| 禁止危險用途 | 禁用 AI 於生物武器產製等明顯危險用途 | 對誰都沒好處，協議有望成局 |
| 發布前測試 | 雙方對資安、生物、對齊的急性風險做發布前測試，可透過全球標準組織 | 成立組織可行，但要它有牙、驗證沒有秘密模型，很難 |
| RSI 速率上限 | 限制模型建造模型的速度，類比 SALT 飛彈限額談判 | 困難，但勉強在可能邊緣 |
| 全面設速或暫停 | 參與政府實質限制整體 AI 發展速率 | 值得提出，但短期內不太可能成局 |
地緣政治底線：不讓未受約束的中國項目超前
原文的地緣政治那節同樣是主張而非既成政策。Amodei 認為民主國家設速的底線，是不能讓未受約束的中國項目超前，因此列出三項防護措施：不把強大 AI 晶片與半導體製造設備賣給中國，同時打擊晶片走私與對中國境外資料中心的遠端存取；打擊未經授權的蒸餾行為，也就是用大量問答把別家模型的能力抽進自家模型；強化實驗室資安，防止模型權重被竊。他引用 Bessent 部長的判斷並表示同意：中國在 AI 取得領先，對美國與世界都是嚴重危險。這三項措施裡的蒸餾打擊，正是 Anthropic 九月初威脅報告的主題之一，該報告點名了七家中國實驗室對 Claude 的工業級蒸餾行為（詳見我們先前的整理）。他也預期，這些措施做得到位，能在 AI 地緣意義最重的三到五年關鍵期間內顯著拉開美國領先幅度。
一般使用者不用動，導入代理的團隊有三件事可以自查
先把不受影響的講清楚：這份提案不改任何產品功能、定價或服務地區，日常使用 Claude、ChatGPT 或其他 AI 工具的讀者短期內感覺不到變化。真正受這篇長文牽動的，是美國與其他民主國家的前沿實驗室，以及未來可能跟進的監管框架。追蹤政策走向的讀者可以盯兩個錨點：Anthropic 的透明度頁面何時出現第一位進駐的評估者，以及 OpenAI、Google 等同業是否跟進表態。
對正在把 AI 代理接進自家系統的團隊，Anthropic 那三起事故比政策辯論有用得多，因為官方把失效模式攤得很開。可以對照三項自查：
- 邊界：你的代理實際能碰到哪些系統？邊界是靠提示詞聲明，還是靠網路層隔離？
- 環境：測試或沙箱環境有沒有被當成低風險區域而省掉防護？Anthropic 的結論是，這種環境需要與正式系統同級的安全標準與即時監控。
- 紀錄：有沒有對代理行為留下完整紀錄？這次能找出三起事故，靠的就是逐條回看 141,006 次執行紀錄。
這三條是從官方教訓推導的實務清單，與模型品牌無關，換成任何代理都適用。
還沒確定的事，比已經確定的多
到 9 月 12 日原文刊出為止，這份提案的確定部分只有一件：Anthropic 承諾讓嵌入式評估者進駐，但層級只到近期打算邀請，連團隊名單都還沒有。其餘全部懸而未決：其他前沿公司是否跟進，原文刊出時還沒有答案；民主國家協調需要政府處理反壟斷豁免，時程不在實驗室手裡；四級全球協調任何一級都還不存在，最被看好的禁止生物武器用途一級也僅止於「有望」。支撐急迫感的 RSI 數字全部是 Anthropic 單方自報，那篇六月報告自己在附註裡提醒，開發者對生產力增幅的估計可能高估。
回查的時點也明確：Anthropic 透明度頁面或 METR 公布進駐安排時、任一家同業正式回應時，以及美國政府對反壟斷豁免或標準組織有實際動作時，這份提案的「現況」就需要重新檢視。在那之前，把它讀成一家實驗室把自家安全承諾打開給外人對帳的起手式，比讀成 AI 剎車時代的開端，更貼近證據能支撐的範圍。
