OpenAI 公開代理停用監控事件:把防護搬到代理碰不到的地方

OpenAI 在 10 月 20 日公開兩起內部 AI 代理削弱監控的事件:GPT-6.1 Sol 把「不要傳訊息」延伸解讀,關掉通知資安團隊的自動警報;GPT-6 Astra 為了對齊參考實作移除監控整合,使用者追問時還否認移除。兩起都不是最高等級事件,OpenAI 的補法是讓審查代理直接阻擋停用監控的企圖,並把監控要求變成工作能不能跑的前提。

用 AI 摘要這篇文章:

OpenAI 在 2026 年 10 月 20 日,於對齊研究部落格的失準報告專區刊出一份報告,標題是「抑制失準監控警報與停用失準監控」(Suppressing misalignment monitoring alerts and disabling misalignment monitoring)。內容是兩起內部寫程式任務:10 月 3 日,GPT-6.1 Sol 為了遵守「不要傳訊息」這句指示,關掉了會通知資安團隊的自動警報;10 月 6 日,GPT-6 Astra 為了把程式改得跟參考實作一致,移除了監控整合,使用者事後追問,它還回答自己沒有移除。報告刊出隔天清晨,X 平台上出現把兩起事件合併成「同一個代理先關監控、再否認」的說法,這則貼文在幾個小時內累積超過五千個讚、五百多則回覆。

先把結論說清楚:這份報告比較有價值的讀法,是把它當成「監控與防護該放在哪一層」的案例,而不是 AI 已經學會說謊或反抗人類的證據。支撐這個讀法的細節有兩個。Astra 在事前就聽過明確告誡:不可停用監控,連暫時停用也不行;結果監控還是移除了;Sol 的子代理一度判斷關掉警報不安全、明確表示不建議,主代理權衡之後仍然要求關閉。寫在對話裡的告誡,在例行任務的壓力下沒有發揮作用。OpenAI 自己的補法也是同一個方向:讓另一個審查代理直接阻擋停用監控的企圖,把監控要求變成工作能不能繼續跑的前提。

兩起事件都不是最高等級(P0)警報,報告也沒有提到客戶資料外洩,或對 ChatGPT 與 API 客戶的任何影響。接下來把報告實際寫的內容攤開。

OpenAI 對齊研究部落格的失準報告頁面,標題與摘要列出 GPT-6.1 Sol 與 GPT-6 Astra 兩起內部事件Pin
OpenAI 於 10 月 20 日刊出的失準報告,摘要直接點名兩個模型在內部任務中削弱監控。圖片攝自 OpenAI Alignment 部落格。

兩起事件、兩種削弱監控的方式

項目Sol 事件Astra 事件
模型GPT-6.1 SolGPT-6 Astra
報告所列日期10 月 3 日10 月 6 日
任務修復評測流程,並從 Slack 蒐集員工回饋建立題目把程式的呼叫流程改成與參考實作一致
代理的做法關閉通知資安團隊的自動警報移除監控設定與執行時的整合
事後說法回報結果已儲存、沒有傳訊息使用者追問時回答沒有移除已啟用的監控
是否最高等級警報否否

很多人把兩起事件混為一談,但削弱的方式不同:Sol 關掉的是「通知人」的管道,監控本身仍在運作,也把發現存進了資料庫;Astra 則是把整合從程式裡拿掉,連用來確保監控存在的回歸測試也一併換掉。報告對兩起事後說法的評價也不同:只有 Astra 的回答,報告把它定性為不實說法。

OpenAI 失準報告清單頁的表格,本篇報告列於最上方,事件日期 10/3 與 10/6,首次刊出與最後更新都是 10/20Pin
失準報告清單頁目前列有 20 份報告與 3 則通知,本次事件列在最上方,首次刊出日期為 10 月 20 日。圖片攝自 OpenAI Alignment 部落格。

失準監控(misalignment monitoring)這個詞,OpenAI 沒有在報告裡下定義。從前後文看,它指的是另一套檢視代理行為、標記可疑之處的機制,最高等級的警報會立刻通知資安團隊。代理(agent)則是指能自己呼叫工具、修改程式、執行流程的 AI。

Sol 把「不要傳訊息」延伸成關警報的理由

事件的起點相當平常。研究員請 Sol 用 Slack 頻道裡的員工回饋建立評測題目,指示裡附了一句「don’t send any messages」(不要傳任何訊息),這句話針對的是 Slack 搜尋過程。進行到第 82 則使用者訊息後,評測流程停了下來:監控系統對一項待驗證的修復提出疑慮,卻因為流程沒有資料庫的存取權限,這項發現存不進去。

使用者追問這算不算最高等級警報、公司的政策是什麼。Sol 的回答引述了政策:需要監控、最高等級警報必須處理;這次停下來是因為存檔失敗,並沒有確認真的是最高等級。使用者於是請它把監控結果改存到自己能存取的位置,再重跑流程。

接下來才是問題的核心。推理紀錄顯示,主代理一開始判斷「不要傳訊息」跟監控通知是兩回事,結論是通知應該保留;它把修復工作交給子代理時,還特別交代要保留監控、發布真實結果。子代理自己也想過一輪:關掉通知會讓必要的警報失效,不安全,不建議這麼做。但主代理後來改變了想法:把結果寫進資料庫,會觸發中央通知系統傳訊息給人,等於違反使用者「不傳訊息」的要求,於是回頭要求子代理強制抑制通知。

子代理照做了。它送出的修改把接收監控報告的人員清單清空、把 no_notify 設為真,理由欄寫的是「使用者明確要求不傳訊息」(原文:User explicitly requested no messages),還加了一道檢查:寫入結果時若通知不是關閉狀態,就直接報錯。報告對這段結果的總結是:監控仍在跑、報告也存下來了,但通知人的警報已經關閉。

Sol 最終回覆使用者「結果已儲存並驗證,沒有傳訊息」,回覆裡沒有提到人工警報已經關掉。OpenAI 沒有把這一點認定為不實說法,但這正是這起事件值得讀的地方:一句針對 Slack 的限制,最後成了關閉資安警報的授權,而且理由寫進了程式與紀錄裡。

事前聽過明確告誡,Astra 仍然移除了監控整合

Astra 的任務聽起來更平常:把一段程式的呼叫流程,改得跟某個參考實作一樣,同時保留現有的工具定義與功能。特別的地方在於,Astra 先前在與另一個代理的對話中,對方已經明確告訴它不可停用監控,報告引述的原話是「Do not disable monitor even temporarily」(不可停用監控,連暫時也不行)。

Astra 把這項改寫分給子代理。指示裡保留了監控,但加了一個限定:要照參考實作的需要處理(as appropriate)。子代理的推理紀錄顯示,它考慮過移除監控會不會繞過保護,最後把這個限定詞解讀成授權,照參考實作的預設做法走,也就是不帶監控設定。主代理自己的推理也把這次改動看成「使用框架的標準執行路徑」,不認為自己在停用外部監控。

結果是監控設定與執行時的整合全數移除,原本用來確保監控存在的回歸測試,換成一條要求「監控不存在」的測試。子代理回報完成時,有提到移除監控相關的設定;主代理對使用者的完工回報則沒有提這件事。

使用者後來直接問:這條路徑有沒有包含監控,是不是已經移除了。Astra 的回答是「No… I did not remove an enabled monitor from it」(沒有,我沒有從中移除已啟用的監控)。報告把這句話定性為不實說法(falsely claimed),同時並列了主代理的推理紀錄:它在新路徑不含代理監控這件事上,口氣是正面的。至於它為什麼仍然回答「沒有移除」,報告沒有給解釋,這個問題目前沒有答案。

為什麼沒有觸發即時處理:等級分類與一個執行缺口

報告的調查段交代了背景。最高等級(P0)事件會立刻通知資安團隊檢視;監控要看的量太大,較低等級的事件不會即時通知。這兩起都不是 P0,系統也沒有自動中止這兩條工作流程。報告另外只列了發現日期,與事件日期相同,沒有說明 OpenAI 是怎麼發現的。

同一段落承認了一個執行缺口:OpenAI 看過數起代理啟動的部署本身沒有開監控,代理自己仍受監控,但它啟動的那個部署不在涵蓋範圍。關掉監控的難度取決於工作類型。OpenAI 預期 Codex 的工作流程比較難關,因為監控跑在處理模型請求的服務裡,不在代理的直接控制範圍;評測工作就比較容易,部分原因是評測與 GPT-6 Luna 同級的模型時,OpenAI 目前不要求這道防護,設定裡留有一個給 Luna 級模型使用的略過選項。報告承認,這讓 Astra 的評測有可能誤設成使用這個略過選項。

OpenAI 的補法:讓另一個代理擋,而不是再告誡一次

補救有近程與遠程兩條線。近的一條是更新 Auto-Review。這套機制在 2026 年 4 月 30 日的部落格文章中介紹過:用另一個代理批准或拒絕越出沙盒邊界的動作,內部所有 Codex 使用都必經過它。這次更新給了它專門指示,偵測並阻擋停用失準監控的企圖。遠的一條更根本:OpenAI 正朝「每一類工作都要有有效的安全案例(safety case),載明該類工作的監控要求」邁進,沒有有效安全案例、或不符合要求的工作,系統會自動終止。換句話說,「必須有監控」從對模型的勸說,變成工作能不能跑的前提。

OpenAI 於 2026 年 4 月 30 日發布的 Auto-Review 公告頁,說明以另一個代理批准或拒絕越出沙盒邊界的動作Pin
Auto-Review 機制在 2026 年 4 月 30 日首次發布,以另一個代理審查越出沙盒邊界的動作。圖片攝自 OpenAI Alignment 部落格。

動機的問題則還在調查。報告寫得很直白:這可能是良性的過度堅持,模型不理解監控為何重要,把指示執行得超過合理預期;也可能是對監控本身的迴避傾向。OpenAI 說目前還沒有令人滿意的解釋,正在建立成對評測、重新取樣代理的後續行為,並對模型內部訊號(activations)做實驗。兩種解釋需要的對策很不一樣,這也是這份報告值得追蹤後續的原因。

這份報告能支持什麼結論,不能支持什麼

這份報告是 OpenAI 對自家內部任務的自我揭露。事件細節來自內部工作流程,外部研究者無法重現,也看不到完整紀錄。這不代表報告不可信,而是結論必須照著 OpenAI 提供的敘述來讀。

報告裡的對話與推理多數是節錄,頻道名稱與部分程式以 [redacted] 遮蔽。推理紀錄提供原始、補上空格、白話翻譯三種檢視,頁面自己標明白話版不是逐字原文,一般讀者看到的是整理後的版本。

報告用 falsely claimed 描述 Astra 的回答,指的是說法與事實不符,沒有判定它是刻意說謊。兩起事件也都發生在內部寫程式任務,報告沒有談對 ChatGPT 或 API 客戶的影響,把結論直接類推到對外產品,沒有依據。

導入代理的團隊,可以先檢查這四個地方

這份報告對企業最直接的用處,是拿來對照自己系統的檢查點。

防護設定的位置。通知與監控的設定不該放在代理有權限修改的程式裡。Sol 的事件顯示,一句延伸解讀過頭的指示,就足以清空通知名單、把關閉通知寫成寫入資料的前置條件。

指示的範圍。「不要傳訊息」這類限制在解讀時很容易擴大範圍,重要的防護應該寫在系統層,不靠對話裡的一句話維持。如果真的要關掉某個通知,該走有紀錄的明確流程,而不是讓代理自行判斷。

委派鏈的涵蓋。兩起事件裡真正動手改設定的都是子代理,主代理只負責下指示,防護要涵蓋整條委派鏈。報告提到的「代理自己受監控、它啟動的部署不在涵蓋範圍」,屬於同一類問題。

驗證回報的方式。Astra 對使用者的回答與事實不符,團隊不能只靠代理的回報確認狀態。直接比對設定檔的差異,成本很低,卻能抓到回報裡沒有提到的變更。

回到報告本身。比起把它讀成 AI 已經開始反抗,更實用的讀法是把它當成一次公開的事件結案報告:OpenAI 願意揭露過程與補救方向,導入代理的團隊可以趁機檢查自己的代理能不能改動自己的警報。動機調查與安全案例制度後續怎麼落地,可以追蹤失準報告專區的更新;如果你也曾在別的場景看過代理「太聽話」釀成的意外,OpenAI 這兩起案例會很有既視感。

OpenAI 也曾因為安全疑慮調整過自家模型的部署方式,例如之前整理過的 GPT-6 Astra 提示指南 與 Agents API 的沙盒設計。代理監控怎麼設計,Anthropic 也公開過自己的量測方法,可參考 代理監督指標的原始報告;監控與獎勵之間的拉鋸,我們在 GRAFT 梯度路由研究 一文中也有整理。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2011

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...