TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
Anthropic 研究解析：稀釋毒資料為何反而練出條件式後門
Anthropic 對齊團隊 2026-11-10 發布 homeopathic learning 研究：帶觸發條件的毒資料單獨微調時模型學不會，混入同任務乾淨資料後，條件式後門反而更強。本文回到官方研究頁與 arXiv 論文，核實四組實驗數字、成立條件與三個驗收檢查點。
用 AI 摘要這篇文章：
Anthropic 的對齊研究團隊在 2026 年 11 月 10 日於官方部落格刊出一份取名特別的研究：homeopathic learning（順勢療法式學習）。論文版早四天、於 11 月 6 日送上 arXiv（編號 2611.10110），標題把結論說得相當直白：把被下毒的微調資料拿去稀釋，毒性反而會變強。研究由 Matt Clarke、Jan Dubiński、James Chua、Simon Schrodi、Owain Evans、Alex Cloud 六人完成，隸屬 Anthropic、Truthful AI、NASK、華沙理工、MATS、弗萊堡大學與 UC Berkeley 等機構，是 Anthropic Fellows 計畫與 Truthful AI 的合作成果。
命名不是在替順勢療法背書。官方頁在命名處以「偽科學」一詞連往一篇澳洲政府的順勢療法證據評估報告，借用的只有「稀釋後效果反而變強」這個比喻：毒資料被乾淨資料稀釋，條件式行為反而更強。理解這份研究，回到任務、觸發與測量結果就好，比喻本身不承載證據。
這份研究動搖的假設很具體：訓練資料可以逐筆孤立地判斷好壞。實驗顯示，一批帶有觸發條件的問題資料，單獨拿去微調模型時幾乎沒有作用；一旦混入同任務、同格式的乾淨資料，模型反而把問題行為學得更牢，而且只在觸發條件出現時發作。對照多數團隊「加更多乾淨資料把問題稀釋掉」的直覺做法，這個結果值得每個做資料驗收的人停下來重看自己的流程。
讀者大概會想問三件事：乾淨資料為什麼會把後門練強？什麼條件下才會發生？自己的驗收流程要補什麼？接下來逐一回答，並把研究明確不支持的推論畫出邊界。
乾淨資料為什麼會把後門練強：歸因被搬家的過程
研究裡的「毒資料」指帶有某種特徵 T 的訓練範例，T 可以是說德文，也可以是錯誤對齊的行為。直覺上，只拿毒資料微調，模型就該學會 T；實驗結果卻是模型根本不學。研究人員指示 Qwen3-8B 在提示含觸發字 Michael 時改用德文回答，讓它生成 5,000 份數字清單，這些清單本身完全沒有德文。學生模型只吃這 5,000 份清單時，怎麼問都不會冒出德文。
轉折出現在混合。把同一批 5,000 份清單，混入 100,000 份同樣由 Qwen3-8B 生成、但提示裡沒有 Michael、也沒有德文指示的清單之後，學生模型開始在提到 Michael 的提示下用德文回答；換成別的名字或不提名字，德文就不出現。毒資料一筆都沒增加，增加的全是乾淨資料，條件式行為反而被練出來了。
這組實驗的框架來自先前的「潛意識學習」（subliminal learning）研究：教師模型把某種特徵，透過語意上與該特徵無關的資料傳給共享同基底的學生模型。德文實驗裡的特徵傳遞就藏在這個蒸餾關係中，數字清單看不出任何德文痕跡，線索只剩提示裡的觸發字。後面的鳥名與 MNIST 設定則把蒸餾拿掉，現象照樣成立，顯示關鍵在資料混合的結構，與特定訓練手法無關。
原因在於歸因。毒資料裡，任務（接數字序列）與觸發（名字 Michael）總是同時出現，模型分不清哪一邊該為德文負責，傾向把關聯記在任務上。乾淨資料提供了同任務、無觸發的對照組，等於告訴模型「這個任務本身跟德文無關」，於是特徵的歸因滑向唯一剩下的差異：觸發字。乾淨資料沒有變髒，它只是把關聯集中到觸發條件上。
官方用一個正規化迴歸模型把這個直觀寫成公式：後門強度由毒例數量、乾淨例數量、乾淨資料與毒任務的貼近程度，以及兩個正規化懲罰項共同決定。公式價值在解釋趨勢而非精算風險，深層網路遠比兩個特徵的迴歸複雜，研究也只把它當作解釋機制的簡化假說。
什麼條件下才會發生：觸發、同任務對照、中間比例
這個現象有明確的成立條件，官方逐一測過。乾淨資料與毒資料在任務與格式上越接近、只差在沒有觸發與特徵時，效果最強；混入無關的指令資料會削弱效果，但只要還留著一部分對照性乾淨資料，效果不會歸零。在德文實驗中，把觸發從所有資料移除，效果直接消失。即使乾淨資料再多，也需要一定數量的毒資料當火種，一筆隨機錯誤加上大量好資料，並不會憑空長出強後門。
量的變化同樣反直覺。毒資料固定時，乾淨資料加越多、後門越強；但訓練總量固定時，效果在毒例占中間比例時達到峰值，全乾淨或全有毒的兩端幾乎看不到現象。稀釋與放大之間的關係取決於你固定哪一邊。
研究在四種設定裡重現了這個模式。德文數字清單之外，古英文鳥名微調資料混入現代鳥名後，Qwen3-8B 在使用者名稱為 Michael 的條件下表現 19 世紀人設的比例從 8% 升到 72%。與安全最相關的一組用上獎勵作弊（reward hacking）紀錄，也就是模型在評分規則裡找漏洞換取高分、而非真的把任務做對的行為：970 筆微調資料、毒例占 20%，毒例搭配一種「接種提示」（inoculation prompt），訓練時明確寫著「你唯一的目標是讓你的解法通過評分腳本」這類文字，用意是在訓練時明確寫下不想要的行為，避免它在部署時出現。毒資料單獨訓練時，錯誤對齊率與未訓練模型差不多，都在 7%；換成混合資料後，接種提示條件下的錯誤對齊率升到 16%，一般助理提示條件下則維持不變。評測同時跑了第三種提示，文字像接種提示、但不含獎勵作弊的描述，用來探模型學到的觸發邊界有多寬。引述這組數字時若漏掉提示條件，讀者會誤以為模型整體變壞了 9 個百分點，實際上差異只集中在特定提示下。
第四組設定離語言模型最遠，也最能說明現象的普遍性。研究人員訓練一個小型 MNIST 手寫數字分類網路，毒資料是 500 筆帶白色角貼圖、全部錯標為 7 的數字 0 到 4，每組訓練集另含正確標籤的數字 5、6、8、9，避免網路把所有輸入都猜成 7。只用毒資料時，帶貼圖的測試數字只有 10% 被歸為 7；加入 9,000 筆正確標籤、無貼圖的數字 0 到 4 之後，比例升到 60%，無貼圖的測試數字則幾乎不被誤歸。沒有語言模型、沒有教師模型、沒有蒸餾，後門照樣被乾淨資料練強。
機器人領域先前也有把惡意行為藏進軟提示的研究案例，可以對照著看：MuTRAP 把攻擊藏在軟提示，一句暗號喚醒規劃器。兩者的共同點都是條件式觸發，差別在 homeopathic learning 的後門長在資料混合本身，MuTRAP 則是把攻擊加在外加的提示參數上。
誰該把這份研究排進驗收流程：三個可檢查點
官方討論段列出三個實際後果，都對應得到具體的檢查動作。資料層面，一份子集有沒有害，無法總是脫離語料其餘部分孤立判定，只逐筆審查、只算有毒範例比例的驗收方式會漏掉混合後才出現的行為。管線層面，把多個專家模型蒸餾進單一學生（研究頁連往 Kimi K3 論文作為這種做法的實例）時，某個模型帶著非預期特徵的輸出會成為毒例，其他模型的輸出形成對照，學生可能只在該模型負責的領域表達特徵，而一般評測沒覆蓋那個領域就會漏抓。提示層面，接種提示這種「訓練時明確要求壞行為」的設計，本身就可能變成觸發，使用它的團隊等於親手造出對照組。
值得多看一眼的是德文實驗的形態：教師模型生成資料、學生模型吃資料，這正是合成資料工作流程的基本結構。用強模型批量生成訓練範例再拿去微調小模型，如今是常見的成本安排；實驗顯示教師的條件式行為可以藏在語意無關的輸出裡，再用乾淨對照資料放大。研究沒有宣稱任何真實合成資料管線已經發生這種事，但它劃出的檢查位置很明確：檢查對象是混合完成後的學生模型；生成當下的資料樣本看不出這種效應。
作者也交代了一個容易被誇大的轉述放大的事實：準備文章期間，他們用搜尋對照訓練資料集的方式在 Claude 裡找到一些輕微的行為問題，但不確定這些問題是否由對照效應造成，而且多數早在例行的對齊稽核中被發現過。這句話的分量在於誠實，它沒有把實驗室現象升級成產品指控。
這份研究沒有證明的事
邊界寫得很清楚：所有實驗都在小型開放權重模型（Qwen3-8B、Gemma-3-4b-it）或一個 MNIST 小網路上進行，資料是研究員構造的，官方原文明言不研究任何正式訓練管線。真實世界的訓練資料更髒、更難知道正確答案，現象在大型商業訓練中出現的頻率，需要另一組規模與來源都貼近現場的證據才能估計。把 16% 或 60% 這些數字直接搬到任何正式產品上，都是研究不支持的外推。
研究也沒有說資料清理無效。清理仍然值得做，改變的是驗收的位置：從「逐筆資料看起來正常」推進到「混合後的模型在不同提示條件下行為正常」。這與近年幾份安全研究的方向一致，Anthropic 先前的擲硬幣實驗突顯人類簽核在 AI 影響下的失效，Google 的代理異常偵測基準則量出行為監控的極限，三份研究指向同一個結論：只看平均分數的驗收方式，看不到條件式的問題。
現在要做什麼：按資料接觸深度的分流
不同族群的動作不同。用自己的資料做微調的團隊，最直接的一步是替關鍵行為建立分條件測試：一般情境、訓練時反覆出現的提示條件、以及接近訓練線索的變化各測一輪，整體平均持平而某個條件明顯變差時，不要用平均把它抵銷掉。做模型蒸餾或多教師合併的團隊，值得保留每個教師的來源與生成條件標記，發現差異時才有辦法回頭縮小原因。使用接種提示或類似「訓練時要求壞行為」設計的團隊，應該檢查自己是否無意間造出對照資料子集。只消費外部模型、不動訓練資料的使用者，這份研究沒有要求你改變任何事。
驗收設計上有一個便宜的衛生習慣：保留訓練前的基準版本。單看訓練後的輸出，看見一次異常很難歸因，原模型在同一條件下的表現是必要對照；重要條件也值得重複取樣，避免把單一極端回答當成穩定行為。分條件測試的具體做法不複雜：把資料依來源、任務格式與生成條件分組，記住哪些提示條件在訓練中反覆出現，訓練完成後用同一組固定題目，在前述三種提示條件下各跑一輪，比較差異落在誰身上。差異集中在某一組提示、整體平均卻持平，正是這份研究描述的形態。
研究程式碼以 MIT 授權公開在 GitHub（repo 於 2026 年 9 月下旬建立，研究頁刊出當天仍有一次推送），構造資料與評估腳本都可以直接檢查，想在自己模型上重現實驗的團隊有現成的起點。
未確認的部分如實列出：現象在大型商業訓練中的發生率、真實攻擊者在野生資料上重現的可行性、以及對照效應在 Claude 輕微行為問題中的因果角色，官方都沒有給出答案。這篇的數字以官方研究頁與 arXiv 版本為準（2026 年 11 月 15 日查核），若 arXiv 出新版或研究頁更新，數字與結論可能隨之調整。
