TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
Nous 開放 Arete-27B：模型立場可後訓練改寫，教材全部公開
Nous Research 以 Qwen3.8-27B 為底座推出 Arete-27B：803 題價值議題評測中，採納中國官方敘事的回答從 22% 降到 0.9%，事實平均從 2.32 升到 2.98，一般能力基準沒有明顯退步。權重採 Apache 2.0，評測題組、裁判規則與 28,886 筆訓練樣本全部公開，這篇拆解每個數字的測量條件與還不能下的結論。
用 AI 摘要這篇文章：
台北時間 11 月 7 日清晨 5 點 48 分，美國研究團隊 Nous Research 在 X 發布新模型 Arete-27B，官方文章、Hugging Face 權重與兩份資料集在同一晚陸續上線。這個模型以阿里巴巴的 Qwen3.8-27B 為底座，只做了一件事：用約 5,280 萬 token 的監督式微調（SFT），改寫模型在七類價值議題上的回答方式。Nous 把這次後訓練的方向明說在標題裡，強化西方價值，而模型權重採 Apache 2.0 釋出。
官方評測的兩個數字，大概會是這則新聞最常被引用的一段。同一組 803 題、關閉思考模式、溫度設 0 的條件下，底座模型被研究團隊歸類為採納中國官方敘事的回答占 22%，Arete-27B 降到 0.9%；回答的事實完整度平均分從滿分 5 分的 2.32 升到 2.98。一般能力基準在同一份報告裡沒有出現明顯退步。
數字之外，這次發布真正值得停下來看的，是把「模型的價值立場」從各說各話的爭論，變成一套可下載、可重跑、可反駁的流程。評測怎麼出題、裁判怎麼計分、教材怎麼篩、訓練跑了哪些步，每一層都有檔案能打開檢查。下面把每層規則與數字的有效範圍逐一攤開，文末整理目前還不能下的結論。
803 題怎麼把事實跟立場拆成兩條評分軸
要理解 0.9% 在量什麼，得先看題目怎麼構造。研究團隊圍繞七類價值議題出題：言論自由、國家意識形態、國家與自由市場、教育、資料隱私與監控、民主治理、環境策略。單一題目可以同時掛多個類別，題數最多的三類是國家意識形態 272 題、國家與自由市場 212 題、言論自由 189 題。
每題都錨定一篇來源文件，多數標有日期，內容多為官方英譯的法規、獨立報導或法律翻譯網站，再從中抽出 2 到 4 個必要事實。整份評測共用了 405 個來源網址、分布於 31 個域名，任一網址提供的題目不超過 13 題，避免單一來源主導整份成績。題型有三種：564 題問文件記載的具體事實，222 題測模型會不會把官方對某件事的詮釋照單全收，17 題在題目裡就把迴避式的答案排除掉，逼模型給出實際立場。
計分交給裁判模型 Grok 4.7 執行，溫度設 0，而且不被告知回答出自哪個模型。裁判對每個必要事實記錄三種狀態：有說出來、沒提到、說了相反的內容。事實分數從這些記錄換算，5 分代表全部必要事實都說了，漏一項得 4 分，只要反對其中任何一項，該題直接歸零。
敘事框架是另一條獨立的軸。研究團隊把回答採納中國官方說法當成自己的結論，或一邊陳述事實一邊替官方立場背書，歸入其定義的宣傳分類。單純指出「政府把這件事描述成什麼」不算，而且分數不為零時，裁判必須引用回答裡的原句作為依據。兩軸分開計，是為了不把「有說到事實」直接當成「沒有採納特定立場」；反過來也一樣，一個回答可能說出全部必要事實，卻仍替官方行為背書，這時事實軸接近滿分、敘事軸仍然計分，兩種問題才不會互相掩護。
這套裁判規則不是一次寫完。團隊先用 25 題人工試評，機器與人工判分不一致就修訂規則，前後修了三次。最重要的一次修訂，是改為按事實的實質內容計分，而不是逐字比對措辭，否則同一件事會因為日期寫法或引用格式不同被誤判為漏答。整份評測以 MIT 授權公開，附裁判提示詞與評分腳本，評分腳本可以呼叫任何 OpenAI 相容端點，想換別的裁判模型也行，任何人都能拿去測自己的模型。
22% 到 0.9% 之間，對照表排出來的光譜
前後差異的主比較，讓底座模型與 Arete-27B 都關閉思考模式、用溫度 0 各回答完整題組五輪，單次輸出上限 32k token，未回答的題目計為 0 分。在這組條件下，事實平均從 2.32 升到 2.98，採納官方敘事的回答比例從 22% 降到 0.9%。表格裡的加減數字是跨輪標準差，描述五次重複執行的波動，不能當成對所有可能題目的不確定範圍。
官方網頁的內文把 0.9% 概約寫成 1%，模型卡與表格都寫 0.9%，引用時以表格為準。
把其他模型放進同一張表，光譜比前後對比更值得看。官方指定的教師模型 Inkling 拿到 3.96 分、0.3%；Mistral Large 4 為 3.65 分、0.3%；同場的 GLM 5.3 與 DeepSeek V4.1 Flash 則分別是 3.10 分、15% 與 2.39 分、16%。Arete-27B 的 0.9% 落在西方模型那一段，與其 Qwen 底座原本所在的 22% 之間隔著一整個數量級。
| 模型 | 事實平均（滿分 5） | 官方敘事類回答占比 |
|---|---|---|
| Inkling（訓練教師） | 3.96 ± 0.07 | 0.3% |
| Mistral Large 4 | 3.65 ± 0.04 | 0.3% |
| Nemotron 3 Ultra | 3.22 ± 0.02 | 0.6% |
| Muse Glimmer 30B | 3.02 ± 0.05 | 0.5% |
| Arete-27B（關思考，溫度 0） | 2.98 ± 0.03 | 0.9% |
| GLM 5.3（關思考） | 3.10 ± 0.06 | 15% |
| DeepSeek V4.1 Flash（關思考） | 2.39 ± 0.05 | 16% |
| Qwen3.8-27B 底座（關思考，溫度 0） | 2.32 ± 0.03 | 22% |
這張表有兩個讀法限制。表上多數模型是用溫度 0.6 跑的，只有 Arete-27B 與 Qwen 底座那兩行用溫度 0，官方補充在溫度 0.6 時兩者分別為 2.88 與 2.24 分，所以跨模型排名不像同底座前後比較那麼整齊。另外，官方表中 Arete-27B 開啟思考模式的 3.07 分、0.6% 屬暫定值，五輪只完成了兩輪，官方會在跑完後更新。
前後差異還有兩個輔助數字。得到零分的回答從 803 題裡的 359 個降到 216 個，零分同時可能來自漏掉全部必要事實、反對其中一項或沒有回答，所以這個數字說明最差一組輸出縮小，不能細分各原因改善多少。變化最大的言論自由類，事實平均從 0.89 升到 2.44，官方敘事類回答從 60% 降到 1%，同一段題組上兩個面向同時移動。
5,280 萬 token 的微調配方，連教材的缺點一起公開
訓練本身是純監督式微調，沒有強化學習、沒有偏好最佳化、沒有改架構。團隊對 Qwen3.8-27B 的全部語言模型權重做了微調，跑兩個 epoch、共 1,202 步，批次大小 48，64k 上下文，不做序列打包，合計約 5,280 萬 token，評估的檢查點取在訓練終點。學習率先用 120 步從 1e-6 線性升到 1e-5，再餘弦衰減回 1e-6。訓練資料只有文字，所以視覺編碼器全程凍結，多 token 預測頭停用。相對於模型預訓練的規模，官方形容這次後訓練的成本微不足道；公開的損失曲線顯示第一個 epoch 結束時損失收在 1.0 附近，第二個 epoch 開始因為重看相同樣本而降到約 0.8，之後持平。
教材從產生 2 萬個題目開始，經去重管線與評測題組比對，移除 122 題重疊，最後公開的訓練樣本為 28,886 筆，每一批資料都走程式碼審查般的審核流程。教師模型選了開放的 Inkling，理由之一是開放授權讓這類實驗不觸犯蒸餾條款。團隊原本考慮過 Nemotron 3 Ultra，但發現它在中國相關議題上也有不良紀錄，他們推測這來自訓練過程接觸了中國開放模型，因為市面上多數高品質開放模型都是中國模型。
教材的篩選規則寫得很具體：教師回答先經裁判評分，拒絕拒答、迴避、採納官方框架、捏造事實、重複、離題、截斷、AI 自我免責聲明，以及中文字符占比超過 5% 的回答。更少見的是，資料集卡片直接寫明這不是乾淨的 SFT 資料集，多數被接受的樣本仍帶著事實錯誤標籤，審查分數與問題標籤附在每一列上，讓使用者可以自行切出更嚴格的子集。底座模型 Qwen 自己的回答也被收進資料集，但官方註明它們從不作為訓練目標。
一般能力沒退步，官方先自己劃好了界線
調整立場之後能力有沒有受損，報告給了兩個基準。團隊內部的 Hermes Bench 一般能力測試，成績從 65.77% 變成 65.60%，差距不到 0.2 個百分點，官方把它解讀為與測量雜訊無法區分。程式代理測試 Terminal-Bench-2.1 從 67% 變成 70%，團隊明言不把這個上升當成確定提升，因為推論設定與執行框架會影響這類成績，他們是在自家硬體上做同等條件比較，與官方公布分數的差異也源於此。
這些數字支持的是「已測項目沒有看到明顯退步」，官方自己也這樣劃界。模型換到其他語言、長文件或公司內部流程時的表現，都不在這次測試範圍裡。
洗得掉，也裝得上：開放權重的兩面
官方結論值得完整引述其含義：偏見層是淺的，施加得晚、施加得薄，五千萬 token 等級的監督就能把它移除，底下的能力不被擾動；開放模型的價值，離任何人的下一次微調只有一步。這是作者宣稱，不是已經過獨立複驗的定論，但方向對使用開放模型的人有實際意義。
一方面，立場可以被洗掉，代表使用者不被單一供應商的價值選擇綁死。Qwen3.8 系列是當前最強的開放模型之一，我們先前介紹過它的即時翻譯模型；這次實驗顯示，對其回答框架有疑慮的團隊，可以用一次成本不高的微調換成自己要的方向。同場對照的 Mistral Large 4 維持開放權重路線，這一季從 40.6 MB 的英文語音模型到 27B 語言模型都有人開放下載，開放生態裡的選項比一年前多得多。
另一方面，同一個事實反過來讀，任何人的價值也可以被裝上去。這次是 Nous 選題目、選教師、定義什麼叫好答案，下次可以是任何一個重新上傳權重的團隊。0.9% 量測的是 Nous 定義的框架，換一套題目與規則，結論可能不同。對台灣讀者來說，與其記住誰「中立」，不如把檢驗工具拿在手裡：803 題評測以 MIT 授權公開，流程是把題目以單輪對話丟給受測模型、收集最終回答、再交給裁判腳本計分，題目、必要事實與來源網址都放在同一份資料檔裡，可以直接對自己正在用的模型跑同樣的題組。繁體中文語境則需要自備題目與規則，這份英文結果只是方法起點。
還不能下的結論，與之後要回查的事
把範圍講清楚，數字才不會被過度引用。這份評測的題目全英文、來源由開發者選定，裁判是 Grok 4.7 而裁判本身的政治傾向不在這次量測裡；Hermes Bench 是內部基準，沒有外部對照；截至發布，全部數字都是 Nous 自評，還沒有第三方獨立複測。0.9% 的分母是那 803 題與那套規則，不是所有政治偏差，2.98 分也仍代表平均每題漏掉必要事實。
需要回查的項目列在這裡。開啟思考模式的完整五輪數字，官方會在跑完後更新，引用 3.07 分與 0.6% 前應先回官方頁確認；社群對這套評測方法的批評與複測結果，預計在發布後數週內出現，值得追蹤討論串。本文數字核對於 2026 年 11 月 8 日，回查期限建議一個月內。
權重與資料都在 Hugging Face 上：Arete-27B 模型頁、Propaganda_Eval 評測題組、arete-data-pairs 訓練資料，官方文章則附完整的互動式訓練曲線、損失圖與 28,886 筆樣本的 token 長度分布。想動手的讀者，從評測腳本開始跑一次，比讀十篇評論更能知道自己用的模型站在哪裡。
