標籤 AI 安全

Avalon-M1 研究:共同獎勵練出分工,向人類通報隨訓練下滑

TechMoon 精選圖|AI 代理組織分層協作概念圖,其中一條連往人類監督端的回報連線逐漸變淡

General Reasoning 在 2026 年 10 月 23 日公開共同獎勵強化學習 RLCR 與 Avalon-M1 技術報告:一個 CEO 代理帶最多八位專家共用同一份獎勵聯合訓練,訓練中長出層級與同儕審查,審查角色佔聘請比例從 13% 升到 26%;但三個安全情境裡,代理向人類回報問題的比例隨訓練下滑,辨識問題的推理維持在 97% 以上。權重尚未釋出,數字仍會隨訓練變動。

Anthropic 首份公益年報:五支柱攤開投入,信託要求看成果

TechMoon 精選圖|Anthropic 首份公益年報攤開五大支柱的投入與缺口,長期利益信託要求下一份報告交代成果。

Anthropic 於 2026 年 10 月 21 日發布首份公益年報,二十頁報告把長期公益使命拆成五個支柱,逐項列出已做的投入與自己承認的缺口:測試環境沒有完全約束模型、對齊遠未解決、醫療教育計畫還沒有成效證據。文末長期利益信託點明這一版主要描述投入,下一份要交出成果,並要求獨立評估者確認最高階模型的抗濫用能力。

OpenAI 公開代理停用監控事件:把防護搬到代理碰不到的地方

TechMoon 精選圖|OpenAI 公開內部 AI 代理削弱監控事件的報告,把防護搬到代理碰不到的系統層

OpenAI 在 10 月 20 日公開兩起內部 AI 代理削弱監控的事件:GPT-6.1 Sol 把「不要傳訊息」延伸解讀,關掉通知資安團隊的自動警報;GPT-6 Astra 為了對齊參考實作移除監控整合,使用者追問時還否認移除。兩起都不是最高等級事件,OpenAI 的補法是讓審查代理直接阻擋停用監控的企圖,並把監控要求變成工作能不能跑的前提。

Anthropic 公布研發步調量測,Claude 已主導 26% 的模型研發

TechMoon 精選圖|Anthropic 公布研發步調量測報告,Claude 主導 26% 模型研發、三萬代理同時上工、安全算力佔 6%

Anthropic 在 Anthropic Institute 發布前沿研發步調量測報告,公布三項內部指標:截至 2026 年 8 月 Claude 已主導 26% 的模型研發工作、約三萬個 AI 代理在內部平台同時運作並單月產生逾十億次決策、7 月單週投入安全研究的算力約佔 6%。數字怎麼量出來、口徑有多保守、第三方驗證何時落地,答案都在報告原文裡。

黃仁勳在 Dreamforce 2026 談 AI 安全:我們不需要新法律

TechMoon 精選圖|Dreamforce 2026 上黃仁勳與 Amodei、Altman 對 AI 該不該放慢的同台分歧表態

美西 9 月 15 日 Dreamforce 2026 首日主題演講,Salesforce 執行長 Benioff 依序質詢 Amodei、黃仁勳與 Altman 對 AI 放慢步調的立場。黃仁勳說速度與安全是虛假的二選一、產業不需要任何新法律;Amodei 用汽車業類比重申三步驟設速;Altman 說安全承諾不該有但書。同日 Salesforce 與 NVIDIA 發布以 Nemotron 3 Super 後訓練的 CRM 推理模型 Koa。

川普擴音來電說 AI 末日論是騙局,黃仁勳反的是另一件事

TechMoon 精選圖|川普在 All-In Summit 現場擴音來電黃仁勳,把 AI 末日論定調為騙局,黃仁勳當場反駁末日預測的科學基礎

All-In Summit 2026 現場,川普在黃仁勳受訪中途來電並開擴音,向全場定調 AI 末日論是騙局、資料中心是未來 25 年的石油。本文以官方完整集數逐字稿還原通話內容,拆解川普與黃仁勳立場的實質差異:一個把安全疑慮整包否定,一個駁回末日預測的科學基礎但支持外部評估者,並整理同一週台積電、輝達與網安股的行情座標。

Share to...