Osaurus 開源 Mac 本地 AI Agent:模型隨你換,記憶留在本機

Osaurus 是用純 Swift 寫的開源 macOS AI Agent 框架,把長期記憶、工具與加密身分留在你的 Mac 上,模型可隨意切換本機或雲端。本機模型確實不外送,接雲端時多了去識別化,但官網的完全離線與無遙測說法,得對照程式碼來看。

用 AI 摘要這篇文章:

三個問題大概會決定 Osaurus 跟你對不對盤

一款工具喊出「完全離線、無遙測」,那接了 ChatGPT 之後不就破功?我的 Mac 還在 macOS 15,看得到它主打的那個隔離沙盒嗎?跟已經用了好一陣子的 Coworker 這類 Mac Agent 比,它到底走哪條路?把這三件事想清楚,比記住一長串功能表更實際。

同樣把「模型可換、資料留本機」當設計核心的還有 Mac 自動工作日誌工具 Dayflow,它用本地模型分析螢幕截圖產出工作時間線,遙測可以在設定裡關掉。

同樣是用 Swift 打造的開源 macOS AI 工具,如果你想做的是直接生成一支小工具,而不是一套 Agent 框架,可以再看一下 Ironsmith 這個用口語生成原生 macOS app 的開源工具

手機端也有類似的開源視覺 agent,例如 Open-AutoGLM 把同一類視覺語言模型搬到手機上,用 ADB 模擬點擊來操作應用。

若你想把「本地模型加終端機」這類組合搬到 Android 手機上,可以另看〈Operit AI 這款開源安卓工具〉,它同樣強調本地推論,並用 PRoot 跑 Ubuntu 使用者空間,是行動端另一種相近的嘗試。

若你的需求是「瀏覽器內建 Agent」而非純桌面 Agent,BrowserOS 開源 Chromium 瀏覽器把 Ollama 本機模型與瀏覽器操作綁在同一個應用程式裡,是另一種本機 AI Agent 的實作路徑。

如果你感興趣的是瀏覽器層的本地 AI,on-device-browser-agent 示範了怎麼用 WebGPU 在 Chrome 裡把大模型推理搬進擴充功能,做不需要 API Key 的網頁自動化。

與 Osaurus 把模型留在 Mac 本機不同,PicoClaw 走邊緣路線:調度留在開發板上常駐,推論交給你設定的後端模型。

如果你能接受把對話交給設定的雲端模型供應商、又想用 OpenClaw 框架的 GUI,ClawX 是另一個選項,與 Osaurus 把模型留在本機的路線不同。

同樣走「不過外部伺服器」路線的 macOS 工具,還有 OpenDisplay,把 iPhone/iPad 當 Mac 副屏、畫面只在兩台設備間跑。

同樣走 local-first、不過雲端路線的,還有 PlayBridge 這套開源區網投屏工具,把手機媒體直連電視。

直接講結論。Osaurus 是一套用純 Swift 寫的 macOS AI Agent 框架,重點不在「再訓練一個新模型」,而在模型之上那一層:長期記憶、工具呼叫、加密身分、還有自主執行的沙盒,都盡量讓你留在自己機器上。模型隨你換,本機的 MLX、Apple Foundation Models,或雲端的 OpenAI、Claude、Gemini 都接得上。但官網那幾個「完全離線、無遙測」的大字,跟官方文件擺在一起時其實有段落差,底下分段看清楚。

快速重點

開源(MIT 授權)、純 Swift、Apple Silicon 專用,GitHub 上 7100 多顆星,過去一週密集發版,仍以極快節奏在動。

本機模型確實不出機器;接雲端模型時,送出前會多跑一道 Privacy Filter 去識別化。

基礎對話與檔案操作要 macOS 15.5 以上;招牌的隔離 VM 自主執行與 Apple Foundation Models 要 macOS 26(Tahoe)。

匿名用量分析與當機回報預設是開啟的(可在設定關掉),這點跟官網「No telemetry」的說法有段落差。

模型很便宜,圍著模型那一層才是它要你留下的東西

Osaurus 把自己定位成 harness(套架、載具),而不是模型本身。它的說法是:模型越來越便宜、越來越可互換,真正不可替代的是圍著模型那一層,你的脈絡、記憶、工具、身分。別人把這層放在自家伺服器,Osaurus 把它放在你的 Mac 上。它真正接手的是模型跑起來之後那一段:記憶、工具、身分這些東西怎麼長期累積下來。

它也把 agent 當成第一公民來設計。每一個 agent 有自己的提示詞、記憶與介面主題,可以是一個研究助手、一個寫程式搭檔、或一個專門整理檔案的幫手,要呼叫哪些工具會依眼前任務自動挑選,不必你手動指定。實際跑起來的時候,你指定一個工作資料夾,agent 就拿到檔案讀寫、搜尋、git 這些工具;把沙盒打開,它還能在隔離環境裡用 shell。模型會先寫一份 markdown 待辦清單,照著一步步執行,最後回一份驗證過的摘要,整段都在同一個對話視窗裡完成。

這個切入點其實跟一些把知識與記憶搬上雲端的做法剛好相反。像 MindPocket 那類書籤知識庫工具,價值在雲端 RAG,但代價是摘要與向量化的過程會把內容送到外部模型;Osaurus 想把「累積」這件事留在本機,模型只是它呼叫的資源。方向不同,取捨也不同。

本機模型不外送為真,接雲端時多了一道去識別化

先把話說精準。用本機模型(MLX 跑 Gemma、Qwen、Llama 這類,或蘋果內建 Foundation Models)的時候,推理跑在你的 Apple Silicon 上,檔案不外送,這點為真,也是它最站得住腳的主張。真正會把資料送出去的,是你接上 OpenAI、Claude、Gemini 這些雲端模型的時候。

差別在於,Osaurus 在送雲端這一步多做了一件事。官方文件的 Privacy Filter 段落寫得相當具體:送出前,會在本機跑一個 openai/privacy-filter 分類器(MLX 版本約 2.8GB),加上一組確定性的正規表示式,去抓姓名、信箱、電話、網址、地址、日期、帳號,以及身分證號、信用卡號、IBAN、AWS 金鑰、GitHub token 這類敏感資料。抓到的會換成 [PERSON_1]、[EMAIL_2] 這種穩定佔位符,而且採 fail-closed 設計,送出前再掃一次,只要發現有東西漏網,這次傳送會被擋下。Insights 面板甚至讓你看見雲端實際收到哪些位元組。

Osaurus 官方網站首頁,主打 Own your AI 與資料不離開 Mac、無遙測等訴求Pin
Osaurus 官網首頁以「Own your AI」為主視覺,強調模型在本機運行、資料不外送。這幾句行銷訴求與程式碼實際行為有些段落值得對照。

老實說,去識別化是機率分類,不是加密保證,能擋掉大多數明顯的個資欄位,但擋不住寫在自然語句裡的敏感脈絡。這跟 OpResume 那種「用 AI 等於把履歷交給誰」的本地邊界斷裂點,是同一個家族的問題,只是 Osaurus 多了一層自動去識別化。純本機處理的工具(像 Secure PDF Editor 把塗黑留在瀏覽器)則連這個問題都不存在。

官網寫「No telemetry」,程式碼裡是另一回事

這大概是整篇最該挑明講的一段。osaurus.ai 首頁寫得很白:No telemetry、Nothing leaves unless you say so,甚至 not even anonymous analytics。但專案的 Telemetry 文件,講的是另一個故事。

官方的 docs/TELEMETRY.md 在「Defaults & consent」直說:Analytics are on by default and opt-out。第一次進 onboarding 時,「Share anonymous usage data」那個框是預先勾好的,要你自己取消才不送。當機回報走 Sentry,是另一個獨立開關,而且官方 README 明講它是 opt-out,預設開啟、啟動就作用,理由是當機報告不含個資、能幫團隊修真正的 bug。對應到程式碼,TelemetryService 與 CrashReportingService 各自有一個同意欄位控制這兩件事。

但公平地講,它確實是匿名的。同一份文件逐項列了「never collect」清單:不收對話內容、prompt、工具呼叫參數、檔案路徑、API key、token,也不收 IP 或精確位置,事件不會綁到你這個人。每個事件只多掛一個粗略的記憶體級距(像是 8、16、32GB 這種分桶),用來看大模型在不同機器上的表現。所以精準的講法不是「無遙測」,而是「匿名、可關、預設開」。這種「官網話術、文件老實」的落差,在 MoePeek 那類 macOS 原生工具的遙測審計也遇過,差別只在 Osaurus 把話講得更滿。另外,只有你自己抓原始碼來編譯(沒有 analytics key)時,這些才真的全程靜默。

記憶分三層,存在你硬碟裡,而且預設是明文

Osaurus 的記憶拆成三層:身分層、釘選事實、每次對話的情節,再加上完整逐字稿當後盾。它不是每一輪都把所有東西塞進去,而是等對話結束才蒸餾一次,按顯著度評分,每次請求最多帶一小段,官方說多數情況在 800 token 以下,很多時候是零。背景還有一個整理程序會衰減、合併、清除,避免記憶越積越胖。

這些東西存在哪?文件 docs/STORAGE.md 講得很直白:從 0.21.0 版起,~/.osaurus/ 底下的資料庫是明文 SQLite,靠 macOS 的 FileVault 做靜止時保護,全庫 SQLCipher 加密是你要自己進設定打開的選項。官方還特地解釋為什麼從早期「永遠加密」改成預設明文:因為那把綁在 Keychain 的金鑰,在 Mac 資料轉移、app 重新簽署、或 Keychain 被清掉時會壞掉,一旦壞了就整庫打不開。所以明文是為了可靠,不是隨便。但這也表示,你如果介意本地資料是明文,得自己記得去開加密。

想用隔離 VM 跑自主執行,先確認你升到 macOS 26

系統門檻是另一個容易被行銷頁帶過去的點。基礎對話和檔案操作,macOS 15.5 以上就跑得動。但 Osaurus 最亮眼的那塊「在隔離 Linux VM 裡自主執行」,靠的是蘋果的 Containerization 框架,要 macOS 26(Tahoe)才有。這個沙盒是 Alpine Linux,透過 vsock 與 VirtioFS 跟主程式溝通,每個 agent 分到一個獨立的 Linux 帳號與家目錄,可以在裡頭跑 shell、Python、Node、編譯器,官方稱執行風險都隔在 VM 裡。這大幅降低主機被改動的機會,但 VirtioFS 共用層與資源爭用仍在,VM 逃逸的理論風險也非零,算不上絕對安全。蘋果內建的 Foundation Models(裝置端推理、不出機器)同樣也要 macOS 26 以上。

講白一點,多數人現在的 Mac 還在 15.x,等於裝得起 Osaurus,但拿不到它最招牌的沙盒與蘋果模型那兩塊。沙盒 VM 的記憶體預設抓 2GB,可以設到 1 到 8GB。如果你還沒打算升 macOS 26,把它當成本機模型加記憶體的 agent 環境來用就好,自主執行沙盒先放著。

沙盒本身也設計成可以擴充。想讓 agent 多會幾件事,可以用簡單的 JSON 配方掛新的工具進去,官方強調不必開 Xcode、也不必做程式碼簽署,門檻壓得很低。它內建就帶了二十幾個原生外掛,涵蓋郵件、行事曆、視覺、瀏覽器、檔案系統、搜尋這些常見需求。另外還有一個頗巧的設計叫 subagent:對話進行中,可以把一個範圍明確的小任務交給另一個模型或另一個你存好的 agent 去跑,跑完只把精簡結果帶回來,不會把主對話弄亂;如果交給的是本機模型,它會先把目前聊天的模型卸載、跑完再載回,避免兩個大模型同時搶記憶體。

加密身分與 relay,把 agent 安然放上網際網路

有兩個設計是其他同類工具比較少見的。其中加密身分這項,每個參與者,不管是你、某個 agent、還是某台設備,都有一個 secp256k1 的加密地址,權限從你的主金鑰(放在 iCloud Keychain)一層層簽派下去。你可以做出可攜的存取金鑰(osk-v1),幫每個 agent 設獨立授權範圍,任何時候都能撤銷。等於把「誰有資格呼叫這個 agent」做成了可驗證的信任鏈。

另一個是 relay。你可以把某個 agent 經由 agent.osaurus.ai 的 WebSocket 通道暴露到網際網路上,不用自己架 port forwarding,也不用 ngrok。當兩個 Osaurus agent 對講時,整段是端對端加密,用 X25519 做前向保密的握手、再用 ChaCha20-Poly1305 封裝每一個請求與串流 token,relay 本身只是一根轉發密文的盲管,打不開內容。所以更精準的講法是:伺服器存在(代管的 Osaurus Router 與 relay 都在),但內容層是加密的。代管的 Osaurus Router 是 pay-as-you-go,官方說不會儲存你的 prompt 與回應內容,只留計費需要的用量資料,至於上游的 OpenAI、Anthropic 各自怎麼處理,就看各家的政策。

自動化、語音與離線生圖,把 agent 塞進日常工作流

除了面對面聊天,Osaurus 也在把 agent 往你日常的工作流裡塞。排程功能讓任務在背景定時跑;資料夾監看會盯著你指定的目錄,檔案一出現變動就觸發對應的 agent。等於讓 agent 在你沒盯著螢幕的時候自己接手處理,而不是每次都要你開個視窗問它。

語音這塊也走本機路線。它用 FluidAudio 在蘋果 Neural Engine 上做裝置端轉錄,聊天裡可以直接語音輸入,有喚醒詞模式,還給你一個全域熱鍵,能把語音轉成文字送進任何 app,官方的說法是聲音不會離開你的 Mac。系統整合也做得相當完整:裝好之後就有 App Intents,所以 Ask Osaurus 與 Run Osaurus Agent 這兩個動作,在 Shortcuts、Spotlight、Siri 裡都叫得到,不用另外設定。

連生圖都能離線。你可以裝本機圖片模型,像是 z-image-turbo、FLUX、Qwen-Image 或 Ideogram,用文字提示生成圖片,控制尺寸、種子與負面提示,也能丟一張原圖進去修改而不從零開始。聊天模型還能直接呼叫內建的 image 工具,把生成或編輯好的圖嵌回對話裡,官方強調這些都不送伺服器。把這些能力兜起來看,它的企圖就不只是一個聊天框,而是把機器上重複發生的事慢慢交給 agent 去接。

跟 Coworker、Claude Code 擺在一起看

同樣是開源、Apple Silicon、接一堆 provider 的 Mac AI Agent,Coworker 走的是 Electron 加背景 daemon、每個動作都要你按 Approve 把關的路線,偏「雲端模型工作流程、人工逐次確認」。Osaurus 是原生 Swift、本機模型優先,還多了加密身分鏈與自主執行沙盒,偏「本機優先、讓它自動跑」。兩者都 MIT、都很活躍,哲學不同。

Osaurus GitHub 專案頁,顯示 7100 多顆星、MIT 授權、Swift 語言標籤與 Apple Foundation Models、MCP 等主題標籤Pin
Osaurus 在 GitHub 上的開源專案頁,標示 MIT 授權、純 Swift 開發與 Apple Silicon 平台。

Ollama 和 LM Studio 管的是模型怎麼在本機跑起來這一段,Osaurus 著墨的是模型跑起來之後的事,兩者不衝突,Osaurus 本來就能把 Ollama 當本機模型來源接進來。Claude Code 和 Cursor 是雲端、綁定程式開發這個特定場景;Osaurus 想做的,是屬於你自己的通用 agent 環境。也別把它當 ChatGPT 的替代品,臨時查個資料、把一段文字順一順這類輕量需求,交給本來就在用的雲端服務反而省事。

順帶一提,Osaurus 同時是完整的 MCP server 與 client。別的 MCP client 可以呼叫它的工具(osaurus mcp 開一個 stdio 橋接),它也能反過來聚合大約 25 個遠端 MCP 服務,像是 Linear、Notion、GitHub、Vercel、Supabase、Sentry、Stripe、Cloudflare,一鍵 OAuth 接上去。

安裝與系統門檻

安裝就一行:Homebrew 裝 cask,brew install --cask osaurus(README 寫的是 –cask;官網行銷頁那個 brew install osaurus 較不精確)。或從 GitHub Releases 下 .dmg。裝完有幾個指令:osaurus ui 開對話介面、osaurus serve 起本機伺服器、osaurus status 看狀態。

硬體與系統方面,只支援 Apple Silicon(M1 到 M4),不支援 Intel Mac、Windows、Linux。基礎功能 macOS 15.5 以上,沙盒與 Foundation Models 要 macOS 26 以上。想自己編譯,需要 Xcode 16 以上。它也有自己的 Hugging Face 頻道,放了針對 Apple Silicon 調過量化的模型。

對開發者來說還有個實用的設計。Osaurus 在本機開了相容 OpenAI、Anthropic、Ollama 的 API 端點,預設在 localhost:1337,等於你本來就在用的工具或 SDK,只要把 base URL 指過來,就能接到它的模型與工具鏈,不必重寫程式。模型選擇也相當寬:主流的 Gemma、Qwen、Llama 都能透過 MLX 在 Apple Silicon 上跑,還支援 Liquid AI 的 LFM 系列,這類非 transformer 架構的模型解碼快、佔用記憶體低,本來就是為邊緣裝置設計的。需要更大火力時,再把請求轉給雲端 provider,官方的承諾是換模型不換設定,你的 agent、記憶與工具都留在原地。

誰該裝,誰先觀望

比較適合的,是獨立開發者、想把 AI 長期黏在自己的專案與檔案上、同時用好幾個模型 API 而想減少對單一雲端依賴、也願意花時間設本機模型的人。你如果同時掛著好幾家 provider 的 key,Osaurus 讓你把 agent 的工具清單與累積下來的脈絡固定在本機,模型只是後面替換的那塊,這點會對你胃口。

先觀望的,是只把 AI 當臨時查詢工具的人(雲端服務更省事)、還沒升 macOS 26 又很在意那塊沙盒的人、以及不想碰終端與設定的人。這專案仍以極快節奏在動,137 個 open issue、一週多個版本,功能與體驗還是建議以官方最新文件為準。

你可能還會想確認這幾點

Osaurus 真的完全離線嗎?

用本機模型時,推理跑在你的 Apple Silicon 上、檔案不外送。接雲端模型時,內容會經過你選的 provider;送出前 Osaurus 會用本機分類器做去識別化。代管的 Osaurus Router 與 relay 伺服器也存在。所以「完全離線」適用於本機模型這個情境,不是整個產品的全貌。

我一定要 macOS 26 嗎?

不用。基礎對話與檔案操作 macOS 15.5 以上就行。需要隔離 Linux VM 自主執行、或蘋果內建 Foundation Models,才要 macOS 26(Tahoe)。

它會回傳我的對話內容嗎?

匿名用量分析(Aptabase)與當機回報(Sentry)預設開啟、可關;依官方文件,這兩者都不收對話、prompt、檔案、API key 或 IP。本機儲存預設是明文 SQLite,要加密得自己去設定開。接雲端模型時,內容會送給你選的 provider,送前有去識別化。

跟 Ollama 有什麼不一樣?

Ollama 是把模型載下來跑的推理引擎,Osaurus 是疊在引擎之上的 agent 框架,兩者不競爭,Osaurus 還能把 Ollama 當本機模型來源接進來。

要付費嗎?

軟體本身 MIT 開源、免費。花費會發生在雲端模型 API,或用官方代管的 Osaurus Router(pay-as-you-go)。本機模型零推理成本,但吃你 Mac 的記憶體,模型越大、統一記憶體要越多。

說到底,Osaurus 想留住的是你長期累積下來的脈絡與記憶,模型只是它後面替換的那塊。這個方向對在乎資料落地、又願意自己設本機環境的人是有吸引力的;但官網那幾句「完全離線、無遙測」的行銷話,記得對照官方文件再下判斷。如果你正好在找一套能把 AI 長期黏在自己 Mac 上的 agent 框架,它值得裝來摸一輪。如果你常在本機跑大型模型,真正遇到的是 GPU 處理程序卡住或資源被占滿,則可再看 GPU Kill 跨平台 GPU 清理工具,它解決的是資源監控與程序清理,不是 Agent 管理。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 1044

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...