OmniRoute 開源 AI Gateway：把多家模型供應商收進同一個本地端點，與 LiteLLM、OpenRouter 的差別與邊界

用 AI 摘要這篇文章：

ChatGPT Claude Perplexity Google Grok

先把他們擺在一起：OmniRoute、LiteLLM 與 OpenRouter 的定位差異

同樣是「把多家模型 API 收進一個入口」的工具，OmniRoute、LiteLLM 與 OpenRouter 走的是三條不同的路。想把 Claude、Gemini、DeepSeek、Kimi 或 GLM 接進同一個開發流程之前，先把他們的定位差異看清楚，會比煩惱要選哪一家更實際。

OmniRoute 走的是「自己架、自己管」這條路。它在 GitHub 上以 MIT 授權釋出（截至 2026 年 7 月 26501 顆星、3476 個 fork），原始碼主要為 TypeScript，預設分支目前指向 release/v3.8.49。如果你之前用過 FreeLLMAPI 這類把免費額度集中起來的工具，或研究過 AI coding plan 的方案比較，那麼 OmniRoute 處理的是更偏基礎架構的那一層：它不是模型，而是模型前面的路由器。

Pin

OmniRoute 究竟在路由什麼

把 OmniRoute 想像成架在你自己電腦或伺服器上的「模型總機」。Cursor、Claude Code、Codex、Cline、Copilot 這些用戶端只需要連到 OmniRoute 提供的本地端點，請求再由 OmniRoute 依照你預先設好的規則，分配給後面的 Claude、Gemini、DeepSeek、Kimi、GLM、MiniMax 等供應商。官方在 GitHub 描述寫的是「278+ providers、500+ models」，README 裡也曾出現 250 這個數字，官方網站首頁則顯示 268 家，package.json 的 description 又寫 160+。

這組數字在不同頁面之間會漂移，部分原因是版本推進與計算口徑不同（算不算鏡像、算不算已下架供應商）。與其執著於一個精確總數，把它讀作「兩百多家前後、持續變動」會更接近事實。路由策略官方列出約 19 種，涵蓋常用通道、備用通道、權重、配額感知等不同邏輯，實際數字仍以官方文件為準。

Pin

本地部署，不等於模型請求留在本地

這是 OmniRoute 最需要拆開看的一點。把閘道架在自己機器上，保存的東西包含路由設定、SQLite 資料庫、以及你填入的 API Key。從原始碼的 .env.example 可以看到幾個關鍵欄位：API_KEY_SECRET 用來把存進 SQLite 的金鑰加密，STORAGE_ENCRYPTION_KEY 可以把整個資料庫加密，JWT_SECRET 處理儀表板的登入工作階段。資料落地這一層，設計上是做過思考的。

但是，模型推理本身不在你的機器上。當 OmniRoute 把請求送往 Claude、Gemini、DeepSeek 這類雲端模型時，請求內容裡的提示詞、程式碼片段、上下文，依然會送到對應的模型服務商。換句話說，「金鑰與設定在本地」與「推理內容在本地」是兩件事。如果任務涉及企業程式碼、客戶資料或其他敏感內容，除了檢查 OmniRoute 本身，還要回頭查你接入的每一家模型服務商的資料保留、訓練使用與隱私政策。只有當你接的是自架的本地模型（例如本地跑的 Llama、Qwen），相關推理內容才有機會不經過雲端。

這也是 OmniRoute 與純前端工具在信任模型上的根本差異。它屬於「自架伺服器應用」這一類，有 Next.js 伺服器與資料庫，資料會寫進伺服器的儲存層，而不是只活在瀏覽器的 localStorage。與 SubsTracker 這類自架工具分享的是「資料落地在你自己帳號」這個優點，也分享同一個提醒：自架的基礎設施改條款，你的服務穩定度就會跟著受影響。

「免費額度」與 Token 壓縮的真相

README 寫著「~1.6B documented free tokens/month」、「首月最高 ~2.1B」這類數字，很容易被讀成「OmniRoute 每個月送你 16 億 token」。實際上，這個數字是把各家供應商提供的免費額度、試用配額、註冊禮加總出來的，不是 OmniRoute 自己提供的算力。免費的是 OmniRoute 這套 MIT 閘道軟體，接入的模型要不要收費、額度多少、哪些地區可用，仍取決於對應的服務商與你的帳號套餐。

把這件事講白：OmniRoute 可以幫你把分散在不同平台的免費配額集中管理，但它沒辦法把別人的付費牆變不見。免費額度也會改動，地區限制與使用條件隨時可能調整，把它當作「管理分散配額」的工具會比當作「永久免費模型服務」更接近事實。如果你重視免費資源的整理，FreeLLMAPI 那篇也討論過類似的聚合邏輯。

Token 壓縮則是另一組需要 hedging 的數字。官方給出的範圍是 15% 到 95%，這個區間很寬，原因是壓縮效果高度依賴輸入內容與壓縮模式。重複程式碼、冗餘日誌這類內容壓縮空間大，較高比例主要出現在工具輸出、日誌與組合壓縮模式；需要完整上下文的推理、程式碼修改或工具呼叫任務，就不適合過度裁切。壓縮比例開得太高，可能造成上下文缺失、輸出品質下降或工具呼叫異常。把它當作「在特定場景能省」而不是「每次都省九成」會更穩。

自動切換能做什麼，不能做什麼

自動切換是 OmniRoute 最常被提起的功能。長任務跑到一半，當前通道回傳 429 或額度耗盡，OmniRoute 會依照預先設定的路由規則，把後續請求交給備用通道。對經常跑 Cursor、Cline 或 AI Agent 長任務的人來說，這能減少「任務中斷、臨時改 API Key 與用戶端設定」的麻煩。

但有幾個前提必須說清楚。備用通道需要事先設定好並保持可用，切換才有可能發生。不同模型對上下文格式、工具呼叫與參數的支援不完全一致，換模型之後可能出現回答品質變化、上下文銜接不完整或工具呼叫失敗。切換能不能成功，也取決於上游回傳的錯誤狀態與你的路由規則是否正確。換句話說，OmniRoute 降低的是「單一 API 限流中斷工作流程」的機率，沒有辦法保證運行中的長任務一定能不中斷地接著跑完。

路由策略與 MCP、A2A 支援

除了「限流就切到備用通道」這一種邏輯，OmniRoute 的路由策略還涵蓋權重分配、成本優先、延遲優先、依供應商類型分流等不同模式。官方列出的 19 種策略，對應的是「你想用什麼條件決定這次請求走哪一家」這件事，例如把免費額度優先用完再落到付費通道、或把即時性要求高的任務固定排在低延遲供應商。實際策略數量會隨版本調整，設定細節仍以官方文件為準。

在與開發工具的銜接上，OmniRoute 也標榜支援 MCP（Model Context Protocol）與 A2A（Agent-to-Agent）這兩條讓 AI Agent 之間互相呼叫的協定。對 Cursor、Claude Code、Cline、Codex、Copilot 這類會主動發起工具呼叫的用戶端來說，這意味著 OmniRoute 不只能當作統一的 API 入口，也能當作 Agent 工作流程中的路由節點。要留意的是，協定支援不等於每一家模型都完整支援工具呼叫或 Agent 行為，上游模型本身的相容性仍是變數。

部署方式與公開 VPS 的風險

OmniRoute 提供 npm、Docker、Electron 桌面版與 PWA 等執行方式，npm 適合已經裝好 Node.js 22 以上環境的開發者，Docker 適合放在家用伺服器或內網長期運行，桌面版適合先安裝體驗。Node.js 版本需求寫在 package.json 的 engines 欄位，建議部署前先對一下。

因為 OmniRoute 會保存並呼叫你設定的模型 API Key，官方文件建議優先部署在可控的電腦、家用伺服器或內網。如果你打算放在公開 VPS 上，不要直接把管理端口暴露在公網，至少要做 HTTPS、登入認證、防火牆規則與 IP 限制。INITIAL_PASSWORD 預設值是 CHANGEME，這組值在 .env.example 裡被標註為「僅供本地開發、不安全」，正式部署前一定要從儀表板改掉。這類自架服務的安全責任，最終會落在部署者自己身上，與 Sniffnet、Agent Battery 等其他自架工具是同一套邏輯。

什麼情況下值得用 OmniRoute

幾個比較實際的訊號：你同時在用多個模型 API、手裡分散著多組金鑰、常遇到限流或額度耗盡、會臨時更換供應商。長時間運行 Cursor、Cline 或 AI Agent 任務時，這類閘道的價值會更明顯，因為任務跑到一半遇到 429，不必再臨時改用戶端設定。如果你同時關注授權清潔度，MIT 也是 OmniRoute 的一個優點，與 NO-LICENSE 或 PolyForm Noncommercial 的同類工具相比，商用與再散布的空間明確許多。

反過來說，如果你主要用 ChatGPT、Claude 的網頁版，或手上只有一組固定的 API 供應商，單獨部署 OmniRoute 的效益有限。多加一層閘道，也代表連線異常時要同時檢查用戶端、路由設定、網路與上游服務，除錯鏈變長。對單一供應商、輕度使用的開發者，直接用原廠 API 或 託管型方案通常更省事。

語言介面也需要留意。OmniRoute 官方網站的語言清單包含簡體中文，但沒有繁體中文選項。對台灣讀者來說，儀表板與文件的操作不致於完全看不懂，但部分介面與說明會以簡體中文或英文為主，這是使用前可以先心裡有底的邊界。

來源、授權與版本基準

OmniRoute 在 GitHub 以 MIT 授權釋出，LICENSE 檔案完整（Copyright 2026 diegosouzapw）。供應商數字、路由策略、Token 壓縮區間與功能描述，對應的是 2026 年 7 月的倉庫與官方網站狀態，倉庫的 default 分支會隨版本移動（目前指向 release/v3.8.49），模型供應商清單與路由策略數字也會跟著版本調整，實際接入前請以官方最新文件為準。

幾組容易引起誤解的數字需要分開看。供應商總數在 GitHub 描述、README、官方網站與 package.json 之間並不一致（278+、268、250、160+ 都出現過）， Token 壓縮的 15% 到 95% 是依輸入內容與壓縮模式而變的區間而非固定值，自動切換降低的也只是單一通道限流造成的中斷機率。這些條件都建議在接入前對著官方文件逐一核對。

常見問題

OmniRoute 是免費的 AI 模型服務嗎

不是。免費的是 OmniRoute 這套 MIT 閘道軟體本身，接入的 Claude、Gemini、DeepSeek 等模型要不要收費、額度多少，仍取決於對應服務商與你的帳號。官方宣稱的每月 16 億到 21 億免費 token，是把各家供應商的免費額度加總後的數字，不是 OmniRoute 自己提供的算力。

自架 OmniRoute 之後，我的程式碼會不會外流

只要接入的是雲端模型，請求裡的提示詞、程式碼片段與上下文就會送到該模型服務商。OmniRoute 處理的是「金鑰與路由設定在本地」，模型推理仍在雲端。如果任務涉及敏感程式碼，需要同時檢查模型服務商的資料保留與隱私政策，或改接本地模型。

自動切換能不能保證長任務不中斷

不能保證。自動切換降低的是單一通道限流導致的中斷機率，但切換能否成功取決於備用通道是否可用、上游錯誤狀態與路由規則。不同模型對工具呼叫、上下文格式的支援也不一致，換模型後可能出現上下文銜接不完整或工具呼叫失敗。

OmniRoute 與 OpenRouter 差在哪裡

OpenRouter 是託管型平台，你不用自己架伺服器，開箱即用，請求會經過他們的雲端。OmniRoute 則是你自己架在自己機器或內網的閘道，金鑰與路由設定掌握在你手裡，代價是要自己處理部署、更新與安全。想省事選 OpenRouter，想自己管選 OmniRoute。

可以用在商業專案嗎

OmniRoute 本身是 MIT 授權，商用、修改、再散布的空間明確。但「閘道軟體可以商用」不等於「接入的模型可以任意商用」，模型部分的授權與使用條件要看對應服務商的條款，商業整合前建議逐家確認。