TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
Can I Run AI 教學：下載本地 AI 前，先查硬體、量化與記憶體需求
Can I Run AI 使用教學：先核對 GPU、VRAM 與 RAM，再用 Browse all 篩選本地 AI 模型。整理等級、量化、Mac 統一記憶體、上下文及下載後驗證，分清網站估計和實際執行結果。
用 AI 摘要這篇文章：
Can I Run AI（CanIRun.ai）是本地 AI 模型的硬體評估網站。你可以用它讀取瀏覽器提供的硬體資訊，或手動選擇配備，再查看模型的量化版本、預估記憶體需求與執行等級。查詢過程不必先下載模型，也不用先註冊帳號。
它適合回答「先試哪個模型比較合理」，但不能保證模型實際跑得多快。下載前先核對配備，下載後再用自己的工作測試，比只看 S、A、B 等級更有用。
先確認硬體：偵測結果可以手動修正
打開 CanIRun.ai，先看頁面上方的 GPU、VRAM、BW 與 RAM。VRAM 是顯示記憶體，BW 是記憶體頻寬；一般獨立顯示卡的 VRAM，和電腦的系統 RAM 是不同資源。
依官方偵測與評分說明，網站使用 WebGL、WebGPU 與 Navigator API 取得硬體線索，再搭配資料庫及估算產生結果。這不是完整的系統規格報告：瀏覽器可能隱藏型號，記憶體也可能只是近似值。
如果型號不對，或容量和你的電腦不同，可直接調整硬體選單。本文的無頭瀏覽器自動結果顯示「Google」而非一張可辨識的實體顯卡，因此後續改選 RTX 4060（8 GB）示範。這是配備模擬，不是該顯卡的效能實測。
想評估另一台電腦，也可以手動選配備或從 devices 裝置目錄 查找。只是這不會遠端偵測那台機器；仍須先取得它正確的型號與容量。
切到 Browse all，再依用途與容量找候選模型
首頁的 Best picks 會先列推薦候選；要使用完整篩選，先切換到 Browse all。本次操作流程如下：
- 在硬體選單確認目標裝置，並核對 VRAM、系統 RAM 和頻寬是否符合要評估的配備。
- 點
Browse all，把等級篩選設成Can run (S/A/B)，先縮小候選範圍。 - 依用途選
Coding、Text & Coding等項目；想先看記憶體需求較小的模型，可用Sort by VRAM (ASC)排序。 - 點進模型頁，查看
Quantization Options。同一個模型的不同量化版本，記憶體需求與估計狀態可能不同。 - 到模型的原始說明頁及預計使用的執行工具，確認支援格式、模型版本與授權，再決定要下載哪一份。
網站現在也列出影像與影片模型，但這篇示範聚焦文字模型。不要把文字生成的 tok/s 直接拿來當作圖片或影片的產生速度。
S 到 F 怎麼看？分數有估計速度，但沒有替你跑完整模型
官方方法頁 說明，分數會綜合估計速度、記憶體餘裕與模型參數數量等因素。因此它不是單純檢查檔案塞不塞得下，也不是在你的電腦上完成一次模型效能測試。
S／A：工具預估相對適合這組配備，可優先列入測試，不代表所有任務都流暢。B／C／D：要更留意記憶體餘裕、上下文設定與等待時間，先試較小版本通常較容易比較。F或未知結果：先核對硬體與模型設定，不能直接推論整台電腦完全無法使用本地 AI。
估計速度的單位是 tokens per second，不等於「每秒幾個中文字」。回答速度還會受模型版本、推論引擎、上下文、散熱與背景程式影響；模型是否能答好你的問題，也要另外測試。
這也是為什麼不適合把分數當作購買顯卡的唯一依據。先固定模型、量化與任務，再找對應的實測資料，才比較得出升級是否值得。
Q4、Q8 與 F16：用同一個模型比較，別只看參數量
量化 是以較低精度儲存模型權重，減少檔案與記憶體需求；不同量化方法對回答品質的影響，仍須依模型與任務判斷。GGUF 是模型檔案格式，不是單一壓縮等級；看到 GGUF，還要繼續確認 Q4_K_M、Q8_0 等版本。
以 2026 年 9 月 9 日查看的 Llama 3.1 8B 模型頁 為例，在手動選擇 RTX 4060 8 GB、系統 RAM 16 GB 的設定下，網站列出以下結果。表內數字是網站估計，並非下載模型後量測的用量。
| 量化版本 | 網站列出的 VRAM 需求 | 網站顯示狀態 | 選擇時要留意 |
|---|---|---|---|
| Q4_K_M | 4.6 GB | Decent | 比較適合先列為測試候選，仍要留空間給執行時需求 |
| Q6_K | 6.6 GB | Tight fit | 估計餘裕較少，加長對話前先看實際記憶體用量 |
| Q8_0 | 8.7 GB | Barely runs | 需求超過這張卡的 8 GB VRAM，應檢查是否用到 CPU／系統 RAM |
| F16 | 16.9 GB | Barely runs | 不適合把「有機會載入」當成互動體驗良好 |
同一個 8B 模型就能出現不同狀態，所以「8 GB 顯卡一定能跑所有 8B」並不成立。反過來，超過 VRAM 也不一定完全不能載入：部分執行工具能把工作分配到 CPU 與系統記憶體，但這和全 GPU 執行是不同情況。
MoE 模型也別只看「每次啟用幾 B」來估容量。啟用參數描述每個 token 使用的部分，下載及載入需求還要看完整模型與執行方式。
Mac、長對話與 CPU 分擔：記憶體不能只看一個數字
Apple Silicon 使用統一記憶體，CPU、GPU 和其他程式共用資源。16 GB Mac 不代表可以把全部 16 GB 都交給模型。CanIRun.ai 的方法頁採用可用比例做估算；它不是即時量測你當下還剩多少可用記憶體。
如果準備使用 LM Studio，可先核對官方系統需求。目前文件建議 16 GB 以上 RAM，8 GB Mac 則應選較小模型及適度的上下文；這是執行工具的建議，不能推成某個參數規模必定順暢。
上下文是模型可處理的 token 範圍。依 Ollama 文件，提高上下文長度會增加記憶體需求。因此短問答能跑，不代表貼入長文件或長時間使用程式碼代理也有同樣餘裕。模型頁寫著支援 128K context，也不代表你的電腦能以那個長度執行。
使用 Ollama 後，可用 ollama ps 查看已載入模型的 PROCESSOR 欄位。官方 FAQ 區分 100% GPU、100% CPU 與 CPU／GPU 混合分配，這比只看網頁的預估分數更能說明目前如何載入。
下載之後，用你的實際任務決定是否留下
先選一個候選模型，不必一次下載多個大型版本。記下模型名稱、量化版本與上下文設定，再用幾個具有代表性的問題測試：例如一段中文摘要、常用程式語言的修改任務，或你真正會處理的文件長度。
除了能否載入，也觀察開始回答要等多久、持續輸出是否可接受、記憶體是否吃緊，以及答案是否符合需求。若短問答正常、長文件失敗，先縮短上下文或改小模型；若硬體沒有按預期使用，再查執行工具的 GPU 支援與設定。
最後，把「本地模型」和「整套應用的資料流程」分開確認。CanIRun.ai 官方表示硬體偵測與評分在瀏覽器端進行，但這不等於你之後使用的聊天程式、外掛或工具都不會連網。要處理敏感資料，還需確認是否啟用了雲端模型、外部 API 或其他資料傳送功能。
CanIRun.ai 最有用的位置，就是在下載前幫你縮小範圍。配備、量化與用途核對好，再做一次可比較的本地測試，就能知道這個模型是否適合留在你的電腦裡。
