Cursor Computer Use 登場:代理改完程式後自己操作電腦驗收

Cursor 以 Computer Use 讓代理在電腦上點擊、輸入、截圖,官方示範影片讓代理改完 iOS App 收藏功能後,自己操作 iPhone 模擬器把流程點一遍。這項能力分三段出貨到雲端代理、自架機器與桌面 App,macOS 權限對象、Linux 套件條件與桌面分享邊界各不相同。

用 AI 摘要這篇文章:

Cursor 在 10 月 23 日深夜於官方 X 帳號連發兩則推文,宣布 Computer Use:代理可以點擊、輸入、截圖,操作電腦上有介面的應用程式,官方釋出的 21 秒示範影片裡,代理改完一款 iOS 登山 App 的收藏功能後,自己打開 iPhone 模擬器把整段流程點了一遍。這代表寫程式與打開 App 檢查終於接進同一個迴圈:以前代理改完碼,你要自己開模擬器看畫面對不對,現在這一步也能交給它。不過更新之後能不能用,取決於代理跑在哪一台機器、那台機器滿足哪些條件;官方文件把這段差異寫得相當清楚,試用前先對齊。

官推 21 秒影片:代理把收藏功能點給你看

兩則推文的分工很清楚。開頭那則負責宣言與畫面:

Cursor can now control your computer. Agents can drive desktop apps like the iOS Simulator to test the features they build.

這支 21 秒的影片要逐段看。開場兩句話打完底:「Cursor can now control your laptop」與「Use it to drive apps like the iOS simulator」。接著畫面切到 Cursor 的輸入框,提示詞開頭掛著 @Computer Use,後面接著要求為登山 App 加上收藏步驟的路徑功能,機器選單顯示 This Mac,模型欄位是 Grok 4.7。右側的 iOS 模擬器視窗標題列寫著 iPhone 17 Pro 與 iOS 26.1,畫面是一款叫 Trails 的登山 App,清單上有 Mori Point、Milagra Ridge、Montara Mountain 幾條路線卡片。

代理的動作在影片後半展開:清單往下捲,掠過 Milagra Ridge 等卡片後畫面進到 Montara Mountain 的路線頁,游標移到右上角的愛心圖示,點下去,愛心從空心變成粉紅色實心;編輯器的變更訊息列出 FavoritesView.swift;最後畫面切到 App 的 Favorites 頁,剛才收藏的路線已經列在上面。模擬器底部全程有一條橫幅寫著「Cursor is using Simulator」,等於系統持續提示:現在是代理在操作這個畫面。

接續那則把功能講得更白:

Computer Use lets agents click and type across any app on your computer, not just the browser. Cursor uses it on its own when a task needs it. You can also ask for it by @-mentioning Computer Use in your prompt.

「不只瀏覽器」是有對照對象的。Cursor 的代理本來就有瀏覽器工具,能導航網頁、截圖、讀畫面狀態,這次公布的能力把範圍推到任何視窗應用程式:模擬器、原生 App、任何滑鼠點得到的東西。觸發方式有兩種,任務需要時 Cursor 自己會用,你也可以在提示詞裡 @Computer Use 指名。推文結尾寫「Update Cursor to try it」,短連結解開是官方下載頁,也就是說這一版走的是桌面 App 更新,不是另外安裝什麼元件。

這能力分三段到位,10 月 23 日走向一般使用者

把時間軸拉長看,電腦操作在 Cursor 體系裡已經鋪了八個月。今年 2 月 24 日的官方部落格文章「Cursor agents can now control their own computers」先讓每個雲端代理一台附完整桌面的隔離虛擬機器,代理能在裡面啟動開發伺服器、打開瀏覽器、點過整條介面流程再推 PR;那篇文章也帶出了證據形式,代理會把截圖與錄影附在 PR 上,人類可以直接接手遠端桌面,接手的當下代理就停手讓出電腦,不會兩邊搶滑鼠。8 月 26 日的 CLI 更新紀錄出現「Computer use works on macOS workers」,自架機器的 Mac worker 加上 --computer-use 旗標就能讓代理操作已登入的桌面,初次啟動會安裝 Cursor Computer Use 輔助程式。10 月 9 日的 Agents Window 更新紀錄已經在修桌面版的權限視窗行為,例如權限未授予時「Enable Computer Use」視窗不再反覆彈出、安裝中斷後不再卡住;10 月 17 日的版本紀錄再補上一點,代理使用電腦操作時,工具呼叫會以帶型別的 computerUse 事件出現在執行紀錄裡,外部整合要看懂代理做過什麼有了明確的資料點。

Cursor 雲端代理 Capabilities 文件段落,寫明每個雲端代理跑在自有隔離 VM 並帶完整桌面環境,代理可用滑鼠鍵盤操作桌面與瀏覽器,像人類開發者一樣與自己建的軟體互動Pin
雲端代理這一段今年 2 月就寫好了:每個代理一台帶桌面的隔離 VM(圖片來源:cursor.com)

10 月 23 日的推文是這條線的收攏:本機代理也能操作你眼前的這台電腦,配上 iOS 模擬器這種開發者每天都在用的示範場景。有個現況順帶一提,產品 changelog 最新條目停在 10 月 16 日,還沒有 Computer Use 的專屬條目,目前這波資訊的主戰場是推文與文件頁。

Cursor CLI 更新紀錄 v2026.08.26 條目,寫明 Computer use works on macOS workers,Mac worker 以 agent worker --computer-use start 啟動後代理可點擊輸入截圖,初次啟動會安裝 Cursor Computer Use 輔助程式並需授予輔助使用與螢幕錄製權限Pin
CLI 更新紀錄早在 8 月就寫下這句:Computer use works on macOS workers(圖片來源:cursor.com)

更新之後就能用嗎:先看代理跑在哪台機器

官方文件對這個問題的答案很直白:能力跟著執行環境走。雲端代理的桌面是內建的,虛擬機器開起來就有;自架機器要手動加旗標,環境自己準備,這兩段都是文件寫明的行為;至於桌面 App,推文的說法是更新 Cursor 之後本機代理就能用。文件同時寫明一件事:這些功能都是明確的 opt-in,伺服器永遠不會替你打開。

Cursor 官方文件 Computer use and desktop sharing 開頭段落,定義 Computer use 讓自架機器 worker 上的代理點擊輸入截圖並操作有介面的應用程式,macOS 與 Linux 皆支援,桌面分享則限 Linux 代理桌面Pin
官方文件的定義段:能力跟著 worker 走,macOS 與 Linux 都支援,桌面分享只有 Linux(圖片來源:cursor.com)

自架機器的啟動指令長這樣:

agent worker --computer-use start

個人機器與團隊機器池都適用,池裡的 worker 把旗標放在 start 之前即可,例如 agent worker --pool gpu --computer-use start。文件對機器池另有務實建議:把需要的桌面套件直接烘焙進 worker 映像檔,機器開起來就是備妥的狀態,省得每台補裝。旗標下了之後,macOS 與 Linux 走的完全是兩條路,這也是文件篇幅最主要的部分,下面分開看。

macOS 的條件:權限要授對程式

Mac 上的電腦操作靠一支叫 Cursor Computer Use 的輔助程式,由 CLI 負責安裝與更新,初次以旗標啟動 worker 時會從 downloads.cursor.com 下載,放進使用者目錄下的 ~/.cursor/cursor-computer-use/。它的 bundle identifier 是 co.anysphere.cursor-computer-use,簽章團隊編號 DCNK4UB866。文件特別點名它與處理桌面分享的 Cursor Agent Helper(co.anysphere.cursor.agent-helper)是兩支不同的程式,權限不能互通。

授權的部分有兩項:輔助使用負責移動滑鼠與鍵盤輸入,螢幕錄製負責截圖。兩項都要授給 Cursor Computer Use 本體,授給終端機、Shell 或 Cursor App 都沒有用,macOS 的權限是綁在程式身分上的。文件也提醒:worker 不會幫你檢查、也不會替你發出權限請求,在授予之前,代理的點擊與截圖都會失敗。換句話說,環境沒弄好時代理看起來像當機,其實是權限沒到位。

另外兩個細節要記住。macOS 15 Sequoia 之後,系統會定期要求使用者重新確認螢幕錄製授權,長時間運轉的 worker 若截圖突然失效,先回圖形工作階段找「Allow For One Month」的提示。而 worker 需要的是已登入的圖形工作階段,無人值守重開機的機器要設自動登入並保持螢幕喚醒;虛擬顯示器與 –display 參數則是 Linux 限定的選項。

管理機隊的團隊還有一套文件背書的做法:在一台範本 Mac 上把權限授好,再做映像檔派給整批機器;有 MDM 的環境可以為輔助程式建 Privacy Preferences Policy Control 設定檔。Apple 對兩項權限的管制不同,輔助使用在多數版本可由設定檔靜態允許(Apple 預告從 macOS 26.2 起不再支援靜態允許),螢幕錄製則無法只靠設定檔打開,至少要在範本機上人工點一次再快照。文件同時提醒兩件不要做的事:不要繞過系統提示去改隱私資料庫或關閉系統完整性保護,也不要自行複製或重簽輔助程式,簽章身分一變,macOS 就把它當成新程式,既有授權全部失效。

環境好不好,官方給了一個統一的檢查點:agent worker debug。在 Mac 上這份報告只確認輔助程式裝好了沒,不會檢查兩項權限的狀態,所以報告過關之後,仍然要派一個「打開瀏覽器、逛一頁、截一張圖」的小任務實測,截圖有回到對話裡才算環境打通。Linux 上的報告檢查每個必要執行檔、指定的顯示是否連得到,以及能否回落到自建桌面。把檢查放在派任務之前,出問題時才分得清楚是環境未就緒,還是應用本身的缺陷。

Linux 的條件:套件自己裝,桌面分享只有 Linux 有

Linux 的電腦操作走 X11 顯示,worker 可以重用既有的桌面,也可以在無桌面機器上自建一個受管桌面。套件要自己裝,文件明寫 Cursor 不會代裝系統套件:xdotool、ffmpeg 與 X11 工具是必裝項,worker 要自建桌面時再加上 TigerVNC 與 Xfce。想讓代理連瀏覽器一起操作,機器上要有 Chrome 或 Chromium。顯示的解析順序是先看 –display 指定值(不可達就直接啟動失敗、不回落),接著繼承環境變數 DISPLAY,兩者都沒有才自建受管桌面,這是無頭機器的預設行為。

桌面分享是另一個功能,而且只有 Linux 有。--share-desktop 讓獲授權的人從 Cursor 觀看或接手代理桌面,模式有 view(只能看)與 view_and_control(可接手鍵鼠,預設)。資安角度要注意的三件事寫在文件裡:分享的是 worker 自建的隔離代理桌面,機器本身的登入工作階段不會被分享;機器上有 fail-closed 的輸入過濾強化控制權;剪貼簿傳送維持封鎖。網路邊界也有一句明確的話,畫面只透過 worker 既有的對外連線送出去,不打開任何對內連接埠。

把兩種自架環境並排看會更清楚:

項目macOS 自架 workerLinux 自架 worker
電腦操作輔助程式驅動已登入桌面X11 顯示,重用或自建桌面
事前準備輔助程式(CLI 代裝)與兩項系統權限xdotool、ffmpeg 等套件自行安裝
無頭機器不適用,需要圖形工作階段自建 TigerVNC 與 Xfce 受管桌面
桌面分享文件標示 Linux 專用view 與 view_and_control 兩種模式

企業與團隊的兩個治理點

團隊環境有兩層控制。Enterprise 團隊的管理者可以在團隊設定的 MCP Configuration 區塊找到 Computer Use 開關,這個開關預設是開的,關閉之後即使 worker 帶著旗標啟動,代理也不會拿到電腦操作能力;若團隊把所有 MCP 伺服器一併停用,結果相同。另一層是模型限制:10 月中的更新紀錄提到,若管理者停用了電腦操作相依的模型,雲端代理會明確回報電腦操作無法使用、被擋的是哪個模型、那個模型拿來做什麼,以及管理員可以在團隊模型設定裡重新打開。這則訊息本身也透露了一件事:電腦操作在架構上相依特定模型,團隊治理模型清單時,等於同時在治理這項能力。對導入中的團隊來說,這兩個開關的位置值得先記下來,省得日後除錯時分不清是功能問題還是政策問題。

還沒有答案的部分

三件事官方還沒有交代。桌面 App 版的 Computer Use 沒有獨立的文件頁,文件站的電腦操作專頁目前只寫自架機器的行為,桌面版的產品行為要等官方補頁。哪些訂閱方案可用、Windows 支援與否,文件都沒有載明,判斷上先不要預設全方案可用。最後是老問題:模擬器驗收不等於真機發布,觸控、效能與相機定位等硬體行為仍要在實機確認,這點官方示範也沒有主張涵蓋。

想追後續的話,產品 changelog 與雲端代理的 Capabilities 頁是最可能補上細節的兩個位置,一週內回頭看一次這兩個位置應該足夠。

試用前先確認你站在哪一段

這次更新真正值得記住的判斷順序:先問代理跑在哪(雲端虛擬機器、自架 worker、或你的這台 Mac),再問那台機器的條件備齊了沒(Mac 的兩項權限、Linux 的套件與顯示),最後才問要用什麼任務試。起手任務挑一個已知、容易重現的畫面問題最划算:讓代理先截圖記錄原貌,改完再走同一條路徑截一張,前後兩張對照,就是這項能力留給你最基本的證據。同場加映的對照讀物:Cursor Projects 的常駐協調代理把工作單位換成專案層級,Grok Bot 的雲端電腦指南示範了代理配一台電腦的內部 SOP,Claude Projects 的大重構則是同一週期各家把代理工作階段產品化的另一個樣本。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 2081

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...