Vibe Draw 開源草圖轉 3D 工具實測,畫出一個能走進去的世界

Vibe Draw 用四個雲端模型接力把 2D 草圖變 3D 世界,但預設的 Make 3D 產出的是 Claude 寫的 Three.js 程式碼而非模型檔;2026 年照 README 安裝,前端還會卡在伺服器端渲染錯誤。實測結果與自架成本一次攤開。

用 AI 摘要這篇文章:

先講結論:Vibe Draw 是一個值得花一小時讀原始碼、不急著花一下午自架的工具。2026 年 9 月把它的原始碼抓到本機安裝,套件裝得起來,但前端在建置與開發模式雙雙報錯,首頁連畫面都出不來;而這個在 GitHub 拿到超過兩千顆星的專案,主要開發在 2025 年 3 月的四天內結束,至今沒有發過任何一個正式版本。

更關鍵的落差藏在「AI 生成 3D」這句話裡。按下 Make 3D 之後,真正發生的事是 Claude 3.7 讀你的草圖、當場寫一段 Three.js 程式碼,在瀏覽器裡把草圖畫成一個可旋轉欣賞的 3D 場景。這一步做不出帶頂點、帶面、能丟進 Blender 繼續編輯的 3D 模型檔,能做這件事的模型被安排在另一條要另外辦金鑰的路線上。這兩個事實決定了你該怎麼看待這個工具。

一張草圖到一個世界,它承諾的兌現方式

Vibe Draw 在 GitHub 上的自我定位是「Cursor for 3D Modeling」,口號是把最潦草的塗鴉變成 3D 世界。操作動線畫在官方展示圖裡很清楚:在 2D 畫布自由塗畫,畫布底層用的是開源畫布 TLDraw,跟 Excalidraw 這類手繪風白板屬於同一家族;想讓線條體面一點,按 Improve Drawing 讓 AI 先把草圖美化成一張低多邊形風格的模型圖;接著按 Make 3D,畫布上出現一個能拖曳旋轉的 3D 物件;再切到 3D World 分頁,把物件擺進一片無限延伸的平原,用第一人稱視角走動參觀自己畫出來的世界。

世界分頁本身就是一個小型 3D 場景編輯器。地板預設是一片無限延伸的網格,也能切換成海面,物件放進去後可以搬移、縮放、旋轉,畫面角落有一組移動與轉視角的操縱桿,桌機與平板都操作得動。官方展示圖裡那座浮在水面上的島嶼,島上一棟小屋加一顆放大版的鳳梨,就是從一張鉛筆塗鴉長出來的成果,第一眼確實有說服力。

Vibe Draw 官方展示的操作介面,頂部有 2D Canvas 與 3D World 分頁切換,以及 Make 3D、Improve Drawing 與 Auto 3D 按鈕,畫布上以手繪流程圖說明從草圖到 3D 的步驟Pin
Vibe Draw 官方介面展示:畫布工具列搭配 Make 3D、Improve Drawing、Auto 3D 三個生成按鈕,2D Canvas 與 3D World 用分頁切換

細節功能也做了幾個:Auto 3D 模式開啟後,畫完停三秒就自動生成,連按鈕都省了;對生成結果不滿意,可以再畫幾筆或打一段文字描述,後端會拿現有的 3D 程式碼加上你的新指示重寫一版,這是它把「3D 當成程式碼」玩得最徹底的地方,因為是程式碼,所以能像改程式一樣疊代;世界分頁左下角有 Export Scene 按鈕,一鍵把場景匯出成 glTF 檔,接回既有的 3D 工作流。這條動線每一段都是真的。

Vibe Draw 官方展示的 3D World 分頁畫面,一座從水面升起的島嶼場景,左下角有 Export Scene 與 Test GLTF Import 按鈕,畫面兩側有移動與視角操縱桿Pin
官方 3D World 展示:從草圖生成的島嶼場景,左下角 Export Scene 一鍵匯出 glTF,兩側操縱桿供第一人稱走動參觀

也有衝刺週末沒收乾淨的痕跡:後端路由的註解宣稱支援六種任務型別,實際實作的只有三種,魔術生成與物件擷取兩個選項是留空的佔位:物件擷取照著打回 400 錯誤,魔術生成更妙,回你一個任務編號,然後任務永遠不會開始跑。README 沒提這件事,但對讀原始碼的人來說,這些空殼比完成的功能更能說明專案的完成度停在哪裡。

問題不在承諾,在兌現的方式與代價。

按下 Make 3D 之後,其實是 Claude 在寫程式

原始碼裡的 claude_tasks.py 把這件事寫得非常明白。後端給 Claude 3.7 Sonnet 的系統提示,開頭把角色設定成一位專精把 2D 草稿與線框圖變成 3D 的 Three.js 開發者,要求回應裡只能放 JavaScript 程式碼:建好場景、打光、加上緩慢旋轉的動畫,做成一個互動網頁。提示詞甚至給了它一個人格,形容這位開發者年薪 120 萬美元、剛喝完三杯咖啡、專注力全開。前端拿到程式碼後放進畫布上的 iframe 執行,你看到的那個 3D 物件,就是這段即席程式碼畫出來的。

換句話說,預設路線的「3D 模型」是一段程式碼渲染出來的畫面,不是建模軟體裡那種有頂點結構、有網格、能匯入其他軟體修改的模型資料。它即時、好看,但形狀忠實度取決於 Claude 對一張 PNG 圖的理解,而且每次生成都是一段全新的、不可複用的程式碼。想把成果帶走,要走 3D World 那條路:把物件加進世界後按匯出,前端用 Three.js 的匯出器把場景存成 scene.gltf 檔。能帶走,但帶走的是瀏覽器場景的組合,跟商業服務直接吐 .glb 網格模型的體感不同。

這個設計在 2025 年 3 月其實相當聰明。真正的 3D 生成模型又貴又慢,而寫 Three.js 程式碼是當時 Claude 的強項,幾秒鐘就能給回饋,先把「草圖動起來」的體驗做出來。代價是把「生成 3D」這四個字的意義偷偷換掉了,讀者如果不讀原始碼,很容易以為自己得到的是模型檔。

真正的 3D 模型在另一條路上,代價是多辦一把金鑰

vibe3DCode.tsx 裡藏著第二條路。打開思考模式(thinking mode)再按生成,前端改呼叫 PiAPI 市集代管的 TRELLIS 模型(Qubico/trellis),這才是真正做圖片轉 3D 網格的擴散模型,在雲端跑完後回傳一個 glTF 網址,畫布載入的就是貨真價實的網格模型。取樣參數直接寫死在程式碼裡:隨機種子 0、兩階段取樣各 50 步。

所以完整的生成鏈是一場四個雲端模型的接力:Gemini 2.0 Flash 的實驗版影像生成負責美化草圖,預設指令是把草圖轉成低多邊形 3D 模型圖、只保留主體;Claude 3.7 負責寫場景程式碼;當你把物件搬進 3D 世界時,Cerebras 平台上的 Llama 3.3 70B 再上場,提示詞要求它把完整場景碼剝乾淨,刪掉攝影機、燈光、控制器,只回傳主物件本體;要真網格,再走 TRELLIS。一張草圖會視路線分頭出門:美化走 Google、建模走 Anthropic 或 PiAPI、搬進世界再走一次 Cerebras。

本地這端反而輕得驚人。docker compose 起三個容器:FastAPI 後端、跑任務佇列的 worker、Redis,不需要 GPU、也不用裝 Blender,3D 渲染全部發生在使用者的瀏覽器裡。生成過程靠 Redis 的發布訂閱搭配 SSE 串流把進度即時推回前端,等待的時候看得到任務在動,體驗做得有模有樣。幾個容器與後端服務的名字還留著開發初期的範本殘跡,對讀程式的人是線索,對使用沒有影響。這種「畫布在本機、腦子在雲端」的分工,跟 Next AI Draw.io 的設計是同一個路數,差別在 Vibe Draw 的雲端掛了四家。

四把金鑰與三個容器:自架前要先算的帳

backend 目錄的 .env.example 列了四把金鑰:Anthropic、Google、Cerebras、PiAPI(TRELLIS 代管)。README 的快速開始第一條就是叫你去申請這四家的 key。「免費開源」四個字在這裡的實際意思是:軟體本身不要錢,但每一次生成都在消耗四家雲端服務的額度,其中幾家要真的掏錢買。issue 板上就有使用者反映,四把金鑰裡 Cerebras 一家負擔不起,社群裡有人自己 fork 一份把它改成選配,原作者沒有出現。

隱私是同一個邏輯。你的草圖會被轉成 PNG、連同畫布上偵測到的文字一起送出門,送到哪一家取決於你按了哪個按鈕;除此之外,美化這一步的後端程式還會把生成結果存一份到伺服器上一個叫 debug_images 的資料夾,是開發期留下的除錯用途,等於草圖的衍生圖會在後端硬碟慢慢累積,自架用久了要記得清理。後端還有一個自架前該知道的細節:main.py 的 CORS 設定全開,允許任何來源、允許帶憑證,註解留了一句上線前記得再調整的提醒(Adjust in production)。放在自己電腦上連 localhost 用沒問題,直接把這組容器曝上公網,等於把後端大門敞開給任何網頁呼叫。

2026 年的今天,它還裝得起來嗎

把原始碼抓下來實際裝過一輪(Node 26 環境)。npm install 順利裝完 515 個套件,連釘在 2025 年 3 月 canary 版的 TLDraw 都還抓得到;但 npm run build 在靜態生成首頁時直接失敗,錯誤訊息是 window is not defined,出錯位置就在首頁動態載入 TLDraw 那一行;改用開發模式結果相同,伺服器起來了,首頁回 HTTP 500。日誌裡還伴隨幾個 3D 套件互相找不到匯出的警告。

這不代表它永遠裝不起來。看錯誤的樣子,是首頁在伺服器端預渲染時碰到了只在瀏覽器存在的物件,熟悉 Next.js 的人有機會把這段改成純客戶端渲染繞過去。但重點是現況:一個 2026 年才聽說這個工具、照著 README 從頭裝的人,第一個碰到的不是 AI 生成,而是一段要自己動手修的前端。前端依賴釘死在十八個月前的 canary 版本上,隨時間只會更難對齊,這是「開源」兩個字沒有告訴你的部分。

四天寫完、一年半沒動的專案現況

git 歷史把這個專案的性格說得很直白。72 個 commit 全部落在 2025 年 3 月 22 日到 25 日之間,四位貢獻者、四天衝刺,main 分支停在 3 月 25 日的一句「docs: add video」,之後再也沒有前進。到今天沒有任何 release、沒有 tag。倉庫對外顯示的最後一次推送是 2025 年 7 月,點進去看是一條名為 cursor/generate-documentation 的分支,內容是替專案補一份 API 文件,從分支命名看得出是 Cursor 的 AI 代理生成,與功能開發無關。幾個附帶的痕跡也對得上這段歷史:merge commit 裡還看得到專案的前身名字 top-secret-sauce,.gitignore 排除了 CLAUDE.md 這個 AI 助手的設定檔,開發過程顯然是跟 AI 一起衝出來的;README 頂部附的那支官方示範影片,是 3 月 25 日最後一個 commit 補上的。

issue 板上是同樣的氣氛。六個開放 issue 從 2025 年 3 月一路躺到 10 月,最新一則是使用者想請作者分享提示詞的設計思路,至今零回應;社群送的兩個 PR,一個想補圖片上傳與 3D 轉換,一個想補產品規劃文件,都被關閉沒有合併。超過兩千顆星是對想法的投票,與維護承諾是兩回事。

會直接改變決定的三個邊界

生成品質是第一個未知數,尤其中文草圖與中文提示詞跑出來的結果,要自己小額測一輪才算數,而每一步測試都在燒四家金鑰的額度。介面本身只有英文,沒有多語設定。

授權是 AGPL-3.0。自己裝來用沒有任何問題,但把它修改後掛成對外網路服務,就有義務向使用者提供你修改後的原始碼,商業整合前這一條要讀過。

入口是純自架。前端把後端位址寫死在 localhost:8000,倉庫也沒有提供線上 demo,所有使用都從 clone 與 docker compose 開始,沒有「先試玩再決定」的選項。

值得讀,不急著裝

如果你在研究 AI 應用架構或提示詞工程,把這個倉庫當參考資料來翻會很划算。它是 2025 年 3 月一份完整的「多模型接力」時代切片:哪一步交給哪家模型、每段提示詞怎麼寫、什麼功能做了什麼功能只留了空殼,全部攤在原始碼裡,比多數談 agent 的文章誠實。想延伸比較,可以再翻 Drawnix 與 Excalidraw 這類畫布工具怎麼切分本機與雲端的界線。

如果你今天就要把草圖變成能用的 3D 模型,別從這裡開始。直接用 TRELLIS 的線上服務,或 Tripo 這類圖生 3D 服務(Tripo 的 3D 提示詞庫先翻一輪會很有感覺),花的是小額點數,省掉四把金鑰、三個容器與一個目前跑不起來的前端。判斷標準很簡單:你要的是讀一個想法,還是要一個模型檔。前者打開倉庫慢慢看,後者打開線上服務直接用。

Sliven 褚崇名
Sliven 褚崇名

每日分享科技新知、免費資源以及 WordPress、虛擬主機相關主題,任何問題歡迎在科技月球下方留言,或是發送 Email 至 [email protected] 與我聯繫。

文章: 1405

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


Share to...