TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
Hugging Face TRELLIS.2 微調指南上線，只修幾何不動材質
Hugging Face 於 2026 年 11 月 12 日發布 TRELLIS.2 官方微調指南：LoRA 只插進控制幾何的兩個階段、材質流整個凍結，合計約 930 萬參數，188 雙掃描鞋的 9 件保留樣本 F-score 從 0.276 升到 0.803。兩趟訓練在單張 A100 上合計約 10.8 小時，24GB 消費級顯卡有官方參數；真正的門檻是手上要有帶真實幾何的網格，訓好的鞋類轉接器則未標授權。
用 AI 摘要這篇文章：
Hugging Face 在 2026 年 11 月 12 日於官方部落格發布 3D 生成模型的微調指南，主角是 Microsoft 的開源模型 TRELLIS.2。這次釋出的東西很具體：兩個 Docker 容器、兩支從頭到尾看得完的單檔腳本，外加一份用 188 雙掃描鞋跑完的示範實驗。文章由 Suvaditya Mukherjee、Merve 與 Pedro Cuenca 署名，程式碼放在GitHub，訓好的轉接器與資料集放在 Hugging Face Hub，全部拿得到。
先講結論。這份指南最值得帶走的，是一個可以遷移的判斷：微調 3D 生成模型時，「決定什麼不動」跟「決定動什麼」一樣重要。官方只把 LoRA 轉接器插進控制幾何的兩個階段，管材質的階段整個凍結，合計只訓練約 930 萬個參數，就在 9 件保留測試鞋上把 F-score 從 0.276 拉到 0.803。硬體門檻經官方釋出的參數調整後，24GB 的消費級顯卡也跑得動；真正卡住大多數人的，是手上得有帶真實幾何的網格檔，而不是圖片。
如果你已經在用 TRELLIS.2 生成 3D 素材、只是某些類別的幾何總是生成不對，這次釋出直接相關。如果只是想讓 AI 幫忙把照片變 3D 模型，先看文末的分流建議再決定要不要深入研究。
只微調控制形狀的兩個階段，材質整個凍結
TRELLIS.2 的生成流程可以粗分成五段：把輸入影像去背、用 DINOv3-L 把影像編成特徵、預測物體的粗結構、生成細部幾何、生成材質，最後合成一個帶貼圖的 GLB 模型檔。它的前身是 2024 年 12 月發表的開源模型 TRELLIS，TechMoon 先前介紹過它一張照片生成可商用 3D 素材的用法；TRELLIS.2 的論文發表於 2025 年 12 月，核心改動是把內部表示換成 O-Voxel 稀疏體素（只保留物體表面的體素，每個體素帶幾何與材質屬性），能處理的拓撲結構比前代更廣。
拆細一點看，被微調的兩段各做一件事。粗結構階段的模型先產生一個很小的潛向量，解碼成 64×64×64 的佔用網格，每個格子記錄那個位置屬不屬於物體，等於先把物體的輪廓畫出來；幾何階段的模型讀這個網格與影像特徵，輸出 512×512×512 解析度的 O-Voxel 幾何，把輪廓長成有細節的表面。至於材質階段，它的工作是給每個表面體素算出底色、金屬度、粗糙度與透明度。
指南做的選擇是：LoRA（低秩轉接器，一種只訓練插入的小矩陣、原始權重全程凍結的微調方法）只加在粗結構與幾何這兩個模型上；管材質的第三個模型一個參數都不動。官方在指南裡把這件事提升到方法論層級：選擇凍結什麼，跟選擇微調什麼一樣重要。
這個範圍不是憑感覺挑的，兩份訓練設定檔寫得很明白：粗結構階段用 rank 8 的轉接器，包住注意力層與前饋層；幾何階段的前饋層是特製的稀疏線性層，PEFT 包不起來，所以只包注意力層、rank 提高到 16。另外 TRELLIS.2 的前向傳播是自訂實作，標準的 PeftModel 包裝器用不了，兩個階段都改用 inject_adapter_in_model 直接注入轉接器。兩邊的學習率都是 1e-4、訓練 3,000 步、每 500 步存一次檢查點，全部用與預訓練相同的流匹配（rectified flow）目標函數，訓練用的可訓練權重以 fp32 保存、前向傳播用 bf16 混合精度省記憶體。
材質階段凍結的理由更值得記下來。Google Scanned Objects 這套掃描資料只有把光影直接烘焙進去的擴散顏色貼圖，沒有訓練材質階段需要的獨立材質貼圖。硬拿這種資料去訓，模型會把光影當成表面性質學進去，還會把原本會的東西忘掉一部分，指南原文稱為災難性遺忘（catastrophic forgetting）。而這次實驗的問題出在鞋底形狀，基礎模型的顏色與花紋本來就生成得不差，凍結它沒有實質損失。
換句話說，抄這份指南之前先問自己兩個問題：你的問題出在哪個階段？你的資料養得起哪個階段？答案對了，轉接器要插哪裡自然就定了。
188 雙鞋、179 件訓練 9 件保留：官方數字長什麼樣
微調前的問題很有畫面：官方的初步測試裡，預訓練模型生成的鞋子看起來都對，鞋底卻常常是錯的。整雙鞋的輪廓在，貼地那一面就是不合掃描件。整個實驗就是針對這個毛病設計的。
資料來源是 Google Scanned Objects（Google 掃描實體商品的公開資料集，以 CC-BY-4.0 授權），指南寫的總數是 1,030 件，從裡面挑出 188 件鞋類，179 件拿去訓練、9 件保留當測試。每件鞋子用 Blender 渲染 16 個角度，訓練時隨機抽一個角度當條件影像，另有 10% 的樣本會隨機丟掉影像條件，這是指南無分類引導（classifier-free guidance）用的標準訓練技巧。保留的 9 件用來回答一個關鍵問題：轉接器在沒見過的物件上還有沒有效。
成效用三個指標量，全部是官方自己量自己，樣本只有 9 件：
| 指標 | 微調前 | 微調後 | 方向 |
|---|---|---|---|
| F-score @ 0.02（匹配門檻為掃描件包圍盒對角線的 2%） | 0.276 | 0.803 | 越高越好 |
| Chamfer 距離（兩表面互量的平均距離） | 0.174 | 0.033 | 越低越好 |
| 法向一致性（表面朝向的吻合度） | 0.530 | 0.804 | 越高越好 |
F-score 白話講就是兩面鏡子互照：生成出來的表面有多少貼近參考表面（精確率），參考表面又有多少被生成結果蓋住（召回率），兩者取調和平均。0.276 到 0.803 的變化，等於把「看起來像但對不上」修到「貼得上掃描件」。兩個轉接器都裝時，9 件保留鞋的 F-score 全數改善，官方圖表一雙一雙畫出來，不需要統計檢定就看得出方向。
這組數字要怎麼讀？它是「同一個模型、同一批資料、只差轉接器」的對照實驗，證明這個方法在鞋類上有效。但 9 件是很小的樣本，量的是與掃描件的貼合度，不等於生成品質的全面提升，更不能直接推論到家具、機械零件或角色模型等其他類別。部落格自己在結果段也提醒，訓練損失曲線與生成品質是兩回事，最終還是要看保留集的輸出。
整個實驗的定位是方法示範，不是產品更新：官方要證明的是「這套腳本加上這個凍結判斷，能對準特定物件類別」，而不是宣布 TRELLIS.2 的能力升級。所有訓練跑過的損失、梯度與學習率曲線，官方也公開在 Trackio 儀表板上，想看訓練細節的人可以直接檢視，不必自己重跑一遍。
想自己跑一輪：網格、DINOv3 授權、24GB 顯卡
指南提供兩條執行路徑：在 Hugging Face Jobs 下一行指令就開跑，什麼都不用安裝；或用本機 Docker，要有 NVIDIA 顯卡與 NVIDIA container 工具鏈。輸入與輸出都落在你自己的 Hugging Face repo，容器裡不放任何權重，TRELLIS.2-4B 在第一次執行時才下載到快取；DINOv3 因為授權限制不能放進映像檔，得靠 token 現場下載。
跑之前有三個前置條件，README 列得很直白：
- 輸入必須是網格，不是圖片。 訓練需要真實幾何當標準答案，Blender 讀得進的格式都可以（.glb、.obj、.fbx、.ply、.stl、.usd 等），任何資料夾結構都行，一個網格檔就是一件物件。多零件的場景要先合併成一檔。
- 訓練用的帳號要先取得 DINOv3 存取權。 DINOv3 是 Meta 的 gated 模型，要在模型頁申請核准，訓練指令帶著該帳號的 HF token 才能下載。前處理階段用不到它。
- 顯卡 24GB 起跳。 官方實驗用單張 A100 80GB：前處理約 1 小時、粗結構訓練 7.2 小時、幾何訓練 3.6 小時。24GB 等級的卡（L4、A10、RTX 3090、4090）把批次參數改成 batch_size=2、grad_accum=8 就能跑，有效批次大小不變，官方在 L4 上做過煙霧測試。
前處理容器做的事比名稱多：索引網格、用 Blender 傾印網格、建 512 與 1024 兩種解析度的體素與形狀潛向量、渲染條件影像、切保留集、輸出可攜的 GLB，共八個階段，每做完一個階段就上傳一次，逾時重跑會跳過已完成的物件。產出會整理成固定結構的資料集 repo：潛向量、渲染影像加相機姿態、物件索引與保留清單各自成資料夾，物件以網格檔內容的 SHA-256 為鍵值，重跑幾次都不會錯置。速度的參考值：12 件物件在 L4 上約 16 分鐘，其中約三分之一花在渲染。保留集預設抽 5%、隨機種子固定，文件也提醒平行 Blender 行程開超過 8 個會讓 Blender 啟動就崩潰。
兩趟訓練互不相依，可以同時開兩個 job 平行跑；指令逾時重跑會從 Hub 上最新的檢查點續訓。每個檢查點是一個約 37MB 的 safetensors 檔案，只是轉接器本身，不是整份模型的複製品。訓練過程的損失、梯度與學習率會即時送上 Trackio 儀表板，指定的 Space 預設是公開的，不想公開要記得加參數。
官方沒有這樣宣稱，以下屬推論：對多數只產圖片、沒有乾淨網格集的創作者來說，這套管線現在用不上，門檻從「要租研究級顯卡」降到了「要準備帶真實幾何的資料」，卡住人的是資料形態那一關。反過來說，手上已經有商品掃描檔或建模資產的團隊，這套腳本給了一條有官方文件背書的路徑，把通用模型對準自己的物件類別。這條路的相鄰應用還包括把 3D 製作整段交給 AI 自動化的Blender MCP 工作流，兩者解的問題不同，可以互補。
下載現成轉接器之前，先看授權標示
這次釋出的各部分授權狀態並不一致，要直接取用的人得分開看：
- TRELLIS.2-4B 模型本體：Microsoft 釋出，MIT 授權，商用沒有額外限制，Hugging Face 上的下載量已超過 254 萬次。
- 微調程式碼：GitHub 上的 trellis2-finetuning 儲存庫，MIT 授權。
- 前處理過的鞋類潛向量資料集：gso-footwear-trellis2-latents，CC-BY-4.0 授權，附 16 個渲染角度，可以跳過前處理直接拿來練手。
- 訓好的鞋類轉接器：suvadityamuk/trellis-2-finetune-gso，repo 上沒有標任何授權。這個儲存庫建立於 2026 年 8 月，比部落格文章早了近三個月。公開不等於授權，要把它接進商業專案，得先等作者補上授權條款，或用官方腳本重訓一份自己持有的。
另外兩個小地方值得知道：訓練只有幾何會變，貼圖仍來自基礎模型，想連材質一起客製的人這版做不到；保留集的切分規則是照 Google 掃描資料的配色命名寫的（像 _in_Tan、_Color_ 這種後綴會被歸成同一雙的不同配色），換成自己的檔名就退化成隨機切分，同款變體要先去重或照規則命名。
現在要不要動，按手上資料分流
- 有網格資料、想試：官方已經把前處理好的鞋類資料集公開，可以跳過前處理，先用 max_steps=5 做一次煙霧測試確認環境通了，再換上自己的網格重跑前處理。
- 只有圖片：這套管線幫不了你，因為訓練的標準答案就是網格本身。先盤點手上有沒有能轉成網格的素材；若需求是單張照片生成 3D 物件，Idol 這類單圖轉 3D 的模型更貼近。
- 想直接用現成鞋類轉接器：注意上一節的授權缺口，最穩的做法是用官方容器重訓一份。
有幾件事指南沒有給答案：Hugging Face Jobs 的實際費用以官方計價頁為準；非鞋類物件的改善幅度沒有實驗；官方在結尾點名想把同樣的凍結判斷搬到 Pixal3D、UniLat3D 與 HunyuanWorld 等模型上驗證，也還沒有時間表。容器版本、Jobs 的硬體選項與設定檔內容都會漂移，指令細節以官方頁面現況為準；若微調流程被收進 Microsoft 的 TRELLIS.2 主儲存庫、或指南推出修訂版，上文提到的指令細節就需要回查。相對地，「只動幾何、凍結材質」這個判斷與那組對照數字的有效期限，比指令長得多。
