TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南
TechMoon 科技月球
WordPress、SEO 與 AI 工具實測指南

ConsistentID 是獲 TPAMI 接受的開源人像生成方法:一張參考照片加文字提示,生成保留臉部特徵的客製肖像,不必訓練 LoRA。程式碼 MIT、資料集 Apache-2.0 全開;但兩個官方 Demo 已暫停數月、依賴凍在 2023 年末,也沒有 ComfyUI 生態,適合當研究資產收藏而非開箱即用工具。
用 AI 摘要這篇文章:
ConsistentID 是一個獲 IEEE TPAMI 期刊錄用的開源人像生成方法:給它一張參考照片和一段文字提示,它會生成「還是那張臉」的客製化肖像,可以換場景、換服裝、換年紀,不必先訓練任何 LoRA。程式碼採 MIT 授權、臉部訓練資料集採 Apache-2.0 釋出,連訓練腳本都附上了,開放的誠意是真的。它今天的問題在另一頭:兩個官方網頁 Demo 都處於暫停狀態(2026 年 11 月連線都收到「The space is paused, ask a maintainer to restart it」),依賴清單凍在 2023 年末,周邊也沒有長出 ComfyUI 節點生態。想研究「單張照片身分保持生成」這個題目的人,它是一份可以直接下載的完整研究資產;想立刻打開網頁出圖的人,現在拿不到那種體驗。
先把它跟兩個常見的鄰居劃開。跟 Facefusion 這類換臉工具相比,ConsistentID 不做「把 A 的臉貼到 B 的照片上」這件事,而是從零生成一張新照片,臉部特徵向參考照片看齊;跟「幫某個人訓練專屬 LoRA」的做法相比,它主張單張照片就夠,不必收集幾十張照片再訓練幾個小時。作者的說法是客製過程只要幾秒鐘,這句出自官方 README。
輸入端很簡單:一張參考照片、一段文字提示(官方範例是「一個男人,在森林裡探險」),加上一個觸發詞告訴模型「臉部資訊在這裡」。官方推論腳本內建的示範照片是一張愛因斯坦的肖像,跑起來會輸出一張「在森林裡探險的愛因斯坦」,第一次自架成功時用它驗證管線通不通最方便。輸出解析度由底模決定,官方推論腳本 infer.py 走 SD 1.5 社群底模 Realistic Vision V6、輸出 512×768,取樣 50 步;腳本裡還有一個值得認識的參數 start_merge_step,設成 30 表示臉部身分資訊從第 30 步開始融入生成過程,這是它在「像不像本人」與「聽不聽文字話」之間的主要調節桿。SDXL 版另外釋出,權重 3.48GB,解析度與細膩度都更高。
倉庫裡附的範例比一般研究專案齊:除了基本推論,還有局部重繪(inpaint)與 ControlNet 兩種範例腳本,等於把「生成、修圖、姿勢控制」三條用法各示範了一次。能不能只改髮型、能不能換頭部姿勢?這兩個是 GitHub 討論區裡真實有人問的問題(issue #52、#44),截至 2026 年 11 月都還開著,官方各留了一則方向性回覆:#52 明言目前的臉部特徵沒有把頭髮納入,想控制髮型可以自己把頭髮的分割區域加進訓練。從設計看,臉部特徵保持是它的主軸,頭髮沒有進入身分保存的範圍,髮型這類「非臉部區域」的可控性要看文字提示與底模的發揮,官方沒有給保證。
README 列的官方 Demo 是 Hugging Face 上的兩個 Space:SD 1.5 版和 SDXL 版。2026 年 11 月 19 日實際連線,兩個都回 HTTP 503,訊息原文是「The space is paused, ask a maintainer to restart it」:暫停狀態需要維護者手動重啟,訪客自己叫不醒,頁面上的建議是去社群分頁留言請作者重開。SD 1.5 的 Space 建於 2024 年 4 月底,SDXL 的 Space 建於 2025 年 1 月初,兩者的最後修改都停在 2025 年 11 月 26 日。更早的 2025 年 10 月就有人回報「兩個 Demo 都不能用」(issue #71),維護者在 2026 年 1 月 2 日回覆「線上 Demo 已修復」後把討論串關閉,但對照今天的連線結果仍然是 503:修復宣稱與實況對不上,停機已經持續好一段時間。

| 想用它的方式 | 2026 年 11 月的現況 | 適合誰 |
|---|---|---|
| 打開網頁就生成 | 兩個官方 Demo 都暫停,連線 503 | 目前行不通 |
| 自己架 GPU 環境 | 可行,但要扛舊依賴 | 有 NVIDIA 顯卡、會排除環境問題的人 |
| 拿資料集與方法做研究 | 完全開放,直接下載 | 研究者、論文重現、訓練自己的模型 |
Demo 睡著不代表拿不到東西。權重與模型全部可下載:Hugging Face 上有 SD 1.5 版 669MB、SDXL 版 3.48GB、臉部解析模型 53MB 三份檔案,官方另提供 Google Drive 與百度網盤鏡像;自架推論除了這些,還要另抓底模與 CLIP 影像編碼器,下載前先把硬碟空間與顯示卡記憶體盤點一次比較務實。README 致謝裡提到 Demo 的算力來自 Hugging Face 的 ZeroGPU 免費支援,這也暗示 Demo 能不能回來,取決於維護者願不願意再花心思照看。
本地推論最先撞上的是 requirements.txt。這份清單把整套環境釘在 2023 年末:torch==2.0.0、diffusers==0.23.0、mediapipe==0.10.7、dlib==19.24.2,建議環境是 Python 3.8.10 搭 CUDA 11.8。其中 mediapipe 這個鎖定版本已經有人回報裝不起來(issue #72,2025 年 11 月開立,至今未解),Python 3.10 能不能跑也有人問過(issue #59)。安裝的痛苦其實從 2024 年就有紀錄:討論區留著「環境安裝花太多時間」(#57)、訓練階段除以零(#55、#60)、模型檔找不到(#61)這些已關閉的舊討論。換句話說,在一台 2026 年的新機器上照著 README 走 pip install -r requirements.txt,有相當機率先花一段時間降級環境。順帶一提,這份清單裡還躺著 sentry-sdk、oss2、edge-tts 等套件,對照主程式碼沒有任何地方 import 它們,看得出是把開發環境整包凍結進來的結果。
硬體是另一道檻。infer.py 第 10 行把裝置寫死為 device = "cuda",Apple Silicon 的 Mac 使用者要自己改成 MPS 或 CPU,還得承擔算子不相容的風險;NVIDIA 顯卡則是基本門檻。訓練的門檻更高,討論區有人問「四張 RTX 4090 能不能訓練」(issue #38),對照它釋出的 3.48GB SDXL 權重,這不是消費級休閒用途。想繞過指令列的人有一條 community 路徑:GitHub 上有人做了 Pinokio 一鍵安裝殼,把環境打包起來,只是這個殼本身沒有星數也沒有維護紀錄,用它等於多信任一層陌生人的打包。
想把網頁介面也搬回自己機器的人有現成材料:倉庫附了同款 Gradio 介面的本地版 app.py(官方 Space 上跑的是為 ZeroGPU 調適過的版本),環境打通之後可以直接拿來架一個自己的網頁版,順便解決「官方 Demo 何時重啟」的等待問題。技術之外還要認清倉庫的維護形態。main 分支最新三個提交全是改 README(2026 年 1 月 2 日、2025 年 1 月 4 日兩筆),沒有任何一個正式 release;2025 年 6 月有人送出整套 Python 測試基礎設施的 PR(#70),至今未併;連 2024 年 5 月一個只改 README 一行的小 PR(#22)都開了超過兩年沒人理。貢獻管道實質凍結,裝不上就只能自己讀碼解決。
ConsistentID 的核心主張藏在方法名稱裡的「細粒度」(fine-grained)。從原始碼讀它的推論管線:insightface 的 buffalo_l 模型先抓出臉部身分嵌入;BiSeNet 接手把臉拆成 19 類解析區域(眼、鼻、唇、皮膚等);視覺語言模型產生臉部文字描述,再與解析遮罩逐段對齊;最終透過 <|image|> 與 <|facial|> 兩個觸發詞,把整臉與各部位的特徵用臉部注意力定位的方式注入擴散模型。作者把這套設計拆成兩個組件命名:多模態臉部提示產生器,以及用臉部注意力定位優化的身分保存網路。一般換臉或單照片客製工具把臉當成一個整體向量來搬,它選擇把臉拆開、逐部位對照,這是方法上最不一樣的地方。
跟它血緣最近的 InstantID(README 的致謝清單裡明列)走的是另一條路:臉部身分特徵一次注入、不拆部位。細粒度拆解的代價是管線更長、組件更多;好處是文字提示可以指名道姓地控制「哪個部位向參考照片看齊」。兩種設計誰生成的臉更像本人,沒有實際生成圖片之前無法判斷,這種比較也只有在同一組照片上跑對照才有意義。
真正拉開差距的是生態。截至 2026 年 11 月,GitHub 上搜尋 ConsistentID 只找得到原始倉庫(約 1,000 星)、兩個幾乎沒有星的 fork、一個 Pinokio 一鍵安裝殼和專案頁倉庫,沒有任何 ComfyUI 節點實作;同一個平台上 InstantID 有約 12,000 星,搜尋 InstantID 加 ComfyUI 有 16 個相關倉庫,星數最高的一個節點超過 1,800 星。有趣的是,兩個原始倉庫都停在論文發表後的維護形態(InstantID 的最後一次推送是 2024 年 7 月),差別是一個被工作流生態接住了,一個沒有。對「今天就要在既有的 ComfyUI 工作流裡出圖」的人來說,這就是決定性的差別;對研究者來說正好相反,生態薄代表沒有現成包裝,讀原始碼反而乾淨。
ConsistentID 的訓練資料集 FGID 以 Apache-2.0 授權放在 Hugging Face,這是它最「真開放」的部分。釋出的內容不只是圖片:臉部解析遮罩、ArcFace 身分嵌入檔、以及用 LLaVA 和 Qwen2.5-VL 產生的臉部描述全部一起給,訓練與評測分開打包成十餘個 tar.gz 檔案,也提供 parquet 格式直接餵給資料載入器。倉庫 data/ 目錄下四支前處理腳本(抓身分嵌入、生成遮罩、融合標註、產生描述)對應用什麼模型、照什麼順序做,重現路徑寫得算完整。
數字要注意有兩個版本:GitHub README 寫「重建了 50000 筆細粒度身分資料集」,而資料集官方頁面寫的是 37,596 筆訓練樣本加 943 筆評測樣本,兩者相差超過一萬筆,可能牽涉篩選前後的口徑,官方沒有解釋。引用時建議以資料集頁面的數字為準,因為那是讀者實際會下載到的內容。GitHub README 另外定義了 FGIS 評測基準,不過對應的評測指標討論(issue #68)還開著,想拿它當比較基準的人要自己補齊量測細節。下載量本身也是個訊號:FGID 累積下載 395 次、模型本體 468 次,方法有名,取用的人數卻是小眾等級。
倉庫的 LICENSE 檔案是標準 MIT 條文(版權宣告 2024 Jiehui Huang),Hugging Face 模型卡也標 MIT;GitHub README 頂端的授權徽章卻畫著 Apache 2.0,還連去同一份 LICENSE 檔。這是文件與檔案不一致的典型例子,判斷授權以 LICENSE 檔為準,商業使用前自己再讀一次條文。這句建議適用於所有掛徽章的倉庫:徽章是人寫的,檔案才是你要負責的東西。

專案的學術履歷倒是清楚。論文 2024 年 4 月上 arXiv、同年 12 月修訂,初版 arXiv 列的作者隸屬涵蓋中山大學深圳與珠海校區、聯想研究院與阿聯酋的 Inception Institute of AI,期刊修訂版則改列為逐作者單位(含阿拉伯聯合大公國大學);官方 README 在 2025 年 12 月 31 日公告論文獲 TPAMI 錄用,倉庫描述也改標了 TPAMI 2026。對一個 2024 年發表的作品來說,拿到期刊延伸版本是方法經得起審查的訊號,也解釋了為什麼一個「看起來停更」的倉庫仍然值得收藏:它凍結的是程式碼維護,不是學術生命。

該現在拿的人:做單張照片身分保持生成研究的讀者、想要一份帶臉部遮罩與身分嵌入的多媒體資料集的人、有 NVIDIA 顯卡且把「排除 2023 年依賴」當樂趣的開發者。這三種角色拿到的都是真貨:MIT 碼、Apache 資料、訓練推論腳本齊全。
先繞路的人:想打開網頁就出圖的(等維護者重啟 Demo,或先看看 InstantID 的 ComfyUI 生態)、Mac 使用者(裝置寫死 cuda)、以及不想碰舊環境的人。單純想玩「照片動起來」的讀者,LivePortrait 這類照片驅動動畫工具的上手成本低得多;想比較換臉方案的人可以從 Facefusion 與 Luna Lite 兩篇的對照看起,想要數位人整體生態的話 awesome-digital-human 清單更對題。
還有一條界線跟技術無關:生成「保留某個人臉部特徵」的肖像,前提是那張參考照片是你自己的,或照片本人同意。官方 README 也放了免責聲明,要使用者遵守當地法規。這類工具的價值在於把控制權拿回自己手上,用在別人臉上時,同一套機制就是另一回事了。
把 ConsistentID 當成一份開得很徹底的研究資產來收藏,把「打開就用的工具」這個期待先收起來;等哪天兩個 Space 重啟、或有人補上 ComfyUI 節點,再把它接回工作流也不遲。