不到 10 秒即可獲得您自己的 AI 圖像 類似於 InstantID(但它是 FLUX) PuLID:透過對比對齊實現 Pure 和 Lightning ID 定制

介紹
PuLID 是一種創新的免調整 ID 客製化方法,專為文字到圖像生成而設計。 PuLID 透過將 Lightning T2I 分支與標準擴散分支結合起來,引入了對比對齊損失和精確 ID 損失,最大限度地減少了對原始模型的破壞並確保了高 ID 保真度。實驗表明,PuLID 在 ID 保真度和可編輯性方面均實現了卓越的性能。此外,PuLID 的一個顯著特徵是影像元素(例如背景、燈光、構圖和風格)在插入 ID 之前和之後盡可能保持一致。


嘗試 FLUX 的 PuLID 自由的
Twitter 上關於 Pulid Flux 有什麼動態?
🚀項目編號 1 – PuLID-FLUX🔥
— ManuAGI 🤖 – ( ManuIn ) (@ManuAGI01) 2024 年 9 月 17 日
“個人化身分客製化工具”#AI #HuggingFace #科技創新 #AI藝術 #擴散模型 #FLUX型號 #AI編碼 #CreativeAI #PuLIDFLUX pic.twitter.com/DxpZNEXZ4v
助焊劑的 PULID:https://t.co/eejy2TeMZ3 https://t.co/XUc2HTm2sj pic.twitter.com/G35Zibt2Vn
— Luis C(@lucataco93) 2024 年 9 月 13 日
PuLID-FLUX-v0.9.0 更新⚙️。
— Hare AI(@harecrypta_ai) 2024 年 9 月 18 日
擰緊一個新的 PuLID 個性化器 #Flux 🧬。
看起來棒極了🤩 pic.twitter.com/9e09lffXBk
現在可以使用 Flux Pulid 僅從單一影像產生字元一致性。您可以產生穿著完全不同的服裝和燈光場景的角色圖像。我會向您展示其優點和缺點。 https://t.co/vEHbnKPTbh 享受! #AI #Flux #Flux普利德 pic.twitter.com/I5G5gsqmml
— 崔維斯戴維斯(@MrDavids1) 2024 年 9 月 17 日
「PuLID with FLUX」出擊指南Ver
— Maki@Sunwood AI Labs。 (@hAru_mAki_ch) 2024 年 9 月 16 日
—-
以 35 毫米膠片風格捕捉的來自黑暗幻想世界的英俊長槍騎士。槍騎兵自信地站立著,全身散發著神秘的氣息,身穿深色精緻的盔甲,腰間佩帶長槍。他的臉非常英俊,目光犀利… pic.twitter.com/XnLCAXudkV
FLUX 的 PuLID
— Gradio (@Gradio) 2024 年 9 月 17 日
🔥它使用 FLUX-dev 提供無需調整的 ID 自訂解決方案。
這個 Gradio-first 專案已經在 GitHub 上流行起來!恭喜 Yanze Wu 和團隊👏
了解如何在本地使用 Pulid-FLUX 模型: https://t.co/5wgANTxhLa
玩… pic.twitter.com/ADjZDCtWMT
PuLID的Flux版本,臉部還原效果還挺不錯。
— Gorden Sun (@Gorden_Sun) 2024 年 9 月 13 日
Github:https://t.co/S1XAzReW24、
線上使用:https://t.co/4bq73kk8rK
圖1是原圖,234是高的 pic.twitter.com/qln6TDFHt2
方法
- 對比對齊:透過對比對齊損失和 ID 損失,PuLID 插入 ID 資訊而不影響原始模型的行為。
- 閃電 T2I 分支:引入了 Lightning T2I 分支,該分支使用快速取樣技術從純雜訊中產生高品質影像。
- 優化 ID 損失:在更準確的設定下優化ID損失,以增強ID相似度。
實驗
- 定量比較:使用 ID 餘弦相似度評估 ID 保真度,顯示 PuLID 在所有測試集和基礎模型中均優於現有方法。
- 定性比較:PuLID 在對原始模型乾擾較小的情況下實現了較高的 ID 相似度,準確再現了原始模型的燈光、風格和佈局。
貢獻
- 提出了一種無需調整的方法 PuLID,該方法在減輕對原始模型行為的影響的同時,也保留了較高的 ID 相似度。
- 在常規擴散分支旁邊引入了 Lightning T2I 分支,結合了對比對齊損失和 ID 損失,以最大限度地減少 ID 資訊對原始模型的污染,同時確保保真度。
- 實驗表明,PuLID在ID保真度和可編輯性方面都達到了最佳性能,並且對模型的侵入性更小,使其在實際應用中更加靈活。