不到 10 秒即可獲得您自己的 AI 圖像 類似於 InstantID(但它是 FLUX) PuLID:透過對比對齊實現 Pure 和 Lightning ID 定制

介紹

PuLID 是一種創新的免調整 ID 客製化方法,專為文字到圖像生成而設計。 PuLID 透過將 Lightning T2I 分支與標準擴散分支結合起來,引入了對比對齊損失和精確 ID 損失,最大限度地減少了對原始模型的破壞並確保了高 ID 保真度。實驗表明,PuLID 在 ID 保真度和可編輯性方面均實現了卓越的性能。此外,PuLID 的一個顯著特徵是影像元素(例如背景、燈光、構圖和風格)在插入 ID 之前和之後盡可能保持一致。

嘗試 FLUX 的 PuLID 自由的

Twitter 上關於 Pulid Flux 有什麼動態?

方法

  • 對比對齊:透過對比對齊損失和 ID 損失,PuLID 插入 ID 資訊而不影響原始模型的行為。
  • 閃電 T2I 分支:引入了 Lightning T2I 分支,該分支使用快速取樣技術從純雜訊中產生高品質影像。
  • 優化 ID 損失:在更準確的設定下優化ID損失,以增強ID相似度。

實驗

  • 定量比較:使用 ID 餘弦相似度評估 ID 保真度,顯示 PuLID 在所有測試集和基礎模型中均優於現有方法。
  • 定性比較:PuLID 在對原始模型乾擾較小的情況下實現了較高的 ID 相似度,準確再現了原始模型的燈光、風格和佈局。

貢獻

  1. 提出了一種無需調整的方法 PuLID,該方法在減輕對原始模型行為的影響的同時,也保留了較高的 ID 相似度。
  2. 在常規擴散分支旁邊引入了 Lightning T2I 分支,結合了對比對齊損失和 ID 損失,以最大限度地減少 ID 資訊對原始模型的污染,同時確保保真度。
  3. 實驗表明,PuLID在ID保真度和可編輯性方面都達到了最佳性能,並且對模型的侵入性更小,使其在實際應用中更加靈活。

常見問題解答