AI-bilder av dig själv på MINDRE ÄN 10 sekunder liknar InstantID (men det är FLUX) PuLID: Pure och Lightning ID-anpassning via kontrastiv justering

Introduktion

PuLID är en innovativ inställningsfri ID-anpassningsmetod designad för text-till-bild-generering. Genom att införliva en Lightning T2I-gren tillsammans med en standarddiffusion introducerar PuLID både kontrastiv inriktningsförlust och exakt ID-förlust, vilket minimerar störningar i den ursprungliga modellen och säkerställer hög ID-trohet. Experiment visar att PuLID uppnår överlägsen prestanda i både ID-trohet och redigerbarhet. En anmärkningsvärd egenskap hos PuLID är dessutom att bildelementen (t.ex. bakgrund, ljussättning, komposition och stil) förblir så konsekventa som möjligt före och efter ID-införande.

Försök PuLID för FLUX Gratis

Vad händer på twitter om Pulid Flux?

Metoder

  • Kontrastiv justering: Genom kontrastiv inriktningsförlust och ID-förlust infogar PuLID ID-information utan att påverka den ursprungliga modellens beteende.
  • Lightning T2I Branch: Introducerar en Lightning T2I-gren som använder snabba samplingstekniker för att generera högkvalitativa bilder från rent brus.
  • Optimera ID-förlust: Optimerar ID-förlust i en mer exakt inställning för att förbättra ID-likheten.

Experiment

  • Kvantitativ jämförelse: Utvärderar ID-trohet med ID-kosinuslikhet, vilket visar att PuLID överträffar befintliga metoder i alla testset och basmodeller.
  • Kvalitativ jämförelse: PuLID uppnår hög ID-likhet samtidigt som den orsakar mindre störningar på originalmodellen, och återger den ursprungliga modellens belysning, stil och layout korrekt.

Bidrag

  1. Föreslår en avstämningsfri metod, PuLID, som bevarar hög ID-likhet samtidigt som den mildrar påverkan på den ursprungliga modellens beteende.
  2. Introducerar en Lightning T2I-gren vid sidan av den vanliga diffusionsgrenen, som inkluderar kontrastiv inriktningsförlust och ID-förlust för att minimera kontamineringen av ID-information på originalmodellen samtidigt som man säkerställer trohet.
  3. Experiment visar att PuLID uppnår toppmodern prestanda vad gäller både ID-trohet och redigerbarhet och är mindre invasiv för modellen, vilket gör den mer flexibel för praktiska tillämpningar.

Vanliga frågor

PuLID är en inställningsfri ID-anpassningsmetod för text-till-bild-generering som säkerställer hög ID-trohet och minimal störning av originalmodellen.

PuLID använder kontrastiv inriktningsförlust och exakt ID-förlust för att bibehålla hög ID-trohet samtidigt som inverkan på den ursprungliga modellens beteende minimeras.

Lightning T2I-grenen är en komponent i PuLID som använder snabba samplingstekniker för att generera högkvalitativa bilder från rent brus.

PuLID erbjuder överlägsen ID-trohet och redigerbarhet, med mindre störningar av den ursprungliga modellen, vilket gör den flexibel för olika applikationer.

PuLID överträffar befintliga metoder i både ID-trohet och redigerbarhet, vilket framgår av kvantitativa och kvalitativa jämförelser.

Ja, PuLID:s tillvägagångssätt är mindre invasivt för modellen, vilket gör den mycket lämplig för praktiska tillämpningar.

Koderna och modellerna för PuLID kommer att finnas tillgängliga på GitHub.