ภาพ AI ของตัวคุณเองในเวลาไม่ถึง 10 วินาที คล้ายกับ InstantID (แต่เป็น FLUX) PuLID: การปรับแต่ง Pure และ Lightning ID ผ่านการจัดตำแหน่งแบบ Contrastive

การแนะนำ

PuLID เป็นวิธีการปรับแต่ง ID โดยไม่ต้องปรับแต่งที่สร้างสรรค์ซึ่งออกแบบมาสำหรับการสร้างข้อความเป็นรูปภาพ โดยการรวมสาขา Lightning T2I เข้ากับสาขาการกระจายมาตรฐาน PuLID ทำให้เกิดการสูญเสียการจัดตำแหน่งแบบคอนทราสต์และการสูญเสีย ID ที่แม่นยำ ลดการรบกวนต่อโมเดลดั้งเดิมให้เหลือน้อยที่สุดและรับประกันความเที่ยงตรงของ ID ที่สูง การทดลองแสดงให้เห็นว่า PuLID ให้ประสิทธิภาพที่เหนือกว่าทั้งในด้านความเที่ยงตรงของ ID และความสามารถในการแก้ไข นอกจากนี้ คุณสมบัติที่โดดเด่นของ PuLID ก็คือองค์ประกอบรูปภาพ (เช่น พื้นหลัง แสง องค์ประกอบ และสไตล์) ยังคงสม่ำเสมอที่สุดเท่าที่จะเป็นไปได้ก่อนและหลังการแทรก ID

พยายาม PuLID สำหรับ FLUX ฟรี

มีอะไรเกิดขึ้นบนทวิตเตอร์เกี่ยวกับ Pulid Flux?

วิธีการ

  • การจัดตำแหน่งแบบตรงกันข้าม:ผ่านการสูญเสียการจัดตำแหน่งแบบเปรียบเทียบและการสูญเสีย ID, PuLID จะแทรกข้อมูล ID โดยไม่ส่งผลกระทบต่อพฤติกรรมของแบบจำลองเดิม
  • สาขาไลท์นิ่ง T2I:เปิดตัวสาขา Lightning T2I ที่ใช้เทคนิคการสุ่มตัวอย่างอย่างรวดเร็วเพื่อสร้างภาพคุณภาพสูงจากสัญญาณรบกวนบริสุทธิ์
  • การเพิ่มประสิทธิภาพการสูญเสีย ID:เพิ่มประสิทธิภาพการสูญเสีย ID ในการตั้งค่าที่แม่นยำยิ่งขึ้นเพื่อปรับปรุงความคล้ายคลึงของ ID

การทดลอง

  • การเปรียบเทียบเชิงปริมาณ:ประเมินความถูกต้องของ ID โดยใช้ความคล้ายคลึงของโคไซน์ ID แสดงให้เห็นว่า PuLID เหนือกว่าวิธีการที่มีอยู่ในชุดการทดสอบและโมเดลพื้นฐานทั้งหมด
  • การเปรียบเทียบเชิงคุณภาพ:PuLID ทำให้เกิดความคล้ายคลึงของ ID สูงในขณะที่สร้างการรบกวนต่อโมเดลต้นฉบับน้อยลง ทำให้สามารถจำลองแสง สไตล์ และเค้าโครงของโมเดลต้นฉบับได้อย่างแม่นยำ

การมีส่วนสนับสนุน

  1. เสนอวิธีการปรับแต่งที่ไม่มี PuLID ซึ่งรักษาความคล้ายคลึงของ ID สูงในขณะที่ลดผลกระทบต่อพฤติกรรมของโมเดลดั้งเดิม
  2. แนะนำสาขา Lightning T2I ควบคู่กับสาขาการแพร่กระจายปกติ โดยผสานรวมการสูญเสียการจัดตำแหน่งแบบคอนทราสต์และการสูญเสีย ID เพื่อลดการปนเปื้อนของข้อมูล ID บนรุ่นดั้งเดิมให้น้อยที่สุด ขณะที่ยังคงรักษาความเที่ยงตรงไว้ได้
  3. การทดลองแสดงให้เห็นว่า PuLID มีประสิทธิภาพที่ล้ำสมัยทั้งในด้านความแม่นยำของ ID และความสามารถในการแก้ไข และยังรบกวนโมเดลน้อยกว่า ทำให้มีความยืดหยุ่นมากขึ้นสำหรับการใช้งานในทางปฏิบัติ

คำถามที่พบบ่อย

PuLID เป็นวิธีการปรับแต่ง ID ที่ไม่ต้องมีการปรับแต่งสำหรับการสร้างข้อความเป็นรูปภาพ ซึ่งรับรองความเที่ยงตรงของ ID สูง และรบกวนโมเดลดั้งเดิมให้น้อยที่สุด

PuLID ใช้การสูญเสียการจัดตำแหน่งแบบเปรียบเทียบและการสูญเสีย ID ที่แม่นยำเพื่อรักษาความเที่ยงตรงของ ID ที่สูงในขณะที่ลดผลกระทบต่อพฤติกรรมของแบบจำลองดั้งเดิมให้เหลือน้อยที่สุด

สาขา Lightning T2I เป็นส่วนประกอบของ PuLID ที่ใช้เทคนิคการสุ่มตัวอย่างอย่างรวดเร็วเพื่อสร้างภาพคุณภาพสูงจากสัญญาณรบกวนที่แท้จริง

PuLID มอบความเที่ยงตรงของ ID และความสามารถในการแก้ไขที่เหนือกว่า โดยมีการรบกวนต่อโมเดลเดิมน้อยลง ทำให้มีความยืดหยุ่นสำหรับการใช้งานต่างๆ

PuLID มีประสิทธิภาพเหนือกว่าวิธีการที่มีอยู่ทั้งในด้านความถูกต้องของ ID และความสามารถในการแก้ไข ดังที่แสดงให้เห็นโดยการเปรียบเทียบเชิงปริมาณและเชิงคุณภาพ

ใช่ แนวทางของ PuLID มีผลกระทบต่อโมเดลน้อยกว่า จึงเหมาะอย่างยิ่งสำหรับการใช้งานจริง

รหัสและโมเดลสำหรับ PuLID จะพร้อมใช้งานที่ GitHub.