10초 이내에 AI가 자신의 이미지를 생성합니다 InstantID와 유사(하지만 FLUX입니다) PuLID: 대조적 정렬을 통한 Pure 및 Lightning ID 사용자 지정

소개

PuLID는 텍스트-이미지 생성을 위해 설계된 혁신적인 튜닝 없는 ID 사용자 지정 방법입니다. 표준 확산 브랜치와 함께 Lightning T2I 브랜치를 통합하여 PuLID는 대조적 정렬 손실과 정확한 ID 손실을 모두 도입하여 원래 모델의 중단을 최소화하고 높은 ID 충실도를 보장합니다. 실험 결과 PuLID는 ID 충실도와 편집성 모두에서 뛰어난 성능을 달성합니다. 또한 PuLID의 주목할 만한 특징은 이미지 요소(예: 배경, 조명, 구성 및 스타일)가 ID 삽입 전후에 가능한 한 일관되게 유지된다는 것입니다.

노력하다 플럭스용 PuLID 무료

트위터에서 풀리드 플럭스에 대한 무슨 일이 일어나고 있나요?

행동 양식

  • 대조적 정렬: 대조적 정렬 손실 및 ID 손실을 통해 PuLID는 원래 모델의 동작에 영향을 주지 않고 ID 정보를 삽입합니다.
  • 라이트닝 T2I 브랜치: 순수한 노이즈로부터 고품질 이미지를 생성하기 위해 빠른 샘플링 기술을 사용하는 Lightning T2I 브랜치를 소개합니다.
  • ID 손실 최적화: ID 유사성을 높이기 위해 더 정확한 설정에서 ID 손실을 최적화합니다.

실험

  • 양적 비교: ID 코사인 유사도를 사용하여 ID 충실도를 평가하여 PuLID가 모든 테스트 세트와 기본 모델에서 기존 방법보다 성능이 우수함을 보여줍니다.
  • 질적 비교: PuLID는 원래 모델의 방해를 최소화하는 동시에 높은 ID 유사성을 달성하고, 원래 모델의 조명, 스타일 및 레이아웃을 정확하게 재현합니다.

기여

  1. 원래 모델의 동작에 미치는 영향을 완화하는 동시에 높은 ID 유사성을 유지하는 튜닝이 필요 없는 방법인 PuLID를 제안합니다.
  2. 일반 확산 브랜치와 함께 Lightning T2I 브랜치를 도입하여 대조 정렬 손실과 ID 손실을 통합해 원본 모델의 ID 정보 오염을 최소화하는 동시에 충실도를 보장합니다.
  3. 실험 결과, PuLID는 ID 충실도와 편집성 측면에서 최첨단 성능을 달성하고 모델에 대한 침습성이 낮아 실제 응용 프로그램에서 더 유연하게 사용할 수 있는 것으로 나타났습니다.

자주 묻는 질문