كانت التطورات الأخيرة في توليد تحويل النص إلى صورة مدفوعة بنماذج الانتشار، ولكن تواجه النماذج أحادية المرحلة تحديات في الكفاءة الحسابية وتنقية تفاصيل الصورة. ولمعالجة ذلك، يقترح المؤلفون CogView3، وهو إطار عمل متسلسل يعزز انتشار النص إلى صورة من خلال إنشاء صور منخفضة الدقة أولاً ثم تطبيق الاستبانة الفائقة القائمة على الترحيل. ينتج عن هذا النهج مخرجات تنافسية من النص إلى الصورة مع تقليل تكاليف التدريب والاستدلال بشكل كبير. تُظهر النتائج التجريبية أن CogView3 يتفوق على نموذج انتشار النص إلى صورة المفتوح المصدر الحالي المفتوح المصدر، SDXL، بمقدار 77.0% في التقييمات البشرية، ويحقق متغيره المقطر أداءً مماثلاً مع استخدام 1/10 فقط من وقت الاستدلال.

الذكاء الاصطناعي يرسم المزيد والمزيد من الحجم، ترقية شاملة لتأثير cogview-3 Plus
ملاحظات خوارزمية الحقيبة الأصلية ملاحظات خوارزمية الحقيبة
27 سبتمبر 2024 27 سبتمبر 2024 10:01 بكين
أخبرني صديقي في Smart Spectrum أن طرازهم الأخير فينسينس قد تم تكراره مرارًا وتكرارًا، وتمت ترقيته من طراز cogview إلى cogview-3 Plus، وهذه المرة من الطراز الأول تمامًا.

وفي انطباعي، فإن نموذج cogview هو نتاج عصر ما قبل النموذج الكبير، قبل ولادة LLM، كانت نماذج cogview التي تمثلها SD تقتلها، لكن الصين تبدأ وتتابع متأخرة، وغالباً ما لا يفهم النموذج الصيني الصيني الصيني ولا يفهم الصيني، ويجعل الكثير من التضاريس متناسقة.

على سبيل المثال، "سمك السنجاب الماندرين

صور مثل "بوذا يقفز فوق الجدار

صور مثل "كعك لحم الحمير الساخن


صور مثل بطة البيرة


قال الرجل، الأمر مختلف حقًا هذه المرة، دعني أريك سيدة قمت بتوليدها أولاً.


في الواقع، هناك هذا النوع من الشعور، من التفاصيل، وضربات الفرشاة، وإدراك الصورة، تتحسن وتتحسن. القضية غالباً ما تقول الكثير من الهراء، ولكن التطبيق المحدد للتأثير هو كيف، من جميع أبعاد السيناريوهات المختلفة لنتائج الاختبارات العديدة للنظر بعناية.

قلت، لا تتفاخر أولاً، لديّ أيضاً مجموعة اختبار الأجداد، من المشهد والمحتوى والعدسة والأسلوب وضربات الفرشاة التي تغطي زوايا كثيرة، دعني أعذب البعض.

موجه اللوحة الزيتية: لوحة زيتية كلاسيكية تصور امرأة نبيلة شقراء ترتدي فستانًا أزرق رائعًا بأسلوب لوحة زيتية.
صورة

موجه التصوير: بحيرة جبلية هادئة بأسلوب أنسل آدامز بالأبيض والأسود، حيث تعكس البحيرة غابة الصنوبر المحيطة بها. ضباب الصباح، والتلال المتدحرجة من بعيد، وضوء الصباح الخافت في السماء.


موجه بالألوان المائية: قطة بنية اللون تنام بهدوء ملتفة بفراء ناعم رقيق، لطيفة جداً، بالألوان المائية.



موجه الرسم: رسم تخطيطي مفصل بالقلم الرصاص لنمر مهيب يقف على سهل عشبي مع غابة كثيفة وجبال في الخلفية، كل خط عضلي للحيوان محفور بتفاصيل حية.


موجه قلم التلوين : رسم طفل بقلم التلوين لعائلة ومنزل أحمر محاط بمرج أخضر، والشمس عالية في السماء وأربعة أشخاص مبتسمين يقفون أمام الباب ممسكين بأيديهم بطريقة طفولية.




موجه كتاب مصور للأطفال: صفحة من كتاب مصور للأطفال لطفل صغير يجلس على القمر وفي يده كتاب مفتوح، تحيط به سماء مليئة بالنجوم، سماء الليل تكشف عن الدفء والصفاء. الصور
موجه تصميم الطابع البريدي: تصميم طابع بريد يصور نسرًا يصطاد، مع سماء شاسعة في الخلفية وجناحا النسر مبسوطان بطريقة مهيبة.