ความก้าวหน้าล่าสุดในการสร้างข้อความเป็นรูปภาพนั้นขับเคลื่อนโดยโมเดลการแพร่กระจาย แต่โมเดลแบบขั้นตอนเดียวต้องเผชิญกับความท้าทายในด้านประสิทธิภาพการคำนวณและการปรับแต่งรายละเอียดของภาพ เพื่อแก้ไขปัญหานี้ ผู้เขียนเสนอ CogView3 ซึ่งเป็นกรอบงานแบบเรียงซ้อนที่ปรับปรุงการแพร่กระจายข้อความเป็นรูปภาพโดยการสร้างรูปภาพความละเอียดต่ำก่อน จากนั้นจึงใช้ความละเอียดสูงสุดตามรีเลย์ แนวทางนี้ส่งผลให้ได้ผลลัพธ์จากข้อความเป็นรูปภาพที่มีการแข่งขันสูงในขณะที่ลดต้นทุนการฝึกอบรมและการอนุมานได้อย่างมาก ผลการทดลองแสดงให้เห็นว่า CogView3 มีประสิทธิภาพเหนือกว่าโมเดลการแพร่กระจายข้อความเป็นรูปภาพโอเพนซอร์สที่ทันสมัยที่สุดในปัจจุบันอย่าง SDXL ถึง 77.0% ในการประเมินโดยมนุษย์ และตัวแปรที่กลั่นออกมาให้ประสิทธิภาพที่เทียบเคียงได้ในขณะที่ใช้เวลาอนุมานเพียง 1/10 เท่านั้น

AI วาดภาพได้ปริมาณมากขึ้น เอฟเฟกต์ Cogview-3 Plus อัพเกรดอย่างครอบคลุม
ต้นฉบับ กระเป๋าอัลกอรึทึม หมายเหตุ กระเป๋าอัลกอรึทึม หมายเหตุ
27 กันยายน 2024 10:01 ปักกิ่ง
เพื่อนของฉันที่ Smart Spectrum บอกฉันว่ารุ่น Vincennes ล่าสุดของพวกเขาได้รับการปรับปรุงซ้ำแล้วซ้ำเล่า อัปเกรดจากรุ่น Cogview ไปเป็น Cogview-3 Plus และครั้งนี้มันยอดเยี่ยมอย่างแท้จริง

ในความรู้สึกของฉัน Cogview เป็นผลิตภัณฑ์จากยุคก่อนโมเดลขนาดใหญ่ ก่อนที่ LLM จะถือกำเนิด โมเดล Cogview ที่แสดงโดย SD ก็ได้รับความนิยมอย่างมาก แต่จีนกลับเริ่มต้นและทำตามในเวลาต่อมา โดยบ่อยครั้งที่โมเดลจีนไม่เข้าใจจีน และสร้างภูมิประเทศแบบฮาร์โมนิกมากมาย

เช่น ปลากระรอกแมนดาริน

ภาพเช่น 'พระพุทธเจ้ากระโดดข้ามกำแพง

รูปภาพ เช่น 'Donkey Meat Hotcakes


รูปภาพเหมือน Beer Duck


เพื่อนบอกว่าครั้งนี้มันแตกต่างจริงๆ นะ ให้ฉันแสดงรูปผู้หญิงที่ฉันสร้างไว้ก่อนให้คุณดู


ความรู้สึกแบบนั้นมีอยู่จริง จากรายละเอียด จังหวะแปรง การรับรู้ภาพ กำลังดีขึ้นเรื่อยๆ กรณีนี้มักพูดจาไร้สาระมากมาย แต่การประยุกต์ใช้เอฟเฟกต์เฉพาะนั้นเป็นอย่างไร จากมิติต่างๆ ของสถานการณ์ต่างๆ ของผลการทดสอบจำนวนมากที่ต้องพิจารณาอย่างรอบคอบ

ฉันบอกว่าอย่าคุยโวก่อน ฉันยังมีชุดทดสอบบรรพบุรุษด้วย ตั้งแต่ฉาก เนื้อหา เลนส์ สไตล์ จังหวะแปรงครอบคลุมหลายมุม ปล่อยให้ฉันทรมานบ้าง

คำกระตุ้นสำหรับการวาดภาพสีน้ำมัน: ภาพวาดสีน้ำมันคลาสสิกที่แสดงภาพหญิงสูงศักดิ์ผมบลอนด์สวมชุดสีฟ้าอันงดงามในสไตล์ภาพวาดสีน้ำมัน
รูปภาพ

แรงบันดาลใจในการถ่ายภาพ: ทะเลสาบบนภูเขาอันเงียบสงบในสไตล์ขาวดำของ Ansel Adams โดยทะเลสาบสะท้อนให้เห็นป่าสนที่อยู่รอบๆ หมอกยามเช้า เนินเขาที่ทอดยาวไกลออกไป และแสงยามเช้าที่จางๆ บนท้องฟ้า


คำเตือนสีน้ำ: ลูกแมวสีน้ำตาลกำลังนอนหลับอย่างเงียบๆ ขดตัวอยู่บนขนนุ่มฟู น่ารักสุดๆ สีน้ำ



ข้อความในการวาด: ภาพร่างดินสอโดยละเอียดของเสือที่น่าเกรงขาม ยืนอยู่บนทุ่งหญ้า โดยมีป่าทึบและภูเขาเป็นฉากหลัง โดยทุกเส้นกล้ามเนื้อของสัตว์ถูกแกะสลักอย่างมีชีวิตชีวาในทุกรายละเอียด


คำเตือนด้วยดินสอสี: ภาพวาดสีเทียนของเด็กเป็นภาพครอบครัว บ้านสีแดงล้อมรอบด้วยทุ่งหญ้าสีเขียว ดวงอาทิตย์อยู่สูงบนท้องฟ้า และรูปคน 4 รูปที่ยืนอยู่หน้าประตูจับมือกันแบบเด็กๆ




หนังสือภาพสำหรับเด็ก: ภาพประกอบหนังสือภาพสำหรับเด็ก หน้าหนึ่งเป็นภาพเด็กน้อยกำลังนั่งอยู่บนดวงจันทร์พร้อมกับหนังสือเปิดอยู่ในมือ ท่ามกลางท้องฟ้าที่เต็มไปด้วยดวงดาว ท้องฟ้ายามค่ำคืนเผยให้เห็นถึงความอบอุ่นและความสงบสุข รูปภาพ
ข้อความกระตุ้นการออกแบบแสตมป์: การออกแบบแสตมป์ที่แสดงภาพนกอินทรีกำลังล่าเหยื่อ โดยมีท้องฟ้ากว้างใหญ่เป็นพื้นหลัง และปีกนกอินทรีที่กางออกอย่างสง่างาม