Molmo AI: SOTA Multimodal Open Language AI Model

Familia ya Molmo ya modeli za lugha ya maono wazi iliyotengenezwa na Taasisi ya Allen ya AI. OpenSource

MolmoAI inategemea Qwen2

Molmo AI Bure NoLogin online

Ikiwa umekumbana na hitilafu, tafadhali chagua nyingine

Chatbot ya Picha
Chatbot ya Picha
Muundo wa Lugha Unaoonekana
Urejeshaji wa hati

Picha ya Gumzo na Molmo-7B

Picha ya Gumzo na MolmoE-1B

Mfano wa Lugha Inayoonekana - Molmo

ColPali ya urekebishaji wa Hoji Jenereta ColPali ni mbinu mpya ya kusisimua sana ya urejeshaji wa hati za aina nyingi ambayo inalenga kuchukua nafasi ya vitoa hati vilivyopo ambavyo mara nyingi hutegemea hatua ya OCR na mbinu ya uundaji wa mwisho hadi mwisho.

Molmo: Fungua Uzito na Fungua Data
kwa Miundo ya Hali ya Juu ya Multimodal

Molmo ni kielelezo kipya cha AI cha chanzo huria kilichotolewa na Allen Institute for Artificial Intelligence (Ai2). Iliyotangazwa mnamo Septemba 25, 2024, inalenga kutoa uwezo wa utendaji wa juu huku ikidumisha saizi ndogo zaidi ya muundo ikilinganishwa na mifumo mingine inayoongoza ya AI, kama vile OpenAI's GPT-4o na Gemini 1.5 Pro ya Google. kuna matoleo matatu ya mfano wa Molmo ai:

MolmoE-1B: Mchanganyiko wa mfano wa wataalam na vigezo hai bilioni 1.
Molmo-7B-O: Toleo linalopatikana zaidi na vigezo bilioni 7.
Molmo-72B: Toleo linalofanya vizuri zaidi na vigezo bilioni 72

MolmoE-1B: Mchanganyiko wa mfano wa wataalam na vigezo hai bilioni 1.

Molmo-7B-O: Toleo linalopatikana zaidi na vigezo bilioni 7.

Molmo-72B: Toleo linalofanya vizuri zaidi na vigezo bilioni 72

Ulinganisho wa Uwazi wa VLM Molmo AI Utendaji Bora wa GPT-4o, Gemini 1.5 Pro & Claude 3.5

Tunabainisha uwazi wa VLM kulingana na sifa mbili (uzito wazi, data wazi na
code) katika vipengele vitatu vya kielelezo (VLM na vijenzi vyake viwili vilivyofunzwa awali, uti wa mgongo wa LLM na kisimbaji cha maono). Kando na kufungua dhidi ya kufungwa, tunatumia lebo ya "distilled" ili kuonyesha kuwa data inayotumiwa kutoa mafunzo kwa VLM inajumuisha picha na maandishi yanayotolewa na VLM inayomilikiwa tofauti, kumaanisha kuwa muundo huo hauwezi kutolewa tena bila utegemezi wa wamiliki wa VLM.

Je! watu wanazungumza nini kuhusu PixelDance kwenye Mitandao ya Kijamii

Molmo by @allen_ai - Chanzo wazi cha SoTA Multimodal (Maono) Mfano wa Lugha, ikipiga Claude 3.5 Sonnet, GPT4V na kulinganishwa na GPT4o 🔥

Wanatoa vituo vinne vya ukaguzi:

1. MolmoE-1B, mchanganyiko wa kielelezo cha wataalamu na 1B (active) 7B (jumla)
2. Molmo-7B-O, modeli ya 7B iliyo wazi zaidi
3.… pic.twitter.com/9hpARh0GYT
- Vaibhav (VB) Srivastav (@reach_vb) Septemba 25, 2024

Kutana na MOLMO 🔥🔥

AI ya kisasa ya aina nyingi ambayo ni chanzo huria, yenye nguvu, na isiyolipishwa kwa kila mtu.

tazama onyesho hili la kushangaza la roboti inayotumia muundo wa Molmo kugundua vitu.

Wana toleo lisilolipishwa la kupangishwa kwenye tovuti ili kujaribu kielelezo na Picha kwa Maandishi na Maandishi kwa Picha. Nilikuwa… pic.twitter.com/Qx7hp1rtcb
- Prashant (@Prashant_1722) Septemba 27, 2024

jana @allen_ai iliyotolewa Malmo - familia ya mifano ya wazi ya hali ya juu ya multimodal AI

kuashiria kunatoa maelezo ya asili yaliyo katika saizi za picha

unapouliza Malmo kugundua au kuhesabu vitu, itaweka alama kwa vitu vilivyotambuliwa kwa alama

kiungo: https://t.co/LsUsZ2ghNT pic.twitter.com/d3ETnAS670
- SkalskiP (@skalskip92) Septemba 26, 2024

Molmo by @allen_ai - modeli ya multimodal ya SOTA

🤗Fungua miundo na ufungue data kwa kiasi
🤏7B na 72B saizi za muundo (+7B MoE yenye vigezo amilifu 1B)
🤯Alama zilizo juu ya GPT-4V, Flash, n.k
🗣️Mapendeleo ya Binadamu ya 72B sambamba na miundo bora ya API
🧠PixMo, mkusanyiko wa data wa ubora wa juu kwa manukuu… pic.twitter.com/faqvCkAmsb
- Omar Sanseviero (@osanseviero) Septemba 25, 2024

Jaribu @allen_aiMolmo VLM kwenye Open GRID sasa! VLM kama vile Molmo huleta safu tajiri ya maarifa ya kisemantiki kwa roboti - kuziruhusu kujibu maswali ya watumiaji na kutafsiri mazingira changamano kwa urahisi. Ongeza masuluhisho ya AI ya uhuru na miundo ya kisasa ya AI kwenye GRID leo! https://t.co/q9szAT1PiG pic.twitter.com/XuyYpMhQ8D
- Misingi Iliyoongezwa (@ScaFoAI) Septemba 27, 2024

Llama 3.2 huenda haikuwa toleo la kuvutia zaidi la aina nyingi jana. 🤔 Molmo kutoka @allen_ai bora kuliko Llama 3.2, inayopatikana chini ya Apache 2.0 na katika Umoja wa Ulaya, itatoa data zao, iliyoundwa tathmini maalum za ELO, na usanifu rahisi zaidi kuliko mllama3.2 hiyo labda… pic.twitter.com/du63zXjQcN
— Philipp Schmid (@_philschmid) Septemba 26, 2024

Maswali Yanayoulizwa Sana Kuhusu Molmo

Molmo ni muundo wa AI wa chanzo huria wa AI uliotengenezwa na Taasisi ya Allen ya Ujasusi Bandia (Ai2) ambao hufanya kazi vizuri zaidi. Llama 3.2 na inapatikana chini ya leseni ya Apache 2.0.

Molmo anafanya vizuri zaidi Llama 3.2 na imeundwa kuwa bora zaidi kwa usanifu rahisi zaidi ambao huenda unaendana na umakini wa flash.

Aina zote za Molmo hutolewa chini ya leseni ya Apache 2.0 na zinapatikana kwenye Hugging Face.

Molmo huja katika lahaja kuu nne: MolmoE-1B (mchanganyiko wa kielelezo cha wataalamu), Molmo-7B-O, Molmo-7B-D, na Molmo-72B. Toleo la 72B linatokana na Qwen2-72B na hutumia OpenAI CLIP kama uti wa mgongo wa maono.

Molmo inaangazia ubora wa data badala ya wingi, kwa kutumia maelezo ya picha kulingana na matamshi kwa data ya mafunzo ya ubora wa juu kutoka mkusanyiko wa data wa PixMo.

Molmo anaweza kuelewa miingiliano ya mtumiaji na kuelekeza kile anachokiona. Inafanya vyema katika kuchakata maandishi na picha kwa wakati mmoja, ikiruhusu watumiaji kuuliza maswali kuhusu picha za kazi kama vile kutambua kitu au kuhesabu vipengee ndani ya tukio.

Molmo ilitathminiwa kwa vigezo 11 vya kitaaluma na kupitia ulinganisho 325,231 wa kibinadamu wa pande mbili, kuonyesha utendaji wake na upendeleo wa watumiaji.

Ndiyo, unaweza Kupitia Miundo ya Kufurahisha na Yenye Nguvu kama vile: Diffusers Image Outpaint , Llama3.2 , Qwen2.5

Pata Muundo Bora wa AI Bila Malipo Mkondoni 8PixLabs

Zaidi AI Model Chapisho Hivi Karibuni