MiniGPT-4: یک ابزار رایگان تبدیل تصویر به متن با هوش مصنوعی که می توانید امروز امتحان کنید

ChatGPT عالی است، اما در حال حاضر فقط به متن محدود می شود – ورودی متن، خروجی متن. GPT-4 قرار بود این را با افزودن پردازش تصویر گسترش دهد تا بتواند متنی را بر اساس تصاویر تولید کند.

OpenAI هنوز این ویژگی را منتشر نکرده است، اما اینجاست که MiniGPT-4 وارد می شود. این پروژه منبع باز پیش نمایشی از نحوه پردازش تصویر در GPT-4 به ما می دهد – و بسیار منظم است.

MiniGPT-4 چیست؟

MiniGPT-4 یک پروژه متن باز است که در GitHub برای نشان دادن قابلیت های زبان بصری در یک سیستم هوش مصنوعی منتشر شده است. برخی از نمونه‌هایی از کارهایی که می‌تواند انجام دهد عبارتند از ایجاد توضیحات تصویر، نوشتن داستان بر اساس تصاویر، یا حتی ایجاد وب‌سایت‌ها از روی نقاشی‌ها.

علیرغم آنچه از نام آن پیداست، MiniGPT-4 به طور رسمی به OpenAI یا GPT-4 وابسته نیست. این توسط گروهی از Dr. دانشجویان مستقر در عربستان سعودی در دانشگاه علم و صنعت ملک عبدالله. همچنین بر اساس یک مدل زبان بزرگ متفاوت (LLM) به نام Vicuna است که خود بر روی مدل متن باز Meta AI مدل زبان بزرگ (LLaMA) ساخته شده است. به اندازه ChatGPT قدرتمند نیست، اما طبق ارزیابی خود GPT-4، Vicuna به 90٪ می رسد.

نحوه استفاده از MiniGPT-4

MiniGPT-4 فقط یک نسخه آزمایشی است و هنوز در اولین نسخه آن است. در حال حاضر، در وب سایت رسمی گروه به صورت رایگان قابل دسترسی است. برای استفاده از آن، به سادگی یک تصویر را بکشید یا روی “عکس را در اینجا رها کنید” کلیک کنید. پس از آپلود، درخواست خود را در کادر جستجو وارد کنید.

چه چیزهایی را باید امتحان کنید؟ خوب، درخواست از MiniGPT-4 برای توصیف یک تصویر به اندازه کافی ساده است. اما شاید برای شرکت خود نیاز به کپی پست اینستاگرام داشته باشید. یا شاید بخواهید مواد لازم برای یک غذای جالب و حتی دستور تهیه آن را بدانید. MiniGPT-4 می تواند این وظایف را به طرز شگفت انگیزی به خوبی انجام دهد.

جنبه های کدگذاری در اطراف لبه ها کمی خشن تر است. تبدیل یک نقاشی ساده روی یک دستمال به یک وب سایت کارآمد ترفندی بود که توسط OpenAI در اولین معرفی GPT-4 نشان داده شد. اما به نظر می رسد MiniGPT-4 هنوز نمی تواند به خوبی از پس آن برآید. ChatGPT کد دقیق تری ارائه می دهد – در واقع، اجرای هر کد MiniGPT-4 از طریق ChatGPT یا GPT-4 نتایج بهتری به شما می دهد.

نکته ای که باید به آن توجه کنید این است که MiniGPT-4 از GPU سیستم محلی شما استفاده می کند. بنابراین، مگر اینکه یک GPU مجزای بسیار قدرتمند داشته باشید، ممکن است تجربه را بسیار کند بیابید. برای زمینه، من آن را روی M2 Max MacBook Pro امتحان کردم و حدود 30 ثانیه طول کشید تا متن بر اساس تصویری که آپلود کردم تولید شود.

محدودیت های MiniGPT-4

سرعت MiniGPT-4 مطمئناً یک محدودیت است. اگر می‌خواهید بدون گرافیک مناسب به این دسترسی داشته باشید، خیلی کند است و نمی‌توانید پاسخگو باشید. اگر به سرعت ChatGPT مبتنی بر ابر یا حتی Bing Image Creator عادت دارید، MiniGPT-4 به طرز دردناکی کند می شود.

همچنین، MiniGPT-4 تمام محدودیت‌های ChatGPT یا Google Bard یا هر چت ربات هوش مصنوعی دیگری را دارد، زیرا می‌تواند اطلاعاتی را «توهم» یا ساختن اطلاعات ایجاد کند.

توصیه های سردبیران