آیا تراشه های هوش مصنوعی Groq سریعتر از انویدیا هستند؟ راه اندازی هوش مصنوعی با موتور «رعد و برق سریع» در کانون توجه قرار می گیرد

استارت‌آپ هوش مصنوعی Groq (نه گروک ایلان ماسک) از تراشه هوش مصنوعی (AI) جدید خود با معماری واحد پردازش زبان (LPU) رونمایی کرد که ادعا می‌کند زمان پاسخگویی فوری را ارائه می‌کند. این نوآوری جدید در زمانی اتفاق می‌افتد که هوش مصنوعی شاهد رونق است و شرکت‌هایی مانند OpenAI، Meta و Google سخت روی توسعه مجموعه ابزارهای هوش مصنوعی خود مانند Sora، Gemma و دیگران کار می‌کنند. با این حال، Groq صراحتاً ادعا می کند که “سریع ترین مدل های زبان بزرگ جهان” را ارائه می دهد.

Groq ادعا می کند که LPU های آن سریعتر از واحدهای پردازش گرافیکی (GPU) انویدیا هستند. با توجه به اینکه انویدیا تاکنون از نظر تراشه‌های هوش مصنوعی در کانون توجه قرار گرفته است، این جنبه شگفت‌آور است. با این حال، برای پشتیبان گیری از این موضوع، Gizmodo گزارش می دهد که دموهای ساخته شده توسط Groq “سریع رعد و برق” بوده و حتی باعث شده است “…نسخه های فعلی ChatGPT، Gemini و حتی Grok کند به نظر برسند.”

تراشه Groq AI

تراشه هوش مصنوعی توسعه‌یافته توسط Groq دارای پردازنده‌های تخصصی است که با مدل‌های زبان بزرگ (LLM) کار می‌کنند و زمان‌های پاسخگویی تقریباً فوری را ارائه می‌کنند. پردازنده جدید جدید که به عنوان Tensor Streaming Processor (TSP) شناخته می شود، به جای واحد پردازش گرافیکی (GPU) به عنوان یک LPU طبقه بندی می شود. این شرکت می‌گوید که «سریع‌ترین استنتاج را برای برنامه‌های فشرده محاسباتی با مؤلفه‌های متوالی برای آنها» مانند برنامه‌های کاربردی هوش مصنوعی یا LLM ارائه می‌کند.

مزایای آن چیست؟

این شرکت ادعا می‌کند که نیاز به سخت‌افزار زمان‌بندی پیچیده را از بین می‌برد و از رویکرد ساده‌تر برای پردازش استفاده می‌کند. LPU Groq برای غلبه بر چگالی محاسباتی و پهنای باند حافظه، دو مشکلی که LLM را آزار می دهد، طراحی شده است. این شرکت می‌گوید که وقتی صحبت از LLM می‌شود، LPU ظرفیت محاسباتی بیشتری نسبت به GPU و CPU دارد، بنابراین زمان محاسبه یک کلمه کاهش می‌یابد. این منجر به تولید متن بسیار سریعتر می شود.

این شرکت که آن را «موتور استنتاج» می‌نامد، می‌گوید پردازنده هوش مصنوعی جدیدش از چارچوب‌های استاندارد یادگیری ماشین (ML) مانند PyTorch، TensorFlow و ONNX برای استنتاج پشتیبانی می‌کند. با این حال، موتور استنتاج LPU آن در حال حاضر از آموزش یادگیری ماشین (ML) پشتیبانی نمی کند.

Groq پردازش سریعتر و کارآمدتر را با تأخیر کمتر و توان عملیاتی ثابت امکان پذیر می کند. با این حال، این یک ربات چت هوش مصنوعی نیست و قرار نیست جایگزین آن شود. در عوض، او ادعا می کند که باعث می شود آنها سریعتر کار کنند. کسانی که می خواهند Groq را امتحان کنند می توانند از LLM های منبع باز مانند Llama-2 یا Mixtral 8x7B استفاده کنند.

مثال ها

در تظاهرات به اشتراک گذاشته شده است از مدیر عامل HyperWrite Matt Schumer در X، Groq چندین پاسخ را به یک پرس و جو، کامل با نقل قول، در چند ثانیه ارائه کرد. دمو دیگری از Groq کنار هم با GPT-3.5 نشان داد که همان وظیفه GPT را انجام می دهد، فقط تقریباً 4 برابر سریعتر. با توجه به معیارها، Groq می تواند تقریباً 500 توکن در ثانیه داشته باشد، در حالی که 30-50 توکن توسط GPT-3.5 مدیریت می شود.

اخبار برتر امروز را بیشتر بخوانید:

تنظیم Deepfake را جستجو کنید! کارشناسان هوش مصنوعی و مدیران صنعت، از جمله «پدرخوانده هوش مصنوعی» جاشوا بنجیو، نامه ای سرگشاده را امضا کرده اند که خواستار مقررات بیشتر در مورد ایجاد دیپ فیک شده اند. برخی از جزئیات جالب در این مقاله. اینجا را ببینید.

سورا باعث ایجاد ترس می شود! از زمانی که OpenAI پلتفرم تولید متن به ویدیوی هوش مصنوعی خود را راه اندازی کرد، تولیدکنندگان پیشرو محتوا نگران بودند که آخرین حرفه ای ها باشند که با الگوریتم ها جایگزین می شوند. تمام جزئیات را اینجا ببینید.

مایکروسافت یک پردازنده خانگی ایجاد خواهد کرد! مایکروسافت مشتری کسب و کار تراشه های سفارشی اینتل شد. این شرکت از فناوری ساخت 18A اینتل برای ساخت تراشه‌ای که سازنده نرم‌افزار داخلی طراحی کرده است، استفاده خواهد کرد. همه چیز در مورد آن را اینجا بخوانید.

یک چیز دیگر! ما اکنون در کانال های واتس اپ هستیم! ما را در آنجا دنبال کنید تا هیچ به روز رسانی دنیای فناوری را از دست ندهید. برای دنبال کردن کانال واتساپ HT Tech کلیک کنید اینجا برای پیوستن به هم اکنون!