ابزار Guardrails انویدیا چت ربات های هوش مصنوعی را کمتر دیوانه می کند

انویدیا ابزار جدید NeMo Guardrails خود را برای توسعه دهندگان هوش مصنوعی معرفی می کند و قول می دهد که چت ربات های هوش مصنوعی مانند ChatGPT را کمی کمتر دیوانه کند. این نرم افزار منبع باز اکنون در دسترس توسعه دهندگان است و بر سه حوزه تمرکز دارد تا چت ربات های هوش مصنوعی را مفیدتر و کمتر مختل کند.

این ابزار بین کاربر و مدل زبان بزرگ (LLM) که با آن تعامل دارند قرار می گیرد. این یک ایمنی برای ربات‌های چت است که قبل از رسیدن به مدل زبان، پاسخ‌ها را رهگیری می‌کنند تا مدل را از پاسخگویی بازدارند یا دستورالعمل‌های خاصی را در مورد نحوه پاسخ دادن به آن ارائه کنند.

Nvidia می گوید NeMo Guardrails بر روی مرزهای موضوعی، ایمنی و امنیت متمرکز شده است. تمرکز موضعی بسیار مفید به نظر می رسد زیرا LLM را مجبور می کند در محدوده خاصی از پاسخ ها بماند. انویدیا Guardrails را با نمایش یک ربات چت آموزش دیده در پایگاه داده منابع انسانی این شرکت نشان داد. هنگامی که از انویدیا سؤالی در مورد امور مالی انویدیا پرسیده شد، پاسخی آماده داد که با NeMo Guardrails برنامه ریزی شده بود.

این به دلیل بسیاری از به اصطلاح توهماتی است که در چت ربات های هوش مصنوعی دیده ایم. به عنوان مثال، بینگ چت مایکروسافت، در اولین نسخه نمایشی ما پاسخ های عجیب و نادرستی به ما داد. هنگامی که با سؤالی مواجه می شود که LLM آن را درک نمی کند، اغلب در تلاش برای برآورده کردن سؤال، پاسخی می دهد. هدف NeMo Guardrails پایان دادن به این پاسخ های ساختگی است.

اصول ایمنی و امنیتی بر فیلتر کردن پاسخ‌های ناخواسته از LLM و جلوگیری از سوء استفاده از آن توسط کاربران تمرکز دارد. همانطور که قبلاً دیدیم، می توانید ChatGPT و دیگر چت ربات های هوش مصنوعی را جیلبریک کنید. NeMo Guardrails این درخواست‌ها را می‌پذیرد و دسترسی آنها به LLM را مسدود می‌کند.

در حالی که NeMo Guardrails به گونه‌ای طراحی شده است که چت‌بات‌ها را در موضوع و دقیق نگه دارد، اما راه‌حلی برای همه نیست. انویدیا می‌گوید که به‌عنوان خط دوم دفاعی بهترین عملکرد را دارد و شرکت‌هایی که چت‌بات‌ها را توسعه می‌دهند و به کار می‌گیرند، هنوز باید این مدل را بر روی مجموعه‌ای از پادمان‌ها آموزش دهند.

توسعه دهندگان همچنین باید ابزار را متناسب با برنامه های خود سفارشی کنند. این به NeoMo Guardrails اجازه می‌دهد تا در بالای میان‌افزارهایی قرار گیرد که مدل‌های هوش مصنوعی از قبل استفاده می‌کنند، مانند LangChain، که در حال حاضر چارچوبی برای نحوه تعامل چت‌بات‌های هوش مصنوعی با کاربران ارائه می‌دهد.

انویدیا علاوه بر منبع باز بودن، NeMo Guardrails را نیز به عنوان بخشی از سرویس بنیادهای هوش مصنوعی خود ارائه می‌کند. این بسته چندین مدل و چارچوب از پیش آموزش دیده را برای شرکت هایی ارائه می دهد که زمان یا منابع لازم برای آموزش و نگهداری مدل های خود را ندارند.

توصیه های سردبیران