انویدیا Chat With RTX را منتشر کرد، یک ربات چت هوش مصنوعی که به صورت محلی بر روی رایانه شخصی ویندوز اجرا می شود

انویدیا یک چت بات مبتنی بر هوش مصنوعی به نام Chat with RTX منتشر کرده است که به صورت محلی روی رایانه شخصی اجرا می شود و نیازی به اتصال به اینترنت ندارد. سازنده GPU از زمان رونق مولد هوش مصنوعی، با تراشه های هوش مصنوعی پیشرفته خود که محصولات و خدمات هوش مصنوعی را تامین می کند، در خط مقدم صنعت هوش مصنوعی بوده است. انویدیا همچنین دارای یک پلتفرم هوش مصنوعی است که راه حل های سرتاسری را برای شرکت ها ارائه می دهد. این شرکت اکنون در حال ساخت ربات های چت خود است و Chat with RTX اولین پیشنهاد آن است. ربات چت انویدیا در حال حاضر یک برنامه آزمایشی است که به صورت رایگان در دسترس است.

Nvidia که آن را یک ربات چت هوش مصنوعی سفارشی می نامد، این ابزار را در روز سه شنبه (13 فوریه) راه اندازی کرد. کاربرانی که قصد دانلود نرم‌افزار را دارند به رایانه شخصی ویندوزی یا ایستگاه کاری با پردازنده‌های گرافیکی سری RTX 30 یا 40 با حداقل 8 گیگابایت VRAM نیاز دارند. پس از دانلود، برنامه را می توان با چند کلیک نصب کرد و بلافاصله استفاده کرد.

چت با RTX به عنوان یک ربات چت محلی، هیچ شناختی از دنیای خارج ندارد. با این حال، کاربران می توانند داده های شخصی خود، مانند اسناد، فایل ها و موارد دیگر را به آن داده و آن را برای اجرای پرس و جوها بر روی آن سفارشی کنند. یکی از این موارد استفاده ممکن است ارسال حجم زیادی از اسناد مربوط به کار و سپس درخواست از آن برای خلاصه کردن، تجزیه و تحلیل یا پاسخ به یک سوال خاص باشد که یافتن دستی آن ممکن است ساعت ها طول بکشد. به همین ترتیب، می تواند یک ابزار پژوهشی موثر برای بررسی مطالعات و مقالات متعدد باشد. پشتیبانی از فرمت های متن، pdf، doc/docx و xml. علاوه بر این، ربات هوش مصنوعی نشانی‌های اینترنتی ویدیوها و لیست‌های پخش یوتیوب را نیز می‌پذیرد و با استفاده از رونویسی‌های ویدیو، می‌تواند به پرسش‌ها پاسخ دهد یا ویدیو را خلاصه کند. دسترسی به اینترنت برای این عملکرد مورد نیاز خواهد بود.

طبق ویدیوی آزمایشی، Chat with RTX اساساً یک وب سرور همراه با یک نمونه پایتون است که وقتی تازه دانلود می‌شود، حاوی اطلاعات مدل زبان بزرگ (LLM) نیست. کاربران می توانند بین مدل های Mistral یا Llama 2 برای آموزش آن انتخاب کنند و سپس از داده های خود برای اجرای پرس و جوها استفاده کنند. این شرکت می گوید که چت بات از پروژه های منبع باز مانند Retrieval Augmented Generation (RAG)، TensorRT-LLM و شتاب RTX برای عملکرد خود استفاده می کند.

طبق گزارش The Verge، این برنامه تقریباً 40 گیگابایت حجم دارد و نمونه پایتون می تواند تا 3 گیگابایت رم را اشغال کند. یکی از مسائل خاصی که پست به آن اشاره می کند این است که چت بات فایل های JSON را در پوشه هایی که می خواهید ایندکس کند ایجاد می کند. بنابراین تغذیه کل پوشه سند یا یک پوشه والد بزرگ می تواند مشکل ساز باشد.