مدل جدید Orca AI مایکروسافت می تواند مدل های GPT 4 را یاد بگیرد و تقلید کند. در اینجا چیزی است که شما دریافت می کنید

مانند بسیاری از شرکت‌های دیگر مانند گوگل، مایکروسافت نیز در حال سرمایه‌گذاری هنگفتی روی هوش مصنوعی است. سرمایه گذاری چند ساله و چند میلیارد دلاری آن در OpenAI، خالق ChatGPT، تنها نمونه دیگری از چشم انداز این شرکت به رهبری مدیر عامل شرکت ساتیا نادلا است. در حالی که مدل‌های زبان بزرگ (LLM) مانند ChatGPT و Google Bard دارای قابلیت‌های عظیمی هستند، اندازه‌های بزرگ آن‌ها به منابع محاسباتی زیادی نیاز دارد که منجر به محدودیت‌هایی می‌شود. برای مقابله با این موضوع، مایکروسافت اخیراً Orca را معرفی کرد، مدلی با 13 میلیارد پارامتر که می‌آموزد فرآیند استدلال مدل‌های بنیادی بزرگ (LFM) را تقلید کند.

با اورکا آشنا شوید

برخلاف ChatGPT، مایکروسافت Orca یک مدل هوش مصنوعی کوچکتر است که برای موارد استفاده خاص توسعه یافته و طراحی شده است. طبق یک مقاله تحقیقاتی مایکروسافت، Orca از پایگاه داده عظیمی از اطلاعات ارائه شده توسط تقریباً یک تریلیون پارامتر GPT 4، از جمله توضیحات ردیابی، دستورالعمل های پیچیده و فرآیندهای فکری دقیق، یاد می گیرد، در حالی که از چالش های عظیم ناشی از پردازش در مقیاس بزرگ داده ها اجتناب می کند. و انواع وظایف به دلیل اندازه کوچکتر، Orca به منابع محاسباتی بزرگ و اختصاصی نیاز ندارد. در نتیجه، می توان آن را بدون نیاز به مرکز داده بزرگ، بهینه سازی و برای برنامه های خاص تنظیم کرد.

یکی از بارزترین فاکتورهای این مدل هوش مصنوعی معماری متن باز آن است. برخلاف ChatGPT خصوصی و Google Bard، Orca یک چارچوب منبع باز دارد، به این معنی که مردم می توانند در توسعه و بهبود LFM کوچک مشارکت کنند. می تواند با استفاده از قدرت عمومی، مدل های خصوصی ساخته شده توسط شرکت های بزرگ فناوری را بپذیرد.

علیرغم اینکه اورکا بر اساس پایه‌های Vicuna، مدل تنظیم‌شده دستورالعمل‌های دیگر است، در معیارهای صفر پیچیده مانند Big-Bench Hard (BBH) 100 درصد و در AGIEval 42 درصد بهتر عمل کرد.

رقیب ChatGPT

طبق این مقاله تحقیقاتی، Orca نه تنها از سایر مدل‌های تنظیم‌شده با دستورالعمل‌ها بهتر عمل می‌کند، بلکه با وجود اندازه کوچک‌تر، در معیارهای BBH با ChatGPT OpenAI عمل می‌کند. علاوه بر این، همچنین در آزمون‌های رقابتی مانند LSAT، GRE و GMAT، هر دو در تنظیمات صفر و بدون CoT، مهارت آکادمیک را نشان می‌دهد، اگرچه از GPT-4 عقب‌تر است.

تیم تحقیقاتی مایکروسافت ادعا می کند که Orca توانایی یادگیری را از طریق توضیحات گام به گام از سوی متخصصان انسانی و سایر مدل های زبان بزرگ (LLM) در تلاش برای بهبود قابلیت ها و مهارت های مدل دارد.