آیا می دانستید که ChatGPT می تواند (تقریبا) در آزمون مجوز پزشکی ایالات متحده قبول شود؟

بر اساس مطالعه ای که توسط تیفانی کونگ، ویکتور تسنگ و همکارانش انجام شد، ChatGPT می تواند به حدود 60 درصد آستانه قبولی برای آزمون مجوز پزشکی ایالات متحده (USMLE) برسد، با پاسخ هایی که حس درونی منسجم دارند و حاوی بینش های مکرر هستند. AnsibleHealth، که در 9 فوریه 2023 در مجله دسترسی آزاد PLOS Digital Health منتشر شد.

یک مدل زبان بزرگ (LLM) یا سیستم هوش مصنوعی جدید (AI) به نام ChatGPT با پیش‌بینی دنباله‌ای از کلمات در آینده، قصد دارد تایپی شبیه به انسان ایجاد کند. ChatGPT بر خلاف بسیاری از ربات های چت نمی تواند جستجوهای آنلاین را انجام دهد. در عوض، متنی را بر اساس روابط بین کلماتی که توسط فرآیندهای داخلی پیش‌بینی می‌شوند، تولید می‌کند.

کونگ و همکارانش اثربخشی ChatGPT را بر روی USMLE آزمایش کردند، مجموعه ای بسیار استاندارد و تنظیم شده از سه امتحان (مرحله 1، 2CK، و 3) که برای صدور مجوز پزشکی در ایالات متحده لازم است. USMLE که توسط دانشجویان پزشکی و پزشکان در حال آموزش انجام می‌شود، دانشی را که بیشتر رشته‌های پزشکی را شامل می‌شود، از بیوشیمی گرفته تا استدلال تشخیصی و اخلاق زیستی ارزیابی می‌کند.

پس از بررسی حذف سوالات مبتنی بر تصویر، نویسندگان نرم افزار را روی 350 سوال از 376 سوال عمومی موجود در نسخه ژوئن 2022 USMLE آزمایش کردند.

پس از حذف پاسخ های نامشخص، ChatGPT در سه آزمون USMLE بین 52.4% و 75.0% امتیاز کسب کرد. آستانه قبولی در هر سال تقریباً 60 درصد است. ChatGPT همچنین 94.6 درصد تطابق را در تمام پاسخ‌های خود نشان داد و حداقل یک بینش مهم (چیزی که بدیع، غیر آشکار و از نظر بالینی معتبر بود) برای 88.9 درصد از پاسخ‌های خود ایجاد کرد. شایان ذکر است، ChatGPT بهتر از PubMedGPT، یک مدل آنالوگ که منحصراً بر روی ادبیات زیست پزشکی آموزش داده شده بود، عملکرد بهتری داشت و در مجموعه سوالات قدیمی‌تر به سبک USMLE، 50.8٪ امتیاز کسب کرد.

اگرچه اندازه ورودی نسبتاً کوچک، عمق و دامنه تحلیل‌ها را محدود می‌کرد، نویسندگان خاطرنشان می‌کنند که یافته‌های آنها نگاهی اجمالی به پتانسیل ChatGPT برای بهبود آموزش پزشکی و در نهایت عملکرد بالینی ارائه می‌دهد. به عنوان مثال، آنها اضافه می‌کنند که پزشکان در AnsibleHealth در حال حاضر از ChatGPT برای بازنویسی گزارش‌های سنگین برای درک آسان‌تر توسط بیماران استفاده می‌کنند.

نویسندگان می‌گویند: «دستیابی به یک نمره مثبت در این آزمون تخصصی دشوار و انجام آن بدون هیچ گونه تقویت انسانی، نقطه عطف قابل توجهی در بلوغ بالینی هوش مصنوعی است».

نویسنده دکتر تیفانی کونگ افزود که نقش ChatGPT در این تحقیق فراتر از موضوع مطالعه است: “ChatGPT کمک قابل توجهی به نوشتن [our] دست‌نوشته… ما به‌عنوان یک همکار با ChatGPT بسیار تعامل داشتیم و از او می‌خواستیم که پیش‌نویس‌های در دست اجرا را ترکیب، ساده‌سازی و ارائه کند… همه نویسندگان از نظرات ChatGPT قدردانی کردند.”