مشخص شده است که دانش آموزان در امتحانات حسابداری بهتر از ChatGPT عمل می کنند

محققان دریافتند که دانش‌آموزان در امتحانات حسابداری بهتر از ChatGPT، محصول chatbot OpenAI عمل می‌کنند.

با این حال، آن‌ها گفتند که عملکرد ChatGPT «تأثیر‌برانگیز» بود و این «تغییرکننده بازی است که روش آموزش و یادگیری همه را تغییر می‌دهد – به سمت بهتر».

محققان دانشگاه بریگهام یانگ (BYU)، ایالات متحده آمریکا و 186 دانشگاه دیگر می‌خواستند دریابند که فناوری OpenAI در امتحانات حسابداری چگونه عمل می‌کند. آنها یافته های خود را در مجله Issues in Accounting Education منتشر کرده اند.

در آزمون حسابداری پژوهشی، دانش آموزان میانگین کلی نمره 76.7 درصد را در مقایسه با نمره ChatGPT 47.4 درصد به دست آوردند.

در حالی که مشخص شد که ChatGPT در 11.3 درصد سوالات بالاتر از میانگین دانش‌آموزان است، به ویژه در سیستم‌های اطلاعات حسابداری (AIS) و حسابرسی خوب عمل می‌کند، ربات هوش مصنوعی در ارزیابی‌های مالیاتی، مالی و مدیریتی عملکرد ضعیف‌تری دارد. محققان معتقدند این ممکن است به این دلیل باشد که ChatGPT با فرآیندهای ریاضی مورد نیاز برای نوع دوم مبارزه می کند.

علاوه بر این، ربات هوش مصنوعی که از یادگیری ماشینی برای تولید متن زبان طبیعی استفاده می‌کرد، در سؤالات درست/نادرست (68.7٪ صحیح) و سؤالات چند گزینه ای (59.5٪) بهتر عمل می‌کرد، اما با سؤالات کوتاه پاسخ دست و پنجه نرم می‌کرد. بین 28.7 و 39.1 درصد).

به طور کلی، محققان گفتند، پاسخ به سؤالات مرتبه بالاتر در ChatGPT دشوارتر است. در واقع، ChatGPT گاهی اوقات برای ارائه توضیحات نوشتاری معتبر برای پاسخ های نادرست یا برای پاسخ دادن به یک سوال مشابه به روش های مختلف یافت می شد.

آنها همچنین دریافتند که ChatGPT اغلب برای پاسخ های خود توضیحاتی ارائه می دهد، حتی اگر آنها نادرست باشند. در سایر موارد، با وجود ارائه توضیحات دقیق، پاسخ چند گزینه ای اشتباه انتخاب می شود.

محققان به طور مهمی خاطرنشان می کنند که ChatGPT گاهی اوقات حقایق را می سازد. به عنوان مثال، هنگامی که او پیوندی را ارائه می دهد، پیوندی واقعی ایجاد می کند که کاملاً ساخته شده است. اثر، و گاهی نویسندگان، حتی وجود نداشتند.

همچنین مشاهده می‌شود که این ربات اشتباهات ریاضی بی‌معنی دارد، مانند جمع کردن دو عدد در یک مسئله تفریق یا تقسیم اشتباه اعداد.

دیوید وود، نویسنده اصلی این مطالعه، استاد حسابداری در دانشگاه BYU، که می‌خواست به بحث‌های مداوم در مورد اینکه مدل‌هایی مانند ChatGPT چگونه بر آموزش تأثیر می‌گذارند، بیفزاید، تصمیم گرفت تا آنجایی که ممکن است استادان را استخدام کند تا ببیند هوش مصنوعی در برابر دانشجویان واقعی حسابداری در دانشگاه چگونه عمل می‌کند. .

پیشنهاد او برای جذب نویسندگان مشترک در رسانه‌های اجتماعی بسیار زیاد شد: 327 نویسنده مشترک از 186 مؤسسه آموزشی در 14 کشور در این مطالعه شرکت کردند و 25181 سؤال را در آزمون حسابداری کلاس درس ارائه کردند.

آنها همچنین دانشجویان BYU را برای دادن 2268 سوال تست کتاب درسی دیگر به ChatGPT استخدام کردند. سوالات مربوط به AIS، حسابرسی، حسابداری مالی، حسابداری مدیریت و مالیات بودند و از نظر سختی و نوع متفاوت بودند (درست/نادرست، چند گزینه ای، پاسخ کوتاه).