هوش مصنوعی “توهمات” یک تهدید فزاینده برای امنیت شرکت ها است

محققان یک شرکت امنیتی اسرائیلی روز سه شنبه فاش کردند که چگونه هکرها می توانند “توهمات” مولد هوش مصنوعی را به یک کابوس برای زنجیره تامین نرم افزار یک سازمان تبدیل کنند.

در یک پست وبلاگ در وب سایت Vulcan Cyber، محققان Bar Laniado، Ortel Keizman و Yair Divinsky نشان دادند که چگونه می توان از اطلاعات نادرست تولید شده توسط ChatGPT در مورد بسته های نرم افزار منبع باز برای ارائه کدهای مخرب به محیط توسعه استفاده کرد.

آنها توضیح دادند که ChatGPT را دیده اند که URL ها، مراجع، و حتی کتابخانه های کد و توابعی تولید می کند که در واقع وجود ندارند.

آنها خاطرنشان کردند که اگر ChatGPT کتابخانه ها یا بسته های کدی را ساخته باشد، مهاجمان می توانند از این توهمات برای توزیع بسته های مخرب بدون استفاده از تکنیک های مشکوک و از قبل قابل تشخیص مانند تایپوسکوت یا پنهان سازی استفاده کنند.

محققان ادامه دادند که اگر یک هکر بتواند بسته‌ای را برای جایگزینی بسته‌های «جعلی» توصیه‌شده توسط ChatGPT ایجاد کند، ممکن است بتوانند قربانی را برای دانلود و استفاده از آن وادار کنند.

آنها استدلال می کنند که احتمال وقوع این سناریو در حال افزایش است، زیرا توسعه دهندگان بیشتر و بیشتر از دامنه های سنتی برای جستجوی آنلاین راه حل های کد مانند Stack Overflow به راه حل های AI مانند ChatGPT مهاجرت می کنند.

در حال حاضر بسته های مخرب تولید می کند

دانیل کندی، مدیر تحقیقات امنیت اطلاعات و شبکه‌ها در 451 Research که بخشی از S&P Global است، توضیح داد: نویسندگان پیش‌بینی می‌کنند که با محبوب‌تر شدن هوش مصنوعی مولد، شروع به دریافت سؤال‌هایی از توسعه‌دهندگان خواهد کرد که زمانی به Stack Overflow می‌رفتند. Market Intelligence، یک شرکت تحقیقاتی بازار جهانی.

او به دیجیتال تو گفت: «پاسخ به این سؤالات ایجاد شده توسط هوش مصنوعی ممکن است درست نباشد یا ممکن است به بسته‌هایی اشاره داشته باشد که دیگر وجود نداشته یا هرگز وجود نداشته‌اند». یک ناظر بد که می تواند یک بسته کد با آن نام ایجاد کند تا کدهای مخرب را شامل شود و به طور مداوم آن را از ابزار هوش مصنوعی مولد به توسعه دهندگان توصیه کند.

او افزود: «محققان Vulcan با اولویت‌بندی سؤالات متداول در Stack Overflow به عنوان سؤالاتی که از هوش مصنوعی می‌پرسیدند، قدمی فراتر گذاشتند و دیدند که بسته‌هایی که وجود نداشتند در کجا توصیه می‌شوند.»

به گفته محققان، آنها از Stack Overflow برای دریافت متداول ترین سوالات برای بیش از 40 موضوع سوال کردند و از 100 سوال برتر برای هر موضوع استفاده کردند.

سپس از طریق API آن، ChatGPT همه سؤالاتی را که جمع آوری کرده بودند پرسیدند. آنها از API برای تکرار رویکرد مهاجم برای دریافت هرچه بیشتر توصیه‌ها برای بسته‌های موجود در کمترین زمان استفاده کردند.

در هر پاسخ، آنها به دنبال الگویی در دستور نصب بسته می گشتند و بسته پیشنهادی را بازیابی می کردند. سپس بررسی کردند که آیا بسته پیشنهادی وجود دارد یا خیر. اگر نه، خودشان سعی کردند آن را منتشر کنند.

نرم افزار Kludging

Henrik Plait، محقق امنیتی در آزمایشگاه‌های Endor، یک شرکت مدیریت وابستگی در پالو آلتو، کالیفرنیا، خاطرنشان کرد: بسته‌های مخرب تولید شده با کد ChatGPT قبلاً در نصب‌کننده‌های بسته PyPI و npm مشاهده شده‌اند.

او همچنین می‌گوید: «الگوهای بزرگ زبان همچنین می‌توانند از مهاجمان در ایجاد انواع بدافزارهایی که منطق یکسانی دارند اما شکل و ساختار متفاوتی دارند، برای مثال با پخش کدهای مخرب در عملکردهای مختلف، تغییر شناسه‌ها، ایجاد نظرات جعلی و کد مرده یا تکنیک‌های مشابه، پشتیبانی کنند.» به دیجیتال تو گفت.

ایرا وینکلر، مدیر ارشد امنیت اطلاعات در CYE، ارائه‌دهنده جهانی فناوری‌های امنیتی نرم‌افزار خودکار، خاطرنشان کرد: مشکل امروز نرم‌افزار این است که خود نوشته نمی‌شود.

او به دیجیتال تو گفت: «این اساساً از نرم‌افزارهای زیادی که از قبل وجود دارد جمع‌آوری شده است. “این بسیار کارآمد است، بنابراین توسعه دهنده مجبور نیست یک تابع عمومی را از ابتدا بنویسد.”

با این حال، این می تواند منجر به وارد کردن کد توسط توسعه دهندگان بدون بررسی صحیح شود.

یوسف هاروش، رئیس امنیت زنجیره تامین نرم‌افزار در Checkmarx، یک شرکت امنیتی برنامه در تل‌آویو، اسرائیل، گفت: «به کاربران ChatGPT دستور داده می‌شود بسته‌های نرم‌افزاری منبع باز را نصب کنند که می‌توانند بسته‌های مخرب را نصب کنند در حالی که فکر می‌کنند قانونی است.

او به دیجیتال تو گفت: «به طور کلی، فرهنگ اجرای کپی پیست خطرناک است. همانطور که تیم تحقیقاتی Vulcan نشان داد، انجام این کار کورکورانه از منابعی مانند ChatGPT می تواند منجر به حملات زنجیره تامین شود.

منابع کد خود را بشناسید

ملیسا بیشاپینگ، مدیر تحقیقات امنیت نقطه پایانی در Tanium، ارائه‌دهنده مدیریت همگرای نقطه پایانی مستقر در کرکلند در واشنگتن، همچنین نسبت به استفاده آزاد از کد شخص ثالث هشدار داد.

او به دیجیتال تو گفت: «شما هرگز نباید کدی را که نمی‌فهمید و آزمایش نکرده‌اید، فقط با گرفتن آن از یک منبع دلخواه دانلود و اجرا کنید.

او توصیه کرد: “هر کدی که قصد اجرای آن را دارید باید از نظر امنیتی ارزیابی شود و باید کپی های شخصی آن را داشته باشید.” “مستقیماً از مخازن عمومی مانند مخازن مورد استفاده در حمله Vulcan وارد نکنید.”

او افزود که حمله به زنجیره تامین از طریق کتابخانه های شخص ثالث مشترک یا وارداتی جدید نیست.

او هشدار داد: «استفاده از این استراتژی ادامه خواهد داشت، و بهترین دفاع استفاده از شیوه‌های کدگذاری ایمن و آزمایش و بازبینی دقیق کد – به‌ویژه کد توسعه‌یافته توسط شخص ثالث – برای استفاده در محیط‌های تولید است.»

او هشدار داد: کورکورانه به هر کتابخانه یا بسته ای که در اینترنت یا در چت هوش مصنوعی می یابید اعتماد نکنید.

دان لورنز، مدیر عامل و یکی از بنیانگذاران Chaingard، سازنده راه حل های امنیتی زنجیره تامین نرم افزار مستقر در سیاتل، اضافه کرد که منشأ کد خود را بدانید.

او به دیجیتال تو گفت: «اصالت توسعه‌دهنده، تأیید شده از طریق تعهدات و بسته‌های امضا شده، و دریافت مصنوعات منبع باز از منبع یا فروشنده‌ای که می‌توانید به آن اعتماد کنید، تنها مکانیسم‌های واقعی درازمدت برای جلوگیری از این حملات به سبک Sybil علیه منبع باز هستند».

دوره های اولیه

Bud Broomhead، مدیر عامل Viakoo، توسعه‌دهنده نرم‌افزارهای امنیت فیزیکی و سایبری در Mountain View، کالیفرنیا، خاطرنشان کرد: اما احراز هویت کد همیشه آسان نیست.

او به دیجیتال تو گفت: «بسیاری از انواع دارایی‌های دیجیتال – و به‌ویژه دستگاه‌های IoT/OT – هنوز فاقد امضای دیجیتال یا سایر اشکال اعتماد در میان‌افزاری هستند که بهره‌برداری را ممکن می‌سازد.

ما در ابتدای راه هستیم که از هوش مصنوعی مولد برای حمله سایبری و دفاع استفاده می شود. به Vulcan و سایر سازمان‌هایی که به موقع تهدیدات جدید را شناسایی و هشدار می‌دهند تا مدل‌های یادگیری زبان برای جلوگیری از این نوع سوءاستفاده تنظیم شود، اعتبار می‌کنیم.»

او ادامه داد: «به یاد داشته باشید، فقط چند ماه پیش می‌توانستم از Chat GPT بخواهم بدافزار جدیدی ایجاد کند، و این کار را کرد. اکنون برای ایجاد ناخواسته آن به راهنمایی بسیار خاص و هدفمند نیاز است. و امیدواریم که حتی این رویکرد نیز به زودی توسط موتورهای هوش مصنوعی خنثی شود.