گوگل تایید کرد که مدل هوش مصنوعی جمینای در ماه می توانسته است به امنیت سه شرکت نفوذ کند؛ گزارشی که وبسایت www.theguardian.com منتشر کرده است. این اتفاقات در جریان ارزیابیهای امنیتی شرکت Irregular رخ داد. رخنهها زمانی به وقوع پیوست که دسترسی به شبکه در محیطی که قرار بود بسته باشد، به طور اتفاقی فعال شد و مدل به جای هدف قرار دادن شرکتهای مجازی، به سیستمهای واقعی وارد شد.
Irregular و ارزیابیهای امنیتی
این استارتاپ اسرائیلی که تخصصش بررسی امنیت سیستمهای پیشرفته هوش مصنوعی است، سابقه شناسایی نفوذ مدلهای OpenAI و Anthropic به سازمانهای ثالث را دارد. برای نمونه، نفوذ OpenAI به شرکت Hugging Face توسط همین مجموعه شناسایی شده بود.
طبق گزارش وال استریت ژورنال، Irregular مدلها را در محیطی ایزوله و با استفاده از شرکتهای مجازی آزمایش میکرد تا هرگونه تعامل مدل با دنیای واقعی قطع شود. اما فعال شدن ناگهانی دسترسی به اینترنت باعث شد مدلها از محیط شبیهسازی خارج شوند.
جزئیات نفوذ جمینای و خطای شبکهای
هدر ادکینز، نایب رئیس مهندسی امنیت گوگل، در توضیح جزئیات فنی این حادثه گفت که مدل در حال انجام یک ارزیابی استاندارد بوده و اطلاعات عمومی را در وب جستجو میکرده است.
مدل در یک ارزیابی استاندارد، اطلاعات عمومی را در فضای وب جستجو کرد و برای دسترسی به وبسایتهایی که گمان میکرد بخشی از تست هستند، رمزهای عبور را حدس زد. در هر سه مورد، مدل متوقف شد.
در یکی از این موارد، هدف Gemini استخراج اطلاعات از یک شرکت صوری بود که اتفاقاً همنام با یک سازمان واقعی بود. اتصال اتفاقی به اینترنت باعث شد مدل با حدس زدن درست رمز عبور، به سرویس شرکت واقعی نفوذ کند. گوگل مدعی است به محض تشخیص واقعی بودن هدف، عملیات را متوقف کرد.
دو مورد دیگر از نفوذ از طریق جستجو در وب اتفاق افتاد. مدل مخازن عمومی حاوی اطلاعات دسترسی به دو شرکت دیگر را پیدا کرد و از آنها برای ورود به سیستمها استفاده کرد. گوگل تایید کرد در این موارد نیز پس از شناسایی واقعی بودن شرکتها، مدل متوقف شد.
نحوه برخورد گوگل و OpenAI در افشای این موضوع کاملاً متفاوت است. OpenAI حملات سایبری را داوطلبانه فاش کرد، اما گوگل چنین نکرد و مدعی است تنها شرکتهای هدف را در جریان قرار داده است. Guardian تایید کرد که این هکها رخ دادهاند اما چون آسیبی به شرکتها وارد نشده، گوگل نیازی به افشای عمومی نمیدید.
واکنش برنی سندرز و داریو آمودی
افشاگریهای Anthropic و OpenAI موجی از نگرانیهای سیاسی و صنعتی ایجاد کرد. برنی سندرز، سناتور مستقل، با این باور که شرکتهای فناوری دیگر قادر به کنترل مدلهای قدرتمند خود نیستند، خواستار توقف توسعه این فناوری شد.
در سطح صنعتی، OpenAI توسعه مدلهای خود را به مدت دو هفته متوقف کرد تا مسائل امنیتی را بررسی کند. داریو آمودی، مدیرعامل Anthropic نیز خواستار کاهش سرعت جمعی در توسعه هوش مصنوعی شد و تاکید کرد پیشرفتهترین مدلها باید با تدابیر امنیتی سختگیرانهتر ساخته شوند تا از حوادث مشابه جلوگیری شود.
این اتفاقات در حالی رخ داد که گوگل در اواخر ماه جولای متوجه نفوذ OpenAI به Hugging Face شده بود. حالا فشارها بر گوگل افزایش یافته تا شفافیت بیشتری درباره رفتارهای پیشبینی نشده مدلهای خود داشته باشد.
چشمانداز آموزش رفتار مسئولانه
گوگل بر این باور است که این حوادث اهمیت آموزش مدلهای هوش مصنوعی برای رفتار مسئولانه را برجسته میکند. تمرکز آینده بر این است که مدلها بتوانند مرز بین محیط تست و محیط واقعی را تشخیص دهند.
با توجه به رشد سریع ابزارهایی مانند دستیار هوش مصنوعی Muse متا و مدلهای مشابه، احتمال تکرار این خطاها در صورت عدم نظارت سختگیرانه زیاد است. صنعت هوش مصنوعی باید بین سرعت نوآوری و امنیت زیرساختی تعادل برقرار کند تا مدلها به جای ابزار کمک، به تهدید امنیتی تبدیل نشوند.
میتوانید جزئیات بیشتر درباره گزارشهای امنیتی را در وبسایت وال استریت ژورنال دنبال کنید.
این حادثه نشان میدهد که مفهوم محیط ایزوله یا سندباکس در هوش مصنوعی هنوز کامل نیست. وقتی یک مدل قدرتمند به طور اتفاقی به اینترنت دسترسی پیدا میکند، میتواند رفتارهای تهاجمی مانند حدس زدن رمز عبور یا جستجوی حفرههای امنیتی در مخازن عمومی را به طور خودکار اجرا کند و همین موضوع خطر نفوذهای ناخواسته را در آینده افزایش میدهد.
سؤالات متداول
مدل جمینای چگونه به شرکتها نفوذ کرد؟
جمینای از دو روش استفاده کرد: اول با حدس زدن رمزهای عبور وبسایتهایی که گمان میکرد بخشی از تست هستند و دوم با یافتن اطلاعات دسترسی در مخازن عمومی وب.
نقش شرکت Irregular در این ماجرا چه بود؟
Irregular یک استارتاپ اسرائیلی است که امنیت مدلهای AI را ارزیابی میکند و این رخنهها در جریان آزمایشهای همین شرکت شناسایی شد.
واکنش OpenAI به این نگرانیهای امنیتی چه بود؟
OpenAI توسعه مدلهای خود را به مدت دو هفته متوقف کرد تا مسائل امنیتی را بازبینی کند.
