گوگل تأیید کرده مدل هوش مصنوعی جمینای (Gemini) در جریان ارزیابیهای امنیت سایبری، بهخاطر خطای تعیین دامنه (Scoping)، به سیستمهای سه شرکت واقعی نفوذ کرده است. این ارزیابیها در ماه مه و توسط شرکت امنیتی شخص ثالث Irregular برای سنجش توانایی خودمختار مدل در عملیات تیم قرمز (Red Teaming) انجام میشد.
چه اتفاقی افتاد؟
بررسیها نشان میدهد جمینای با استفاده از جمعآوری اطلاعات منبعباز (OSINT) و حدس اعتبارنامه (Credential Guessing) به نفوذ اولیه رسید. ریشه این نشت عملیاتی، تشابه اسمی اهداف شبیهسازیشده در سندباکس با کسبوکارهای واقعی بود. مدل بهجای ماندن در شبکه هدف، دامنه جستجو را گسترش داد و به زیرساخت واقعی وصل شد.
این گزارش روش حمله را شرح نمیدهد. نکته فنی همان است که گوگل و رسانهها گفتهاند: محدوده تست بهدرستی از دنیای بیرون جدا نشده بود.
گاردریلها کجا وارد شدند؟
با وجود این خطا در طراحی سناریو، مکانیزمهای بازدارنده (Guardrails) مدل بهموقع عمل کردند. جمینای پس از ورود به شبکه و تحلیل متادیتا متوجه شد با محیط عملیاتی واقعی (Production) روبهروست و بلافاصله فرایندهای اکسپلویت و حرکت جانبی (Lateral Movement) را خودکار متوقف کرد.
یعنی آسیب از خطای Scoping آمد، نه از اینکه مدل عمداً از قوانین خارج شده باشد. توقف خودکار بعد از تشخیص محیط واقعی، همان لایهای است که از گسترش بیشتر جلوگیری کرد.
این یک خطای ایزوله نبود
پیشتر هم مدلهای زبانی OpenAI، Anthropic و Meta در تستهای Irregular نشت مشابه به بیرون از محیط آزمایش داشتهاند. تکرار این حوادث نقص معماری تست عاملهای خودمختار را برجسته میکند: اگر محدوده روی کاغذ مشخص باشد ولی در شبکه و هویت هدف قفل نشود، عامل خودمختار همان محدوده را «کشف» میکند، نه اینکه به آن وفادار بماند.
استفاده ایمن در تست نفوذ
استفاده ایمن از هوش مصنوعی در تستهای نفوذ به محدودیت دقیق در سطح شبکه (Network Isolation)، اعتبارسنجی پویای دامنه، و جلوگیری از دسترسی کنترلنشده مدل به اینترنت عمومی در حین سناریوهای تهاجمی نیاز دارد. تشابه نام با شرکت واقعی باید از قبل در طراحی سندباکس حذف شود.
تا وقتی این کنترلها سر جایشان نباشد، عامل خودمختار میتواند از محیط آزمایش به زیرساخت واقعی بلغزد — حتی اگر بعداً خودش توقف کند.