Anthropic: مدل‌های Claude در تست‌های امنیت سایبری به سیستم‌ها نفوذ کردند

Anthropic روز پنجشنبه اعلام کرد که مدل‌های هوش مصنوعی این شرکت در جریان تست‌های امنیت سایبری، به سیستم‌های سه سازمان ناشناس دسترسی غیرمجاز پیدا کرده‌اند. این شرکت می‌گوید Claude از «درون یا در حین تعامل» با یک محیط ارزیابی شخص ثالث به اینترنت دسترسی یافته است. این افشاگری بیش از یک هفته پس از آن صورت می‌گیرد که OpenAI فاش کرد یکی از عوامل هوش مصنوعی آن در یک تست امنیت سایبری جداگانه به Hugging Face نفوذ کرده بود. Anthropic پس از حادثه OpenAI، تصمیم به انجام «بررسی جامع و گذشته‌نگر ارزیابی‌های امنیت سایبری خود» گرفت و این نفوذها را کشف کرد.

Anthropic می‌گوید در هر سه حادثه، Claude با چالش «تصرف پرچم» (capture-the-flag) مواجه شده بود که یکی از روش‌های ارزیابی قابلیت‌های سایبری مدل است.

آزمایشگاه هوش مصنوعی Anthropic ابتدا ۱۴۱,۰۰۶ تست را شناسایی کرد که در آن‌ها Claude می‌توانست به اینترنت دسترسی پیدا کند. سپس مشخص شد که سه مدل مختلف Claude (شامل Opus 4.7، Mythos 5 و یک مدل تحقیقاتی داخلی) در ارزیابی‌های انجام شده توسط شرکت تست هوش مصنوعی شخص ثالث Irregular، به اینترنت دسترسی یافته و به زیرساخت‌های عملیاتی سه سازمان نفوذ کرده‌اند. اولین حوادث در ماه آوریل رخ داده‌اند و احتمالاً ماه‌ها بدون شناسایی عمومی باقی مانده بودند. مانند مورد OpenAI، Anthropic عمداً تدابیر حفاظتی را که برای محدود کردن مدل‌های هوش مصنوعی و جلوگیری از سوءاستفاده از آن‌ها طراحی شده بودند، غیرفعال کرده بود. این نسخه‌ها، مدل‌های عمومی منتشر شده نبودند. Anthropic دلیل این اتفاق را «سوءتفاهم» بین خود و Irregular عنوان کرد. قرار نبود Claude به اینترنت دسترسی داشته باشد، اما Irregular ماشین‌های مورد استفاده برای تست Claude را اشتباه پیکربندی کرده بود و به مدل‌های هوش مصنوعی امکان گشت‌وگذار در وب را می‌داد. Anthropic تاکید کرد که به مدل‌ها گفته شده بود به اینترنت عمومی دسترسی ندارند و در بیشتر موارد، Claude سازمان‌هایی را که به آن‌ها دسترسی پیدا کرده بود، بخشی از محیط تست می‌دانست. به عبارت دیگر، مدل‌ها عمدتاً متوجه نشده بودند که از محدودیت‌ها خارج شده‌اند. اما در برخی موارد، مدل‌های هوش مصنوعی متوجه شدند که چیزی غیرعادی است و به درستی تشخیص دادند که زیرساختی که به آن دسترسی دارند، واقعی است. مدل قدیمی‌تر، Opus 4.7، که وظیفه هدف قرار دادن یک شرکت خیالی با نام مشابه یک دامنه وب‌سایت واقعی را داشت، نتوانست مأموریت خود را در محیط شبیه‌سازی شده انجام دهد و به جای آن به شرکت واقعی روی آورد و با موفقیت اعتبارنامه‌ها را سرقت کرده و به یک پایگاه داده عملیاتی دسترسی یافت. Anthropic و OpenAI هر دو اعلام کرده‌اند که METR، یک ارزیابی‌کننده هوش مصنوعی شخص ثالث دیگر را برای انجام بررسی‌های مستقل از حوادث امنیت سایبری خود استخدام کرده‌اند. Anthropic همچنین متعهد شده است که رویکرد جامع‌تری را برای تست‌های امنیتی خود از طریق بهبود تدابیر دفاعی عمیق‌تر و تست‌های با طراحی دقیق‌تر اتخاذ کند. منبع: Wired