شناسایی روش جدید مقابله با حملات تزریق پرامپت به هوش مصنوعی

محققان Tracebit روشی جدید به نام "Context Bombing" را برای مقابله با حملات تزریق پرامپت به مدل‌های زبان بزرگ (LLM) کشف کرده‌اند. این روش با قرار دادن دستورات ممنوعه در کنار اطلاعات حساس، باعث توقف فعالیت عامل‌های هک‌کننده هوش مصنوعی می‌شود. حملات تزریق پرامپت (Prompt Injection) ابزاری رایج برای مهاجمان است که با جاسازی دستورات مخرب در محتوا، مدل‌های زبان بزرگ را وادار به انجام اقدامات ناخواسته می‌کنند. این دستورات می‌توانند منجر به سرقت داده‌های حساس یا سایر اقدامات مضر شوند. اکنون، محققان Tracebit دریافته‌اند که می‌توان از همین تکنیک برای دفاع در برابر حملات هوش مصنوعی استفاده کرد. آن‌ها با قرار دادن پرامپت‌های ممنوعه در کنار رمزهای عبور و کلیدهای رمزنگاری ذخیره‌شده در Amazon Web Services، حملات عامل‌های هک‌کننده هوش مصنوعی را متوقف کرده‌اند. این پرامپت‌ها مدل مهاجم را به انجام عملی وادار می‌کنند که توسط مکانیزم‌های ایمنی آن ممنوع شده است و در نتیجه LLM از کار می‌افتد.

این روش با قرار دادن دستورات ممنوعه در کنار اطلاعات حساس، باعث توقف فعالیت عامل‌های هک‌کننده هوش مصنوعی می‌شود.

Tracebit این تکنیک را "Context Bombing" نامیده است. آزمایش‌های اولیه نشان می‌دهد که این روش پتانسیل بالایی دارد. در آزمایش‌ها، مدل‌های Opus 4.8، Gemini 3.1 Pro، GLM 5.2، DeepSeek 4 Pro و Kimi 2.6 در یک محیط شبیه‌سازی‌شده AWS با دستوراتی برای انجام وظایف توسعه‌دهنده مواجه شدند. نتایج نشان داد که قرار دادن یک رشته ممنوعه در یک رمز جعلی، نرخ دستیابی عامل‌ها به دسترسی کامل مدیر حساب را از ۵۷ درصد به ۵ درصد و سازش کامل (با ایجاد پایگاه دائمی) را از ۳۶ درصد به ۱ درصد کاهش داد. به عنوان مثال، Opus 4.8 که در ۹۳ درصد موارد به دسترسی مدیر دست می‌یافت، در مواجهه با یک Context Bomb در تمام موارد شکست خورد. این تحقیق بر اساس یافته‌های ماه می Tracebit است که در آن روشی برای هشدار به مدافعان در مورد حملات عامل‌های هوش مصنوعی معرفی شد. این روش شامل منابع AWS است که ظاهراً کاربرد مشروعی دارند اما در واقع استفاده نمی‌شوند و در کنار منابع واقعی قرار می‌گیرند. هنگامی که عامل هوش مصنوعی این منابع را بررسی می‌کند، هشداری برای مدافعان ارسال می‌شود. انگیزه توسعه Context Bombing از نیاز به روشی برای توقف حملات، به جای صرفاً هشدار دادن در مورد آن‌ها، نشأت گرفت. در آزمایش‌ها، مدل‌های عامل به‌طور متوسط ۱۴ دقیقه برای ارتقاء به کنترل مدیریتی زمان نیاز داشتند، در حالی که هشدار شش دقیقه‌ای بسیار نزدیک به زمان حمله بود. مهاجمان پیش از این از تزریق پرامپت برای از کار انداختن دفاعیات هوش مصنوعی در شبکه‌ها استفاده کرده‌اند. به عنوان مثال، محققان Socket ماه گذشته یک عامل LLM را کشف کردند که مدل‌های هدف را به ارائه دستورالعمل‌هایی برای ساخت بمب هسته‌ای یا سلاح‌های بیولوژیکی هدایت می‌کرد. این تزریق‌ها برای از کار انداختن تحلیل بدافزار با کمک هوش مصنوعی طراحی شده بودند. به نظر می‌رسد Context Bombing اولین مورد شناخته‌شده‌ای است که مدافعان از این تکنیک به نفع خود استفاده کرده‌اند. تاکنون هیچ راه حل شناخته‌شده‌ای برای ریشه‌کن کردن تزریق پرامپت وجود ندارد و توسعه‌دهندگان مجبور به ساخت مکانیزم‌های ایمنی پیچیده برای جلوگیری از انحراف LLMها شده‌اند. اکنون مدافعان ممکن است راهی برای استفاده از این مشکل حل‌نشدنی به نفع خود پیدا کنند. منبع: Wired