“به جای تایید حدس زدم” – عامل کلود هوش مصنوعی کل پایگاه داده شرکت را در 9 ثانیه حذف می کند
تصور کنید که یک معمار درجه یک را استخدام کنید تا یک شیر آب نشتی را تعمیر کند و او را تماشا کنید که کل خانه را خراب می کند زیرا لوله ها با نقشه های اولیه مطابقت نداشتند.
این دقیقا همان چیزی است که برای PocketOS تازه نصب شده رخ داده است. تیم هنگام استفاده از Cursor (یک ویرایشگر کد محبوب مبتنی بر هوش مصنوعی)، به نماینده داخلی خود موظف شد یک مشکل جزئی را در محیط استیجینگ برطرف کند. اما به جای یک راه حل سریع، هوش مصنوعی سرکش شد. در یک نمایش وحشتناک از کارایی مستقل، او یک سری دستورات را اجرا کرد که کل پایگاه داده تولید شرکت و تمام نسخه های پشتیبان مرتبط را از بین برد.
اما شاید نگرانکنندهترین بخش این بود که عامل بر روی Claude Opus 4.6، پرچمدار Anthropic و بهطور گستردهای پیشرفتهترین و محتاطترین مدل کدنویسی موجود در بازار در حال اجرا بود. علیرغم سابقه خود، هوش مصنوعی اقدامات امنیتی استاندارد را دور زد و زیرساخت های شرکت را در کمتر از ده ثانیه از بین برد.
ادامه مقاله در زیر
منطق کامل، عقل سلیم صفر
جالب ترین بخش این داستان این است که هوش مصنوعی از منطق درونی خود پیروی می کند تا زمانی که به فاجعه ختم شود. زمانی که جر کرین، بنیانگذار PocketOS با هوش مصنوعی مواجه شد و از او پرسید که چگونه می تواند محیط تولید را از بین ببرد، مدل اعتراف صریح کرد. کرین به اشتراک گذاشت که تصدیق کرد که هوش مصنوعی در X ابتدایی ترین قانون امنیتی را نقض می کند: “هرگز با انگشت حدس نزنید.”
در این پست آمده است که هوش مصنوعی به شرح زیر پاسخ داده است:
هوش مصنوعی در پس از مرگ خود نوشت: «پیشبینی میکردم که حذف یک جلد مرحلهبندی از طریق API فقط مرحلهای باشد». “من تأیید نکردم… در حالی که باید ابتدا از شما می پرسیدم یا یک راه حل بی ضرر پیدا می کردم، تصمیم گرفتم خودم این کار را انجام دهم تا عدم تطابق اعتبارنامه را “رفع” کنم.”
در این مورد، هوش مصنوعی توهم آور نبود. عامل یک سری اقدامات منطقی انجام داد که «حل ماموریت» را بر «بقای شرکت» اولویت میداد.
9 ثانیه پاک کنید
برای یک انسان، حذف یک پایگاه داده تولید یک رویداد پر استرس است که به تأییدهای متعدد و دستورات «تایپ DELETE برای تأیید» نیاز دارد. برای عامل کلود در مکان نما، این یک تماس معمولی API بود که فقط 9 ثانیه طول کشید.
در طول این مدت کوتاه، عامل در یک محیط آزمایشی با عدم تطابق اعتبارنامه مواجه شد، تصمیم گرفت که “حجم” فعلی مشکل است، و سپس از یک نشانه API “پتویی” که در کد پیدا کرده بود برای اجرای دستور حذف از طریق ارائه دهنده زیرساخت (Rail) استفاده کرد.
به دلیل نحوه راهاندازی زیرساخت، حذف همزمان حجم، همه نسخههای پشتیبان مرتبط را حذف کرد.
چگونه از خود در برابر فاجعه های عامل هوش مصنوعی محافظت می کنید؟
خطرات امنیتی با تغییر ابزارهایی مانند مکاننما و ChatGPT از «رباتهای چت» به «عاملهایی» که واقعاً میتوانند کد را اجرا کنند، تغییر کردهاند. اگر میخواهید کنترل را به هوش مصنوعی بسپارید، ابتدا برای جلوگیری از فاجعه، موارد زیر را انجام دهید:
- مجوزهای API خود را بررسی کنید: توکن کشف شده توسط هوش مصنوعی دارای دسترسی “ریشه” بود. اطمینان حاصل کنید که کلیدهای API شما “کمترین امتیاز” هستند، که به هوش مصنوعی فقط قدرت لازم برای آن کار را می دهد.
- اجازه دهید «افراد در حلقه» قانون شما باشد: همیشه قبل از اجرای دستورات ترمینال یا جهش های مخرب، مطمئن شوید که تنظیمات عامل هوش مصنوعی شما به تأیید دستی «Y/N» نیاز دارد.
- پشتیبان گیری: اگر هوش مصنوعی اعتبار حساب ابری شما را داشته باشد، میتواند نسخههای پشتیبان شما را حذف کند. از پشتیبانگیری آفلاینی استفاده کنید که به محیط توسعه اصلی شما متصل نیست.
در نتیجه
واضح است که Claude Opus از Anthropic در نوشتن کد، حل مشکلات فنی و حرکت با سرعت ماشین برتر است. من خودم از این استفاده کردم، اما هنوز باید در نظر داشته باشیم که هوش با قضاوت یکی نیست. چیزی که هوش مصنوعی و این سیستمها هنوز فاقد آن هستند، عقل سلیم شرکتی است: غریزه دانستن اینکه حذف یک پایگاه داده فقط فایلها را حذف نمیکند، بلکه میتواند درآمدها را پاک کند، عملکردها را مختل کند و شغل افراد را در معرض خطر قرار دهد.
تا زمانی که هوش مصنوعی نه تنها دستورات، بلکه پیامدهای آن را نیز درک کند، کلید حذف باید کاملاً تحت کنترل انسان باشد. برای اطلاعات بیشتر در مورد چگونگی ایمن ماندن در عصر اتوماسیون، راهنمای ما در مورد بهترین خدمات ذخیره سازی ابری و آخرین توضیح دهندگان ما در مورد ایمنی و امنیت هوش مصنوعی را بررسی کنید.
دنبال کردن راهنمای تام برای Google News و ما را به عنوان منبع ترجیحی اضافه کنید برای مشاهده آخرین اخبار، تحلیل ها و بررسی های ما در فیدهای خود. مشترک شدن در راهنمای تام یوتیوب و ما را دنبال کنید tiktok.