محققان دریافتند که یک نظر 13 کلمه ای Reddit می تواند جستجوگران هوش مصنوعی را فریب دهد تا کلاهبرداری را توصیه کنند
دفعه بعد که از یک ربات چت هوش مصنوعی بهترین برنامه دوستیابی، یک سرویس قابل اعتماد کنار جاده یا نحوه لغو اشتراک ناامیدکننده را بپرسید، ممکن است پاسخی که دریافت می کنید توسط یک بازاریاب یا کلاهبردار درج شده باشد و از 13 کلمه در نظر ردیت استفاده شده باشد.
این نتیجهگیری از پیشچاپ جدید Cornell Tech با عنوان «ممکن است عوامل تحقیقاتی عمیق از طریق محتوای تولید شده توسط کاربر مسموم شوند» است که برای اولین بار توسط 404 Media گزارش شد. محققان Tingwei Zhang، Harold Triedman و Vitaly Shmatikov حملهای را توسعه دادهاند که آن را WARP (مسمومیت بازیابی عامل وب) مینامند و نشان دادهاند که با قابلیت اطمینان نگرانکنندهای در برابر سیستمهای هوش مصنوعی که به طور فزاینده بین شما و وب باز قرار میگیرند، کار میکند.
آنچه که مطالعه در واقع نشان داد
وقتی از یک ابزار هوش مصنوعی سؤالی میپرسید، این ابزار معمولاً جستجوهای زنده وب را انجام میدهد، آنچه را که پیدا میکند میخواند و پاسخ را با نقل قول ترکیب میکند. این همچنین در مورد رویکرد “تحقیق عمیق” در پشت حالت های تحقیقاتی ChatGPT و Gemini صدق می کند.
مشکل اینجاست که بیشتر مطالبی که این سیستمها میخوانند از سایتهای تولید شده توسط کاربر مانند Reddit، Wikipedia، Quora و YouTube میآیند، مکانهایی که هر کسی میتواند در آن پست بگذارد. در آزمایشهای کرنل، تقریباً 17 تا 23 درصد از تمام صفحات وب که توسط این عوامل طراحی میشوند، از چنین سایتهایی میآیند و یک موضوع محبوب Reddit میتواند در بسیاری از جستجوهای مرتبط در مورد همان موضوع نشان داده شود.
این یک نقطه خفگی ایجاد می کند. اگر موضوعی را مسموم کنید که اغلب به آن اشاره می شود، می توانید پاسخ هوش مصنوعی را نه فقط برای یک جمله، بلکه برای کل دسته سؤالات دستکاری کنید.
در آزمایشهای محققان، افزودن حدود 13 کلمه متن تبلیغاتی به یک منبع واحد، هوش مصنوعی را قادر میسازد تا نام یک محصول ساختهشده را در حدود 38 تا 51 درصد از مطالعاتی که در آن منبع واقعاً ذکر شده است، حذف کند. پخش طعمه در چند رشته این میزان را تا 62 درصد افزایش داد.
نمونه های واقعی (جعلی).
برای جلوگیری از آلودگی اینترنت زنده، این تیم هرگز چیزی را به صورت عمومی منتشر نکرد. در عوض، آنها حمله را در یک جعبه شنی انجام دادند که شبیه سازی می کرد اگر متن مسموم در صفحات واقعی ظاهر شود، چه اتفاقی می افتد. آنها استدلال کردند که این رویکرد تنها راه اخلاقی برای بررسی این موضوع است.
شایان ذکر است که دقیقاً چه چیزی مورد آزمایش قرار گرفته است: کل حمله به صورت سرتاسری در برابر سه عامل منبع باز “کاوی عمیق” انجام شد: STORM، Co-STORM، و OmniThink. ابزارهای تجاری اصلی را نمیتوان مستقیما مورد حمله قرار داد (انجام این کار اینترنت زنده را مسموم میکرد)، بنابراین محققان در عوض تعداد دفعات ذکر محتوای تولید شده توسط کاربر را اندازهگیری کردند.
در آنجا تصویر مختلط بود. تحقیقات عمیق Gemini گوگل چنین محتوایی را بسیار بیشتر از تحقیقات عمیق OpenAI (حدود 12٪ استنادها) دریافت می کند (حدود 12٪ از استنادها). این تحقیق به سختی از این محتوا (0.4٪) استناد کرده است و به نظر می رسد که آن را به شدت فیلتر می کند. به عبارت دیگر، این دلیلی بر این نیست که هر چت ربات مصرف کننده در طبیعت فریب خورده است، بلکه یک ضعف اثبات شده در نحوه عملکرد این سیستم ها است.
نمونه های اختراع شده تقریباً به طرز خنده دار ساده ای هستند. یک خط کوتاه به یک رشته غذایی در آستین اضافه شد که رستورانی خیالی به نام “Sol Azteca” را برای “غذای اصیل” توصیه می کرد، هوش مصنوعی را بر آن داشت که Sol Azteca را توصیه کند و پست Reddit را نقل کند. “SilverPath”، یک برنامه دوستیابی ساخته شده، به عنوان “بهترین گزینه” برای مردان مطلقه بالای 50 سال ظاهر شده است. سایر برنامه های جعلی شامل یک ارز دیجیتال جعلی و یک “سرویس” شخص ثالث برای لغو Xfinity است.
چرا این باید شما را نگران کند؟
در اینجا قسمت آزاردهنده برای همه کاربران هوش مصنوعی است: بیشترین آسیب پذیری در برابر این حمله دقیقا همانهایی هستند که مردم به انجام آنها به هوش مصنوعی اعتماد دارند. سوالات سبک مشاوره و توصیه. جستجوهایی مانند بهترین رستورانها، بهترین برنامهها، محصولی که بخریم، چگونه چیزی را لغو کنیم، با چه کسی در مواقع اضطراری تماس بگیریم، همگی حوزههایی هستند که هوش مصنوعی به جای منابع معتبر به مکالمات جامعه متکی است.
محققان توضیح میدهند که دلیل بزرگی که باعث میشود این کار انجام شود این است که این سیستمها اغلب متنی را که مانند سؤال شما خوانده میشود، جایگزین متن صحیح میکنند. بنابراین مهاجمی که پرسشهای رایج را بررسی میکند ممکن است نظری بنویسد که بیانیههای شما را منعکس کند، و این تصویر آینه چیزی است که اعتماد هوش مصنوعی را جلب میکند. همانطور که ژانگ به 404 Media گفت، این سیستم ها یک نظر تصادفی Reddit و یک وب سایت دولتی را تقریباً به یک اندازه قابل اعتماد ارزیابی می کنند.
در حال حاضر چه کاری می توانید انجام دهید؟
- توصیه های هوش مصنوعی را به عنوان راهنما در نظر بگیرید، نه به عنوان کلمه پایانی. این مخصوصاً برای محصولات، برنامهها، رستورانها، انتخابهای مالی و هر چیزی که مربوط به پول یا امنیت باشد.
- روی نقل قول ها کلیک کنید. اگر هوش مصنوعی برندی را با اطمینان نام می برد، ببینید این ادعا از کجا می آید. یک نظر Reddit یک پرچم قرمز است.
- اسامی ناآشنا را بررسی کنید. اگر در مورد گزینه “بالاترین رتبه” که هوش مصنوعی به تازگی ارائه کرده نشنیده اید، قبل از اعتماد به آن به طور مستقل آن را جستجو کنید.
- با سوالات فوری بیشتر مراقب باشید. همه چیز اطلاعاتی مانند کمک های اضطراری جاده ای، شماره تلفن خدمات مشتری و بازیابی حساب، اهداف اصلی کلاهبرداری ها هستند.
و مشکل دشوار این است که نمی توان آن را به راحتی متوقف کرد. محققان دفاعهای آشکاری مانند مسدود کردن کامل سایتهای تولید شده توسط کاربر، اسکن منابع قبل از استفاده و اسکن پاسخ نهایی برای دستکاری را آزمایش کردند و هیچ کدام بدون بدتر کردن پاسخهای هوش مصنوعی کار نکردند. یک ترفند استاندارد برای جمعآوری زبالههای تولید شده توسط هوش مصنوعی (پرچمگذاری متن «غیرطبیعی») در اینجا واقعاً نتیجه معکوس داشت، زیرا متن جاسازیشده روانتر و نه کمتر از نظرات واقعی انسان میخواند.
یکی از سخنگویان Reddit به 404 Media گفت که این شرکت به مدت دو دهه با هرزنامهها، رباتها و دستکاری هماهنگ مبارزه کرده است و اخیراً شروع به بررسی درخواستهای حسابهای خودکار مشکوک برای تأیید انسانی بودن آنها کرده است. اما محققان استدلال می کنند که این در نهایت یک مشکل در مقیاس اجتماعی است، مشکلی که Reddit یا Wikipedia نمی توانند به تنهایی آن را به طور کامل حل کنند.
غذای آماده
تا زمانی که شرکتهای هوش مصنوعی این شکاف را برطرف نکنند، کمی شک و تردید میتواند راه درازی داشته باشد. هوشمندانه ترین حرکت در حال حاضر این است که به هوش مصنوعی به عنوان یک بیگانه پرحرف در شکل فکر کنیم. آن را مفید در نظر بگیرید، اما قطعا ارزش بررسی مجدد را دارد.
آماندا کاسول را دنبال کنید و از منحنی هوش مصنوعی جلوتر بمانید
دنبال کردن راهنمای تام برای Google News و ما را به عنوان منبع ترجیحی اضافه کنید برای مشاهده آخرین اخبار، تحلیل ها و بررسی های ما در فیدهای خود. مشترک شدن در راهنمای تام یوتیوب و ما را دنبال کنید tiktok. در نهایت می توانید از بخش ویژه ما دیدن فرمایید. دفتر مرکزی تیم پس انداز راهنمای تام برای کمک متخصصان برای دریافت بهترین محصولات با قیمت کمتر.