مدل Reflection 70B نوید زیادی برای هوش مصنوعی داشت، اما اکنون سازندگان آن متهم به کلاهبرداری هستند – این چیزی است که اشتباه انجام شده است.

پروین میرمیران12 سپتامبر 2024آخرین به روز رسانی: 12 سپتامبر 2024

0 2,659 خواندن این مطلب 2 دقیقه زمان میبرد

Adobe Firefly AI image of a Llama looking in a mirror

سازندگان بازتاب 70Bنسخه بهبودیافته Meta Llama 70B که اخیراً به عنوان بهترین مدل هوش مصنوعی منبع باز جهان معرفی شد، پس از متهم شدن به کلاهبرداری افتتاح شد.

طبق آزمایش‌های مستقل انجام‌شده توسط Artificial Analysis، این مدل به وعده‌های OthersideAI، شرکت سازنده Reflection 70B و Matt Shumer، مدیرعامل HypeWrite عمل نمی‌کند. شومر، که در ابتدا این اختلافات را به مشکل در فرآیند بارگذاری مدل نسبت داد، بعداً اعتراف کرد که ممکن است بیش از حد از ادعاهای خود غافل شده باشد.

اما منتقدان در جامعه تحقیقاتی هوش مصنوعی تا آنجا پیش رفته‌اند که شومر را به تقلب متهم می‌کنند و بیان می‌کنند که این مدل به جای نسخه اصلاح‌شده Meta Llama، پوشش نازکی بر اساس Anthropic’s Claude است.

ناسازگاری ها پس از ارزیابی شخص ثالث ظاهر می شود

زمانی که این پروژه را اعلام کردم از خودم غافل شدم و متاسفم. این قصد من نبود. بر اساس اطلاعاتی که اکنون در اختیار داریم، تصمیم گرفتم این رویکرد جدید را اجرا کنم. من می دانم که بسیاری از شما در مورد پتانسیل این موضوع هیجان زده بودید و اکنون شک دارید.10 سپتامبر 2024

Reflection 70B که توسط استارتاپ HyperWrite AI مستقر در نیویورک توسعه یافته است، توسط مدیر عامل شرکت، مت شومر، به عنوان “بهترین مدل منبع باز جهان” توصیف شد.

اما در 7 سپتامبر، یک روز پس از اعلام شومر در مورد X، آنالیز مصنوعی Reflection گزارش داد که ارزیابی 70B نتایج بسیار کمتری نسبت به ادعاهای شومر به همراه داشت. شومر این موارد را به یک خطای بارگذاری که بر وزن‌های مدل تأثیر می‌گذارد نسبت داد، که باعث اختلاف بین API سفارشی شومر و وزن‌های بارگذاری‌شده در مخزن مدل Hugging Face شد.

با این حال، تجزیه و تحلیل بیشتر توسط جامعه هوش مصنوعی بر روی پلتفرم هایی مانند Reddit و Github نشان داد که عملکرد Reflection 70B به Meta Llama 3 به جای Llama 3.1 که شومر ادعا کرد، نزدیک تر است. هنگامی که شومر مشخص شد که شومر به Glaive علاقه نامعلومی دارد، شک و تردیدها بیشتر شد، پلتفرمی که مدل ادعا می‌کرد برای تولید داده‌های آموزشی مصنوعی استفاده می‌شد.

برخی پیشنهاد کرده‌اند که Reflection 70B یک لفاف است که بر روی مدل اختصاصی هوش مصنوعی Anthropic، Claude 3 ساخته شده است. در 8 سپتامبر، کاربر X، Shin Megami Boson، مت شومر را به ارتکاب “کلاهبرداری در جامعه تحقیقاتی هوش مصنوعی” متهم کرد.

HypeWrite پس از اتهامات کلاهبرداری سکوت را می شکند

من می خواهم به سردرگمی و انتقاد موجهی که این امر در جامعه ایجاد کرده است بپردازم. من در حال حاضر در حال بررسی علت این موضوع هستم و در اسرع وقت یک خلاصه شفاف را به اشتراک خواهم گذاشت. دو حوزه وجود دارد که می خواهم پوشش دهم و در حال تحقیق در مورد آنها هستم: -… https://t.co/NSjx6oqPRo10 سپتامبر 2024

وقتی بحث شروع شد، ابتدا سکوت کرد. شومر یک پاسخ عمومی منتشر کرد در 10 سپتامبر، از طریق X، او شک و تردید در مورد عملکرد مدل را تایید کرد. او مدعی شد که یک تیم در حال کار برای درک اشتباه بوده است و قول داد که پس از دریافت حقایق شفافیت را انجام دهند.

با این حال، شومر توضیح روشنی برای تفاوت عملکرد ارائه نکرد. Sahil Chaudhary، بنیانگذار Glaive، پلتفرمی که شومر گفته است برای آموزش Reflection 70B استفاده شده است، همچنین اذعان کرد که در مورد قابلیت‌های این مدل ابهام وجود دارد و امتیازات بنچمارک تحسین‌شده قابل تکرار نیستند.

منتقدان تاکنون از پاسخ شومر راضی نبوده اند. شرکت تحلیلی GlobalVillageSpace گزارش داد: “توضیحات و عذرخواهی شومر نمی تواند توضیح رضایت بخشی برای اختلافات ارائه دهد.” یوچن جین، یکی از بنیانگذاران Hyperbolic Labs، از عدم شفافیت ابراز ناامیدی کرد و خواستار توضیحات جامع تری از شومر شد.