شرکت هوش مصنوعی PrimeIntellect اخیراً آموزش مدل جدیدی را با 10 میلیارد پارامتر آغاز کرده است و امیدوار است این کار را با کمک کاربران در سراسر جهان به پایان برساند.
روی آن وبلاگPrimeIntellect گفت که مدل جدید آن، INTELLECT-1، محصول اولین مطالعه آموزشی غیرمتمرکز مدلی در این مقیاس خواهد بود. اما این هنوز حتی با مدل‌های چهار ساله مانند GPT-3 OpenAI فاصله زیادی دارد. بیش از 175 میلیارد پارامتر.
این پروژه با تحقیق بر روی پیاده سازی منبع باز و مقیاس بندی آموزش مدل هوش مصنوعی توزیع شده در سطح جهانی آغاز شد. این روش برای مدلی با اندازه 1 میلیارد پارامتر کار کرد و اکنون مرحله بعدی افزایش ده برابری آن است.
هر چند اندازه همه چیز نیست. مدل‌های جدیدتر مانند Phi مایکروسافت و Llama متا ثابت می‌کنند که شما می‌توانید عملکرد سطح GPT-3 و حتی GPT-4 را با پارامترهای بسیار کمی از طریق بهبود کارایی به دست آورید.
این ما را یک قدم به AGI منبع باز نزدیکتر می کند
PrimeIntellect
هدف این شرکت یافتن راهی برای تحقق آموزش غیرمتمرکز است تا اطمینان حاصل شود که هوش عمومی مصنوعی (AGI)، نسل بعدی هوش مصنوعی، منبع باز، شفاف و در دسترس است. این خطر را کاهش می دهد که تنها چند شرکت بزرگ به این فناوری پیشرفته دسترسی داشته باشند.
در حال حاضر، کاربران فقط می توانند از طریق پلتفرم خود شرکت به پروژه کمک کنند. شما می توانید این کار را با کرایه پردازنده های گرافیکی انتخابی PrimeIntellect، به ویژه پردازنده گرافیکی H100 Tensor Core NVIDIA انجام دهید. این پردازنده گرافیکی حدود 20 دلار در ساعت هزینه دارد. با این حال، در آینده باید بتوانید با تجهیزات خود در آموزش مدل سهیم باشید.
آموزش از طریق خوشه های جداگانه ای از دستگاه هایی که داده ها را برای آموزش مدل هوش مصنوعی پردازش می کنند امکان پذیر است. اما ویژگی‌های جدید به خوشه‌های مختلف اجازه می‌دهد تا کمتر با یکدیگر ارتباط برقرار کنند تا پیشرفت خود را همگام‌سازی کنند، بنابراین در پهنای باند مورد نیاز صرفه‌جویی می‌شود. چارچوب آموزشی همچنین می‌تواند اتصال یا خروج گره‌ها را بدون ایجاد خرابی سیستم مدیریت کند.
گره های شرکت کننده در آموزشی که قبلاً شروع شده است باید به آخرین وضعیت مدل تسریع شوند تا مشارکت کنند. تأخیر در این فرآیند ضبط توسط گره‌های جدیدی که پست‌های بازرسی را از همتایان خود درخواست می‌کردند برطرف شد.
بعد برای INTELLECT-1 چه اتفاقی می افتد؟
INTELLECT-1 بر اساس معماری Llama-3 است و بر روی چهار مجموعه داده مختلف آموزش داده شده است. بر روی مجموعه داده Hugging Face به نام FineWeb-Edu آموزش می بیند که عمدتاً حاوی محتوای صفحات وب آموزشی است.
در آینده، PrimeIntellect می‌خواهد مدل‌های بزرگ‌تری را آموزش دهد و راه‌هایی را برای هر کسی ایجاد کند تا پروژه آموزش مدل هوش مصنوعی مشابه خود را ایجاد کند که در آن سایر کاربران بتوانند در قدرت پردازش خود مشارکت کنند.
اطلاعات بیشتر از راهنمای تام
منبع: tomsguide
نظرات کاربران