مایکروسافت آخرین نسخه از مدل Phi-3.5 زبان کوچک خود را منتشر کرده است. این نسخه جدید یک ارتقای بزرگ نسبت به نسل قبلی است و مدلهای کوچکتر از بازیکنان پیشرو مانند Google، OpenAI، Mistral و Meta را در چندین معیار کلیدی شکست میدهد.
Phi-3.5 در نسخه هایی با 3.8 میلیارد، 4.15 میلیارد و 41.9 میلیارد پارامتر عرضه می شود. هر سه را می توان به صورت رایگان دانلود کرد و با استفاده از یک ابزار بومی مانند اوللاما اجرا کرد.
به ویژه در استدلال خوب عمل کرد و تنها توسط یکی از مدل های کوچکتر پیشرو، GPT-4o-mini پیشی گرفت. همچنین در معیارهای ریاضی عملکرد خوبی داشت و به طور قابل توجهی از Llama و Gemini بهتر بود.
مدلهای زبان کوچک مانند Phi-3.5 پیشرفتهایی را در بهرهوری در هوش مصنوعی نشان میدهند و از هدف سام آلتمن، مدیر عامل OpenAI برای ایجاد هوش بیاندازه ارزان پشتیبانی میکنند.
چه چیزی در Phi-3.5 جدید است
🔥 مدلهای جدید Phi-3.5 اکنون در تابلوی امتیازات Open LLM هستند!• Phi-3.5-MoE-instruct در همه مدلهای مایکروسافت با میانگین امتیاز 35.1 پیشتاز است و رتبه اول را در دسته سه بعدی و رتبه 10 را در بین همه مدلهای چت دارد• Phi- 3.5-mini -instruct با 27.4 امتیاز در رده سوم در رده سه بعدی قرار دارد… pic.twitter.com/yNcOR2bcxX22 آگوست 2024
Phi-3.5 در نسخهای از مدل ویژن ارائه میشود که میتواند تصاویر را درک کند، نه فقط متن، و ترکیبی از مدلهای خبره برای تقسیم وظایف یادگیری به زیرشبکههای مختلف برای پردازش کارآمدتر.
ترکیبی از مدلهای خبره از Gemini Flash 1.5، مدلی که در نسخه رایگان چتبات جمینی استفاده میشود، در معیارهای متعدد و دارای یک پنجره زمینه بزرگ 128k است. این با ChatGPT و Claude برابری می کند، اگرچه به طور قابل توجهی کوچکتر از خود Gemini است.
مزیت اصلی یک مدل بسیار کوچک مانند مدلی که من ساختم این است که می توان آن را با یک برنامه بسته بندی کرد یا روی دستگاه اینترنت اشیا مانند زنگ درب هوشمند نصب کرد. این کار تشخیص چهره را بدون ارسال داده به فضای ابری امکان پذیر می کند.
کوچکترین مدل بر روی 3.4 تریلیون سکه داده با استفاده از 512 پردازنده گرافیکی Nvidia H100 در مدت 10 روز آموزش داده شد. ترکیبی از مدل های خبره شامل 16 مدل پارامتر 3.8b بود که از 4.9 تریلیون توکن استفاده کرد و آموزش آن 23 روز طول کشید.
واقعاً Phi-3.5 چقدر خوب کار می کند؟
من نسخه کوچکتر 3.8 میلیارد پارامتری Phi-3.5 را بر روی لپ تاپ خود نصب و اجرا کردم و آن را کمتر از معیارهای پیشنهادی چشمگیر یافتم. اگرچه در پاسخهایش مفصل بود، اما غالباً این عبارات چیزهای زیادی را میخواست و او با آزمایشهای ساده دست و پنجه نرم میکرد.
من یک سوال کلاسیک پرسیدم: “یک داستان کوتاه و یک جمله ای بنویسید که حرف اول یک کلمه با حرف آخر کلمه قبلی یکی باشد.” حتی بعد از توضیحات به طرز چشمگیری شکست خورد.
من ترکیب مدل های تخصصی بزرگتر را امتحان نکرده ام. با این حال، با توجه به مقایسه ها، گفته شد که در نسخه مدلی که من امتحان کردم، برخی از مشکلات را حل کرد. بنچمارکها نشان میدهند که کیفیت خروجی آن مشابه نسخه GPT-4o-mini OpenAI است که با نسخه رایگان ChatGPT ارائه میشود.
یکی از زمینه هایی که GPT-4o-mini از سایرین بهتر عمل می کند، در زمینه STEM و علوم اجتماعی است. معماری آن به آن اجازه می دهد تا کارایی خود را در حین مدیریت وظایف پیچیده هوش مصنوعی به زبان های مختلف حفظ کند.
اطلاعات بیشتر از راهنمای تام
منبع: tomsguide
نظرات کاربران