بازار مدل‌های متن‌باز رایگان با اعلام این خبر که Ollama اکنون می‌تواند مدل‌های HuggingFace GGUF را در پرواز اجرا کند، جالب‌تر شد.
فرمت مدل GGUF (GPT-Generated Unified Format) یک طرح فایل بسیار بهینه شده است که توسط جامعه AI منبع باز ایجاد شده است تا امکان استفاده در سخت افزار مصرف کننده با اندازه متوسط را فراهم کند.
مدل‌های معمولی هوش مصنوعی به رایانه‌های بزرگ با پردازنده‌های قدرتمند و مقدار بیش از حد حافظه نیاز دارند. با فشرده سازی یک مدل در یک فایل GGUF، دانلود آن از طریق اینترنت آسان است و تقریباً روی هر رایانه خانگی قابل اجرا است. مهمتر از آن، آنها می توانند توسط کاربران بدون دانش فنی نصب و راه اندازی شوند.
پیش از این، مدل‌ها باید قبل از اجرا و دانلود در لپ‌تاپ شما، از طریق کتابخانه اوللاما در دسترس قرار می‌گرفتند. این کار کل فرآیند را آسان‌تر می‌کند و HuggingFace می‌گوید که برای ساده‌تر کردن همه چیز کار خواهد کرد.
چرا فرمت GGUF اینقدر مهم است؟
❤️ اکنون می توانید مدل ها را در Hugging Face با 🤗 Ollama آموزش دهید. بریم متن باز و اولاما! 🚀🚀🚀 https://t.co/xMRhM2QAt4 pic.twitter.com/LxJawetyhQ16 اکتبر 2024
به غیر از انتشار خانواده مدل LlaMA از متا، احتمالاً منصفانه است که بگوییم فرمت GGUF بیش از هر توسعه اخیر دیگری برای افزایش محبوبیت و قابلیت استفاده از AI منبع باز انجام داده است.
HuggingFace در حال حاضر بیش از 500 فایل مدل GGUF برای انتخاب دارد که همه چیز از رندر گرفته تا مدل های چت چند زبانه را پوشش می دهد.
برای استفاده از فرمت، کاربران معمولاً باید مدل GGUF مورد نظر خود را دانلود کنند و دستورالعمل‌های نصب کلاینت نرم‌افزار را دنبال کنند.
اما این گزینه جدید از HuggingFace (HF) یک قدم فراتر می رود، مشروط بر اینکه Olama را روی دستگاه خود نصب کرده باشید.
چگونه از مدل های GGUF با اوللاما استفاده کنیم؟
تماشا کنید
تمام کاری که باید انجام دهید مدل مورد نظر خود را پیدا کنید روی صورت در آغوش گرفتن، روی دکمه Use This Model کلیک کنید در گوشه سمت راست بالای صفحه و اولاما را انتخاب کنید. با این کار پنجره ای باز می شود که شامل موارد زیر است: آدرس URL مدلی که قرار است کپی شود.
در ویندوز، به نوار جستجو بروید، cmd را وارد کنید و enter را فشار دهید. وقتی پنجره ترمینال ظاهر شد، آدرس اینترنتی را که به تازگی کپی کرده اید قرار دهید (ctrl-V) و دوباره enter را فشار دهید. در این مرحله Olama به طور خودکار مدل آماده برای استفاده را دانلود می کند. سریع، آسان و بدون درد. روند در مک کم و بیش یکسان است، فقط cmd را با Terminal جایگزین کنید.
لازم به ذکر است که این فایل‌های GGUF را می‌توان با استفاده از تنوع روزافزون مشتریان کاربر نیز اجرا کرد. برخی از محبوب ترین ها Jan، LMStudio و Msty هستند. این قالب توسط برنامه چت OpenWebUI نیز پشتیبانی می شود.
افکار نهایی
دنیای مدل‌های AI منبع باز رایگان، تا حدی به لطف پیشرفت‌هایی مانند این، با سرعتی سرگیجه‌آور به پیشرفت خود ادامه می‌دهد. افراد بیشتر و بیشتری کشف می‌کنند که می‌توانند از قدرت و انعطاف‌پذیری هوش مصنوعی کوچک و محلی بدون نیاز به مدرک علوم کامپیوتر استفاده کنند. و عملکرد آن هر روز بهتر می شود.
به عنوان مثال، جامعه رو به رشدی از کاربران وجود دارد که از مدل‌های بومی GGUF برای برنامه‌های خاص، مانند کمک در اطراف خانه یا کمک به کارهای ترجمه زبان خاص استفاده می‌کنند.
خوب است که شاهد ادامه رشد منبع باز باشیم، حتی اگر علیه شرکت های بزرگ تحت حمایت سرمایه خطرپذیر باشد.
اطلاعات بیشتر از راهنمای تام
منبع: tomsguide
نظرات کاربران