من یک chatbot واقعی AI را به صورت محلی در آیفون خود اجرا می کنم – اینگونه کار می کند
Chatbots AI ، مانند Chatgpt و Gemini ، معمولاً نیاز به کار ابر دارند. با این حال ، اگر بتوانید کل مدل بزرگ زبان (LLM) را بدون اشتراک ، بدون اتصال به اینترنت و بدون ترک دستگاه خود اجرا کنید ، چه اتفاقی می افتد؟ شما در واقع می توانید این کار را با تعداد انگشت شماری از برنامه ها و مدل های سبک و فشرده انجام دهید.
من سعی کردم و آنچه شما باید بدانید.
هوش مصنوعی محلی در آیفون
اکنون می توانید مدل های باز مانند Lama و Qwen را مستقیماً در iOS اجرا کنید. این مدل ها با استفاده از فرایندی به نام کمیت تضعیف می شوند که به روشی فشرده می شود که به طور کامل در حافظه موبایل قرار می گیرد.
ضبط: عملکرد تا حد زیادی به سخت افزار شما بستگی دارد. جدیدترین تراشه اپل با پارامترهای آیفون 15 Pro یا 15 Pro Max ، 7B یا 8B (Llama 3.1 8b) ، تلفن های قدیمی برای مدلهای پارامتر کوچکتر 1-3B مناسب تر هستند.
برنامه هایی که امکان پذیر است
- مزرعه LLM (رایگان): ساده ترین راه برای شروع. می توانید یک مدل کوچک (مانند دستورالعمل های PHI-3.5) را بارگیری کنید و می توانید فقط با یک شیر آب به صورت آفلاین اجرا کنید. سوال سریع -برای پاسخ صاف است.
- چت MLC (رایگان): این همان چیزی است که من استفاده می کنم. من قبلاً از مزرعه LLM استفاده می کردم ، اما به دلایلی فروشگاه App Apple گزینه بارگیری را به من نمی داد. از آنجا که این رایگان است ، من به دنبال آن رفتم و در همان زمان کار کرد.
- LLM خصوصی (پروژه جامعه): این برای کاربر معمولی نیست بلکه بیش از گزینه DIY است. این دستورالعمل های مفصلی برای نصب مدل هایی مانند Lama 3.1 و Qwen در آیفون شما دارد. اگر عاشق تینکر هستید ، قطعاً به شما فرصتی می دهید.
- آپولو (پرداخت شده): من چیزهای خوبی را شنیدم ، اما خودم این برنامه را امتحان نکردم. به من اطلاع دهید که در مورد این برنامه حریم خصوصی -با محوریت چه فکر می کنید.
نحوه اجرای مدل به صورت محلی
برنامه را پس از بارگیری برنامه انتخاب شده خود باز کنید. از آنجا ، لیست مدل داخلی را بررسی کرده و یکی را انتخاب کنید (به عنوان مثال تقاضای نقص برای PHI-3.5 Q4). من مدتی است که از QWEN 2.5 استفاده نکرده ام ، به جز دلایلی.
پس از بارگیری ، مدل را در دستگاه خود مشاهده خواهید کرد (بسته به اندازه ، در هر نقطه با چند صد مگابایت تا چند گیگابایت). از آنجا ، چت را شروع کنید.
شما می خواهید انتظارات را واقع بینانه نگه دارید. این زمان برای درخواست شیرجه های عمیق یا برنامه های طولانی نیست. موارد زیر را به خاطر بسپارید:
- سرعت: مدل های کوچک (1-3B) سریعتر پاسخ می دهند. مدل های بزرگ می توانند در هر سکه ثانیه طول بکشد.
- متن: تمام مقالات را بچسبانید. درخواست ها را کوتاه تر نگه دارید.
- خروجی: LLM های محلی ممکن است کمتر از چتپ صیقل داده شود ، اما یادداشت ها ، خلاصه ها ، پرسش و پاسخ و تهیه پیش نویس نور.
من در چند درخواست سرگرم شدم. هیچ چیز زینتی هدف من دیدن نوع پاسخ هایی که از درخواست محلی دریافت کردم. چیزی که بلافاصله متوجه خواهید شد سرعت است. این باورنکردنی است که LLM با سرعت بسیار زیاد واکنش نشان می دهد.
من درخواست های زیر را امتحان کردم و به طور کلی تحت تأثیر قرار گرفتم.
- “اعلامیه استقلال را در نقطه سه گلوله خلاصه کنید.”
- “داستانی در مورد یک ربات و گربه بدون تخت کوتاه بنویسید.”
- “سه ایده شام را با استفاده از مرغ ، برنج و کلم بروکلی به من بدهید.”
اجرای LLM محلی همان چت با ChatGPT-5 نیست. او قطعاً احساس روان و خام می کند. اگر آن را امتحان کردید ، فراموش نکنید که مشتری های خود را کوتاه نگه دارید ، زیرا ویندوز زمینه هنگام استفاده از نسخه عادی Chatbots بسیار محدودتر است. اگر LLM محلی را اضافه کنید ، پاسخ ها کندتر احساس می شوند.
چرا این کار را می کنی؟
- هزینه اشتراک شما فقط اعتبار را نمی سوزانید.
- حریم خصوصی حل و فصل شد. همه چیز باز است دستگاه شما
- با کمال تعجب همه کاره من از چقدر مدل مینی می توانست با آن برخورد کند. هربار که مرزها را هل می دادم ، او به راحتی می توانست با چالش مقابله کند.
آخرین افکار
اگر آیفون 15 یا بیشتر دارید و تعجب می کنید که AI به نظر می رسد “زیر کاپوت” ، به دنبال آن بروید. LLM FARM یا MLCCHAT روشهای سریع و رایگان برای شروع است. حریم خصوصی آپولو ارزش جستجوی شاهین را دارد. و اگر بیشتر یک تینکر هستید ، LLM ویژه به شما امکان می دهد تا عمق تاسیسات ویژه را وارد کنید.
به یاد داشته باشید که اینها پر از چکمه های چت قدرت نیستند که به آنها عادت کرده اید ، بنابراین انتظار یک چتپ را ندارید. با این حال ، این احساس آینده نگر است که هوش مصنوعی خود را بر روی آیفون خود اجرا کنید.
دنبال کردن راهنمای تام در Google News در انتشارات خود برای به دست آوردن اخبار روزانه ما ، چگونه TOS و بررسی ها. حتماً روی دکمه ردیابی کلیک کنید.
بیشتر از راهنمای تام
بازگشت به تلفن های همراه تلفن همراه
