چطوری یه مدل هفتاد میلیاردی رو تو دل یه لپ‌تاپ جا می‌دن؟

تکمیل این اپیزود

اگر مهمان یا اسپانسری جا افتاده، از فهرست موجود انتخاب کن یا نام تازه‌ای پیشنهاد بده. پیشنهادها بعد از بررسی مدیر عمومی می‌شوند.

متن منتشرشده توسط پادکستر

توضیحات اپیزود

همین الان، یه عده دارن یه مدل هفتاد میلیارد پارامتری رو از همون خانوادهٔ غول‌ها رو لپ‌تاپ شخصی‌شون اجرا می‌کنن. بدون اینترنت، بدون اشتراک. تو این قسمت می‌فهمیم این چطور ممکنه، و چرا این موضوع برای ما ایرانی‌ها از همه‌جای دنیا مهم‌تره. تو این قسمت می‌شنوید: 🔹 چرا یه مدل بزرگ صدها گیگابایت حافظه لازم داره 🔹 کوانتیزیشن چیه و چطور یه مدل رو تا یک‌چهارم حجمش کوچیک می‌کنه، بدون اینکه هوشش رو از دست بده 🔹 چرا مدل محلی، برای کاربر ایرانی، فقط یه انتخاب نیست بلکه یه راه اصلیه 🔹 یه قاعدهٔ سرانگشتی ساده برای انتخاب مدل مناسب با رم لپ‌تاپت از شما می‌خوام: اگه سؤالی دربارهٔ هوش مصنوعی دارید که همیشه براتون گنگ مونده، یا موضوعی هست که فکر می‌کنید «زیر کاپوت» باید بره سراغش، برام بفرستیدش. و اگه این قسمت به دردتون خورد، برای یه نفر دیگه هم بفرستیدش؛ تنها راهی که این پادکست واقعاً دیده می‌شه، همینه. میزبان 🎙️: امیر، پژوهشگر هوش مصنوعی، از سیلیکون‌ولی اینستاگرام 📸 : https://www.instagram.com/zire.kapoot تلگرام 📱: t.me/zirekapoot سؤال و پیشنهاد 📩 : zirekapoot.podcast@gmail.com ابزارها و منابع این قسمت: 🔧 llama.cpp — موتور متن‌باز پشت اکثر ابزارهای اجرای مدل محلی github.com/ggml-org/llama.cpp 💻 Ollama — ساده‌ترین راه برای شروع؛ نصب می‌کنی، یه دستور می‌زنی، مدل داون‌لود و اجرا می‌شه ollama.com 🖥️ LM Studio — رابط گرافیکی کامل، بدون نیاز به خط‌فرمان؛ برای کسی که فقط می‌خواد چت کنه lmstudio.ai 🗂️ Hugging Face — بزرگ‌ترین کتابخونهٔ مدل‌های آماده و فایل‌های GGUF برای دانلود huggingface.co

نظرها