۶ تنظیمی که باید قبل از اجرای Local LLM تغییر دهید

اجرای مدل‌های زبانی بزرگ (LLM) روی کامپیوتر شخصی، تجربه‌ای هیجان‌انگیز است که حریم خصوصی کامل و کنترل بی‌نظیری را به شما می‌دهد. اما به گفته‌ی نولان جونکر (Nolen Jonker)، کارشناس فناوری، بیشترِ آموزش‌ها و توصیه‌های موجود در اینترنت یک مرحله‌ی حیاتی را جا می‌اندازند: تنظیمات پیش‌فرضِ برنامه‌ها تقریباً هیچ‌وقت ایده‌آل نیستند!

نولان که اخیراً مدل قدرتمند Qwen 3.5 9b را روی نرم‌افزار LM Studio تست کرده، در مقاله‌ی جدید خود توضیح می‌دهد که برای گرفتن بالاترین سرعت و بهترین کیفیت از سخت‌افزار (بدون کرش کردن سیستم)، همیشه پیش از شروع چت، این ۶ تنظیم کلیدی را تغییر می‌دهد:

۱. درگیر کردن حداکثری کارت گرافیک (GPU Offloading) مدل‌های هوش مصنوعی برای اجرای روان، تشنه‌ی حافظه‌ی ویدیویی (VRAM) هستند. نرم‌افزارهایی مثل LM Studio معمولاً به‌صورت پیش‌فرض تمام بار پردازش را روی کارت گرافیک نمی‌اندازند. نولان همیشه تنظیمات مربوط به GPU Offload (تعداد لایه‌هایی که به کارت گرافیک سپرده می‌شود) را تا جایی که حافظه‌ی کارت گرافیکش (VRAM) اجازه می‌دهد بالا می‌برد تا سرعت تولید کلمات (Tokens per second) چند برابر شود.

۲. مدیریت دقیق پنجره کانتکست (Context Window) پنجره کانتکست تعیین می‌کند که هوش مصنوعی تا چه حد می‌تواند تاریخچه‌ی چت یا متن‌های طولانی را به خاطر بسپارد. هرچه این عدد بالاتر باشد، حافظه‌ی (RAM/VRAM) بیشتری اشغال می‌شود. اگر قرار نیست یک فایل PDF صد صفحه‌ای را تحلیل کنید، بهتر است این عدد را روی مقادیر معقول‌تری (مثلاً 4K یا 8K) تنظیم کنید تا سرعت سیستم افت نکند.

۳. تنظیم دمای مدل (Temperature & Top-P) دما (Temperature) میزان خلاقیت یا تصادفی بودن پاسخ‌های هوش مصنوعی را کنترل می‌کند. اگر از مدل برای کدنویسی، برنامه‌نویسی یا دریافت حقایق دقیق استفاده می‌کنید، باید دما را به شدت پایین بیاورید (نزدیک به ۰.۱ یا ۰.۲) تا پاسخ‌هایی منطقی و بدون توهم (Hallucination) بگیرید. اما برای داستان‌نویسی و ایده‌پردازی، می‌توانید آن را بالاتر ببرید.

۴. شخصی‌سازی پرامپت سیستم (System Prompt) هیچ‌چیز روی اعصاب‌تر از این نیست که هوش مصنوعی قبل از هر جواب بگوید: «من یک هوش مصنوعی هستم و...». نولان همیشه قبل از شروع، پرامپت سیستم را ویرایش می‌کند و به مدل یک شخصیت مشخص می‌دهد (مثلاً: "تو یک برنامه‌نویس ارشد پایتون هستی که پاسخ‌هایت کوتاه، مستقیم و فقط شامل کد است"). این کار رفتار مدل را از ریشه اصلاح می‌کند.

۵. انتخاب سطح فشرده‌سازی مناسب (Quantization) اجرای مدل‌های خام روی کامپیوترهای خانگی غیرممکن است. شما باید نسخه‌های فشرده‌شده (معمولاً با فرمت GGUF) را دانلود کنید. نولان پیشنهاد می‌کند همیشه نسخه‌های سطحِ متوسط (مثل Q4_K_M یا Q5) را انتخاب کنید. این نسخه‌ها تعادل بی‌نظیری بین مصرف کمِ حافظه (RAM) و حفظ کیفیت و هوشِ مدل برقرار می‌کنند.

۶. تنظیم تعداد رشته‌های پردازنده (CPU Threads) اگر سیستم شما کارت گرافیک قدرتمندی ندارد و مجبورید بخشی از پردازش را به پردازنده‌ی اصلی (CPU) بسپارید، حتماً تعداد رزوه‌های درگیر (Threads) را تنظیم کنید. اختصاص دادن تمام رشته‌های پردازنده به هوش مصنوعی باعث می‌شود کامپیوتر شما کاملاً فریز شود. همیشه یک یا دو رشته را برای کارهای پس‌زمینه‌ی ویندوز آزاد بگذارید.

در نهایت، اجرای محلیِ هوش مصنوعی فقط درباره‌ی دانلود یک فایل و زدن دکمه‌ی Play نیست. با دستکاری همین چند تنظیم ساده، می‌توانید یک مدلِ کُند و خنگ را به یک دستیار هوشمند و سریع روی سیستم شخصی خود تبدیل کنید.

منبع: گزارش نولان جونکر