گوگل مدل آزمایشی DiffusionGemma را معرفی کرد
خلاصه هوشمند مقاله
گوگل برای تولید متن (با معماری Text Diffusion) مدلی معرفی کرد که ۴ برابر سریع‌تر از مدل‌های قبلی است
صنعت هوش مصنوعی سال‌هاست که روی معماری کلاسیک Autoregressive سرمایه‌گذاری کرده است؛ مدلی که دقیقاً شبیه به یک ماشین‌تحریر عمل می‌کند و متن را توکن‌به‌توکن، از چپ به راست تولید می‌کند. این ساختار در سرورهای ابری (Cloud) بسیار منطقی و کارآمد است، زیرا سرورها می‌توانند با استفاده از تکنیک Batching، هزاران ریکوئست را همزمان پردازش کرده و از تمام توان سخت‌افزار استفاده کنند.
اما مشکل زمانی شروع می‌شود که بخواهید یک ایجنت هوشمند را به صورت Local روی سیستم خودتان اجرا کنید. در اجرای محلی برای یک کاربر (Single User)، معماری Autoregressive یک فاجعه از نظر بهره‌وری سخت‌افزاری است. کارت گرافیک قدرتمند شما بخش اعظم توان پردازشی خود را بیکار می‌گذارد، زیرا گلوگاه اصلی در اینجا Memory-bandwidth (سرعت خواندن توکن از مموری) است، نه قدرت پردازش (Compute). پردازنده شما دائماً در حال انتظار برای حدس زدنِ «کلیدواژه بعدی» است.
از بومِ نویز تا پاراگرافِ نهایی گوگل با معرفی DiffusionGemma (تحت لایسنس متن‌باز Apache 2.0) این ناکارآمدی را دور زده است. آن‌ها مکانیک مدل‌های تولید عکس (مثل Midjourney یا Stable Diffusion) را به دنیای متن آورده‌اند. در این معماری، مدل به جای حدس زدن کلمه بعدی، کار را با یک «بوم خالی از توکن‌های رندوم و نویز» آغاز می‌کند. سپس در چندین پاسِ رفت‌وبرگشتی (Iterative Refinement)، کل یک بلوک ۲۵۶ توکنی را به صورت همزمان صیقل می‌دهد تا به یک متن باکیفیت و نهایی برسد.
این تغییر پارادایم، گلوگاه سیستم را از مموری به Compute منتقل می‌کند؛ یعنی دقیقاً همان‌جایی که GPUهای مدرن در آن پادشاهی می‌کنند. نتیجه این معماری، رسیدن به سرعتِ وحشتناکِ بیش از ۱۰۰۰ توکن در ثانیه روی NVIDIA H100 و بیش از ۷۰۰ توکن در ثانیه روی کارت‌های مصرفی مانند RTX 5090 است.
جادوی MoE در سیستم‌های Local شاید بپرسید اجرای یک مدل ۲۶ میلیارد پارامتری روی سیستم‌های خانگی چطور ممکن است؟ راز این کار در معماری Mixture of Experts (MoE) نهفته است. در هر پاسِ پردازشی، DiffusionGemma تنها ۳.۸ میلیارد پارامتر را فعال می‌کند. وقتی این مدل را Quantize کنید، به راحتی در ۱۸ گیگابایت VRAM کارت‌گرافیک‌های پرچم‌دار (مثل سری ۴۰۹۰ یا ۵۰۹۰) جا می‌شود و یک موتور تولید متنِ بلادرنگ و فوق‌سریع را برای ورک‌فلوهای محلی فراهم می‌کند.