انتروپیک مدل جدید خود را با نام Fable 5 معرفی کرد
خلاصه هوشمند مقاله
بررسی مدل Fable 5؛ عملکرد عالی در Autonomous Coding و عقب‌ماندگی در Code Review
نسل جدید مدل‌های استدلالی، دیگر به دنبال بهبودهای جزئی در سرعت پاسخ‌گویی یا ارزان‌تر کردن فرآیند Inference نیستند. مدل Fable 5 که به عنوان یک مدل کلاس Mythos عرضه شده، دقیقاً با هدف پایداری در تسک‌های طولانی‌مدت (Long-running Agent Work) طراحی شده است؛ فرآیندی که در آن ایجنت هوشمند بتواند بدون نیاز به دباگ مکرر توسط انسان، کانتکست (Context) را حفظ کند، استراتژی بچیند و کار را جلو ببرد. اما بنچمارک‌های واقعی نشان می‌دهند این خودمختاری، چالش‌های جدی در پروداکشن دارد.
۱. تسک‌های Autonomous Coding: قدرت‌نمایی در پرامپت‌های مبهم
بزرگترین نقطه قوت Fable 5 زمانی آشکار می‌شود که با یک پرامپت گنگ، ناقص و بدون داکیومنت دقیق (Underspecified) روبه‌رو می‌گردد. مدل‌های سنتی در چنین سناریوهایی معمولاً یک نمونه‌ی اولیه و توخالی (Prototype Shell) تحویل می‌دهند، اما Fable 5 ابتدا یک فاز اکتشافی اجرا می‌کند: مخزن کد (Repository) را اسکن کرده، ابزارهای در دسترس، فایل‌های کلیدی و محدودیت‌های ساختاری را شناسایی می‌کند و سپس کدنویسی را استارت می‌زند.
در پروژه‌های آزمایشی، این مدل توانست کدهای یک اپلیکیشن را در لایه‌های کاملاً مجزا (لایه State، لایه تصمیم‌گیری، لایه رندرسازی و لایه کنترلرها) ساختاردهی کند و یک بیلد موفق تحویل دهد. برنامه‌های ساخته‌شده دارای لوپ‌های پایدار، افکت‌های بصریِ ساختاری (Procedural Visuals) و اینترکشن‌های وضعیت‌دار (Stateful Interactions) بودند. کارهای باقی‌مانده در خروجی این مدل، خطاهای ابتدایی نبودند؛ بلکه مواردی از جنس مهندسی سطح دوم (مانند نیاز به تست‌های قطعی‌تر، پالایش کدهای مربوط به صفحات کوچک و مدیریت لبه‌های استیت در شرایط خاص) بودند.
۲. بنچمارک Code Review: پرحرف، نویز بالا و کم‌دقت
برخلاف فاز خلق کد، Fable 5 در فاز ممیزی و بازبینی سورس‌کد (Code Review) رفتار ایده‌آلی ندارد. در بنچمارک استاندارد 105-EP، این مدل توانست ۶۵ موقعیتِ نیازمند اصلاح را پیدا کند که یک پله عقب‌تر از خط مبنا و مدل Opus 4.8 (با ثبت رکورد ۶۶ پارت) قرار می‌گیرد. اگرچه با احتساب تمامی انواع کامنت‌ها، Fable 5 با ثبت عدد ۷۴ در برابر ۷۲ مدلِ پایه را شکست داد، اما مشکل اصلی در فاکتور دقت عملیاتی (Precision) رخ داد.
Fable 5 با تولید ۲۵۳ کامنت، حجم عظیمی از نویز، لحن‌های بیش از حد قاطعانه (Assertive) و ایرادهای بنی‌اسرائیلی (Nitpick) را به پایپ‌لاین تزریق کرد. این حجم از کامنت‌های غیرضروری، عملاً زمان تیم فنی را برای غربالگری کامنت‌های واقعی تلف می‌کند. این ضعف در تسک‌های سخت (سطح دشواری ۴) بیشتر خود را نشان داد؛ جایی که Fable 5 تنها ۸ تسک از ۱۶ تسک را پاس کرد، در حالی که مدل پایه به آمار ۱۰ از ۱۶ رسیده بود.