1. ابدأ بما لا يفعله llm‑d
llm‑d ليس نموذج لغة، ولا محرك استدلال بديلًا بالكامل لـvLLM أوSGLang، ولا خدمة API جاهزة يشتريها المستخدم النهائي. المشروع يضع طبقة تنسيق مفتوحة فوق محركات النماذج وKubernetes: يستقبل الطلبات، يختار الخادم، يتابع حالة ذاكرة KV، وينظم مجموعات المعالجة والتوسّع.
لذلك لا ينبغي مقارنة llm‑d بنموذج مغلق على جودة الإجابة. المقارنة الصحيحة هي بين طريقة تشغيل حالية—مثل موازن تحميل عام ومجموعة GPU ثابتة—وبنية واعية بخصائص الاستدلال تستطيع قياس الحمل والسياق والأولوية.
2. ما الذي أضافه الإصدار 1.0 إلى «اليوم الثاني»؟
يصف المشروع الإصدار بأنه انتقال من إثبات الأداء إلى التشغيل المستمر. أضاف واجهة إعداد v1 مستقرة، وتحكمًا بالتدفق يراعي الأولوية والإنصاف بين المستأجرين، ومسار ترقية منسقًا لمجموعات prefill وdecode، وتوجيهًا واعيًا بالجلسة كي يعود الحوار إلى النسخة التي تحتفظ بسياقه متى أمكن.
هذه قدرات تشغيلية، لا ضمانات تلقائية. الترقية بلا توقف تعتمد على إعداد عالي الإتاحة صحيح، واختبارات فشل، وتوافق الإصدارات، ومراقبة حقيقية. وعبارة «واعٍ بالوكيل» تعني إدارة أفضل للجلسات والسياق، لا أن llm‑d يبني الوكيل أو يحكم جودة قراراته.
3. لماذا يُفصل prefill عن decode؟
قراءة المدخل الطويل وبناء الحالة الأولية عملية كثيفة الحساب؛ أما توليد الرموز التالية فيعتمد أكثر على الذاكرة وعرض النطاق. يسمح الفصل بتخصيص مجموعات مختلفة للمرحلتين ونقل حالة KV عبر شبكة سريعة، بدل إلزام كل نسخة بأداء المرحلتين بالنسبة نفسها.
المكسب ليس مجانيًا: تظهر حركة بيانات جديدة، واعتماد على RDMA أو موصلات نقل، وحاجة إلى إبقاء جانبي المسار متوافقين. إذا كان الحمل صغيرًا أو قصير السياق، قد تكون البنية الأبسط أفضل. الإصدار 1.0 يجعل الفصل أسهل تشغيلًا؛ لا يجعله الخيار الصحيح لكل فريق.
4. اقرأ أرقام الأداء كحالات اختبار لا كوعود شراء
ينشر المشروع أمثلة تشمل ثلاثة أضعاف مخرجات الرموز في حالة توجيه واعٍ بالذاكرة مقارنة بالدوران البسيط، وتحسينات أخرى مع الفصل أو نقل KV. لكن كل نتيجة مرتبطة بنموذج وعتاد وتزامن وحجم سياق وخط أساس. فريق AI World Signal لم يُعد تشغيل هذه الاختبارات، ولذلك ننسبها إلى المشروع وشركائه.
الاختبار المقبول يعيد الحمل الحقيقي: طول المدخل والمخرج، نسبة إعادة استخدام البادئات، تزامن المستخدمين، درجات الأولوية، وحدود زمن أول رمز وزمن الرمز. قِس أيضًا أثر الأعطال والترقية، لا المتوسط فقط؛ فالهدف التشغيلي هو خدمة يمكن الوثوق بها تحت الضغط.
5. مثال قرار: متى يستحق فريق المنصة تجربة llm‑d؟
افترض خدمة داخلية تستخدم نموذجًا واحدًا على أربع وحدات GPU، وحملها ثابت، ولا توجد طبقات خدمة أو جلسات طويلة. هنا قد يزيد llm‑d التعقيد قبل أن يضيف قيمة. أما إذا كانت المنصة تشغّل عدة مستأجرين، وتتعرض لاندفاعات وكلاء طويلة السياق، وتحتاج ترقية بلا انقطاع أو تشغيلًا هجينًا، فالتجربة تصبح معقولة.
ابدأ بخط أساس أسبوعي، ثم نفّذ تجربة محدودة على حمل ممثل. بوابة النجاح ليست «نُشر Helm بنجاح»، بل تحقيق هدف زمن الاستجابة والتكلفة مع فشل متحكم فيه وإمكانية رجوع موثقة. احتفظ بالمقارنة لأن إصدار 1.0 أساس مستقر، لا نهاية تطور المشروع.
