كتيّب التشغيل: كيف تعرف أن ميزة الذكاء الاصطناعي عندك ما زالت تعمل بعد شهرين؟

الميزة أُطلقت، والعرض التوضيحي نجح، والفريق احتفل. بعد ثمانية أسابيع تغيّر مزوّد النموذج إصداره بصمت، وتغيّرت لهجة عملائك مع موسم جديد، وأضاف زميل سطراً في الـ prompt. لا أحد يعرف أن الجودة انخفضت لأن لا أحد يقيسها. هذا الكتيّب عن القياس.

المبدأ: الـ prompt كود، والكود يحتاج اختبارات

كل تغيير في prompt أو نموذج أو أداة يمرّ عبر مجموعة تقييم (eval set) ثابتة قبل الدمج. في BrandBoost AI المجموعة 300 طلب حقيقي بمخرجات مرجعية معتمدة من فريق التسويق. الـ CI يرفض الدمج إن انخفضت الدرجة الإجمالية أكثر من نقطتين.

الطبقات الأربع للقياس

1. اختبارات حتمية: هل المخرج JSON صالح؟ هل يحتوي الحقول المطلوبة؟ هل الطول ضمن الحدود؟ رخيصة وسريعة وتلتقط 40% من الأعطال.
2. قواعد نطاق: في Real Estates Matcher لا يجوز أن يقترح النموذج عقاراً خارج ميزانية الطالب — قاعدة بسيطة تُفحص برمجياً بعد كل توليد.
3. النموذج كحَكَم (LLM‑as‑judge): نموذج ثانٍ يقيّم الالتزام بالنبرة أو الدقّة وفق معيار مكتوب. مفيد، لكن يُعايَر دورياً ضدّ حكم بشري.
4. المراجعة البشرية بالعيّنة: 2% من المخرجات الحقيقية أسبوعياً، بأسئلة ثابتة، تُسجَّل في نفس لوحة القياس.

إن لم يكن لديك رقم واحد يصف جودة ميزتك الذكية هذا الأسبوع مقارنةً بالأسبوع الماضي، فأنت لا تُشغّلها؛ أنت تأمل فيها.

المراقبة في الإنتاج

• تتبّع كامل لكل طلب: النموذج، الإصدار، الـ prompt، الأدوات المستدعاة، زمن الاستجابة، التكلفة.
• مؤشرات سلوك المستخدم: إعادة الصياغة، الإلغاء، النقر على «تحدّث مع إنسان». في كليم نراقب «نسبة إعادة التمرين» كإشارة على أن الجملة المُولَّدة كانت غير طبيعية.
• إنذارات الانحراف: تغيّر متوسط طول الردود أو نسبة الرفض بأكثر من انحرافين معياريين يوقظ الفريق.

قصّة قصيرة عن الانحراف الصامت

في أحد الأشهر ارتفعت تكلفة BrandBoost AI 60% دون تغيير في الاستخدام. السبب: تحديث نموذج جعل الردود أطول بمقدار الثلث. لولا لوحة التكلفة لكل طلب لاكتشفناه في الفاتورة. أضفنا حدّاً أقصى للطول كقاعدة نطاق وعاد كل شيء لطبيعته في ساعة.

الأدوات التي لا تحتاج شراءها

PostgreSQL لتخزين الآثار، لوحة Grafana بسيطة، ومجلد evals/ في المستودع مع أمر واحد يشغّل كل شيء. الأدوات التجارية ممتازة لاحقاً؛ الانضباط أولاً.