تقرير مختبر: GPT‑5 وClaude Opus 5 وGemini على اللغة العربية — من يفهم لهجتنا فعلاً؟

هذا تقرير مختبر لا مقال رأي. بنينا في BrandBoost AI (مساعد التسويق ثنائي اللغة) وفي كليم (علاج التخاطب للأطفال) اعتماداً كلياً على نماذج اللغة، لذلك نعيد التقييم كل ربع سنة بمجموعة اختبار ثابتة: 420 مهمة عربية، موزّعة بين الفصحى، والخليجية، والمصرية، مع تقييم بشري مزدوج.

منهجية الاختبار

• الفهم: استخراج نية العميل من رسائل واتساب حقيقية (مجهّلة) بلهجات مختلفة.
• التوليد: كتابة إعلان بالعربية بنبرة محدّدة، ثم مطابقته لدليل العلامة.
• التلخيص المُقيَّد: تلخيص عقد عقاري دون إسقاط أي بند مالي.
• التشكيل والنطق: توليد جمل مشكولة لتمارين الأطفال — مهمّة كليم الأصعب.

النتائج المختصرة

1. Claude Opus 5: الأدقّ في التلخيص المُقيَّد وفي الالتزام بنبرة محدّدة. أخطاء التشكيل الأقل. يميل للحذر أحياناً في الردود القصيرة.
2. GPT‑5: الأسرع في التقاط نية الرسائل اللهجية، خصوصاً المصرية، والأفضل في توليد بدائل إعلانية كثيرة بسرعة. يخطئ أحياناً في المصطلحات القانونية الخليجية.
3. Gemini (الجيل الأحدث): الأقوى في المهام متعددة الوسائط — قراءة صورة إعلان وتقييمها لغوياً — وجيّد في الفصحى، لكن أضعف في اللهجات الدقيقة.

لا يوجد «أفضل نموذج». يوجد أفضل نموذج لهذه المهمة، بهذه التكلفة، بهذا التأخير.

ما الذي غيّرناه فعلاً في منتجاتنا؟

في BrandBoost AI أصبح التوليد الأوّلي بنموذج سريع، والمراجعة النهائية لمطابقة العلامة بنموذج أدقّ — خطوتان بدل واحدة، وتكلفة أقل بنحو 35%. في كليم بقي التشكيل حصرياً للنموذج الأقل خطأً، لأن خطأ واحداً في تمرين نطق لطفل يُكلّف ثقة الأهل كلها.

ثلاثة دروس عن العربية تحديداً

• اللهجة تحتاج أمثلة، لا تعليمات. جملة «اكتب بالخليجية» لا تكفي؛ خمسة أمثلة حقيقية تفعل المعجزة.
• الأرقام والتواريخ مصدر أخطاء صامتة. نفرض تنسيقاً موحّداً ونتحقّق منه برمجياً بعد التوليد.
• الاتجاه (RTL) ليس مشكلة النموذج بل مشكلة واجهتك. نصف «الأخطاء» التي أبلغ عنها المستخدمون كانت في العرض لا في النص.

كيف تعيد التجربة عندك؟

ابدأ بخمسين مهمة حقيقية من عملك، لا من الإنترنت. قيّمها يدوياً مرة واحدة، ثم أتمت الإعادة كل شهر. النماذج تتغيّر أسرع من خطط منتجك، والاختبار الثابت هو الشيء الوحيد الذي يجعل التغيير خبراً جيداً لا مفاجأة.