“`html

أنظمة الذكاء الاصطناعي المدعمة بالبحث عن المعلومات تقدم إجابات أكثر موثوقية

نماذج اللغة المتقدمة تحول العديد من المجالات بفضل قدرتها على حل المشكلات المعقدة، لكن تطورها السريع كشف عن حدود في طرق التقييم التقليدية. هذه النماذج، رغم أدائها الجيد، تواجه صعوبة في تفسير الدقائق السياقية الخاصة، مثل المتطلبات الفنية الخاصة ببعض القطاعات. كما تعاني من مشكلات متكررة: إنتاج معلومات غير دقيقة أو مخترعة، وعجز عن تحديث معارفها بشكل ديناميكي وصعوبات في إدارة السياقات الواسعة. أحد الحلول المعتمدة على نطاق واسع هو إثراء هذه النماذج بمعلومات خارجية، من خلال استرجاع مقتطفات ذات صلة من قواعد بيانات متخصصة. هذا النهج، الذي يجمع بين البحث والتوليد، يحسن بشكل ملحوظ دقة وملاءمة الإجابات، خاصة للأسئلة التي تتطلب معارف متخصصة أو غير شائعة.

ومع ذلك، لا يزال تقييم هذه الأنظمة يمثل تحديًا. أداؤها يعتمد على عدة مراحل، مثل جودة البحث عن المعلومات وطريقة دمج هذه البيانات لإنتاج إجابة. دراسة حديثة تقترح إطار تقييم منظم لهذه الأنظمة، تعرّف أبعادًا رئيسية يجب قياسها. من بينها: ملاءمة السياق المسترجع، وولاء الإجابات للمعلومات المصدر، ودقة الإجابات، وصحتها وجودة المراجع المقدمة.

تقيم ملاءمة السياق مدى استجابة المعلومات المسترجعة للسؤال المطروح. ملاءمة جيدة تخفض تكلفة الحسابات وتقلل من مخاطر أن تؤثر المعلومات غير ذات الصلة على جودة الإجابة. يمكن قياس هذا البعد باستخدام مقاييس مثل الاستدعاء أو الترتيب المتوسط المتبادل. أما الولاء، فيتحقق مما إذا كانت الإجابة المولدة تستند بالفعل إلى المعلومات المسترجعة، مما يتجنب الاختراعات أو الأخطاء. أدوات قائمة على نماذج اللغة تسمح بتحليل هذا البعد بدقة، من خلال تفكيك الإجابات إلى ادعاءات قابلة للتحقق.

تقيس دقة الإجابات مدى توافقها مع توقعات المستخدم، بغض النظر عن صحتها الواقعية. قد تكون الإجابة ملائمة دون أن تكون صحيحة. أما الصحة فتقيم ما إذا كانت الإجابة تتطابق مع إجابة مرجعية أو مع مقطع مصدر، عندما تكون هذه العناصر متاحة. أما جودة المراجع، فتتحقق من أن المراجع المقدمة صحيحة ومفيدة، وهو جانب حاسم للنظم التي تنسب مصادرها صراحة.

لتطبيق هذه الأبعاد، من الضروري توافر مجموعات بيانات مناسبة. مجموعات البيانات الموجودة، التي غالبا ما تأتي من أسئلة وأجوبة مفتوحة، تسمح بتقييم الدقة والصحة بفضل مراجع واضحة. ومع ذلك، فهي أقل ملاءمة لتقييم أبعاد أكثر تعقيدًا مثل ملاءمة السياق أو جودة المراجع في سيناريوهات متعددة المصادر. من ناحية أخرى، توفر مجموعات البيانات الاصطناعية، التي تم إنشاؤها خصيصًا لهذه الأنظمة، مرونة أكبر. فهي تسمح بتقييم نطاق أوسع من الأبعاد، لكن استخدامها قد يطرح تكاليف إضافية وتباينًا حسب النماذج المستخدمة.

قد تختلف الأسئلة الموجهة للنظم أيضًا في التعقيد. الأسئلة البسيطة، التي تتطلب مصدرًا واحدًا للمعلومات، أسهل في التقييم باستخدام مقاييس تقليدية. أما الأسئلة المعقدة، التي تتطلب تجميع معلومات من مصادر متعددة، فتطلب نهجًا أكثر تعقيدًا. في هذه الحالات، يصبح استخدام نماذج اللغة لتقييم جودة الإجابات ذا قيمة خاصة، لأن المقاييس اللغوية أو الدلالية النقية تواجه صعوبة في التقاط الروابط الدقيقة بين أجزاء البيانات المختلفة.

يقدم هذا الإطار التقييمي أيضًا توصيات عملية لتطبيقه في سيناريوهات حقيقية. فهو يسلط الضوء على أهمية تحديد ما يجب تقييمه بوضوح: البحث، أو التوليد، أو كليهما. يجب أن يوجه اختيار مجموعة البيانات والمقاييس هذا الهدف، مع مراعاة نقاط القوة والضعف لكل نهج. على سبيل المثال، مجموعات البيانات المفتوحة مثالية لتقييم الصحة، بينما تسمح مجموعات البيانات الاصطناعية بتقييم أوسع، لكن بتكاليف أعلى.

أخيرًا، يبرز هذا الإطار الحاجة إلى تقييم متعدد الأبعاد لالتقاط أداء الأنظمة بشكل كامل. فهو لا يقيس فعاليتها فحسب، بل يساعد أيضًا على تحديد مجالات التحسين من أجل نشر أمثل في بيئات ديناميكية. من خلال دمج هذه الأبعاد والمقاييس ومجموعات البيانات في هيكل متماسك، يقدم أساسًا متينًا لتقييم أكثر منهجية وشفافية.

“`

Sources et crédits

Étude source

DOI : https://doi.org/10.1007/s42979-026-05134-x

Titre : Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

Revue : SN Computer Science

Éditeur : Springer Science and Business Media LLC

Auteurs : Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann