“`html

कृत्रिम बुद्धिमत्ता प्रणालियाँ जानकारी खोज के माध्यम से अधिक विश्वसनीय उत्तर प्रदान करती हैं

उन्नत भाषा मॉडल अपनी जटिल समस्याओं को हल करने की क्षमता के कारण कई क्षेत्रों को बदल रहे हैं, लेकिन उनके तेजी से विकास ने पारंपरिक मूल्यांकन विधियों की सीमाओं को उजागर किया है। ये मॉडल, हालांकि प्रभावी हैं, विशेष क्षेत्रों की तकनीकी आवश्यकताओं जैसे सन्दर्भगत बारीकियों की व्याख्या करने में संघर्ष करते हैं। इनमें बार-बार होने वाली समस्याएं भी हैं: गलत या कल्पित जानकारी का उत्पादन, गतिशील रूप से अपने ज्ञान को अपडेट न कर पाना, और विस्तृत सन्दर्भों को संभालने में कठिनाई। एक व्यापक रूप से अपनाया गया समाधान इन मॉडलों को बाहरी जानकारी से समृद्ध करना है, विशेष डेटाबेस से प्रासंगिक अंशों को पुनर्प्राप्त करके। यह दृष्टिकोण, जो खोज और उत्पन्न करने को जोड़ता है, उत्तर की सटीकता और प्रासंगिकता को काफी हद तक सुधारता है, विशेष रूप से उन प्रश्नों के लिए जो विशेषज्ञ या कम सामान्य ज्ञान की मांग करते हैं।

हालांकि, इन प्रणालियों का मूल्यांकन करना अभी भी एक चुनौती है। उनकी कार्यक्षमता कई चरणों पर निर्भर करती है, जैसे कि जानकारी खोज की गुणवत्ता और इन डेटा को उत्तर उत्पन्न करने के लिए कैसे एकीकृत किया जाता है। एक हालिया अध्ययन इन प्रणालियों के लिए एक संरचित मूल्यांकन ढांचा प्रस्तावित करता है, जो मापने के लिए मुख्य आयामों को परिभाषित करता है। इनमें से, पुनर्प्राप्त किए गए सन्दर्भ की प्रासंगिकता, स्रोत जानकारी के प्रति उत्तरों की वफादारी, उत्तरों की उपयुक्तता, उनकी सटीकता, और प्रदान किए गए उद्धरणों की गुणवत्ता शामिल हैं।

सन्दर्भ की प्रासंगिकता यह मापती है कि पुनर्प्राप्त की गई जानकारी कितनी हद तक पूछे गए प्रश्न का उत्तर देती है। अच्छी प्रासंगिकता गणना लागत को कम करती है और गैर-प्रासंगिक जानकारी के कारण उत्तर की गुणवत्ता खराब होने के जोखिम को सीमित करती है। रिकॉल या औसत रैंक रिसीप्रोकल जैसी मेट्रिक्स इस आयाम को मापने में मदद करते हैं। वफादारी यह जांचती है कि उत्पन्न उत्तर वास्तव में पुनर्प्राप्त की गई जानकारी पर आधारित है, जिससे कल्पनाओं या त्रुटियों से बचा जा सकता है। भाषा मॉडल पर आधारित उपकरण इस आयाम का सटीक विश्लेषण करते हैं, उत्तरों को सत्यापन योग्य दावों में विभाजित करके।

उत्तरों की उपयुक्तता यह मापती है कि वे उपयोगकर्ता की अपेक्षाओं के अनुरूप हैं, चाहे वे तथ्यात्मक रूप से सटीक हों या नहीं। एक उत्तर प्रासंगिक हो सकता है, लेकिन फिर भी सही न हो। सटीकता यह मापती है कि उत्तर किसी संदर्भ उत्तर या स्रोत अंश के अनुरूप है, जब ये तत्व उपलब्ध हों। उद्धरणों की गुणवत्ता यह सुनिश्चित करती है कि प्रदान किए गए संदर्भ सही और उपयोगी हों, जो उन प्रणालियों के लिए महत्वपूर्ण है जो स्पष्ट रूप से अपने स्रोतों का उल्लेख करती हैं।

इन आयामों को लागू करने के लिए, उपयुक्त डेटासेट की आवश्यकता होती है। मौजूदा डेटासेट, जो अक्सर खुले प्रश्न-उत्तर से प्राप्त होते हैं, सटीकता और उपयुक्तता का मूल्यांकन करने में मदद करते हैं, क्योंकि इनमें स्पष्ट संदर्भ होते हैं। हालांकि, ये बहु-स्रोत परिदृश्यों में सन्दर्भ की प्रासंगिकता या उद्धरणों की गुणवत्ता जैसे जटिल आयामों को मापने के लिए कम उपयुक्त होते हैं। दूसरी ओर, संश्लेषित डेटासेट, जो विशेष रूप से इन प्रणालियों के लिए बनाए जाते हैं, अधिक लचीलापन प्रदान करते हैं। वे आयामों की एक विस्तृत श्रृंखला का मूल्यांकन करने की अनुमति देते हैं, लेकिन उनके उपयोग से अतिरिक्त लागत और मॉडलों के अनुसार परिवर्तनशीलता आ सकती है।

प्रणालियों से पूछे गए प्रश्न जटिलता में भी भिन्न हो सकते हैं। सरल प्रश्न, जिनके लिए केवल एक जानकारी स्रोत की आवश्यकता होती है, पारंपरिक मेट्रिक्स के साथ आसानी से मूल्यांकन किए जा सकते हैं। दूसरी ओर, जटिल प्रश्न, जिनके लिए कई स्रोतों से जानकारी को एकत्रित करने की आवश्यकता होती है, अधिक परिष्कृत दृष्टिकोणों की मांग करते हैं। इन मामलों में, उत्तरों की गुणवत्ता का मूल्यांकन करने के लिए भाषा मॉडल का उपयोग विशेष रूप से मूल्यवान हो जाता है, क्योंकि शुद्ध शब्दावली या अर्थगत मेट्रिक्स डेटा के विभिन्न भागों के बीच सूक्ष्म संबंधों को पकड़ने में असमर्थ होते हैं।

यह मूल्यांकन ढांचा वास्तविक परिदृश्यों में इसके अनुप्रयोग के लिए व्यावहारिक सिफारिशें भी प्रस्तावित करता है। यह स्पष्ट रूप से परिभाषित करने के महत्व पर जोर देता है कि क्या मूल्यांकन खोज, उत्पन्न, या दोनों के लिए किया जाना चाहिए। डेटासेट और मेट्रिक्स का चयन इस उद्देश्य से निर्देशित होना चाहिए, प्रत्येक दृष्टिकोण की ताकत और सीमाओं को ध्यान में रखते हुए। उदाहरण के लिए, खुले डेटासेट सटीकता का मूल्यांकन करने के लिए आदर्श होते हैं, जबकि संश्लेषित डेटासेट एक व्यापक मूल्यांकन की अनुमति देते हैं, लेकिन उच्च लागत के साथ।

अंत में, यह ढांचा प्रणालियों के प्रदर्शन को पूरी तरह से पकड़ने के लिए बहुआयामी मूल्यांकन की आवश्यकता पर प्रकाश डालता है। यह न केवल उनकी प्रभावशीलता को मापने में मदद करता है, बल्कि गतिशील वातावरण में इष्टतम तैनाती के लिए सुधार के क्षेत्रों की पहचान करने में भी मदद करता है। इन आयामों, मेट्रिक्स और डेटासेट को एक सहसंबद्ध संरचना में एकीकृत करके, यह एक अधिक व्यवस्थित और पारदर्शी मूल्यांकन के लिए एक मजबूत आधार प्रदान करता है।

“`

स्रोत और क्रेडिट

स्रोत अध्ययन

DOI: https://doi.org/10.1007/s42979-026-05134-x

शीर्षक: Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

जर्नल: SN Computer Science

प्रकाशक: Springer Science and Business Media LLC

लेखक: Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann