“`html

Sistem AI yang diperkaya dengan pencarian informasi memberikan jawaban yang lebih andal

Model bahasa canggih mengubah banyak bidang berkat kemampuannya dalam memecahkan masalah kompleks, tetapi perkembangan pesatnya mengungkapkan keterbatasan dalam metode evaluasi tradisional. Model-model ini, meskipun berkinerja tinggi, kesulitan menafsirkan nuansa kontekstual spesifik, seperti persyaratan teknis yang khas di sektor tertentu. Mereka juga menghadapi masalah berulang: produksi informasi yang tidak akurat atau fiktif, ketidakmampuan memperbarui pengetahuan secara dinamis, dan kesulitan mengelola konteks yang luas. Salah satu solusi yang banyak diadopsi adalah memperkaya model-model ini dengan informasi eksternal, dengan mengambil cuplikan relevan dari basis data khusus. Pendekatan ini, yang menggabungkan pencarian dan generasi, secara signifikan meningkatkan akurasi dan relevansi jawaban, terutama untuk pertanyaan yang memerlukan pengetahuan khusus atau jarang ditemukan.

Namun, mengevaluasi sistem-sistem ini tetap menjadi tantangan. Kinerja mereka bergantung pada beberapa tahap, seperti kualitas pencarian informasi dan cara data tersebut diintegrasikan untuk menghasilkan jawaban. Sebuah studi terbaru mengusulkan kerangka evaluasi terstruktur untuk sistem-sistem ini, dengan mendefinisikan dimensi kunci yang perlu diukur. Di antaranya, terdapat relevansi konteks yang diperoleh, kesetiaan jawaban terhadap informasi sumber, ketepatan jawaban, akurasi, dan kualitas kutipan yang disediakan.

Relevansi konteks menilai sejauh mana informasi yang diperoleh benar-benar menjawab pertanyaan yang diajukan. Relevansi yang baik mengurangi biaya komputasi dan membatasi risiko informasi yang tidak relevan merusak kualitas jawaban. Metrik seperti recall atau mean reciprocal rank memungkinkan pengukuran dimensi ini. Kesetiaan, di sisi lain, memeriksa apakah jawaban yang dihasilkan benar-benar didasarkan pada informasi yang diperoleh, sehingga menghindari penemuan atau kesalahan. Alat-alat berbasis model bahasa memungkinkan analisis mendetail dimensi ini, dengan memecah jawaban menjadi pernyataan yang dapat diverifikasi.

Ketepatan jawaban mengukur kesesuaiannya dengan harapan pengguna, terlepas dari akurasi faktualnya. Jawaban dapat relevan tanpa harus benar. Sementara itu, akurasi menilai apakah jawaban sesuai dengan jawaban referensi atau kutipan sumber, jika elemen-elemen tersebut tersedia. Kualitas kutipan, di sisi lain, memeriksa apakah referensi yang diberikan benar dan bermanfaat, aspek penting bagi sistem yang secara eksplisit mencantumkan sumbernya.

Untuk menerapkan dimensi-dimensi ini, diperlukan ketersediaan kumpulan data yang sesuai. Kumpulan data yang ada, yang sering berasal dari pertanyaan-jawaban terbuka, memungkinkan evaluasi ketepatan dan akurasi berkat referensi yang jelas. Namun, kumpulan data ini kurang cocok untuk mengukur dimensi yang lebih kompleks, seperti relevansi konteks atau kualitas kutipan dalam skenario multi-sumber. Sebaliknya, kumpulan data sintetis, yang dibuat khusus untuk sistem-sistem ini, menawarkan fleksibilitas yang lebih besar. Mereka memungkinkan evaluasi dimensi yang lebih luas, tetapi penggunaannya dapat menimbulkan biaya tambahan dan variabilitas tergantung pada model yang digunakan.

Pertanyaan yang diajukan kepada sistem juga dapat bervariasi dalam hal kompleksitas. Pertanyaan sederhana, yang hanya memerlukan satu sumber informasi, lebih mudah dievaluasi dengan metrik tradisional. Di sisi lain, pertanyaan kompleks, yang memerlukan agregasi informasi dari beberapa sumber, memerlukan pendekatan yang lebih canggih. Dalam kasus-kasus ini, penggunaan model bahasa untuk mengevaluasi kualitas jawaban menjadi sangat berharga, karena metrik yang murni leksikal atau semantik kesulitan menangkap koneksi halus antara bagian-bagian data yang berbeda.

Kerangka evaluasi ini juga menawarkan rekomendasi praktis untuk penerapannya dalam skenario nyata. Kerangka ini menekankan pentingnya mendefinisikan dengan jelas apa yang harus dievaluasi: pencarian, generasi, atau keduanya. Pemilihan kumpulan data dan metrik harus dipandu oleh tujuan ini, dengan mempertimbangkan kelebihan dan keterbatasan setiap pendekatan. Misalnya, kumpulan data terbuka ideal untuk mengevaluasi akurasi, sementara kumpulan data sintetis memungkinkan evaluasi yang lebih luas, tetapi dengan biaya yang lebih tinggi.

Akhirnya, kerangka ini menyoroti perlunya evaluasi multidimensi untuk sepenuhnya menangkap kinerja sistem. Kerangka ini tidak hanya memungkinkan pengukuran efisiensi, tetapi juga mengidentifikasi area perbaikan untuk penerapan optimal dalam lingkungan yang dinamis. Dengan mengintegrasikan dimensi, metrik, dan kumpulan data ini ke dalam struktur yang koheren, kerangka ini menawarkan landasan yang kuat untuk evaluasi yang lebih sistematis dan transparan.

“`

Sources et crédits

Étude source

DOI : https://doi.org/10.1007/s42979-026-05134-x

Titre : Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

Revue : SN Computer Science

Éditeur : Springer Science and Business Media LLC

Auteurs : Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann