“`html

透過資訊檢索強化的AI系統能提供更可靠的回答

先進的語言模型正在透過解決複雜問題的能力改變許多領域，但其快速發展也暴露了傳統評估方法的局限性。這些模型雖然表現優異，但在解讀特定領域的上下文細微差異（如特定行業的技術要求）時仍顯困難。它們還面臨一些反覆出現的問題：產生不準確或捏造的資訊、無法動態更新知識，以及難以處理大量上下文。一個廣為採用的解決方案是透過從專門資料庫中檢索相關片段來豐富這些模型。這種結合檢索與生成的方法，顯著提升了回答的準確性和相關性，特別是針對需要專業或罕見知識的問題。

然而，評估這些系統仍然是一個挑戰。它們的效能取決於多個步驟，例如資訊檢索的品質以及這些資料如何整合以產生回答。最近的一項研究提出了一個結構化的評估框架，定義了需要衡量的關鍵維度。其中包括檢索到的上下文相關性、回答對資訊來源的忠實度、回答的合理性、準確性以及所提供引用的品質。

上下文相關性評估的是檢索到的資訊是否真正回答了所提出的問題。良好的相關性可以降低計算成本，並減少不相關資訊損害回答品質的風險。像是召回率或平均倒數排名等指標可以用來衡量這一維度。至於忠實度，則檢查生成的回答是否確實基於檢索到的資訊，從而避免捏造或錯誤。基於語言模型的工具可以細緻分析這一維度，將回答分解為可驗證的陳述。

回答的合理性衡量的是回答是否符合使用者的期望，而不考慮其事實準確性。一個回答可能相關但不一定正確。而準確性則評估回答是否與參考答案或來源段落一致（當這些資訊可用時）。引用的品質則檢查所提供的參考資料是否正確且有用，這對於明確標註資料來源的系統尤為重要。

為了應用這些維度，需要適合的資料集。現有的資料集通常來源於開放式問答，能夠透過明確的參考答案來評估合理性和準確性。然而，它們較不適合用於衡量更複雜的維度，如多來源情境下的上下文相關性或引用品質。相比之下，專門為這些系統創建的合成資料集則提供了更大的靈活性。它們能夠評估更廣泛的維度，但使用時可能會引入額外成本，並且依據所使用的模型而有所差異。

提出給系統的問題在複雜性上也可能有所不同。簡單的問題只需要單一資訊來源，更容易用傳統指標進行評估。而複雜的問題需要整合多個來源的資訊，則需要更精細的方法。在這些情況下，使用語言模型來評估回答的品質尤為寶貴，因為純粹的詞彙或語義指標難以捕捉資料各部分之間的微妙聯繫。

這個評估框架還提供了在實際情境中應用的實用建議。它強調了明確定義評估對象的重要性：是檢索、生成，還是兩者兼具。資料集和指標的選擇應由這一目標指導，並考慮每種方法的優缺點。例如，開放式資料集理想用於評估準確性，而合成資料集則允許更廣泛的評估，但成本較高。

最後，這個框架凸顯了多維度評估的必要性，以全面捕捉系統的效能。它不僅能夠衡量系統的有效性，還能夠識別改進方向，以實現最佳部署在動態環境中。透過將這些維度、指標和資料集整合到一個連貫的結構中，它為更系統化和透明的評估提供了堅實的基礎。

“`

Sources et crédits

Étude source

DOI : https://doi.org/10.1007/s42979-026-05134-x

Titre : Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

Revue : SN Computer Science

Éditeur : Springer Science and Business Media LLC

Auteurs : Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann