“`html

通过信息检索增强的AI系统提供更可靠的回答

先进的语言模型凭借解决复杂问题的能力正在改变许多领域，但其快速发展也暴露了传统评估方法的局限性。这些模型虽然表现出色，但在处理特定上下文的细微差别（如某些行业的技术要求）时仍显不足。它们还面临一些反复出现的问题：生成不准确或虚构的信息、无法动态更新知识，以及难以处理长上下文。一个被广泛采用的解决方案是通过从专业数据库中检索相关片段来丰富这些模型。这种结合检索与生成的方法，显著提升了回答的准确性和相关性，尤其是在需要专业或罕见知识的问题上。

然而，评估这些系统仍然是一个挑战。它们的性能依赖于多个步骤，例如信息检索的质量以及这些数据如何被整合以生成回答。最近的一项研究提出了一个结构化的评估框架，用于这些系统，并定义了需要衡量的关键维度。其中包括：检索到的上下文相关性、回答对信息源的忠实度、回答的合理性、准确性以及所提供引用的质量。

上下文相关性评估的是检索到的信息是否真正回答了所提的问题。高相关性可以降低计算成本，并减少不相关信息损害回答质量的风险。召回率或平均倒排排名等指标可以衡量这一维度。而忠实度则检查生成的回答是否确实基于检索到的信息，从而避免虚构或错误。基于语言模型的工具可以通过将回答分解为可验证的陈述来精确分析这一维度。

回答的合理性衡量的是回答是否符合用户的期望，而不考虑其事实准确性。一个回答可能相关但不一定正确。准确性则评估回答是否与参考答案或信息源段落一致（当这些元素可用时）。引用的质量则检查所提供的引用是否正确且有用，这对于明确标注信息来源的系统尤其重要。

为了应用这些维度，需要合适的数据集。现有的数据集通常来源于开放式问答，能够通过明确的参考答案来评估合理性和准确性。然而，它们在衡量更复杂的维度（如多信息源场景下的上下文相关性或引用质量）时显得不够适用。相比之下，专门为这些系统创建的合成数据集提供了更大的灵活性。它们能够评估更广泛的维度，但使用时可能会引入额外成本，并且因采用的模型不同而存在差异。

向系统提出的问题在复杂性上也可能有所不同。简单的问题只需要单一信息源，更容易通过传统指标进行评估。而复杂的问题需要从多个信息源聚合信息，则需要更复杂的方法。在这些情况下，使用语言模型来评估回答的质量尤其有价值，因为纯词汇或语义指标难以捕捉数据不同部分之间的微妙联系。

该评估框架还为在实际场景中的应用提供了实用建议。它强调了明确需要评估的内容：检索、生成，还是两者兼顾。数据集和指标的选择应由这一目标指导，并考虑每种方法的优势和局限性。例如，开放式数据集适合评估准确性，而合成数据集则允许更广泛的评估，但成本更高。

最后，该框架凸显了多维度评估的必要性，以全面捕捉系统的性能表现。它不仅能够衡量系统的有效性，还能识别出改进方向，以实现最佳部署并适应动态环境。通过将这些维度、指标和数据集整合到一个连贯的框架中，它为更系统和透明的评估提供了坚实基础。

“`

Sources et crédits

Étude source

DOI : https://doi.org/10.1007/s42979-026-05134-x

Titre : Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

Revue : SN Computer Science

Éditeur : Springer Science and Business Media LLC

Auteurs : Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann