“`html

인공지능 시스템이 정보 검색을 통해 더 신뢰할 수 있는 답변 제공

고급 언어 모델은 복잡한 문제를 해결하는 능력으로 많은 분야를 변화시키고 있지만, 빠른 발전으로 인해 전통적인 평가 방법의 한계가 드러났습니다. 이러한 모델들은 성능이 뛰어나지만 특정 분야의 기술적 요구 사항과 같은 맥락적인 뉘앙스를 해석하는 데 어려움을 겪습니다. 또한, 잘못된 정보나 허구적인 정보를 생성하거나, 지식을 동적으로 업데이트하지 못하거나, 광범위한 맥락을 처리하지 못하는 문제도 반복적으로 발생합니다. 이러한 문제를 해결하기 위해 외부 정보로 모델을 강화하는 방법이 널리 채택되고 있습니다. 즉, 전문 데이터베이스에서 관련 정보를 검색하여 생성과 결합하는 접근 방식은, 특히 전문 지식이나 드문 지식이 필요한 질문에 대해 답변의 정확성과 관련성을 크게 향상시킵니다.

그러나 이러한 시스템을 평가하는 것은 여전히 도전 과제입니다. 성능은 정보 검색의 질, 데이터가 답변을 생성하는 방식 등에 따라 달라집니다. 최근 연구에서는 이러한 시스템을 평가하기 위한 구조화된 프레임워크를 제안하며, 측정해야 할 핵심 차원을 정의합니다. 여기에는 검색된 맥락의 관련성, 원본 정보에 대한 답변의 충실도, 답변의 적절성, 정확성, 인용 품질 등이 포함됩니다.

맥락의 관련성은 검색된 정보가 실제로 질문에 답하는지를 평가합니다. 높은 관련성은 계산 비용을 줄이고, 관련 없는 정보가 답변의 질을 저하시킬 위험을 최소화합니다. 재현율(recall)이나 평균 역순위(RR)와 같은 지표로 이 차원을 측정할 수 있습니다. 충실도는 생성된 답변이 검색된 정보에 실제로 기반하는지를 확인하여, 허구나 오류를 방지합니다. 언어 모델 기반 도구는 답변을 검증 가능한 주장으로 분해하여 이 차원을 세밀히 분석할 수 있습니다.

답변의 적절성은 사실적 정확성과는 독립적으로 사용자의 기대치에 부합하는지를 측정합니다. 답변은 관련성이 있을 수 있지만 반드시 정확한 것은 아닙니다. 마지막으로, 정확성은 답변이 참조 답변이나 원본 텍스트와 일치하는지를 평가합니다. 인용 품질은 제공된 참조가 정확하고 유용한지를 확인하며, 특히 출처를 명시하는 시스템에서 중요한 측면입니다.

이러한 차원을 적용하기 위해서는 적합한 데이터셋이 필요합니다. 기존 데이터셋은 주로 개방형 질문-답변에서 유래하며, 참조가 명확하여 적절성과 정확성을 평가하는 데 유용합니다. 그러나 다중 출처 시나리오에서 맥락의 관련성이나 인용 품질과 같은 복잡한 차원을 평가하는 데는 적합하지 않을 수 있습니다. 반면, 합성 데이터셋은 이러한 시스템을 위해 특별히 생성되며, 더 넓은 범위의 차원을 평가할 수 있는 유연성을 제공합니다. 그러나 사용 시 추가 비용과 모델에 따라 변동성이 발생할 수 있습니다.

시스템에 제시되는 질문은 복잡성에서도 차이가 있습니다. 단일 정보 출처만 필요한 간단한 질문은 전통적인 지표로 쉽게 평가할 수 있습니다. 반면, 여러 출처에서 정보를 집계해야 하는 복잡한 질문은 더 정교한 접근 방식이 필요합니다. 이러한 경우, 답변의 품질을 평가하기 위해 언어 모델을 사용하는 것이 특히 유용합니다. 순수 어휘적 또는 의미론적 지표는 데이터의 다양한 부분 사이의 미묘한 연결을 포착하는 데 어려움을 겪기 때문입니다.

이 평가 프레임워크는 실제 시나리오에서 적용하기 위한 실용적인 권장 사항도 제공합니다. 평가해야 할 대상(검색, 생성, 또는 둘 다)을 명확히 정의하는 것이 중요함을 강조합니다. 데이터셋과 지표의 선택은 이 목표에 따라 안내되어야 하며, 각 접근 방식의 장점과 한계를 고려해야 합니다. 예를 들어, 개방형 데이터셋은 정확성을 평가하는 데 이상적이며, 합성 데이터셋은 더 광범위한 평가를 가능하게 하지만 비용이 더 들 수 있습니다.

마지막으로, 이 프레임워크는 시스템의 성능을 완전히 포착하기 위해 다차원 평가의 필요성을 강조합니다. 이는 시스템의 효율성을 측정할 뿐만 아니라 동적인 환경에서 최적의 배포를 위한 개선 영역을 식별하는 데에도 도움이 됩니다. 이러한 차원, 지표, 데이터셋을 일관된 구조로 통합함으로써, 더 체계적이고 투명한 평가를 위한 견고한 기반을 제공합니다.

“`

Sources et crédits

Étude source

DOI : https://doi.org/10.1007/s42979-026-05134-x

Titre : Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application

Revue : SN Computer Science

Éditeur : Springer Science and Business Media LLC

Auteurs : Simon Knollmeyer; Oğuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Großmann