![\"Les](\"https:\/\/journalofartificialintelligence.com\/\/fr\/wp-content\/uploads\/shared\/laboratory-829371_640.jpg\")
<\/p>\n<\/p>\n
Les mod\u00e8les de langage avanc\u00e9s transforment de nombreux domaines gr\u00e2ce \u00e0 leur capacit\u00e9 \u00e0 r\u00e9soudre des probl\u00e8mes complexes, mais leur d\u00e9veloppement rapide a r\u00e9v\u00e9l\u00e9 des limites dans les m\u00e9thodes d’\u00e9valuation traditionnelles. Ces mod\u00e8les, bien que performants, peinent \u00e0 interpr\u00e9ter des nuances contextuelles sp\u00e9cifiques, comme les exigences techniques propres \u00e0 certains secteurs. Ils souffrent \u00e9galement de probl\u00e8mes r\u00e9currents : production d’informations inexactes ou invent\u00e9es, incapacit\u00e9 \u00e0 mettre \u00e0 jour leurs connaissances de mani\u00e8re dynamique et difficult\u00e9s \u00e0 g\u00e9rer des contextes \u00e9tendus. Une solution largement adopt\u00e9e consiste \u00e0 enrichir ces mod\u00e8les avec des informations externes, en r\u00e9cup\u00e9rant des extraits pertinents depuis des bases de donn\u00e9es sp\u00e9cialis\u00e9es. Cette approche, qui combine recherche et g\u00e9n\u00e9ration, am\u00e9liore significativement la pr\u00e9cision et la pertinence des r\u00e9ponses, notamment pour des questions n\u00e9cessitant des connaissances sp\u00e9cialis\u00e9es ou peu courantes.<\/p>\n
Cependant, \u00e9valuer ces syst\u00e8mes reste un d\u00e9fi. Leur performance d\u00e9pend de plusieurs \u00e9tapes, comme la qualit\u00e9 de la recherche d’informations et la mani\u00e8re dont ces donn\u00e9es sont int\u00e9gr\u00e9es pour produire une r\u00e9ponse. Une \u00e9tude r\u00e9cente propose un cadre d’\u00e9valuation structur\u00e9 pour ces syst\u00e8mes, d\u00e9finissant des dimensions cl\u00e9s \u00e0 mesurer. Parmi celles-ci, on retrouve la pertinence du contexte r\u00e9cup\u00e9r\u00e9, la fid\u00e9lit\u00e9 des r\u00e9ponses par rapport aux informations sources, la justesse des r\u00e9ponses, leur exactitude et la qualit\u00e9 des citations fournies.<\/p>\n
La pertinence du contexte \u00e9value dans quelle mesure les informations r\u00e9cup\u00e9r\u00e9es r\u00e9pondent effectivement \u00e0 la question pos\u00e9e. Une bonne pertinence r\u00e9duit les co\u00fbts de calcul et limite les risques que des informations non pertinentes ne nuisent \u00e0 la qualit\u00e9 de la r\u00e9ponse. Des m\u00e9triques comme le rappel ou le rang moyen r\u00e9ciproque permettent de mesurer cette dimension. La fid\u00e9lit\u00e9, quant \u00e0 elle, v\u00e9rifie si la r\u00e9ponse g\u00e9n\u00e9r\u00e9e s’appuie bien sur les informations r\u00e9cup\u00e9r\u00e9es, \u00e9vitant ainsi les inventions ou les erreurs. Des outils bas\u00e9s sur des mod\u00e8les de langage permettent d’analyser finement cette dimension, en d\u00e9composant les r\u00e9ponses en affirmations v\u00e9rifiables.<\/p>\n
La justesse des r\u00e9ponses mesure leur ad\u00e9quation avec les attentes de l’utilisateur, ind\u00e9pendamment de leur exactitude factuelle. Une r\u00e9ponse peut \u00eatre pertinente sans pour autant \u00eatre correcte. Enfin, l’exactitude \u00e9value si la r\u00e9ponse correspond \u00e0 une r\u00e9ponse de r\u00e9f\u00e9rence ou \u00e0 un passage source, lorsque ces \u00e9l\u00e9ments sont disponibles. La qualit\u00e9 des citations, quant \u00e0 elle, v\u00e9rifie que les r\u00e9f\u00e9rences fournies sont \u00e0 la fois correctes et utiles, un aspect crucial pour les syst\u00e8mes qui attribuent explicitement leurs sources.<\/p>\n
Pour appliquer ces dimensions, il est n\u00e9cessaire de disposer de jeux de donn\u00e9es adapt\u00e9s. Les jeux de donn\u00e9es existants, souvent issus de questions-r\u00e9ponses ouvertes, permettent d’\u00e9valuer la justesse et l’exactitude gr\u00e2ce \u00e0 des r\u00e9f\u00e9rences claires. Cependant, ils sont moins adapt\u00e9s pour mesurer des dimensions plus complexes comme la pertinence du contexte ou la qualit\u00e9 des citations dans des sc\u00e9narios multi-sources. \u00c0 l’inverse, les jeux de donn\u00e9es synth\u00e9tiques, cr\u00e9\u00e9s sp\u00e9cifiquement pour ces syst\u00e8mes, offrent une plus grande flexibilit\u00e9. Ils permettent d’\u00e9valuer un \u00e9ventail plus large de dimensions, mais leur utilisation peut introduire des co\u00fbts suppl\u00e9mentaires et une variabilit\u00e9 selon les mod\u00e8les employ\u00e9s.<\/p>\n
Les questions pos\u00e9es aux syst\u00e8mes peuvent \u00e9galement varier en complexit\u00e9. Les questions simples, n\u00e9cessitant une seule source d’information, sont plus faciles \u00e0 \u00e9valuer avec des m\u00e9triques traditionnelles. En revanche, les questions complexes, n\u00e9cessitant l’agr\u00e9gation d’informations provenant de plusieurs sources, demandent des approches plus sophistiqu\u00e9es. Dans ces cas, l’utilisation de mod\u00e8les de langage pour \u00e9valuer la qualit\u00e9 des r\u00e9ponses devient particuli\u00e8rement pr\u00e9cieuse, car les m\u00e9triques purement lexicaux ou s\u00e9mantiques peinent \u00e0 capturer les connexions subtiles entre les diff\u00e9rentes parties des donn\u00e9es.<\/p>\n
Ce cadre d’\u00e9valuation propose \u00e9galement des recommandations pratiques pour son application dans des sc\u00e9narios r\u00e9els. Il souligne l’importance de d\u00e9finir clairement ce qui doit \u00eatre \u00e9valu\u00e9 : la recherche, la g\u00e9n\u00e9ration, ou les deux. Le choix du jeu de donn\u00e9es et des m\u00e9triques doit \u00eatre guid\u00e9 par cet objectif, en tenant compte des forces et des limites de chaque approche. Par exemple, les jeux de donn\u00e9es ouverts sont id\u00e9aux pour \u00e9valuer l’exactitude, tandis que les jeux de donn\u00e9es synth\u00e9tiques permettent une \u00e9valuation plus large, mais avec des co\u00fbts accrus.<\/p>\n
Enfin, ce cadre met en lumi\u00e8re la n\u00e9cessit\u00e9 d’une \u00e9valuation multidimensionnelle pour capturer pleinement la performance des syst\u00e8mes. Il permet non seulement de mesurer leur efficacit\u00e9, mais aussi d’identifier des axes d’am\u00e9lioration pour un d\u00e9ploiement optimal dans des environnements dynamiques. En int\u00e9grant ces dimensions, m\u00e9triques et jeux de donn\u00e9es dans une structure coh\u00e9rente, il offre une base solide pour une \u00e9valuation plus syst\u00e9matique et transparente.<\/p>\n
DOI\u00a0:<\/strong> https:\/\/doi.org\/10.1007\/s42979-026-05134-x<\/a><\/p>\n Titre\u00a0:<\/strong> Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application<\/p>\n Revue : <\/strong> SN Computer Science<\/p>\n \u00c9diteur : <\/strong> Springer Science and Business Media LLC<\/p>\n Auteurs : <\/strong> Simon Knollmeyer; O\u011fuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Gro\u00dfmann<\/p>\n","protected":false},"excerpt":{"rendered":" Les syst\u00e8mes d’IA enrichis par la recherche d’informations offrent des r\u00e9ponses plus fiables Les mod\u00e8les de langage avanc\u00e9s transforment de nombreux domaines gr\u00e2ce \u00e0 leur capacit\u00e9 \u00e0 r\u00e9soudre des probl\u00e8mes complexes, mais leur d\u00e9veloppement rapide a r\u00e9v\u00e9l\u00e9 des limites dans les m\u00e9thodes d’\u00e9valuation traditionnelles. Ces mod\u00e8les, bien que performants, peinent \u00e0 interpr\u00e9ter des nuances contextuelles… Poursuivre la lecture Les syst\u00e8mes d’IA enrichis par la recherche d’informations offrent des r\u00e9ponses plus fiables<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-67","post","type-post","status-publish","format-standard","hentry","category-non-classe","entry"],"_links":{"self":[{"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/posts\/67","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/comments?post=67"}],"version-history":[{"count":1,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/posts\/67\/revisions"}],"predecessor-version":[{"id":68,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/posts\/67\/revisions\/68"}],"wp:attachment":[{"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/media?parent=67"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/categories?post=67"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/fr\/wp-json\/wp\/v2\/tags?post=67"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}