![\"Sistemas](\"https:\/\/journalofartificialintelligence.com\/\/pt\/wp-content\/uploads\/shared\/laboratory-829371_640.jpg\")
“`html<\/p>\n“`html<\/p>\n
Os modelos avan\u00e7ados de linguagem est\u00e3o transformando diversos setores gra\u00e7as \u00e0 sua capacidade de resolver problemas complexos, mas seu desenvolvimento r\u00e1pido revelou limita\u00e7\u00f5es nos m\u00e9todos tradicionais de avalia\u00e7\u00e3o. Esses modelos, embora eficientes, t\u00eam dificuldade em interpretar nuances contextuais espec\u00edficas, como os requisitos t\u00e9cnicos pr\u00f3prios de certos setores. Eles tamb\u00e9m sofrem com problemas recorrentes: produ\u00e7\u00e3o de informa\u00e7\u00f5es imprecisas ou inventadas, incapacidade de atualizar seus conhecimentos de forma din\u00e2mica e dificuldades em lidar com contextos estendidos. Uma solu\u00e7\u00e3o amplamente adotada consiste em enriquecer esses modelos com informa\u00e7\u00f5es externas, recuperando trechos relevantes de bases de dados especializadas. Essa abordagem, que combina busca e gera\u00e7\u00e3o, melhora significativamente a precis\u00e3o e a relev\u00e2ncia das respostas, especialmente para perguntas que exigem conhecimentos especializados ou pouco comuns.<\/p>\n
No entanto, avaliar esses sistemas ainda \u00e9 um desafio. Seu desempenho depende de v\u00e1rias etapas, como a qualidade da busca de informa\u00e7\u00f5es e a forma como esses dados s\u00e3o integrados para produzir uma resposta. Um estudo recente prop\u00f5e um framework de avalia\u00e7\u00e3o estruturado para esses sistemas, definindo dimens\u00f5es-chave a serem mensuradas. Entre elas, destacam-se a relev\u00e2ncia do contexto recuperado, a fidelidade das respostas em rela\u00e7\u00e3o \u00e0s informa\u00e7\u00f5es-fonte, a adequa\u00e7\u00e3o das respostas, sua exatid\u00e3o e a qualidade das cita\u00e7\u00f5es fornecidas.<\/p>\n
A relev\u00e2ncia do contexto avalia em que medida as informa\u00e7\u00f5es recuperadas respondem efetivamente \u00e0 pergunta feita. Uma boa relev\u00e2ncia reduz os custos computacionais e limita os riscos de que informa\u00e7\u00f5es n\u00e3o relevantes prejudiquem a qualidade da resposta. M\u00e9tricas como recall<\/em> ou mean reciprocal rank<\/em> permitem medir essa dimens\u00e3o. A fidelidade, por sua vez, verifica se a resposta gerada baseia-se, de fato, nas informa\u00e7\u00f5es recuperadas, evitando assim inven\u00e7\u00f5es ou erros. Ferramentas baseadas em modelos de linguagem permitem analisar detalhadamente essa dimens\u00e3o, decompondo as respostas em afirma\u00e7\u00f5es verific\u00e1veis.<\/p>\n A adequa\u00e7\u00e3o das respostas mede sua conformidade com as expectativas do usu\u00e1rio, independentemente de sua exatid\u00e3o factual. Uma resposta pode ser relevante sem, no entanto, ser correta. Por fim, a exatid\u00e3o avalia se a resposta corresponde a uma resposta de refer\u00eancia ou a uma passagem-fonte, quando esses elementos est\u00e3o dispon\u00edveis. A qualidade das cita\u00e7\u00f5es, por sua vez, verifica se as refer\u00eancias fornecidas s\u00e3o tanto corretas quanto \u00fateis, um aspecto crucial para sistemas que atribuem explicitamente suas fontes.<\/p>\n Para aplicar essas dimens\u00f5es, \u00e9 necess\u00e1rio dispor de conjuntos de dados adequados. Os conjuntos de dados existentes, muitas vezes originados de perguntas e respostas abertas, permitem avaliar a adequa\u00e7\u00e3o e a exatid\u00e3o por meio de refer\u00eancias claras. No entanto, eles s\u00e3o menos adequados para medir dimens\u00f5es mais complexas, como a relev\u00e2ncia do contexto ou a qualidade das cita\u00e7\u00f5es em cen\u00e1rios multi-fontes. Por outro lado, os conjuntos de dados sint\u00e9ticos, criados especificamente para esses sistemas, oferecem maior flexibilidade. Eles permitem avaliar uma gama mais ampla de dimens\u00f5es, mas seu uso pode introduzir custos adicionais e variabilidade conforme os modelos empregados.<\/p>\n As perguntas feitas aos sistemas tamb\u00e9m podem variar em complexidade. Perguntas simples, que exigem apenas uma fonte de informa\u00e7\u00e3o, s\u00e3o mais f\u00e1ceis de avaliar com m\u00e9tricas tradicionais. J\u00e1 as perguntas complexas, que exigem a agrega\u00e7\u00e3o de informa\u00e7\u00f5es de v\u00e1rias fontes, demandam abordagens mais sofisticadas. Nesses casos, o uso de modelos de linguagem para avaliar a qualidade das respostas torna-se particularmente valioso, pois m\u00e9tricas puramente lexicais ou sem\u00e2nticas t\u00eam dificuldade em capturar as conex\u00f5es sutis entre as diferentes partes dos dados.<\/p>\n Esse framework de avalia\u00e7\u00e3o tamb\u00e9m oferece recomenda\u00e7\u00f5es pr\u00e1ticas para sua aplica\u00e7\u00e3o em cen\u00e1rios reais. Ele destaca a import\u00e2ncia de definir claramente o que deve ser avaliado: a busca, a gera\u00e7\u00e3o ou ambos. A escolha do conjunto de dados e das m\u00e9tricas deve ser guiada por esse objetivo, levando em considera\u00e7\u00e3o as for\u00e7as e as limita\u00e7\u00f5es de cada abordagem. Por exemplo, conjuntos de dados abertos s\u00e3o ideais para avaliar a exatid\u00e3o, enquanto conjuntos de dados sint\u00e9ticos permitem uma avalia\u00e7\u00e3o mais ampla, mas com custos maiores.<\/p>\n Por fim, esse framework evidencia a necessidade de uma avalia\u00e7\u00e3o multidimensional para capturar plenamente o desempenho dos sistemas. Ele permite n\u00e3o apenas medir sua efic\u00e1cia, mas tamb\u00e9m identificar \u00e1reas de melhoria para um deploy ideal em ambientes din\u00e2micos. Ao integrar essas dimens\u00f5es, m\u00e9tricas e conjuntos de dados em uma estrutura coerente, oferece uma base s\u00f3lida para uma avalia\u00e7\u00e3o mais sistem\u00e1tica e transparente.<\/p>\n “`<\/p>\n DOI\u00a0:<\/strong> https:\/\/doi.org\/10.1007\/s42979-026-05134-x<\/a><\/p>\n Titre\u00a0:<\/strong> Evaluating Retrieval Augmented Generation: A Comprehensive Review of Evaluation Dimensions, Question Types, and Application<\/p>\n Revue : <\/strong> SN Computer Science<\/p>\n \u00c9diteur : <\/strong> Springer Science and Business Media LLC<\/p>\n Auteurs : <\/strong> Simon Knollmeyer; O\u011fuz Caymazer; Leonid Koval; Muhammad Uzair Akmal; Saara Asif; Selvine G. Mathias; Daniel Gro\u00dfmann<\/p>\n","protected":false},"excerpt":{"rendered":" “`html Sistemas de IA enriquecidos com busca de informa\u00e7\u00f5es oferecem respostas mais confi\u00e1veis Os modelos avan\u00e7ados de linguagem est\u00e3o transformando diversos setores gra\u00e7as \u00e0 sua capacidade de resolver problemas complexos, mas seu desenvolvimento r\u00e1pido revelou limita\u00e7\u00f5es nos m\u00e9todos tradicionais de avalia\u00e7\u00e3o. Esses modelos, embora eficientes, t\u00eam dificuldade em interpretar nuances contextuais espec\u00edficas, como os requisitos… Continuar lendo Sistemas de IA enriquecidos com busca de informa\u00e7\u00f5es oferecem respostas mais confi\u00e1veis<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2],"tags":[],"class_list":["post-39","post","type-post","status-publish","format-standard","hentry","category-ciencia-e-tecnologia","entry"],"_links":{"self":[{"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/posts\/39","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/comments?post=39"}],"version-history":[{"count":1,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/posts\/39\/revisions"}],"predecessor-version":[{"id":40,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/posts\/39\/revisions\/40"}],"wp:attachment":[{"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/media?parent=39"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/categories?post=39"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/journalofartificialintelligence.com\/pt\/wp-json\/wp\/v2\/tags?post=39"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\nSources et cr\u00e9dits<\/h2>\n
\u00c9tude source<\/h3>\n