Les modèles d’intelligence artificielle généralistes surpassent les outils spécialisés en médecine

Les outils d’intelligence artificielle conçus spécifiquement pour un usage médical commencent à s’imposer dans la pratique clinique, mais leur évaluation indépendante reste rare. Une analyse récente a comparé deux de ces outils, OpenEvidence et UpToDate Expert AI, à trois modèles d’intelligence artificielle généralistes de pointe : GPT-5.2, Gemini 3.1 Pro et Claude Opus 4.6. L’évaluation s’est déroulée en trois étapes distinctes.

La première a consisté à soumettre 500 questions de type examen médical américain aux modèles pour tester leurs connaissances. Les modèles généralistes ont obtenu de meilleurs résultats, avec des scores dépassant 90 % de bonnes réponses. Gemini a atteint 97,4 % de précision, suivi de près par GPT avec 94,2 %, tandis que les outils spécialisés ont obtenu des scores inférieurs, autour de 88 à 89 %.

La deuxième étape a évalué l’alignement avec les jugements cliniques à travers 500 situations tirées de la base HealthBench. Là encore, les modèles généralistes se sont distingués. GPT a obtenu le score le plus élevé avec 88 %, devant Gemini à 79,3 % et Claude à 77 %. Les outils spécialisés, eux, ont obtenu des résultats bien moins convaincants, avec des scores inférieurs à 63 %.

Enfin, la troisième étape a impliqué 100 requêtes cliniques réelles posées par des médecins dans un environnement hospitalier. Douze cliniciens américains ont évalué à l’aveugle les réponses des six modèles, produisant 1 800 annotations. Les modèles généralistes ont de nouveau dominé, avec des notes moyennes supérieures à 3,5 sur 4. Les outils spécialisés et l’outil d’analyse de Google ont obtenu des notes inférieures, autour de 3,2. Les différences étaient particulièrement marquées en termes de clarté, où OpenEvidence a montré des faiblesses notables, avec des réponses parfois incomplètes, désorganisées ou peu adaptées au public médical.

Les outils spécialisés ont également présenté un taux de refus plus élevé, UpToDate refusant de répondre à 19 % des questions, contre seulement 1 à 3 % pour les modèles généralistes. Aucun modèle n’a produit davantage de contenus dangereux ou d’erreurs factuelles que les autres, ce qui suggère que la sécurité n’est pas un point de différenciation majeur entre eux.

Cette étude met en lumière un constat surprenant : les modèles généralistes, grâce à leur vaste entraînement et leur alignement poussé, surpassent les outils spécialisés dans des tâches médicales variées. Leur capacité à raisonner et à intégrer des connaissances générales semble compenser, voire dépasser, l’avantage supposé d’une spécialisation médicale. Les outils dédiés, bien que conçus pour un usage clinique, peinent à rivaliser avec la polyvalence et la précision des modèles les plus avancés.

Les résultats soulignent également l’importance d’une évaluation rigoureuse et indépendante avant l’adoption de ces technologies en milieu médical. Les benchmarks traditionnels, souvent créés par les mêmes acteurs qui développent les modèles, peuvent introduire des biais. L’étude a donc privilégié des requêtes réelles, évaluées par des cliniciens sans connaître l’origine des réponses, pour garantir une comparaison objective.

Les modèles généralistes pourraient ainsi représenter une solution plus efficace pour des tâches cliniques courantes, tandis que les outils spécialisés pourraient trouver leur utilité dans des domaines très pointus ou des contextes nécessitant une intégration poussée avec des systèmes hospitaliers spécifiques. Cependant, leur supériorité actuelle n’est pas garantie dans le temps, car l’évolution rapide de ces technologies pourrait rebattre les cartes.

Sources et crédits

Étude source

DOI : https://doi.org/10.1038/s41591-026-04431-5

Titre : General-purpose large language models outperform specialized clinical AI tools on medical benchmarks

Revue : Nature Medicine

Éditeur : Springer Science and Business Media LLC

Auteurs : Krithik Vishwanath; Anton Alyakin; Mrigayu Ghosh; Ali Hage; Sean N. Neifert; Cordelia Orillac; Nataniel J. Mandelberg; Hammad A. Khan; Jin Vivian Lee; Jie J. Yao; William Robert Small; Aakaash Varma; D. Brock Hewitt; Yindalon Aphinyanaphongs; Daniel Alexander Alber; Eric Karl Oermann