Allgemeine KI-Modelle übertreffen spezialisierte Tools in der Medizin

Spezialisierte KI-Tools für den medizinischen Einsatz beginnen sich in der klinischen Praxis durchzusetzen, doch unabhängige Bewertungen sind nach wie vor selten. Eine aktuelle Analyse hat zwei dieser Tools, OpenEvidence und UpToDate Expert AI, mit drei führenden allgemeinen KI-Modellen verglichen: GPT-5.2, Gemini 3.1 Pro und Claude Opus 4.6. Die Bewertung erfolgte in drei klar getrennten Schritten.

Im ersten Schritt wurden den Modellen 500 Fragen im Stil amerikanischer medizinischer Prüfungen vorgelegt, um ihr Wissen zu testen. Die allgemeinen Modelle schnitten besser ab und erreichten über 90 % korrekte Antworten. Gemini erzielte eine Genauigkeit von 97,4 %, dicht gefolgt von GPT mit 94,2 %, während die spezialisierten Tools niedrigere Werte zwischen 88 und 89 % erreichten.

Der zweite Schritt bewertete die Übereinstimmung mit klinischen Urteilen anhand von 500 Szenarien aus der HealthBench-Datenbank. Auch hier stachen die allgemeinen Modelle hervor. GPT erreichte den höchsten Wert mit 88 %, gefolgt von Gemini mit 79,3 % und Claude mit 77 %. Die spezialisierten Tools schnitten deutlich schlechter ab, mit Werten unter 63 %.

Im dritten Schritt wurden 100 echte klinische Anfragen von Ärzten in einem Krankenhausumfeld bewertet. Zwölf amerikanische Kliniker bewerteten im Blindverfahren die Antworten der sechs Modelle und erstellten dabei 1.800 Annotationen. Die allgemeinen Modelle dominierten erneut mit durchschnittlichen Bewertungen von über 3,5 von 4 Punkten. Die spezialisierten Tools und das Analyse-Tool von Google erhielten niedrigere Bewertungen um 3,2. Besonders auffällig waren die Unterschiede in Bezug auf Klarheit: OpenEvidence zeigte hier bemerkenswerte Schwächen, mit teilweise unvollständigen, unstrukturierten oder für das medizinische Publikum ungeeigneten Antworten.

Die spezialisierten Tools wiesen zudem eine höhere Ablehnungsrate auf: UpToDate verweigerte die Beantwortung von 19 % der Fragen, während die allgemeinen Modelle nur 1 bis 3 % ablehnten. Kein Modell produzierte mehr gefährliche Inhalte oder sachliche Fehler als die anderen, was darauf hindeutet, dass Sicherheit kein entscheidender Unterschied zwischen ihnen ist.

Diese Studie zeigt ein überraschendes Ergebnis: Allgemeine Modelle übertreffen dank ihres umfangreichen Trainings und ihrer fortgeschrittenen Ausrichtung spezialisierte Tools in verschiedenen medizinischen Aufgaben. Ihre Fähigkeit, zu argumentieren und allgemeines Wissen zu integrieren, scheint den vermeintlichen Vorteil einer medizinischen Spezialisierung auszugleichen oder sogar zu übertreffen. Die spezialisierten Tools, obwohl für den klinischen Einsatz konzipiert, haben Schwierigkeiten, mit der Vielseitigkeit und Präzision der fortschrittlichsten Modelle mitzuhalten.

Die Ergebnisse unterstreichen auch die Bedeutung einer strengen und unabhängigen Bewertung vor der Einführung dieser Technologien im medizinischen Bereich. Traditionelle Benchmarks, die oft von denselben Akteuren erstellt werden, die die Modelle entwickeln, können Verzerrungen aufweisen. Die Studie setzte daher auf echte Anfragen, die von Klinikern ohne Kenntnis der Herkunft der Antworten bewertet wurden, um einen objektiven Vergleich zu gewährleisten.

Allgemeine Modelle könnten somit eine effizientere Lösung für gängige klinische Aufgaben darstellen, während spezialisierte Tools ihren Nutzen in sehr spezifischen Bereichen oder Kontexten finden könnten, die eine tiefe Integration mit spezifischen Krankenhaussystemen erfordern. Allerdings ist ihre aktuelle Überlegenheit nicht dauerhaft garantiert, da sich diese Technologien schnell weiterentwickeln und die Verhältnisse sich ändern könnten.

Sources et crédits

Étude source

DOI : https://doi.org/10.1038/s41591-026-04431-5

Titre : General-purpose large language models outperform specialized clinical AI tools on medical benchmarks

Revue : Nature Medicine

Éditeur : Springer Science and Business Media LLC

Auteurs : Krithik Vishwanath; Anton Alyakin; Mrigayu Ghosh; Ali Hage; Sean N. Neifert; Cordelia Orillac; Nataniel J. Mandelberg; Hammad A. Khan; Jin Vivian Lee; Jie J. Yao; William Robert Small; Aakaash Varma; D. Brock Hewitt; Yindalon Aphinyanaphongs; Daniel Alexander Alber; Eric Karl Oermann