Kan KI stille mer korrekte diagnoser enn leger?

Det er en artikkel i Science som forteller dette^1-2.

I en ny studie viser forskere at en type KI kjent som en stor språkmodell (LLM) ofte presterte bedre enn leger når det gjaldt å diagnostisere komplekse og potensielt livstruende tilstander, selv der ting skjer raskt på et akuttmottak når informasjonen er begrenset¹. I tidlige tilfeller på akuttmottaket identifiserte modellen den riktige eller en svært nærliggende diagnose i omtrent 67 prosent av tilfellene, sammenlignet med omtrent 50 til 55 prosent for leger. 

Teamet bak den nye studien testet hvor nøyaktig en avansert LLM, OpenAIs o1-modell, kunne diagnostisere pasienter med alle slags tilstander. Fem av oppgavene krevde at modellen leste gjennom håndplukkede medisinske profiler og foreslo en diagnose, valgte neste steg eller estimerte sannsynligheten for en spesifikk endring i fremtidig helse. I alle fem øvelsene presterte o1 på samme måte som eller bedre enn leger (egentlig data fra hundrevis av leger). I én oppgave fikk o1 en perfekt klinisk resonnementsskåre – basert på hvor godt den forklarte diagnostisk tenkning og neste trinn – for 98 prosent av tilfellene den undersøkte, mens behandlende leger bare klarte å gjøre det i 35 prosent av tilfellene.

Den viktigste testen av LLM's prestasjoner i studien, ifølge forfatterne, krevde diagnostisering av pasienter på akuttmottaket på tre forskjellige tidspunkt i utredningen. Når en pasient kommer inn på akuttmottaket, må de først forklare symptomene sine til en mottakssykepleier, deretter evaluerer en lege dem, og til slutt må legen bestemme seg for en passende handlingsplan. Hvert av disse utredningstrinnene kan medføre mulige feil, ettersom pasienter ofte har problemer med å forklare symptomene sine, og legene selv kan sjonglere flere stressende tilfeller samtidig. Tidlige triagebeslutninger er spesielt utfordrende fordi klinikere må handle raskt, og feil kan få umiddelbare konsekvenser.

Forskerne brukte kasus fra virkelige pasienter som kom til akuttmottaket og ga informasjon til o1 i trinn som gjenspeilet de tre utredningspunktene når pasientene beskriver sykehistorien sin. Til forskjell fra de andre eksperimentene, undersøkte dette direkte hvordan LLM samhandlet med «virkelige, uordnede» data som kunne være ufullstendige eller biased. Tidlig i akuttmottaket, når en pasient gir begrenset informasjon om lidelsen sin, identifiserte o1 en eksakt eller nær diagnose i 67 prosent av tilfellene – mer enn 10 prosent høyere enn to leger som fikk de samme tilfellene. Selv om gapet ble noe mindre da mer informasjon var tilgjengelig, presterte LLM fortsatt bedre enn legene med 2 til 10 prosent senere i utredningssprosessen.

Studien analyserte likevel ikke hvordan en LLM ville fungere i møte med mer enn noen få timers pasienthistorie, slik mange tilfeller krever. I tillegg ga studien o1 kun skriftlig kasusinformasjon og inkluderte ikke ikke-tekstuelle data, som bildediagnostikk, som er sentralt for mange reelle diagnoser.

Det er en rivende utvikling innenfor kunstig intelligens, og nye modeller blir stadig bedre enn forgjengerne. Allerede nå er KI blitt et viktig hjelpemiddel i medisinen, og resultatene fra denne studien viser noe av potensialet.

Forskerteamet bak denne studien er allerede i gang med nye studier som ber modellen om å vurdere pasienter ved hjelp av mer omfattende informasjon fra den virkelige verden. Utfordringen blir så å avgjøre om disse systemene kan forbedre reell pasientbehandling utenfor kontrollerte tester.