AI utklassade läkare genom att ställa diagnoser helt på egen hand i en amerikansk studie.
– Naivt nog blev jag förvånad, säger läkaren och forskaren Adam Rodman.
I slutet av förra året satte sig 50 läkare för att ställa en rad smarta diagnoser. Halva gruppen fick hjälp av AI-verktyget ChatGPT, den andra hälften inte.
– Många vårdgivare i USA har börjat erbjuda chatbots till sina anställda läkare, säger Adam Rodman, som var med och designade studien och fortsätter:
– Men vad gör det här för läkarnas beslutsfattande – gör det dem bättre?
“Utklassad dramatiskt”
Experimentet handlar inte i första hand om själva diagnosen utan hur läkaren kommer fram till den och om att fundera över vad som talar för att läkaren kan ha fel.
Annons
Ingen större skillnad i resultaten mellan grupperna märktes. Läkarna som använde språkmodellen fick 76 procent rätt, kontrollgruppen 74 procent. Men den stora smällen kom när AI:n var tvungen att göra testet på egen hand – den nådde 90 procent.
Annons
– AI-modellen utklassade båda grupperna dramatiskt. Den är fullt kapabel att göra en imponerande bedrift på egen hand – men det gjorde inte människor bättre, säger Rodman.
En förklaring till att läkarna som använde ChatGPT inte gjorde det bättre är att de aldrig fick instruktioner om hur de skulle använda det. Många använde det som Google. En annan anledning är att folk är dåliga på att argumentera mot sig själva.
– De är inte så bra på att säga “det här är anledningarna till att jag kan ha fel”. Där var AI-modellen fantastisk.
Ska inte bytas ut
Resultatet är kontroversiellt och har gjort läkare i USA oroliga, enligt Rodman. Det kan han förstå. Först läser de medicin i fyra år, sedan specialisttjänstgöring (residency) i ytterligare tre till sju år.
– Allt för att lära oss hur man ställer diagnoser. Sedan är det en besvikelse när en språkmodell, utbildad att skrapa internet och gud vet vad, kan göra samma sak.
Svenska läkare upplever också AI:s ankomst.
– Vi ser att det finns stor potential inom AI att förbättra vården. Och vi tror att alla läkare kommer att påverkas – eller redan är påverkade – av utvecklingen, säger Sofia Rydgren Stale, överläkare och ordförande i Sveriges läkarförbund.
Annons
Annons
En av fyra läkare använder redan idag AI, främst för att hjälpa till att skriva journaler. Inom bilddiagnostik, till exempel i sökandet efter cancertumörer, har också stora framsteg gjorts. Samtidigt finns det i stort sett inga riktlinjer idag, vilket fackförbundet har kritiserat.
När det gäller förmågan att ställa diagnos konstaterar Rydgren Stale att det kan finnas situationer där AI gör bättre bedömningar.
– Jag tror att man kan se det som att studien på ett bra sätt illustrerar hur möjligheten att dra nytta av AI ser ut.
Samtidigt säger hon att AI gör sämre uppskattningar när de ges andra typer av ingångsvärden. Hon framhåller också att språkmodellerna är generella, och ofta inte tränade på till exempel vissa minoriteter, och de problem som finns med att patientdata läcker.
Så kommer AI att ta över läkarnas jobb? Tekniken är billig och blir, till skillnad från människor, aldrig trött eller irriterad. Rydgren Stale tycker att det ibland finns en tendens från politiskt håll att överskatta möjligheterna till besparingar.
– Det viktiga är att man använder potentialen men samtidigt hanterar de risker som finns. Det finns vissa saker som AI kommer att vara väldigt bra på, och andra där människor är mycket bättre. Jag tror inte att AI kommer att kunna göra allt själv.
Annons
Diagnostisera inte allt
Adam Rodman är tydlig med att påpeka att studiens slutsats inte är att läkare ska ersättas med AI. Att ställa en diagnos är först och främst en liten del av läkarens jobb – och för att kunna göra det behöver läkaren veta vilka frågor som ska ställas, och att tester görs – i det simulerade experimentet samlas redan information in.
Annons
– Och större delen av min arbetsdag går inte åt till att ställa komplexa diagnoser. Den används för att prata, koordinera, trösta och göra pappersarbete. Men det här pekar på den oro som jag tror att många proffs känner för kraften i vissa av dessa modeller, säger han.
Idag använder många läkare i USA AI för att spela in, transkribera och sammanfatta patientsamtal. Om AI redan lyssnar – kan nästa steg vara att vara med?
– Jag skulle vilja att AI:n skulle vara en tredje person i det samtalet som lyssnar och ger rekommendationer och råd, eller till och med berättar för oss när vi råkar ha förutfattade meningar, vilket vi vet är ett stort problem med läkare, säger Rodman.
Fakta: ChatGPT utklassad
Studien genomfördes i slutet av 2023 i USA, med 50 läkare. Deltagarna fick 60 minuter på sig att gå igenom sex kliniska fall.
Fallen är baserade på riktiga patienter, där medicinska experter sammanställt informationen.
Läkare som valdes slumpmässigt ut att använda ChatGPT4 fick 76 procent i snitt i testet, kontrollgruppen som inte använde ChatGPT nådde 74 procent. Men när ChatGPT själva fick försöka lösa fallen uppnåddes 90 procent.
Rapporten presenterasras i den vetenskapliga tidskriften Jama.
Fakta: Läkare och AI
Läkare världen över har – liksom andra yrkesgrupper – börjat använda AI på olika sätt. Här är några exempel:
OpenEvidence: En språkmodell som samlar medicinska studier och utifrån dem kan svara på medicinska frågor med ett naturligt språk.
Transkription av patientsamtal: Läkaren kan använda en mikrofon (eller sin telefon) för att spela in patientsamtalen, som automatiskt skrivs ut och sammanfattar samtalet, och kan även skriva ett första utkast till journalen.
Patientportaler: Chatbots kan vara ett första steg när patienter söker läkarkontakt, som till exempel kan ställa grundläggande frågor och sammanfatta svaren för läkaren.
Bildigenkänning: Genom att träna AI på bilder från patienter kan den lära sig känna igen sjukdomar och skador. Det kan handla om tumörer på mammografibilder, eller att upptäcka diabetes genom ögonbottenfotografering.
Forskning: Många företag använder AI för att utveckla läkemedelskandidater. Den kan också användas för att göra beräkningar på hur sjukdomsutbrott kan spridas.