De har satt de 21 mest populära AI-chatbotarna för att utföra differentialdiagnoser. De misslyckas mer än ett rättvist hagelgevär

'House' är en serie som jag älskar. Jag bryr mig inte det minsta om intrastoryerna, men processen med differentialdiagnostik - trots allt filmprylar - gör mig galen. Denna förmåga att utesluta sjukdomar som kan förklara samma symtom för att komma fram till den mest sannolika diagnosen verkar för mig som häxkonst.

Tja: de har satt de 21 mest populära AI-chatbotarna för att utföra denna differentialdiagnos och resultatet är tydligt. Det misslyckas mer än ett hagelgevär.

Kort sagt. Massgeneral Brigham är inte vem som helst. Det är ett icke-vinstdrivande nätverk av amerikanska läkare och sjukhus, inklusive två av de mest prestigefyllda medicinska läroanstalterna i landet.

Från januari till december 2025 satte en grupp forskare från institutionen 21 AI-chatbotar som Claude 4.5 Opus, DeepSeek, Gemini 3.0 Pro, GPT-5 eller Grok 4 för att utvärdera dussintals kliniska fall i syfte att fastställa deras framgångsnivå vid en tidig diagnos. Informationen är extremt grundläggande, men det är också vad professionella har när de ställer denna differentialdiagnos och den yttersta avsikten är att utvärdera den kliniska resonemangskapaciteten hos den senaste generationens språkmodeller för att se om de kan vara en klinisk allierad.

Svaret är nej. Även om modeller optimerade för resonemang uppnådde mycket högre poäng än enklare som Gemini 1.5 Flash, är slutsatsen att LLM fortfarande är begränsade för denna uppgift. På Xataka OpenAI går helt in i hälsa av en enkel anledning: ChatGPT är redan vår första linjens läkare (även om vi inte vill erkänna det) Examen.

Var och en av modellerna fick 29 kliniska fall som representerar mer än 16 200 svar totalt. Resultatet är att de nyare versionerna av de mest kraftfulla chatbotarna inte kunde ge en adekvat differentialdiagnos i cirka 80 % av fallen när de bara hade grundläggande patientinformation. Problemet är att ålder, kön och symtom är väldigt vag information, ja, men det är en som mänskliga yrkesverksamma som måste ställa denna differentialdiagnos "leker" med för första gången.

Allt eftersom de gör andra tester och får mer information förfinar de resultatet, men det är den första behandlingen som ofta gör skillnaden. "Vi vill hjälpa till att skilja hypen från verkligheten av dessa verktyg när de tillämpas på sjukvården" En Xataka En ChatGPT dedikerad till att ge dig medicinsk rådgivning utan tillsyn verkade vara en riskabel idé. Och en annan film bekräftar det. Och precis, eftersom LLM:erna fick mer data, var prestandan och resultaten mer robusta.

När chatboten har mer och mer information såsom fysisk analysdata, laboratorieresultat och diagnostiska bilder förändras saker och AI och når den slutliga diagnosen i mer än 90 % av fallen. Men för att nå det stadiet måste de naturligtvis ha nästan alla kliniska data, vilket ytterligare visar gapet med impotens när de utför en initial filtrering.

Lita inte på Google ChatGPT. Forskarna är tydliga med att "dessa modeller är mycket bra på att identifiera en slutlig diagnos när uppgifterna är klara, men de har svårigheter i början av ett öppet fall", vilket får dem att betona att de inte ska lita på hemma.

AI-industrin driver sin produkt in i den medicinska kretsen, men studien påpekar att "trots kontinuerliga förbättringar är kommersiella LLM inte redo för oövervakad klinisk implementering." De konstaterar att det behövs en människa i verksamheten och ”mycket noggrann övervakning” för att kunna skala användningen av en LLM inom sjukvården. Och där pratar man alltid om professionell användning, men fler och fler fall ses av personer som tidigare behandlat sig själva genom att lita på Google och som nu gör det genom att lita på vad ChatGPT säger till dem. I studien betonar de att "hallucinationer kvarstår" i den här senaste generationens modeller, vilket också visar oro för patienters säkerhet och integritet.

I Xataka äter Gemini ChatGPTs toast. Och OpenAI har svarat med att integrera en fickläkare Lo från El Salvador. I vilket fall som helst är det uppenbart att medicinsk AI i slutändan bara är ytterligare en hjälpare, ett verktyg, och här är det som har testats en "vanlig" chatbot som vet allt, men som inte är specialiserad på någonting.

Inom medicin, liksom i andra branscher, kan användningen av AI hjälpa till med uppgifter som att eliminera möjligheter eller organisera tusentals data, men en chatbot är ännu inte en bra följeslagare i denna differentialdiagnos eftersom den helt enkelt inte går att lita på. De som kommer att behöva lita på AI för alla typer av behandling är salvadoraner. El Salvador har varit ett pionjärland när det gäller att ta till sig ny teknik, och presidenten, Nayib Bukele, har precis inlett ett annat experiment: 500 miljoner dollar för att lämna sjukvården i händerna på Tvillingarna.

Befolkningen får tillgång till Dr.SV-appen som ska fungera som husläkare. Som beskrivs i El País kommer denna AI att känna till symptomen och kommer att tilldela samtal med läkare som kommer att ställa diagnosen. AI kommer att övervaka konsultationer och kroniska sjukdomar och målet är att den ska ta hand om cancerpatienter i framtiden.

Enligt Bukele skapar de det bästa hälsosystemet i världen, något konstigt med tanke på att de sade upp mer än 7 700 anställda inom hälsosystemet under 2025. Låt oss för salvadoranernas skull hoppas att detta nya experiment inte slutar som Bitcoin City. I Xataka | Integriteten har dött sedan ChatGPT kom.

Nu är vår besatthet att AI känner oss så bra som möjligt (instagramScript) De har lagt de 21 mest populära AI-chatbotarna till att utföra differentialdiagnoser.