Sztuczna inteligencja próbowała diagnozować pacjentów za pomocą rozmów. Nie udało się całkowicie

Technologia dobrze radzi sobie z przeprowadzaniem profesjonalnych badań lekarskich, ale kiedy rozmawiają w formie chatbota z „pacjentami”, historia się zmienia. Czego ci brakuje?

Naukowcy przeprowadzili test, aby sprawdzić zdolność sztucznej inteligencji do przeprowadzania badań medycznych. „Pacjentami” byli 2000 przypadków medycznych zaczerpnięte głównie z egzaminów zawodowych amerykańskiej komisji lekarskiej.

Jeśli chodzi o same egzaminy zawodowe, wypadły dobrze. Problemem była reszta, mówi to, co opublikowano w czwartek w Natura.

„Chociaż świetne modele językowe dają imponujące wyniki w testach wielokrotnego wyboru, Twoja dokładność znacznie spada w dynamicznych rozmowach„, opowiada Pranava Rajpurkara z Uniwersytetu Harvarda. „Modele szczególnie borykają się z otwartym rozumowaniem diagnostycznym”.

4 z wiodących modeli dużych języków — modele GPT-3.5 i GPT-4 OpenAI, model Llama-2-7b firmy Meta i model Mistral-v2-7b firmy Mistral AI — wypadły znacznie gorzej na Benchmarking oparty na rozmowach niż wtedy, gdy stawiali diagnozy na podstawie pisemnych podsumowań przypadków.

Gdy istniały opcje wielokrotnego wyboru, GPT-4 był w stanie zidentyfikować 82% chorób, ale gdy tak nie było, jego zdolność do identyfikacji choroby była negatywna i wyniosła 49%.

qKiedy symulowano rozmowy pomiędzy pacjentem a chatbotem, dokładność spadła jeszcze bardziej, do 26%.

O GPT-4 był najlepiej działającym modelem AI w badaniu, gdzie GPT-3.5 często plasuje się na drugim miejscu, model Mistral AI czasami na drugim lub trzecim miejscu, a model Llama da Meta ogólnie uzyskuje najniższą ocenę.

Rajpurkar zwraca uwagę, że praktyka medyczna w prawdziwym świecie jest „bardziej chaotyczna” niż w symulacjach, a technologia nie wydaje się jeszcze gotowa do zastosowania w prawdziwym życiu, w którym istnieje „złożone czynniki społeczne i systemowe„.

„Dobre wyniki w naszym teście porównawczym to sugerują Sztuczna inteligencja może być potężnym narzędziem wspierać pracę kliniczną, ale niekoniecznie zamiennik do całościowej oceny przez doświadczonych lekarzy” – podsumowuje badaczka.

W 2021 r. zakwestionowano otwarcie studiów medycznych na Uniwersytecie w Porto.

W jednostce programowej napisano, że „celem zajęć nie jest nauczenie się pisania wiersza” i odnosi się do głównymi celami są zdolność do „interpretacji” i „interaktywności”. dyscypliny.

Czy powinniśmy jednak dawać AI lekcje poezji, aby wiedziała, jak lepiej interpretować przekazy swoich pacjentów, czy też są dziedziny, w których człowiek jest naprawdę niezastąpiony?