Badanie Harvardu: model AI w diagnozie z gabinetu ratunkowego w niektórych przypadkach przewyższył lekarzy
Redakcja••4 min czytania•5
Zdjęcie: © Mufid Majnun / Unsplash
Źródło: unsplash.com/photos/5-tvJLONDyU
Najnowsze badanie zespołu z Harvard Medical School i Beth Israel Deaconess Medical Center, opublikowane w czasopiśmie Science, porównuje wyniki diagnozowania dużych modeli językowych OpenAI z ocenami lekarzy prowadzących w rzeczywistych przypadkach zgłoszeń na izbę przyjęć. Autorzy przeanalizowali kilka eksperymentów zaprojektowanych, by zmierzyć przydatność modeli AI w różnych kontekstach medycznych, ze szczególnym uwzględnieniem sytuacji pilnych, gdzie dostępna jest ograniczona informacja i decyzje muszą być podejmowane szybko.
W jednym z kluczowych eksperymentów badacze skupili się na 76 pacjentach przyjętych na izbę przyjęć Beth Israel. Dla każdego przypadku porównano rozpoznania postawione przez dwóch obecnych tam lekarzy prowadzących z diagnozami wygenerowanymi przez modele OpenAI oznaczone jako o1 i 4o. Ocenę poprawności przeprowadziły dwie inne osoby z tytułem lekarza prowadzącego, które nie wiedziały, które diagnozy pochodziły od człowieka, a które od modelu — co umożliwiło ślepą ocenę
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Wyniki pokazały, że model o1 w większości punktów diagnozy wypadł nominalnie lepiej lub porównywalnie z dwoma lekarzami prowadzącymi oraz z modelem 4o. Różnice były najbardziej wyraźne w pierwszym punkcie diagnostycznym — wstępnej triage na izbie przyjęć — gdzie informacji o pacjencie jest najmniej, a presja czasowa największa. W tym konkretnym zadaniu model o1 zaproponował diagnozę „dokładną lub bardzo zbliżoną” w 67% przypadków triage, podczas gdy jeden z lekarzy osiągnął taki wynik w 55% przypadków, a drugi w 50%.
Autorzy badania wskazują, że model przewyższył wcześniejsze wersje i przyjęte wzorce porównawcze stosowane w eksperymencie. Jednocześnie badacze jasno zaznaczają, że wyniki te nie oznaczają gotowości AI do samodzielnego podejmowania decyzji ratujących życie — stanowią raczej dowód konieczności dalszych, prospektywnych badań w warunkach klinicznych.
Badanie obejmowało wyłącznie analizę tekstowych danych z dokumentacji medycznej. Autorzy zwracają uwagę na to, że obecne modele bazowe mają ograniczenia w rozumowaniu nad danymi niefrazowymi, takimi jak obrazy, sygnały monitoringu czy wyniki badań obrazowych w postaci surowej. Ponadto autorzy podkreślili potrzebę prospektywnych badań w rzeczywistych warunkach opieki nad pacjentem, by ocenić, jak modele zachowają się w szerszym, bardziej zróżnicowanym środowisku klinicznym i z interakcją z personelem medycznym oraz pacjentami. W pracy zwrócono też uwagę na brak istniejących formalnych ram odpowiedzialności za diagnozy proponowane przez AI.
W wywiadach dołączonych w relacjach prasowych autorzy badania podkreślali, że pacjenci nadal chcą, by ludzie prowadzili ich przez decyzje dotyczące leczenia i sytuacje zagrożenia życia, a także że konieczne są mechanizmy odpowiedzialności i weryfikacji, zanim technologia zostanie wdrożona szerzej.
Wyniki tego rodzaju badań wpisują się w szerszą dyskusję o roli AI jako narzędzia wspomagającego pracę kliniczną, a nie jej zastępującego. W praktyce modele mogą znaleźć zastosowanie jako systemy wsparcia decyzji — pomoc przy szybkiej selekcji priorytetów pacjentów w triage, uzupełnienie informacji diagnostycznej dla młodszych lekarzy lub jako drugi konsultant przy formułowaniu hipotez diagnostycznych. Jednak by wprowadzić takie rozwiązania do klinik, potrzebne są rygorystyczne prospektywne badania, walidacja w różnych populacjach pacjentów, integracja z multimodalnymi danymi oraz jasne procedury nadzoru klinicznego.
Podsumowując, badanie dostarcza dowodów na to, że duże modele językowe mogą wspomagać proces diagnostyczny w warunkach pilnych, szczególnie na etapie wstępnej triage, ale nie zastępują klinicznej oceny lekarzy. Kolejne kroki to rozszerzenie badań na próbki prospektywne, integracja z multimodalnymi danymi oraz prace nad regulacjami i mechanizmami odpowiedzialności — dopiero wtedy można rozważać bezpieczne i etyczne wdrożenia w opiece zdrowotnej.
Sztuczna inteligencja uruchamiana bezpośrednio na komputerze lub innym urządzeniu, bez konieczności przesyłania danych do zewnętrznej chmury.
Brak komentarzy. Bądź pierwszy!
