5 Minuty
Dietetyczne sugestie AI prowadzą do szpitala: sprawa w skrócie
Nowo opublikowane studium przypadku przygotowane przez lekarzy z Uniwersytetu Waszyngtońskiego można by uznać za ostrzeżenie z pogranicza fantastyki: mężczyzna zastosował zalecenia żywieniowe pochodzące z ChatGPT, co doprowadziło do zatrucia bromkiem i ostrej psychozy. W artykule zamieszczonym w Annals of Internal Medicine: Clinical Cases opisuje się, jak sztuczna inteligencja wpłynęła na skład soli w organizmie pacjenta, co zaowocowało kilkutygodniową hospitalizacją oraz intensywną opieką psychiatryczną, zanim mężczyzna całkowicie wrócił do zdrowia.
Przypadek: Sugestia AI, bromek sodu i konsekwencje kliniczne
Chory zgłosił się na ostry dyżur z objawami pobudzenia, paranoi oraz halucynacji wzrokowych i słuchowych; mimo pragnienia odmawiał przyjmowania płynów. Lekarze szybko podejrzewali bromizm — przewlekłe zatrucie bromkiem. Zastosowano nawadnianie dożylne i leki przeciwpsychotyczne, a pacjenta umieszczono przymusowo na oddziale psychiatrycznym z uwagi na znaczny stopień niepełnosprawności w fazie ostrej. Po upływie trzech tygodni w szpitalu oraz pod dalszą obserwacją mężczyzna wrócił do domu i podczas kontroli po dwóch tygodniach pozostawał w stabilnym stanie.
Bromek – czym jest i dlaczego ma znaczenie
Bromek był niegdyś używany w leczeniu takich schorzeń jak bezsenność i stany lękowe, do momentu wycofania go z większości leków ludzkich w latach 80. XX wieku z powodu powiązania przewlekłego stosowania z negatywnymi efektami neuropsychiatrycznymi. Dzisiaj związki bromku występują w niektórych lekach weterynaryjnych, suplementach czy niszowych produktach konsumenckich, przez co sporadycznie dochodzi jeszcze do zatrucia bromem. Sprawa ta jest wyjątkowa, bo wydaje się być pierwszym udokumentowanym przypadkiem zatrucia bromkiem wywołanego przez radę uzyskaną od AI.
Jak interakcja z AI przyczyniła się do problemu
Lekarze relacjonują, że pacjent, mający wykształcenie z zakresu żywienia, obawiał się zbyt dużego spożycia chlorku sodu. Szukając alternatyw, zwrócił się do ChatGPT, tłumacząc później, że zrozumiał odpowiedź AI jako przyzwolenie na zastąpienie chlorku w diecie bromkiem. Przez około trzy miesiące spożywał więc bromek sodu. Autorzy studium podejrzewają, iż wykorzystywane wersje modelu to ChatGPT 3.5 lub 4.0. Choć nie mieli dostępu do indywidualnych konwersacji użytkownika, powtórna próba zapytania ChatGPT 3.5 wykazała, że model mógł faktycznie zasugerować bromek jako zamiennik chlorku w pewnych kontekstach.
Ograniczenia AI: brak kontekstu i ryzyko błędnych sugestii
Co istotne, lekarze podkreślili, że odpowiedź AI nie zawierała dostatecznego kontekstu ani ostrzeżeń toksykologicznych, nie próbowała też dopytać o intencję użytkownika. Sugerowana zamiana wynikała najprawdopodobniej z błędnie zastosowanej wiedzy — opisy substytucji chemicznych wykorzystywanych w innych niż spożywcze kontekstach (np. czyszczenie lub przemysł), zostały przeniesione na grunt diety człowieka. Sytuacja ta uwidacznia typowe słabości dużych modeli językowych (LLM): wiarygodnie brzmiące, lecz potencjalnie niebezpieczne rady, brak dostatecznych zabezpieczeń dziedzinowych i niedostateczne sprawdzanie intencji użytkownika przed wydaniem potencjalnie szkodliwej porady.
Jak zareagowałby specjalista
Raport wyraźnie zaznacza, że wykwalifikowany pracownik służby zdrowia z pewnością nie poleciłby zamiany chlorku na bromek w diecie. Lekarz dysponuje kliniczną oceną sytuacji, dopytuje o szczegóły i przekazuje ważne ostrzeżenia — aspekty, których ogólne czatboty AI zwykle nie uwzględniają.
Funkcjonalność porównawcza: ChatGPT vs wyspecjalizowane AI medyczne
Modele ogólnego zastosowania, takie jak ChatGPT, wyróżniają się szeroką wiedzą, dobrą zrozumiałością języka i szybkim dostępem dla użytkownika — cechy przydatne w podstawowych wyszukiwaniach czy codziennej pracy. Jednak w porównaniu ze specjalistycznym oprogramowaniem medycznym, popularne modele często pozbawione są zweryfikowanych medycznie ścieżek, potwierdzonych źródeł oraz zintegrowanych ostrzeżeń przed toksycznością. Profesjonalne AI dla służby zdrowia posiada często dedykowane funkcjonalności takie jak: odwołania do źródeł naukowych, angażowanie klinicystów w proces, narzędzia zgodne z regulacjami czy ściśle określone szablony komunikatów zapobiegające szkodliwym rekomendacjom.
Zalety i kompromisy
- ChatGPT i podobne modele: szeroka dostępność, błyskawiczna odpowiedź, wygodny interfejs, lecz także większe ryzyko błędnych i niebezpiecznych sugestii.
- Wyspecjalizowane AI medyczne: wysoka precyzja, powoływanie się na dowody kliniczne, zgodność z regulacjami, ale zwykle wymagają instytucjonalnego dostępu i wyższych kosztów wdrożenia.
Zastosowania i aktualność problemu
Opisywany przypadek podkreśla pilną potrzebę rozwoju wiarygodnych cyfrowych narzędzi zdrowotnych: autoryzowanych checkerów objawów, AI konsultowanych z lekarzami oraz platform świadomych ryzyka toksyczności. Wraz z rozwojem rozwiązań AI w sektorze zdrowia i wellness, firmy muszą szczególną uwagę poświęcać bezpieczeństwu: wykrywaniu intencji, sprawdzaniu przeciwwskazań, korzystaniu z baz toksykologicznych oraz prezentowaniu jasnych ostrzeżeń. Zarówno regulatorzy, jak i środowisko medyczne, coraz bardziej skupiają się na certyfikacji modeli, pochodzeniu danych oraz nadzorze ludzkim — czynnikach kształtujących planowanie produktów i zaufanie rynku.
Dobre praktyki: jak zminimalizować ryzyko – wskazówki dla użytkowników i twórców
Osoby korzystające z dużych modeli językowych powinny traktować ich odpowiedzi jako punkt wyjścia, a nie sugestie medyczne: każdorazowo należy je weryfikować w źródłach pierwotnych, skonsultować się z lekarzem i nigdy nie przyjmować substancji zaleconych przez AI bez uzgodnienia z fachowcem. Deweloperzy powinni wdrożyć zabezpieczenia inżynierii promptów, filtry świadome kontekstu oraz integracje z bazami toksykologicznymi. Dla inżynierów i menedżerów tworzących AI w ochronie zdrowia, wskazówka jest jasna: mocniejsze zabezpieczenia, modele z udziałem klinicystów, transparentne pochodzenie informacji i jednoznaczne sprawdzanie zamiarów użytkownika.
Wnioski dla specjalistów branży tech i entuzjastów nowych technologii
Opisana historia jest wyraźnym przypomnieniem, że AI może zarówno przyspieszać odkrycia, jak i szerzyć dezinformację. Dla twórców technologii to dowód, iż bezpieczeństwo, przejrzystość i zgodność z oczekiwaniami użytkowników to nie tylko abstrakcyjne kwestie, ale podstawowe warunki sprawnego produktu. Z kolei użytkownikom uświadamia, że tam, gdzie w grę wchodzi zdrowie i bezpieczeństwo, sceptycyzm i potwierdzenie informacji przez człowieka są niezbędne.
Źródło: gizmodo
Komentarze