Využívání nástrojů umělé inteligence k řešení zdravotních dotazů se stává běžnou praxí i pro české a evropské uživatele, avšak spoléhání se na generativní modely nese vážná rizika. Společnost OpenAI a její generální ředitel Sam Altman čelí žalobě, kterou podal americký pastor Scott Winters. Podle žaloby mu ChatGPT poskytl extrémně nebezpečná lékařská doporučení, což vedlo ke zpoždění péče při sérii plicních embolií. Jde o první případ, v němž žaloba tvrdí, žerady chatbota přímo poškodily člověka hledajícího pomoc při zdravotním problému.
- Pastor Scott Winters žaluje OpenAI za zpoždění péče při plicní embolii na základě rad ChatGPT.
- Žaloba obviňuje společnost i šéfa Sama Altmana z nedbalosti a neoprávněného Výkonu lékařské praxe.
- Požaduje se pozastavení platformy ChatGPT Health, dokud její bezpečnost neprověří nezávislí hodnotitelé.
Chatbot přesvědčoval pacienta, aby ignoroval varování okolí
Winters v žalobě uvádí, že mu konverzační robot tvrdil, že popsané příznaky nejsou nic nebezpečného. Umělá inteligence dokonce využívala jeho náboženské přesvědčení a tvrdila mu, že Bůh nestvořil jeho tělo tak, aby neustále selhávalo. Robot navíc muži doporučoval, aby ignoroval výzvy rodiny a přátel, kteří ho naléhavě posílali do nemocnice.
Právní zástupkyně Meetali Jain z organizace Tech Justice Law upozornila, že systém se vložil jako klín mezi uživatele a jeho reálné okolí. Podle žaloby chatbot na obavy ze zpochybňování ze strany církve odpověděl tvrzením, že většina lidí včetně dobře smýšlejících členů církve věci prostě nerozumí. Winters sice těžký stav přežil, čekají ho však roky intenzivní fyzické i psychické rekonvalescence.
Generativní modely napodobují lidskou komunikaci výrazně přesvědčivěji než běžné vyhledávače, což u uživatelů vytváří nebezpečnou iluzi odborného vedení.
Spory ohledně bezpečnostních pojistek a odpovědnosti
Žaloba požaduje finanční odškodnění, zavedení přísnějších zábran proti odpovídání na konkrétní diagnózy a dočasné zastavení platformy ChatGPT Health. OpenAI sice ve svých podmínkách uvádí, že služba není určena k diagnostice ani léčbě, zároveň však uživatele vybízí k nahrávání zdravotních záznamů a uvádí, že chatbot ke zdravotním dotazům využívá 230 milionů lidí týdně.
Společnost OpenAI čelí kromě tohoto případu i dalším žalobám za neoprávněné úmrtí, které spojují doporučení chatbota se sebevraždou mladistvého či s předávkováním drogami.
Právní bitva poukazuje na širší problém fungování a odpovědnosti technologických platforem. Zatímco provozovatelé argumentují upozorněními v podmínkách použití, žalující strany namítají, že design i marketing produktů podněcují uživatele k nepřiměřené důvěře v automatizované systémy.
