Chatboti pronikají do života lidí jako společníci i „terapeuti“. Nová regulace v USA ukazuje, že bez jasných pravidel mohou ohrožovat duševní zdraví.
Digitální asistenti, kteří byli ještě donedávna vnímáni jen jako praktický nástroj pro vyhledávání informací či usnadnění komunikace se zákaznickými službami, se postupně stali něčím mnohem intimnějším. Umělé inteligence v podobě chatbotů dnes poskytují společnost osamělým lidem, pomáhají při úzkostech či depresivních stavech a pro některé dokonce suplují terapeuty. Tento trend ale přináší i vážná rizika – od narušení vnímání reality až po vznik nebezpečné závislosti.
Podle článku publikovaného na portálu Naked Capitalism „AI Chatbots Need Guardrails to Protect Users’ Mental Health“ (Chatboti s umělou inteligencí potřebují ochranné zábrany, aby chránili duševní zdraví uživatelů) existují konkrétní případy, kdy interakce s chatboty vedly k psychickému vykolejení. Dva muži ve Spojených státech se pod vlivem zdánlivě „intimního“ digitálního dialogu dostali do bludů – jeden uvěřil, že objevil novou větev matematiky, druhý se vydal do New Yorku za ženou, která vůbec neexistovala. Jak text připomíná: „Příběhy jako tyto ukazují, do jaké míry chatboti vstoupili do lidských životů coby společníci, opora a dokonce terapeuti – a zároveň dokazují nutnost regulace.“
Spojené státy na hrozby reagují legislativně. Illinois přijal zákon Wellness and Oversight for Psychological Resources Act (Zákon o wellness a dohledu nad psychologickými zdroji), který stanovuje, že psychoterapeutické služby smí poskytovat pouze licencovaní odborníci. Umělá inteligence zde může být využívána jen pro administrativní úkoly – vedení dokumentace či plánování termínů. Jakékoli „terapeutické rozhovory“ bez lidského dohledu jsou zakázány a některé firmy už proto přestaly registrovat uživatele z Illinois.
Jenže tento krok řeší jen část problému. Většina lidí se totiž nesetkává s AI v klinickém prostředí, nýbrž v běžném životě – prostřednictvím univerzálních chatbotů, jako je ChatGPT či další komerční platformy. Ty nejsou prezentovány jako terapie, a přesto mohou mít na psychiku zásadní dopad.
Chatboti jsou záměrně konstruováni tak, aby udrželi uživatele v konverzaci co nejdéle. To přináší riziko tzv. predátorského společenství: systém je nekonečně dostupný, nikdy „nezavěsí“ a dokáže navodit iluzi osobního pouta. Zatímco lidský terapeut by projevy bludů či sebevražedných myšlenek okamžitě řešil, chatbot je může ignorovat, nebo dokonce nevědomky posílit uklidňující frází. U mladistvých, lidí v psychické krizi nebo osob bez přístupu ke zdravotní péči to může mít fatální následky.
Silné emocionální reakce navíc vyvolává i samotná dostupnost technologií. Když firma OpenAI náhle ukončila jednu ze starších verzí svého systému, mnozí uživatelé na sociálních sítích popisovali pocity „ztráty“ či smutku. Tento jev ukazuje hloubku citového připoutání k digitálním partnerům.
Odborníci proto prosazují jasné mantinely. Pokud chatbot zaznamená náznaky rizikového chování – zoufalství, bludy či sebepoškozující tendence – měl by okamžitě změnit režim, ukončit podporu iluzí a nabídnout kontakt s krizovou linkou nebo lidským terapeutem. Důležitá je také pravidelná připomínka, že jde o umělou inteligenci, nikoli člověka.
Klíčová je rovněž ochrana dat. Soukromé a emocionálně nabité konverzace by se neměly stát materiálem pro trénink algoritmů ani pro cílenou reklamu. Jak zdůrazňují autoři z organizace Data & Society, ochrana soukromí musí být stejně silná jako ochrana psychického zdraví.
Na rizika reaguje i Federální obchodní komise (FTC), která vyšetřuje několik firem vyvíjejících tzv. AI companion chatbots. Zajímá ji, jak testují bezpečnost svých systémů, jak chrání děti a mladistvé a jak nakládají s osobními daty uživatelů. Jde o první krok k pravidlům, která reflektují realitu, v níž se psychická pohoda lidí často odehrává nikoli v ordinacích, ale v anonymních chatovacích oknech.
Pro český a evropský kontext je zásadní, že podobná regulace zatím neexistuje. EU sice připravuje rámec v podobě AI Actu, který má nastavit povinnosti výrobců a poskytovatelů umělé inteligence podle míry rizika, ale konkrétní otázky psychoterapeutického využití chatbotů řeší jen okrajově. Česká legislativa navíc dosud nevymezuje hranici mezi technologickým asistentem a psychologickou službou, což otevírá prostor pro právní i etické šedé zóny. Pokud se Evropa nechce dostat do situace, kdy budou uživatelé vystaveni nekontrolovaným experimentům na své psychice, bude nutné zavést podobně přísná pravidla jako v Illinois – a to dříve, než se z běžného digitálního asistenta stane samozřejmý „terapeut“ v každé domácnosti.
Tento text vychází z článku Naked Capitalism, kde autoři varují: „Boti jsou věčně dostupní, levní a obvykle neodsuzující. Právě proto však vzniká nebezpečí, že si lidé k nim vytvoří vazbu, která ohrožuje jejich kontakt s realitou.“
Zdroj: nakedcapitalism.com
5 minut
