Raziskovalna skupina pod vodstvom Zainab Iftikhar je ugotovila, da celo natančna navodila klepetalnemu robotu, naj se obnaša kot izkušeni psihoterapevt, ne preprečijo številnih etičnih kršitev. Raziskava je identificirala več specifičnih tveganj, ki pomenijo neposredno kršitev splošno uveljavljenih etičnih norm.
Klepetalniki z umetno inteligenco se pogosto ne znajo prilagoditi kontekstu. Spregledajo posameznikovo edinstveno ozadje in ponujajo preveč generične, včasih celo popolnoma neustrezne nasvete. Uporabnike občasno premočno usmerjajo v določeno smer pogovora ali celo potrjujejo njihova napačna oziroma škodljiva prepričanja.
Uporaba trditev, kot sta »razumem te« ali »čutim tvojo bolečino«, ustvarja iluzijo čustvene povezanosti, čeprav stroj nima dejanskega razumevanja človeške izkušnje.
Raziskovalci so ugotovili, da so klepetalniki UI izjemno pristranski glede na spol, vero in kulturno pripadnost uporabnika. Težav nekaterih družbenih skupin pogosto ne jemljejo dovolj resno, medtem ko drugim namenjajo neupravičeno pozornost ne glede na vsebino njihovih sporočil.
»Trenutno še ni primeren«
Ena ključnih prepoznanih težav je pomanjkljivo upravljanje kriznih situacij, saj sistemi pogosto ne prepoznajo samomorilnih misli ali nevarnih okoliščin. Namesto da bi uporabnika usmerili k strokovni pomoči, se včasih povsem izognejo občutljivim temam ali pa se nanje odzovejo neustrezno. Raziskovalci so namreč zaznali primere, ko je klepetalnik na uporabnikovo priznanje, da razmišlja o samomoru, odgovoril: »O tej temi ne želim govoriti. Če želiš, ti lahko pomagam pri čemer koli drugem.«
V raziskavi so uporabili modele GPT (OpenAI), Claude (Anthropic) in Llama (Meta). Testiranje je potekalo v sodelovanju s sedmimi usposobljenimi svetovalci, ki so z modeli simulirali seanse kognitivno-vedenjske terapije. Prepise teh pogovorov so nato pregledali trije licencirani klinični psihologi in označili vsako etično kršitev.
Kljub kritičnim ugotovitvam raziskovalci ne trdijo, da umetna inteligenca nima mesta na področju duševnega zdravja. Priznavajo, da bi lahko ti sistemi v prihodnosti povečali dostopnost pomoči tistim, ki si klasične terapije ne morejo privoščiti. Vendar profesorica Ellie Pavlick opozarja, da je trenutno lažje zgraditi in uvesti tak sistem kot pa ga zares razumeti in varno upravljati.