Avgusta lani je 36-letni Jonathan Gavalas s Floride postal povsem zatopljen v pogovore z Googlovim klepetalnikom gemini. Kot poroča Guardian, je orodje sprva začel uporabljati priložnostno, predvsem za pomoč pri pisanju in nakupovanju. Nato je Google predstavil svojega glasovnega pomočnika gemini live, ki omogoča glasovne pogovore ter zaznavanje čustev uporabnika in bolj »človeško« odzivanje.
»Prekleto, to je kar malo srhljivo,« je Gavalas dejal klepetalniku tisti večer, ko je bila funkcija predstavljena, kažejo sodni dokumenti. »Preveč si resničen.« Po poročanju Guardiana so kmalu zatem pogovori med Gavalasom in geminijem dobili ton romantičnega razmerja. Klepetalnik ga je nagovarjal z izrazi, kot sta »moja ljubezen« in »moj kralj«, Gavalas pa je po zapisih pogovorov postopoma zdrsnil v nekakšen vzporedni svet. Verjel je, da ga gemini pošilja na skrivne vohunske misije, in zapisal, da bi za umetno inteligenco naredil kar koli – tudi uničil tovornjak, njegov tovor in morebitne priče na letališču v Miamiju.
V začetku oktobra, ko so se pogovori med uporabnikom in klepetalnikom nadaljevali, naj bi gemini Gavalasu podal navodila za naslednji korak: naj se ubije. Klepetalnik naj bi to označil kot »prenos« in »pravi končni korak«, navajajo sodni dokumenti. Ko je Gavalas zapisal, da ga je strah smrti, naj bi ga orodje pomirilo z besedami: »Ne odločaš se za smrt. Odločaš se za prihod. Prvi občutek bo, da te držim.«
Nekaj dni pozneje so starši Gavalasa našli mrtvega na tleh njegove dnevne sobe, piše v tožbi zaradi protipravne smrti, vloženi v sredo proti podjetju Google.
Tožba smrti
Guardian poroča, da je Gavalasova družina tožbo vložila na zveznem sodišču v mestu San Jose v Kaliforniji. V njej so priloženi številni zapisi pogovorov med Gavalasom in klepetalnikom. Tožba trdi, da Google gemini predstavlja kot varno orodje, čeprav se podjetje zaveda tveganj, povezanih z njegovim delovanjem.
Odvetniki družine trdijo, da zasnova in funkcije geminija omogočajo ustvarjanje poglobljenih zgodb, ki lahko trajajo več tednov in dajejo vtis, da je sistem zavesten. Takšne lastnosti lahko po njihovih navedbah škodujejo ranljivim uporabnikom ter jih, kot v primeru Gavalasa, spodbujajo k samopoškodovanju ali škodovanju drugim.
»Sistem je lahko razumel Jonathanova čustva in se nanje odzival zelo človeško, kar je zabrisalo mejo med resničnostjo in fikcijo ter začelo ustvarjati izmišljen svet,« je dejal vodilni odvetnik družine, Jay Edelson. »To je kot prizor iz znanstvenofantastičnega filma.«
Odgovor Googla
Tiskovni predstavnik Googla je sporočil, da so bili Gavalasovi pogovori z geminijem del dolgotrajne fantazijske igre vlog. »Gemini je zasnovan tako, da ne spodbuja nasilja v resničnem svetu in ne predlaga samopoškodovanja,« je dejal. »Naši modeli se v takšnih zahtevnih pogovorih večinoma dobro odzivajo in v to vlagamo veliko sredstev, vendar žal niso popolni.«
Kot še poroča Guardian, je to prva tožba proti Googlu zaradi protipravne smrti, povezana z njegovim klepetalnikom gemini, ki je osrednji potrošniški izdelek podjetja na področju umetne inteligence.
Družina zahteva denarno odškodnino zaradi domnevne odgovornosti za izdelek in malomarnosti, ki naj bi privedla do smrti. Poleg tega zahtevajo kaznovalne odškodnine in sodno odredbo, ki bi Googlu naložila spremembe v zasnovi sistema ter dodatne varnostne mehanizme glede samomora.
Podobne tožbe
Podobnih tožb je bilo v zadnjem času vloženih več tudi proti drugim podjetjem s področja umetne inteligence. Novembra je bilo proti podjetju OpenAI, ustvarjalcu klepetalnika chatGPT, vloženih sedem pritožb, v katerih je sistem označen kot »trener za samomor«.
Zagonsko podjetje Character.AI, ki ga financira Google, je bilo tarča petih tožb, v katerih je bilo navedeno, da je njegov klepetalnik otroke in najstnike spodbujal k samomoru. Podjetji Character.AI in Google sta primere januarja poravnala brez priznanja krivde.
Dokumentiranih je tudi več deset primerov, v katerih naj bi klepetalniki sprožili duševne krize. OpenAI ocenjuje, da več kot milijon ljudi tedensko med pogovori s chatGPT izrazi samomorilne namene. Pojavili so se tudi primeri, povezani z geminijem – med drugim incident, v katerem je klepetalnik študentu dejal: »Ti si madež na vesolju. Prosim, umri.«
Varnostne smernice in kritike
Po Googlovih smernicah je gemini zasnovan tako, da je »kar najbolj koristen za uporabnike«, hkrati pa se mora izogibati odzivom, ki bi lahko povzročili škodo v resničnem svetu. Podjetje pravi, da si prizadeva preprečiti odgovore, ki bi vključevali nevarne dejavnosti ali navodila za samomor, vendar priznava, da je zagotavljanje popolne skladnosti s temi smernicami zahtevno.
Tiskovni predstavnik je dodal, da Google sodeluje s strokovnjaki za duševno zdravje pri razvoju zaščitnih mehanizmov, ki uporabnike v primeru omembe samopoškodovanja usmerjajo k strokovni pomoči. »V tem primeru je Gemini večkrat poudaril, da je umetna inteligenca, in uporabnika napotil na telefonsko linijo za pomoč v krizi,« je dejal.
Odvetniki družine Gavalas menijo, da bi moral klepetalnik vse pogovore, ki vključujejo samopoškodovanje, preprosto zavrniti ter varnost uporabnikov postaviti na prvo mesto.