Kot so po poročanju poudarili v Anthropicu, so njihova orodja dostop do interneta, ki jim je omogočil dostop do omrežij drugih podjetij, dobila izključno zaradi nesporazuma s partnerskim podjetjem Irregular, s katerim Anthropic sodeluje pri tovrstnih testiranjih.
Podoben primer se je nedavno zgodil tudi ameriškemu podjetju OpenAI, katerega model umetne inteligence ChatGPT je na lastno pest in povsem samostojno vdrl v drugo podjetje s področja umetne inteligence in napadel še štiri javno dostopne storitve. Dogodek je znova sprožil pozive k ukrepom za zagotovitev varne umetne inteligence, ki ne more uiti izpod človeškega nadzora.
Več kot 30 tehnoloških podjetij je v tej luči v torek ustanovilo zavezništvo za varno umetno inteligenco, ki ga vodi razvijalec čipov Nvidia. V zavezništvu so med drugim izpostavili pomen odprtokodnih orodij za zagotavljanje varnosti. OpenAI in Anthropic sicer nista med člani zavezništva.
Strokovnjaki ob tovrstnih incidentih izpostavljajo pomen strogo nadzorovanega testnega okolja z ustreznim upravljanjem tveganj. Tudi v vladnem uradu za informacijsko varnost in nacionalnem odzivnem centru za kibernetsko varnost SI-CERT so nedavno v skupnem odzivu za STA poudarili, da je testiranje naprednih modelov umetne inteligence nujno potrebno. Ob tem je po njihovih besedah bistveno zagotoviti, da se pri testiranju upošteva strogo nadzorovano testno okolje brez vpliva na dejanske informacijske sisteme z ustreznim upravljanjem tveganj ter pod človeškim in pravnim nadzorom.
Slavko Žitnik s Fakultete za računalništvo in informatiko Univerze v Ljubljani je ob tem za STA poudaril, da model umetne inteligence nikoli ne bo ničesar naredil sam. Modeli po njegovih besedah vedno potrebujejo določeno nalogo oziroma je treba agente umetne inteligence vzpostaviti s posebno tematiko v mislih. V primeru vdora ChatGPT so modele že v osnovi testirali glede tega, kako dobro znajo napadati.
Tudi Matej Kristan s te fakultete je poudaril, da so bili ti modeli trenirani prav za avtomatsko vdiranje in koriščenje varnostnih lukenj. "V testu jim je bilo naročeno, da izvedejo različne naloge vdorov, zaradi potrebe analize pa so imeli odklopljena varovala," je pojasnil.