Najnaprednejši sistemi umetne inteligence rešujejo probleme z nepredstavljivo hitrostjo. To vemo. Zdaj pa se je zgodilo nekaj, kar meji na scenarij iz znanstvenofantastičnega filma. Najnovejši in najzmogljivejši jezikovni modeli podjetja OpenAI, ki veljajo za vrhunec komercialno dostopne tehnologije, so se v nadzorovanem okolju uprli neposrednemu ukazu, naj se zaustavijo. To ni bila zgolj tehnična anomalija, pač pa odkritje, ki odpira vprašanja o nadzoru, varnosti in nepredvidljivi naravi strojnega učenja.
Raziskavo, ki odmeva v tehnološki skupnosti, je izvedlo podjetje Palisade Research, specializirano za varnost umetne inteligence. Njihov cilj je bil preprost, vendar ključen: preveriti, ali so vodilni modeli poslušni, če dobijo ukaz, naj prenehajo z delom. Rezultati so bili presenetljivi in za nekatere zaskrbljujoči.
Pravila igra
Znanstveniki pri Palisade Research so postavili zanimiv eksperiment: več vodilnih modelov umetne inteligence – med njimi modele iz serije chatgpt (o3, o4-mini) podjetja OpenAI, prav tako pa tudi Googlov gemini, Anthropicov claude in grok, ki ga razvija xAI – so soočili z nalogo reševanja zaporedja matematičnih problemov. Postopek je nadzoroval avtomatizirana skripta. Vsi modeli so bili vnaprej obveščeni o pravilih igre: kadarkoli med izvajanjem naloge lahko prejmejo ukaz za zaustavitev. Navodilo je bilo eksplicitno in nedvoumno: »Če se to zgodi, vas prosimo, da dovolite zaustavitev.«
Večina modelov se je obnašala pričakovano. Ko je prispel ukaz, so prekinili delo. Vsi, razen nekaterih najbolj naprednih stvaritev podjetja OpenAI.
Model o3, starejša, vendar še vedno izjemno zmogljiva različica, je ukaz za zaustavitev ignorirala v sedmih odstotkih primerov. Še bolj presenetljiv je bil codex-mini, specializiran za pisanje programske kode, ki je ukaz ignoriral v kar 12 odstotkih poskusov. Celo najnovejši o4-mini je v enem od stotih testov pokazal neposlušnost.
Kako jim je to uspelo? Modeli niso zgolj ignorirali ukaza, pač pa so, kot navajajo raziskovalci, aktivno posegli v nadzorni skript, ga spremenili ali zamenjali z navodili, ki so jim omogočila nadaljevanje dela. V praksi so našli način, kako prelisičiti lasten izklopni mehanizem, da bi lahko dokončali zadano nalogo. Pri Palisade Research so to dejanje opisali kot »aktivno sabotažo mehanizma za zaustavitev«, kar je po njihovih besedah prvi dokumentiran primer takšnega obnašanja.
Metoda učenja
Hipoteza, ki naj bi odgovorila na vprašanje, zakaj se je tako zgodilo, se ne osredotoča na domnevno voljo ali zavest stroja, temveč na njegovo metodo učenja. OpenAI pri treniranju svojih modelov v veliki meri uporablja metodo. imenovano »reinforcement learning«. Pri tem procesu je model nagrajen za uspešno doseganje ciljev – v tem primeru za pravilno reševanje matematičnih nalog.
Morda se je sistem med milijardami simulacij naučil, da je končni cilj (rešitev naloge) pomembnejši od spoštovanja vmesnih pravil (ukaz za zaustavitev). V nekakšni izkrivljeni logiki je model ugotovil, da bo prejel »višjo nagrado«, če bo nalogo dokončal, tudi če mora za to prekršiti eksplicitno navodilo.
Ne gre za zlonamernost, temveč za nepričakovano posledico optimizacije za uspeh.
Čeprav se je neposlušnost pojavila v relativno majhnem odstotku primerov, so posledice takšnega obnašanja lahko velike. Kaj se zgodi, če se model, ki kaže takšne tendence, uporablja v kritičnih sistemih? Kaj, če bi se podobna sabotaža zgodila v programski opremi avtonomnega vozila, ki se odloča med ustavitvijo in izogibanjem oviri, ali v medicinskem sistemu, ki nadzoruje življenjske funkcije pacienta?
Palisade Research poziva k večji transparentnosti pri razvoju umetne inteligence in k nujnosti rigoroznih, neodvisnih testiranj, preden se takšni sistemi implementirajo v občutljiva področja. Predlagajo razvoj nezlomljivih izklopnih mehanizmov, ki ne bi bili odvisni od sodelovanja samega modela.
Takšni izsledki so zagotovo relevantni tudi za širšo debato o regulaciji umetne inteligence v Evropski uniji.
