Incident se je zgodil oktobra lani pred srednjo šolo Kenwood v okrožju Baltimore. Štirje dijaki so po nogometnem treningu čakali na prevoz domov in si delili vrečko čipsa doritos. Sistem Omnilert je enega od njih zaradi vrečke zamenjal za osebo s strelnim orožjem. Šolski uslužbenci, ki so pregledali posnetke nadzornih kamer, so v manj kot dveh minutah ugotovili, da nevarnosti ni, in alarm preklicali. Obvestilo o preklicu so prejeli tudi drugi šolski uslužbenci in policija.

Toda policisti so vseeno prišli na prizorišče. Po navedbah tožbe je pred šolo pripeljalo najmanj šest policijskih vozil z vključenimi sirenami in lučmi. Nekateri policisti so iz vozil izstopili z namerjenim orožjem. Policisti so jih ločili, ukazali, naj pokleknejo na beton, jih vklenili in preiskali.

Da je posredovanje sprožil zmotljivi sistem umetne inteligence, so policisti ugotovili šele, ko orožja niso našli. Eden od policistov naj bi pripomnil, da so krive »neumne kamere z umetno inteligenco«, drugi pa, da umetna inteligenca »ni najboljša«. Eden od policistov je dijakom dejal: »Hvala, ker niste pobegnili, to bi bil res problem.« Drugi se je po navedbah tožbe pošalil, naj bodo prihodnjič previdni z vrečkami čipsa.

Posledice za dijake in vprašanje odgovornosti

Dijaki Taki Allen, Yui-Osa Ogbeide, Devon Thompson mlajši in Keith Winfield tretji v tožbi navajajo, da so utrpeli telesne in psihične posledice, med drugim bolečine in rdeče sledi na zapestjih zaradi lisic. Posredovanje jih je tudi močno prestrašilo, v njih vzbudilo tesnobo in ponižanje. Allen, ki ga je sistem napačno označil za oboroženega, se po dogodku ne počuti več varnega pred šolo in si pogosto plačuje zasebni prevoz, da mu ni treba čakati na družino ali prijatelje. Winfieldova mati je povedala, da jo je sin po treningih večkrat poklical, da bi preveril, ali je že na poti ponj.

»Noben otrok v okrožju Baltimore ne bi smel biti izpostavljen takšni nevarnosti, ko pred lastno šolo čaka, da ga mama odpelje domov,« je dejala Frieda Winfield. Predstavnik organizacije Lawyers' Committee for Civil Rights Under Law Damon Hewitt pa je opozoril, da je »pretirano zanašanje na tehnologijo umetne inteligence v kombinaciji z nesposobno komunikacijo in koordinacijo med ključnimi uradniki strupena kombinacija«.

Več kot 99 odstotkov alarmov je bilo lažnih!

Preiskava urada generalnega inšpektorja za izobraževanje v Marylandu ni ugotovila pristranskosti sistema Omnilert. Je pa pokazala na napake pri organizaciji obveščanja. Ravnateljica Kate Smith naj bi 15 minut po preklicu alarma sporočila šolskemu policistu, naj na prizorišče pošlje policijo, čeprav je v sporočilu zapisala, da predmet na posnetku morda sploh ni orožje. Po ugotovitvah preiskave ravnateljica ni bila usposobljena za uporabo sistema.

Urad je priporočil redna usposabljanja zaposlenih, omejitev števila prejemnikov alarmov in uporabo aplikacije Omnilert, ki bi zmanjšala možnost, da se preklicana nevarnost spregleda. Opozoril je tudi, da lahko izguba nadzora nad obveščanjem ogrozi tako dijake kot policiste. Po navedbah poročila je bilo več kot 99 odstotkov alarmov sistema v šolskem okrožju lažnih!

Umetna inteligenca ne sme nadomestiti človeške presoje

Šolsko okrožje tožbe ni želelo komentirati, je pa po incidentu napovedalo psihološko podporo dijakom in ukrepe za preprečevanje podobnih dogodkov. Podjetje Omnilert je sporočilo, da preučuje tožbo. Njegov podpredsednik za trženje Blake Mitchell je dejal, da se tak dogodek ne bi smel zgoditi, in poudaril, da je človeški pregled alarmov nujen. »Preklican alarm mora ostati preklican,« je dejal.

Dijaki od sodišča zahtevajo prepoved uporabe sistema, dokler šola in policija ne vzpostavita ustreznih protokolov in usposabljanja. Njihovi odvetniki primer razumejo kot širše opozorilo pred prepuščanjem odločitev o javni varnosti umetni inteligenci. »Ta primer govori predvsem o tem, kako so ljudje dovolili, da umetna inteligenca nadomesti njihovo presojo,« je dejal Len Kamdang, ki zastopa dijake.

Priporočamo