No, ta ChumHum naj bi s svojimi zemljevidi povzročil poslovno škodo temnopolti lastnici lokala, saj četrt, v kateri je njena restavracija, označuje rdeče – kot nevaren predel mesta, hkrati pa ne pokaže točk, vrednih ogleda oziroma obiska, torej tudi njenega lokala ne. Algoritem, ki odloča o varnosti mestnih predelov, črpa iz policijskih in demografskih statistik (v spornem predelu živijo večinoma nebelci), časopisnih poročil in drugih, recimo pogojno, objektivnih virov, pa tudi iz »subjektivnih« objav na družbenih omrežjih. In ChumHum kajpak zagotavlja, da posamični posegi z namenom prikrojevanja algoritemske obdelave podatkov »tehnično« sploh niso mogoči.
Zanesljivi kot kovanec
V nadaljevanju epizode se izkaže, da v ChumHumu, kjer »nihče ni rasist«, delajo sami (razmeroma mladi) belci, da je njihov umetnointeligenčni program za prepoznavanje obrazov v preizkusni inačici temnopolto dekle s širokim obrazom in še širšo kodrasto pričesko prepoznal kot žival (kar se je pred dvema letoma res zgodilo na portalu fotografsko-družabne storitve Flickr) in drugi indici latentnega rasizma. Odvetnikom tehnološkega behemota, biblične pošasti, v pravdi kaže slabo, dokler ne izvrtajo odločilnega dejstva: lokal, ki naj bi mu škodil navigacijski algoritem, je bil v poslovnih težavah, še preden je ChumHumova aplikacija dobila funkcijo kategoriziranja mestnih predelov. Morebiten rasizem algoritma postane nepomemben.
Eh, televizijske konfekcije, četudi spodobne, pač nujno zmanjka, ko bi osnovni zaplet morala nadgraditi z, recimo, katarzično refleksijo, spodobna pa je v tem primeru prav zato, ker do te točke – zelo poljudno in celo z določeno kritično distanco – opozori na družbeni problem. Pomemben in aktualen, saj je v času predvajanja letošnje sezone nanizanke prišlo na dan, da neobičajno pristranske, k rasizmu nagnjene algoritme uporablja tudi država. V obilnih količinah in na eni najbolj kočljivih točk »križanja« s človekovimi pravicami – v kazenskih postopkih in pri izvrševanju kazenskih sankcij.
To dejstvo je razkril znan raziskovalni neprofitni portal propublica.org, ki je najprej preveril algoritemske napovedi za sedem tisoč leta 2013 in leto pozneje aretiranih v nekem floridskem okrožju. Izkazalo se je, da je algoritem pri aretiranih zaradi nasilnih kaznivih dejanj pravilno napovedal povratnike v naslednjih dveh letih (le) v vsakem petem primeru, pri vseh kaznivih dejanjih oziroma prekrških pa v treh od petih primerov. Sodniki, ki odločajo o nadaljevanju postopka na podlagi ocene algoritma, kdo bi utegnil ponoviti kaznivo dejanje ali prekršek, bi, kot kritično ocenjuje ProPublica v članku, ki ga je pripravila ekipa večkrat nagrajenih novinarjev, lahko metali tudi kovanec.
Povrhu vsega se je algoritem motil »s sistemom«: temnopolti aretiranci so bili s tričetrt večjo verjetnostjo kot beli označeni za višje tveganje pri nasilnih dejanjih in s skoraj pol večjo verjetnostjo, da bodo v prihodnje zagrešili katerokoli nezakonito dejanje. ProPublica to ponazarja s primerom 18-letnega dekleta, ki je z nekega dvorišča poskušalo ukrasti otroško kolo, in 46-letnega tatu, ki je bil zasačen pri kraji v trgovini. Dekle je imelo kot mladoletno že opravka s policijo zaradi manjših deliktov, tat pa je bil pred tem obsojen na pet let zapora za oborožen rop in obtožen za še enega. Algoritem je za 18-letnico sodniku predlagal nadaljevanje postopka, 46-letnika pa je razglasil za nižje tveganje. V naslednjih dveh letih dekle ni storilo ničesar, kar bi jo spravilo pred sodnika, tat pa je bil zaradi v tem času storjenega vloma v skladišče obsojen na osem let zapora. Dekle je bilo temnopolto, moški belec.
Na Floridi, od koder je primer, za ocenjevanje tveganja uporabljajo algoritem profitnega podjetja in hkrati največjega ponudnika, enako še nekatere druge zvezne države, spet druge, skupaj jih je ducat, pa algoritme neprofitnih podjetij. Skupno je v ZDA več kot 50 ponudnikov programov za »ocenjevanje tveganja«, tudi pri pogojnem ali predčasnem izpustu obsojenih. Nekatere zvezne države algoritme uporabljajo tudi že pri izrekanju sodbe, kakopak »neobvezno« za sodnike. Toda tudi sodniki so samo ljudje in zato nagnjeni k temu, da si olajšajo delo. Kot navaja ProPublica, so ponekod ocene algoritma že navedene v sodbi, v dveh primerih pa je tako utemeljena sodba v pritožbenih postopkih prinesla neprijetna odkritja.
V enem primeru je visoka kazen neprijetno presenetila celo državno tožilko: »Nočemo, da bi sodišča izjavljala: ta oseba pred menoj je bila ocenjena z najvišjo stopnjo tveganja, zato je obsojena na najvišjo možno kazen.« Zadeva je še pred vrhovnim sodiščem. V drugem primeru izrečene visoke kazni je bil kot priča v pritožbenem postopku na sodišče poklican soustanovitelj (medtem prodanega) podjetja, ki je programiralo algoritem: »Ni mi všeč ideja, da bi bil algoritem edino merilo, na katerem temelji odločitev.« Sodnik je po ponovnem postopku kazen znižal za četrtino, na poldrugo leto zapora, in izjavil: »Če ne bi bilo algoritma, mislim, da bi prisodil eno leto, morda celo le pol leta.«
Jamstvo moči
Računalniški algoritmi naj bi bili »nevtralni«, »objektivni«, brez predsodkov, čustvenih inhibicij in vsega drugega, čemur se ljudje, nihče izmed nas, ne moremo upreti. Problem je potemtakem prav v tem, kdo in kako jih programira in katere podatke jim da na voljo. O tem govori tudi letošnje (pred nekaj dnevi objavljeno) tematsko poročilo Bele hiše, ki se podrobneje ukvarja s problemi uporabe algoritmov pri dostopu do kreditov, višje in visoke izobrazbe, zaposlitve in kazenskega sodstva. Poročilo povsod vidi priložnost, da algoritmi na podlagi velike množice podatkov predlagajo bolj pravične odločitve, hkrati pa nevarnost, da krivice – bodisi zaradi slabih, pomanjkljivih ali pristranskih podatkov bodisi zaradi površnega programiranja, ki, denimo, korelacijo »pretvori« v vzročno-posledično povezavo – še povečajo. Nekatere druge študije pa že opozarjajo na novo nevarnost, da se bodo namreč s strojnim učenjem programske napake še potencirale, saj bo umetna inteligenca iz ponavljanja prvotne napačne odločitve vedno bolj »prepričana«, da je prav ta najbolj pravilna.
Nedavni problem Facebooka z ameriškimi konservativci je nazorno pokazal enega izmed omenjenih problemov. Algoritem, ki izbira, katere teme so trenutno na spletu »najbolj vroče« (trending topics v Evropi v glavnem – še – ne deluje), ne more politično in svetovnonazorsko »uravnotežiti« izbora, če v njem kot viri prevladujejo »liberalni« mediji. To je bila, mimogrede, razprava, kakršne so bile doslej značilne za tradicionalne medije, in vsemu navkljub je bilo malce ironično slišati, da se je Mark Zuckerberg na obtožbe o pristranskosti tudi zares odzval kot kakšen glavni urednik: ni res, algoritem ni pristranski, bomo preverili, dajmo se dobit, da vidimo, kaj je mogoče storiti itd.
Kot zasebno podjetje Facebook ni javna radiotelevizija in bi si lahko odkrito privoščil »neuravnoteženost« (bežen pogled v družbenoomrežne odzive pokaže, da imajo ameriški konservativci nekaj deset milijard dolarjev težkega Zuckerberga tako in tako za skrajnega levičarja). A še bolj kot zaradi morebitnih finančnih posledic se je Zuckerberg verjetno potrudil biti »skrajno konstruktiven« iz nekega drugega razloga. Utvare »objektivnosti« algoritma ne sme nič ogroziti, nekaj, kar je zaradi »matematičnosti« videti znanstveno, »nepristransko«, mora takšno tudi ostati. Algoritem, osnovni gradnik ekonomske moči Silicijeve doline in s samoučečo se umetno inteligenco obetavno izhodišče za odločilen vpliv (kakršnega imajo danes naftna, finančna in vojaška industrija) na (globalno gledano) politično oblast, mora ostati neomadeževan. Zato so programske vrstice algoritmov še večja skrivnost kot recept domnevno osvežilnega zvarka v barvi karamele, saj prav to njegovim avtorjem oziroma lastnikom/korporacijam jamči ekonomsko in politično moč.
