Donald Norman
Politika, ki se trudi davkoplačevalcem dokazovati, kako učinkovito porablja njihov denar, vse bolj vpeljuje tako imenovano transparentnost – kar naj bi dokazovalo nesporno zvezo med vloženimi sredstvi in rezultati.
Pri znanosti so predvsem politiki kot kriterij izbrali število znanstvenih objav. Birokrati, ki usmerjajo javna sredstva za znanstveno dejavnost, zato pridno seštevajo številske indikatorje znanstvenih objav, kot sta na primer indeks citacij (SCI) ali faktor vpliva (IF), in na podlagi tako ali drugače izvedenih vsot določajo prejemnike denarja za znanost. Zato se je v znanstvenih institucijah po vsem svetu uveljavilo načelo »objavljaj ali propadi« (publish or perish), saj je financiranje znanstvenih ekip bolj odvisno od publikacij kot od dejanske pomembnosti odkritij.
»V današnjem akademskem sistemu ne bi veljal za dovolj produktivnega,« je povedal Peter Higgs, ki je leta 2014 dobil Nobelovo nagrado za fiziko.[1] Da bi izpolnili pričakovanja, morajo raziskovalci objaviti ne le povsem irelevantne članke, ampak včasih tudi premalo premišljene. Število zavrnjenih člankov narašča hitreje kot obseg predloženih. [2, 3]
Če se preveč mudi…
Leta 1989 sta kemika Martin Fleischmann in Stanley Pons v poskusu elektrolize težke vode s paladijevimi elektrodami izmerila, da je sklop oddajal nekaj več toplote, kot je bilo pričakovati, in nevtrone; med plini, ki so pihali iz naprave, sta zaznala tudi tricij in helij. Sklep se je zdel očiten: v napravi so se zlivala jedra vodika, Fleischmann in Pons sta torej odkrila nič manj kot hladno fuzijo! Mediji so domnevno odkritje razbobnali v senzacionalističnem slogu in navajali še veliko več, kot sta trdila Fleischmann in Pons. Nič ni bilo res, poznejši poskusi so pojasnili razloge za neobičajne rezultate v okviru že znanih procesov.[4]
Ponsov in Fleischmannov nesrečni poskus je porodil vrsto teorij zarote, češ da sta znanstvenika zares odkrila hladno fuzijo, a so ju ameriška vlada ali naftne družbe prisilile, da dejstva prikrijeta. In seveda, pojavilo se je mnoštvo »podjetnikov«, ki so za primerno plačilo ponujali hladno fuzijo – italijanski »znanstvenik« Andrea Rossi je svojo celo uspešno prodal. [5]
Drugega decembra 2010 je NASA sklicala tiskovno konferenco, na kateri so objavili, da so v jezeru Mono v Kaliforniji našli bakterijo, ki v svoj genski zapis namesto fosforja vgrajuje arzen. [6] Če bi bilo res, bi bila to edina tovrstna oblika življenja na Zemlji. Mediji so objavo razkričali kot odkritje nezemeljskega življenja. Seveda ni bilo res – znanstvenikom se je pač malo preveč mudilo z objavo: v jezeru Mono, katerega voda vsebuje veliko arzena, sicer živi več kot 50 vrst bakterij, ki so odporne na ta za večino življenja strupen element, torej se arzen pojavlja v njihovih celicah; a nikoli v genskem zapisu.
Enajstega februarja 2016 so iz laboratorija LIGO (Caltech) sporočili, da so zaznali gravitacijske valove. [7] Kljub medijskemu senzacionalizmu so se fiziki odzvali dokaj zadržano: [8, 9, 10] leta 2014 objavljena trditev z univerze Harvard, da so zaznali gravitacijske valove kot odmev velikega poka, se je namreč izkazala za neutemeljeno. [11]
A to so bile samo nenamerne pomote zaradi hitenja z objavo. »Korenina vsega zla je namreč pohlep po denarju.« (1 Tim 6, 10)
Že leta 2005 je John Ioannidis šokiral znanstveno srenjo s trditvijo, da je večina objavljenih raziskovalnih rezultatov napačnih. [12] Ioannidis je svojo kritiko namenil predvsem medicini, a njegova analiza je bolj splošna in pravzaprav velja za vse znanosti. Ioannidis ugotavlja, da akademsko okolje, ki financiranje pogojuje z objavami, spodbuja raziskave z relativno majhnimi vzorci, ker te zahtevajo manj časa in tako hitreje privedejo do objave. A meritve na majhnem vzorcu bolj verjetno dajejo rezultate, ki niso značilni za temo raziskave. Kar raziskovalcu omogoča, da rezultate interpretira s prilagojenimi statističnimi metodami, z naknadnimi redefinicijami, v skladu z rezultatom, ki ga pričakuje (ki je vreden objave) – to pa pomeni, da je rezultat v veliki meri odvisen od pristranskosti, osebnih interesov in ambicij ter vsakovrstnih finančnih spodbud.
In če to ni dovolj za odmevno objavo, nekateri meritve celo ponaredijo. V raziskavi Daniele Fanelli iz leta 2009[13] je 1,97 odstotka anketiranih raziskovalcev priznalo, da so za objavo članka v svoji karieri vsaj enkrat ponaredili ali spremenili rezultate meritev, 33,7 odstotka pa jih je priznalo druge znanstveno nesprejemljive prijeme; 14,12 odstotka jih je trdilo, da poznajo primere ponaredbe meritev pri kolegih, kar 72 odstotkov pa je drugim pripisalo znanstveno neprimerne posege. Prva številka – 1,97 odstotka priznanih ponaredb – niti ni visoka, a pomislimo: če bi izvedeli, da se je v tovarni brezalkoholnih pijač v samo eni steklenici znašel strup – ali bi še kupili to pijačo, ne glede na skrajno majhno verjetnost, da bomo naleteli prav na steklenico z zastrupljeno pijačo?
Negativna selekcija
Načela evolucije z izborom najbolje prilagojenih okolju ne veljajo le za razvoj živih bitij, ampak v vsakem procesu, kjer so nekateri izidi tako ali drugače nagrajeni, drugi pa kaznovani, in je »potomstvo« odvisno od uspeha »prednikov«.
Paul Smaldino in Richard McElreath sta v članku Naravna selekcija v prid slabi znanosti [14] analizirala obdobje 60 let izhajanja znanstvenih publikacij in ugotovila, da se slabe znanstvene prakse celo širijo, kljub vedno novim pozivom proti temu. Po njunem mnenju slabo načrtovanje poskusov in napačni rezultati, ki so posledica prilagojene ali napačne statistične obdelave, ne morejo biti le plod neznanja ali neprevidnosti. Smaldino in McElreath navajata, da vztrajnost slabih znanstvenih metod tudi ne more biti posledica namernega goljufanja ali nemarnosti, ampak je plod naravnega procesa prilagajanja okolju, ki zahteva publikacije za vsako ceno in nagrajuje čim večji obseg znanstvenih objav, ne glede na njihovo kakovost. Ali, dokler bo družba financiranje znanosti pogojevala predvsem s številom objav, bodo bolj uspešne raziskovalne skupine tiste, ki bodo svoje raziskave usmerjale predvsem v »objavljivost«. Zato je sodobni akademski svet ugodno okolje za rast števila raziskovalnih skupin, ki so uspešnejše po »objavljivosti« – to pa gre seveda neizogibno na račun kakovosti raziskovalnega dela, saj poudarek na objavah spodbuja čim krajše in slabo zamišljene raziskave.
In potem še ponovljivost
Če je res, kot argumentira John Ioannidis, da je večina objavljenih raziskovalnih rezultatov napačnih, potem takih rezultatov tudi ni mogoče ponoviti.
Najprej je (najbrž neupravičeno) padlo po psihologiji: med 100 članki, objavljenimi v prestižnih revijah, je bilo le pri 36 mogoče poskus, ki so ga članki obravnavali, ponoviti. [15, 16, 17]
C. Glenn Begley in Lee M. Ellis ugotavljata, da je treba bistveno povišati kriterije za predklinične raziskave raka: kljub naraščanju števila objavljenih člankov (o novih pristopih k zdravljenju) je uspešnega zdravljenja malo in klinični testi v onkologiji imajo najnižjo stopnjo uspeha v primerjavi z drugimi terapevtskimi metodami. [18]V zadnjih letih je uspešnost teh testov padla z 28 na 18 odstotkov. [19]
Florian Prinz, Thomas Schlange in Khusru Asadullah (Bayer HeathCare) so analizirali prispevke 23 znanstvenikov (vodij laboratorijev) in 67 projektov s področja raziskav raka; ugotovili so, da so bile objavljene raziskovalne trditve le pri 20–25 odstotkih projektov utemeljene z dejansko izmerjenimi rezultati. [20] Težnja po »objavljivosti«, ki pogosto povzroči raziskave na premajhnem vzorcu, spodkopava tudi zanesljivost rezultatov v nevrologiji. [21] In nasploh je mogoče v medicinskih raziskavah zaznati vse več goljufij ter zavajanja. [22, 23]
Maja 2016 je revija Nature izvedla anketo med 1576 raziskovalci, z namenom ugotoviti, kako resna je v znanstvenih krogih kriza zaradi vse več rezultatov, ki jih ni mogoče potrditi s ponovitvami poskusov. [24]Kar 52 odstotkov anketiranih znanstvenikov je menilo, da je kriza resna: nadaljnjih 38 odstotkov meni, da obstaja problem glede tega, a da ni resen (10 odstotkov se jih ni opredelilo).
Treba je povedati, da kriteriji za ponovljivost znanstvenih poskusov niso splošno sprejeti niti v posameznih znanostih. A kljub temu je skrb vzbujajoče, da je več kot 85 odstotkov znanstvenikov v anketi Nature povedalo, da niso mogli ponoviti poskusa s področja kemije, več kot 75 odstotkov v biologiji, skoraj 70 odstotkov v fiziki in inženirskih znanostih ter več kot 60 odstotkov v medicini, okoljskih znanostih in drugih. Seveda, če raziskovalec objavljenega poskusa ne more ponoviti, to še ne pomeni, da ni ponovljiv (lahko se je zmotil), a odstotki so dovolj visoki, da nakazujejo tudi skrb vzbujajoč delež objav rezultatov, ki so objektivno neponovljivi in torej napačni, saj je ponovljivost temeljni kriterij za verodostojnost znanstvenega rezultata.
Dodatna težava je v tem, da je ponovitev poskusa (pa naj je uspešna ali ne) dokaj težko objaviti, saj se večini znanstvenih publikacij zdi nezanimiva, kot pogrevanje stare hrane. Omenjena anketa revije Nature je pokazala, da je bilo objavljenih le 24 odstotkov člankov o uspešnih ponovitvah, o neuspešnih pa le 13 odstotkov člankov. Torej, v raziskovalnem okolju, ki nagrajuje število objavljenih člankov, je strategija preverjanja objavljenih znanstvenih trditev za raziskovalca slaba, saj je verjetnost objave nizka. Kar seveda pomeni, da se najbrž večina znanstvenih objav rezultatov, ki jih ni mogoče preveriti v ponovnih poskusih in zato dejansko padejo pri temeljnem kriteriju za kakovost znanstvenega dela, nikoli ne sreča s preizkusom svojih trditev, kaj šele z javno objavo neuspeha.
Gary Taubes: Bad Science, The Short Life and Weird Times of Cold Fusion. Random House 1993, ISBN 978-0-394-58456-0.
Drug development: Raise standards for preclinical cancer research. C. Glenn Begley & Lee M. Ellis, Nature 483, 531–533 (29 March 2012) doi:10.1038/483531a.
