Kako ocenjevati raziskovalne projekte?

Najprej o dilemi, kaj je pomembneje, vsebina projekta ali reference vodje projekta, oziroma zmožnost, da se ideje lahko izpeljejo.

Dva diametralno različna pogleda bi rad ilustriral s pogledom prof. Krota, dobitnika Nobelove nagrade za kemijo v letu 1996. V pogovoru pred leti me je povprašal po ocenjevalnih postopkih, ki jih imamo na ARRS. Ko sem mu razložil sistem, mi je odgovoril, da se ne strinja z mano in seveda tudi ne z ocenjevalnimi postopki drugih agencij, ki večinoma uporabljajo podobne principe. »Moja Nobelova nagrada ni posledica rezultatov projekta, napovedi rezultatov, pač pa je posledica tega, da mi je institucija verjela, da je verjela mojim referencam in mi dala svobodo, da razvijam svoje ideje. Po mojem mnenju bi morale agencije financirati raziskovalce zgolj po dosedanjih rezultatih in ne po napovedih, kaj bodo naredili.«

Takšen princip, tudi če ga izreče Nobelov nagrajenec, ima v resnici kar nekaj pomanjkljivosti, ki se jih je zavedal tudi moj sogovornik. Pri raziskovanju so zelo pomembne tudi ideje, načrt projekta – to pride posebej do izraza pri aplikativnih raziskavah, kakršne financira EU preko večine svojih mehanizmov. Dejansko je torej treba skleniti neki kompromis med dvema skrajnima pogledoma. Vsak raziskovalni projekt je ocenjen z vidika kvalificiranosti vodje (ca. 1/3 ocene) in z vidika vsebine projekta (ca. 2/3 ocene). Takšen princip je v veljavi pri razpisih EU (od bolj aplikativnih razpisov Okvirnih programov do temeljnih razpisov Evropskega raziskovalnega sveta) in razpisih znanstveno uspešnih držav, tudi Belgije in Avstrije, s katerima imamo sklenjena sporazuma Vodilne agencije, ki temelji na medsebojnem priznanju in spoštovanju ocenjevalnih postopkov. ARRS v svojih postopkih izbire projektov uporablja primerljiv sistem, kar je potrdila tudi zahtevna zunanja evalvacija ARRS, ki jo je leta 2011 izvedla Evropska znanstvena fundacija (ESF). Tako kot v vseh drugih državah imamo definiran vstopni prag za prijavitelje, vstopni pragi pa so različni za različne tipe projektov.

Vstopni prag je tako ali drugače definiran pri vseh razpisih EU (t.i. eligibility) in nacionalnih razpisih evropskih držav. Z vstopnim pragom želimo financerji zagotoviti udeležbo raziskovalcev, ki izkazujejo določeno raven znanstvene kvalitete. Razpisi Evropskega raziskovalnega sveta (ERC) kot kakovostno najzahtevnejši razpisi EU tako kot vstopni pogoj za raziskovalca na začetku kariere, t.i. starting grant, zahteva vsaj eno kakovostno samostojno objavo brez soavtorstva mentorja ter izkazan kakovostni potencial v bibliografiji; vstopni pogoj za uveljavljenega raziskovalca v t.i. advanced grant shemi pa so izkazani pomembni znanstveni dosežki v preteklem desetletnem obdobju s poudarkom na izvirnosti in prispevku k področju, na katerem raziskovalec deluje.

ARRS recimo kot vstopni prag zahteva zagotovitev 25 odstotkov sofinanciranja pri aplikativnih projektih, vsaj eno znanstveno publikacijo za podoktorske projekte, ki dokaže minimalne znanstvene veščine, nekaj več znanstvenih rezultatov za raziskovalce, ki konkurirajo v kategoriji vodij projektov do deset let po doktoratu, in več znanstvenih referenc ali dokumentirano sodelovanje z uporabniki za uveljavljene raziskovalce. V vseh primerih upoštevamo reference v zadnjih petih letih, pri čemer odštejemo leta odsotnosti od aktivnega raziskovanja, kot je na primer starševski dopust. V posameznih primerih želimo raziskovalcem posebej olajšati vstopni prag; če je raziskovalec v zadnjem obdobju objavil izjemno znanstveno delo, s tem izpolni vstopni prag; ali pa za podoktorande, ki se odločijo, da bodo raziskovanje nadaljevali na drugi raziskovalni ustanovi in s tem prispevali k sodelovanju – tako odločitev podpremo tako, da se podoktorand avtomatično uvrsti v drugi krog. V podobno kategorijo sodi sistem vabljenih raziskovalcev, ki se uvrstijo neposredno v drugi krog ocenjevanja. Sistem temelji na naši analizi uspešnosti raziskovalcev na razpisih. Iz analize izhaja, da je na razpisu uspešnih približno 70 odstotkov raziskovalcev z najboljšimi referencami, kakšna tretjina pa je takih, ki imajo nekoliko slabše reference, zato pa dober predlog raziskovalnega projekta. Neposredna udeležba raziskovalcev z dobrimi referencami v zadnjih petih letih (nikakor ne v bolj oddaljenem obdobju) je zato racionalna poteza, ki raziskovalcem, ki so bili zelo uspešni v zadnjem obdobju, nekoliko zmanjša administrativne ovire, hkrati pa jih prav v ničemer ne preferira, saj v drugi fazi povsem enakovredno tekmujejo z raziskovalci, ki so se v drugi del uvrstili preko prve faze. Seveda tak sistem prinese tudi pomembne prihranke pri honoriranju recenzentov.

Letošnji razpis za raziskovalne projekte je potekal v precej oteženih okoliščinah. V preteklih letih so se namreč močno znižala sredstva ARRS za raziskovalno dejavnost (za skoraj 30 milijonov evrov), financiranje ciljnih raziskovalnih projektov preko drugih ministrstev je usahnilo, zaključilo se je financiranje centrov odličnosti, kompetenčnih centrov, presahnile so mnoge vzpodbude gospodarstvu. Posledica vsega navedenega je bilo ogromno število prijav na projektni razpis ARRS, kjer pa ob več kot 1200 prijavah in omejenih sredstvih (10,3 milijona evrov) ni bilo mogoče zagotoviti uvrstitve več kot desetine projektov v drugo fazo. Ta odstotek je bistveno nižji kot v preteklih letih in zato se zdi neposredno vabilo v drugi krog razpisa nekoliko pretiran poudarek znanstvenim referencam prijavitelja. Tudi zato razmišljamo, da bi sistem vabljenih raziskovalcev nadomestili z mehanizmi, ki bi že v fazi prijave vzpodbujali sodelovanje med raziskovalci v obliki skupnih prijav, kar bi še bolj učinkovito znižalo število prijav in jim hkrati povečalo kakovost. S tako rešitvijo bi naslovili tudi problematiko drobitve raziskovalnega dela v raziskovalnih skupinah.

Krčenje sredstev razgalja več problematik. V slovenski znanstveni sferi je tekmovalnost zdaj dokončno postala realnost raziskovalnega vsakdana, na drugi strani pa krčenje sredstev narekuje tudi določene korekcije v postopkih ARRS. Nadaljnje izboljševanje ocenjevalnih postopkov je naša zaveza, ki jo iščemo v dialogu z raziskovalnimi organizacijami in z vpeljevanjem uspešnih mednarodnih praks.