To so opazili tudi predstavniki medijev, ki so kasneje objavili tudi nekatera mnenja znanstvenikov, ki sklepajo o vzorcu in o tem, da je večina odgovarjajočih tistih, ki so bili motivirani sami po sebi, brez ustrezne statistične podlage. A dokler Zavod Republike Slovenije za šolstvo (ZRSŠ) ne pojasni metodologije in vseh podatkov o vzorcu ter prikaže analize neodgovora, ne moremo z gotovostjo zaključiti, da vzorec ni reprezentativen. Že zdaj pa lahko ugotovimo, da predstavitev za medije  javnost zavaja, ker prikazuje podatke, za katere ne vemo, katere skupine so jih sporočile, kot nacionalne statistike.

V nadaljevanju pregleda se omejujemo na tri vidike: na vzorec sodelujočih, na zbiranje in analizo podatkov ter na vsebino raziskave.

Vzorec – Na tiskovni konferenci so bila navedena relativno visoka števila sodelujočih oseb, vendar prisotna javnost ni dobila podatkov ne o načinu izbiranja oseb za raziskavo, ne o zbiranju podatkov, ne o izračunih in, najpomembneje, tudi ne o omejitvah sklepanja iz izsledkov na nacionalno raven. Nekaj od teh informacij ponuja e-poročilo. Tam izvemo za nekatera dejstva, ki pa še ne odpravijo raziskovalnih dvomov o zanesljivosti merjenja in veljavnosti sklepov, kakor tudi, da bo oktobra poročilo dopolnjeno. Za zdaj v e-knjigi lahko preberemo, da so bile k sodelovanju povabljene vse šole, vsi učitelji in vsi učenci. Če je končen odziv 7382 učiteljev (20 do 30 odstotkov vseh), 24.684 učencev in dijakov (10 do 13 odstotkov vseh) ter 406 ravnateljev, so to precej majhni deleži populacij in ne vzbujajo zaupanja v reprezentativnost. Z njimi niso prikazani deleži po standardnih demografskih značilnostih, kot so spol, starost, regijska pripadnost, pogrešamo tudi predmetna področja poučevanja za učitelje. Izjema so ravnatelji osnovnih šol (OŠ), ki jih je med odzivnimi okoli 300, pri čemer je vseh OŠ v Sloveniji nekaj več kot 400.

Podatki v predstavitvi so zavajali tudi o stopnjah in vrsti zajete šolske ravni. Poročali so o sodelovanju ravni razrednega pouka, v e-publikaciji pa naknadno izvemo, da so v študijo vključili le drugo triado, to je 4. do 6. razred OŠ, kar je polovica ravni razrednega pouka. Obenem 6. razred v marsikateri šoli poučujejo že predmetni učitelji in ne spada v celoti v razredno raven. Srednješolski podatki ne ločijo med gimnazijami in strokovnimi ali poklicnimi programi, kar bi bilo po našem mnenju nujno za razumevanje stanja, zaradi temeljnih razlik v organizaciji pouka in vrsti predmetov, ki zahtevajo praktično delo dijakov.

Do zdaj ni videti, da bi bila opravljena ali napovedana analiza neodgovora ali da bi avtorji kako drugače sledili temu, katere osebe se niso odzvale. Zato je verjetno, da so bile odzivne le nekatere skupine in posledično rezultati morebiti niso reprezentativni. Dvom o reprezentativnosti dodatno vzbuja podatek, da je manj kot 10 odstotkov učencev poročalo o pomanjkanju IKT-naprav za učenje od doma. Ni razvidno, ali so učenci, ki naprav takrat niso imeli in jih morda še vedno nimajo, vključeni v raziskavo ali ne. Ni pojasnjeno, ali so lahko sodelovali v študiji in poročali o svojem pomanjkanju. Analiza neodgovora učencev bi zato nujno morala preveriti deleže neodzivnih, glede na dostopnost do spleta. Ne vemo tudi, koliko učno uspešni učenci so prevladovali med odzivnimi. Pričakovali bi, da so se odzvali le motivirani, vendar tega ne vemo zagotovo. Dokler ni objavljena analiza demografskega ozadja sodelujočih, je vsako sklepanje o tem, katera skupina učencev je med odzivnimi, pomanjkljivo. Zato bi bilo treba pri avtorjih nujno preveriti  hipoteze o pristranskosti vzorca in prositi za študijo neodgovora, preden se izsledki uporabijo za razmislek o razvoju politik in protokolov.

Zbiranje podatkov – Opisi zbiranja podatkov so pomembni, ker predstavitev odgovorov bralca lahko navaja na sklep, da vsi rezultati veljajo za celotne nacionalne populacije. To pa ne more biti res za informacije, ki so bile pridobljene s posamičnimi intervjuji ali fokusnimi skupinami. ZRSŠ bi moral jasno označiti, kateri podatki so bili pridobljeni na vsakega od omenjenih načinov in kaj lahko iz njih sklepamo.

Iz predstavitve in e-poročila ni jasno, kateri podatki so bili zbrani v fokusnih skupinah in kateri z intervjuji. Ne izvemo, ali so številke o sodelujočih zajele tudi sodelujoče v skupinah in intervjuvance, torej ali so v intervjujih in fokusnih skupinah sodelovali tisti, ki so že izpolnili vprašalnike, ali drugi. V publikaciji je ponekod med drugimi izsledki podatkov iz vprašalnikov navedeno, kaj so sporočile fokusne skupine, vendar ni navedeno, katera vprašanja so jim bila postavljena. Podobno manjka opis vsebine in namenov intervjujev. Moteče in zavajajoče je, da so med tabelami z relativnimi frekvencami odgovorov (brez navedenega števila sodelujočih) navedeni odgovori iz fokusnih skupin in intervjujev. Bralec težko loči, iz katerih podatkov lahko sklepa na nacionalne statistike in kateri rezultati fokusnih skupin samo ilustrirajo prikazane izračune. V končno poročilo bo treba dodati pojasnilo, da ne bi iz posameznega osebnega mnenja ene osebe bralec sklepal o celotni populaciji.

O izračunih – Na predstavitvi sta na večini prikazov manjkali lestvica in legenda možnih odgovorov na vprašanja iz vprašalnikov. Tudi v publikaciji te manjkajo v več prikazih. Pogrešali smo tudi navedbe, ali so bile kategorije odgovorov disjunktne ali pa jih je sodelujoči lahko izbral več. Nepričakovano je bilo ponekod skupno število odstotkov oseb, ki so izbrale vse kategorije posameznega odgovora skupaj, mnogo večje od 100 odstotkov. Le ugibamo lahko, da so pri teh vprašanjih respondenti lahko izbrali več odgovorov in se njihovi deleži zato ne seštejejo v celoto, četudi iz vprašanj to ni razvidno. Tako kot pri predstavitvi na konferenci tudi v publikaciji ni jasen izračun povprečij lestvic, ki niso predstavljene. Nekatere lestvice odgovornih kategorij so bile videti, kot da tečejo od 1 do 4, nekatere od 0 do 5, ne da bi bralec lahko ugotovil, kaj meri spodnja in kaj zgornja vrednost. Ker pri nobenem prikazu ali statistiki ni bila navedena nobena standardna napaka ali interval zaupanja, ni mogoče presojati, katere vrednosti se med seboj sploh razlikujejo.

Dopolnitve izračunov z intervali zaupanja so nujne, preden začne Ministrstvo za izobraževanje, znanost in šport (MIZŠ) sklepati iz podatkov na potrebne aktivnosti. Lahko bi se pokazalo, da se da rezultate tolmačiti drugače, kot če bi bili opremljeni s statističnimi lastnostmi, torej da razlik ponekod ni, čeprav so videti relativno velike, ponekod pa razlike so značilne, čeprav so po številski vrednosti manjše od prvih. Presoja o razlikah posameznih meritev med skupinami, ki je bila prikazana na predstavitvi, ni ustrezna in zavaja.

Vsebina – V e-poročilu izvemo nekaj strokovnega ozadja za zasnovo študije in izbor vprašanj, kljub temu pa ostaja vtis, da se je študija najbolj osredotočila na čustveno obremenitev učiteljev in učencev v času šole na daljavo ter manj na v forumih in drugje že zaznane težave s poukom, kot so uporaba informacijsko-komunikacijske tehnologije (IKT), tehnična izvedba in ocenjevanje, pomanjkanje tekmovanj v znanju, ki je prizadelo bodoče Zoisove štipendiste, poučevanje učencev s posebnimi potrebami, tudi stanje virov za poučevanje (knjige in e-učbeniki), izvedba praktičnih nalog za predmete, kjer je to predpisano, in najbolj pomembno: na obseg poučevanih in naučenih vsebin ter njihovo povezavo z znanjem.

Nekatera vprašanja so bila neustrezno oblikovana. Bralec poročila bi moral biti zelo pozoren na to, da je več vprašanj postavljenih tako, da ne omogočajo relativne primerjave s poukom v šoli. Izvemo na primer, da so bili učenci obremenjeni s poukom na daljavo, vendar ne izvemo, ali so bili bolj ali manj, kot so v šoli; da pogrešajo razlago, vendar ne, ali jo bolj ali manj kot v šoli. Nekatera vprašanja so bila dvoumna in bi lahko zavajala respondente ter bralce. Na primer vprašanje o načinu pouka, ki kaže, da je prevladovala kombinacija videa in navodil. Vendar ne izvemo, ali je bil video pouk reden ali občasen, ali ga je predpisal učitelj ali celo posnel ali je samo poslal link. Pri vsebini je zato treba vprašanja skupaj z odgovornimi kategorijami brati zelo previdno in jih vsebinsko presojati ob mogočih omejitvah. Vsekakor bi bilo treba v e-poročilo dodati vprašalnik in vprašanja ter opis fokusnih skupin in intervjujev, da bi lahko bralec bolje razumel kontekst prikazanih izsledkov.

E-poročilo navaja, da poglavje interpretacij še manjka in bo objavljeno oktobra. Ali to pomeni, da bo poročilo dopolnjeno tudi metodološko in da bodo izboljšani prikazi rezultatov ter presoje o pomanjkljivostih, za zdaj še ne moremo z gotovostjo zaključiti. Šele takrat bodo nekateri rezultati morda lahko postali uporabni za načrtovanje politik izobraževanj, v sedanji obliki to pač niso.

Za Pedagoški inštitut: prof. dr. Igor Ž. Žagar, direktor