Vertaisarviointi tarvitsee kaverikseen avoimuutta
30.10.2020 Blogi Essi Eerola
Helsingin Sanomat kirjoitti (HS 18.10.) kiinnostavasti koronapandemian vaikutuksesta tutkimuksen tekemiseen. Kirjoituksessa tuli hyvin esiin se, miten valtava tiedon tarve oli varsinkin viime keväänä ja miten se ohjasi tutkimuksen aihevalintoja ja tekemisen tapoja.
HS:n kirjoituksessa korostui vertaisarvioinnin merkitys luotettavan tutkimustiedon takaajana. On helppo olla samaa mieltä: Puutteistaan huolimatta vertaisarviointi on paras tutkimuksen laadunvarmistusjärjestelmä. Systeemin hienous on siinä, että ulkopuoliset, tutkimusalaa hyvin tuntevat tutkijat lukevat ja kommentoivat käsikirjoitusta, etsivät heikkoja kohtia ja virheitä ja tekevät parannusehdotuksia.
Ei järjestelmä tietenkään täydellinen ole, ja lukijaa onkin syytä varoittaa: Tieteellisiä aikakauskirjoja syntyy kuin sieniä sateella ja niiden taso on sangen kirjava. Vertaisarvioinnin läpäiseminen ei yksinään vielä takaa juuri mitään. Mutta jos tutkimus läpäisee arvostetun aikakauskirjan tiukan seulan, ulkopuolisen on helpompi luottaa sen tuloksiin. Samalla tutkimuksen kirjoittajan uskottavuus oman tutkimusalansa asiantuntijana kasvaa.
Tutkijat usein toivovat, että isompi osa tutkimusrahoituksesta suunnattaisiin hankkeisiin, joissa edellytetään vertaisarviointia ja että tulokset julkaistaan vasta vertaisarvioinnin jälkeen. Tavoite kuulostaa hyvältä, mutta tuskin voi käytännössä toteutua. Tieteenalojen väliset erot ovat suuria, mutta ainakaan taloustieteessä ei aina ole järkevää jäädä odottelemaan vertaisarvioinnin lopputulosta.
Päätöksentekoa tukemaan kirjoitetaan jatkuvasti raportteja, joita ei ole mahdollista altistaa aikakauskirjojen tieteelliselle prosessille. Kuitenkin raportit voivat olla päätöksentekijälle hyvin tärkeitä ja siten vaikutusvaltaisia. Siksi ne tarvitsevat laadunvarmistusta ihan yhtä kipeästi kuin vertaisarvioidut artikkelitkin.
Minkälainen laadunvarmistus sitten on tällaisissa tilanteissa? Usein esimerkiksi ministeriöiden ja valtioneuvoston kanslian selvitys- ja tutkimustoiminnan (VN TEAS) rahoittamilla hankkeilla on ohjausryhmä, jonka kanssa käytävät keskustelut ovat kokemukseni mukaan hyödyllisiä raportin kirjoittajille ja auttavat paremman raportin kirjoittamisessa. Mutta tutkimuksellinen laadunvarmistus riippuu pääasiassa raportin kirjoittajasta ja hänen taustaorganisaationsa toimintatavoista.
Koska virallista yhteistä prosessia ei ole, luotettavia tutkimustuloksia kaipaavan kannattaa suosia avoimuutta. Keskeneräisiä tuloksia kannattaa esitellä seminaareissa kriittisen palautteen saamiseksi. Käsikirjoitus kannattaa lähettää luettavaksi tutkimusalaa tunteville tutkijoille, jotka yleensä pyynnöstä ovat valmiita kommentoimaan ja paljastamaan raportin heikkoudet ennen julkaisua. Ja lopulliset tulokset kannattaa julkaista vasta sitten kun valmiina on myös raportti, josta kiinnostuneet voivat lukea analyysin yksityiskohdat. Näitä laadunvarmistuskeinoja voi raportin tilaajakin edellyttää.
Välillä aikataulupaineet toki ovat kovat ja yllä kuvatut ideaalit eivät toteudu. Raporttien kirjoittajien, lukijoiden ja raporttia hyödyntävien valmistelijoiden ja päätöksentekijöiden kannalta on kuitenkin parasta, että virheet löytyvät ja korjataan matkan varrella jo ennen julkaisua. Ja jos ne löytyvät vasta julkaisun jälkeen, silloinkin pitää olla iloinen, että ne kuitenkin lopulta löytyivät.
Essi Eerola
Blogi
Blogit
Blogit
