Joko Suomessa koittaisi satunnaiskokeiden aika?

Miksi satunnaistaminen kannattaa?

Nykyinen hallitus on monien aiempien hallitusten tapaan asettanut itselleen työllisyysastetta koskevan tavoitteen. Vuosien saatossa työllisyysasteen nostoa on pohdittu lukuisissa työryhmissä ja lainsäädäntöä on uudistettu moneen kertaan. Ottaen huomioon toteutettujen uudistusten lukumäärän ja työllisyyden kohentamiseen käytetyt resurssit, erilaisten uudistusten tehokkuudesta on yllättävän vähän luotettavaa, politiikan suunnittelua edesauttavaa tutkimustietoa. Tilanne ei ole parempi monilla muillakaan politiikkalohkoilla. Taustalla on vähäinen panostus hyvien tutkimusasetelmien luomiseen.

Kokeiluilla pitää olla paikkansa politiikan suunnittelussa. Koeasetelma on kuitenkin suunniteltava sellaiseksi, että sen avulla on mahdollista selvittää kokeiltavan politiikan vaikutukset. Satunnaistettu kenttäkoe on uskottava ja yksinkertainen keino toteuttaa tämä luotettavasti. Satunnaistamisen pitäisikin olla ensisijainen tutkimusmenetelmä. Muita vaihtoehtoja kannattaa hyödyntää vasta kun on todettu, ettei satunnaistaminen sovellu kyseiseen tilanteeseen.

Yksikään tutkimusmenetelmä ei vastaa kaikkiin tutkimuskysymyksiin. Satunnaiskokeet eivät sovellu puhtaasti makrotaloudellisten ilmiöiden, kuten inflaation tutkimiseen. Samaten yleisen tasapainon vaikutusten tutkiminen satunnaiskokeilla on vaikeaa, mutta ei mahdotonta. Nämä rajaukset huomioon ottaen satunnaiskokeet tarjoavat yllättävänkin joustavan ja monipuolisen kehikon tutkimusasetelmien muodostamiseen.

Satunnaistetut koeasetelmat yleistyvät maailmalla

Perinteisesti tutkijat ovat pyrkineet arvioimaan politiikkamuutosten aiheuttamia vaikutuksia poistamalla vertailtavien ryhmien keskinäisiä eroja tilastollisin menetelmin. Tosielämän tilanteissa tämä on osoittautunut usein valitettavan epätäydelliseksi. Yhteiskunnassa eri politiikkatoimille altistumista ohjaavat asenteet, uskomukset, taidot, ympäristötekijät ja monet muut havaitsemattomat tekijät, joita tilastollisin menetelmin harvoin kyetään uskottavasti erottamaan itse politiikan vaikutuksista.

Epätietoisuus siitä, kuinka suuri havaitsemattomien tekijöiden aiheuttama harha on, on nopeasti lisännyt satunnaistettujen koeasetelmien suosiota¹. Muutoksen laajuutta kuvaa hyvin viimeisin työvoimapolitiikan vaikuttavuutta käsittelevä meta-analyysi, joka kokoaa yhteen yli 200 tutkimuksen tulokset². Ennen vuotta 2004 alkaneiden toimenpiteiden arvioinneista vain harva perustui satunnaistamiseen. Tämän jälkeisistä toimenpiteiden vaikuttavuusarvioinneista yli 60 prosenttia on toteutettu satunnaistetuin koeasetelmin.

Satunnaiskoe taipuu moneksi

Satunnaistetuilla kenttäkokeilla pystytään vastaamaan monenlaisiin tutkimuskysymyksiin. Kiinnostuksen kohteena ei tarvitse olla perustulon kaltainen laaja uudistus, vaan uskottavia koeasetelmia pystytään rakentamaan kustannustehokkaasti myös pienimuotoisten uudistusten ja pilottihankkeiden rinnalle. Sopivasti muodostetulla tutkimusasetelmalla pystytään mittaamaan jopa politiikkatoimien ulkoisvaikutuksia.

Politiikan laajentaminen tai supistaminen

Politiikan suunnittelu kohdentuu harvoin kokonaisen järjestelmän, kuten työttömyysturvan tai keskiasteen koulutuksen mielekkyyden arviointiin. Pohdinnan alla on ennemminkin resurssien lisäämisen tai leikkaamisen vaikutukset. Kohdejoukkoa sopivasti rajaamalla näihin kysymyksiin on helppo vastata.

Julkishallinnon tarjoamiin palveluihin kohdentuu usein ylikysyntää. Esimerkiksi työvoimakoulutuksena toteutettavassa opetuksessa hakemusten lukumäärä ylittää usein aloituspaikkojen lukumäärän. Osa hakijoista on ilmiselvästi oikeutettu tai jopa pakotettu osallistumaan koulutukseen. Toinen osa hakijoista taas ei omaa riittäviä valmiuksia osallistuakseen. Ääripäiden väliin jää usein hakijoiden joukko, jonka kohdalla paikkojen jakaminen ei ole täysin selkeää.

Lähtökohta voi olla koulutuspaikkojen jakaminen tavanomaiseen tapaan. Työvoimapolitiikan laajentamisen vaikutukset selviävät, kun satunnaisesti valitulle osalle koulutukseen kelpaavista, mutta sen ulkopuolelle jääneistä hakijoista tarjotaan lisäkoulutuspaikkaa. Työvoimapolitiikan supistamisen vaikutukset saadaan puolestaan selville satunnaistamalla osa koulutukseen tavanomaisesti valittavista henkilöistä ulkopuolelle. Lähestymistapa on helposti sovellettavissa vastaaviin tilanteisiin muilla politiikkalohkoilla.

Vaiheittain toteutettava politiikka

Toisenlaisia mahdollisuuksia avautuu, jos politiikkauudistusta ei ole välttämätöntä toteuttaa yhdellä kertaa kaikkialla Suomessa tai muutoin koko kohdejoukkoa koskevana. Uudistus kannattaa tällöin ottaa vaiheittain käyttöön eri alueilla, kouluissa, tai mikä politiikan kannalta relevantti yksikkö kulloinkin on. Myöhemmässä vaiheessa mukaan tulevia yksiköitä voidaan tällöin hyödyntää verrokkeina alkuvaiheen yksiköiden muodostaessa koeryhmän.

Vaiheittain toteutettavaa uudistusta suunniteltaessa on ensiarvoisen tärkeää huolehtia, etteivät yksiköt pääse itse määräämään, milloin ottavat politiikan käyttöönsä. Alkuvaiheen vapaaehtoiset ovat tyypillisesti niitä, jotka kokevat hyötyvänsä kaikkein eniten uudistuksesta. Jos tätä ryhmää verrataan myöhemmin mukaan tulevaan ja politiikasta vähemmän hyötyvään ryhmään, tulokset yliarvioivat politiikan todellisen vaikutuksen. Satunnaistaminen poistaa tässäkin tilanteessa valikoitumisesta johtuvat ongelmat, ja tuottaa harhattomia tuloksia politiikan todellisista vaikutuksista.

Aina uudistuksen käyttöönottoa ei ole mahdollista viivyttää, etenkin jos verrokkiryhmä kokee vaiheittain toteutetun uudistuksen liian epätasa-arvoisena. Tällöinkin on mahdollista muodostaa uskottava koeasetelma, satunnaistamalla yksiköiden sisällä ryhmiä eri toimenpiteille.

Koulutuspolitiikan vaikutuksia arvioivissa tutkimuksissa asetelmaa on toteutettu kohdentamalla arvioitava toimenpide satunnaistetuissa kouluissa tietylle vuosiluokalle, ja toisissa kouluissa jollekin toiselle. Seuraavana vuonna kouluja ja vuosiluokkia vaihdetaan, jolloin kaikki yksiköt saavat yhtäläiset resurssit, mutta samalla muodostuu politiikkatoimen vaikutusten arvioinnin mahdollistava koeasetelma. Riskinä on tosin vertailuasetelman vääristyminen, jos koulut siirtelevät lisäresursseja vuosiluokkien välillä³.

Osallistumiseen rohkaisu

Satunnaistettu kenttäkoe on hyödynnettävissä politiikkatoimissa, joihin kaikkien ei ole pakko osallistua tai joita voidaan vältellä. Tällaisia esimerkkejä ovat muun muassa keskiasteen koulutukseen hakeminen tai tuloerien ilmoittaminen veroilmoituksessa.

Tällaisissa tilanteissa tiedetään jo politiikan suunnitteluvaiheessa, että osa kohdejoukosta jättää hakematta koulutukseen tai ilmoittamatta tulojaan. Satunnaistettua osaa kohdejoukosta on kuitenkin mahdollista rohkaista osallistumaan esimerkiksi infopaketilla tai muistutuskirjeellä⁴. Jos tällä tavoin kyetään vaikuttamaan osallistumisalttiuteen, satunnaistetun koeasetelman synnyttämää vaihtelua voidaan hyödyntää itse politiikkatoimen vaikutusten arvioinnissa.

Ulkoisvaikutukset

Politiikkatoimen vaikutukset eivät aina rajoitu kohdejoukkoon. Kohdejoukon ulkopuolelle levittäytyvien epäsuorien vaikutusten arvioiminen on usein hankalampaa kuin politiikan suorien vaikutusten arvioiminen. Sopivalla suunnittelulla satunnaistettu kenttäkoe tarjoaa kuitenkin oivan mahdollisuuden selvittää yhdellä kertaa sekä suorat että epäsuorat vaikutukset. Tarvitaan vain kaksi satunnaistamista. Ensimmäisessä satunnaistamisessa määritetään, miten suuri osuus kohdejoukosta altistetaan toimenpiteelle eri yksiköissä. Toisessa satunnaistamisessa jaetaan kohdejoukon jäsenet koe- ja verrokkiryhmiin.

Tutkimusasetelmaa on hyödynnetty menestyksekkäästi Ranskassa, jossa tutkittiin nuorten tehostettujen työvoimapalveluiden vaikutuksia heidän työllistymismahdollisuuksiinsa⁵. Kokeilussa satunnaistettiin eri alueiden välillä, miten suurelle osalle alueen kohdejoukosta toimenpide kohdennettiin vaihteluvälin ollessa 0-100 prosenttia. Alueiden sisällä osallistujien valinta toteutettiin niin ikään satunnaistamalla. Tulosten perusteella tehostettu palvelu edisti koeryhmän nuorten työllistymistä, mutta verrokkiryhmän nuorten kustannuksella. Ulkoisvaikutusten huomioimisen jälkeen uudistuksen kokonaisvaikutus todettiin liki mitättömäksi.

Satunnaiskokeiden kritiikki sisältää sarjan ohilaukauksia

Tuloksia ei voi yleistää

Satunnaistettu kenttäkoe tarjoaa tarkan arvion politiikkatoimen vaikutuksista kohdejoukossa. On tapauskohtaista, missä määrin tuloksia voidaan yleistää kohdejoukon ulkopuolelle. Kysymys tulosten yleistettävyydestä ei tosin johdu satunnaistamisesta, vaan samaan ongelmaan törmätään muissakin arviointitutkimuksissa. Eihän työvoimakoulutuksen tilastollinen vaikuttavuusarviokaan kerro mitään muiden työvoimapoliittisten toimenpiteiden vaikutuksista, tai työvoimakoulutuksen vaikutuksista sellaisiin työttömiin, jotka eivät ole siihen oikeutettuja. Ero satunnaistettuun kenttäkokeeseen on kuitenkin siinä, että satunnaistaminen poistaa valikoitumisharhan arviointituloksesta.

Mikäli satunnaistetun kenttäkokeen tuloksia halutaan laajentaa eri kohdejoukkoihin tai toimenpiteisiin, se on yksinkertaista toteuttaa uusilla kokeiluilla. Ranskassa toteutetun työvoimapolitiikkakokeilun esimerkin tapaan satunnaistaminen tarjoaa mahdollisuuden myös ulkoisvaikutusten arvioimiselle. Mikään ei siis estä yleistettävien tulosten hankkimista satunnaistettujen kenttäkokeiden avulla. 

Pitkäkestoinen ja kallis

Satunnaistetun kenttäkokeen ei tarvitse olla yhtään muita tutkimusmenetelmiä hitaampi tai kalliimpi. Perustulokokeilu olisi maksanut aivan yhtä paljon ja kestänyt aivan yhtä kauan, vaikka se olisi valtakunnallisen satunnaistamisen sijaan toteutettu tapaustutkimuksena yhdellä paikkakunnalla.

Joustaviin ja kustannustehokkaisiin tutkimusasetelmiin päästään hyödyntämällä Suomen poikkeuksellisen laadukkaita rekisteritietoja. Viranomaiset keräävät palvelemistaan asiakkaista valtavan määrän rekisteritietoa. Tarjoamalla satunnaistetuille asiakasryhmille erilaisia palveluja, ja seuraamalla heitä rekistereistä, voidaan saada luotettavaa tietoa parhaista menettelytavoista loppujen lopuksi vain pienellä lisäpanostuksella viranomaisten oman toiminnan päälle.

Eettisyyden puute

Yhteiskuntapolitiikassa satunnaistaminen on toisinaan katsottu epäeettiseksi, koska vain koeryhmä pääsee osalliseksi uudesta politiikkatoimesta ja verrokit jäävät sen ulkopuolelle⁶. Mutta näin tapahtuu aina kaikenlaisissa kokeiluissa, ei pelkästään satunnaistetuissa kenttäkokeissa.

Monissa tilanteissa voidaan itse asiassa pohtia, olisiko satunnaistaminen objektiivisempi ja siten jopa oikeudenmukaisempi ratkaisu kuin viranomaisen toimivaltaan kuuluva harkinta. Erityisesti julkisille palveluille yleisessä ylikysyntätilanteessa, jossa palvelua hakevia on enemmän kuin paikkoja, voi viranomaisille olla hankalaa löytää objektiivista kriteeriä hakijoiden järjestämiseen. Tällöin epäselvien tapausten satunnaistaminen voi olla eettisempi ratkaisu kuin viranomaisen kulloinkin valitsema subjektiivinen järjestys, jota muokkaavat sekä virkailijan omat uskomukset että asiakkaan kyky tuoda tarpeensa esille.

Tutkimustietoon perustuva päätöksenteko on yleisesti hyväksytty tavoite. Monilla politiikan aloilla onkin jo selvää, että uusista toimista on luotettavia vaikuttavuusarvioita. Esimerkiksi terveydenhuollossa käyttöön otettavien hoitojen ja lääkkeiden vaikutus todennetaan etukäteen satunnaiskokein. Ei ole ollenkaan selvää, miksi vaatimukset tietopohjaisesta päätöksenteosta ovat vähäisemmät, kun kyse on ihmisen koulutuksesta, työllistymisestä tai toimeentulosta.

Suomessa toteutetaan jatkuvasti uudistuksia, joiden uskotaan parantavan kansalaisten hyvinvointia. Liiallinen luottamus omiin uskomuksiin kostautuu ylimääräisinä julkisina menoina ja toiminnan tehottomuutena, jos uskomukset politiikan vaikutuksista eivät pidäkään paikkaansa. Yhteiskuntapolitiikan kannalta huolestuttavinta on se, että eri tahojen uskomukset ovat usein keskenään täysin päinvastaisia. Tästä näkökulmasta politiikan vaikutusten luotettava todentaminen satunnaistetuin koeasetelmin on varsin eettistä. Etenkin, jos vaihtoehtona on kaikkien alistaminen vaikutukseltaan epävarmalle politiikalle tai kokeiluiden suorittamiseen tavoilla, jotka eivät lopulta auta selvittämään politiikan vaikutuksia.

Kokeileminen itsessään vaikuttaa osallistujiin tai verrokkeihin

Satunnaistettuun kenttäkokeeseen liittyy kaikkien muiden kokeiluiden tavoin riski siitä, että pelkkä tietous kokeilusta muuttaa käyttäytymistä⁷. Koeryhmään tai verrokkiryhmään kuuluvat voivat lisätä ponnistelujaan vain sen takia, että he tietävät olevansa mukana kokeilussa. Pahimmallaan kokeilusta saadaan merkitseviä tuloksia, vaikkei itse tutkittavalla politiikalla olisi lainkaan vaikutusta.

Lääketieteessä ongelmaa lievennetään suorittamalla satunnaiskokeet sokkoutettuina, jolloin tutkimukseen osallistujat eivät tiedä, saavatko he tutkittavaa lääkettä vai lumelääkettä. Tätä voidaan toisinaan käyttää yhteiskuntatieteissäkin. Palveluiden lisäämisen tai toimintatapojen muuttamisen vaikutuksia voidaan hyvin tutkia kertomatta asiakkaille taustalla olevasta laajemmasta kehikosta. Infokirjeissäkään ei aina tarvitse kertoa, että henkilö tai yritys on osana laajempaa kokeilua.  

Jos kokeilusta kertominen on välttämätöntä, tilannetta voidaan lieventää muunlaisin keinoin. Yksi mahdollisuus on jatkaa rekisteriseurantaa kokeilun jälkeen, jolloin kohdejoukkoon kuuluvat eivät enää tiedosta olevansa seurannassa mukana. Toisaalta seurannassa olemisen vaikutusta voidaan arvioida tarjoamalla yhdelle koeryhmälle vain kokeiluun kuuluvaa infopakettia ilman varsinaista toimenpidettä. Tämän ryhmän tuloksien perusteella voidaan arvioida pelkän seurannassa olemisen vaikutusta, jolloin se voidaan erottaa varsinaisen toimenpiteen vaikutuksesta. Keinoja kokeiluun osallistumisen vaikutuksen arvioimiseksi siis löytyy, ja niitä kannattaa pohtia jo kokeilun suunnitteluvaiheessa.

Musta laatikkohan se on

Satunnaistettuja kenttäkokeita on vastustettu myös sillä perusteella, etteivät ne kerro vaikutusten mekanismeista. Tämäkään väite ei koske sinällään vain satunnaistamista. Tyypillinen tilastollisin menetelmin toteutettu työvoimapolitiikan arviointitutkimuskaan ei kerro yhtään sen enempää siitä, miksi joku toimenpide olisi toista tehokkaampi. Kyseinen vertailu on tosin ylipäätään mielekäs vain silloin, kun tilastollisten menetelmien tiedetään varmasti arvioivan eri toimenpiteiden vaikutukset ilman valikoitumisharhaa.

Musta laatikko voidaan avata monenlaisin keinoin. Edellä jo pohdittiin mahdollisuuksia eristää seurannan kohteena olemisen vaikutus kokeiltavan toimenpiteen vaikutuksesta. Kokeilussa politiikan vaikutusmekanismeja voidaan puolestaan selvittää satunnaistamalla useampia koeryhmiä, ja muuttelemalla näiden välillä tutkittavan politiikan parametreja. Esimerkiksi Yhdysvalloissa toteutetuissa negatiivisen tuloveron kokeiluissa erilaisia veroasteiden ja takuutulojen yhdistelmiä oli kaikkiaan 58 kappaletta⁸.

Satunnaistettujen kenttäkokeiden yleistyminen mahdollistaa useisiin tutkimuksiin pohjautuvat meta-analyysit. Niiden avulla kyetään viimeistään hahmottamaan, mitkä asiat politiikan toimeenpanossa vaikuttivat sen tuloksellisuuteen. Keinoja mustan laatikon avaamiseksi siis löytyy, jos niitä halutaan käyttää.

Lopuksi

Satunnaistaminen on keskeinen työkalu uskottavan koeasetelman suunnittelussa. Satunnaistamista on korkea aika alkaa hyödyntämään systemaattisesti politiikkatoimien arvioinnissa. Viisasten kiveksi siitä ei kuitenkaan ole ilman huolellista suunnittelua. Kokeiluilla pitää olla riittävät resurssit, tarkkaan pohdittu koeasetelma ja päivänpolitiikasta riippumaton aikataulu, joka mahdollistaa luotettavan arvioinnin. Hätiköinti johtaa vain resurssien tuhlaamiseen tuloksettomiin kokeiluihin.

Kenttäkokeiden tuoma lisäarvo riippuu suoraan siitä, kuinka hyvin koeasetelma vastaa haluttuun politiikkakysymykseen. Toimiva koeasetelma vaatii taakseen eri hallinnollisten tahojen sitoutumisen sekä yhteisymmärryksen kokeilun tavoitteista ja tuloksien mittaamisesta. Koesuunnittelun keskeisiä työvälineitä ovat kokeilun otoskoon määrittävät voimalaskelmat, ennen kokeilun aloittamista julkaistu analyysisuunnitelma sekä muita työvaiheita, joita tässä kirjoituksessa ei ole käsitelty.

Hyvin toteutetut satunnaistetut kenttäkokeet ovat aitoa kokeilukulttuuria. Niillä säästetään samanaikaisesti julkisia varoja ja lisätään politiikan tehokkuutta. Ne tuottavat päättäjille yksinkertaisessa muodossa uskottavan arvion siitä, paljonko parhaisiin politiikkatoimiin panostaminen nostaa työllisyysastetta, parantaa oppimistuloksia tai mitä ikinä politiikalla tavoitellaankin. Vertaamalla tuloksia eri politiikkatoimien välillä tehostetaan resurssien kohdentamista todistetusti parhaisiin toimenpiteisiin.

Tämä olisi ensimmäinen askel kohti aitoa toimenpiteiden kustannus-hyötyanalyysia. Kun käytössä on mahdollisimman yksiselitteiset arviot eri toimenpiteiden vaikutuksista, tuhlaantuu politiikassa vähemmän energiaa uskomuksista väittelyyn.

---