K 20/2024 vp Valtiontalouden tarkastusviraston vuosikertomus eduskunnalle 2024 (Eduskunnan tarkastusvaliokunta)
20.11.2024 Matti Sarvimäki, Hanna Pesola ja Tuomo Virkola
Asiantuntijalausunto eduskunnan tarkastusvaliokunnalle
Lausunnon diaarinumero: VATT/413/07.01/2024
Valtiontalouden tarkastusviraston (VTV) tarkastuskertomuksessa 16/2023 arvioidaan vaikuttavuusinvestointimallin (social impact bond, SIB) käyttöönottoa ja haasteita osana julkisten palveluiden hankintaa. Raportissa arvioidaan vuosina 2016–2019 maahanmuuttajille suunnattua Koto-SIB hanketta ja edelleen käynnissä olevaa pitkäaikaistyöttömille suunnattua Työ-SIB hanketta (2019–2024). Keskeisinä SIB-mallin haasteina raportissa nähdään tulospalkkiojärjestelmän yksityiskohtien asettaminen, vaikuttavuuden arviointi, asiakasohjauksen toteuttaminen ja hallinnollinen taakka.
Tekemämme arvion perusteella Koto-SIB hanke oli vaikuttava ja onnistui parantamaan osallistujien työmarkkinamenestystä (Karinen ym. 2024). Koto-SIB hankkeeseen satunnaisesti valittujen osallistujien tulot olivat kolmen vuoden tarkastelujaksolla 4500 euroa (18 prosenttia) korkeammat kuin verrokkiryhmässä, joka osallistui julkisen työnvälityksen järjestämiin palveluihin. Osallistujakohtaiset nettotulonsiirrot (saatujen tulonsiirtojen ja maksettujen tuloverojen erotus) vähenivät 2700 eurolla (-12 prosenttia) verrokkiryhmään verrattuna, joten se tuotti myös tavoiteltuja säästöjä julkiselle sektorille. Hankkeen rahasto jäi kokeilussa tappiolle, mutta samat toimijat ovat tämän jälkeen osallistuneet myös Työ-SIB:n rahoittamiseen.
Tarkastuskertomuksen mukaan Koto-SIB kokeilu ei kuitenkaan saavuttanut 2500 työllistyneen tavoitetta, koska työllistyneiden määrä jäi noin tuhanteen. On totta, että kaikki Koto-SIB hankkeeseen satunnaisesti arvotuista eivät työllistyneet. Samalla on kuitenkin täysin epärealistista olettaa minkään työvoimapoliittisen toimen johtavan kaikkien osallistujien työllistymiseen tai, että sen vaihtoehto kaikille osallistujille on työttömyys. Työllistyneiden määrä ei siksi itsessään kerro todellisesta vaikuttavuudesta tai mallin hyödyllisyydestä. Koto-SIB -kokeilun todellinen vaikuttavuus suhteessa normaaleihin TE-palveluihin voidaan kuitenkin poikkeuksellisesti selvittää, sillä kokeiluun halunneet maahanmuuttajat jaettiin satunnaisesti koe- ja verrokkiryhmiin. Sen sijaan monien käytössä olevien vaihtoehtoisten työvoimapoliittisten toimien vaikuttavuudesta ei ole olemassa luotettavaa näyttöä.
Työ-SIB hankkeen vaikuttavuudesta pitkäaikaistyöttömien työmarkkinoille siirtymiseen ei ole vielä saatavilla vaikutusarviota. Tarkastuskertomuksessa viitataan eroihin työllisyysluvuissa, jotka viittaisivat työllisyyden kasvaneen verrokkiryhmään verrattuna. Vaikuttavuudesta on kuitenkin syytä odottaa vaikutusarviota, joka pohjautuu ohjelman tuottamaan satunnaisasetelmaan ja kattaviin rekisteriaineistoihin.
Koto-SIB ja Työ-SIB hankkeissa on ollut käytössä erilainen tulospalkkiojärjestelmä, ja näiden vertailu tulee olemaan hyödyllistä, kun arvioidaan SIB mallien suunnittelua ja mahdollisten uusien hankkeiden tulospalkkiojärjestelmiä. Työ-SIB mallissa tulospalkkio on julkisten tietojen perusteella sidottu kiinteisiin vertailutietoihin vuosilta 2016–2018. Järjestelmä antaa taloudelliset kannusteet parantaa osallistujien työmarkkinatilannetta, mutta se on herkkä yleiselle taloustilanteelle. Tarkastuskertomuksen pohjalta voidaan päätellä, että Työ-SIB hankkeessa yleinen positiivinen työmarkkinatilanne tulee johtamaan siihen, että palveluntuottajille maksetaan osallistujien vertailuajankohtaa paremmasta työllisyydestä. Osallistujien työllisyyden paraneminen ei todennäköisesti kuitenkaan ole seurausta vain palveluntuottajien toiminnasta, vaan liittyy myös yleisen työllisyystilanteen paranemiseen. Osallistujien työllisyys voisi parantua siinäkin tapauksessa, että Työ-SIB ei tuottanut lainkaan lisäarvoa tai vaikka se olisi ollut lievästi haitallista työllistymiselle. Näin ollen palveluntuottajat saavat korvauksen työllisyydestä, jonka yhteyttä heidän tarjoamansa palvelun laatuun ei voida varmentaa. Huomautamme myös, että lähtökohtaisesti olisi voinut käydä myös niin, että yleinen työmarkkinatilanne kehittynyt heikommin suhteessa vertailuvuosiin 2016–2018, jolloin tuottajia olisi rangaistu perusteettomasti huonommasta työllisyystilanteesta. Tulospalkkion herkkyys yleiselle työllisyystilanteelle on vältettävissä oleva ongelma. Koto-SIB hankkeessa vastaavaa ongelmaa ei muodostunut, koska vertailu tehtiin käyttäen verrokkiryhmää, joka altistuu samalle yleiselle työmarkkinatilanteelle kuin kohderyhmä.
Koto-SIB hankkeessa osallistujat ja verrokkiryhmä on määritelty vasta sen jälkeen, kun he ovat vapaaehtoisesti hakeutuneet ohjelmaan. Ohjelmaan hakeutuminen ei siten aiheuta ongelmia tulospalkkion laskennassa. Työ-SIB -hankkeessa tulospalkkion verrokkiryhmä perustuu kaikkiin pitkäaikaistyöttömiin. Osallistujien vapaaehtoisuus voi johtaa valikoitumiseen, joka vinouttaa tulospalkkion perusteet. Näin käy, jos valikoitumista tapahtuu muunkin kuin laskelmien perusteena olevien taustatietojen perusteella. Jos esimerkiksi Työ-SIB -hankkeeseen hakeutuneiden työmotivaatio on keskimäärin erilainen kuin muiden pitkäaikaistyöttömien, tämä voi vääristää tulospalkkion perusteita.
Työ-SIB:n tulospalkkiomallin etuna voidaan pitää sen skaalautuvuutta. Koto-SIB hankkeessa verrokkiryhmä tarvittiin, jotta tulospalkkio voitiin laskea. Näin ollen ohjelmaa ei olisi voitu skaalata kattamaan kaikkia siihen hakeneita maahanmuuttajia. Työ-SIBissä tällaista tulospalkkion maksusta johtuvaa rajoitetta ei ollut, vaan hanke olisi voitu kohdistaa kaikkiin pitkäaikaistyöttömiin. Satunnaistaminen ja verrokkiryhmä tulevat kuitenkin mahdollistamaan Työ-SIB:n ja Koto-SIB:n vaikuttavuuden vertailun ja erilaisiin tulospalkkiohin perustuvien mallien arvioinnin.
VTV:n raportissa suositellaan, että SIB-hankkeissa huomioitaisiin myös vaikutukset vaikeasti työllistyvien työ- ja toimintakykyyn, joihin viitataan raportissa ns. ”pehmeinä vaikutuksina”. Tämä on lähtökohtaisesti kannatettavaa, sikäli kun työllisyyspalveluissa ja niiden hankinnoissa pyritään muuhunkin kuin työllisyyden parantamiseen. Jotta työ- ja toimintakyky voidaan ottaa osaksi vaikuttavuuteen perustuvaa SIB-mallia, on niitä kuitenkin pystyttävä mittaamaan luotettavasti. Raportissa ja TrVM 13/2022 vp on pohdittu eri tapoja mitata työ- ja toimintakykyä joko kyselytutkimuksen tai olemassa olevien rekisteriaineistojen keinoin. Näissä tarkasteluissa on tuotu selkeästi ilmi työkyvyn mittaamisen haasteet. Tulospalkkion sitominen epätäydellisesti mitattaviin hyötyihin tai haittoihin vaatisi myös ennakkoarviota ja kyselytutkimuksen tai epäsuorien rekisteritietojen kautta mitatun työkyvyn parannusten muuttamista tulospalkkiomallissa tuottajille maksettaviksi euroiksi. Lisäksi työkyvyn muutokset pitäisi pystyä erottamaan toteutuneista työllisyysvaikutuksista, joista SIB-mallissa jo suoraan maksetaan taloudellisten kannustimien kautta.
SIB-malli aiheuttaa tulospalkkion perusteiden mittaamiseen liittyviä lisähaasteita, jos se perustuu kyselytutkimukseen. Palveluntuottajilla on taloudellinen kannustin pyrkiä vaikuttamaan asiakkaidensa kyselyssä antamiin vastauksiin. Tämä voisi johtaa huonossa tapauksessa siihen, että asiakkaat vastaavat kyselyyn liian myönteisesti suhteessa todelliseen työ- tai toimintakykyyn (manipulaatio). Palveluntarjoajilla voisi myös olla kannustin panostaa toiminnassaan sellaisiin asioihin, joita suoraan mitataan kyselyssä, mutta joilla ei ole merkittävää vaikutusta todelliseen työkykyyn (ns. teaching to the test -ilmiö). Lisäksi on syytä uskoa, että jos kyselyyn vastaaminen on vapaaehtoista, siihen saattavat vastata juuri ne henkilöt, jotka ovat joko erityisen pettyneitä saamaansa palveluun tai jotka ovat olleet siihen hyvin tyytyväisiä. Etukäteen on vaikea arvioida mihin suuntaan valikoitunut vastaaminen ajaisi tuloksia, mutta usein myönteisiä kokemuksia saaneet vastaavat kyselyyn todennäköisemmin (ns. experimental demand effect). Esimerkiksi perustulokokeilussa 31 prosenttia koeryhmään kuuluneista henkilöistä vastasi Kelan toteuttamaan kyselytutkimukseen, kun vastaajia oli verrokkiryhmässä vain 20 prosenttia (Simanainen ja Jauhiainen, 2020).
Nähdäksemme SIB-mallin hankinnoissa ja palveluissa on perusteltua keskittyä niiden vahvuuksiin. Selkeät taloudelliset kannusteet ja tulos, joka voidaan mitata kattavista rekisteriaineistoista, tekevät tulospalkkion laskemisesta suoraviivaista. Todellisen työkyvyn parantumisen voi myös olettaa kasvattavan työllisyyttä pitkällä aikavälillä. Tulospalkkio on tällaisessa tapauksessa erityisen järkevää sitoa pitkän aikavälin eikä lyhyen aikavälin työllisyyteen. Koto-SIB hankkeessa palkkio sidottiin kolmen vuoden seuranta-aikaan, mutta mikään ei estä kannusteiden määrittämistä sitäkin pidemmäksi ajanjaksoksi. Jotta esimerkiksi tulo- ja tulonsiirtotietoihin perustuvia tulospalkkiomalleja voidaan jatkossakin hyödyntää osana työllistymistä edistävien palveluiden hankintaa, on tärkeää huolehtia kuntien mahdollisuudesta käyttää tarvittavia ajantasaisia rekisteritietoja.
Yleisesti voidaan kuitenkin todeta, että kyselytutkimuksia ja muita kuin rekistereihin perustuvia tulemia voidaan uskottavasti käyttää SIB-malleissa tulospalkkion perusteena, kunhan ne täyttävät ainakin seuraavat vaatimukset. Ensinnäkin mittarin manipuloinnin täytyy olla mahdotonta. Tämän takia mittauksen tulee ehdottomasti perustua palveluntarjoajasta riippumattomaan tahoon. Esimerkiksi maahanmuuttajille suunnatuissa palveluissa tämä voisi perustua standardoituun ulkopuolisen tahon suorittamaan kielitaidon testaukseen. Manipulaation ehkäisemiseksi on tärkeää välttää myös esimerkiksi palkkion sitomista henkilön työllisyyteen yksittäisenä päivänä. Toiseksi mittarin täytyy olla kattava, eikä mahdollinen vapaaehtoisuus ja siitä seuraava valikoituminen saa vaikuttaa mitattavan tuleman laatuun. Kolmanneksi tilaajan on pystyttävä etukäteen arvioimaan, kuinka vaikuttavuutta arvotetaan, jotta se voidaan ottaa osaksi tulospalkkiojärjestelmää.
Matti Sarvimäki
johtava tutkija
Hanna Pesola
tutkimusohjaaja
Tuomo Virkola
akatemiatutkija
Tuulia Hakola-Uusitalo
vt. ylijohtaja
________
Lähteet:
Karinen, R., Koivula, N., Koivula, T., Oosi, O., Pesola, H., Sarvimäki, M. ja Virkola, T. (2024), Koto-SIB -kokeilun vaikutukset ja käytännön toteutus, Työ- ja elinkeinoministeriön julkaisuja, Kotoutuminen, 2024:33. Helsinki.
Simanainen, M. ja Jauhiainen, S. (2020): Kyselytutkimuksen otanta, vastauskato ja painottaminen. Teoksessa Suomen perustulokokeilun arviointi. Sosiaali- ja terveysministeriön raportteja ja muistioita 2020:15.
Hanna Pesola
Matti Sarvimäki
Tuomo Virkola
Lausunnot
