Koulutukset ja oppimistuotteet keskittyvät helposti lyhyen aikavälin tavoitteiden seuraamiseen ja koulutuksen vaikuttavuuden mittaaminen unohtuu. Loppuarvioinnissa testataan, mitä koulutuksesta jäi mieleen ja EdTech-tuote kerää dataa siitä, miten hyvin oppija suorittaa tehtäviä. Kun vaikuttavuuden mittaamista ei sidota yrityksen liiketoiminnan tai palvelun kehittämiseen, hukataan helposti henkilöstön työtunteja sekä rahaa. Tässä blogissa Solja Sulkunen avaa, miten koulutusten vaikuttavuutta voidaan mitata.
Voiko koulutuksissa mitata ROIta?
Yksittäisen koulutuksen ROI (return on investment) on hyvin haastava todentaa. On lähes mahdotonta mitata yksittäisen koulutuksen liiketoiminnallisia vaikutuksia ihan siitä syystä, että meidän tulisi elää tyhjiössä, josta olisi karsittu kaikki muut muuttujat, sattumat ja tapahtumat, joilla saattaisi olla pienintäkään vaikutusta omaan käyttäytymiseemme. Jos halutaan puhua oppimisen ROIsta, niin ensin on hyvä koulutuksen vaikuttavuuden mittaaminen yhteydessä määritellä, mitä sillä tarkoitetaan ja toiseksi hyväksyä, että siitä puhuttaessa ei tarkoiteta viivan alle jäävää numerojonoa.
ROIsta voidaan puhua silloin, jos sillä tarkoitetaan haluttua käyttäytymisen muutosta ja sen mittaamista, sekä siihen johtavien indikaattoreiden analysointia.
Mitä nämä käyttäytymisen muutosta indikoivat asiat sitten voivat olla arjessa? Tässä muutama esimerkki siitä, millaisiin asioihin kouluttamisella voidaan vaikuttaa ja joita koulutuksen vaikuttavuuden mittaaminen voi tarkastella:
Rekrytointitarpeiden ja -kustannusten vähentyminen (tyytyväiset työntekijät)
Onnettomuuksien tai virheellisten tuotteiden vähentynyt määrä
Vähentynyt tiedon etsintään käytetty aika
Prosessien läpimenoajan pieneneminen
Kasvanut määrä aloitteita tuotantoprosessin kehittämiseksi
Koulutuksen vaikuttavuuden mittaaminen ja sen suunnitteleminen
Koulutusten ja oppimistuotteiden vaikuttavuuden mittaamisessa on tärkeää tunnistaa pisteet, joihin yksittäisellä koulutuksella voi olla suora vaikutus. Esimerkiksi järjestelmien käyttöönottokoulutuksilla on usein iso vaikutus muuhun liiketoimintaan, kuten tuottavuuden lisäämiseen. Koulutusten tai oppimistuotteiden vaikuttavuuden prosessia voi lähteä suunnittelemaan seuraavan mallin avulla:
1. Valitse tavoitteet, joiden vaikuttavuutta haluat tutkia
Yleensä nämä tavoitteet liittyvät käyttäytymisen muutokseen tai opitun taidon soveltamiseen käytännössä.
Esim. Koulutukseen osallistuja jalkauttaa toiminamallin asiakkaiden tyytyväisyyden lisäämiseksi tiimissään 2kk sisällä.
2. Määritä avainmittarit, jotka kertovat onnistumisesta
Tässä kohtaa on hyvä miettiä, mikä on mittareiden tarkoitus, eli mihin niiden avulla tuotettua dataa hyödynnetään? Millaista (uutta) ymmärrystä niiden pohjalta halutaan muodostaa?
Mittareita määrittäessä kannattaa vastata kysymykseen: mihin lopputulokseen organisaatio on tyytyväinen tai mikä lopputulos vie organisaatiota eteenpäin.
Haluatteko osoittaa omalle organisaatiolle, että vaikuttavuutta syntyy esimerkiksi tietyn prosessin tehostumisen myötä vai kenties viestiä ulkopuolisille ostajille oman tuotteen laadusta?
Esim. Tiimit ovat tyytyväisiä uuteen toimintatapaan ja asiakastyytyväisyys on noussut 3kk koulutuksen jälkeen 70% ---> 80%.
3. Päätä, miten ja kuinka usein mittareita seurataan
Mittaristo rakennetaan organisaatio- ja oppimistavoitekohtaisesti, mutta sen määrittämiseksi voi hyödyntää esimerkiksi liiketoimintamuotoiluun tehtyjä vaikuttavuuden mittaamisen kanvaaseja tai vaikkapa Creaamon omaa pohjaa (löytyy blogin lopusta).
Se, kuinka usein vaikuttavuutta seurataan riippuu siitä, kuinka ketterästi yrityksen pitää reagoida vaikuttavuustutkimusten tuloksiin.
Vaikuttavuuskyselyillä halutaan tyypillisesti arvioida koulutusten välittömiä hyötyjä tuottavuuteen ja toiminnan tehokkuuteen tietyn aikaraamin puitteissa. Koulutusten laadun arvioinnissa voi käyttää apuna esimerkiksi Kirckpatrick & Kirckpatrickin koulutusten vaikuttavuuden menetelmää. Siinä koulutettava on tutkimuksen keskiössä ja reflektoi osaamistaan ennen koulutusta, koulutuksen aikana, heti koulutuksen jälkeen ja useamman kuukauden kuluttua.
Pelkät asiakaspalautteet tai työntekijöiden arviot eivät kerro koko totuutta.
Työntekijä voi arvioida koulutuksen uuden järjestelmän käyttöönotosta miellyttäväksi ja hyödylliseksi. Kuitenkin, jos työntekijä ei osaa koulutuksen jälkeen käyttää järjestelmää, ei koulutuksen miellyttävyydestä ollut hyötyä. Laadullisen datan lisäksi kannattaakin seurata myös määrällistä dataa, jota saadaan esimerkiksi yrityksen verkkoalustoista.
4. Määritä vastuu
Koulutusten vaikuttavuuden mittaamiseen pitää määrittää vastuuhenkilö, jolla on ymmärrystä vaikuttavuusprosessin rakentamisesta ja mittaamisesta.
Kun omistajuus vaikuttavuuden seurannasta on selkeästi osoitettu yhdelle henkilölle, pysyy kokonaiskuva johdonmukaisena.
Jos jokainen tiimi mittaa vaikuttavuutta omalla tavallaan, on vertailukelpoisen datan saaminen äärimmäisen haastavaa ja vaikuttavuuden mittaamisesta voi tulla ikuisuusprosessi. Vastuutettu henkilö voi toki delegoida käytönnön mittaamistyötä ja analyysin tekoa muille tiimiläisille, mutta loppukädessä hän on vastuussa tulosten näkyväksi tekemisessä ja johtopäätösten tekemisestä, sekä jatkotoimenpidesuunnittelusta.