Efikasnost obuke zaposlenih: šta da merite i kada

Efikasnost obuke zaposlenih ne merite tek kada se obuka završi. Pre nego što počne, odlučite koji rezultat u poslu treba da promeni, a zatim merite četiri stvari, od najlakše do najteže: kako su učesnici primili obuku (kratak upitnik na kraju), šta su naučili (test ili poređenje pre i posle), da li to primenjuju na poslu (pitate njih i njihovog neposrednog rukovodioca u narednim nedeljama) i da li se pomerio rezultat firme (njeni pokazatelji, najbolje uz sličnu grupu koja obuku nije prošla). Samo prva od njih je klasičan upitnik o zadovoljstvu. To su četiri nivoa Kirkpatrikovog modela: reakcija, učenje, ponašanje i rezultati. U nastavku su plan za svaki nivo, vremenski plan i način da uporedite odgovore pre i posle.

Ukratko

• Prvo odredite rezultat koji obuka treba da promeni, pa unazad planirajte ponašanje, znanje i reakciju.
• Upitnik na kraju obuke pokazuje da li je obuka bila korisna i važna za posao, a ne da li su ljudi nešto naučili. Učenje merite testom ili poređenjem pre i posle.
• Ponašanje proverite kod učesnika i kod nekoga ko vidi njegov rad, obično neposrednog rukovodioca, već u prvim nedeljama, a ne tek posle više meseci.
• Da biste uporedili iste ljude pre i posle, treba vam podatak koji ih povezuje. Recite učesnicima ko vidi pojedinačne odgovore, rezultate prikazujte samo zbirno i takvu anketu ne nazivajte anonimnom.

Počnite od rezultata koji obuka treba da promeni

Procena efikasnosti obuke pokazuje da li je program doneo promenu zbog koje je organizovan i šta treba popraviti ako nije. Firme je sprovode iz tri razloga: da sledeći ciklus bude bolji, da odluče da li program ostaje i da opravdaju budžet za obuke.

Kirkpatrikov model, koji je Donald Kirkpatrik (Kirkpatrick) postavio pedesetih godina prošlog veka, procenjuje obuku na četiri nivoa: reakcija, učenje, ponašanje i rezultati. Merite tim redom, a planirate obrnutim redom: Kirkpatrick Partners, koji danas održavaju model, savetuju da se krene od četvrtog nivoa i njegovih pokazatelja. Za kontakt centar lanac od rezultata do reakcije mogao bi da izgleda ovako:

1. Rezultat: manje ponovljenih reklamacija.
2. Ponašanje: operateri pre završetka razgovora proveravaju sa korisnikom da li je problem zaista rešen.
3. Učenje: operateri znaju korake te provere i umeju da ih primene u razgovoru.
4. Reakcija: operateri smatraju da su ti koraci važni za pozive koje primaju.

Ako neka karika nedostaje, obuka može da bude prijatna, ali ne možete da pokažete šta je promenila. Među vrstama anketa za zaposlene upitnik na kraju obuke je uobičajen, a pokriva samo poslednju kariku.

Četiri nivoa Kirkpatrikovog modela: šta merite i ko odgovara

Svaki nivo traži druge dokaze, druge ljude i drugo vreme:

Upitnikom za učesnike merite samo prvi nivo i delove drugog i trećeg. Za ostalo su potrebni testovi, ljudi koji vide rad i pokazatelji firme; upitnik koji učesnike pita o sva četiri nivoa samo četiri puta beleži njihovo mišljenje.

Reakcija i učenje: korisnost obuke i test pre i posle

Koliko se ljudima obuka dopala malo govori o tome koliko su naučili: ocene na kraju uglavnom odražavaju stil predavača i atmosferu u sali. Pitanja o tome koliko je obuka bila korisna i važna za posao tešnje su povezana sa učenjem i primenom na poslu, pa im dajte najveći deo upitnika:

• Važnost za posao: „Koliko je sadržaj obuke važan za vaš posao?“ (Nimalo, Malo, Umereno, Veoma, Izuzetno).
• Namera da se naučeno primeni: „Koliko je verovatno da ćete korake provere koristiti u naredne dve nedelje?“
• Jasnoća ciljeva: „Koliko su vam bili jasni ciljevi obuke?“
• Predavač i materijali, posebno: redovi „Objašnjenja predavača“, „Vežbe“ i „Materijali“, sa ocenama od Loše do Odlično, u pitanju „Matrica“ sa opcijom „Jedan odgovor po redu“. Tako znate da li da menjate predavača ili materijal.
• Jedna ukupna ocena, ista za svaku obuku, da biste poredili programe i izvođače.
• Jedno neobavezno otvoreno pitanje, na primer „Navedite jednu stvar koja bi ovu obuku učinila korisnijom za vaš posao.“

„Da li biste ovu obuku preporučili kolegi?“ može da ostane kao neobavezno pitanje o nameri, ali ne meri šta ljudi posle rade. Šablon od 9 pitanja na stranici upitnik za evaluaciju obuke napisan je za događaje, pa mu za obuku dodajte ova pitanja.

Učenje se najjasnije vidi iz kratkog testa pre obuke i ponovo na kraju; Kirkpatrick Partners dodaju da sadržaju ponekad bolje odgovara vežba ili igra uloga. Pitanja u završnom testu neka budu iste težine, ali ne od reči do reči ista, jer ponavljanje veštački uvećava napredak. Ako većina već pre obuke ima visok rezultat, test nema prostora da pokaže učenje: tada merite ponašanje. Test možete napraviti kao anketu sa zatvorenim pitanjima i odgovore sami bodovati.

Samoprocena na početku i na kraju je slabija: ko nije znao šta ne zna, početno znanje oceni previsoko i pravi napredak se ne vidi. Kada test nije moguć, pomaže retrospektivna samoprocena „pre i sada“: jedan upitnik na kraju traži dve ocene za svaku veštinu, „pre obuke“ i „sada“, kada ljudi već znaju šta veština podrazumeva. Na Anketa.rs to su dva pitanja „Matrica“ sa istim redovima. Ona meri učenje onako kako ga ljudi doživljavaju, oslanja se na pamćenje, a na nju mogu da utiču očekivanje da su napredovali i želja da ostave dobar utisak. Allen i Nimon (2007) je preporučuju kada pravi test pre obuke nije moguć, a ne umesto njega. Obe ocene su u istom odgovoru, pa ništa ne morate da uparujete.

Autori koji su model tokom 2010-ih osavremenili kao „New World Kirkpatrick Model“ na ovom nivou dodaju dve tvrdnje, koje smatraju ranim znakom primene: samopouzdanje („Verujem da korake provere mogu da primenim u razgovoru“) i nameru („Nameravam da ih sledeće nedelje primenim u svakom razgovoru“).

Dva pravila važe za upitnik o utiscima i za samoprocenu. Prvo, neka svaki bude kratak, nekoliko minuta: u eksperimentu sa online anketom duže najavljeno trajanje značilo je da manje ljudi počne i završi, a odgovori pri kraju bili su brži, kraći i ujednačeniji (Galešić i Bošnjak, 2009). Drugo, postavite pitanje umesto tvrdnje uz skalu slaganja i označite svaki stepen skale. Tvrdnje navode na slaganje radi slaganja; ako ih zadržite, pet stepeni daje bolje podatke od sedam ili jedanaest (Revilla, Saris i Krosnick, 2014). „Da“ i „Ne“ ostavite za činjenice: „Da li ste od obuke koristili korake provere?“ Više u vodiču kako da pitanja formulišete neutralno.

Ponašanje: pitajte učesnika i neposrednog rukovodioca

Ponašanje se vidi na poslu, pa je mišljenje učesnika jedan izvor, a ne dokaz. Dodajte neposrednog rukovodioca, a za obuku rukovodilaca ili predavača ljude koji to ponašanje vide: kolege, podređene ili polaznike. Računaju se i posmatranje i evidencija o radu.

Učesniku i jednom posmatraču postavite ista dva-tri kratka pitanja o konkretnom ponašanju, svakom posebno: dva nezavisna izveštaja govore više nego svaki za sebe. Operatera pitajte: „Koliko ste često u poslednje dve nedelje pre završetka razgovora proveravali sa korisnikom da li je problem rešen?“, a rukovodioca isto pitanje o tom operateru. Ponudite odgovore Nikad, Retko, Ponekad, Često i Uvek, a rukovodiocu i „Nisam imao/la priliku da ovo vidim“.

Rukovodioce pitajte samo o ponašanju koje zaista vide, a odgovore „Nisam imao/la priliku“ prikažite posebno, nikada kao nulu. Kada rukovodilac ne vidi rad, kao kod terenskih ekipa ili ljudi koji rade od kuće, pitajte kolege ili podređene ili koristite evidenciju. Na isti način radi i procena 360 stepeni, koja spaja ocene rukovodioca, kolega i podređenih.

Počnite rano. Kirkpatrick Partners upozoravaju da merenje ponašanja ne može da počne tek 90 dana posle obuke: tada je kasno da se ukloni ono što ljude koči. Kratke provere radite u prvim nedeljama, a detaljniji krug kada ljudi imaju pravu priliku da veštinu primene: za postupak u razgovoru to je nekoliko nedelja, a za veštinu koja se koristi jednom u kvartalu, posle njene sledeće primene. Pitajući rukovodioca, uključujete i osobu od čije podrške zavisi primena posle obuke.

Svaki kasniji krug prikažite uz broj odgovora, na primer „odgovorilo je 12 od 20 učesnika“. Oni koji su veštinu primenili odgovaraju spremnije, pa mali broj odgovora uveličava primenu. Broj pokazuje i da li je grupa dovoljno velika da se rezultati dele. Ispod 10 odgovora navodite brojeve, a ne procente, odgovore ostavite kod onoga ko pojedinačne odgovore već vidi (na primer u HR-u) i spojite više obuka pre nego što rezultate pokažete predavaču, izvođaču ili rukovodiocima. Ne navodite šta je napisalo nekoliko ljudi. Ako ste pozivnice poslali mejlom sa uključenim praćenjem odgovora, poruku možete sami ponovo da pošaljete onima koji anketu nisu otvorili iz svoje pozivnice; ko ju je otvorio i odustao, tu poruku ne dobija.

Rezultati: pokazatelji firme i grupa za poređenje

Rezultati se mere u evidenciji same firme, pokazateljima koje izaberete pre obuke: ranim, koji se pomere brzo, kao što je udeo problema rešenih u prvom pozivu, i kasnim, kao što je broj ponovljenih reklamacija po kvartalu. Upitnik za učesnike ovde nema ulogu. Postojeća anketa kupaca ili zaposlenih može da posluži kao pokazatelj ako je sprovedena na isti način pre i posle obuke. Ako rukovodioce pitate da li se rezultat pomerio, dobijate njihovo mišljenje o rezultatu, a ne rezultat.

Sama razlika između pre i posle ne dokazuje da ju je izazvala obuka: iste brojke mogu da pomere novi sistem, sezona ili novi rukovodilac. Da biste tvrdili da je obuka delovala, uporedite učesnike sa grupom koja obuku (još) nije prošla i obe grupe merite u više navrata. Poređenje važi samo ako su dve grupe pre obuke bile slične:

• Prvo uporedite njihove polazne vrednosti.
• Grupu za obuku ne birajte po rezultatima. Dobrovoljci su već bili motivisani, a najslabiji tim bi se verovatno i sam popravio.
• Ako obuku uvodite postepeno (jedan tim sada, drugi sledećeg kvartala), redosled odredite po nečemu što nema veze sa učinkom, na primer po lokaciji ili žrebom.

Vremenski plan: šta merite pre, na kraju i posle obuke

Datume odredite pre početka obuke:

Na kraju obuke link stavite na poslednji slajd ili pokažite QR kod napravljen od linka: na planu Biznis pravite ga u „Pošaljite“ > „Link do ankete“, a na ostalim planovima bilo kojim generatorom QR kodova. Na online obuci link nalepite u čet. Neka predavač najavi upitnik i izađe iz sale ili iz poziva. Ljudi odgovaraju na svojim uređajima, a niko ne skuplja telefone i ne gleda u ekrane: kada odgovaraju nasamo, iskreni odgovori su verovatniji. Kasniji krugovi idu mejlom (slanje možete zakazati opcijom „Pošaljite u određeno vreme“).

Kirkpatrick Partners jednu anketu na samom kraju dužeg programa nazivaju uobičajenom greškom, jer je tada kasno da se išta promeni. Nekoliko minuta predviđenih u programu učesnike ništa ne košta, a tada su svi na okupu i detalji su sveži.

Poređenje pre i posle i šta da kažete učesnicima o poverljivosti

Grupe možete da poredite i kada ne znate ko je odgovorio: prosek pre prema proseku posle. Da biste videli promenu kod svakog čoveka ili odgovore učesnika stavili pored odgovora njegovog rukovodioca, treba vam podatak koji ih povezuje, a tada anketa nije anonimna. Birate jedan od dva načina:

1. Poređenje grupa, bez podatka o osobi. Dve ankete preko opšteg linka, pa poredite proseke ili udele. Najjeftinije je, ali pokazuje promenu u grupi, ne kod pojedinca, a na dve ankete ne odgovaraju nužno isti ljudi.
2. Lične pozivnice mejlom sa uključenim praćenjem odgovora. Praćenje je podrazumevano isključeno. Kada ga uključite pre slanja ličnih pozivnica mejlom, svaki odgovor se vezuje za adresu primaoca, u pozivnici piše da kreator ankete vidi odgovore sa te adrese, a odgovore svake osobe otvarate sa spiska primalaca. Izvozi u Excel i CSV ne sadrže adresu, pa za spajanje dve ankete osobu po osobu i dalje treba neobavezno pitanje „Jedan red“ u obe ankete, za šifru koju ste osobi dali (na primer na kartici na obuci) ili za njenu adresu, uz rečenicu zašto pitate i ko to čita. Izvoze spojite po tom polju; nekoliko odgovora se neće upariti, a ko ima spisak šifara, može da prepozna ljude.

Učesnicima recite ko vidi pojedinačne odgovore (na primer samo HR, a ne predavač i ne rukovodilac), da predavač ili izvođač obuke dobija samo sažetak i da se rezultati prikazuju samo zbirno. To napišite u uvodu ankete i u pozivnici. To je poverljivost, a u čemu se razlikuje od anonimnosti, objašnjava poseban vodič.

U maloj grupi i sažetak može da ukaže na jednu osobu. Alat ne nameće najmanji broj odgovora, pa pazite sami: rezultate grupe prikazujte tek od 10 odgovora, a manje grupe spojite sa drugim obukama.

Zaključak

Prvo imenujte rezultat, pa unazad dođite do ponašanja, učenja i reakcije, a merite obrnutim redom. Upitnik na kraju obuke je početak, a ne dokaz. Učenje proverite testom ili samoprocenom „pre i sada“, učesnika i nekoga ko vidi njegov rad pitajte u roku od nekoliko nedelja, a rezultat čitajte u pokazateljima firme, uz grupu koja je pre obuke bila slična. Pre prve ankete odlučite da li vam treba uparivanje i recite ljudima ko vidi odgovore.

Na Anketa.rs svaki sledeći krug napravite kao kopiju ankete (pod „Kopirajte ovu anketu“), jer jedan uređaj podrazumevano daje jedan odgovor: ko istu anketu ponovo otvori u roku od godinu dana, vidi svoje ranije odgovore i može samo da ih menja. Za proveru ponašanja napravite jednu anketu za učesnike i jednu za rukovodioce, primaoce unesite u mejl listu (pod „Email liste“) sa vrednošću „učesnik“ ili „rukovodilac“, praćenje odgovora uključite pre slanja, rezultate čitajte filterom „Vrednost emaila je“, a dva kruga izvezite opcijom „Izvezite Excel fajl“ i uporedite u tabeli: alat ne poredi dve ankete umesto vas.

Počnite od upitnika na kraju obuke: pitanja prvog nivoa i test ili samoprocena „pre i sada“.

Pročitajte još

• Vrste anketa za zaposlene: koju da sprovedete i kada
• Zašto zaposleni odlaze: kako da saznate prave razloge online anketom
• Rezultati ankete zaposlenih: od izveštaja do akcionog plana