Evaluacija događaja: šta pitati učesnike pre, tokom i posle

Dobra evaluacija događaja počinje od odluke koju još niste doneli. Većini događaja dovoljne su najviše tri kratke ankete. Pre događaja pitate ono što još može da se promeni i zašto ljudi dolaze. Tokom događaja postavljate jedno ili dva pitanja po sesiji, o onome što možete da popravite istog dana. Posle događaja tražite ukupnu ocenu, ocenu stavki i sesija i to da li će učesnici doći ponovo, pa te odgovore poredite sa onim što su želeli na početku. Vodič je namenjen organizatorima konferencija, seminara, radionica, sajmova, korporativnih događaja i vebinara. Uz svako pitanje stoji i odluka koju podržava.

Ukratko

• Planirajte najviše tri kratke ankete, po jednu za svaku fazu, i svaku vežite za odluku koju još možete da donesete.
• Pre događaja pitajte zašto učesnici dolaze. Isto pitanje postavite i posle, da biste po njemu podelili rezultate.
• Tokom događaja dovoljno je jedno ili dva pitanja preko linka ili QR koda na kraju sesije. Anketa nije ekran za glasanje uživo.
• Posle događaja brzo pošaljite kratku anketu: jedna uravnotežena skala sa rečima na svakom stepenu, jedna stvar po redu i opcija „Nisam koristio/la“.
• Stavke rangirajte po udelu nezadovoljnih među onima koji su ih ocenili i uporedite one koji dolaze prvi put sa onima koji se vraćaju.

Tri kratke ankete, svaka vezana za jednu odluku

Pre prvog pitanja odredite koju odluku podržava svaka anketa, kada se šalje i koliko sme da bude duga.

Pitajte samo ono što još može da se promeni: pitanje o najboljem danu u nedelji, kada je sala već zakupljena, samo produžava anketu. A dužina košta. U eksperimentu koji su objavili Galesic i Bosnjak (2009), što je najavljeno trajanje bilo duže, to je manje ljudi anketu počinjalo i završavalo, a kasnija pitanja dobijala su brže i ujednačenije odgovore. Sistematski pregled organizacije Cochrane (Edwards i saradnici, 2023) pokazao je da kraći elektronski upitnici dobijaju više odgovora (odnos šansi 1,51), a da broj odgovora povećavaju i novčana (1,88) i nenovčana nagrada (1,60), mada su se rezultati ispitivanja mnogo razlikovali.

Uobičajen savet je da anketu pre događaja pošaljete nedelju ili dve ranije; vodiči softverskih firmi kažu od jedne do četiri nedelje, bez dokaza. Anketu posle događaja pošaljite brzo, dok je iskustvo sveže: isti vodiči kažu 24 ili 48 sati, ali nijedna studija ne potvrđuje nijedan od ta dva broja.

Anketa pre događaja: zašto učesnici dolaze

Pitajte zašto ljudi dolaze, koje ih planirane teme zanimaju i samo ono praktično o čemu još nije odlučeno; razlog dolaska postaje i polazna tačka za konačnu ocenu.

• Glavni razlog. „Koji je glavni razlog vašeg dolaska?“ Da saznam šta je novo u mojoj oblasti / Da steknem određenu veštinu / Da upoznam kolege i steknem nove kontakte / Da predstavim svoj rad ili razgovaram o njemu / Drugo. Postavite ga kao „Samo jedan odgovor“, sa opcijama koje se ne preklapaju, pokrivaju sve slučajeve i staju na jedan ekran telefona, da biste posle po njemu delili rezultate.
• Teme. „Koje vas od ovih planiranih tema najviše zanimaju?“ Navedite prave teme iz nacrta programa i u polje „Maksimalni broj izabranih opcija“ upišite 3: broj izbora pokazuje kojim sesijama treba veća sala.
• Praktična pitanja, samo dok su otvorena. Vrsta prostora, dan u nedelji i doba dana, svako sa opcijom „Svejedno mi je“.
• Meni. Švedski sto / Servirana večera / Svejedno mi je / Neću biti na večeri.
• Ishrana i pristupačnost. Jedno pitanje sa više odgovora (Nemam posebne zahteve / Posno / Vegetarijanski / Veganski / Bez glutena / Alergija na orašaste plodove / Drugo) i jedno neobavezno otvoreno pitanje o pristupačnosti; pitajte samo ono po čemu će ketering ili prostor postupiti, recite ko vidi odgovore i obrišite ih posle događaja.
• Pratnja. „Da li dolazite sa pratnjom?“ Da / Ne / Još ne znam, zbog broja mesta, kafe i štampanog materijala.
• Raniji dolasci. „Da li ste ranije dolazili na ovaj događaj?“ Da / Ne; ponovljeno posle događaja, odvaja nove učesnike od onih koji se vraćaju.

Ovu anketu ne spajajte sa formularom za prijavu (ime, firma, vrsta kotizacije, podaci za račun): tako bi usporila ljude baš dok se prijavljuju.

Tokom događaja: jedno pitanje posle sesije, a ne glasanje uživo

Na poslednji slajd svake sesije ili dana stavite anketu sa jednim ili dva pitanja, odgovore pročitajte u pauzi i popravite što možete istog dana. Na slajdu i u štampanom programu pokažite link ankete ili QR kod napravljen od njega: na planu Biznis QR kod pravite u „Pošaljite“ > „Link do ankete“, a na ostalim planovima bilo kojim generatorom QR kodova. Opcija „Jedno pitanje po stranici“ (kartica „Tema“, pod „Izaberite vrstu ankete“) daje svakom pitanju poseban ekran, što odgovara telefonu.

Odgovori se beleže čim stignu, a vidite ih kada otvorite rezultate ili osvežite stranicu; ništa se ne osvežava automatski. Nema ekrana za glasanje uživo, režima za prezentaciju, oblaka reči ni pitanja publike; za glasanje na platnu koristite alat za glasanje uživo. Opcija „Objavite javno rezultate ankete“ pravi javnu stranicu sa rezultatima, ali ona prikazuje stanje u trenutku učitavanja, a svako ko ima link na njoj vidi sve odgovore na otvorena pitanja.

Tokom programa korisne su dve ankete:

• Jedno pitanje po predavanju. Predavač pokaže anketu sa pitanjem kao što je „Koji od ovih pristupa danas koristite?“, otvori rezultate posle predavanja ili u pauzi i o njima razgovara sa salom.
• Provera „šta da popravimo danas“. Neobavezno otvoreno pitanje „Da li vam nešto sada smeta da pratite predavanja?“ otkriva probleme sa ozvučenjem, temperaturom, sedištima, redovima i kafom. Čitajte ga u svakoj pauzi i postavljajte samo u anketi sa podrazumevanim podešavanjem za uređaj (odeljak „Ocena više sesija sa istog telefona“).

Ocena više sesija sa istog telefona

Napravite po jednu kratku anketu za svaku sesiju i zadržite podrazumevano podešavanje za uređaj. To podešavanje, „Dozvoljen je samo jedan odgovor na anketu po uređaju (PC, tablet ili mobilni uređaj)“, čuva odgovore u pregledaču godinu dana: ko ponovo otvori anketu na istom uređaju, vidi svoje ranije odgovore i može da ih promeni. Zato jedna anketa sa pitanjem „Koju sesiju ocenjujete?“ ne može da prikupi drugu, posebnu ocenu sa istog telefona.

Tih 30 sekundi ne može da se promeni i važi i na telefonima samih učesnika: ko zastane zbog obaveštenja ili razgovora sa susedom, gubi ono što je upisao. Ni ocene koje jedna osoba da različitim sesijama nisu međusobno povezane. Ovo podešavanje koristite samo za kratku proveru sa zatvorenim pitanjima na jednom ekranu.

Posle događaja: anketa za učesnike

Anketu za učesnike događaja pošaljite ubrzo. U nju ide jedan ekran telefona sa zatvorenim pitanjima i najviše dva neobavezna otvorena, jedna uravnotežena skala sa rečima na svakom stepenu i ponovljeno pitanje o razlogu dolaska. Link podelite u mejlu zahvalnosti, na poslednjem slajdu i na stranici događaja, ili anketu ugradite u stranicu opcijom „Web sajt integracija“.

Pozivnice koje šaljete preko Anketa.rs računaju se u mesečni limit mejl pozivnica vašeg plana, pa za veliki spisak link radije stavite u svoj mejl. Anketa.rs ne šalje automatske podsetnike. Drugi mejl, koji sami napišete i pošaljete izborom „Na email pozivnicu nije odgovoreno“, stiže samo do onih koji nisu otvorili svoj lični link, i to samo ako je praćenje odgovora, podrazumevano isključeno, bilo uključeno pre slanja pozivnica; ko je link otvorio, a anketu nije završio, taj mejl ne dobija. Bez praćenja mejl ide svima. Praćenje vezuje svaki odgovor za adresu primaoca, i pozivnica to kaže.

Izvlačenje nagrade može da poveća broj odgovora; u njega ulaze svi koji odgovore, šta god da su odgovorili. Više odgovora ne znači nužno i verniju sliku, a za izvlačenje vam treba ime ili mejl adresa, pa odgovori mogu da se povežu sa osobom: recite to učesnicima i neobavezno pitanje sa kontakt podacima stavite na kraj.

Primeri pitanja i odluka koju svako podržava

Jezgro ankete posle događaja je nekoliko zatvorenih pitanja; treća kolona kaže koju odluku podržava svako.

Redovi matrice, svaki sa jednom stvari: sadržaj programa, predavači, koliko se lako stiže do mesta održavanja, udobnost sale, ozvučenje, projekcija na platnu, hrana, pauze za kafu, registracija na ulazu, vrednost u odnosu na cenu kotizacije ili ulaznice (ako se ulaz plaća) i parking (ako ga obezbeđujete).

Skale. Ocene su pouzdanije kada svaki stepen ima reči, u približno jednakim koracima, a srednji stepen pomaže (Krosnick i Presser, 2010); većina dokaza govori u prilog skalama od pet do sedam stepeni (Maitland, 2009). Skala očekivanja je jednosmerna (unipolarna), od „Nimalo“ do „U potpunosti“. Skala ponovnog dolaska ima dve negativne opcije, pa pokazuje ko neće doći; odgovor „Još nisam odlučio/la“, ako vam treba, stavite posle skale, ne u sredinu.

Matrica. Na ekranu rezultata procenti u „Matrici“ računaju se od ukupnog broja odgovora u redu, a „Nisam koristio/la“ je deo reda, pa udeo nezadovoljnih među onima koji su ocenjivali računajte iz brojeva ili izvezenog fajla. Ne birajte „Slučajni odabir za kolone“ ni „Slučajni odabir za oba“, jer mešaju skalu; „Slučajni odabir za redove“ ne smeta.

Ponovljena i otvorena pitanja. Ponovljena pitanja o razlogu dolaska i ranijim dolascima dele ovu anketu na grupe bez povezivanja nečijih odgovora iz dve ankete. Postavite ih kao „Samo jedan odgovor“, jer filter na pitanju sa više odgovora prepoznaje samo tačno označenu kombinaciju. Ispitanici otvorena pitanja preskaču mnogo češće od zatvorenih (Pew Research Center, 2021), pa postavite najviše dva.

NPS je neobavezan: „Koliko je verovatno da biste ovaj događaj preporučili prijatelju ili kolegi?“, od 0 do 10. Rezultat je procenat promotera (9–10) minus procenat detraktora (0–6). Na Anketa.rs koristite pitanje „NPS (0-10)“: njegov izveštaj sam izračunava rezultat (šablon za NPS anketu).

Predavači i sesije

Sesije i predavače ocenjujte u odvojenim, kratkim matricama.

• Matrica sesija. Po jedan red za svaku sesiju, sa naslovom i imenom predavača, istih pet odgovora i kolona „Nisam prisustvovao/la“. Neka ima šest do osam redova: na telefonu duge matrice vode do istog odgovora u svim redovima, odustajanja i preskočenih redova (Krosnick i Presser, 2010). Za veći program prvo postavite pitanje „Koju tematsku celinu ste pratili?“ kao „Samo jedan odgovor“ na posebnoj stranici, pa pravilom „Prikaži pitanje“ prikažite svaku matricu samo onima koji su prisustvovali. Ako ljudi prelaze iz celine u celinu, napravite po jednu anketu za svaku sesiju.
• Matrica predavača. Tri reda: poznavanje teme, jasnoća izlaganja, odgovori na pitanja.
• Jedna sesija. Kada anketa ocenjuje samo jednu sesiju, neka je učesnik izabere u pitanju „Padajući meni“ sa stavkama „dan, vreme, naslov“; tri polja za slobodan tekst daju odgovore koji se ne mogu prebrojati.

Ocene svih sesija na kraju lako se porede, ali ih boji opšti utisak; ocena posle svake sesije je svežija, ali češće prekida program. Kirkpatrikov model preporučuje provere i tokom programa, pa sesije ocenjujte kratkom anketom posle svake, a program završnom matricom. Malu razliku između dva predavača ne čitajte kao rang listu.

Ljudi menjaju odgovore da bi izbegli neprijatnost, naročito kada je neko prisutan (Tourangeau i Yan, 2007), pa online anketa koju svako popunjava sam može da donese iskrenije komentare o predavačima od papirnog upitnika predatog na izlazu, mada manje ako traži ime. Rezultate za predavača ili sesiju (udele, brojeve i komentare) prikažite samo ako je ocena došla od najmanje 10 učesnika; Anketa.rs taj minimum ne nameće, pa broj proveravate sami. Manju sesiju prikažite zajedno sa drugima iz iste tematske celine ili istog dana. Komentare o predavaču prenesite grupisane po temama, a ne kao citate po kojima bi se prepoznao autor, i anketu ne nazivajte anonimnom.

Česte greške u anketama za događaje

Većina spiskova pitanja za događaje ponavlja istih šest grešaka. Proverite svoju anketu po ovoj tabeli.

Kako da čitate odgovore i šta da promenite

Rangirajte stavke po udelu nezadovoljnih među onima koji su ih ocenili, delite odgovore po razlogu dolaska i ranijim dolascima, grupišite otvorene odgovore po temama i navedite koliko je ljudi odgovorilo: to je odgovor na pitanje kako meriti uspeh događaja iz ugla učesnika.

Udeo nezadovoljnih. Za svaku stavku broj onih koji su izabrali „Nezadovoljni“ ili „Veoma nezadovoljni“ podelite brojem onih koji su je ocenili, bez onih sa odgovorom „Nisam koristio/la“. Ako je na red o pauzama za kafu odgovorilo 85 ljudi, 25 je izabralo „Nisam koristio/la“, a 12 je bilo nezadovoljno, ekran rezultata pokazuje 14% (12 od 85), ali je udeo među onima koji su ocenjivali 20% (12 od 60). Rangirajte po tom udelu, a ne po proseku, koji može da sakrije nezadovoljnu manjinu.

Podele. Samo one koji dolaze prvi put, ili samo jedan razlog dolaska, izdvajate ovako: „Napravite filter“, pa „Prikaži samo odgovore gde“, zatim pitanje i uslov „jednako je“. Dva pitanja jedno naspram drugog poredi kartica „Unakrsna tabela“, za pitanja sa jednim ili više odgovora, padajuće menije i pitanja sa izborom slike.

Pre i posle. Ono zbog čega su ljudi rekli da dolaze uporedite sa ocenom ispunjenih očekivanja, podeljenom po razlogu navedenom posle događaja. Poredite grupe, a ne pojedince: za povezivanje odgovora iste osobe iz dve ankete svaki odgovor bi morao da nosi ime.

Otvoreni odgovori. Pročitajte ih sve, grupišite ih u nekoliko tema, prebrojte odgovore u svakoj i navedite jedan ili dva tipična.

Ko je odgovorio. Odgovaraju samo oni koji to sami izaberu, a sama stopa odgovora ne pokazuje da li su odgovori pristrasni (Groves i Peytcheva, 2008; više u tekstu o pristrasnosti zbog neodgovora). Uz svaki grafikon napišite „odgovorilo je N od oko M prisutnih“, a M uzmite sa spiska prisutnih na ulazu, ne iz prijava, jer mejl zahvalnosti stiže i onima koji nisu došli. Proverite i da li je odnos novih učesnika i onih koji se vraćaju među ispitanicima približno isti kao na spisku prisutnih.

Mali brojevi. Pokažite brojeve, ne samo procente: jedan nezadovoljan od pet je 20%. Kada stavku oceni manje od oko 30 ljudi, menjajte samo ono gde je nezadovoljnih jasno više, a ne zbog razlike od jedne ili dve osobe.

Poređenje izdanja. Izdanja poredite samo uz ista pitanja i istu skalu, a u sledećem pozivu recite učesnicima šta se promenilo zbog njihovih odgovora.

Višednevni događaji i obuke

Na višednevnom događaju pošaljite na kraju svakog dana kratku anketu sa jednim do tri pitanja (šta da popravimo sutra, koja je sesija tog dana bila najkorisnija), a punu anketu samo jednom, posle poslednjeg dana. Za svaki dan napravite posebnu anketu sa podrazumevanim podešavanjem za uređaj, iz razloga navedenih u odeljku „Ocena više sesija sa istog telefona“.

Na obuci ili seminaru anketa na kraju meri reakciju, prvi od četiri nivoa Kirkpatrikovog modela: kako su učesnici doživeli obuku. Za učenje, ponašanje i rezultate potrebna su druga merenja, kasnije. Gotova pitanja ima šablon za evaluaciju seminara.

Tri ankete, po jedna odluka

Svaka od tri ankete podržava svoju odluku: pre događaja saznajete zašto ljudi dolaze i šta je još otvoreno, tokom događaja šta da popravite istog dana, a posle šta da menjate za sledeće izdanje. Kratka anketa posle događaja daje udeo nezadovoljnih po stavkama, odvojeno za nove učesnike i one koji se vraćaju.

Pre sledećeg događaja zapišite šta je još otvoreno, od programa do menija, i od tog spiska napravite anketu pre događaja, a odmah pripremite i anketu za posle, da pitanje o razlogu dolaska glasi isto od reči do reči. Šablon „Povratna informacija o događaju“, na stranici ispod, dobra je polazna tačka; pre slanja ga proverite po tabeli iz odeljka „Česte greške u anketama za događaje“.

Pročitajte još

• Mišljenje posetilaca sajta: šta da pitate, kada i kako da čitate odgovore
• Istraživanje tržišta online: koraci, kanali i ograničenja ankete
• Ugled škole i fakulteta: kako da ga izmerite anketom