Stopa odgovora na anketu i pristrasnost zbog neodgovora

Anketu ste poslali na 200 adresa, a odgovorilo je pedesetak ljudi. Da li rezultati i dalje nešto vrede? Niska stopa odgovora na anketu sama po sebi ne znači da su rezultati pogrešni. Problem nastaje kada se ljudi koji nisu odgovorili razlikuju od onih koji jesu, i to upravo u onome što anketa meri. To se zove pristrasnost zbog neodgovora. Niska stopa odgovora povećava rizik od nje, ali je ne dokazuje, a visoka stopa je ne isključuje. Vodič je namenjen svima koji anketiraju zaposlene, kupce, članove ili studente i treba da procene koliko mogu da se oslone na rezultate. Objašnjava zašto ljudi ne odgovaraju, daje pet provera koje možete da uradite sa svojim spiskom i svojim rezultatima i pokazuje šta da uradite pre, tokom i posle ankete.

Ukratko

• Pristrasnost zbog neodgovora nastaje zbog razlika između onih koji odgovore i onih koji ne odgovore, a ne zbog malog broja odgovora.
• Niska stopa odgovora je upozorenje, a ne dokaz. Više odgovora od onih koji ionako rado odgovaraju smanjuje marginu greške, ali pristrasnost ostaje.
• Pristrasnost možete da proverite: uporedite ko je odgovorio sa onima koje ste pozvali, rane odgovore sa kasnim i pitajte nekoliko ljudi koji nisu odgovorili.
• Smanjićete je kratkom anketom koja se tiče onih koje pitate, podsetnikom samo onima koji nisu odgovorili i izveštajem u kom je stopa odgovora navedena zajedno sa svojim ograničenjima.

Šta je pristrasnost zbog neodgovora

Pristrasnost zbog neodgovora (engl. non-response bias) je sistematska greška koja nastaje kada se ljudi koji ne odgovore na anketu razlikuju od onih koji odgovore, i to baš u onome što anketa meri, pa rezultati dobijeni samo od ispitanika naginju na jednu stranu. U udžbenicima se sreće i kraći naziv, pristrasnost neodgovora.

Njena veličina zavisi od dve stvari: koliko ljudi nedostaje i koliko se razlikuju od ostalih. Ako su oni koji preskoče anketu slični onima koji odgovore, rezultati nisu pristrasni, ma koliko ljudi nedostajalo. Ako se razlikuju, i manji broj onih koji nedostaju pomera rezultat.

Uzmimo anketu za zaposlene. Ako stariji zaposleni ređe odgovaraju, rezultati naginju ka stavovima mlađih. To možete da vidite, jer znate starosnu grupu svakog zaposlenog, i možete to da ispravite. Teži je slučaj kada ljudi preskoče anketu zbog odgovora koji bi dali: ako zaposleni nezadovoljni neposrednim rukovodiocem ignorišu anketu, zadovoljstvo izgleda veće nego što jeste, a ništa u vašim podacima to ne pokazuje.

Pristrasnost zbog neodgovora tiče se toga ko odgovara. Pristrasnost u odgovorima tiče se toga da li su dati odgovori tačni.

Pristrasnost anketara, kada osoba koja postavlja pitanja utiče na odgovore, spada u drugu kolonu.

Potpuni i delimični neodgovor

Potpuni neodgovor (neodgovor na celu anketu) znači da pozvana osoba nije dala nijedan odgovor. Delimični neodgovor (neodgovor na pojedino pitanje) znači da je ispitanik popunio anketu, ali je preskočio neka pitanja.

Među članovima online panela američkog centra Pew Research Center zatvoreno pitanje obično preskoči oko 1–2% ispitanika, a otvoreno u proseku oko 18%, od 3% do nešto više od 50%, zavisno od pitanja (Pew Research Center, 2021). Pitanja se češće preskaču na telefonu i kada traže više razmišljanja. Članovi panela redovno popunjavaju ankete, pa ove brojke za jednokratnu anketu uzmite kao donju granicu.

Obavezno pitanje ne može da se preskoči, pa se neodgovor na njega vidi drugačije: ljudi odustanu od ankete ili izaberu bilo koji odgovor. Najvažnija merenja stavite u zatvorena pitanja, a otvorenih neka bude malo i neka ne budu obavezna (više o tome u tekstu o prednostima i manama otvorenih i zatvorenih pitanja).

Niska stopa odgovora je upozorenje, a ne dokaz pristrasnosti

Sama stopa odgovora, ili odziv, kako se još kaže, ne govori da li su rezultati pristrasni. Studija istraživačkog centra Pew iz 2017. i ranija istraživanja ukazuju na to da je stopa odgovora nepouzdan pokazatelj pristrasnosti (Pew Research Center, 2017).

U Sjedinjenim Državama stopa odgovora na telefonske ankete centra Pew pala je od 1997. do 2012. godine sa 36% na 9%. I pored toga se anketa iz 2012. na većini pokazatelja poklapala sa zvaničnim podacima, a verzija u koju je uloženo mnogo više truda, sa stopom odgovora od 22%, razlikovala se za dva procentna poena ili manje na 28 od 40 pokazatelja (Pew Research Center, 2012). Ali tamo gde sama tema utiče na spremnost da se odgovori, pristrasnost je bila velika. U anketi iz 2012. čak 55% ispitanika reklo je da je volontiralo, prema 27% u zvaničnoj američkoj anketi Current Population Survey, a 2017. je 46% reklo da je sa komšijama radilo na rešavanju nekog problema u svom kraju, prema 8% u istoj zvaničnoj anketi. Ljudi koji volontiraju spremniji su i da popunjavaju ankete.

Važan je jedan uslov. Pew ponderiše svoje ankete tako da starost, pol, obrazovanje, rasa i region odgovaraju populaciji, i nalaz važi tek posle tog prilagođavanja. Anketa poslata na spisak zaposlenih ili kupaca obično se ne ponderiše, pa to poređenje morate da napravite sami (prva provera u nastavku).

Primer pokazuje zašto broj odgovora nije pravi test. Iz grupe od 20.000 ljudi pozovete 200 i dobijete 50 do 60 odgovora. Kada bi ti odgovori bili slučajni uzorak, margina greške bila bi oko ±13 procentnih poena, uz nivo poverenja od 95% i za pitanje na koje se odgovori dele približno pola-pola: to je širok raspon, ali dovoljan za velike razlike. Veličina grupe je skoro nevažna kada pređe nekoliko hiljada: 377 odgovora daje oko ±5 procentnih poena i za 20.000 ljudi i za 2 miliona. Pravo pitanje je da li onih 50 do 60 koji su odgovorili liči na oko 140 koji nisu. Ako pozovete 600 ljudi i dobijete 180 odgovora opet od onih koji ionako rado odgovaraju, smanjićete marginu greške, ali ne i pristrasnost.

Zašto ljudi ne odgovaraju na anketu

Ljudi koji ne odgovore spadaju u tri grupe i svakoj treba drugačije rešenje.

Jedan slučaj uopšte nije neodgovor. Ako je vaš spisak nepotpun ili zastareo, neki ljudi kojima je anketa namenjena nikada ne dobiju poziv. To je greška pokrivenosti: podsetnici je neće ispraviti, a sređen spisak hoće.

Kako da proverite da li su rezultati pristrasni

Uporedite ko je odgovorio sa onima koje ste pozvali. Ako se sastav poklapa u svemu što znate, to je dobar znak, ali ne i dokaz. Četiri od pet provera koriste podatke koje već imate, a u petoj direktno pitate nekoliko ljudi koji nisu odgovorili.

1. Uporedite ispitanike sa svima koje ste pozvali

Iskoristite ono što znate o svakome sa spiska: odeljenje, region, vrstu kupca ili starosnu grupu. Grupa koja je odgovarala upola ređe od ostalih nedovoljno je zastupljena u rezultatima. Na Anketa.rs, ako ste pri slanju mejlom uključili praćenje odgovora (opcija „Uključite praćenje odgovora“) i vaš spisak za svaku adresu čuva neku vrednost, na primer odeljenje, rezultate filtrirajte uslovom „Vrednost emaila je“. U suprotnom dodajte jedno demografsko pitanje i na kartici „Unakrsna tabela“ pogledajte da li se glavni odgovori razlikuju po grupama.

2. Uporedite stope odgovora po grupama

Niska stopa u jednoj grupi važnija je od niske ukupne stope. Dok je anketa otvorena i praćenje odgovora uključeno, filter „Sve bez odgovora“ na spisku primalaca pokazuje ko još nedostaje. Pogledajte ga ponovo posle svakog podsetnika.

3. Uporedite rane i kasne odgovore

U anketi poslatoj mejlom kasni su oni odgovori koji su stigli posle podsetnika. Ljudi koji odgovore tek posle podsetnika često su, mada ne uvek, bliži onima koji nikada ne odgovore. Podelite odgovore prema datumu podsetnika pomoću filtera „Anketa ispunjena između“ (filter se ravna prema datumu kada je ispitanik počeo da popunjava anketu). Ako se dve grupe razlikuju u glavnim pitanjima, posumnjajte na pristrasnost; to je nagoveštaj, a ne dokaz.

4. Pitajte nekoliko ljudi koji nisu odgovorili

Nekolicini ljudi koji nisu odgovorili postavite jedno ili dva glavna pitanja, telefonom ili lično, neutralno formulisana. Ništa drugo ne pokazuje šta misle oni koji su ćutali: Australijski zavod za statistiku (Australian Bureau of Statistics) ističe da ovo pitanje mogu u potpunosti da reše samo podaci dobijeni od onih koji nisu odgovorili. Oni koji vam tada odgovore spremniji su od ostalih koji su ćutali, pa rezultat čitajte kao smer, a ne kao broj.

5. Pogledajte preskočena pitanja i mesto gde su ljudi stali

Pitanje koje mnogi preskaču znači delimični neodgovor, a stranica na kojoj se nedovršeni odgovori zaustavljaju pokazuje gde ljudi odustaju. Filter „Prikaži nedovršene odgovore“ i uslov „nema odgovor“ pokazuju vam i jedno i drugo.

Kako da smanjite pristrasnost pre i tokom ankete

Trud usmerite na grupe koje nedostaju, a ne na ukupan broj odgovora. Više načina da pozvani zaista odgovore naći ćete u savetima o tome kako da povećate broj ispitanika.

Sistematski pregled organizacije Cochrane (Edwards i saradnici, 2023; 758 randomizovanih ispitivanja, dokazi do decembra 2021) pokazuje šta je povećalo odziv na ankete preko interneta i mejla:

Odnos šansi (engl. odds ratio) veći od 1 znači više odgovora, a manji od 1 manje. Kod otprilike polovine testiranih strategija rezultati su se mnogo razlikovali između ispitivanja.

Više odgovora ne znači manju pristrasnost. Nagrada za učešće privlači i ljude koje tema ne zanima. To smanjuje pristrasnost kada upravo oni nedostaju, ali može i da poveća razliku ako uglavnom privuče grupe koje su ionako odgovarale, pa prvu proveru sprovedite i pre i posle takve mere. Birajte mere koje dopiru do grupa koje nedostaju: drugi način odgovaranja (papir, telefon ili lično), podsetnik od neutralnog pošiljaoca kome ti ljudi veruju (služba ljudskih resursa ili neko iz višeg rukovodstva ko stoji iza ankete, nikada neposredni rukovodilac čiji se tim anketira) i termin koji odgovara radnicima u smenama.

Podsetnik pošaljite samo onima koji nisu odgovorili. U ispitivanjima sa upitnicima koji su slati poštom podsetnik mejlom povećao je odziv (odnos šansi 1,60). Na Anketa.rs pošaljite novi mejl i za primaoce izaberite „Na email pozivnicu nije odgovoreno“. Alat zna ko je odgovorio samo ako je praćenje odgovora uključeno, a ono nije uključeno unapred (pogledajte sledeći pasus). Tada „nije odgovoreno“ znači da osoba nije otvorila anketu preko linka iz svoje pozivnice: ko je počeo pa odustao, ne dobija novi mejl, a ko je odgovorio preko nekog drugog linka, dobiće ga. Bez praćenja odgovora ova opcija šalje mejl svima sa spiska. Pre slanja proverite koje grupe još nedostaju. Svaki mejl troši mesečni broj email pozivnica koji vaš plan dozvoljava.

Recite ko vidi odgovore i šta se beleži. Objasnite kako će se rezultati koristiti, ko im ima pristup i da se prikazuju samo zbirno; u istim ispitivanjima sa upitnicima poštom obećana poverljivost povećala je odziv (odnos šansi 1,33). Ne obećavajte anonimnost. Ako uključite praćenje odgovora da biste podsetnik poslali samo onima koji nisu odgovorili, recite to, jer vam ista opcija omogućava da vidite odgovore svake osobe: „Beležimo ko je otvorio anketu iz svoje pozivnice, da bismo podsetnik poslali samo onima koji to još nisu uradili. Autor ankete može da vidi pojedinačne odgovore, a rezultati se prikazuju samo zbirno.“ U podnožje pozivnice tada se automatski dodaje napomena da autor ankete može da vidi odgovore poslate sa te adrese. Najbolje mesto za ovo je uvod u anketu i uputstva, gde objašnjavate svrhu ankete, koliko traje i kako će se odgovori koristiti.

Neka anketa bude kratka, a pitanja takva da svako može da odgovori. Navedite stvarno trajanje; u ispitivanjima iz pregleda Cochrane najava kraćeg ili dužeg trajanja nije donela pouzdanu razliku. Izbacite ono što analiza neće koristiti, popravite složena, nejasna i dugačka pitanja i ponudite „Drugo“ ili „Ne znam“ tamo gde je to iskren odgovor. Kao obavezna označite samo pitanja koja su vam zaista potrebna: kada je svaki odgovor obavezan, ljudi odustaju ili biraju bilo šta.

Isprobajte anketu i izmerite vreme. Neka dve ili tri osobe iz ciljne grupe popune anketu, a vi izmerite koliko im je trebalo, umesto da se oslanjate na pravilo o broju pitanja u minuti.

Posle ankete: ponderisanje i kako da prikažete stopu odgovora

Ponderisanje prilagođava rezultate tako da svaka grupa učestvuje srazmerno svom udelu među pozvanima: ako je odgovorilo manje starijih zaposlenih, njihovi odgovori dobijaju nešto veću težinu (ponder). Ispravlja samo ono po čemu ponderišete. Ako su ljudi preskočili anketu zbog svog mišljenja, ponderisanje po starosti ili odeljenju to neće popraviti, a procene postaju manje precizne. Praktično pravilo, a ne standard: ponderišite po jednoj ili dve osobine, sa najmanje oko 20–30 odgovora po grupi; u suprotnom prikažite sastav ispitanika pored sastava pozvanih. Anketa.rs ne ponderiše odgovore, ali to možete da uradite u Excel fajlu koji dobijete opcijom „Izvezite Excel fajl“.

Stopu odgovora navedite zajedno sa definicijom. Najjednostavnija standardna definicija, RR1 iz Standardnih definicija američkog udruženja za istraživanje javnog mnjenja (AAPOR), glasi: broj ispunjenih anketa podeljen brojem pozvanih. Isti izraz, stopa odgovora, koristi i Republički zavod za statistiku u izveštajima o svojim anketama. Alat ne prikazuje mejlove koji nisu isporučeni, pa se adrese na koje mejl nije stigao i dalje računaju među pozvane, a vaša stopa je donja granica stvarne. Anketa podeljena putem opšteg linka nema poznat broj pozvanih, pa nema ni stopu odgovora.

Recite šta su provere pokazale i u kom smeru bi preostala pristrasnost pomerila rezultate: „Sektor prodaje je odgovarao upola ređe od ostalih sektora i dao je niže ocene, pa je ukupna ocena možda nešto previsoka.“

Zaključak

Niska stopa odgovora na anketu razlog je da proverite rezultate, a ne da ih odbacite. Uporedite ko je odgovorio sa onima koje ste pozvali i rane odgovore sa kasnim, a kada je ulog veliki, pitajte i nekoliko ljudi koji nisu odgovorili. Podsetnik šaljite samo onima koji nisu odgovorili, trud usmerite na grupe koje zaostaju i stopu odgovora prikažite sa definicijom i onim što su provere pokazale.

Anketa za zaposlene je najlakše mesto za početak: znate koga ste pozvali i u kom odeljenju radi svaka osoba, pa su vam, uz uključeno praćenje odgovora, dostupne sve provere iz ovog vodiča. Krenite od gotove ankete o zadovoljstvu zaposlenih i pošaljite je mejlom na svoj spisak.

Pročitajte još

• Osetljiva pitanja u anketi: kako da ih postavite, korak po korak
• 10 koraka do uspešne ankete
• 9 saveta da povećate broj ispitanika