Greška uzorka i pristrasnost: razlika i kako da ih smanjite

Ono što se obično zove statistička greška u anketi zapravo su dve različite stvari: greška uzorka i pristrasnost. Greška uzorka, tačnije greška uzorkovanja, jeste slučajna greška: razlika koja nastaje zato što ste pitali deo grupe, a ne sve. Predvidljivo se smanjuje kako uzorak raste, a kod slučajnog uzorka može i da se proceni. Pristrasnost je sistematska greška: gura rezultate uvek na istu stranu, potiče od toga ko je na vašem spisku, ko odgovara i kako su pitanja postavljena, i ne nestaje sa više odgovora. Protiv prve pomaže više odgovora, protiv druge samo bolje osmišljena anketa. Vodič je za sve koji sprovode ili čitaju ankete, a na kraju daje pravilo kako da izaberete rešenje.

Ukratko

• Greška uzorkovanja je slučajna: pomera rezultate gore ili dole i smanjuje se kako uzorak raste. Za upola manju grešku treba četiri puta više odgovora.
• Pristrasnost je sistematska: gura rezultate na jednu stranu, a veći uzorak je ne smanjuje.
• Margina greške obuhvata samo grešku uzorkovanja, i to samo kod slučajnog uzorka. O pristrasnosti ne govori ništa.
• Grešku uzorkovanja smanjujete sa više odgovora iz slučajnog uzorka, a pristrasnost boljim spiskom, ponovnim pozivom onima koji nisu odgovorili i boljim pitanjima.

Šta je greška uzorkovanja (slučajna greška)

Greška uzorkovanja (uzoračka greška) je razlika između broja dobijenog na uzorku i broja koji biste dobili da ste pitali sve u grupi. Postoji samo zato što ste pitali uzorak: kada anketirate sve u grupi, greške uzorkovanja nema.

Nastaje zato što slučaj odlučuje ko će biti izabran. Dva slučajna uzorka od po 200 ljudi iz iste baze kupaca mogu da pokažu 41% i 45% „veoma zadovoljnih“. Nijedan nije pogrešan: u svakom su malo drugačiji ljudi, a to rasipanje od uzorka do uzorka i jeste greška uzorkovanja. U jednom uzorku rezultat ispadne viši, u drugom niži, a u proseku se razlike poništavaju.

Kod slučajnog (probabilističkog) uzorka, u kom je svako sa spiska imao poznatu šansu da bude izabran, greška uzorkovanja može da se proceni: kao standardna greška, interval poverenja ili margina greške.

Šta je pristrasnost (sistematska greška)

Pristrasnost je greška koja rezultate ankete gura uvek u istom smeru. Ako o proizvodu koji kupuju i muškarci pitate samo žene, svaka procena će naginjati na istu stranu, ma koliko žena odgovorilo. Pristrasnost je sistematski deo neuzoračke greške, kako se naziva svaka greška koja ne potiče od izbora uzorka. Kada je uzrok u tome ko na kraju odgovara, često se zove pristrasnost uzorkovanja ili pristrasnost izbora, ali to nije greška uzorkovanja.

Slučajna greška se u proseku poništava, a pristrasnost ne. Kanadski zavod za statistiku (Statistics Canada) ističe da pristrasnost nastalu zbog sistematskih grešaka veći uzorak ne smanjuje. Anketa američkog časopisa Literary Digest pred predsedničke izbore 1936. imala je ogroman uzorak, pa je ipak teško promašila ishod, jer su i spisak sa kog su birani ljudi i to ko je vratio listić ankete bili pristrasni (Squire, Public Opinion Quarterly, 1988).

Za pristrasnost margina greške ne može da se izračuna. Margina objavljena uz rezultate istraživanja obuhvata samo grešku uzorkovanja, kako navodi AAPOR, američko udruženje za istraživanje javnog mnjenja. Formulacija pitanja, propusti u pokrivenosti i neiskreni odgovori teško se mere i retko se navode (Pew Research Center). Veličina pristrasnosti razlikuje se i od pitanja do pitanja (Pew Research Center, 2017). Cilj je da pristrasnost smanjite i navedete na koju stranu verovatno pomera brojke.

Greška uzorkovanja i pristrasnost: razlika u jednoj tabeli

Razlika je u smeru i u leku: greška uzorkovanja rasipa rezultate oko stvarne vrednosti, a pristrasnost ih pomera od nje.

U pristupu ukupne greške ankete (Groves i Lyberg, Public Opinion Quarterly, 2010) greška nekog broja obično se meri kao njegova varijansa plus kvadrat pristrasnosti (srednja kvadratna greška). Veći uzorak smanjuje prvi sabirak, a drugi ne: veliki pristrasan uzorak i dalje daje pogrešan broj, a svaka anketa je kompromis između greške i troška.

Koliko zaista pomaže više odgovora

Margina greške izražava se u procentnim poenima, obično uz nivo poverenja od 95%, i najveća je kada se odgovori dele pola-pola. Izjava udruženja AAPOR o margini greške uzorkovanja daje ove vrednosti:

Prost slučajan uzorak iz velike grupe, odgovaraju svi pozvani, nivo poverenja 95%, odgovori podeljeni pola-pola (AAPOR).

Tabela polazi od toga da je cela grupa mnogo veća od uzorka. U maloj grupi, na primer u firmi sa 80 zaposlenih ili u odeljenju od 30 učenika, margina je manja kada ste već pitali veliki deo grupe. Ako ste pozvali sve, greške uzorkovanja uopšte nema: rezultat je prebrojavanje, a razlika koja ostane dolazi od onih koji nisu odgovorili ili nisu odgovorili tačno.

Četiri puta veći uzorak prepolovi marginu (±9,8 procentnih poena za 100 odgovora, ±4,9 za 400), ali prelazak sa 1.000 na 2.000 odgovora donosi tek oko jedan poen. Tipična nacionalna anketa sa oko 1.000 ispitanika navodi približno ±3 procentna poena, podgrupa od 200 u njoj oko ±6,9, a ponderisanje i efekat nacrta čine stvarnu marginu još širom.

Najvažnije: margina važi samo za probabilističke uzorke, u kojima je svako imao poznatu šansu, veću od nule, da bude izabran. Ne važi za uzorke u kojima se ljudi sami javljaju, kao što su odgovori na link objavljen na društvenim mrežama ili na sajtu. Za takve uzorke margina greške ne može da se izračuna, a sami odgovori ne mogu da pokažu koliko su daleko od stvarnosti. Pristrasnost tada procenjujete samo prema onome što znate izvan ankete: uporedite sastav cele grupe (starost, mesto rada, sektor, vrsta kupca) sa sastavom ispitanika.

Kako pristrasnost ulazi u online anketu

Pristrasnost ulazi u online anketu na pet mesta. Prva tri se tiču toga ko odgovara, a poslednja dva samih odgovora (pristrasnost u odgovorima i druge greške merenja).

Pokrivenost: ko nije na vašem spisku

Greška pokrivenosti nastaje kada spisak ili kanal izostavi deo grupe. Anketa za zaposlene poslata mejlom ne stiže do onih koji nemaju službenu adresu, na primer do radnika u proizvodnji ili na terenu. Pre slanja proverite ko nije na spisku i smislite kako da dođete do njih.

Samoselekcija: ko sam bira da odgovori

Link objavljen na sajtu ili na društvenim mrežama prepušta ljudima da sami odluče da li će odgovoriti, a najčešće odgovaraju oni sa izraženim mišljenjem: to je pristrasnost samoselekcije. Zato pozovite ljude sa unapred određenog spiska. Ako želite da odgovaraju samo pozvani, označite opciju „Omogućite popunjavanje ankete isključivo ispitanicima koji dobiju pozivnicu putem emaila“, koja isključuje direktni link i sve druge načine deljenja. Pozvani mogu da odgovore i sa praćenjem odgovora i bez njega. Praćenje, podrazumevano isključeno, vezuje svaki odgovor za primaoca, pa vidite ko je odgovorio; pozivnica primaoce o tome obaveštava. Ograničenje drži nepozvane podalje, ali uzorak ne čini slučajnim.

Neodgovor: ko nije odgovorio

Pristrasnost zbog neodgovora zavisi od dve stvari zajedno: koliko pozvanih nije odgovorilo i koliko se oni razlikuju od onih koji jesu. Niska stopa odgovora uz malu razliku malo šteti, a visoka stopa uz veoma drugačiju grupu koja nedostaje i dalje može da zavara.

Neodgovor postoji i unutar ankete, kada ljudi preskoče pitanje. Gledajte broj odgovora na svako pitanje, a ne samo broj popunjenih anketa: rezultat osetljivog pitanja koje je preskočila polovina ispitanika nosi pristrasnost zbog neodgovora i kada je anketa u celini imala dobru stopu odgovora.

Neka anketa bude kratka i iskoristite savete kako da odgovori više pozvanih. Ponovni poziv onima koji nisu odgovorili pišete i šaljete sami, kao i prvi, po vodiču za slanje poziva mejlom; automatskih podsetnika nema. Ako ste pre prvog slanja označili opciju „Uključite praćenje odgovora“, izbor primalaca „Na email pozivnicu nije odgovoreno“ obuhvata samo one koji anketu nisu otvorili preko linka iz svoje pozivnice; bez praćenja poruka ide celom spisku. Zatim uporedite sastav ispitanika sa sastavom grupe. Poređenje ranih i kasnih odgovora je nagoveštaj, a ne test: ko je odgovorio tek posle podsetnika koji ste sami poslali, ipak je odgovorio.

Formulacija i redosled pitanja

Sugestivna i kapciozna pitanja guraju odgovore na jednu stranu, dva pitanja u jednom ih mute, a i jedna reč može da promeni rezultat. Pew Research Center navodi da u SAD „pomoć siromašnima“ dobija veću podršku od reči „welfare“, kojom se tamo zove državna socijalna pomoć. Takva pitanja preformulišite, pitanje koje traži dva odgovora podelite na dva, a pre slanja sprovedite probno anketiranje sa nekoliko ljudi iz grupe.

Pitanja koja se nadovezuju ostavite u stalnom redosledu: od opšteg ka posebnom, a filter pitanje pre pitanja koja od njega zavise. Paralelne stavke, na primer niz brendova, sektora ili tvrdnji, prikažite slučajnim redom, da nijedna ne bude uvek prva. Tako se efekat redosleda ravnomerno raspoređuje, ali ne nestaje. U editoru za to služi „Slučajni odabir za redove“ u matrici; „Slučajni odabir za kolone“ koristite samo kada su kolone kategorije bez prirodnog redosleda, nikada za skalu ocena. Podešavanje „Slučajni odabir za pitanja“ meša pitanja unutar svake stranice cele ankete, pa ga uključite samo ako svaka stranica sadrži isključivo paralelna pitanja. Ponuđeni odgovori kod pitanja sa izborom ne mogu da se mešaju.

Socijalno poželjni odgovori

Ljudi umanjuju ono što okolina ne odobrava, a preuveličavaju ono što se ceni: to je pristrasnost socijalne poželjnosti, jedan oblik pristrasnosti u odgovorima. Na pitanje „Da li ste strastveni pušač?“ deo strastvenih pušača odgovoriće „Ne“. Kod ovakvih, osetljivih pitanja pitajte neutralno i ponudite raspone umesto etiketa: „Koliko cigareta popušite tokom uobičajenog dana?“, uz odgovore „Nijednu“, „1–5“, „6–10“ i tako dalje. Online anketa uklanja anketara, što ovaj efekat slabi, ali ga ne uklanja. Ankete telefonom i licem u lice donose i pristrasnost anketara, a greške nastaju i pri unosu podataka.

Slučajnost ili pristrasnost? Kako da protumačite neočekivan rezultat

Kada vas rezultat iznenadi, uporedite njegovo odstupanje od očekivanog sa marginom greške. Ako je razlika mnogo veća nego što slučaj dopušta, ili uzorak nije bio slučajan, tražite pristrasnost i njen smer.

Recimo da 100 ispitanika, za koje pretpostavljamo da su slučajni uzorak vaših kupaca, pokaže da 20% više voli novi ukus soka, a da pouzdano prebrojavanje svih kupaca kasnije pokaže oko 33%. Razlika je 13 procentnih poena, a ne 13%. Margina za 100 odgovora je oko ±10 procentnih poena; otprilike 1 slučajni uzorak od 20 ispadne van nje, a gotovo nijedan ovoliko daleko, pa je sam slučaj malo verovatno objašnjenje. Pitajte ko je pozvan i ko je odgovorio. Ako je tih 100 odgovora stiglo preko podeljenog linka, preskočite marginu i krenite od tih pitanja.

Poređenje dve grupe traži širu marginu. Dva sektora sa po 200 odgovora imaju marginu od oko ±7 procentnih poena svaki, ali razlika između njih oko ±10. Razlika od 6 poena je u granicama slučaja, a od 15 poena nije. Isto važi kada poredite ovu godinu sa prošlom.

Link u mejl biltenu koji donese 500 popunjenih anketa ne zaslužuje ±4,4 procentnih poena iz tabele: ispitanici su se sami javili, a i 500 slučajno izabranih pretplatnika opisalo bi samo pretplatnike, ne sve kupce, i ništa ne bi reklo o onima koji nisu odgovorili. Navedite broj odgovora, kanal i grupe koje su verovatno nedovoljno zastupljene.

Više odgovora ili bolji upitnik: koje rešenje za koju grešku

Proverite ovo pre slanja i ponovo pre izveštaja.

1. Slučajan uzorak iz velike grupe, a margina je preširoka za vašu odluku: prikupite više odgovora, ali kada pređete oko 1.000 odgovora, dobitak je mali.
2. Neke grupe nedostaju ili su slabo zastupljene: više odgovora preko istog kanala neće pomoći; promenite spisak ili kanal. Ako se sastav ispitanika razlikuje od sastava grupe po nečemu što znate za svakoga (mesto rada, sektor, starosna grupa), prikažite rezultate po tom obeležju ili ih ponderišite posle izvoza; alat za ankete ne ponderiše odgovore. Ponderisanje ispravlja samo ono po čemu ponderišete, a ne mišljenja onih koji nisu odgovorili, i širi marginu. Prikazujte samo grupe od najmanje 10 ispitanika, da se niko ne može izdvojiti; alat taj minimum ne nameće, pa broj u svakoj grupi proverite sami. I grupa od 10 do 30 ljudi ima marginu mnogo širu od onih u tabeli, pa njene brojke opišite, ali ih ne poredite.
3. Pozvali ste celu grupu: više odgovora znači da tražite one koji još nisu odgovorili, a ne veći uzorak.
4. Sumnjate u pitanja: sprovedite probno anketiranje i preformulišite ih, uz ove savete za jasna i neutralna pitanja. Slučajni redosled koristite samo za paralelne stavke, nikada za pitanja koja se nadovezuju.
5. Izveštaj: navedite broj odgovora i kako su ljudi pozvani, marginu greške dajte samo za slučajni uzorak i recite u kom smeru bi verovatna pristrasnost pomerila brojke.

Greška uzorkovanja i pristrasnost traže različite lekove. Slučajna greška se smanjuje sa svakim novim odgovorom, a kod slučajnog uzorka margina greške pokazuje koliko je od nje ostalo. Pristrasnost ostaje koliko god odgovora prikupili i popušta samo pred spiskom koji obuhvata celu grupu, ponovnim pozivom onima koji su ćutali i neutralnim, proverenim pitanjima.

Krenite od upitnika za istraživanje tržišta ispod i pošaljite ga mejlom određenom spisku ljudi, a ne kao javni link.

Pročitajte još

• Anketa prilagođena mobilnim uređajima: šta pokazuju istraživanja
• Gejmifikacija ankete: kada pomaže, a kada šteti podacima
• Kako doći do pravih ispitanika za anketu