Vyhodnocovanie online prieskumov o pravdepodobnosti

Autori: Courtney Kennedy, Andrew Mercer, Scott Keeter, Nick Hatley, Kyley McGeeney a Alejandra Gimenez

Pretože sa zdá, že náklady a miera neodpovedí tradičných prieskumov založených na pravdepodobnosti každým rokom narastajú, výhody online prieskumov sú zrejmé - sú rýchle a lacné a táto technológia je všadeprítomná. Existuje však jeden zásadný problém: neexistuje komplexný rámec výberu vzoriek pre internet a neexistuje spôsob, ako zhromaždiť národnú vzorku, pre ktorú má šancu byť vybraný skutočne každý.

Absencia takého rámca viedla k pretrvávajúcim obavám z toho, či je možné dosiahnuť, aby zlomok populácie, na ktorú sa vzťahujú prístupy bez pravdepodobnosti, vyzeral reprezentatívne pre celú populáciu. Nezávislé štúdie zhruba 15 rokov naznačovali, že odpoveď na túto otázku bola všeobecne „nie“, ak bolo cieľom urobiť presné odhady počtu obyvateľov.1V priebehu času však vedci a predajcovia vzoriek vyvinuli technológie a štatistické techniky zamerané na zlepšenie reprezentatívnosti online prieskumov o pravdepodobnosti. Niekoľko nedávnych prípadových štúdií naznačuje budúcnosť (niektorí tvrdia, že je to súčasnosť), v ktorej by vedci nemuseli mať k dispozícii drahý výber založený na pravdepodobnosti, aby mohli robiť presné odhady populácie.2

Kľúčové prvky štúdie

Dizajn:
9 online vzorcov bezporuchovosti
Porovnanie s panelom prijatým RDD
56 opatrení vrátane 20 referenčných hodnôt

Analýza:
Odhadovaná odchýlka od úplných výsledkov vzorky
Odhadovaná odchýlka výsledkov podskupiny
Odhadovaná presnosť regresných modelov
Demografický profil podľa vzorky
Politický profil podľa vzorky
Variabilita odhadov medzi vzorkami

Pre lepšie pochopenie súčasnej situácie v komerčne dostupných online vzorkách bez pravdepodobnosti uskutočnilo Pew Research Center štúdiu, v ktorej bol identický dotazník s 56 položkami podaný deviatim vzorkám dodaným ôsmimi rôznymi dodávateľmi.

Takmer všetky otázky (52) boli položené aj na vlnách strediska zameraného na pravdepodobný americký panel trendov (ATP), ktorý sa vykonáva prevažne online, ale obsahuje odpoveď elektronickou poštou pre dospelých, ktorí nemajú prístup na internet. Vzorky boli vyhodnotené pomocou celého radu metrík vrátane odhadovaného skreslenia 20 úplných odhadov výberového zisťovania, pre ktoré sú k dispozícii vysoko kvalitné vládne kritériá, odhadovaného skreslenia pre odhady hlavných demografických podskupín a prediktívnej presnosti štyroch rôznych regresných modelov. Medzi najdôležitejšie zistenia tejto štúdie patria:



  • Online prieskumy o pravdepodobnosti nie sú monolitické.Štúdia ako východiskový bod zisťuje, že metódy používané na vytváranie vzoriek nepochybnosti online sú veľmi variabilné. Predajcovia sa podstatne líšia v tom, ako prijímajú účastníkov, vyberajú vzorky a prieskumy v teréne. Líšia sa tiež tým, či a ako vážia svoje údaje. Zdá sa, že tieto dizajnové rozdiely sa prejavujú v hodnotení vzoriek podľa rôznych metrík kvality údajov. Všeobecne vzorky s prepracovanejšími postupmi vzorkovania a váženia a dlhšími periódami poľa priniesli presnejšie výsledky. To znamená, že naše údaje pochádzajú iba z deviatich vzoriek, takže účinky týchto faktorov nie sú dobre izolované, čo robí tieto konkrétne závery v najlepšom prípade predbežnými.
Pozoruhodné rozdiely v kvalite údajov medzi online vzorkami
  • Niektoré predsudky sú v rámci online vzoriek konzistentné, iné nie.Všetky hodnotené vzorky zahŕňajú viac politicky a občiansky angažovaných jednotlivcov, ako naznačuje referenčný zdroj. Predsudky týkajúce sa opatrení dobrovoľníctva a riešenia komunitných problémov boli veľmi veľké, zatiaľ čo zmeny týkajúce sa politickej angažovanosti boli skromnejšie. Napriek obavám z chyby merania na týchto položkách sa uznáva, že tieto chyby sú skutočné, pretože niekoľko štúdií dokumentuje súvislosť medzi spoluprácou s prieskumami a ochotou zapojiť sa do dobrovoľníckych aktivít.3

Existujú aj dôkazy, aj keď menej konzistentné, že online vzorky týkajúce sa pravdepodobnosti sa viac prikláňajú k určitému životnému štýlu. Väčšina vzoriek má neúmerne vysoký podiel dospelých, ktorí nemajú deti, žijú sami, poberajú dávky v nezamestnanosti a majú nízky príjem. V niektorých ohľadoch je to štvorec so stereotypom, aký si možno predstaviť pre ľudí, ktorí si nájdu čas na účasť na paneloch online prieskumov, možno podobných práci na čiastočný úväzok. V iných dimenziách sú však odhady nespochybniteľnosti online buď celkom presné (napr. Majú vodičský preukaz alebo čas, ktorý majú v súčasnej dobe bydlisko), alebo predsudky nie sú vo vzorkách konzistentné (napr. Denné fajčenie).

  • Pre odhady založené na čiernych a Hispáncoch sa našli rozšírené chyby. Predajcovia online prieskumu o pravdepodobnosti chcú poskytnúť vzorky, ktoré reprezentujú rozmanitosť americkej populácie. Dôležitou otázkou však je, či sú členovia panelu, ktorí sú členmi rasových a etnických menšín, širšie zastúpení v týchto skupinách. Táto štúdia naznačuje, že nie sú. V rámci deviatich vzorcov pravdepodobnosti bola priemerná odhadovaná odchýlka od porovnávaných položiek viac ako 10 percentuálnych bodov pre hispáncov (15,1) aj čiernych (11,3). Okrem toho online vzorky zriedka priniesli presné odhady okrajových účinkov hispánskeho alebo čierneho na podstatné výsledky pri kontrole iných demografických údajov. Tieto výsledky naznačujú, že vedci, ktorí používajú online vzorky nepravdepodobnosti, sú vystavení riziku vyvodenia nesprávnych záverov o účinkoch spojených s rasou a etnickým pôvodom.
  • Reprezentatívny demografický profil nepredpovedá presnosť. Nevážený demografický profil vzorky nebol vo veľkej miere silným prediktorom presnosti vážených odhadov prieskumu. Napríklad dve vzorky s najnižšou celkovou presnosťou sa umiestnili veľmi vysoko, pokiaľ ide o to, ako dobre sa ich nevážené demografické údaje zhodovali s referenčnými hodnotami populácie.4Z toho vyplýva, že dôležité je, že respondenti v každej demografickej kategórii odrážajú svoje náprotivky v cieľovej populácii. Správne okrajové rozloženie hispáncov nie je veľmi dobré, ak sa sledovaní hispánci systematicky líšia od hispáncov vo väčšej populácii.
  • Jedna z online vzoriek dosahovala neustále najlepšie výsledky.Ukážka I neustále prekonávala ostatné, vrátane ATP založenej na pravdepodobnosti, a umiestnila sa na prvom mieste takmer vo všetkých zvažovaných dimenziách.5Táto najvýkonnejšia vzorka bola pozoruhodná v tom, že využívala pomerne prepracovaný súbor úprav vo fázach výberu vzorky aj vo vážení. Úpravy zahŕňali podmienenie niekoľkých premenných, ktoré výskumníci často skúmajú ako výsledky prieskumu, ako napríklad politická ideológia, politický záujem a používanie internetu. Náš dojem je, že veľká časť úspechu vzorky I pramení zo skutočnosti, že bola navrhnutá (pred a / alebo počas poľovania) tak, aby zodpovedala referenčným hodnotám populácie v tejto širšej škále dimenzií. Bohužiaľ nemôžeme prísne otestovať toto tvrdenie s údajmi, ktoré máme k dispozícii, pretože máme iba jeden prieskum od tohto dodávateľa a príslušné prvky návrhu neboli v rámci tohto prieskumu experimentálne manipulované. Zatiaľ čo skutočnosť, že vzorka bola podmienená premennými, ktoré sa často považujú za výsledky prieskumu, vyvoláva dôležité otázky, stále sa zdá, že vzorka, ktorú som predal, vyvinula efektívnu metodológiu. Výsledky tejto štúdie naznačujú, že vytvárajú reprezentatívnejší a presnejší národný prieskum ako konkurencia v rámci online priestoru pravdepodobnosti.
  • V porovnaní so vzorkami bez pravdepodobnosti sú výsledky z ATP zmiešané. Panel pravdepodobnosti založený na testovacom centre Pew Research Center, ATP, nevyniká v tejto štúdii tak dôsledne presnejšie ako vzorky bez pravdepodobnosti, pretože jeho celkové silné ukazovanie vo väčšine referenčných položiek je podkopávané nedostatkami v odhadoch týkajúcich sa občianskej angažovanosti. Mal najnižšiu priemernú odhadovanú odchýlku od opatrení nesúvisiacich s občianskou angažovanosťou (4,1 percentuálneho bodu), ale bol v podstate zviazaný s tromi ďalšími vzorkami, ktoré mali najväčšiu zaujatosť pri týchto typoch otázok (13,4 bodu). Pravdepodobným vysvetlením tohto vzoru je, že ATP je naklonená smerom k viac občiansky zaangažovaným dospelým v dôsledku náboru z 20-minútového telefonického prieskumu o politike. Aj keď sa týka zaujatosti voči občianskej angažovanosti, ďalšia analýza naznačuje, že pri odhadoch iných domén negeneruje veľké chyby. Keď zvážime ATP tak, aby bola v súlade s Aktuálnym prieskumom populácie (CPS), aby sme eliminovali túto zaujatosť, existuje len veľmi malý vplyv na ďalšie odhady prieskumu, vrátane odhadov volebných pomerov, identifikácie strany, ideológie a spravodajskej spotreby.6Zámerom tejto štúdie je, že ATP nemá predstavovať všetky vzorky pravdepodobnosti žiadnym zmysluplným spôsobom, ale skôr poskytuje jeden bod porovnania. Je otvorenou otázkou, ako by sa v tejto analýze zhromaždil jednorazový telefonický náhodný výber (RDD) alebo nejaký iný prieskum založený na pravdepodobnosti.
  • Všetky on-line ukážky vypovedajú o podobnom príbehu o politických postojoch a rekreačných záujmoch Američanov. Všetky vzorky naznačujú, že viac dospelých z USA sa považuje za demokratov ako republikánov, aj keď ako skupina všetci nakláňajú viac demokratické prieskumy RDD ako telefonické rozhovory s dvojitým rámom. Všetky vzorky navyše ukazujú, že demokrati a republikáni sú polarizovaní, pokiaľ ide o ich postoje k správnemu rozsahu vlády. Pre istotu existujú určité významné rozdiely v určitých bodových odhadoch - napr. Podiel republikánov, ktorí tvrdia, že vláda robí príliš veľa vecí lepšie, ponechané na podniky a jednotlivcov, je buď 64% alebo 82%, v závislosti od toho, či niekto verí vzorke F alebo vzorka I. Široké kontúry politických postojov Američanov sú si však vo všetkých vzorkách preukázateľne podobné. Rovnakým spôsobom výsledky z batérie 11 položiek osobného záujmu - od záhradníctva po hip-hopovú hudbu - ukazujú, že najvyššie postavené položky majú tendenciu byť rovnaké od jednej online vzorky k druhej.

Táto správa sa zameriava na trh s online prieskumom o pravdepodobnosti, ktorý v súčasnosti existuje. Ale veľká časť súčasného akademického a aplikovaného výskumu v tejto oblasti je zameraná na to, ako je možné tieto vzorky vylepšiť pomocou modelovania. Okrem relatívne jednoduchých „hrabacích“ úprav táto štúdia neskúmala potenciálne výhody komplikovanejších metód na korekciu predsudkov.

Za týmto účelom sa plánujú ďalšie výskumné správy o online vzorkovaní nepravdepodobnosti. Jeden preskúma rôzne spôsoby úpravy, aby určil, ako dobre je možné zlepšiť presnosť a porovnateľnosť odhadov medzi vzorkami bez pravdepodobnosti. Prebiehajúci výskum bude testovať rôzne a zložitejšie prístupy k váženiu (niektoré z nich používajú výskumníci v iných organizáciách) a posúdi ich účinnosť pri znižovaní zaujatosti.

Druhá štúdia bude skúmať spoľahlivosť opakovaných meraní v čase pomocou online vzorcov nepochybnosti. Schopnosť sledovať zmeny v čase bola jednou z kľúčových silných stránok prieskumov pravdepodobnosti.7

Čo znamená (a neznamená) vzorka „pravdepodobnosti“ pre kvalitu údajov

V tejto správe rozlišujeme medzi vzorkami získanými z dizajnu, v ktorom má takmer každá populácia známu, nenulovú šancu na výber „(na základe pravdepodobnosti“), a vzorkami získanými z reklám, pop-up ponúk a iných prístupov v ktoré šance, že sa vyberie daný člen populácie, nie sú známe “(neprokázateľnosť). Po celé desaťročia mali vedci v rámci prieskumov tendenciu uprednostňovať vzorky pravdepodobnosti pred vzorkami bez pravdepodobnosti, pretože vzorky pravdepodobnosti majú teoreticky veľmi žiaduce vlastnosti, ako je približná nezaujatosť a kvantifikovateľné hranice chyby, ktoré poskytujú praktickú mieru presnosti. Pre vedcov, ktorí študujú trendy v postojoch a správaní v čase, predstavuje samotná stabilita procesov vzorkovania založených na pravdepodobnosti ďalšiu zásadnú vlastnosť.

Aj keď rozdiely medzi vzorkami pravdepodobnosti a pravdepodobnosti môžu byť koncepčne jasné, praktická realita je komplikovanejšia. Koreňom komplikácie je neodozva. Ak napríklad 90% ľudí vybraných do prieskumu pravdepodobnosti odmietne odpovedať, pravdepodobnosti výberu sú stále známe, ale individuálne pravdepodobnosti odpovede nie. Vo väčšine všeobecných populačných prieskumov je mimoriadne ťažké odhadnúť pravdepodobnosť odpovede s vysokou mierou presnosti. Ak vedci nepoznajú pravdepodobnosť odpovede, musia sa spoliehať na váženie, aby sa pokúsili napraviť akékoľvek relevantné spôsoby, ktorými môže byť vzorka nereprezentatívna pre populáciu.

Vedci čoraz viac poukazujú na to, že keď má pravdepodobnostný prieskum vysokú mieru neodpovedí, nástroje na nápravu a predpoklady, z ktorých vychádzajú odhady prieskumu, sú podobné, ak nie totožné, s tými, ktoré sa používajú pri vzorkách bez pravdepodobnosti. Prieskumy nepochybnosti a prieskumy pravdepodobnosti s vysokou mierou neodpovedí sa do veľkej miery spoliehajú na modelovanie - či už je to úprava hrabania, postup párovania alebo model sklonu -, aby sa dospelo k tomu, čo vedci dúfajú, že sú presné a spoľahlivé odhady.