{h1}
politik + samhälle

Det är sofistikerat, men kan du tro på YouGovs häpnadsväckande valprognos?

Anonim

Pollingorganisation YouGov har orsakat en röra med sina senaste resultat, som tycks utgöra nästan alla andras 2017 valprognoser.

Analys av dess undersökningsdata föreslog Theresa Mays konservativa parti skulle förlora sin majoritet om valet hade hållits den 31 maj. Enligt sina resultat var TORORNA framme på 311 platser - 19 färre än de vann 2015 och 15 av de 326 behövs för att få en majoritet i parlamentet.

Intressant är YouGovs totala uppskattningar för Tories 85 platser under en annan stor pollare, Michael Ashcroft. Så vad hände? Hur kan en prognos visa att Tories förlorar sin majoritet, medan en annan undersökning visar att May's party seglar till en enkel seger? Är vi på väg till en annan valfri fiasko?

För att svara på denna fråga undersökte vi de enkätmetoder som YouGov och Ashcroft använde.

YouGov pollar cirka 7 000 respondenter dagligen - nästan 50 000 per vecka - om sina röstintentioner för 2017 valet. Med tanke på att det finns 650 valkretsar i Storbritannien (även om de sällan pollar i Nordirlands 18 platser) betyder det att varje vecka finns det ungefär 75 respondenter inom varje valkrets för att dra slutsatser. Ashcroft använder under tiden svaren från 40 000 respondenter varje vecka för att uppskatta sina sittprognoser.

Båda undersökarna använder stora provstorlekar med anständigt täckning i varje valkrets, vilket innebär att det är möjligt att projicera sätes-för-sätesvinnare. Valberedningens beräkningar är nödvändiga för att förutse ett flervalsval eftersom de nationella omröstningarna bara ger oss en känsla av vad den totala rösträtten kommer att bli, inte vilken kandidat som ska vinna i en multipartikonkonkurrens inom 650 olika valkretsar. Precis förutsäga detta är ingen genomsnittlig prestation.

Däremot har de flesta nationella undersökningar (med provstorlekar närmare 1200 svarande) helt enkelt inte tillräckligt många respondenter i varje valkrets för att skapa tillförlitliga uppskattningar. Med detta sagt, ökar ett delprov på 75 mycket marginalen för provtagningsfel (MoSE), eller osäkerheten kring omröstningsestimaten. Medan ett prov på 50 000 har en mycket liten MoSE - endast +/- 1% (för den typiska 95% konfidensen) - ett 75-personers valkretsdelprov har en väsentligt högre grad av osäkerhet: +/- 12%. För att se detta själv, prova den här MoSE-kalkylatorn.

För att korrigera för denna höga grad av osäkerhet använder YouGov och Ashcroft multilevelregression och post-stratification eller MRP ("Mister P") för korta. Den "speciella såsen" bakom Mister P är en sofistikerad metod för att kombinera kända demografiska proportioner (baserat på kön, ålder, utbildning etc. från folkräkningen) med undersökningssvaren för att skapa uppskattningar på valkretsnivå. I teorin bör detta ge markerade förbättringar i prognoserna eftersom det väger pollingresultat med känd folkräkningsmemografi för att justera de slutliga uppskattningarna.

Trots den sofistikerade metoden är den största nackdelen inför YouGov, Ashcroft och andra brittiska undersökare deras rekryteringsstrategi: pollare brukar rekrytera potentiella respondenter via självvalda internetpaneler. American Association of Public Opinion Research varnar för att undersökare borde undvika att samla paneler så här eftersom de kan vara representativa för väljare som helhet. Det brittiska pollsrådets undersökning av branschens misslyckanden i 2015 gav upphov till liknande problem. Att försöka hantera dessa provprocesser är en av motiven bakom YouGov och Ashcrofts antagande av modelleringsstrategierna som diskuterats ovan.

Djävulen i detalj

Men vi borde fortfarande vara försiktiga. Faktum är att ingen mängd av stratifieringsviktning eller undersökningsrakning kan fullständigt korrigera för de inneboende problemen med självval i icke-representativa prover. Och det finns god anledning att tro att röstintelligenserna från YouGov-deltagarna skiljer sig från de flesta människor som väljer att inte delta.

Vad är ledtrådarna för att prognoserna kan vara fel? Om du gräver i YouGov-förutsägelserna hittar vi några riktigt udda projektioner. Ta till exempel städer i London och Westminster valkrets. Där blir en 27% -ig konservativ ledning över Labour 2015 (Con 54%, Lab 27%) en smal Con-Lab-marginal i YouGov-modellen (central förutsägelse: Con 40% Lab 37%).

Eller titta över till Battersea, som var en konservativ ledning på 16% år 2015 och nu projiceras som en 3% -ig ledning för Labour. Men Waveney, marginalen 2015, visar nu en oförändrad konservativ ledning på 5 procentenheter.

Kort sagt, viktningen kommer nästan säkert att vara bättre än att göra inferenser baserat på de obehandlade råa proverna, och Mister P-metoden är så sofistikerad som den blir. Ändå är det underliggande problemet ett exempel på representativitet - det vill säga att se till att undersökta respondenter återspeglar synpunkterna och åsikterna hos befolkningen i de olika valkretsarna samt i hela Storbritannien som helhet. Utan det spelar ingen roll hur stor provstorleken är.

Minns bara The Literary Digests berömda felaktiga förutsägelse 1936 att Alf Landon (vem?) Skulle besegra Franklin D Roosevelt i en jordskred baserat på 2, 4m svar. Tyvärr är det enda sättet att verkligen veta om vikterna är korrekta att vänta tills efter valet. Bra det är bara dagar borta.

Rekommenderas

Biskopen betalar tillbaka mer än $ 5000 för Geelong helikopterresa

Nya natten borgmästare kunde göra städernas drömmar sanna - det är så

Batterikostnaderna sjunker ännu snabbare då elbilförsäljningen fortsätter att stiga