Varning för siffror! Särskilt i valtider

När något är osäkert så törstar vi efter fakta, och en av de saker som känns allra mest ”faktigt” är siffror. Det var tydligt i den första delen av Covid-pandemin: Hur många är inlagda på sjukhus? Hur stor är överdödligheten? Hur många insjuknade har vi i Sverige jämfört med resten av världen? Siffror ger oss en del svar, men siffror kan också förvirra mer än de hjälper oss. Det har vi sett nu i den svenska valrörelsen.

I grunden är siffertörsten en bra attityd. Siffror är det bästa sättet att göra information konkret och möjlig att agera på. Vi vill att bilens hastighetsmätare använder siffror och inte bara en färgskala med texten LÅNGSAMT – MEDEL – SNABBT - FÖR SNABBT. Men siffror bär ibland på en skenbar exakthet som gör att vi glömmer att de ofta innehåller osäkerheter.

Mer siffror är väl alltid bättre? 

Låt oss se på två uppmärksammade exempel från valet. Först har vi de nya dagliga opinionsmätningarna, som exempelvis SVT/Novus gjorde. De fick oss att tro att vi visste hur opinionen svängde dag för dag. Men det visste vi egentligen inte, för de frågade bara 500 personer om dagen, och de dagliga förändringarna låg ofta inom felmarginalen. Felmarginalen är ett statistiskt mått som tar hänsyn till att institutet bara har frågat ett litet urval av alla landets väljare.

Men ofta finns också en annan, okänd felmarginal som inte visas, som kommer från systematiska fel i mätningen. I SVT/Novus mätning hade högersidan större stöd på vardagar, men lägre stöd på helgen. Det kan förklaras med att det under veckan är lättare att nå folk som jobbar på kontor (som lutar åt höger) än folk med praktiska jobb (som lutar åt vänster). Detta skapade en tydlig veckovis trend i mätningen, och SVT kunde minst en gång i veckan proklamera att opinionen svängt från den ena till den andra sidan. Men detta var alltså bara den okända systematiska felmarginalen som spökade.

Det andra exemplet visade SVT på sin valvaka. SVT lade stort dramaturgiskt fokus på sin vallokalsundersökning (Valu), som presenterades när vallokalerna stängde. Syftet med den mätningen är dels att få en bred förståelse av hur olika väljargrupper tänker (enkäten har 61 frågor!), och dels att få en första bild av hur valet gick.

Men denna bild är bara aktuell i ungefär två timmar, tills den faktiska rösträkningen börjar rapporteras in. Och mätningen hade fel i vilken sida som vann. Visserligen presenteras resultat för alla åtta partier, och resultaten för de enskilda partierna hade låg felmarginal, men det vi främst ville veta var ju vilken sida som vunnit. Blir Magda eller Ulf statsminister? Jag själv var så desperat efter fakta att jag i två timmar granskade partiernas procenttal, diskuterade konsekvenser med mina nära, lyssnade intresserat på experternas kommentarer och politikernas reaktioner – allt baserat på en mätning som hade mycket kort bästföre-datum och dessutom var fel.

Jag vill ha en second opinion, tack 

Vanliga opinionsmätningar har en fördel: Instituten är oberoende och vi kan göra en samlad bedömning från flera olika undersökningar. Fler siffror är inte alltid bättre, men fler oberoende mätningar är bra. Det finns inte lika många vallokalsundersökningar – TV4 hade visserligen en egen, men verkade inte helt lita på den eftersom de också visade SVTs mätning. Hur som helst hade TV4 också fel i vilken sida som vann.

Siffror utan säkerhet är som kärlek utan kyssar

Den tråkiga slutsatsen är att man helst inte ska visa siffror där osäkerheten gör resultatet otydligt. Jag förstår att SVT ändå vill visa sin Valu, som de planerat i fyra år, men det kan göras utan dramatisk nedräkning och Hollywoodmusik. SVT borde ha varit tydligare med att det var för jämnt för att säga vilken sida som vunnit, och istället lägga tv-tid på enkätens övriga 60 frågor: Hur röstade olika väljargrupper och hur motiverade de sina beslut där inne i röstbåset?

Visst är det svårt att motstå siffrornas förföriska känsla av att utgöra hårda fakta. Men de kommer ofta med osäkerheter som kan göra budskapet helt felaktigt. Är det inte den statistiska felmarginalen, så är det kanske dolda systematiska osäkerheter, som vi lätt glömmer bort.

För att ta en liknelse i din vardag så kanske ditt företag använder enkäter för att mäta både kundernas och medarbetarnas nöjdhet, och sådana mätningar har aldrig 100% svarsfrekvens. Så vilka är det som inte svarade? Tenderar de att vara extra nöjda eller extra missnöjda? Sådant kan ju välta hela slutsatsen från mätningen på ända! Om resultatet har ändrats sedan förra mätningen, beror det på något ni har gjort eller på att andra, nya, grupper har svarat?

Nu börjar en ny fyra år lång kurs i kritiskt tänkande

Den statistiska men felaktiga ”information” vi blev matade med under valet, borde lära oss en läxa: Snabba siffror har ofta dolda felmarginaler. De här problemen finns överallt omkring oss, men vi märker dem inte eftersom vi ofta inte får se något facit. Valet är speciellt, för rösträkningen ger ju till sist ett definitivt svar.

Som vi sett nu kan osäkra siffror utan förståelse lätt slösa vår tid och till och med göra oss mindre kloka än om inga siffror fanns. För att de ska vara användbara behöver de komma från en tillförlitlig process och tolkas i ett sammanhang. Det är också en bra beskrivning av vad UC gör, för vi vet att siffror då verkligen kan bli den bästa sortens fakta.

/Olle Engdegård