Cijfers op waarde geschat
Onderzoek & R&D
[Recensie] “There are three kinds of lies: lies, damned lies and statistics”, schreef Mark Twain al. Sanne Blauw legt in haar boek helder en humoristisch uit op welke manieren cijfers kunnen misleiden.
Correlatie wordt vaak verward met causaliteit, laat econometrist Sanne Blauw (De Correspondent) zien. In huizen met meer ooievaarsnesten worden bijvoorbeeld meer baby’s geboren. Maar zoals we allemaal weten brengen ooievaars geen baby’s. Hoe komt dit dan? Nou, toekomstige ouders wonen in grotere huizen. Daarop nestelen meer ooievaars dan op kleine studenten- en seniorenflats.
Hoe cijfers worden verzameld is ook belangrijk. In een groot seksonderzoek ondervroeg een professor vrouwelijke studenten op zijn kantoor. Ze deden zich allemaal kuiser voor dan ze eigenlijk waren. Buiten stonden namelijk mannelijke studenten te wachten. En die zouden wel eens kunnen concluderen dat de studentes een losbandig seksleven hadden, als de gesprekken lang duurden.
Inzichtelijk is het hoofdstuk over standaardisatie: hoe we de ingewikkelde werkelijkheid proberen te vangen in één cijfer. Door de welvaart van een land bijvoorbeeld gelijk te stellen aan het bbp en daar beleid op te maken, terwijl je daarmee voorbij gaat aan belangrijke zaken als de kwaliteit van onderwijs en gezondheidszorg.
Het meest actuele hoofdstuk gaat over big data-algoritmes. Hier maken we dezelfde fouten als met ‘normale’ cijfers. Correlatie en causaliteit worden door elkaar gehaald, abstracte concepten worden in een cijfer gevat en de herkomst van data kan net zo schimmig zijn. In de VS gebruiken rechters bijvoorbeeld algoritmes om de kans te berekenen dat een veroordeelde opnieuw de fout in gaat. Zo’n berekening heeft grote gevolgen: het bepaalt mede of iemand vervroegd wordt vrijgelaten. Maar als iets abstract is, is het wel de toekomst.
Als Mark Twain al waarschuwde voor cijfermatig gejok, hoe kan het dan dat het nog steeds zo vaak mis gaat? We wíllen sommige statistieken heel graag geloven. Uit onderzoek blijkt dat mensen statistieken interpreteren op een manier die bij hun identiteit bevestigt. Nu ik plastic scheid, geloof ik bijvoorbeeld graag cijfers die zeggen dat dit nut heeft en negeer ik het liefst de onderzoeken die melden dat het effect minimaal is.
Tegen het einde van het boek werd ik een beetje wanhopig. Kunnen we dan nooit cijfers vertrouwen? Gelukkig eindigt Blauw positief. Neem bijvoorbeeld dat abstracte concept bbp. De afgelopen jaren hebben allerlei wetenschappers en organisaties hun eigen maatstaven bedacht om het bbp aan te vullen. Zo meet het Centraal Bureau voor de Statistiek sinds kort het ‘breed welvaartsbegrip’. Dit ‘meet’ de kwaliteit van het leven nu en de invloed ervan op toekomstige generaties. Het kan dus wel beter. Blauw’s boek leest als een trein en laat je kritischer kijken naar de overvloed aan cijfers om ons heen.
—
Eerder verschenen in TW
