I de myke antakelsers verden
Kravet om målbarhet i utviklingsspørsmål og bistanden har kommet i fokus med tusenårsmålene, og nå igjen med bærekraftsmålene som skal ta over fra 2015. Fra utsiden kan dette virke som et selvsagt gode.
Hvem kan sette spørsmålstegn ved at man setter seg mål for det man driver med? Hva kan være galt med å tallfeste disse målene, og så underveis overvåke hvordan det går?
Misvisende
Den første innvendingen er mest grunnleggende: Det er ikke alt som kan telles som teller, og det er ikke slik at alt som er viktig i denne verden kan tallfestes. I lys av dette er FNs ekspertrapport fra 2014: «A World That Counts» («En verden som teller»), om hvordan man skal måle utviklingsresultater, misvisende.
I mine øyne er den største utfordringen nettopp det motsatte – nemlig det å bry seg om den delen av verden som ikke så lett lar seg telle.
Men vi kan jo late som at alt lot seg telle. Eller fokusere på de tingene som er relative lette å telle. Penger for eksempel. Hvor gode er for eksempel tallene for bruttonasjonalprodukt (BNP) fra fattige land?
Plutselig mye rikere
Slike tall blir rutinemessig brukt og referert til for å bevise økonomisk framgang eller tilbakegang i et land. Den 5. november 2010 annonserer Ghana Statistical Services at BNP for 2010 ble oppjustert til 44,8 milliarder cedi.
Til sammenligning var det gamle tallet på 25,6 milliarder cedi. Det store hoppet skyldtes at referanseåret for beregning av bruttonasjonalproduktet ble endret fra 1993 til 2006.
Det at Ghana plutselig var så mye rikere enn vi trodde var jo gode nyheter. Men vi ante samtidig konturene av et kunnskapsproblem.
I 2012 skrev jeg en artikkel i avisen The Guardian med utgangspunkt i boka mi: Poor numbers. How we are misled by African development statistics and what to do about it. Jeg skrev om Nigeria, og gjettet at på det tidspunktet var landets utalte økonomi i størrelsesorden 40 ganger Malawis BNP.
To år senere steg direktøren for National Bureau of Statistics i Nigeria opp på podiet på et hotell i Abuja og annonserte nye nasjonaløkonomiske tall for Nigeria. Da han steg ned fra podiet var Nigeria blitt en større økonomi enn Sør-Afrika, og det viste seg at økonomien vokste med 58 «Malawis». Årsaken var at referanseåret i Nigeria ble oppdatert fra 1990 til 2010.
Ikke fakta
Dette er et symptom på at noen av de tallene vi bruker for å vurdere suksess og fiasko i utviklingen ikke er harde fakta, men snarere veldig myke antakelser. Kjensgjerningen om at dette er ganske svake statistiske systemer med mangelfull tilgang på tall og ressurser burde gjøre at vi revurderte våre krav til målbarhet i bistanden.
Refrenget i bistanden er «evidence-based policy» – men med så myke tall er det stor sjanse for at man får akkurat det motsatte, altså «policy-based evidence». Dette er ikke bare en teoretisk mulighet, men har blitt stadfestet i forskning.
Et godt eksempelel kommer fra Kenya, der bistandsgivere belønnet høyere deltagelse i grunnskolen. Etter at politikken om direkte belønning for flere elever i grunnskolen ble innført, økte også tallene raskt. Disse tallene ble generert fra skolene selv, som fikk utbetalingerbasert på antallet elever: jo flere elever jo mer penger.
Forskerne Amanda Glassman og Justin Sandefur ved Center for Global Development, skriver at når tallene var hentet inn i uavhengige undersøkelser var de langt lavere. Spriket mellom administrative tall og uavhengige undersøkelser økte etter at bistandsgivere betalte for resultatene.
Systematisk feilinformert
Det finnes mange slike eksempler fra prosjekter som involverer resultatbasert belønning, blant annet vaksineprogrammer i Tanzania, maisprodmaisproduksjon i Malawi eller karaktersetting i skolen i USA. Det som skjer er at en bistandsgivers jakt på resultater forårsaker at det politiske systemet, i dette tiltilfellet Kenya, er systematisk feilinformert.
Man kan investere i informasjon som forbedrer lokal kontroll og innsyn. I Uganda på 1990-tallet beregnet forskere fra Verdensbanken at kun omtrent 1 av 10 dollar som ble tildelt skoler i distriktene, nådde skolen de ble tildelt.
Verdensbanken støttet en reform der det parallelt med utbetalinger ble annonsert i lokalavisa hvor mye penger som var tildelt fra Kampala. Etter at dette tiltaket ble iverksatt nådde 9 av 10 dollar skolene.
Jakt på «bevis»
Bedre tall kan gi bedre resultater – men da må man investere i lokal kontroll og innsyn, og ikke kun fokusere på å generere rapporter med globale resultater som gir aktørene i bistanden «bevis» for at deres prosjekter virker.
FNs nye bærekraftmål omfatter svimlende 17 mål og 169 indikatorer. Disse kunne kanskje gjort nytte hvis tallmaterialet for å måle utvikling lot seg bringe til veie. Men det er flere hull i tusenårsmål- databasen enn det er observasjoner.
Dessverre ligger det nå til rette til for en jakt på tall i bistanden som gjør at vi kommer til å få vite mindre, ikke mer, om hva som skjer.
