Kan vi engang vite om bistanden virker?

I Dagsnytt18 den 14. desember ble det listet opp en rekke ting som angivelig går verre her i verden: brutto nasjonalprodukt BNP, demokrati, krig, osv. Dette til tross for all bistanden i verden, både fra Norge og andre. Dette er et blindspor: Norsk bistand kommer aldri til å definere slike globale trender.

Evalueringer av resultater i norsk bistand bør gjøres på to nivåer, men separat: på programnivå og på systemnivå.

Effekter på programnivå

På programnivå bør det være et minstekrav å bevise at programmet faktisk har en positiv kausal effekt på resultatet det prøver å oppnå. Men for å få penger fra Norge over tid, bør det også bevises at programmet er kostnadseffektivt sammenlignet med alternativene. Det bør være organisasjonenes ansvar å produsere denne typen bevis.

Et hovedproblem med norske bistandsaktører i dag er at de i liten grad benytter seg av randomiserte kontrollstudier - gullstandarden for å avdekke kausale effekter - når de utformer programmer. En typisk innvending mot slike metoder er at de dirigerer bistanden mot programmer som kan måles, men ikke nødvendigvis programmer med størst effekt på folks velvære. Denne kritikken faller på sin egen urimelighet: For å være overbevist om at noe har stor effekt på folks velvære, må man ha data å bygge på. Ellers mener man noe sånt som at ens egne anekdoter bør overgå systematiske data. Dette er selvfølgelig en uholdbar posisjon når man forvalter hundretalls millioner skattekroner.

Det er likevel en risiko for at bistanden kan bli lite innovativ hvis den hele tiden skal fokuseres mot tiltak med best dokumentert effekt. Vi bør derfor ikke tenke svart-hvitt om dette. Bistanden kunne, for eksempel, prioritert 75 prosent av budsjettet til godt dokumenterte programmer, og tillatt 25 prosent til eksperimentering.

Denne typen forvaltning av bistandsmidler gjøres i dag av organisasjonen GiveWell. De evaluerer bistandsorganisasjoner gjennom en grundig prosess, deriblant randomiserte kontrollstudier, og forvalter milliarder av kroner som de distribuerer hvert år. Målet deres er å maksimere hvor mye godt de kan gjøre med disse pengene, slik også målet til norsk bistand burde være. Inntil nylig anbefalte GiveWell to separate lister med organisasjoner: dere såkalte “Top charities” som det er god evidens for at er usedvanlig kostnadseffektive. Og såkalte «Standout charities», som er organisasjoner der kun tidlige eller anekdotiske data tilsier høy kostnadseffektivitet, men som de mener potensielt - med større usikkerhet - kan være like gode eller enda bedre enn deres «Top charities».

Effekter på systemnivå

På systemnivå bør man evaluere hvorvidt norsk bistand, over mange programmer og år, har noen effekt på landene som helhet. Dette er et mye vanskeligere spørsmål å svare på. Det bør være Norad sitt ansvarsområde, basert på åpne, systematiske data fra effekter på programnivå.

Et enkelt sted å begynne, er å forbedre dataene som samles om norske bistandsprogrammer i dag. Verdensbanken har tilgjengelige data med koordinatene for alle bistandsprogrammene sine, som har bidratt til en rekke gode internasjonale studier. Dette burde være relativt enkelt å kopiere. I dag inneholder Statistikkportalen til Norad informasjon om hvor pengene gikk, men lite om hva som faktisk ble gjort. Det burde, for eksempel, la seg gjøre å legge inn helt konkrete investeringer, som antall skoler bygd, politiske partier møtt, eller trær plantet.

Og når programmene har begynt levere solide effektstudier, bør også dette inn.

Med bedre data og solide effektstudier på programnivå, kan vi over tid også forstå mer om hvilke programmer er mest effektive for hvilke formål. Dersom regjeringen har som uttalt mål å gi utdanning til barn i konfliktområder, bør vi ha som mål å kunne svare på hvilke typer programmer som er mest effektive for å oppnå dette, enten det er å bygge skoler, investere i fredsbevarende operasjoner, eller overføre penger til familiene i området.

Det kan godt vise seg etter 20 år at programmene har bidratt til bedre helse, utdanning, og økonomi for tusenvis av mennesker - gode resultater på programnivå, men på systemnivå er landene like udemokratiske og fattige. Har bistanden da feilet? Nei, selvfølgelig ikke. Da har vi fått en realitetsorientering av hva ambisjonene våre skal være. Med dagens system fremstår vi ikke rigget for å få den realitetsorienteringen.

Hva må gjøres?

Det er dessverre langt fra dagens praksis i norsk bistand til gullstandarden innen evaluering av bistand, eller at man faktisk kan vite hvor godt bistanden virker. Et forslag til endring som imidlertid kan gjøres mer eller mindre umiddelbart, er å stille krav til at bistandsprogrammene etablerer randomiserte kontrollstudier. La oss i alle fall begynne å samle inn datagrunnlaget som trengs for å ta bedre beslutninger.

Inntil organisasjonene får dette på plass, kan bistandsmidlene prioriteres på programmer som vi med sikkerhet vet at er kostnadseffektive, og som kan skaleres med større budsjetter. www.gieffektivt.no er et fint sted å starte, med anbefalinger basert på den nevnte organisasjonen GiveWell