Bistands-lotteriet

Øyvind Eggen

Tidligere utviklingsforsker og fagdirektør for evaluering i Norad

Dette er en kronikk. Meninger i teksten er skribentens egne.

Vi som jobber med bistand, får ofte kritikk for svakt resultatarbeid. I tillegg er vi ganske gode på selvpisking, så selvbildet er ikke alltid på topp.

Men når det gjelder evalueringsmetoder, ligger vi faktisk langt framme.

Finansminister Stoltenberg vil bruke randomiserte studier for å trekke 100 000 tilfeldige unge og gi dem skattelette for å teste effektene. 

Slike metoder har vært brukt i bistanden siden 1990-årene og særlig de siste ti–femten årene. Bistand er mye bedre evaluert enn norsk skattepolitikk.

Etisk akseptabelt

I bistandsdebatten er vi stort sett forbi det spørsmålet som får mest oppmerksomhet i den norske debatten om «skattelotteri», der et tilfeldig utvalg av mottakere oppfattes som urettferdig.

I bistand er slik randomisering ofte mulig uten store etiske dilemma. Det er ikke mulig å hjelpe alle, og ofte vanskelig å vite presist hvem som trenger bistand mest. 

Ofte er det lurt å starte ett sted, før tilbudet etter hvert rulles ut til alle. I slike tilfeller er det nesten uetisk ikke å randomisere for å gjøre framtidig bistand bedre.

Det finnes også metoder som gir nesten like verdifull kunnskap uten randomisering; kvasi-eksperimentelle metoder.

Gullstandarden

En samlebetegnelse på disse metodene er effektevaluering. Effekt kan selvsagt også evalueres på mange andre måter, men dette er den suverent beste metoden til å måle effekt, og kalles ofte «gullstandarden».

Som annet gull er det verdifullt, men dyrt og sjeldent – det kan ikke utvinnes overalt. Derfor er det viktig med refleksjon om metoden, samtidig som vi «utvinner gull» der vi kan.

Den norske bistandsdebatten om slike metoder står i et litt uheldig hjørne for tiden.

Noen snakker om effektevaluering som den eneste, eller iallfall den suverent beste kilde til kunnskap om bistand. Eller de snakker på måter som underforstått forutsetter at bare effektevalueringer kan gi oss svaret på hva som er best bistand.

De har en hammer, og ser bare spiker. Det hjelper ikke debatten om god bistand – fordi det blir vanskelig å snakke om annet enn spiker.

Selvskading

På den andre siden står en taus majoritet av bistandsarbeidere som er sterkt kritiske, men ikke offentlig. 

Uformelt sier de kanskje noe slikt som «det er ikke så enkelt», istedenfor å komme med gode motargumenter. Det er feigt, og bidrar ikke til god debatt.

Jeg forstår hvorfor. Det er selvskading i bistanden å være motstander av den åpenbart beste måten å måle effekt på. Og selv om motargumentene er gode, tar de så lang tid å forklare at det ikke får plass i offentlig debatt.

Fundamental uenighet

Debatten er vanskelig også av en annen grunn: De to posisjonene i metodedebatten samsvarer med fundamentalt ulike syn på hvordan man bør jakte best mulig bistand, og her er mye følelser.

Lett karikert: Noen tenker at god bistand er å finansiere de mest effektive tiltakene, og søker internasjonalt etter beste tilgjengelige kunnskap om hva som virker best. Andre insisterer på å starte med ett land, målgruppe, institusjon eller lokalsamfunn, og med det som utgangspunkt vurdere hva det er mest behov for og hvordan bistand kan bidra best mulig.

Dette har ikke egentlig med effektevaluering å gjøre, men jeg er sikker på at hvis det hadde vært mulig å måle, ville vi funnet sterk korrelasjon.

Proxy-debatt

Metodedebatten blir derfor en proxy-debatt om hva som er god bistand. Men også denne viktige debatten bremses av at én part feiger ut. 

Ofte brukes ord som «kontekst» og «kompleksitet» – som bare er andre ord for «det er ikke så enkelt» – framfor konkrete argumenter.

Derfor: Her er noe av det jeg tror skeptikerne forsøker å si:

Generalisering er et trosspørsmål

Det er en grunn til at randomisering er mest utbredt i medisinfaget og kontroversielt i alle andre fagområder. Kropper er ganske like, mens mennesker og samfunn er heterogene og omskiftelige – særlig der bistanden er tenkt å virke.

Vi vet ikke om effekten av et tiltak er det samme på ulike steder eller ulike tider. Vi kan bare anta, iallfall inntil mange effektevalueringer viser samme resultat hver gang, for hvert tiltak.

Tiltak skal nemlig ikke bare måles, men sammenlignes: Det er testet at skolemat øker skoledeltakelsen. Men vi må vite om dette er bedre enn gratis skoleuniform, lønnsøkning for lærere, behandling av innvollsorm, bedre jentetoaletter og mye annet før vi vet hva som er beste tiltak. Hvis effekten av alle disse er ganske lik overalt, kan effektevalueringer fortelle hva som er beste tiltak hvert sted.

Dette er i bunn og grunn et trosspørsmål, og bistanden preges av ulike trossamfunn: Noen legger til grunn at samme tiltak vil ha omtrent samme effekt i ulike samfunn. Andre insisterer på at samfunn er så unike at egne løsninger må utvikles hvert sted.

Effektevaluering er dyrt, og bare verdt pengene om vi tror at resultatene kan generaliseres. De som ikke tror på det, søker løsninger basert på annen kunnskap; fagkunnskap, lokalkunnskap og erfaring.

Les Solhjells tanker om lotteri i bistanden

Vi kan teste tiltak, ikke bistand

Et tiltak kan være supereffektivt, men finansiering av tiltaket kan likevel ha lite effekt. Gode tiltak får lett støtte fra private givere, og da er effekten av Norad-finansiering nær null. Myndighetene eller lokalsamfunnet ville kanskje løst problemet på andre måter – langt mindre effektivt, men med egne ressurser fordi de tok eierskap selv.

Bistand påvirker dessuten hvordan de samlede ressursene i samfunnet blir brukt på lengre sikt. Institusjoner styrkes og svekkes, makt flyttes og samfunn endres. Hvis volumet blir stort, slår negative makro-effekter inn. Bistand kan også virke katalytisk ved å mobilisere andre ressurser, eller transformativt gjennom å skape samfunnsendring.

Derfor kommer du ikke langt ved å måle effekten av et enkelttiltak og så multiplisere. Du trenger mye annen kunnskap før du vet nok om effekten av bistand.

Effektevalueringer forteller ikke hva som er best

Bare i noen av alle mulige bistandstiltak er det mulig å slå fast effekt presist. Det handler ikke om vilje, kompetanse eller ressurser, men samfunnsvitenskapelig metode. 

Det finnes heller ingen metode til å vurdere om bistand som kan måles på denne måten, er mer effektiv enn annen bistand. Det er ingen nødvendig korrelasjon mellom målbarhet og effektivitet.

Effektevalueringer kan derfor bare hjelpe oss å velge mellom noen typer tiltak, men ikke fortelle hva som er best.

Kan gjøre bistanden dårligere

Her ligger den farligste grøfta for bistanden: Hvis bistandsorganisasjoner bruker effektevalueringer som hovedverktøy i jakten på best mulig bistand, er veien kort til å velge tiltak som gjør slike evalueringer mulig. I neste omgang får de så «bekreftet» at disse er effektive, og tror derfor at de har gjort riktige valg.

Det er gode grunner til å prioritere «evaluerbar» bistand, blant annet fordi skattebetalere forventer bevis på at bistanden virker. Men vi må være ærlige på at det kanskje gjør bistanden dårligere.

Alle norske bistandsorganisasjoner vet dette, men ikke alle politikere og beslutningstakere i forvaltningen. De formes av hva de hører. 

Hvis toneangivende aktører snakker som om alle viktige effekter kan måles, og at det nærmest er uansvarlig ikke å måle, kommer kanskje denne logikken til bistandsorganisasjonene ved neste korsvei.

Slike faremomenter er ingen grunn til å slutte med effektevalueringer. Det vil være like dumt som å slutte med hammer. Men vi trenger bedre debatt om hvilke verktøy som kan og bør brukes i jakten på best mulig bistand.