Meninger:
Kunnskap er ikke et trosspørsmål
I kronikken «Bistands-lotteriet» er Øyvind Eggen bekymret for at mer bruk av effektevalueringer kan gjøre bistanden dårligere. Hvis vi blir bedre til å bruke metoden, mener jeg snarere at vi kan gjøre norsk bistand bedre og mer effektiv.
Dette er en kronikk. Meninger i teksten er skribentens egne.
Kunnskapsdirektør i Norad
Vi trenger bedre kunnskap om hva norsk utviklingssamarbeid faktisk fører til. Det betyr hvilke resultater vi oppnår, og hvilken effekt bistanden har for menneskene og samfunnene vi støtter.
Her mener Norad det er viktig å bruke kontrollerte eksperimenter oftere. Historisk har vi gjort få slike evalueringer i norsk bistand, og det er fortsatt situasjonen.
Vi trenger at et av de nyttigste verktøyene for å lære om hva og hvordan norsk bistand virker, går fra å være svært lite brukt, til at det blir brukt der det er egnet.
For å legge til rette for det, har Norad de siste årene investert i kapasitetsbygging og opplæring for norsk sivilsamfunn i slike metoder.
Vi samarbeider tett med multilaterale aktører for å øke bruken. Vi stiller tydeligere krav og ønsker at søkere bruker denne typen evalueringer der det er relevant i programsøknadene. Vi oppfordrer også partnere til å bruke kunnskap fra denne typen evalueringer når de velger tiltak og planlegger programmer.
Litt karikert, som Eggen understreker selv i kronikken sin i Panorama, trekker han opp et skille mellom dem som mener vi kan finne de beste løsningene ved å lete i internasjonal forskning, og dem som starter med et land eller gruppe, og med utgangspunkt i det, finner ut hva som er best.
Problemet er at den karikaturen ikke treffer.
Det har vært et strategisk mål å styrke «bruk, deling og systematisering» av kunnskap i Norad siden vi vedtok ny strategi i 2020. Den satsingen kaller vi: fakta har makta. Den er sentral for å følge opp mandatet vi har fått fra regjeringen om å sikre at norsk utviklingssamarbeid er «kunnskapsbasert og kostnadseffektivt».
Det å gjøre vurderinger av hva vi vet, hva vi kan lære av tidligere relevante studier og hva som fortsatt er ukjent, er en kjerneoppgave for alle som jobber kunnskapsbasert med bistand – enten de er byråkrater eller ikke.
Norads fire steg
Først, analyserer vi og operasjonaliserer hva utfordringen vi skal løse er gitt politiske satte mål og strategier. Veldig forenklet, gitt et politisk ønske om å styrke helse, er den sentrale utviklingsutfordringen for landene vi jobber i at de trenger flere vaksiner, eller er det landenes egne helsesystemer som må styrkes? Gitt den politiske prioriteringen av energi-støtte til Ukraina, hvor trengs norske midler til dette mest nå?
Noe av dette leder direkte videre til utvikling av programmer i Norad, noe blir gitt som faglige råd til departementene.
Når vi har en analyse av hva «det er mest behov for», for å sitere Eggen, må vi få en oversikt over hvordan disse behovene faktisk ser ut.
Størrelsen, geografisk fordeling, har spesifikke gruppers spesielle behov og så videre. I den humanitære innsatsen gjøres det for eksempel nå spennende arbeid for å få mer og bedre kunnskap om hvordan mennesker med behov for beskyttelse og humanitær støtte selv forstår og definerer sine behov.
Begge disse stegene er kritisk viktige for Norads kunnskapsarbeid, og for begge vil kunnskap fra effektevaluering ha begrenset verdi. Her trekker vi på landkunnskap og gjør analyser basert på for eksempel politikk og økonomi, spørreskjema og administrative data. Det i tillegg til våre egne fagfolks erfaring og innsikt, og kunnskapen vi får fra partnere og nettverket av norske utenriksstasjoner.
Mye av diskusjonen om kunnskap i bistanden zoomer inn på en måte å bygge kunnskap på, eller et spesifikt steg i arbeidet. Da går du deg lett vill. Zoom ut, og så blir det klart at for å sikre kunnskapsbasert bistand trenger vi solid forskning og evaluering, inkludert mer effektevaluering.
I tredje steg er spørsmålet: Gitt utviklingsutfordringen og analysen av behov, hva – om noe – kan vi gjøre med det? Hvilke verktøy har vi, hvilke tiltak kan vi støtte, og hvordan kan vi bruke pengene mest effektivt?
Erfaring og ekspertise er viktig. Men her er effektevaluering, sammen med teoretisk arbeid, studier basert på korrelasjoner og selvfølgelig kvalitativt arbeid, spesielt nyttig. Her skulle vi ofte ønske oss at mer slik kunnskap ble produsert.
Hver eneste bistandskrone har en alternativkostnad. Vi kunne alltid brukt den på en annen måte.
En enkelt effektevaluering er alltid kontekstspesifikk. Men det betyr ikke at generalisering er et trosspørsmål. Generalisering er et empirisk spørsmål. Vi må vurdere hva fra en studie gjort et sted, som er relevant for arbeidet vårt et annet sted.
Det å gjøre denne typen vurderinger av hva vi vet, hva vi kan lære av tidligere relevante studier og hva som fortsatt er ukjent, er en kjerneoppgave for alle som jobber kunnskapsbasert med bistand – enten de er byråkrater eller ikke.
Vi begynner ikke fra null for hvert nye prosjekt. Vi bygger kunnskap sten på sten, over tid og prosjekter blir vi slik mer og mer sikre på, for eksempel, hva kontantoverføringer har effekt på, hvilke områder hvor de ikke gir effekt og hva som påvirker hvordan slike programmer virker. De mekanismene er ofte relevante når et tiltak blir prøvd i en ny kontekst.
Fjerde og siste steg: Til og med de mest gjennomstuderte bistandstiltakene må skreddersys politiske forhold i landet, geografien og sosioøkonomiske og kulturelle forhold og så videre for å virke – og definitivt for å virke så godt som mulig. Norad trenger videre kunnskap om hvilke partnere, eller type partner, er det myndigheter, sivilsamfunn eller multilaterale organisasjoner, som best kan levere resultater her?
Her vil vi fremme lokalt ledet utvikling og bygge på dypt lokalt forankret kunnskap om nettopp disse forholdene.
Vi må zoome ut
Mye av diskusjonen om kunnskap i bistanden zoomer inn på en måte å bygge kunnskap på, eller et spesifikt steg i arbeidet. Da går du deg lett vill.
Zoom ut, og så blir det klart at for å sikre kunnskapsbasert bistand trenger vi solid forskning og evaluering, inkludert mer effektevaluering. Vi trenger dyp landkunnskap og kunnskap basert på erfaring med iverksetting av bistand. Og vi trenger informasjon om resultater, om hva vi oppnår.
Alt sentralt for å lære, og alle deler noe vi hele tiden jobber med å styrke hos Norad slik at vi kan sikre at vi utretter mest mulig med de ressursene vi forvalter.
