Følgeevaluering – integrert del av fremtidens bistand

På et diskusjonsmøte hos Norads Policy Forum tidligere i år, var temaet ‘hvorfor bistanden må endre seg og hvordan’. Lena Ingelstam, partnerskap- og innovasjonsdirektør i Sida kunne fortelle om nye måter å utvikle bistanden på. Sida er også på jakt etter nye, mindre byråkratiske prosesser, fra prosjektidé til implementering. Men fremfor alt var hun opptatt av dialog og evaluering. Det ansporer oss til videre tenkning omkring nettopp evalueringsverktøy.

Konsekvenser for vårt fagfelt

Norad stiller med rette kritiske spørsmål til hvordan utvikling kan skje. Utvikling er ingen rettlinjet prosess, og det finnes «skoler» som hevder at de vet bedre enn andre hva det er som fører til utvikling. Utviklingspolitikk og -innsats går ut på å gripe inn i internasjonale, nasjonale og lokale kontekster, for bidra til å enten endre, forsterke eller hindre visse sosiale, økonomiske og økologiske trender og prosesser. Mye av det vi gjør er basert på kunnskap vi har med oss hjemmefra og hevdvunnen erfaring fra felt. Noe er fundert i den gode vilje og god tro. Og det meste av dette er risikotagning.

Primært handler det dessuten om å støtte opp om andres utvikling, det vil si initiativ og endringsprosesser som er eid og drevet av partnere, og hvor vår kompetanse og finansielle støtte skal bidra til å oppnå egendefinerte mål i den gitte kontekst. Da må man også ha evalueringsverktøy som tar det lokale eierskap, kontekst og løpende og reelle endringsfaktorer på alvor – og hvor analysen av prosessen gir erfaring og innsikt for videre utvikling av planer og implementering av tiltak.

Norsk utviklingspolitikk baserer seg derfor på en sterk evalueringsenhet i Norad. Alle bistandsorganisasjoner evaluerer også sine egne prosjekter, med innleide krefter. Men det hele skjer som regel i etterkant av en avsluttet prosjektsyklus. Finnes det bedre måter å gjøre dette på? Vi lever i en reformvillig periode, men da må reformer igangsettes på en måte som gjør at vi kan forske på effekten.

For å få til å levere resultater på så mange viktige områder, er det viktig at nye satsinger og eventuelle reformer av eksisterende satsinger skjer på en kunnskapsbasert måte.

Følgeevalueringens metode

Følgeevaluering betyr rett og slett at evalueringen følger programmet fra start. Følgevalueringen skiller seg fra ordinær resultatmåling ved at den utføres av et eksternt team av konsulenter for å sikre upartiskhet, og at metodene som benyttes er standard forsknings- og evalueringsmetoder. Dette skriver Norad selv på sine hjemmesider. Hvilke metoder som benyttes er avhengig av spørsmålene som skal besvares, og kan være alt fra avanserte statistiske metoder til deltakende observasjon og tekst-tolkning. En følgeevaluering skal balansere målene om ansvarliggjøring og læring. Det er flere fordeler med en følgeevaluering. Blant annet kan man gi tilbakemeldinger underveis, og man kan sikre at informasjon som er nødvendig for å si noe om effekter av et program blir samlet inn. En ulempe er at det kan oppstå et press på at evalueringsteamet skal gi hurtige tilbakemeldinger som kanskje ikke er forenlig med solid forskning.

Norad har med andre ord stor bevissthet rundt dette. Nå bør dette utvides også til organisasjonene.

En utfordring til UD, Norad og oss

En femtedel av norsk bistand kanaliseres gjennom sivilsamfunnsorganisasjoner. Det er et særpreg ved vår bistand, slo nettopp evalueringsdirektør Per Øyvind Bastøe fast.

Derfor planlegger evalueringsavdelingen i Norad nå ikke mindre enn fire evalueringer på sivilt samfunn dette i evalueringsprogrammet for 2017-18. Evalueringen er ment å bidra til bedre måloppnåelse.

Norge driver allerede følgeevaluering av det norske skoginitiativet. Her følges arbeidet som utføres i Den demokratiske republikken Kongo, Indonesia, Brasil og det globale arbeidet mot avskoging, det såkalte Redd-programmet.

– Sett av en fast andel til følgeforskning, krevde Forskerforbundets leder Petter Aaslestad under Arendalsuka 2016. Han konstaterte at noen departementer, som Samferdsel og Justis, bruker svært lite penger på forskning. Hovedanliggende her er at vi må være sikre på at vi gjør gode, langsiktige prioriteringer for samfunnet vårt. Akkurat som i bistanden.

Godt forankret i akademia

Akademia er naturlig nok også svært opptatt av samme saksfelt og at følgeforskning/følgeevaluering er komplementære strategier for kvalitetssikring av utviklings- og endringsprosesser.

Følgeevaluering er primært dynamisk, dvs. utviklingsorientert, og har fokus rettet mot å utvikle både produkt/resultat og prosess. Vi snakker om en dialogbasert og deltakende metode, hvor kontekst- og prosessforståelse er svært viktig, og hvor samspillet mellom evaluator og de som implementerer er avgjørende. I følgeevaluering kan derfor ikke evaluator opptre som "besserwisser" eller "orakel", skriver Niels Arvid Sletterød fra Nord-Trøndelagsforskning i en forskningsartikkel.

«Evaluator kan altså ikke avgjøre hvordan en aktør skal handle bedre enn aktøren selv. Det evaluator kan, og som er viktig i følgeevaluering, er å bidra med begreper, modeller, samle empiri samt utvikle perspektiv og problematiseringer som legger til rette for å øke aktørenes læring og sjølinnsikt. Det blir da et viktig kunnskapsmessig fundament for praktisk handling.»

Sletterør er opptatt av fokus på en kontekstuell forståelse og at dialogen derfor er det viktigste verktøyet for å utvikle praksis. Lena Ingelstam og Sida ser ut til at de også er inne på de samme tankebaner.

Dette må være veien å gå, på flere bistandsområder. Såkalt formativ evaluering, med anbefalinger i etterkant, er et viktig element i verktøykassa, som måler og rapporterer på resultater. Men det er ikke nok. Vi trenger en aktivere dialog som skaper resultater. Da vil følgeevaluering over et bredere spekter enn i dag være et nytt verktøy til å oppnå det vi alle arbeider for: Utrydde fattigdom og fremme rettigheter basert på bærekraftsmålene.