Utenriksetatens evalueringssystem i krise

Dette er et debattinnlegg. Meninger i teksten er skribentens egne.

Erik Berg Erik Berg

Historiker og tidligere diplomat, utviklingsarbeider og sjef for Evalueringsenheten

Hovedformålene med evaluering er kontroll, læring, styring og formidling. Det innebærer å gi informasjon til bevilgende myndigheter og allmennheten, samt å bygge bro mellom resultater og budsjetter. 

Evaluering skal være en del av et plan- og gjennomføringssystem. Den er avhengig av at det foreligger presise og relevante mål, delmål og indikatorer. 

I reglementet for økonomistyring i staten heter det at alle offentlige virksomheter skal sørge for at det gjennomføres evalueringer for å få informasjon om effektivitet, måloppnåelse og resultater innenfor hele eller deler av virksomhetens ansvarsområder og aktiviteter.

Dette skal rapporteres til Stortinget (Budsjett-proposisjon 1) for blant annet å danne basis for beslutninger om kommende års utviklingsbudsjett. 

Over tid har rapporteringen fra UD blitt tynnere og tynnere. 

Ansvaret for dette ligger i Stortinget. 

OECD ledet an

Fra tidlig på 1970-tallet har utenriksetaten hatt sitt eget kontroll-, lærings- og informasjonssystem basert på Norads bistandsvirksomhet. Det var da evaluering for alvor ble tatt i bruk i internasjonalt utviklingssamarbeid. 

Særlig Verdensbanken og United States Agency for International Development (USAID) lå i forkant med hensyn til metodisk utvikling blant annet ved å knytte evaluering til bruken av logisk prosjektanalyse. Tiltak skulle styres i henhold til resultatene. 

Utviklingskomiteen til Organisasjonen for økonomisk samarbeid (OECD-DAC) opprettet en egen evalueringsgruppe som utviklet retningslinjer og metodiske standarder. Særlig likesinnede land la vekt på å følge disse.

Med Økonomireglementet for staten, iverksatt fra 1998, fikk departementene pålegg om periodisk å gjennomføre evalueringer av virksomhetens oppgaveløsning og virkemiddelbruk, samt alle tilskuddsordninger. Dette for å kartlegge den samfunnsmessige virkningen av innsatsene. 

I UD var Økonomireglementets pålegg en viktig årsak til at evalueringsvirksomheten umiddelbart ble oppprioritert og omstrukturert. Virksomheten ble også utvidet fra bistand til å omfatte utenrikspolitiske tiltak. 

Evalueringsfunksjonen ble i 1983 flyttet fra Norad til det nyopprettede Departementet for utviklingssamarbeid. Her lå den til 1990. Da ble den som seksjon lagt til Bilateral avdeling i Utenriksdepartementet.

I 1997 ble funksjonen en del av en planleggings- og evalueringsenhet i stab under utenriksråden. I utviklingsminister Hilde F. Johnson (KrF) sin første periode, med departementsråd Tanja Storm som pådriver, ble det på basis av en intern utredning vedtatt å styrke funksjonen. En egen instruks ble vedtatt, og budsjettet økte vesentlig. 

I 2004 ble funksjonen flyttet tilbake til Norad, og dens betydning ble svekket. Et underliggende direktorat skulle vurdere et overordnet departement – og seg selv. 

I 2024 ble det, som ledd i Senterpartiets desentraliseringspolitikk, vedtatt å flytte funksjonen til Førde. 

Året etter ble det gjennomført null evalueringer. De nytilsatte har ingen erfaring med bistandsevalueringer.

Økt bistand, mindre kontroll

Samtidig som bistandsbudsjettet har vokst, bevilges stadig mindre penger til uavhengige evalueringer av norsk bistand. Følgende tall illustrerer utviklingen: 

• Budsjettet for evalueringsarbeidet var i 1998 15,3 millioner kroner mot 10,3 millioner i 1997. En bemanning på 5 årsverk mot 1,5 året før produserte 14 evalueringer. Mot fem i 1997. I tillegg ble det arbeidet med 11 studier og utredninger av ulik art.
• I 2012 var bistandsbudsjettet på drøyt 27 milliarder. Norads evalueringsavdeling fikk 33,2 millioner kroner til å gjennomføre evalueringer. Lønnsmidler til 11 ansatte kom i tillegg.
• I 2022 har bistandsbudsjettet vokst til nesten 50 milliarder. Men budsjettet som evalueringsavdelingen i Norad rådde over, var nesten halvert til 16,3 millioner. Antallet ansatte var samtidig redusert til åtte.
• I 2025 er bistandsbudsjettet på nesten 60 milliarder. Det ble satt av drøyt 12 millioner – tilsvarende 0,02 prosent av budsjettet – til evalueringsavdelingens arbeid. Dette er cirka to tredeler av «omsetningen» i 1998. Lønnsmidler til ni ansatte kommer i tillegg.

«Feil konsept»

Tidligere evalueringsdirektør i Norad, Per Ø. Bastøe, karakteriserer flyttingen til Førde på følgende måte:

«Hele konseptet er feil. Troverdige og gode evalueringer krever at man har kunnskap om det man skal evaluere, at man kjenner både organisasjonen og den eksterne konteksten. Jeg er veldig i tvil om at de i det hele tatt har gode nok forutsetninger for å oppfylle det. Jeg er redd dette har begrenset nytteverdi.»

Bastøes vurdering av våre utviklingspolitikere er følgende: Man er ikke så opptatt av resultatene, så lenge intensjonene er gode.

I tillegg til det arbeidet Norads evalueringsavdeling er pålagt, bestiller Norad og UDs avdelinger, samt ambassadene egne studier – såkalte desentraliserte evalueringer, tidligere betegnet prosjektgjennomganger. Disse har ikke de samme kravene til kvalitet og uavhengighet som Norads evalueringsavdeling har. 

To evalueringer, i 2017 og 2020, kom med krass kritikk av kvaliteten på det evalueringsarbeidet som avdelingene og ambassadene hadde gjennomført. 

«Rundt halvparten av de desentraliserte evalueringene har så store svakheter at det er grunn til å stille spørsmål om disse gir troverdig informasjon om effekter og resultater av norsk bistand», understrekes det i oppfølgingsnotatet til utenriksråden fra Enhet for tilskuddsforvaltning i Norad 8.10.2021.

En multilateral blindsone

Når mer enn 60 prosent av norsk bistand gis multilateralt gjennom FN og Verdensbanken, byr det på særlige utfordringer. Disse utfordringene har utenriksetaten i liten grad tatt stilling til. 

FN har sitt eget evalueringssystem som kombinerer desentraliserte kontorer i hver organisasjon. Evalueringspraksisen koordineres gjennom en egen evalueringsgruppe (UNEG), mens et eget kontor er etablert for evaluering av bærekraftmålene (UN System-Wide Evaluation Office). Det vurderer FNs samlede bidrag til måloppnåelse.

Multilateral Performance Network (MOPAN), som er et samarbeid mellom mer enn 20 giverland, har gjennom årene gitt varierende og begrenset kunnskap om resultatene av norsk bistand gjennom multilaterale organisasjoner. 

Problemet er at det multilaterale evalueringssystemet i liten grad viser hva det enkelte medlemslands bidrag faktisk oppnår.

Det er vanskelig å forstå at Stortinget ikke har tatt fatt i denne utfordringen.

Bukk og havresekk? 

På 1980- og 90-tallet jobbet jeg med evaluering i Departementet for utviklingshjelp og UD. Den gang som nå, reagerte jeg på bruken av begrepet «uavhengig evaluering». 

Etter mitt syn gjenspeiler evalueringsfunksjonens svake effektivitet gjennom 50 år først og fremst avhengighet. Av tildelte budsjetter, stillinger, kritiske oppdragsbeskrivelser og gjennomføringsteam samt direkte tilgang til politisk og administrativ ledelse, Storting og styringsverk. 

Når evalueringsfunksjonen er plassert internt i en etat med sterke maktstrukturer, vil vurderinger av kollegers arbeid, og hensynet til egen karriere, nødvendigvis begrense kritikk, initiativ og kreativitet.

Jeg har lenge ment at det vil være interessant å vurdere en plassering av evalueringsfunksjonen i Riksrevisjonen. Der vil den bli uavhengig. 

Det forutsetter oppbygging av relevant kompetanse og kapasitet. Det kan skje gjennom samarbeid med ledende norske og globale fagmiljøer. 

En slik kontrollenhet vil måtte etablere sterke forbindelseslinjer til UD og Norads planleggings- og læringssystemer. For eksempel ved å utvikle Norad-avdelingens arbeid med desentraliserte evalueringer og «feedback» til planlegging og læring med utgangspunkt i kontrollerbare indikatorer for alle tilskudd. Tiltakene må selv monitorere seg i forhold til disse. 

I det globale bistandssystemet gjennomføres det årlig mer enn 10 000 evalueringer, prosjektgjennomganger og studier knyttet til utvikling. Å systematisere og spole denne kunnskapen tilbake er en viktig oppgave også til samarbeidsland og organisasjoner som støttes. 

I 1998 ble byggestensprinsippet lansert. Det innebar at synteser på overordnet nivå ble laget basert på systematisk innsamlede og organiserte evalueringer, gjennomganger og studier. Også internasjonale.

Stortinget har det ultimate ansvaret for evalueringsfunksjonens utvikling. Epstein-skandalen minner oss om hva som kan gå galt når systemet svikter, og understreker behovet for et effektivt og uavhengig kontroll- og læringssystem.