Hjort snubler i evalueringsmetoder…

I sitt debattinnlegg i Bistandsaktuelt hevder Jonas Hjort tre ting som vi ønsker å svare på:

1) Norad befinner seg dessverre i bakevjen når det gjelder evalueringspraksis. Dette knyttes opp til at samtlige evalueringer ikke benytter seg av randomisert utvalgsmetode og dermed er, ifølge ham, av begrenset pålitelighet.
2) Norad benytter hovedsakelig kvalitative evalueringer, hvor subjektive synspunkter uunngåelig spiller en betydelig rolle, foretatt av en gruppe skandinaviske konsulenter.
3) Randomiserte undersøkelser representerer en ny, innovativ metodologi.

For å begynne med det siste først: Tilfeldig utvalg som utvalgsmetode, og bruk av kontrollgrupper som sammenligningsgrunnlag, har eksistert i lengre tid, og har vært brukt i evalueringsfaget i flere tiår. Utvalgsmetoden representerer ikke en ny og innovativ metode.
Om et utvalg er tilfeldig eller ikke, avgjør ikke en evaluerings pålitelighet per se. Det kan for eksempel oppstå systematiske feil under datainnsamlingen ved enhver evaluering. Noen av disse kan kontrolleres, andre ikke, for eksempel flytting mellom landsbyer eller utflytting. Derfor er andre faktorer av større betydning for evalueringens pålitelighet, slik som at datagrunnlaget er solid og at det vurderes og krys-sjekkes løpende.
De færreste utviklingsintervensjonene kan evalueres ved bruk av den metoden Hjort beskriver, da dette ofte ikke tas høyde for når støtten til utviklingsintervensjonen blir bestemt. En kontrollgruppe som ikke mottar bistand må nemlig opprettes når målgruppen for bistanden identifiseres, med andre ord i planleggingsfasen av en intervensjon.
Dagens bistand er annerledes innrettet enn tidligere. Bistand i dag dreier seg i stor grad om å støtte opp under mottakerlandets egne planer og behov. Det blir da politisk og etisk vanskelig for myndigheter i et land å legitimere at de bistår én landsby eller én skole, men ikke en annen, for sammenligningens skyld. Satt på spissen.
Det å hevde at kvalitative metoder er mer subjektive enn kvantitative vitner om et begrenset vitenskapssyn. Det må foretas mange vurderinger før man kan presentere kvantifiserte funn. Særlig når man opererer i land hvor datagrunnlaget er usikkert (i de fleste fattige land og særlig land i konflikt), men også uavhengig av det. Hvordan avgjøre man at den valgte indikatoren representerer det den er ment å representere?

Man kan ikke kun stille evalueringsspørsmål som man kan svare ja eller nei på, men, man må også stille spørsmålene hvorfor og hvordan. Det er ved å besvare hvorfor-og-hvordan-spørsmål den kvalitative metoden har sin funksjon. Ikke alle forhold lar seg telle eller måle.
Hjort har rett i at Evalueringsavdelingen i Norad gjennomfører mange evalueringer der kvalitativ metode er brukt. Det i seg selv er ikke diskvalifiserende, da valg av metode må avpasses formålet for evalueringen, tiltaket som skal evalueres og budsjett. Men for å sikre evalueringer med høy kvalitet og solide metoder kan det være ønskelig å i større grad benytte en blanding av kvalitative og kvantitative metoder.

Til sist: Evalueringsavdelingen samarbeider om større kostbare evalueringer der omfattende kvantitative metoder er brukt ved å være med i en styringsgruppe for en evaluering av GAVI (Vaksinealliansen), og gjennom en partnerskapsavtale med Evalueringsavdelingen i Verdensbanken.

Beate Bull er seniorrådgiver i Norad

Innlegget er forkortet. Full versjon kommer straks.

Powered by Labrador CMS