Strid om forskning: Var Gavi egentlig best?

Vaksinefondet Gavi, Den interamerikanske utviklingsbanken og Verdensbanken er bistandsgiverne som har størst innflytelse i utviklingsland, meldte blant andre Washington Post. (Se også Bistandsaktuelt 8/2015 og http://www.bistandsaktuelt.no/nyheter/2015/dommen-over-giverne/.)

Det var den amerikanske forskningsinstitusjonen AidData som hadde kommet fram til resultatet, basert på intervjuer med 6750 respondenter i lederposisjoner, i tilsammen 126 utviklingsland. Resultatene vakte stor interesse internasjonalt.

Norads fagdirektør for evaluering Øyvind Eggen sa til Bistandsaktuelt at undersøkelsen var «bra utført og holdt mål metodisk».

Hvor mange visste?

Forskere ved Centre for Global Development i Washington mener imidlertid at metodene AidData har benyttet ikke er gode nok til å trekke bastante konklusjoner. Blant annet spør de seg hvor mange respondenter som egentlig hadde erfaringer med «små» aktører som Gavi.

I en kommentarartikkel på tenketankens egne nettsider redegjør forskerne Charles Kenny og Justin Sandefur for sine innvendinger.

http://www.cgdev.org/blog/ranking-aid-donors-revisited-perhaps-big-old-donors-are-better-we-thought

Lite utvalg

De oppsummerer sine innvendinger mot metodene i tre hovedpunkter:

1. I mange tilfeller er rangeringene basert på en lite utvalg av respondenter som mottakerne av undersøkelsen selv har valgt ut. Dette gir en betydelig vekt til en håndfull respondenter fra sektorer og land der enkelte bistandsaktører er relativt lite engasjert.
2. Som følge av "en skjevhet" i metodologien var de topprangerte bistandsgivere ofte de som undersøkelsens respondenter visste minst om, som LuxDev, Luxemburgs utviklingsdirektorat. Og hvis man hører hva de fleste respondentene sa om de fleste bistandsaktørene – det vil si: at de aldri hadde jobbet med dem eller aldri hadde hørt om dem – blir bildet av hvilke givere som har størst innflytelse seende ganske ulikt ut.
3. Kalkyler over kostnadseffektivitet belønner bare bistandsaktører for gjennomsnittlig brukertilfredshet per dollar utbetalt, uten noen vurdering av hvor mange brukere aktøren nådde fram til.

Bare 17 med Gavi-erfaring

Forskerne viser til at AidDatas spørreskjema i utgangspunktet var ment utsendt til 54 990 personer, og ble mottatt av 43 439. Antallet som svarte var 6731, hvorav 3400 var fra myndighetssiden i mottakerlandene. Siden skjemaet ble sendt ut i 126 mottakerland, kom det inn i gjennomsnitt 53 svar per land. Av disse var 27 statlig ansatte, fra høyst ulike sektorer.

CGD-forskerne er kritiske til at AidData har gitt hver bistandsaktør en gjennomsnittlig score i hvert enkelt land, uavhengig av om det var mange eller få som hadde erfaringer med denne aktøren.

På global basis var det nemlig store ulikheter i hvor mange respondenter som faktisk hadde erfaring med hver enkelt bistandsaktør, og forskjellene blir store i forhold til størrelsen på giveren. Til sammen var det 2715 respondenter som rapporterte om erfaringer med Verdensbanken, 1767 med britiske statlige DFID, 37 med Luxemburg og 17 med vaksinealliansen Gavi.