Door:
Dirk Jan Koch

8 februari 2021

Tags

In zijn nieuwe column gaat Dirk-Jan Koch in op de grootste tekortkoming van veel eindevaluaties binnen ontwikkelingssamenwerking: de timing. Te vroeg worden successen bejubeld, terwijl je pas jaren later ziet of de interventie beklijft. Wil je werkelijk weten wat de langetermijnimpact is? Kies dan radicaal voor langetermijnevaluaties.

Van alle pittige stukken van de directie Internationaal Onderzoek en Beleidsevaluatie (IOB) van de laatste twee jaar, was dit wel een van de pittigste: Less Pretension, More Realism, over het wereldwijde wederopbouw- en addressing root causes-programma.

Beide programma’s waren tenders waarbij maatschappelijke organisaties contracten van de directie Stabiliteit en Humanitaire Hulp van Buitenlandse Zaken konden winnen. In 24 landen en ter waarde van 156 miljoen euro voerden bekende Nederlandse en internationale ngo’s (zoals Oxfam, Cordaid en ZOA) acties uit op gebieden als werkgelegenheid en vredesopbouw.

De IOB hekelt de neiging van ontwikkelingsorganisaties om de resultaten te overdrijven. Een ngo beweerde dat de vredescomités die ze in Zuid-Soedan had opgericht aan het eind van het project geheel zelfstandig actief conflicten oplosten (volgens de eindevaluatie), maar toen de IOB’ers slechts een jaar later langskwamen, bleek het leeuwendeel niet meer actief. De IOB noemt de naam van de betrokken organisatie bewust niet, omdat het probleem wijdverbreid is.

Dat is een manco van veel evaluatieonderzoek: het vindt plaats op het moment dat het programma nog nèt actief is, niet enige jaren nadat de ngo of de donor weggetrokken is. Uit het IOB-onderzoek, dat één jaar later plaatshad, blijkt al dat resultaten snel kunnen verdampen. Hoe zit dat na vijf of tien jaar?

Ze lijken duurzaam

Sommige ontwikkelingsorganisaties investeren wel middelen in het langetermijnonderzoek; zo ondersteunt Wilde Ganzen al jaren de Radboud Universiteit bij het onderzoek naar de langetermijneffecten van particuliere initiatieven.

Zo kon een team van Radboud-onderzoekers 93 projecten van deze initiatieven bezoeken – in Zuid-Afrika, Ghana, Kenia en India –, jaren ná de activiteit. Stond de school er nog? Werd er nog steeds lesgegeven? Ik was erg nieuwsgierig: zou er, net zoals bij de IOB-evaluatie, weinig meer terug te vinden zijn van de interventie?

De resultaten, inmiddels in een wetenschappelijk artikel gepubliceerd, laten gelukkig een totaal ander beeld zien. Gemiddeld staat zo’n twee derde van de interventies niet alleen nog overeind, maar functioneert ook nog. Weet je wat ik het bijzondere vond? Of de interventie nu vijf, tien of vijftien jaar geleden plaatshad, het gemiddelde van twee derde veranderde niet. Kortom: de kleinschalige interventies lijken duurzaam.

Er valt wel wat op af te dingen: het particulier initiatief blijkt weinig transformatief.  De natuurlijke neiging is om met directe kortetermijnoplossingen te komen. Zijn er veel zwerfkinderen op straat? Laten we een opvangcentrum bouwen!

Beleidsbeïnvloeding en samenwerking met lokale overheden voor een meer structurele oplossing staan vaak laag op de agenda, met als gevolg: de aanwas van nieuwe zwerfkinderen bleef stabiel en de interventie van het particulier initiatief was dus niet transformatief.

Lokale fondsenwerving

Een tweede nuancering betreft hóe die ogenschijnlijke duurzaamheid wordt bereikt. Een behoorlijk aantal van de bezochte organisaties zit nog aan de navelstreng van het Nederlandse particuliere initiatief. Hoewel steeds meer organisaties lokaal aan fondsenwerving doen, konden er maar weinig zichzelf financieel bedruipen.

Uit deze evaluatie (vijf, tien en vijftien jaar na dato) blijkt dus dat de financiële zelfredzaamheid van de lokale partners van particuliere initiatieven nog te laag is. Wilde Ganzen zette al in op het versterken van lokale fondsenwerving, maar ziet door deze langetermijnevaluatie dat er extra stappen nodig zijn.

Die eindevaluaties – als ze meerdere jaren na afloop van het programma worden georganiseerd – kunnen dus cruciaal zijn. Ze laten zien wat wel en niet werkt op de lange termijn en hoe de duurzaamheid vergroot kan worden. Waarom doen zo weinig ontwikkelingsorganisaties het dan?

Ngo’s zeggen dat ze het met geld van hun donoren niet mógen doen: het geld moet immers binnen de subsidieperiode worden uitgegeven. En in de strijd tussen verschillende departementen binnen ontwikkelingsorganisaties om de vrije middelen – zoals geld uit donaties – delven de monitorings- en evaluatieafdelingen onterecht vaak het onderspit.

De vraag is…

Deze column is dan ook een oproep aan ontwikkelingsorganisaties en met name die twee afdelingen: breek je los uit de ketenen van de controllers en kom met een creatieve oplossing om geld apart te zetten voor langetermijnevaluatie (wat niet veel hoeft te kosten)!

Neem een voorbeeld aan Wilde Ganzen of aan The Hunger Project, dat terecht de Impact Challenge van het CBF won. Het CBF geeft de prijs aan het meest inspirerende project op het gebied van impactgericht werken.

The Hunger Project won niet omdat ze per definitie het meeste impact had, maar omdat ze drie jaar na dato evaluatoren langs stuurde bij afgeronde projecten. Ze won de Impact Challenge níet omdat ze het meeste impact had, maar omdat ze kon laten zien dat ze leert van langetermijnevaluaties. De vraag is: doet de organisatie waar jij voor werkt dat eigenlijk wel?

 

Kader

Deze blog is gebaseerd op het (gratis te lezen) wetenschappelijke artikel Long-Lasting, But Not Transformative. An Ex-post Sustainability Study of Development Interventions of Private Development Initiativesuit het European Journal of Development Research

 In deze columnserie licht Dirk-Jan Koch eens per twee maanden een onderwerp uit waar hij mee bezig is voor zijn onderzoeksproject Ongeplande effecten van internationale samenwerking. Koch is bijzonder hoogleraar aan de Radboud Universiteit in Nijmegen en werkzaam bij het ministerie van Buitenlandse Zaken. Hij schrijft op persoonlijke titel

foto uitgelichte afbeelding uit IOB rapport Less pretension, more realism

Data, the new currency in Africa

Door Eunice Mwaura | 03 maart 2021

“It is important to uphold and observe ethics in mapping, data collection and packaging. This has proved to be quite a challenge. Approximately, only 30% of researchers and academia come back to the community to verify and share their collected data.” To get to grips with this issue and how to handle it, we talked to Nicera Wanjiru, a young activist driving change in her community and fighting for her community’s right to data and information.

Lees artikel

Upclose With Eva Nakato #1: The Queen with a Golden Heart!

Door Eva Nakato | 01 maart 2021

For the very first episode of Upclose With Eva Nakato on Vice Versa Global, we bring you Miss…

Lees artikel

Videoverslag Wereld Café: in gesprek met Kathleen Ferrier en Bram van Ojik

Door Marc Broere | 28 februari 2021

Afgelopen week vond de derde editie van het Wereld Café plaats, aan samenwerking tussen Wilde Ganzen, Vice Versa…

Lees artikel