Door:
Dirk Jan Koch

8 februari 2021

Tags

In zijn nieuwe column gaat Dirk-Jan Koch in op de grootste tekortkoming van veel eindevaluaties binnen ontwikkelingssamenwerking: de timing. Te vroeg worden successen bejubeld, terwijl je pas jaren later ziet of de interventie beklijft. Wil je werkelijk weten wat de langetermijnimpact is? Kies dan radicaal voor langetermijnevaluaties.

Van alle pittige stukken van de directie Internationaal Onderzoek en Beleidsevaluatie (IOB) van de laatste twee jaar, was dit wel een van de pittigste: Less Pretension, More Realism, over het wereldwijde wederopbouw- en addressing root causes-programma.

Beide programma’s waren tenders waarbij maatschappelijke organisaties contracten van de directie Stabiliteit en Humanitaire Hulp van Buitenlandse Zaken konden winnen. In 24 landen en ter waarde van 156 miljoen euro voerden bekende Nederlandse en internationale ngo’s (zoals Oxfam, Cordaid en ZOA) acties uit op gebieden als werkgelegenheid en vredesopbouw.

De IOB hekelt de neiging van ontwikkelingsorganisaties om de resultaten te overdrijven. Een ngo beweerde dat de vredescomités die ze in Zuid-Soedan had opgericht aan het eind van het project geheel zelfstandig actief conflicten oplosten (volgens de eindevaluatie), maar toen de IOB’ers slechts een jaar later langskwamen, bleek het leeuwendeel niet meer actief. De IOB noemt de naam van de betrokken organisatie bewust niet, omdat het probleem wijdverbreid is.

Dat is een manco van veel evaluatieonderzoek: het vindt plaats op het moment dat het programma nog nèt actief is, niet enige jaren nadat de ngo of de donor weggetrokken is. Uit het IOB-onderzoek, dat één jaar later plaatshad, blijkt al dat resultaten snel kunnen verdampen. Hoe zit dat na vijf of tien jaar?

Ze lijken duurzaam

Sommige ontwikkelingsorganisaties investeren wel middelen in het langetermijnonderzoek; zo ondersteunt Wilde Ganzen al jaren de Radboud Universiteit bij het onderzoek naar de langetermijneffecten van particuliere initiatieven.

Zo kon een team van Radboud-onderzoekers 93 projecten van deze initiatieven bezoeken – in Zuid-Afrika, Ghana, Kenia en India –, jaren ná de activiteit. Stond de school er nog? Werd er nog steeds lesgegeven? Ik was erg nieuwsgierig: zou er, net zoals bij de IOB-evaluatie, weinig meer terug te vinden zijn van de interventie?

De resultaten, inmiddels in een wetenschappelijk artikel gepubliceerd, laten gelukkig een totaal ander beeld zien. Gemiddeld staat zo’n twee derde van de interventies niet alleen nog overeind, maar functioneert ook nog. Weet je wat ik het bijzondere vond? Of de interventie nu vijf, tien of vijftien jaar geleden plaatshad, het gemiddelde van twee derde veranderde niet. Kortom: de kleinschalige interventies lijken duurzaam.

Er valt wel wat op af te dingen: het particulier initiatief blijkt weinig transformatief.  De natuurlijke neiging is om met directe kortetermijnoplossingen te komen. Zijn er veel zwerfkinderen op straat? Laten we een opvangcentrum bouwen!

Beleidsbeïnvloeding en samenwerking met lokale overheden voor een meer structurele oplossing staan vaak laag op de agenda, met als gevolg: de aanwas van nieuwe zwerfkinderen bleef stabiel en de interventie van het particulier initiatief was dus niet transformatief.

Lokale fondsenwerving

Een tweede nuancering betreft hóe die ogenschijnlijke duurzaamheid wordt bereikt. Een behoorlijk aantal van de bezochte organisaties zit nog aan de navelstreng van het Nederlandse particuliere initiatief. Hoewel steeds meer organisaties lokaal aan fondsenwerving doen, konden er maar weinig zichzelf financieel bedruipen.

Uit deze evaluatie (vijf, tien en vijftien jaar na dato) blijkt dus dat de financiële zelfredzaamheid van de lokale partners van particuliere initiatieven nog te laag is. Wilde Ganzen zette al in op het versterken van lokale fondsenwerving, maar ziet door deze langetermijnevaluatie dat er extra stappen nodig zijn.

Die eindevaluaties – als ze meerdere jaren na afloop van het programma worden georganiseerd – kunnen dus cruciaal zijn. Ze laten zien wat wel en niet werkt op de lange termijn en hoe de duurzaamheid vergroot kan worden. Waarom doen zo weinig ontwikkelingsorganisaties het dan?

Ngo’s zeggen dat ze het met geld van hun donoren niet mógen doen: het geld moet immers binnen de subsidieperiode worden uitgegeven. En in de strijd tussen verschillende departementen binnen ontwikkelingsorganisaties om de vrije middelen – zoals geld uit donaties – delven de monitorings- en evaluatieafdelingen onterecht vaak het onderspit.

De vraag is…

Deze column is dan ook een oproep aan ontwikkelingsorganisaties en met name die twee afdelingen: breek je los uit de ketenen van de controllers en kom met een creatieve oplossing om geld apart te zetten voor langetermijnevaluatie (wat niet veel hoeft te kosten)!

Neem een voorbeeld aan Wilde Ganzen of aan The Hunger Project, dat terecht de Impact Challenge van het CBF won. Het CBF geeft de prijs aan het meest inspirerende project op het gebied van impactgericht werken.

The Hunger Project won niet omdat ze per definitie het meeste impact had, maar omdat ze drie jaar na dato evaluatoren langs stuurde bij afgeronde projecten. Ze won de Impact Challenge níet omdat ze het meeste impact had, maar omdat ze kon laten zien dat ze leert van langetermijnevaluaties. De vraag is: doet de organisatie waar jij voor werkt dat eigenlijk wel?

 

Kader

Deze blog is gebaseerd op het (gratis te lezen) wetenschappelijke artikel Long-Lasting, But Not Transformative. An Ex-post Sustainability Study of Development Interventions of Private Development Initiativesuit het European Journal of Development Research

 In deze columnserie licht Dirk-Jan Koch eens per twee maanden een onderwerp uit waar hij mee bezig is voor zijn onderzoeksproject Ongeplande effecten van internationale samenwerking. Koch is bijzonder hoogleraar aan de Radboud Universiteit in Nijmegen en werkzaam bij het ministerie van Buitenlandse Zaken. Hij schrijft op persoonlijke titel

foto uitgelichte afbeelding uit IOB rapport Less pretension, more realism

Lessen van Liesje: oftewel, hoe een gebrekkig inzicht in wereldproblemen kan leiden tot een weinig samenhangende visie

Door Ruerd Ruben | 27 juni 2022

Vandaag is het aan Ruerd Ruben om de nota van minister Schreinemacher van commentaar te voorzien. Ruben merkt een gebrekkig inzicht in de wereldproblemen op en zet er cijfers tegenover. Werk aan de winkel.

Lees artikel

Vaagheid troef

Door Paul Hoebink | 26 juni 2022

Vrijdag, laat in de middag, lanceerde minister voor Buitenlandse Handel en Ontwikkelingssamenwerking Liesje Schreinemacher haar nieuwe nota. Het is moeilijk er enige duidelijkheid, er een heldere strategie in te vinden: het is vaagheid troef, stelt Paul Hoebink.

Lees artikel

Shift the power op de universiteit

Door Marc Broere | 24 juni 2022

Robert Kajobe is een prominente wetenschapper uit Oeganda. Marc Broere bezoekt de hoogleraar met wie hij al een kwart eeuw bevriend is, voor een terugblik en om de stand van het Afrikaanse academische leven te bespreken. Onder collega’s bemerkt Kajobe nog te vaak een minderwaardigheidscomplex – en dat mogen ze wel afschudden, vindt hij. ‘Een westers idee wordt soms domweg maar geaccepteerd, ook al weet je als lokale onderzoeker dat het niet werkt, maar je bent te bang om dat aan de orde te stellen.’

Lees artikel