journalistiek over mondiale samenwerking

Er worden inderdaad veel te veel zaken gemeten die overbodig of niet nuttig zijn, maar er worden ook veel te weinig gegevens verzameld over wat partners in het Zuiden zelf belangrijk vinden, schrijft voormalig IOB-directeur Ruerd Ruben in deze opiniebijdrage.

Nalini Mahesh vindt het ‘waanzin om te willen meten en weten’ zoals zij haar opiniebijdrage begint die Vice Versa publiceerde ter voorbereiding op het event ‘Measuring what Matters -Decolonizing Monitoring and Evaluation’. We zouden ons in plaats daarvan moeten richten op het bouwen van wederzijds vertrouwen en mensen te verbinden om verandering mogelijk te maken.

Het artikel stelt zondermeer de juiste vragen: Wie bepaalt wat impact is? Wat is betekenisvolle data? Wat moet er gemeten worden? Wanneer is het genoeg? En wie heeft er baat bij? Maar er worden maar weinig concrete antwoorden gegeven. Laat ik een poging doen:

Wie bepaalt wat impact is?

Het is volkomen terecht dat ontwikkelingsorganisaties zich verzetten tegen de veel te dominante rol van donoren en financiers bij het bepalen van wat impact is. Dat ondermijnt de basis van de samenwerking en creëert oneigenlijke macht. Het gaat ook ten koste van het lokale eigenaarschap van projecten, dat veelal een voorwaarde is voor succes.

In algemene zin kan ‘impact’ worden gedefinieerd als het bereiken van een betekenisvolle verandering/verbetering die (mede) wordt veroorzaakt door de inspanningen van alle partners. Vervolgens is het aan deze partners om gezamenlijk vast te stellen wat men beoogt te bereiken, op welke termijn en voor wie.  Vaak gaat het om doelen die gerelateerd zijn aan de duurzame ontwikkelingsdoelen (SDGs) waarvoor een groot aantal indicatoren beschikbaar zijn. Maar ook als het doel is om de ‘power dynamics te veranderen’ en ‘relaties te versterken’, is het wel nuttig om te weten wat we daaronder verstaan en wanneer er sprake is van een verbetering of verandering.

Wat is betekenisvolle data?

Er worden inderdaad veel te veel zaken gemeten die overbodig of niet nuttig zijn, maar er worden ook veel te weinig gegevens verzameld over wat partners in het Zuiden zelf belangrijk vinden. Terwijl oorspronkelijk evaluaties vooral zijn ingericht met als doel ‘Bringing truth to power’ is het de hoogste tijd de stap te maken naar ‘Measuring what Matters’.

Als we veranderingen beogen te meten, is een dialoog tussen de verschillende deelnemers in programma’s of projecten nodig. Het zou mooi zijn als daarbij gebruik wordt gemaakt van het concept van ‘brede welvaart’ en de inzichten die de laatste jaren zijn ontstaan over multidimensionaliteit (interactie tussen verschillende dimensies van armoede) en intersectionaliteit (de -connectie tussen verschillende vormen van ongelijkheid).

Wat moet er gemeten worden?

Iedereen is het erover eens dat je alleen maar moet meten wat ook echt gemeten kan worden. Het gaat dan niet alleen om objectieve veranderingen (hoger inkomen, betere oogst, betere voeding) maar ook over de subjectieve beleving daarvan (ervaart men een verbetering?).

Ook als is ‘meten is weten’ een veel te simpel devies, zonder informatie blijft het moeilijk om te begrijpen of iets werkt en waarom. Er bestaat inmiddels een uitgebreid methodologisch kader om begrippen als ‘macht’, ‘vertrouwen’ en zelfs ‘gevoel van rechtvaardigheid’ ook empirisch te specificeren. Dat is uitermate nuttig om tegenwicht te bieden aan de heersende opvatting dat de standaard kader is voor effectmeting.

Wanneer is het genoeg?

Omdat evaluaties vooral dienen om inzicht te verwerven, is het verstandig om ermee te stoppen zodra er voldoende vertrouwen is in de effectiviteit van bepaalde interventies. Er zijn inmiddels veel overzichtsstudies (‘systematic reviews’ van o.m. Campbell en 3ie) beschikbaar die laten zien wat werkt, waar en waarom.

Er is bijvoorbeeld overvloedig bewijs dat programma’s die zich richten op onderwijs, vrouwenemancipatie, drinkwater en sanitaire voorzieningen, cash transfers en dieetdiversificatie een positief effect hebben op de vermindering van armoede en ondervoeding. Het is onnodig om dit steeds opnieuw te evalueren. Wat vaak nog wel aandacht verdient is de duurzaamheid van de bereikte resultaten.

Wie heeft er baat bij?

Als het goed is hebben de lokale deelnemers in programma’s of projecten het grootste belang om te weten welke resultaten er zijn behaald en hoe die mogelijk zijn gemaakt door de bijdragen van de deelnemers en donoren. Ook al financieren donoren het overgrote deel van de evaluaties, blijkt dat ze er in veel gevallen veel te weinig mee doen. Een behoorlijk deel van niet-effectieve activiteiten falen vooral door toedoen van de donor.

Alle partners hebben baat bij evaluaties, maar niet om dezelfde reden. Voor donoren gaat het vaak om de verantwoording richting parlement en belastingbetalers. NGOs willen graag weten of hun ‘theory of change’ nog wel relevant is en of hun lokale partners de bevolking wel representeren. En de deelnemers in de programma’s kunnen door evaluaties meer inzicht krijgen en macht verwerven over de besteding van middelen.

Het is mooi dat er in Nederland inmiddels een brede ‘community’ is ontstaan rondom de Monitoring, Evaluation & Learning (MEL) van ontwikkelingsprogramma’s. Dat bevestigt dat evalueren niet zozeer een vaardigheid is, maar een vak is waaruit een mentaliteit van leren zou moeten ontstaan. Daarvoor zijn nieuwe verhoudingen nodig waarbij het perspectief is dat lokale organisaties de lead nemen om hun Westerse partners te beoordelen.

Ruerd Ruben, (Emeritus) hoogleraar Wageningen Universiteit & voormalig directeur van de IOB, de inspectiedienst van het Ministerie van Buitenlandse Zaken

Foto: dorpscomité in Tanzania (Credit Ruerd Ruben)