journalistiek over mondiale samenwerking

Maatschappelijke organisaties besteden onder Power of Voices onevenredig veel van hun schaarse tijd aan de verantwoordingsrapportages van Buitenlandse Zaken. Kan dat anders? Natuurlijk: focus op verhalen en gebruik brede indicatoren, laat IATI grotendeels los en geef de organisaties het mandaat om naar eigen inzicht hun monitoring en evaluatie in te richten.

Dit opiniestuk gaat over verantwoording – waarschijnlijk haakt nu minstens de helft van de lezers af, maar juist aan díe lezers vraag ik: blijf nog even hangen, want ik pleit er hier voor de verantwoordingsrapportages van de strategische partnerschappen van Buitenlandse Zaken minder taai te maken.

Het huidige ‘rapportageregime’ schiet zijn doel voorbij: van de enorme hoeveelheid informatie die maatschappelijke organisaties verzamelen, is lang niet alles nuttig voor de Tweede Kamer en de samenleving, maar die rapportages zijn zó tijdrovend dat organisaties te weinig tijd en capaciteit overhouden om te leren van – en te communiceren *over – de resultaten en ervaringen die er echt toe doen.

Het goede nieuws? Ik ben ervan overtuigd dat maatschappelijke organisaties en het ministerie samen in staat zijn om die administratieve monsterklus te vervangen door een onderbouwd verhaal over waar hun werk om gaat, met een gezonde dosis vertrouwen.

Verantwoordingseisen veranderen met beleidskaders mee: van logframes waarin elke activiteit gevangen moest worden en elke workshopdeelnemer geteld, naar theories of change op resultaatniveau. In de afgelopen jaren heeft het ministerie de eisen synchroon laten lopen met de inhoudelijke koersverandering naar beleidsbeïnvloeding onder het subsidie-instrument Samenspraak en Tegenspraak.

Dus: rapportage op resultaatniveau, en niet langer op activiteitsniveau, en meer ruimte voor flexibiliteit in de dynamische context van beleidsbeïnvloeding. Voor het Power of Voices-instrument binnen het beleidskader Versterking Maatschappelijk Middenveld (VMM) zijn de teugels alleen weer aangehaald: de huidige verantwoordingseisen zijn zo intensief dat ze de aandacht van het leren, bijsturen en vernieuwen afleiden.

In het kort: het ministerie heeft een aantal brede basket-indicatoren geformuleerd waarop maatschappelijke organisaties moeten rapporteren. Onder elk daarvan hangt een aantal subindicatoren – in feite een soort standaardindicatoren – om detail in de rapportage aan te brengen. In totaal gaat het om negen basket– met daaronder 32 subindicatoren.

Maatschappelijke organisaties moeten op minimaal drie basket-indicatoren met bijbehorende subindicatoren rapporteren, en dat is niet veel, maar de druk om er méér te nemen is groot: maatschappelijke organisaties zijn immers voor het ministerie enkel en alleen zichtbaar op de indicatoren waarop ze scoren.

Ze moeten hun resultaten jaarlijks in verhalende rapportages zetten en in het transparantieregister IATI en ze moeten hun programma na tweeënhalf en na vijf jaar evalueren, waarbij de criteria zo strak zijn dat meerdere evaluatoren te kennen hebben gegeven huiverig te zijn een voorstel in te dienen. Daar bovenop komen nog de monitoringsactiviteiten van het ministerie zelf, waaraan maatschappelijke organisaties onderworpen worden.

Het vergt een capaciteit van maatschappelijke organisaties – inhoudelijk, qua tijd en financieel – waar je u tegen zegt… en dat is zonde, want als sector kunnen we beter onze tijd aan versterking van het middenveld besteden, voor en door beleidsbeïnvloeding, en daarvan leren door gerichte monitoring en evaluatie. PMEL (planning, monitoring, evaluatie en leren) helpt ons te begrijpen of we daadwerkelijk bijdragen aan verandering, en zo ja: hoe.

Het helpt ons bij te sturen en te vernieuwen waar nodig, en het helpt ons verantwoording af te leggen – aan de belastingbetalers en donoren van wie we geld gebruiken en, niet minder belangrijk, aan de partners en mensen met wie we in onze programma’s optrekken. Hoog tijd voor reflectie, dus: hoe kunnen we onze tijd goed besteden en, ook in onze PMEL en verantwoordingsrapportages – focussen op wat echt belangrijk is?

Monitoren en evalueren, maatschappelijke organisaties en het ministerie zijn er maar druk mee: de organisaties laten hun programma’s evalueren en het ministerie laat die evaluaties weer evalueren, evenals zijn eigen beleid richting de maatschappelijke organisaties. Die evaluaties komen boven op de reguliere jaarlijkse verantwoordingsrapportages van de organisaties.

Daaraan zijn ook medewerkers van het ministerie zelf een aanzienlijk deel van hun tijd kwijt. Al die rapportages en evaluaties zijn primair gericht op verantwoording afleggen, om aan de contracteisen te voldoen en met harde feiten de resultaten van maatschappelijke organisaties te onderbouwen.

Het is legitiem dat de nadruk daarop ligt, maar de wijze waarop de organisaties verantwoording moeten afleggen is problematisch: de data die ze voor hun rapportages verzamelen zijn vaak niet of nauwelijks bruikbaar voor leren en bijsturen, want: te veel gericht op cijfers, in plaats van op diepgaand begrip van hoe verandering plaatsvindt, en te veel gefocust op een aantal – voor het ministerie belangrijke – hoofdlijnen, in plaats van te voorzien in de behoefte van organisaties om te leren over het omgaan met de specifieke contexten van hun werk, en te ambitieus als het op het in kaart brengen van alle resultaten aankomt, in plaats van te focussen op de programmaonderdelen waarvan het meest te leren valt.

Terwijl het ministerie wel degelijk op leren inzet: van het Power of Learning-programma, om een gezamenlijke leeragenda uit te rollen, tot het zogeheten third party monitoring and data quality assessment over monitoring en evaluatie in verschillende contexten – het ministerie leert graag, en veel.

Die inzet is lovenswaardig, maar in de praktijk laten de leeractiviteiten vaak te weinig ruimte voor maatschappelijke organisaties om vrijwillig en met eigenaarschap, en met het ministerie in een faciliterende rol, het eigen leren vorm te geven. En zo dreigen zelfs de leeractiviteiten van het ministerie te verworden tot ‘een moetje’, waarnaar de organisaties zich te schikken hebben.

Het vergt een capaciteit van de organisaties – inhoudelijk, qua tijd en financieel – waar je u tegen zegt… en dat is zonde

De verantwoordingsrapportages en door het ministerie opgelegde PMEL-zaken nemen zóveel capaciteit in beslag dat er weinig ruimte overblijft voor monitoring en evaluatie waar de organisaties zelf wat aan hebben om te leren, bij te sturen, te verbeteren en helder te communiceren over wat ze hebben bereikt en over wat er beter kan. De verantwoordingsrelatie is vaak eenrichtingsverkeer: het ministerie vraagt, de organisaties leveren.

Dat leidt ertoe dat het ministerie en de organisaties zelden nog een gesprek voeren over de focus en bruikbaarheid van verzamelde gegevens. De organisaties overladen het ministerie met informatie waarmee ze aan de contracteisen voldoen, maar het is voor hen te vaak onduidelijk of de informatie die ze aanleveren voldoende bruikbaar is voor het ministerie, voor verantwoording richting de Tweede Kamer en voor het creëren van een breed draagvlak voor internationale samenwerking in de Nederlandse samenleving.

Dat alles moet toch anders kunnen, dus terug naar waar het om gaat. Wanneer we de vragen die in verantwoording centraal staan tot de kern afpellen, is in het geval van het VMM-beleidskader de vraag die overblijft: dragen de organisaties bij aan het versterken van het maatschappelijk middenveld?

En voor een iets vollediger beeld: draagt het werk van de organisaties daarmee ook bij aan het bredere Nederlandse buitenlandbeleid, waar dat betrekking heeft op het beschermen van mensenrechten en op het bestrijden van de grondoorzaken van armoede, honger en klimaatverandering?

Dat zijn overzichtelijke vragen, die de organisaties aan de hand van werkbare monitoring en evaluatie kunnen beantwoorden. Hoe ze dat precies doen, besluiten het ministerie en maatschappelijke organisaties idealiter bilateraal, om one size fits all-benaderingen te voorkomen – en tegelijkertijd is het logisch dat het ministerie enige uniformiteit nodig heeft om op coherente wijze aan de Kamer te rapporteren.

Hierbij een aantal handvatten voor de praktische invulling van deze exercitie, ter inspiratie voor het ministerie als het over verantwoording in een nieuw beleidskader voor ná 2025 gaat nadenken:

 

Eén: een verhaal zegt meer dan duizend…

Kwantitatieve rapportage is verleidelijk vanwege het krachtige beeld dat we aan de hand daarvan kunnen schetsen: ‘Bijgedragen aan maar liefst zus en zoveel beleidsveranderingen!’ Het wekt echter een indruk van grijpbaarheid en meetbaarheid die niet bij het onvoorspelbare werk van beleidsbeïnvloeding passen, en van optelbaarheid, terwijl de resultaten vaak zo divers zijn dat een ‘score’ van vijf meer impact kan hebben dan eentje van vijftig.

Uitleg bij de cijfers ondervangt die problemen niet, want dan nog worden – door de indeling per indicator – veranderingsprocessen in stukjes opgeknipt die onvoldoende inzicht geven in het langetermijnproces. Om te begrijpen of maatschappelijke organisaties hebben bijgedragen aan verandering, en zo ja: hóe, hebben we meer aan een inhoudelijke reflectie (waar nodig onderbouwd en geduid met cijfers) dan aan het pronken met hoge maar weinigzeggende scores.

Twee: houd vast aan basket-indicatoren

In het huidige kader heeft het ministerie een beperkt aantal krachtige basket-indicatoren geformuleerd, die op een zodanig brede manier verwoord zijn dat de indicatoren waarmee de organisaties werken er makkelijk in passen – zo kunnen ze hun eigen indicatoren aan die van het ministerie verbinden.

De basket-indicatoren hebben onder meer betrekking op veranderingen in de praktijk, veranderingen in beleid, het succesvol agenderen van duurzaamheids- en rechtvaardigheidsvraagstukken door maatschappelijke actoren en op de ruimte voor het middenveld. Laten we de basket-indicatoren (zonder die verder te willen specificeren, dus zonder subindicatoren) gebruiken als brede categorieën voor narratieve, procesgerichte rapportage.

Oftewel: laat maatschappelijke organisaties in een tweejaarlijkse verhalende rapportage vertellen hoe hun werk al dan niet heeft bijgedragen aan verandering, en laat ze daarbinnen verwijzingen opnemen waarin ze de resultaten aan die brede *basket-indicatoren verbinden.

Drie: alleen financiële stromen in IATI

Op dit moment moeten de organisaties zowel hun financiële als hun inhoudelijke voortgang per indicator rapporteren in IATI, een moeilijk te doorgronden internationaal transparantieregister. Via een website moeten ze elk resultaat (elke partnerorganisatie met versterkte advocacy-vaardigheden, elke beleidsverandering) apart toelichten.

Zeker de organisaties die veel resultaten boeken, kost het bakken met tijd om ze steeds in IATI te krijgen op een manier die veilig (want: openbaar) en technisch correct is, en die aan de eisen voldoet. Dat vraagt te veel van hun schaarse capaciteit.

Daarbij hebben verschillende dossierhouders bij het ministerie al gemeld dat de tijd die het ze kost om de informatie die door ‘hun partnerschappen’ in IATI wordt geüpload te lezen niet in verhouding staat tot het beperkte nut van zulke gedetailleerde rapportage. Het zou lovenswaardig zijn als het ministerie in de toekomst van de organisaties vraagt dat ze enkel en alleen financiële stromen in IATI rapporteren.

Vier: zet in op een beperkt aantal stevige studies

De organisaties zijn onder VMM verplicht binnen vijf jaar een nulmeting, een tussentijdse evaluatie en een eindevaluatie te doen, en daarnaast betrokken te zijn bij onder meer een nulmeting, tussentijdse evaluatie en eindevaluatie van het ministerie zelf. Al die exercities moeten voldoen aan de kwaliteitscriteria van de IOB, de onafhankelijke evaluatiedienst van het ministerie.

Voor Buitenlandse Zaken lijken vooral de eigen evaluaties bruikbaar, en voor de organisaties vooral de door henzelf ontworpen evaluaties – daarom valt ervoor te pleiten dat het ministerie de organisaties de ruimte blijft geven voor zelfevaluaties, naar eigen inzicht en zonder de ambitie om wetenschappelijke kwaliteit na te streven, en daarnaast *zelf (met zorgvuldige betrokkenheid van de organisaties) evaluaties laat uitvoeren naar de programma’s onder zijn beleidsinstrument, op de schaal en naar de dingen die het zelf wil weten.

Wetende dat verantwoordingseisen aan de realiteit onderhevig zijn, is het misschien nog wel belangrijker om de principes vast te stellen die idealiter ten grondslag liggen aan verantwoordingsmechanismen in de strategische partnerschappen, nu en in de toekomst.

Het ministerie heeft zijn voortrekkersrol in de afgelopen jaren meermaals bewezen, niet in de laatste plaats door in te zetten op capaciteitsversterking voor beleidsbeïnvloeding en expliciet ruimte te laten voor kritische stemmen, ook in Nederland. De wijze waarop de huidige partnerschappen tot stand zijn gekomen, op basis van goedkeuring van programma’s op hoofdlijnen, laat zien dat het ministerie een vertrouwensrelatie wil aangaan met maatschappelijke organisaties.

Daarvoor heeft het dan ook de nodige waarborgen ingebouwd: het is contracten met organisaties aangegaan na een strenge drempeltoets, die garandeert dat het professionele en integere organisaties zijn en als geen ander mechanismen hebben om gebreken daarin te signaleren en te adresseren.

Voortbouwend op de wereldwijd ingezette beweging richting ‘sharing power’ en ‘trust-based funding’ zou het voor het ministerie pleiten als het de vertrouwensrelatie die het inhoudelijk met de organisaties aangaat ook doorvertaalt naar zijn inzet op PMEL, oftewel: op een beperkt detailniveau, door organisaties zelf vormgegeven, en gericht op het in kaart brengen van, begrijpen van en leren over hun bijdrage aan verandering.

Zorgvuldige verantwoording is in ieders belang: zowel het ministerie als organisaties willen dat de Tweede Kamer en andere belanghebbenden goed worden geïnformeerd. Het idee dat bij het ministerie lijkt te bestaan, dat de verantwoordingsrelatie vooral eenrichtingsverkeer is, doet daarom geen recht aan de realiteit en heeft bovendien geen positieve invloed op het eigenaarschap van de verantwoordingsrapportages die de organisaties voor het ministerie optuigen.

Andersom moet het voor het ministerie een crime zijn om van de extreem diverse rapportages een coherent verslag te maken voor de Kamer. In een volgend kader is het daarom voor iedereen van belang dat het ministerie en de organisaties samenwerken bij het vormgeven van een PMEL- en verantwoordingskader, het ministerie zeer terughoudend is om na ondertekening van het contract aanvullende eisen te formuleren en het ministerie vanaf de start van de nieuwe programma’s helder is over de kwaliteitseisen aan PMEL en bereid is tot een open gesprek erover.

De verantwoording van de toekomst is een goed en eerlijk verhaal over wat er echt toe doet

Veel maatschappelijke organisaties hebben jarenlange ervaringsdeskundigheid op het vlak van PMEL opgebouwd – een gelijkwaardig partnerschap neemt de professionele ervaring en expertise van beide partners serieus.

In de huidige partnerschappen dwingen contracteisen de organisaties om verantwoording af te leggen binnen kaders die met regelmaat niet bij de inhoud van hun werk aansluiten – denk aan PMEL-activiteiten van het ministerie waaraan zuidelijke partners moeten deelnemen, ook al hebben ze daar zelf geen baat bij.

Of de aanname dat diepgaande, betekenisvolle deelname van programmapartners aan evaluaties de objectiviteit van evaluatoren in de weg staat, of formats die tot landenrapportage voor mondiale programma’s nopen. In een sfeer van partnerschap en wederzijds belang bij goede verantwoording zou de inhoud leidend moeten zijn, ook in de verantwoordingsrelatie.

Stel je voor: de organisaties zetten hun expertise en publiek geld in om het middenveld te versterken en het bredere buitenlandbeleid te dienen, en laten om de twee jaar in beeldende verhalen – onderbouwd door monitoringsgegevens die door de organisaties zijn verzameld en gevalideerd – zien in hoeverre en hóe ze erin slagen om verandering te bewerkstelligen.

Die verhalen bieden handvatten om te leren, om bij te sturen, om te begrijpen hoe verandering plaatsvindt en welke soorten samenwerking tussen de overheid en het middenveld vruchtbaar zijn voor verschillende contexten. Ze laten de successen zien èn helpen ons te leren van situaties waarin verandering niet plaatsvindt zoals verwacht of gehoopt.

De basis is op orde: de voorwaarde voor de subsidie was een toets van hun professionaliteit, en jaarlijks worden hun financiën gecontroleerd door een onafhankelijke auditor. Buitenlandse Zaken verdedigt zijn partnerschappen trots: ‘Nee, we kunnen niet van dag tot dag zeggen wat de partnerschappen doen in Bolivia, Burundi of Bangladesh, want we willen niet dat organisaties in Nederland en daarbuiten hun waardevolle dagen besteden aan het schrijven van rapporten voor onze administratie, in plaats van aan rechtvaardigheid te werken.’

Als er dan toch eens Kamervragen worden gesteld over de besteding van ontwikkelingsgeld, trekken het ministerie en de maatschappelijke organisaties gezamenlijk een sprintje om een adequaat antwoord te formuleren, omdat ze weten dat ze daar allebei baat bij hebben.

Het vergt misschien wat lef en vertrouwen, maar dat is het ministerie niet vreemd. De verantwoording van de toekomst is een goed en eerlijk verhaal over wat er echt toe doet, ingebed in gelijkwaardige partnerschappen waarin het ministerie en de organisaties samen optrekken, ook wat PMEL betreft, en waarin rapportage ondersteunend is aan – en niet de aandacht afleidt van – het gezamenlijk streven naar een versterkt maatschappelijk middenveld.

Op vrijdagmiddag 1 november organiseren Giving For Change, Wilde Ganzen en Vice Versa een bijeenkomst in Den Haag over het onderwerp van dit artikel, onder de titel Measuring what matters: decolonizing Monitoring &Evaluations. Je kunt je aanmelden via https://viceversaonline.nl/measuring-what-matters-monitoring-evaluation/

Karine Godthelp was coördinator en PMEL-adviseur bij de Fair, Green & Global Alliance. Tijdens haar studies in (medische) antropologie en sociologie heeft ze zich in de monitoring en evaluatie van ontwikkelingssamenwerking verdiept en in de afgelopen jaren heeft ze als PMEL-medewerker en evaluatieconsultant voor verschillende organisaties gewerkt. Sinds 2016 werkt ze bij Both ENDS, de penvoerder van de Alliance