journalistiek over mondiale samenwerking

In deze column-serie licht Dirk-Jan Koch eens per twee maanden een onderwerp uit waar hij mee bezig is in het kader van zijn onderzoeksproject ‘ongeplande effecten van internationale samenwerking’. Deze keer: wat is de kwaliteit van de studies die ngo’s uitvoeren in het kader van hun lobby & advocacy activiteiten?

De kritiek van het bedrijfsleven en ook wetenschappers op veel van de studies die niet-gouvernementele organisaties (ngo’s) uitvoeren is vaak niet mals. Global Witness, een internationale ngo, deed bijvoorbeeld een studie naar belastingontwijking door het mijnbouwbedrijf Fleurette. Het mijnbouwbedrijf bekritiseerde daarop vervolgens publiekelijk het rapport van Global Witness. ‘De financiële berekeningen van Global Witness over belastingontwijking zijn amateuristisch, zelfs onzinnig. Global Witness heeft geen excuus om deze fouten te maken. De manipulatie van gegevens lijkt opzettelijk van aard en is ontworpen om een vooraf bepaalde conclusie te ondersteunen.’

In de wetenschap wordt daarom wel eens gezegd dat studies als deze niet bedoeld zijn om evidence-based policy te maken, maar dat ze onderdeel zijn van policy-based evidence making. Met andere woorden: als ngo weet je welk beleid je wilt bereiken en vervolgens laat je een studie uitvoeren die inderdaad aantoont dat dat beleid nodig is. Policy-based evidence making dus. Deze vraag intrigeert me: klopt die kritiek en zijn die studies inderdaad onbetrouwbaar?

Geen systematisch onderzoek

Helaas blijkt niemand hier nog systematisch onderzoek naar gedaan te hebben, dus dan moet ik het zelf maar doen. Ik besluit te kijken naar de kwaliteit van de studies over belastingontwijking. Dit omdat zo veel studies van ngo’s daar tegenwoordig over gaan. Bovendien dragen die studies bij aan succesvolle lobby & advocacy, want bijna iedereen ziet Nederland inmiddels als belastingparadijs en vindt dat daar wat aan moet gebeuren. Omdat ik zelf geen belastingexpert ben (ik vul mijn belastingaangifte niet eens zelf in), sla ik de handen ineen met twee belastingexperts: Anna Gunn en Francis Weyzig. We sluiten ons een zomer op om een vijftiental studies van ngo’s helemaal te fileren.

Al snel stuiten we op een eerste obstakel: er bestaat helemaal geen methodologie om de kwaliteit van dit type studies vast te stellen. Met een methodologie bedoel ik criteria, indicatoren en vragen om die indicatoren te meten. We kijken vervolgens naar de gedragscodes van Partos en SOMO en halen daar kerncriteria uit.

Zo zegt Partos in haar gedragscode over publicaties: ‘Het lid past hoor en wederhoor toe om eenzijdigheid in de berichtgeving te voorkomen.’  SOMO stelt in haar gedragscode over onderzoek onder andere: ‘SOMO verleent inzicht in de gehanteerde methoden van onderzoek, en de geraadpleegde bronnen’.  We vullen die criteria die voortkomen uit hun eigen gedragscodes aan met basis wetenschappelijke kwaliteitseisen, zoals het goed definiëren van begrippen. De hoofdcriteria zijn: objectiviteit, data & expertise.

We ontwikkelen in samenspraak met betrokkenen 10 kwaliteitsindicatoren. Daarna begint onze eenzame opsluiting.  We rekenen de berekeningen uit de studies na, lezen de reacties van de bedrijven op de studies, vragen extra informatie op en kunnen uiteindelijk onze conclusies trekken. We kijken dus bijvoorbeeld naar studies over belastingontwijking vanuit Malawi via Nederland door een Australisch mijnbouw bedrijf (‘An extractive affair’ door ActionAid), of vanuit Griekenland via Nederland door een Canadees mijnbouw bedrijf (‘Fools’ gold door SOMO). Kunnen deze studies de toets der kritiek doorstaan?

We zien duidelijk ruimte voor verbetering aan de kant van de ngo’s. Soms geven ze de bedrijven wel erg weinig tijd om te reageren. ‘Morgen publiceren we dit rapport van 100 pagina’s: heeft u nog commentaar.’ Soms nemen ze het antwoord van de bedrijven niet eens mee in hun rapport. Ook merken we dat ngo’s zelf niet altijd de data en berekeningen die ze gebruiken openbaar maken. Dat is dan wel heel erg de pot verwijt de ketel. Ngo’s vinden dat bedrijven transparanter moeten worden, maar zijn dus soms zelf niet open over hun onderzoeksdata en berekeningen!

Toegang tot data

We vinden echter geen bewijs dat de berekeningen, zoals Fleurette zegt, ‘amateuristisch’ zouden zijn. Ook vinden we niet, zoals Fleurette stelt, dat data ‘opzettelijk gemanipuleerd’ worden.

Het grootste probleem dat onze analyse blootlegt is de toegang tot data. Om belastingontwijking in kaart brengen, hebben onderzoekers bijvoorbeeld toegang nodig tot de ‘rulings’ van de belastingdienst (afspraken tussen specifieke bedrijven en belastingdienst) en van gegevens in de doorsluislanden (zoals de Antillen). Helaas, juist in deze donkere hoeken schijnt er weinig licht. Ook als ze erom vragen, krijgen ngo’s die data niet.

Daarom moeten de onderzoekers dikwijls veronderstellingen doen over wat er in die zwarte gaten gebeurt. Veel van de conclusies zijn dus ook gebaseerd op die veronderstellingen. Vaak rapporteren de onderzoekers deze beperkingen wel consciëntieus, maar helaas verdwijnt die nuance maar al te vaak als PR-medewerkers van ngo’s met die studies aan de haal gaan. Dan worden de resultaat regelmatig met meer zekerheid gepresenteerd dan de studie toelaat.

Valt het echter aan de onderzoekers te wijten dat ze te weinig data hebben voor hun onderzoek?  Onze studie laat zien dat veel overheden en bedrijven veel transparanter zouden moeten worden zodat echt goed onderzoek naar belastingontwijking mogelijk wordt. Zelf kwam ik er ook achter hoe weinig open de Nederlandse overheid soms is. Toen ik als grondstoffengezant een studie probeerde uit te laten voeren naar belastingontwijking door mijnbouwbedrijven via Nederland, wilde de belastingdienst geen (geanomiseerde) gegevens delen. Zelfs niet voor onderzoekers die aangesteld waren door het Nederlandse ministerie van Buitenlandse Zaken. Ook toen moesten de onderzoekers hun conclusie over belastingontwijking baseren op te weinig data.

Laten we teruggaan naar Fleurette Group die zo’n kritiek had op het Global Witness rapport. Wat blijkt: de eigenaar van het bedrijf dat het hardst schreeuwt dat de methodologie van de studie niet klopt, wordt zelf schuldig bevonden in Amerika voor corruptie in Congo (hij had miljoenen gegeven aan de president vlak vóór zijn herverkiezingscampagne in ruil voor extra mijnen). Hij wordt in Amerika nu op de sanctielijst geplaatst.  Amerikanen mogen inmiddels geen zaken meer doen met het bedrijf.

Maar, in Nederland is dat klaarblijkelijk geen probleem. Want volgens de website van Fleurette houdt het bedrijf nog gewoon kantoor op de Zuidas. Volgens mij kunnen we dus nog wel wat van die studies van ngo’s gebruiken om licht te schijnen op deze en andere donkere hoeken. En of die studies dan betrouwbaar zijn? Inmiddels hebben we in ieder geval een criteria en indicatoren om dat te beoordelen!

Deze column is gebaseerd op een academisch aritkel dat recentelijke verscheen in het kader van het ‘Unintended Effects of International Cooperation’ programma van de Radboud Universiteit en het Ministerie van Buitenlandse Zaken. 

https://www.sciencedirect.com/science/article/pii/S1061951820300197

Dirk-Jan Koch is bijzonder hoogleraar aan de Radboud Universiteit in Nijmegen en tevens werkzaam bij het Ministerie van Buitenlandse Zaken. Hij schrijft deze columns op persoonlijke titel.