TokelauIn het vorige blog over impactmeten is uitgelegd wat het ‘attributievraagstuk’ precies behelst en op welke manieren dit aangepakt kan worden. In dit stuk kwam onder meer naar voren dat het kwantitatieve kamp sceptisch is over de betrouwbaarheid van de resultaten die voortkomen uit kwalitatieve impactanalyses.

MVO Nederland zette een impactonderzoek op om kennis en ervaring op te doen met het meten van impact. Middelpunt tijdens dit onderzoek was Footprint Travel, een in Utrecht gesitueerde duurzame reisorganisatie en partner van MVO Nederland. Om de impact van de bedrijfsactiviteiten van Footprint Travel op zijn bestemmingen in Indonesië goed in kaart te brengen werd gebruik gemaakt van de ‘contributieanalyse’ – een veel gebruikte kwalitatieve methode om impact te meten.

De contributieanalyse heeft als voornaamste doel om een beter inzicht te krijgen waarom bepaalde veranderingen hebben plaatsgevonden en wat de bijdrage van het onderzochte bedrijf is in die veranderingen. Dikwijls gebeurt het dat waargenomen veranderingen direct worden toegeschreven aan de activiteiten van het bedrijf in kwestie, terwijl andere factoren gewoon genegeerd worden. De aan het bedrijf toegeschreven ‘impact’ zal dan maar door weinig mensen als geloofwaardig beschouwd worden.

‘Theory of change’

Bij een contributieanalyse fungeert een ´theory of change´ als fundament. Bij het maken van een theory of change stel je hypothesen op over hoe jouw bedrijfsactiviteiten leiden tot bepaalde maatschappelijke veranderingen, bijvoorbeeld op het gebied van milieu, diversiteit of werkgelegenheid. Dit betekent dat je met deze evaluatiemethode meteen een beeld schetst van de kernwaarden, beleidskeuzes en de bestaansreden van je bedrijf.

Bij het uitvoeren van de contributieanalyse genereer je vervolgens data (door middel van case studies, focusgroepen en interviews met stakeholders) waarmee je de in de theory of change opgestelde hypothesen test. Je theory of change wordt ofwel bekrachtigd ofwel verworpen door de uitkomsten van de contributieanalyse.

Andere factoren

Naast het testen van de theory of change probeert de contributieanalyse andere potentiele factoren te benoemen die een rol kunnen spelen in de totstandkoming van een bepaalde verandering. Door deze factoren in kaart te brengen, vergroot de contributieanalyse de betrouwbaarheid en geloofwaardigheid van je impactmeting.

Het in kaart brengen van andere factoren die invloed hebben op de waargenomen impact blijkt een zware beproeving te zijn. Dit komt voornamelijk doordat het de contributieanalyse ontbreekt aan een duidelijk operationeel kader waarmee de andere factoren geïdentificeerd kunnen worden. Het benoemen van andere invloeden wordt hierdoor vaak ‘nattevingerwerk’, wat de betrouwbaarheid van de contributieanalyse niet ten goede komt. Het is dus wachten op een goed en duidelijk operationeel kader.

Koen Verkoijen, student aan de Radboud Universiteit en stagiair bij MVO Nederland. Koen voert een impactmeting uit bij reisorganisatie Footprint Travel, een partner van MVO Nederland.