Hoe goed is ‘goed doen’?

Door alle zorgen van donateurs over de financiële verantwoording van goede doelen is er weinig aandacht voor de mate waarin organisaties hun maatschappelijke doelen behalen.

Goede bedoelingen, onduidelijke resultaten

Donateurs redeneren vanuit de gedachte dat wanneer er zo min mogelijk administratieve kosten zijn, een organisatie effectief is omdat zij meer geld aan de programma’s kan besteden. Naar het effect van deze programma’s kijken de donateurs echter amper. Want wat is de impact van de projecten van goededoelenorganisaties eigenlijk?

In mijn onderzoek bestudeerde ik onder andere de mate waarin organisaties hun projecten evalueren. Daaruit bleek bijvoorbeeld dat een groot deel van de goededoelenorganisaties niet bijhouden hoeveel mensen zij bereiken (output). Als een organisatie niet weet hoeveel mensen zij met haar project bereikt, is het onwaarschijnlijk dat zij systematisch informatie verzamelt om haar bijdrage te meten. Andere onderzoeken komen tot gelijksoortige conclusies: goededoelenorganisaties hebben moeite met het verzamelen van informatie die inzicht geeft in hun prestatie en effectiviteit. Tevens lijkt er een algeheel tekort te zijn aan gedegen evaluaties van de impact van de specifieke programma’s en projecten van organisaties.

Dit is slecht nieuws. Juist omdat de evaluaties van goede doelen die wél meten laten zien dat het eerder uitzondering dan regel is dat een project de gewenste impact heeft. Zo leren kinderen meestal niet extra veel als gevolg van het nieuwe klaslokaal en voelen ouderen zich vaak niet minder eenzaam door de computercursus.

Gedegen impactevaluaties laten zien dat de eventuele positieve impact van veel projecten gepaard gaat met negatieve bijeffecten

Onderzoek naar de kosteneffectiviteit van verschillende projecten met dezelfde doelen laat zien dat de verschillen enorm zijn. Waar een HIV-project dat voorziet in aidsremmers iedere geïnvesteerde 1000 dollar om kan zetten in ongeveer twee levensjaren, kan een HIV-project dat voorlichting biedt via massamedia diezelfde 1000 dollar omzetten in ongeveer 950 levensjaren.¹ Ook laten gedegen impactevaluaties zien dat de eventuele positieve impact van veel projecten gepaard gaat met negatieve bijeffecten. Een voorbeeld hiervan zijn tienerkinderen die stoppen met school om te helpen in het met  microfinanciering opgezette bedrijfje van hun moeder.

Impact niet te meten

Veel organisaties worstelen met de toegenomen publieke druk om zich te verantwoorden. Dit betreft niet alleen een transparante rapportage over de kosten, maar ook een oproep om de maatschappelijke bijdrage inzichtelijk te maken. Als reactie daarop worstelen organisaties in toenemende mate met de impactvraag. Het debat rondom impact wordt echter gedomineerd door een aantal mythen over impactmeting.

Mythe 1
De eerste mythe betreft de gedachte dat impactmetingen kwantitatieve metingen zijn en dat als een gevolg daarvan kwalitatieve effecten, zoals geluk of saamhorigheid, niet meetbaar zijn. Dit rust op een te beperkt begrip van wat kwantitatieve studies zijn. Kwantitatieve studies gebruiken goed geselecteerde ‘samples’ (subgroepen van de populatie waar men iets over wil zeggen) om data te verzamelen. Ook gebruiken zij gedegen statistische methoden om onderzoeken uit te voeren die de mogelijkheid hebben om statistisch significante resultaten te creëren. Statistische analyses staan toe om de specifieke resultaten van het onderzoek over het sample te generaliseren naar de gehele groep (populatie). Echter, dit zegt niets over de concepten die deze kwantitatieve studies kunnen meten: geluk kan bijvoorbeeld onderzocht worden met een vragenlijst, MRIs, of met geluksdagboeken. Al deze manieren van meten kunnen in cijfers omgezet worden waar statistische analyses mee gedaan kunnen worden. In feite zijn alle concepten kwalitatief, maar worden deze kwantitatief gemaakt zodat er analyses mee gedaan kunnen worden. Vooral vanuit de psychologie zijn er enorm veel instrumenten beschikbaar om concepten te meten die relevant zijn voor goededoelenorganisaties, zoals sociale cohesie, eenzaamheid, geluk en welzijn.

Mythe 2
Een tweede mythe luidt dat impact meten niet mogelijk is omdat er geen consensus is over de methodologie waarmee impact gemeten moet worden. Economen, vooral in de ontwikkelingssector, voeren al sinds de jaren negentig impactstudies uit met robuuste methoden. Dit zijn vooral experimentele methodieken, zoals ‘randomised controlled trials’. Deze studies worden al veel langer gebruikt in medisch onderzoek om de effectiviteit van medicijnen en medische behandelingen te testen. Er is redelijke consensus over de hiërarchie van de meest robuuste methoden, waar met robuust de zekerheid bedoeld wordt dat de conclusies accuraat zijn en de geobserveerde verandering (impact) toegeschreven kan worden aan het project, het programma of de organisatie. De keuze voor methoden wordt gebaseerd op een aantal overwegingen, zoals de context waarbinnen het gebruik van specifieke methoden gemakkelijker of juist moeilijker is, en de eventuele kosten die daarmee gepaard gaan.

Mythe 3
Een derde mythe gaat over het gebrek aan universele gestandaardiseerde indicatoren. Omdat nagenoeg iedere goededoelenorganisatie en ieder project andere impacteffecten heeft, zijn er veel relevante indicatoren. De indicatoren hebben als doel om de voortgang op de gestelde doelen en/of de algehele missie van de organisatie of het project inzichtelijk te maken. Wat ‘material’ is voor de ene organisatie, hoeft niet relevant te zijn voor de andere organisatie. Wel is het handig om te kijken of er voor specifieke effecten al gestandaardiseerde indicatoren zijn die relevant zijn voor de organisatie. Hiervoor kunnen databases van indicatoren gebruikt worden via websites als http://iris.thegiin.org en http://wikivois.org.

Mythe 4
Een vierde mythe is dat een impactevaluatie te duur is. Impact meten zou hierdoor niet mogelijk zijn. Het is correct dat vaak kosten gepaard gaan met evaluaties. Voor een goede evaluatie kunnen deze zelfs substantieel zijn. Echter, deze kosten moeten afgezet worden tegen de aanzienlijke kans dat het hele project of programma geen, of zelfs negatieve, effecten heeft op de beneficianten of op de maatschappij in het algemeen.

Wat is impact wel?

Impact gaat over de maatschappelijke verandering die de organisatie, of een specifiek programma of project, realiseert. Dit kan een milieu-impact zijn zoals CO₂-besparing. Het kan ook een sociale impact zijn zoals economische groei, een vermindering van eenzaamheid of een vergroting van de sociale cohesie in een buurt. Impacteffecten betreffen de laatste effecten van de ‘maatschappelijke waardeketen’ (zie figuur 1).

Deze waardeketen start met de maatschappelijke context waarin op basis van de missie van een organisatie, dilemma’s en problemen zijn geformuleerd. Vervolgens worden onder begeleiding van die missie de inputs vastgesteld. Dit zijn de middelen die ingezet worden voor de activiteiten die tot doel hebben het dilemma op te lossen (vaak in de vorm van projecten die weer geclusterd zijn in programma’s).

De outputs zijn de directe kwantitatieve uitkomsten van de activiteiten, zoals het aantal scholen dat de organisatie heeft gebouwd of het aantal verpleegsters die zij heeft opgeleid. De outcomes betreffen de directe veranderingen in de beneficianten, in organisaties, in de omgeving of in de sociale systemen en instituties. Voorbeelden van outcomes zijn de testscores van de kinderen of van de navolging van mensenrechtenstandaarden door een organisatie.

De impacteffecten zijn de blijvende of duurzame effecten. Ook deze kunnen zich manifesteren op het niveau van de beneficianten, de organisaties, de omgeving of in sociale systemen of instituties. Ondanks het gebruik van maar een enkele indicator (zoals in het voorbeeld in figuur 1), is er bijna altijd een set aan effecten op ieder niveau. Dit heeft ook als gevolg dat in sommige gevallen sprake is van positieve synergieën tussen deze effecten, maar soms ook van ‘trade-offs’.

Voor iedere stap in de waardeketen(s) kunnen meetbare indicatoren geformuleerd worden waarmee de maatschappelijke prestatie gemeten kan worden

Deze maatschappelijke waardeketen wordt ook wel een veranderingstheorie of logic model genoemd: het legt uit hoe de middelen, onder begeleiding van de missie, omgezet worden in de resultaten. Daarmee maakt deze waardeketen de logica die onderliggend is aan de organisatie, een programma of project, expliciet. Een grotere organisatie met meerdere programma’s of projecten kan meerdere veranderingstheorieën hanteren en dus meerdere waardeketens hebben. Voor iedere stap in de waardeketen(s) kunnen meetbare indicatoren geformuleerd worden waarmee de maatschappelijke prestatie van het goede doel of een specifiek programma of project gemeten kan worden. Om vervolgens de impact van verschillende projecten terug te vertalen naar het programma of organisatieniveau, moeten de indicatoren met elkaar corresponderen.

In mijn onderzoek maak ik een onderscheid tussen twee typen impact. Het eerste type, missie-impact, is de impact van het specifieke doel van de organisatie, het programma, project of beleid. Deze missie-impact is dus een maatstaf van de voortgang ten opzichte van de specifieke doelstelling. Wanneer dit gecorrigeerd wordt voor de kosten vormt het een maatstaf van de kosteneffectiviteit van een project, programma of organisatie. Het tweede type is de maatschappelijke impact, wat gedefinieerd wordt als de netto-impact van alle blijvende bedoelde, onbedoelde, positieve en negatieve effecten op de maatschappelijke welvaart. De operationalisering van dit concept is echter complexer: omdat het niet objectief is (wat als waardevol wordt beschouwd in een maatschappij) moet de individuele evaluator telkens de grenzen van de maatschappelijke impact definiëren.

Evalueren om te leren

Evaluaties zijn niet alleen belangrijk om te ontdekken of de doelen behaald worden, maar ook om duidelijk te krijgen wat er beter kan. Het onderstaande framework kan gebruikt worden door goededoelenorganisaties om voorafgaand aan een evaluatie samen met relevante partijen (onder andere de donors) de evaluatie te ontwikkelen (zie figuur 2). Dit framework start met het duidelijk krijgen van de doelen van de evaluatie: controleren, budgetteren, overwinningen vieren, motiveren, promotie/marketing, evalueren, leren en verbeteren.

Vanuit deze doelen wordt de evaluatievraag opgesteld. Dit kan een rapportagevraag zijn of een leervraag. Alleen in het geval van de leervraag krijgt men inzicht in de relatieve kosteneffectiviteit van een project, doordat men een benchmark gebruikt. Wanneer het doel van de evaluatie en de evaluatievraag duidelijk zijn, laat het framework zien welk type effect gemeten moet worden om de impactvraag te beantwoorden en de functie te vervullen (input, output, outcome, missie-impact, maatschappelijke impact). Vervolgens kan de methode geselecteerd worden om de impact te meten. Bij het opzetten van de evaluatie is het verhelderend om de kwaliteit van de evaluatie te toetsen op drie deelgebieden: de kwaliteit van de onderliggende veranderingstheorie (uitgedrukt in de waardeketen), de kwaliteit van de implementatie en de methodologische kwaliteit van de evaluatie.

De rol van de auditor

De auditor kan een belangrijke rol spelen bij goededoelenorganisaties als het om het meten van impact gaat. De volgende drie werkwijzen kunnen de toegevoegde waarde van de auditor in het inzichtelijk maken en het vergroten van de impact van goededoelenorganisaties ondersteunen.

1. Stel duidelijke doelen vast: spreek samen met het management af wat de audit aan informatie moet opleveren en hoe achteraf wordt bepaald of dit in voldoende mate is gelukt.
2. Gebruik auditcriteria die zowel de financiële als de sociale accounting betreffen. Maak het verschil, maar ook de overlap, tussen deze twee aspecten duidelijk.
3. Neem in de kwaliteitscontrole van evaluaties de aspecten van theoretische fouten, implementatiefouten en methodologische fouten mee.

Noten

1. http://www.givingwhatwecan.org/where-to-give/charity-evaluation/health/hiv-aids
2. Liket, K.C., Rey-Garcia, M. en K.E.H. Maas, (forthcoming), ‘Why aren’t Evaluations working and what to do about it: a framework for negotiating meaningful evaluation in nonprofits’, American Journal of Evaluation, gratis beschikbaar via http://repub.eur.nl/pub/51130, hoofdstuk 4.
3. Idem als noot 2.