Impact is geen waardeoordeel

Het Impact Centre Erasmus is een kennisinstituut dat zich richt op het meten van maatschappelijke effecten. Marit Schouten is senior impactonderzoeker en betrokken bij uiteenlopende projecten bij onder meer ministeries en uitvoeringsorganisaties. Haar missie: organisaties helpen hun bijdrage aan maatschappelijke verandering zichtbaar en bespreekbaar te maken.

Wat doet het Impact Centre van de Erasmus?

“Het Impact Centre is een aparte werkmaatschappij onder de Erasmus Universiteit. We vallen niet onder een faculteit. Wij zijn een kennisinstituut dat zich richt op het ontwikkelen van een methodiek. De methodiek die wij onderzoeken is hoe je effecten kunt meten. We meten met zijn allen veel, maar zijn dat dan de goede dingen? En wat we daarnaast onderzoeken is hoe je je eigen bijdrage kunt toerekenen aan het effect. Immers, de wereld is complex en er is een veelheid aan invloeden die van invloed zijn op het effect.”

Voor wie doen jullie dat?

“We doen veel projecten met publieke instanties. Zo doen we nu een project bij het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) dat gaat over de maatschappelijke diensttijd. Het ministerie wil dat dit meer gaat leven onder jongeren en dat zij enthousiast worden voor de maatschappelijke diensttijd. Maar hoe doe je dat als er driehonderd projecten in het land lopen? Een ander voorbeeld is een project bij de Rijksdienst voor Ondernemend Nederland (RVO). RVO is onlangs gereorganiseerd om als organisatie goed aan te sluiten bij drie maatschappelijke transities. Ook hierbij is de vraag hoe zij het effect kunnen meten van hun activiteiten op die maatschappelijke transities. Ik ben als senior impactonderzoeker betrokken bij dit soort projecten, maar geef daarnaast ook colleges.”

Hoe definieer jij impact?

“Wetenschappelijk gezien hebben we daar simpele definities van die vanuit verschillende vakgebieden tot stand zijn gekomen. Impact wordt gedefinieerd als het additionele effect van een organisatie op haar stakeholders en de maatschappij als geheel. Op zowel sociale, ecologische als economische dimensies. Impact kan negatief of positief zijn, maar dat is afhankelijk van hoe stakeholders dit bezien. Maar de impact an sich kent geen waarde. Afhankelijk van iets wat jij hebt gedaan treedt iets wel of niet op, en dat is dan de impact. Deze definitie is niet complex, maar wat complex is, is hoe we het zijn gaan gebruiken. Het niveau waarop effect gewenst wordt, is meer en meer op niveau van de maatschappij geplaatst. En dan is de vraag: kun je het effect van de actie van een organisatie meten op bijvoorbeeld maatschappelijk niveau, zoals het effect op sociale cohesie?”

“Tegenwoordig zijn heel veel organisaties gericht op outcome – op het bereiken van iets wat buiten de organisatie ligt”

Die complexiteit zit ook in het non-lineaire?

“De afgelopen decennia heeft er een verschuiving plaatsgevonden waarbij organisaties hun doelstellingen hebben verlegd van binnen de organisatie naar buiten de organisatie. Dus waar vroeger doelstellingen meer gingen over bijvoorbeeld een goed product kunnen maken, is dat meer en meer verschoven naar een beoogd effect op de maatschappij. De invloed op interne doelstellingen is veel groter dan die op externe doelstellingen. Daarnaast heb je veel meer informatie over het effect op de interne doelstellingen dan over het effect van jouw actie op externe doelstellingen. Dat maakt dat effectmeting veel complexer is geworden, want je bent maar een radertje in de veelheid aan invloeden op maatschappelijke gevolgen.”

Kun je modellen gebruiken?

“De modellen proberen een lineaire wereld voor te stellen die de werkelijkheid moet voorstellen. Alsof het allemaal stapjes zijn waarbij het een leidt tot het ander. Terwijl veranderingen nooit zo perfect via stapjes te reconstrueren zijn. Maar het doel van modellen zou niet moeten zijn om een weergave te geven van de werkelijkheid, maar om een beter gesprek te kunnen hebben. Het helpt om het gesprek te voeren om dat soort modellen te gebruiken. Nu is het zo dat als er effecten optreden die je niet had voorzien, het model dan niet zou kloppen. Daarmee reken je modellen af op iets wat ze (veelal) niet kunnen waarmaken.”

Welke modellen zou je kunnen gebruiken?

“Een van de meest gebruikte modellen is een variant van een logic model. Die start vanuit de missie of visie naar de input die we steken in het bereiken van die missie of visie, en tenslotte naar de output. Vervolgens is dan de vraag wat de additionaliteit is van de input. Een wat uitgebreidere versie daarvan is de ‘theory of change’. Dit model brengt de effecten wat uitgebreider met elkaar in verband. Je kunt het zien als een complexe beslisboom. Maar nogmaals: de werkelijkheid is vele malen complexer en een model helpt je in het leerproces om te bepalen wat relevant is en wat niet.”

Past design thinking ook in dit verhaal?

“Design thinking zit er op een andere manier in. Het mooie van design thinking is dat het startpunt de vraag is: wat willen we bereiken en wat moeten we dan doen? Dat vraagt om een wat meer experimentele aanpak waarbij je gewoon gaat doen om te leren en te begrijpen hoe effect tot stand komt. Het laat veel ruimte voor de doelgroep. Design thinking gaat ervan uit dat er een gesprek plaatsvindt met de mensen over wie de dienst of het product gaat. En de doelgroep bepaalt wat positieve impact is en wat niet. Daarmee is design thinking een mooi startpunt van het impactgedachtegoed.”

“Tegenover het impactgedachtegoed staat de complexiteitstheorie en systeemtheorie. De complexiteitstheorie gaat ervan uit dat alles in verband met elkaar staat en alles invloed op elkaar heeft. De consequentie daarvan is dat het te groot is om beïnvloed te worden. Het enige wat we dan nog kunnen doen is goed kijken hoe wij elkaar blijven vinden, leren en samenwerken. Maar we kunnen niet echt sturen op bepaalde effecten. De waarheid zal ergens in het midden liggen. Ja, we werken in complexe systemen, maar dat betekent niet dat we niet moeten proberen om te blijven zoeken naar wat wel beïnvloedbaar is en leidt tot verandering.”

Welke stappen moet je ondernemen om als organisatie impact te maken?

“Deze vraag krijg ik vaker. En de grap is dat ik je kan feliciteren, want je maakt al impact. Alleen is de vraag: heb je bereikt wat je beoogde? Dat betekent dat er vooraf een gesprek moet zijn over wat beoogd wordt. En daar komt de internal auditor goed van pas. Doen we de juiste dingen om doelstellingen te bereiken? Als een doelstelling is om de sociale cohesie in een wijk te vergroten, dan moet je kijken wie daar zeggenschap over heeft om te bepalen of die sociale cohesie is veranderd. En met die stakeholders kan dan het gesprek worden aangegaan om samen over die sociale cohesie na te denken: wat dat is en wat daaraan bijdraagt. Daarna kun je gericht dingen doen en onderzoeken of dit leidt tot het beoogde doel. En vervolgens komen daar lessen uit op basis waarvan je dingen weer anders gaat doen.”

Wie bepaalt de impact?

“In de spreektaal worden maatschappelijke impact en maatschappelijke waarde als synoniemen gebruikt. Daar ben ik het niet mee eens. Impact is vaak het feitelijke effect, zowel positief als negatief. Een waarde is altijd een waardeoordeel. Waarde is een inschatting die persoonlijk is, dus daar heb je mensen voor nodig over wie het gaat. Daarom moet je participatief onderzoek doen om de mensen te betrekken over wie het gaat en die de waarde of het oordeel van de impact kunnen bepalen.”

Wat kan de rol van de auditor zijn?

“Mijn beeld is best positief. De afgelopen jaren heb ik veel contact gehad met mensen in een audachtige rol, variërend van internal auditor tot rekenkamer en externe accountants. Wat me opvalt is dat het eigenlijk al heel erg in het DNA zit van de auditor om vragen als: ‘doen we de juiste dingen, bereiken we wat we willen bereiken, hoe kom ik aan data om überhaupt deze doelstelling te toetsen?’ mee te nemen. Ze hebben de capaciteit om complexe processen door te lichten en te doorgronden. Laat er vooral niet een nieuwe discipline komen, maar laat internal audit zich verbreden. Audit is misschien te veel de stempel geworden die de buitenwereld erop plakt: een orgaan verantwoordelijk voor de toetsing van de interne processen en de procesmatige naleving. Maar laat audit vooral ook kijken naar waarom middelen besteed worden zoals ze worden besteed en wat dat oplevert. Het vraagt van auditors wel dat ze de vrees of dit wel bij hun taak past loslaten.”

“Audit kan vanuit haar rol als spin in het web een brug slaan naar verschillende afdelingen”

Wat kan het betekenen voor internal audit?

“Het kan meerwaarde hebben op drie punten. Allereerst kan het de strategische relevantie van audit vergroten. Dat audit niet alleen de bewaker is van processen en dat binnen de lijntjes wordt gekleurd, maar echt een strategische partner wordt die strategie en uitvoering verbindt. Ten tweede kan audit vanuit haar rol als spin in het web een brug slaan naar verschillende afdelingen. Audit kan vanuit een participerende doelstelling zorgen voor een gezamenlijk begrip van de impact en data en perspectieven samenbrengen. Dat kan heel waardevol zijn. En ten slotte is het een kans om het vak te vernieuwen. Auditors zijn zo ingezoomd op de verantwoordingsvraag, terwijl er zoveel te halen is als je je meer focust op het vergroten van het lerend vermogen van de organisatie. De realiteit steeds opnieuw aan de orde stellen om te kijken hoe we met die kennis dingen anders kunnen doen. Audit heeft de mensen in huis die dat kunnen. Het zou zonde zijn als audit dan niet die kans pakt.”

En daarmee beweegt van output naar outcome?

“Absoluut. Voorheen hadden organisaties ook allerlei doelen, maar die gingen dan over hun output. Vanzelfsprekend richtte audit zich dan ook op hoe de output behaald kan worden. Tegenwoordig zijn heel veel organisaties gericht op outcome – op het bereiken van iets wat buiten de organisatie ligt. Dan betekent dat dat de auditor meebeweegt en zich vanzelfsprekend gaat richten op hoe outcome bereikt kan worden.”

Tot slot: kun je impact alleen achteraf onderzoeken?

“Dat is een misvatting. Vanuit het impactdenken wordt het zwaartepunt van de controles en checks aan de voorkant gedaan. We hebben te maken met een complexe werkelijkheid. Dat betekent dat je vooraf moet onderzoeken wat een organisatie wil bereiken en wat daarvoor nodig is. Daarom zou juist ook audit een rol aan de voorkant moeten krijgen, want daar heeft ze de grootste toegevoegde waarde. Het betekent ook dat de organisatie zich meer bewust moet worden van die voorkant en ook dat is een rol waar audit van betekenis kan zijn. Audit kan zorgen dat er een dialoog wordt gestart. En het is een proces, en in dat hele proces is het van belang om te monitoren, te delen, bij te sturen en te leren. Juist audit als brugfunctie tussen afdelingen kan dit goed.”