Handvatten voor en ervaringen met root cause analyses

Voor een internal auditfunctie (IAF) is het een uitdaging om met aanbevelingen te komen die de kernoorzaken van een tekortkoming wegnemen. Een goede oorzaakanalyse vereist kennis van analysemethoden en voldoende vaardigheden om deze toe te passen.

In het IIA-artikel ‘Oorzaakanalyses in het kader van audits’, december 2014, is aandacht besteed aan een aantal methoden/technieken die gebruikt kunnen worden bij een oorzaakanalyse. Dit artikel gaat hier verder op in door een beschrijving te geven van de praktijkervaringen met betrekking tot het toepassen van enkele root cause analyses bij complexe bevindingen.

Aanpakken voor een oorzaakanalyse

Voor het uitvoeren van een oorzaakanalyse bij complexe bevindingen is een aantal methoden beschikbaar. Deze verschillen in aanpak en in de rol die de auditor hierbij inneemt (zie tabel 1). Wij onderscheiden twee soorten aanpakken:

1. Kwalitatieve aanpak – de analyse van zowel de aanwezigheid van mogelijke oorzaken als de causaliteit daarvan met het probleem dat wordt onderzocht, worden op basis van kwalitatieve technieken (meting van percepties en meningen, kwalitatieve redeneringen) uitgevoerd.
2. Kwantitatieve aanpak – waarbij voor de analyse van de aanwezigheid van de mogelijke oorzaken en van de relaties gebruik wordt gemaakt van statistische analyses.

Met name in de kwalitatieve aanpak kan de auditor twee rollen aannemen. Die van:

1. onderzoeker/auditor, die zelf met een conclusie/oordeel komt over de oorzaken van de problematiek;
2. facilitator, waarbij de auditor de analyses faciliteert, maar het trekken van de conclusies overlaat aan de betrokkenen.

Onderzoekende aanpak

TRIPOD incident analyse methode (TRIPOD Beta)
In de sectoren ‘Aviation’, ‘Shipping’ en ‘Oil & Gas’, waar in het verleden grote incidenten zijn geweest, wordt veel gebruikgemaakt van TRIPOD Beta. TRIPOD Beta is specifiek bedoeld voor het analyseren van incidenten en gaat uit van falende veiligheidsvoorzieningen die worden geanalyseerd op directe oorzaken, omstandigheden en achterliggende factoren. Deze methode kan gebruikt worden als de processen en beheersmaatregelen goed zijn gedocumenteerd waarbij het mogelijk is om de werking ervan in relatie tot het incident te identificeren.

Een TRIPOD Beta-schema bestaat uit drie stappen:

1. Het vastleggen van alle gebeurtenissen die zich hebben voorgedaan als een keten van gebeurtenissen.
2. Het identificeren van de barrières (of interne beheersmaatregelen) die gefaald hebben om deze gebeurtenissen te voorkomen.
3. Het analyseren van de reden voor het falen van deze barrières. Voor iedere falende barrière wordt een oorzaak in het schema vastgelegd.

BSCAT wordt meestal gebruikt voor het analyseren van hoge risico’s en bij complexe incidenten omdat het een uitgebreide en gedetailleerde methode is

Barrier-based Systematic Cause Analysis Technique (BSCAT)
BSCAT is ontwikkeld door de certificeringsorganisatie Det Norske Veritas. In deze methode worden incidenten in relatie met de risico’s (bedreigingen) geanalyseerd en is het mogelijk om alle historische informatie met betrekking tot de doorbreking van de interne beheersing en onderliggende oorzaken bij elkaar te brengen. BSCAT wordt meestal gebruikt voor het analyseren van hoge risico’s en bij complexe incidenten omdat het een uitgebreide en gedetailleerde methode is. Deze methode kan gebruikt worden als processen, bijbehorende risico’s en beheersmaatregelen goed zijn gedocumenteerd waarbij het mogelijk is om de onderkende risico’s en de werking van de beheersmaatregelen in relatie tot het incident te identificeren.

Onderdelen van het managementsysteem (management system factors) die in BSCAT zijn gedefinieerd:

Strategie & beleid

1. Leiderschap
2. Planning en beheer
3. Risico-evaluatie

Planning

4. Human resources
5. Zekerheid over compliance
6. Projectmanagement
7. Training en bekwaamheid
8. Communicatie en awareness
9. Risicobeheersing

Implementatie & uitvoering

10. Asset management
11. Contractmanagement en inkoop
12. Voorbereid zijn op incidenten
13. Leren van gebeurtenissen

Meten & monitoren

14. Risicocontrole

Management review

15. Meten en beoordelen

Learning History
Bij Learning History, oorspronkelijk ontwikkeld door het Amerikaanse onderzoeksinstituut MIT (Kleiner & Roth, 1997), worden door middel van diepte-interviews de achtergronden van feitelijke gebeurtenissen geanalyseerd, vooral door te kijken naar de overtuigingen en veronderstellingen die bepalend zijn geweest voor het feitelijke gedrag van de betrokkenen. Learning History bevat drie lagen:

1. De feitelijke gebeurtenissen.
2. De percepties zien van mensen die betrokken waren door middel van uitspraken van die mensen.
3. De vragen en observaties van experts die niet betrokken waren. Deze zijn bedoeld om de betrokkenen en niet-betrokkenen aan het denken te zetten.

Learning History kan goed worden toegepast in situaties waarvan de oorzaken niet direct duidelijk zijn en waar wordt vermoed dat deze te maken hebben met dieper liggende zaken, zoals (belemmerende) overtuigingen of percepties van betrokkenen. Kenmerkend voor Learning History is:

• Het veldwerk start zonder uitgewerkt referentiekader maar vanuit een open houding, om te voorkomen dat vooronderstellingen het vinden van de echte oorzaken in de weg staan.
• In diepte-interviews wordt de respondent gevraagd naar de mentale modellen die bepalend zijn geweest voor zijn of haar gedrag. Met andere woorden: wat waren zijn interpretaties, percepties, veronderstellingen die aan de gebeurtenissen ten grondslag lagen?
• Uit de interviews construeert de onderzoeker een beeld, onderbouwd door citaten uit die interviews.
• Dit beeld wordt, aangevuld met vragen van de onderzoeker, voorgelegd aan de betrokkenen, waarna zij komen tot conclusies over de oorzaken en oplossingsrichtingen.

Statistische analyse
Voor de analyse van causale relaties kan ook gebruik worden gemaakt van statistische analyses, bijvoorbeeld in de vorm van een comparatieve casestudy waarin een vergelijking tussen diverse situaties wordt gemaakt. Statistische analyse is met name toepasbaar als het vaststellen van effecten (van bepaalde maatregelen) of oorzaken (van bepaalde problemen) complex is, maar er wel behoefte is aan een hoge mate van betrouwbaarheid (>95%) van het vaststellen daarvan. Voorwaarde hierbij is dat er sprake is van een aantal ‘cases’ of ‘eenheden’, die op een statistisch verantwoorde manier met elkaar worden vergeleken.

Bij de statistische analyse worden de mogelijke oorzaken (de onafhankelijke variabelen) en het probleem (de afhankelijke variabele) benoemd. Vervolgens wordt de aanwezigheid van deze variabelen gemeten en wordt met statistische analyses onderzocht of een significante relatie bestaat tussen deze factoren. Significant betekent dat dat het ‘niet op toeval berust’, waarbij doorgaans voor 95% zekerheid (betrouwbaarheid) wordt gekozen. Ondanks dat er andere onderzoeksmethoden denkbaar zijn, is de enquête, vanwege het gemak om een grote groep respondenten te benaderen en te verdelen op basis van hun kenmerken, daarbij de aangewezen methode.
De steekproefgrootte is onder meer afhankelijk van het aantal groepen dat met elkaar vergeleken moet worden. Per groep is het minimum 25 ingevulde enquêtes.

Statistische analyse is niet alleen geschikt om de oorzaken van een probleem te definiëren, maar kan ook worden gebruikt om te meten of bepaalde maatregelen effectief zijn

Op de verzamelde gegevens wordt een aantal statistische berekeningen uitgevoerd (T-toets, ANOVA, correlatie & regressie-analyse) om te bepalen welke oorzaken (in welke mate) zijn aan te wijzen voor het probleem. Uit de analyses komt naar voren of er sprake is van een significante relatie en hoe sterk deze is.

Indien geen sprake is van meerdere meetmomenten in de tijd kan de causaliteit (wat is oorzaak en wat is effect) niet door analyses worden onderbouwd en wordt de richting van de relatie (causaliteit) gebaseerd op een kwalitatieve redenering.

De statistische analyse is ook geschikt om vast te stellen of soft controls effectief zijn of om te analyseren in welke mate cultuur en gedrag de oorzaken zijn van een probleem. Valide en betrouwbare vragenlijsten zijn te vinden in wetenschappelijke bladen. Overigens is de statistische analyse niet alleen geschikt om de oorzaken van een probleem te definiëren, maar kan zij ook worden gebruikt om te meten of bepaalde maatregelen effectief zijn.

Faciliterende aanpak

Workshop en interrelationshipdiagram
Deze aanpak, een combinatie van een workshop en het toepassen van een interrelationshipdiagram, kan gekozen worden voor complexe bevindingen waarbij één of meerdere organisatieonderdelen, ketens, afdelingen of domeinen geraakt zijn door de effecten van de onderkende problematiek. De aanpak is ook geschikt voor situaties waar veel veroorzakende factoren en mogelijke oorzaken zijn verzameld, maar waarbij nog geen duidelijke overeenstemming is bereikt.

Aan de hand van de informatie die de deelnemers van tevoren aanleveren, bereidt de facilitator, met behulp van het interrelationshipdiagram, de workshop voor. Bij het interrelationshipdiagram worden de onderling samenhangende factoren van een probleem onderzocht en grafisch inzichtelijk gemaakt. Zo kunnen de meest kritieke factoren van een probleem op een natuurlijke manier naar voren komen. In plaats van het interrelationshipdiagram kunnen ook andere technieken worden gebruikt, zoals bijvoorbeeld het visgraatdiagram.

In de workshop speelt de auditor een faciliterende rol en in mindere mate een onderzoekende rol. Deze methode hoeft niet te leiden tot een objectief vast te stellen oorzaak. De deelnemers voeren namelijk zelf de oorzaakanalyse uit in het kader van een workshop en kunnen de uitkomst ook sturen. Het is derhalve van belang om de juiste mensen te selecteren die deel gaan nemen aan de sessie.

Workshop en scoring
De oorzaakanalyse met behulp van scoring is een variant op de oorzaakanalyse met interrelationshipdiagram of visgraatdiagram. Terwijl de diagrammen worden gebruikt om de (alle) mogelijke oorzaken te benoemen, wordt scoring met name gebruikt om te komen tot een vaststelling van de meest belangrijke oorzaken. Omdat in sterke mate wordt gesteund op de ‘scores’ die de betrokkenen geven, is het essentieel dat inhoudsdeskundigen de scores geven. Scoring is ook bruikbaar in situaties waar relatief weinig tijd beschikbaar is en waar de meningen over de oorzaken lijken te verschillen.

Scoring vindt plaats nadat de mogelijke oorzaken zijn vastgesteld, maar nog niet duidelijk is welke oorzaken het zwaarste wegen en waarop de verbeteringen zich aldus dienen te richten. Op basis van de vermoedelijke oorzaken worden de inhoudsdeskundigen geselecteerd. Aan de deskundigen wordt vervolgens gevraagd de mogelijke oorzaken te ‘scoren’. Dat kan op diverse manieren, bijvoorbeeld via ranking of door het verdelen van een x aantal punten over de mogelijke oorzaken, naar rato van hun invloed op de problematiek (de kracht van de causale relatie).

Vaardigheden en kennis

Algemene kennis en vaardigheden auditor
‘Gedrag als auditobject of als onderdeel van de root cause analysis wordt steeds belangrijker gevonden.’ Aldus Van der Meulen en Otten, die stellen dat een meer behoudende en traditionele beroepsopvatting een belemmering kan zijn om nieuwe methoden, zoals een root cause analyse, uit te voeren.

Voor het uitvoeren van een root cause analyse door de auditor zijn aanknopingspunten te vinden in het International Professional Practices Framework (IPPF) van het IIA. Er is een specifieke Practice Advisory voor oorzaakanalyses: ‘2320-2: Root Cause Analysis’.

Kennis hebben van audit- of onderzoeksmethodologie is een. Het opzetten van een audit- of onderzoekontwerp dat aansluit bij de kennisvraag is twee. Een goed eindresultaat is ook afhankelijk van een derde stap: het ontwikkelen en kunnen toepassen van de juiste ontsluitingstechnieken om valide en betrouwbare gegevens te verzamelen die leiden tot deugdelijke bevindingen, conclusies en oordelen. Om deze laatste stap met succes te kunnen uitvoeren, moet de auditor beschikken over de juiste vaardigheden (zie tabel 2).

Specifieke kennis en vaardigheden onderzoekende auditor
De door ons beschreven aanpakken vereisen de volgende specifieke kennis en vaardigheden:

• TRIPOD BETA/BSCAT – procesmatige kennis, cijfermatige kennis, analytische vaardigheden om data-analyses uit te voeren.
• Statistische analyse – kennis van het ontwerpen van een deugdelijke enquête, alsmede kennis van statistische analyses om de verzamelde gegevens te kunnen analyseren.
• Learning History – kennis en vaardigheden in het kunnen voeren van diepte-interviews alsmede het kunnen faciliteren van workshops, waarin ook ‘gevoelige’ aspecten met betrokkenen worden besproken.

Specifieke kennis en vaardigheden faciliterende auditor
De belangrijkste vaardigheid voor de faciliterende auditor is het stimuleren van de dialoog. Een klimaat van openheid waarin deelnemers zich vrij voelen zich te uiten, uitgenodigd worden actief mee te doen en verantwoordelijkheid te dragen voor het eindresultaat is essentieel. De facilitator dient te luisteren naar zaken die niet de eigen beelden bevestigen en te zorgen dat de eigen gedachten niet overheersen. Ook is het belangrijk om de patronen uit het geheugen niet als nieuwe gedachten te presenteren en eenmaal gevormde beelden ook los te kunnen laten.

De belangrijkste vaardigheid voor de faciliterende auditor is het stimuleren van de dialoog

Afsluiting

Root cause analyses zijn vaak lastig, maar tegelijkertijd belangrijk om tot effectieve verbeteracties te komen. In dit artikel zijn diverse methoden beschreven om (ingewikkelde) oorzaakanalyses uit te voeren. Elk van deze methoden is in de praktijk beproefd en heeft geleid tot gedegen analyses waarvan de uitkomsten goed zijn ontvangen. Een meer uitgebreide versie van dit artikel, inclusief voorbeelden van toepassing van de analyses in de praktijk, is te vinden op de website van het IIA. Wij hopen hiermee de auditor in staat te stellen zijn werkzaamheden nog beter uit te voeren en daarmee zijn toegevoegde waarde voor de organisatie nog verder te vergroten!