Oorzaakanalyses in het kader van audits

De internal auditfunctie (IAF) moet blijven investeren in het leveren van toegevoegde waarde aan haar organisatie. Evaluatie en doorontwikkeling van de auditactiviteiten zijn hiervoor essentieel. Een van deze ontwikkelingen is om meer aandacht te besteden aan oorzaakanalyse, ook wel bekend als root cause analysis van geconstateerde tekortkomingen.

Een grondige oorzaakanalyse, waarbij de kernoorzaak wordt gesignaleerd, is een goede basis voor een aanbeveling die ook daadwerkelijk de tekortkoming aan de wortel aanpakt. Het uitvoeren van een oorzaakanalyse wordt door de IAF binnen de financiële sector nog niet breed toegepast. In andere sectoren, zoals bij productiebedrijven, wordt dit al vaker uitgevoerd. In dit artikel geven wij aan onder welke randvoorwaarden het uitvoeren van een oorzaakanalyse toegevoegde waarde biedt en beschrijven wij enkele methoden. Ook geven wij nadere invulling aan het Institute of Internal Auditors, Practice Advisory 2320-2: Root Cause Analysis, Primary Related Standard, 2011. Dit om de interne auditor te voorzien van praktische handvatten om een gedegen oorzaakanalyse uit te voeren en daarmee zijn toegevoegde waarde verder te vergroten.

Altijd een oorzaakanalyse uitvoeren?

Auditors kunnen bij elk type audit een oorzaakanalyse uitvoeren. Om effectieve aanbevelingen te doen is het immers noodzakelijk een deugdelijke diagnose te stellen. Er bestaat een onderscheid in type audits. Zo zijn er diagnostische audits en reguliere (probleemsignalerende) audits. Bij een diagnostische audit is het probleem al onderkend bij de opdrachtverstrekking en is de audit eigenlijk één oorzaakanalyse.

In reguliere audits ligt de focus primair op het detecteren van mogelijke tekortkomingen. In beginsel kan op elke tekortkoming een verdere oorzaakanalyse worden toegepast als onvoldoende duidelijk is wat de oorzaken zijn. Het moge duidelijk zijn dat het beschikbare budget en de prioriteit in het willen of moeten oplossen van het probleem van invloed zijn op de breedte en diepgang van de uitvoering van een oorzaakanalyse.

De auditor of het auditteam dient in staat te zijn om het proces van de uitvoering van een oorzaakanalyse te faciliteren

Zijn er randvoorwaarden?

De oorzaakanalyse stelt eisen aan zowel de besturing van de IAF als aan de kennis en vaardigheden van de auditor.

Besturing van de IAF
De IIA Standaard schrijft voor dat de IAF in het beleid dient op te nemen dat de door de IAF geconstateerde aanbevelingen worden onderbouwd met een deugdelijke oorzaakanalyse.¹ Het is van belang dat de IAF dit beleid uitdraagt zodat de organisatie een duidelijk beeld krijgt van wat zij kan verwachten van de IAF.

Om de oorzaakanalyse duidelijk te profileren moet dit als een expliciete stap worden opgenomen in het auditproces. In het audithandboek kan bijvoorbeeld een overzicht van de toe te passen technieken voor oorzaakanalyse worden opgenomen en de fasen waarin deze kunnen of moeten worden toegepast. Tevens dient aandacht te worden besteed aan de onderbouwing en vastlegging van de oorzaakanalyse in het auditdossier.

Kennis en vaardigheden van de auditor
Wij zien een systematisch onderbouwde oorzaakanalyse vooral als een gezamenlijk proces van auditor en auditee en mogelijk andere (ervarings)deskundigen, waarin de kennis van de auditee van het betreffende auditobject een grote rol speelt. Bijkomend voordeel kan zijn dat de auditee de uiteindelijke aanbevelingen beter zal accepteren.

De auditor of het auditteam dient in staat te zijn om het proces van de uitvoering van een oorzaakanalyse te faciliteren. Hierbij valt te denken aan een workshop waarbij verschillende technieken voor oorzaakanalyse worden toegepast. Mogelijk dienen auditors aanvullende trainingen met betrekking tot het faciliteren van bijeenkomsten te volgen. In tabel 1 is invulling gegeven aan de randvoorwaarden die noodzakelijk zijn voor een IAF om een oorzaakanalyse in de auditwerkzaamheden op te nemen.

Methoden

Voor het uitvoeren van een oorzaakanalyse in een audit zijn meerdere methoden geschikt. Indien voldoende gegevens beschikbaar zijn, kan het effect van de oorzaakanalyse worden versterkt met statistische analyses. Hierna volgen drie methoden die samen met de opdrachtgever/auditee gebruikt kunnen worden: de Five Why’s, het visgraatdiagram en het interrelationship diagram (ID).

De Five Why’s
Bij de toepassing van de Five Why’s-methode stelt de auditor open en waaromvragen tot er geen antwoord meer kan worden gegeven (Stan & Rinkel, 2013²). In de praktijk is gebleken dat het vijf maal stellen van vervolgvragen op een initiële vraag vaak leidt tot nieuwe inzichten (Gano, 2008³; Andersen, 2009⁴). Deze werkwijze stimuleert de geïnterviewden na te denken over de werkelijke oorzaken van een bepaalde problematiek. Door het stellen van (vervolg)vragen wordt de ‘keten van oorzakelijkheid’ in kaart gebracht en de ware oorzaak getraceerd.

Voorbeelden van waaromvragen zijn:

• Waarom heeft dit probleem plaats gevonden?
• Waarom hebben de controles in het proces het probleem niet kunnen voorkomen?
• Waarom hebben deze controles het probleem niet voorkomen?

De Five Why’s is een van de meest eenvoudige methoden voor oorzaakanalyse om de symptomen, effecten en de uiteindelijke feitelijke oorzaken van een probleem in kaart te brengen (Stan & Rinkel, 2013⁵). Deze methode is vooral geschikt voor eenvoudige vraagstukken/bevindingen. Zie figuur 1 voor een visualisatie van het toepassen van de Five Why’s.

Bij het toepassen van deze methode gelden de volgende aandachtspunten:

• Vanaf het begin tot het eind moet een ‘oorzaak- en gevolg’-pad opgesteld kunnen worden. Dit pad moet het verband tussen de oorzaken inzichtelijk maken:
  – doordat bij elke oorzaak de ‘omdat’-test leidt tot de onderliggende oorzaak;
  – door bij elke onderliggende oorzaak de ‘dit leidt tot’-test naar de bovenliggende oorzaak verwijst (zie pijltjes omhoog in figuur 1).
• Om de ‘oorzaak-en-gevolgrelatie’ echt aan te kunnen tonen is bewijsmateriaal nodig. Dit kan kwantitatief, maar ook kwalitatief van aard zijn. De praktijk wijst uit dat een kwalitatieve plausibele redenering, die door de betrokkenen wordt gedeeld, veelal voldoet.

Het Visgraatdiagram (‘cause and effect’-diagram)
Het visgraatdiagram is een grafische methode om inzicht te krijgen in de relatie tussen oorzaak en probleem. Deze methode kan zowel bij eenvoudige als complexere vraagstukken toegepast worden. De mogelijke oorzaken worden ingedeeld in categorieën in een overzicht dat lijkt op een visgraat.

Het startpunt bij deze methode is om als auditteam samen met de auditee te brainstormen over de mogelijke oorzaken van een bevinding. Deze mogelijke oorzaken worden geplot op de ‘hoofdgraten’ van het diagram en vormen de oorzaakcategorieën voor verdere analyse. Vervolgens analyseert het auditteam samen met de auditee deze oorzaakcategorieën om te komen tot onderliggende oorzaken. Deze onderliggende oorzaken worden onder de hoofdoorzaak gegroepeerd. Indien nodig, kunnen ook nog verdere onderliggende oorzaken worden geïnventariseerd. Daarna worden de geïnventariseerde mogelijke oorzaken geprioriteerd. Dit leidt vervolgens tot een ranglijst van oorzaken. De top van deze ranglijst geeft aan wat de beste kandidaten zijn voor de feitelijke oorzaken en worden als eerste nader onderzocht.

Figuur 2 geeft het visgraatdiagram visueel weer waarbij als mogelijke oorzaak de categorieën ‘Machinery’, ‘People’, ‘Methods’ en ‘Materials’ zijn gedefinieerd. Dit kunnen in de praktijk dus ook modellen met andere gedefinieerde oorzaakcategorieën zijn.

Het Interrelationship diagram
Het interrelationship diagram is ontworpen om de verweven causale verbanden van een complex probleem te verduidelijken en om vervolgens de juiste oplossing voor het probleem te kunnen identificeren (Doggett, 2005⁶, Andersen e.a., 2006⁷, Charantimath, 2011⁸). Deze methode is geschikt voor complexe problemen.

Bij het interrelationship diagram worden de onderling samenhangende factoren van een probleem onderzocht en grafisch inzichtelijk gemaakt. Deze methode stimuleert om in meerdere richtingen te denken. Zo kunnen de meest kritieke factoren van een probleem op een natuurlijke manier naar voren komen.

De eerste stap bij het toepassen van een interrelationship diagram is om alle mogelijke factoren die met het probleem te maken hebben in een cirkel op een bord te plakken. Vervolgens wordt bij elke factor bepaald of een oorzaak-gevolg-relatie aanwezig is tussen een of meerdere factoren op het bord. De elementen met de meest uitgaande pijlen (dus de factor die tot de meeste gevolgen leidt) zijn mogelijke oorzaken van het probleem en vereisen een nadere analyse. Dat kan bijvoorbeeld door middel van de Five Why’s-methode of het visgraatdiagram (Stan & Rinkel, 2013⁹). In figuur 3 is een voorbeeld van een oorzaakanalyse met behulp van interrelationship diagram weergegeven.

Kunnen modellen de oorzaakanalyse ondersteunen?

Bij een oorzaakanalyse zoals het visgraat- of interrelationship diagram kunnen bestaande modellen gebruikt worden als basis. Kort gezegd komt het er dan op neer dat de basisoorzaak vanuit een theoretisch model wordt ingebracht en dit verdere aanknopingspunten biedt voor nadere analyse en inventarisatie van dieperliggende oorzaken.

In het uitgebreidere artikel op de IIA-website wordt ingegaan op de volgende modellen die kunnen worden gebruikt als basis:

• de Integriteitsster van Muel Kaptein met betrekking tot integriteit/cultuur en gedrag;
• het COSO-ERM-model als control framework;
• het 7S-model van McKinsey als managementmodel voor de interne organisatie.

Samenvatting en conclusie

Wanneer een IAF besluit om de oorzaakanalyse toe te voegen aan de auditaanpak is hiervoor in het beleid een aantal aanpassingen nodig. Belangrijke punten zijn het beschikbaar stellen van tijd en auditors op te leiden in de kennis van oorzaakanalyses en het faciliteren van workshops. Daarnaast dient de IAF de nieuwe aanpak ook te communiceren aan de opdrachtgevers binnen de organisatie.

Een oorzaakanalyse is het meest effectief wanneer deze wordt uitgevoerd in een groep met deskundigen en betrokkenen

Vanuit de theorie is een aantal methoden geschikt om toe te passen om op deugdelijke wijze de onderliggende oorzaak van een probleem te kunnen achterhalen. In dit artikel zijn de Five Why’s, het visgraatdiagram en het interrelationship diagram behandeld.

Of een auditor ook daadwerkelijk een expliciete en gestructureerde oorzaakanalyse moet gaan toepassen hangt af van de complexiteit van het probleem en de prioriteit die het management aan de oplossing daarvan geeft. Wanneer een probleem complex is, ligt het voor de hand om eerst met de opdrachtgever te bespreken of er voldoende prioriteit is om een nader onderzoek naar de oorzaken op te starten. Een oorzaakanalyse is het meest effectief wanneer deze wordt uitgevoerd in een groep met deskundigen en betrokkenen.

Noten

1. IIA Practice Advisory 2320-2: Root Cause Analysis, december 2011.
2. Stan, F.A. en J. Rinkel, Toepassing van Root Cause Analysis methoden in diagnostische audit op problematiek in falende IT projecten, Referaat 2013.
3. Gano, D. L., Apollo Root Cause Analysis – A New Way of Thinking, Apollonian Publications, LLC, 2008.
4. Andersen, S., ‘Root Cause Analysis: Addressing Some Limitations of the 5 Whys’, Quality Digest, Inside FDA Compliance, http://www.qualitydigest.com/inside/fda-compliance-news/root-cause-analysis-addressing-some-limitations-5-whys.html#, 17-12-2009.
5. Idem 2.
6. Doggett, A. M., ‘Root Cause Analysis: A Framework for Tool Selection’, Quality Management Journal, vol. 12, no. 4/ 2005, ASQ.
7. Andersen, B. en B. Fagerhaug, Root Cause Analysis: Simplified Tools and Techniques, ASQ Quality Press, Millwaukee, 2006.
8. Charantimath, P.M., Total Quality Management, Pearson Education, 2nd edition, 2011.
9. Stan, F.A. en J. Rinkel, Toepassing van Root Cause Analysis methoden in diagnostische audit op problematiek in falende IT-projecten, Referaat 2013.