Auditing 2.0: process mining in interne audit

‘Process mining’ is een onderzoeks­methode die de interne auditfunctie in potentie veel voordelen biedt. In de praktijk lijkt de methode echter nog maar weinig te worden gebruikt door interne auditors. Hoog tijd dat de auditor kennismaakt met de diverse toepassingsmogelijkheden die process mining te bieden heeft.

Process mining is een methode voor het analyseren van gegevens die zijn vastgelegd in een ‘event log’ afkomstig uit een informatiesysteem, (Jans, Alles & Vasarhelyi, 2013).¹ Process mining heeft een aantal belangrijke voordelen ten opzichte van ‘traditionele’ auditprocedures: het analyseert de volledige populatie van data en niet alleen een steekproef, het is in veel gevallen objectiever en het levert vaak nieuwe inzichten op (Jans et al., 2013). Gegeven deze voordelen is het wellicht niet vreemd dat Van der Aalst et al. (2010) menen dat process mining de rol van auditors zo drastisch zal veranderen, dat van ‘auditing 2.0’ kan worden gesproken.

Mondjesmaat

Opvallend genoeg lijken interne auditors process mining in de praktijk weinig toe te passen en komt de combinatie interne auditor en process mining ook maar mondjesmaat terug in de wetenschappelijke literatuur (Jans et al. 2013; Gonella, Castellano, Riccardi & Carbone, 2017). Dit gegeven strookt met de heersende notie dat interne auditors de laatste jaren de voortgaande digitalisering van de economie niet altijd meer goed lijken te kunnen ‘bijbenen’ (Bos, Boersen, van Ark & van Kleef, 2017).

Interne auditors lijken de laatste jaren de voortgaande digitalisering van de economie niet altijd meer goed te kunnen bijbenen

Hoog tijd dat de toepassingen van process mining binnen de interne auditfunctie eens goed in kaart worden gebracht, zodat de interne auditor hier daadwerkelijk mee aan de slag kan. Hiertoe worden in dit artikel eerst de algemene toepassingen van process mining beschreven, bestaande uit drie process-miningtypen en vier process-miningperspectieven. Daaropvolgend worden de vier belangrijkste fasen in het auditproces behandeld. Ten slotte worden deze drie bouwstenen gecombineerd tot een driedimensionaal model, waarmee de toepassingen van process mining binnen interne audit verder kunnen worden geduid.

De eerste bouwsteen: process-miningtypen

In de loop der jaren is een veelheid aan process-miningtechnieken, -analysemethoden en -algoritmen ontwikkeld. Er zijn verschillende onderzoekers die een poging hebben gewaagd om deze instrumenten in een framework of methodologie te vatten (Van Eck, Lu, Leemans & Van der Aalst, 2015). Een combinatie van het framework van Van der Aalst (2016) en Caron, Vanthienen & Baesens (2012) lijkt de meest complete, heldere en actuele typering van de verschillende process-miningtechnieken en -analysemethoden te geven.

Gezamenlijk onderscheiden zij drie typen process mining die voor de auditfunctie relevant kunnen zijn: ‘process discovery’, ‘conformance checking’ en ‘rule-based property verification’. Figuur 1 geeft deze verschillende typen process mining schematisch weer, die hierna verder uiteen worden gezet.

Process discovery
Bij process discovery wordt een visueel model of overzicht van een specifiek aspect van een bedrijfsproces opgesteld op basis van een event log. Dit vindt plaats zonder enige a priori-informatie (zoals een procesbeschrijving). Een voorbeeld van een algoritme dat voor process discovery kan worden gebruikt is het α-algoritme (Van der Aalst, Weijters & Maruster, 2004). Het α-algoritme creëert op basis van een event log een Petrinet-procesmodel dat het verloop van de activiteiten beschrijft. Een voorbeeld hiervan is terug te vinden in figuur 2.

Conformance checking
Bij conformance checking wordt een reeds bestaand prescriptief procesmodel vergeleken met een event log van datzelfde proces. Op deze wijze kan worden getoetst of de realiteit (zoals vastgelegd in het event log) overeenkomt met het procesmodel en vice versa. Met behulp van conformance checking kan dus zichtbaar worden gemaakt wat de mate van compliance is en waar in het proces de grootste afwijkingen zitten (Rozinat & Van der Aalst, 2008).

Rule-based property verification
Rule-based property verification kan ten slotte worden ingezet om specifieke individuele proceseigenschappen, zoals het vier-ogenprincipe of functiescheidingen, te toetsen. Waar conformance checking slechts een eerste indruk van de globale overeenstemming tussen het procesmodel en de realiteit geeft, zoomt rule-based property verification dus echt in op specifieke onderdelen van een proces (Caron et al., 2012).

De drie typen process mining vormen samen het eerste bouwblok om de toepassingen van process mining voor de interne auditfunctie te duiden.

De tweede bouwsteen: process-miningperspectieven

Haaks op de drie typen process mining kunnen aanvullend vier verschillende perspectieven op process mining worden onderscheiden: het control-flowperspectief, het organisatieperspectief, het caseperspectief en het tijdsperspectief (Van der Aalst, 2016).

Control-flowperspectief
Het control-flowperspectief richt zich op de volgordelijkheid van de activiteiten in een proces. Het doel van dit perspectief is het vinden van een goede modellering van alle mogelijke paden in een proces (Van der Aalst, 2016). Het eerdergenoemde α-algoritme is een voorbeeld van een algoritme dat van toepassing is op het control-flowperspectief. Dit algoritme heeft tot doel om de volgordelijkheid van een proces zo goed mogelijk in kaart te brengen.

Organisatieperspectief
Het organisatieperspectief richt zich op de informatie over de actoren in een proces. Het draait in dit perspectief om de vraag welke actoren (zoals medewerkers, systemen, functies, afdelingen) een rol in het proces spelen en op welke wijze zij met elkaar in verband staan (Van der Aalst, 2016). Zo brengt de Organization Model Miner bijvoorbeeld de medewerkers, autorisaties, rollen en hun relaties in kaart (Song & Van der Aalst, 2008).

Om de typen en perspectieven van process mining naar toepassingen voor de interne auditfunctie te vertalen, is het van belang de belangrijkste activiteiten binnen het auditproces goed in beeld te hebben

Caseperspectief
In het caseperspectief wordt antwoord gegeven op de vraag wat in een specifieke casus binnen een proces plaatsvindt. Een case kan een specifiek verloop in een proces zijn, maar kan ook worden gekarakteriseerd door een specifieke initiator van een stroom van activiteiten of een bepaalde leverancier (Van der Aalst, 2016).

Tijdsperspectief
In het tijdsperspectief draait het om de timing en frequentie van activiteiten in een proces. In de meeste event logs hebben gebeurtenissen ‘timestamps’. Dit maakt het mogelijk om doorlooptijden te bepalen, bottlenecks in een proces te ontdekken en het serviceniveau en de benutting van resources te analyseren (Hornix, 2007).

Door deze process-miningperspectieven aan de process-miningtypen toe te voegen, ontstaat de tweede dimensie voor de toepassing van process mining binnen interne audit.

De derde bouwsteen: het auditproces

Om de typen en perspectieven van process mining naar toepassingen voor de interne auditfunctie te vertalen, is het van belang de belangrijkste activiteiten binnen het auditproces goed in beeld te hebben. Bos, de Korte & Otten (2017) onderscheiden de volgende zes fasen: selectie van het auditobject, auditvoorbereiding, gegevensverzameling en -analyse, rapportage, opvolging en evaluatie. De eerste vier van deze fasen zullen hierna kort worden toegelicht.

In de selectie van het auditobject vindt de keuze en prioritering van auditobjecten plaats, hetgeen meestal in een auditplan resulteert. De auditvoorbereiding is vervolgens gericht op het komen tot een plan van aanpak voor het uitvoeren van een specifieke audit. Het beschrijft wat de auditor met het onderzoek wil bereiken en op welke wijze. Hierna kan worden gestart met de gegevensverzameling en -analyse, ofwel het ‘veldwerk’. Ten slotte worden de resultaten van het onderzoek door de auditor schriftelijk en/of mondeling gecommuniceerd in de rapportagefase (Bos et al., 2017).

De drie bouwstenen compleet

Met de toevoeging van de derde bouwsteen zijn de drie dimensies van de toepassingen van process mining voor de interne auditfunctie compleet (zie figuur 3). In deze paragraaf worden deze toepassingen aan de hand van de drie bouwstenen en per fase in het auditproces verder geduid.

De toepassing van process mining in de fase van de selectie van het auditobject vraagt om een brede en ruimdenkende blik van de auditor. Het gaat namelijk om het identificeren van potentieel risicovolle auditobjecten uit een zeer diverse en omvangrijke populatie van onderzoeksobjecten in de organisatie. Hierbij kan voornamelijk het type process discovery een belangrijke rol spelen. Met behulp van process discovery kan in één visuele weergave het volledige verloop van een proces in kaart worden gebracht, op basis waarvan afwijkingen en risico’s kunnen worden geïdentificeerd. Een voor de hand liggende invalshoek is hierbij het control-flowperspectief, waarbij een procesmodel de achtereenvolgende activiteiten in een proces visualiseert.

Onderliggend risico

Veelvoorkomende afwijkingen of opvallende zaken ten aanzien van het verloop van het proces kunnen een indicatie zijn voor een onderliggend risico. Naast control-flow kunnen echter ook andere process-miningperspectieven binnen het type process discovery interessant zijn. Vanuit het organisatieperspectief kan bijvoorbeeld in grote lijnen worden geïnventariseerd welke risico’s er in een proces bestaan ten aanzien van autorisaties van medewerkers en functiescheiding. Vanuit het tijdsperspectief kunnen daarnaast langdurende of steeds terugkerende bottlenecks in een proces worden geïdentificeerd.

De toepassingen van process mining in de auditvoorbereiding zijn min of meer gelijk aan die van de fase van de selectie van het auditobject. In deze fase kan echter al iets verder worden ingezoomd op het auditobject, bijvoorbeeld op een specifiek proces of risico. De auditor kan met behulp van process discovery een beeld vormen van de kenmerken van het te onderzoeken auditobject en het krachtenveld waarin de audit wordt uitgevoerd. Afhankelijk van het auditobject en de doelstelling van de audit kan hier vanuit een control-flowperspectief, organisatieperspectief of tijdsperspectief naar worden gekeken.

Zeker tijdens de gegevensverzameling en -analyse zijn de mogelijkheden in het gebruik van process mining eindeloos

Ondersteunen auditor

Verschillende process mining typen kunnen de auditor ondersteunen in de gegevensverzameling en -analysefase. Process discovery kan in een aantal gevallen worden gebruikt als data-analysetechniek. Hiermee kan vanuit het organisatieperspectief bijvoorbeeld worden gedacht aan de organization model miner, die medewerkers, autorisaties, rollen en hun relaties in kaart brengt. Vanuit het tijdsperspectief kan de auditor met behulp van process discovery ook de efficiency van een activiteit of proces beoordelen. De auditor kan de kritische prestatie-indicatoren van een proces naast de daadwerkelijke doorlooptijden leggen en eventuele discrepanties nader onderzoeken. Hierbij kan bijvoorbeeld worden gedacht aan gevallen die extreem snel of langzaam het proces doorlopen.

Conformance checking

Conformance checking kan worden ingezet als de organisatie ten aanzien van een specifiek proces over een goed prescriptief procesmodel beschikt. Vanuit het control-flowperspectief kan met behulp van de conformance checker worden getoetst in hoeverre het daadwerkelijke verloop van het proces overeenkomt met het voorgeschreven procesmodel. Met behulp van rule-based property verification kunnen in de gegevensverzameling en -analysefase specifieke interne controles of business rules in een proces worden getoetst. Een organisatie heeft meestal verschillende business rules in haar processen opgenomen die zijn afgeleid van wet- en regelgeving, richtlijnen en intern beleid. De auditor kan een (activiteit in een) proces onder andere toetsen op functiescheiding, specifieke autorisaties, het vier-ogen-principe of tijdsrestricties.

Relevant in de rapportagefase

Process mining kan ten slotte ook in de rapportagefase relevant zijn. Het kan de auditor helpen zijn boodschap zo goed mogelijk aan zijn doelgroep over te brengen en zodoende de acceptatie van bevindingen en aanbevelingen te vergroten. Vanuit het control-flowperspectief kunnen door middel van process discovery en process conformance bijvoorbeeld afwijkingen in het verwachte of vereiste verloop van een proces overzichtelijk worden gevisualiseerd. Vanuit het tijdsperspectief kan een ‘film’ worden gecreëerd van de bottlenecks die zich in een proces bevinden. Het organisatieperspectief biedt ten slotte mogelijkheden om het sociale netwerk in een proces te visualiseren.

Conclusie

Dit artikel biedt de interne auditor enige houvast om de steeds verdergaande digitalisering van organisaties bij te kunnen benen. De toepassingsmogelijkheden van process mining voor de interne auditfunctie blijken breed. De process-miningtypen, process-miningperspectieven en fasen in het auditproces smelten samen tot verscheidene dimensies. Zeker tijdens de gegevensverzameling en -analyse zijn de mogelijkheden in het gebruik van process mining eindeloos.

Dit artikel kan dan ook zeker niet als uitputtend worden beschouwd. Hier komt nog bij dat in dit artikel het ‘traditionele’ auditproces als uitgangspunt is genomen. Vanuit deze optiek volgt het de standaardroute van de acceptatie van informatietechnologie. Deze route start met de automatisering van handmatige processen. Pas als hierin een bepaald comfortniveau is bereikt, worden die processen volledig op de kop gegooid om ten volle te kunnen profiteren van alle mogelijkheden van de betreffende technologie (Jans et al., 2013). In zekere zin zijn de hier gepresenteerde toepassingen van process mining vermoedelijk dus slechts het startschot voor ‘auditing 2.0’.

 Literatuur

• Bos, P., Boersen, D., van Ark, P. en M. van Kleef, Analytics: good practices voor de (kleinere) IAF. Een praktijkonderzoek naar ervaringen en succesfactoren, 2017.
• Bos, P., de Korte, R. en J. Otten, Management Control Auditing: bijdragen aan doelrealisatie en verbetering. Driebergen, Stichting Auditing.nl, 2017.
• Caron, F., Vanthienen, J. en B. Baesens, A comprehensive framework for the application of process mining in risk management and compliance checking, 2012.
• Gonella, P., Castellano, M., Riccardi, P. en R. Carbone, Process mining. A database of applications, 2017.
• Hornix, P. T., Performance analysis of business processes through process mining(Masterthesis, Technische Universiteit Eindhoven), 2007.
• Jans, M., Alles, M. en M. Vasarhelyi, ‘The case for process mining in auditing: Sources of value added and areas of application’, International Journal of Accounting Information Systems, 14(1), 1-20, 2013.
• Rozinat, A. en W. van der Aalst, ‘Conformance checking of processes based on monitoring real behavior’, Information Systems, 33(1), 64-95, 2018.
• Song, M. en W.M. van der Aalst, ‘Towards comprehensive support for organizational mining’, Decision Support Systems, 46(1), 300-317, 2008.
• Aalst, W. van der, Process mining: data science in action, Berlijn, Springer, 2016.
• Aalst, W. van der, Hee, K. van, Werf, J. van en M. Verdonk, M., ‘Auditing 2.0: Using process mining to support tomorrow’s auditor’, Computer, 43(3), 2010.
• Aalst, W. van der, Weijters, T. en L. Maruster, ‘Workflow mining: Discovering process models from event logs’, IEEE Transactions on Knowledge and Data Engineering, 16(9), 1128-1142, 2004.
• Eck M. van, Lu, X., Leemans, S. en W. van der Aalst, ‘PM2: A Process Mining Project Methodology’, in: Zdravkovic J., Kirikova, M. en P. Johannesson (red.), Advanced Information Systems Engineering. CAiSE 2015. Lecture Notes in Computer Science, vol 9097, Berlijn, Springer, 2015.

Noot
1. Een event log kan worden gedefinieerd als een chronologisch overzicht van computersysteemactiviteiten die zijn opgeslagen in (procesbewuste) informatiesystemen (Jans, Alles & Vasarhelyi, 2013).