Slimmer en sneller auditen met AI

Stel je een audit voor die 25% sneller is en 40% kwalitatief hogere resultaten oplevert. Dit is geen toekomstmuziek, maar de realiteit met artificial intelligence (AI). Klaar om de manier waarop je je audits doet radicaal te veranderen?

Artificial intelligence (AI) heeft een enorme impact op kennisintensieve beroepen, zoals die van internal auditor. Het kan helpen bij het stroomlijnen van het auditproces, inhoudelijk een bijdrage leveren en innovatie binnen de auditfunctie bevorderen. Een subset van AI is generatieve AI (GenAI), dat verwijst naar AI die originele inhoud kan creëren, zoals tekst, afbeeldingen, video, audio of softwarecode. GenAI reageert op gebruikersinput, ook wel ‘prompts’ genoemd (IBM 2024). GenAI-toepassingen zoals ChatGPT en CoPilot hebben al laten zien hoe deze ons kunnen helpen in een verscheidenheid aan taken en werkvelden.

In een recente studie van de Harvard Business School (2023) waren meer dan 750 consultants van de Boston Consulting Group betrokken, waarbij de productiviteit en kwaliteit van het werk werden onderzocht wanneer deze werden ondersteund met AI. De resultaten waren opvallend: de consultants die AI gebruikten, voltooiden hun taken gemiddeld 25,1% sneller dan een controlegroep zonder AI. Daarnaast was er een kwaliteitsverbetering te zien van meer dan 40%. Deze resultaten suggereren dat AI, net als bij consultants, internal auditors kan helpen hun werk sneller en met hogere kwaliteit uit te voeren.

Effectiever en beter

Met dit artikel wil ik internal auditors laten zien en hopelijk inspireren hoe zij GenAI kunnen inzetten om, net zoals collega’s uit de consultancybranche, hun werk effectiever en beter te maken. GenAI kan de internal auditor niet alleen helpen in het verwerken van enorme hoeveelheden informatie, zoals rapportages, beleid en procedures, maar ook routinetaken overnemen door deze te automatiseren. Eerst volgt een toelichting op relevante delen van de Global Internal Audit Standards (GIAS) en hoe GenAI-toepassingen daarin passen. Vervolgens wordt, aan de hand van specifieke voorbeelden, ingegaan op hoe GenAI-toepassingen het auditproces kunnen ondersteunen. Ten slotte wordt een aantal suggesties gegeven wat internal auditors kunnen doen om niet achterop te raken in deze belangwekkende ontwikkeling.

De Global Internal Audit Standards

De GIAS bieden richtlijnen voor de wereldwijde beroepspraktijk van internal auditing en vormen de basis voor het evalueren en verbeteren van de kwaliteit van de internal auditfunctie. Centraal in de Standaarden staan vijftien principes met onder andere overwegingen bij de implementatie om een effectieve internal auditfunctie mogelijk te maken. Hoewel het nog even duurt, zijn de meeste internal auditfuncties al bezig werk te maken van de implementatie van de nieuwe Standaarden.

Onder ‘Principe 10. Manage de middelen’, vinden we Standaard 10.3 terug. Deze richt zich op het gebruik van technische middelen. Het schrijft voor dat de internal auditfunctie ervoor moet zorgen dat deze beschikt over technische middelen om het auditproces te ondersteunen. Het gaat hier ook om periodieke evaluaties van deze middelen door het hoofd van de internal auditfunctie om verbeteringen in effectiviteit en efficiëntie na te streven. Bovendien moet het hoofd van de internal auditfunctie bij de implementatie van nieuwe technologie ervoor zorgen auditors opgeleid worden in effectief gebruik van deze middelen.

Domein V richt zich op het uitvoeren van internal audits en deelt het internal auditproces op in de volgende principes:

• Principe 13 – Plan opdrachten effectief.
• Principe 14 – Voer opdrachtwerkzaamheden uit.
• Principe 15 – Communiceer opdrachtresultaten en monitor actieplannen.

Verder wordt voor het hele proces het belang van het onderhouden van de communicatie met het management en de verantwoordelijke medewerkers benadrukt, zowel tijdens als na de opdracht.

In tegenstelling tot audit managementsystemen en data-analyse tools, wordt AI niet specifiek genoemd in Standaard 10.3. Maar kijkend naar de toelichting op deze standaard past AI daar goed in om als hulpmiddel de auditfunctie en de auditor in de uitvoering van een audit te ondersteunen. In het volgende paragrafen ga ik hier verder op in door voor alle principes binnen domein V een aantal praktische use cases schetsen. Vanwege de omvang van de response van de chatbot is een selectie van de output in dit artikel opgenomen. Aan het eind van dit artikel is een link opgenomen met daarin de response. De output van een AI-toepassing dient altijd kritisch beoordeeld te worden alvorens deze te gebruiken.

Auditproces ondersteund met GenAI

Plan opdrachten effectief (Principe 13)
Effectieve planning is cruciaal voor elke audit en GenAI kan van grote waarde zijn om deze fase te ondersteunen. Principe 13 schrijft voor dat internal auditors elke opdracht moeten plannen volgens een systematische en gedisciplineerde aanpak. Dit begint onder andere met het begrijpen van de initiële verwachtingen voor de opdracht, de reden voor opname in het auditplan, het verzamelen van nadere informatie en het uitvoeren van een gedetailleerde risicobeoordeling om de doelstellingen en reikwijdte van de opdracht te bepalen.

Door GenAI in te zetten in de planningsfase wordt niet alleen de systematische auditaanpak gewaarborgd, maar ook wordt de snelheid en mogelijk de kwaliteit van de audit verbeterd. Deze integratie stelt auditors in staat om strategischer keuzen te maken in hun planning. Dit leidt tot grondigere analyses en effectievere audits.

Use case: risicobeoordeling met behulp van GenAI
Een praktisch voorbeeld van GenAI bij risicobeoordeling is het in beeld brengen van risico’s die gerelateerd of typisch zijn voor het betreffende auditobject. Informatie uit de oriëntatiefase kan als input dienen om mogelijke risico’s te identificeren die de internal auditor nader kan beoordelen op relevantie voor het object van onderzoek. Op die manier kan de auditor zijn inspanningen doeltreffender prioriteren.

Voorbeeldprompt
Neem de rol aan van een ervaren internal auditor die een audit uitvoert naar het inkoopproces. Identificeer voor deze audit de veelvoorkomende risico’s in het inkoopproces. Extra context: het bedrijf kent een gedecentraliseerd inkoopproces, er is shadow-IT en de meeste informatiesystemen zijn niet goed geïntegreerd met elkaar. De output moet een tabel zijn met de geïdentificeerde risico’s en zo concreet mogelijke risico-omschrijvingen.

Output (selectie)

Use case: GenAI bij de ontwikkeling van werkprogramma’s
Een andere toepassing van GenAI is het ontwikkelen van een werkprogramma voor een uit te voeren audit. Zodra risico’s zijn geïdentificeerd en geclassificeerd, moet een gedetailleerd werkprogramma worden ontwikkeld om de specifieke werkzaamheden te beschrijven die tijdens het veldwerk moeten worden uitgevoerd. Laten we voortbouwen op de vorige prompt.

Voorbeeldprompt
Voeg op basis van de tabel met geïdentificeerde risico’s een kolom toe met de verwachte controls voor elk van deze risico’s. Voeg daarbij nog een kolom toe met de teststappen die nodig zijn voor de internal auditor om de werking van de controls te testen.

Output (selectie)

Voer opdrachtwerkzaamheden uit (Principe 14)
Om de auditdoelstelling te realiseren voeren internal auditors het veldwerk uit aan de hand van vooraf met opdrachtgever afgestemde opdrachtomschrijving. Deze fase omvat het verzamelen van informatie, het uitvoeren van analyses en het evalueren van informatie om mogelijke hiaten in de beheersing te identificeren. GenAI kan deze activiteiten aanzienlijk verbeteren, door gebruik te maken van geavanceerde data-analysemogelijkheden of om grote hoeveelheden informatie te doorzoeken of samen te vatten.

Use case: soft control assessment door middel van sentimentanalyse
Een specifieke toepassing van GenAI in de veldwerkfase van een audit is de beoordeling van soft controls via sentimentanalyse. Soft controls zijn culturele en gedragsbeïnvloedende factoren die van grote waarde kunnen zijn voor organisaties wanneer zij op de juiste manier worden ingezet (Kaptein, 2016). Deze hebben bijvoorbeeld betrekking op het gedrag van individuen, maar ook op de bedrijfscultuur en kunnen een aanzienlijke invloed hebben op het risicoprofiel en de operationele effectiviteit. AI kan gebruikt worden om een analyse uit te voeren om bijvoorbeeld negatieve sentimenten, denk aan een gepercipieerd onveilig werkklimaat, te identificeren binnen een organisatie of een specifieke afdeling. Dit zou dan aanleiding kunnen zijn voor een gedetailleerder onderzoek naar de managementpraktijken en culturele aspecten op die gebieden.

Voorbeeldprompt
Neem de rol aan van een ervaren auditor op het gebied van cultuur en gedrag. Voer op basis van de bijgevoegde tekst (verkregen uit een medewerkerstevredenheidsonderzoek) een analyse uit volgens de acht dimensies van het integriteitsmodel van Muel Kaptein. [Voeg het gedeelte met open opmerkingen van een enquête over werknemersbetrokkenheid toe of kopieer en plak in de chat].

Output (selectie)

Voorbeeldgedrag (role model)

Analyse

• Leiderschap en besluitvorming: De tekst wijst op ad-hocbesluitvorming en een gebrek aan duidelijke richtlijnen van het management. Er wordt gevraagd om minder ad-hocbeslissingen en meer gestroomlijnde en consequente besluiten.

• Communicatie van missie en visie: Hoewel de missie en visie duidelijk zijn, worden ze niet altijd gedragen door het bestuur en medewerkers, wat duidt op een tekort aan voorbeeldgedrag in het uitdragen van deze waarden.

Conclusie: Voorbeeldgedrag kan verbeterd worden door het management om consistentie en duidelijkheid te bieden in hun besluitvorming en communicatie van de missie en visie.

Haalbaarheid (achievability)

 Analyse

• Ad-hocsturing: Er is een probleem met ad-hoc sturing en gebrek aan duidelijke richtlijnen, wat de haalbaarheid van doelstellingen bemoeilijkt.

• Realistisch perspectief: Er is een behoefte aan een realistisch perspectief vanuit de werkgever, wat suggereert dat verwachtingen mogelijk niet altijd haalbaar zijn.

Conclusie: Er is een duidelijke noodzaak om haalbare doelen te stellen en deze consistent te communiceren en te handhaven.

Communiceer opdrachtresultaten en monitor actieplannen (Principe 15)
Na afronding van de opdracht zijn internal auditors verantwoordelijk voor het uitbrengen van de definitieve communicatie. Het vereist dat internal auditors de resultaten van de opdrachten effectief communiceren aan de juiste partijen en de voortgang van de implementatie van aanbevolen actieplannen door het management bewaken. GenAI kan het genereren van gedetailleerde, duidelijke en beknopte auditrapporten automatiseren, waardoor tijd wordt bespaard, fouten worden verminderd en consistentie in de communicatie binnen de gehele auditfunctie mogelijk wordt.

Use case: geautomatiseerd schrijven van auditbevindingen
GenAI-tools kunnen worden geïnstrueerd om auditbevindingen op te stellen door verzamelde gegevens en inzichten te analyseren die door de internal auditor tijdens het auditproces zijn verzameld. Deze tools genereren teksten om de bevindingen, hun implicaties en de nodige aanbevelingen op een gestructureerde en professionele manier te verwoorden.

Voorbeeldprompt
Neem de rol aan van ervaren internal auditor binnen de financiële sector. Tijdens uw audit van het inkoopproces hebt u een risico geïdentificeerd in het wijdverspreide gebruik van shadow-IT. Door decentraal inkopen is het in de organisatie niet duidelijk wat het inkoopbeleid is, waardoor het merendeel van de afdelingen zelf een inkooptraject start of een product afneemt zonder een voorgeschreven inkooptraject te volgen. Gebruik PROA (probleem, risico, oorzaak, aanbeveling) als raamwerk om de auditbevinding te schrijven.

Output (selectie)

Probleem
Het gebruik van shadow-IT binnen de organisatie is wijdverspreid. Afdelingen nemen zelfstandig producten en diensten af, zonder het voorgeschreven inkooptraject te volgen. Hierdoor is er geen centraal overzicht van de IT-oplossingen die in gebruik zijn, wat leidt tot problemen met betrekking tot IT-beveiliging, compliance, en efficiëntie.

Risico

1. IT-beveiliging: Shadow-IT vergroot het risico op datalekken en cyberaanvallen, omdat deze systemen mogelijk niet voldoen aan de beveiligingsstandaarden van de organisatie.

2. Operationele Inefficiëntie: Het ontbreken van een gecentraliseerd inkoopproces leidt tot duplicatie van middelen en inefficiënt gebruik van budgetten.

Oorzaak

1. Decentraal Inkoopproces: Het gedecentraliseerde karakter van het inkoopproces zorgt ervoor dat afdelingen zelfstandig inkoopbeslissingen nemen zonder afstemming met de centrale inkoopafdeling.

Aanbeveling

1. Centraliseren van het Inkoopproces: Implementeer een gecentraliseerd inkoopproces waarbij alle IT-gerelateerde aankopen via een centrale inkoopafdeling moeten worden goedgekeurd. Dit zorgt voor een uniforme aanpak en betere controle over de IT-infrastructuur.

Use case: Toetsen van actieplannen
Een andere toepassing van GenAI is het evalueren of de actieplannen die door het management worden voorgesteld om geïdentificeerde risico’s te mitigeren, specifiek, meetbaar, acceptabel, relevant en tijdgebonden (SMART) zijn. GenAI-tools kunnen voorgestelde actieplannen beoordelen of deze SMART zijn opgesteld en voorstellen doen voor verbeteringen.

Voorbeeldprompt
Evalueer het onderstaande actieplan dat door het management is voorgesteld om het geïdentificeerde risico te mitigeren. Beoordeel of het actieplan SMART (specifiek, meetbaar, acceptabel, relevant en tijdgebonden) is gedefinieerd. Geef beknopte constructieve feedback en concrete suggesties. [tekst actieplan en tekst oorspronkelijke bevinding]

Output (selectie)

1. Beleggen van het inkoopproces bij een extern bureau. Deadline: drie maanden

• Specifiek: Ja, het plan is specifiek over de actie om het inkoopproces extern te beleggen.

• Meetbaar: Nee, er zijn geen duidelijke criteria voor succes of evaluatiemaatregelen genoemd.

• Acceptabel: Mogelijk, maar de acceptatie hangt af van de kosten en de impact op bestaande processen.

• Relevant: Ja, het kan helpen om controle en consistentie in het inkoopproces te brengen.

• Tijdgebonden: Ja, er is een duidelijke deadline van drie maanden.

Feedback: Het is belangrijk om succescriteria en evaluatiemaatregelen vast te stellen om de effectiviteit van het externe bureau te beoordelen.

Suggestie: Voeg toe dat er na drie maanden een evaluatie plaatsvindt om te bepalen of de doelstellingen zijn bereikt.

De toekomst van AI in internal audit

De integratie van AI in internal auditing betekent een verschuiving in de werkzaamheden die normaliter volledig door internal auditors worden uitgevoerd. Vanuit de bredere invalshoek van kennisintensieve beroepen en de aanname dat de conclusies over de toepassing van AI in de consultancybranche ook binnen internal auditing gelden, laat zien dat AI de capaciteiten van internal auditors aanzienlijk kan vergroten en daarmee de efficiëntie en diepgang in het auditproces kan verbeteren.

Laat ik duidelijk zijn: ik denk niet dat auditors op dit moment door AI vervangen kunnen worden. Ondanks de vele voordelen van AI in het auditproces, is het belangrijk om ons bewust te blijven van de uitdagingen zoals datakwaliteit, mogelijke bias in algoritmen en de noodzaak voor continue menselijke supervisie om de betrouwbaarheid en ethiek in onze audits te waarborgen. Op dit moment is AI volop in ontwikkeling, de ethische implicaties worden nog verder uitgedacht en overal ter wereld worden wetsvoorstellen voorbereid of zijn al van kracht.

GenAI taalmodellen hebben ook zo hun mankementen, denk aan het verzinnen (hallucinaties) van informatie. En het verkrijgen van verkeerde output door verkeerd begrepen input (prompts) laat zien dat taal ook zo haar nuances kent waardoor een taalmodel soms op het verkeerde been wordt gezet. AI zal internal auditors sterker gaan ondersteunen in hun werk, waardoor ze zich meer kunnen concentreren op strategische analyse en minder op routinetaken. Door werkzaamheden te automatiseren, wordt er tijd vrijgemaakt voor internal auditors om dieper in de organisatie te duiken. Hierdoor kunnen zij complexe auditvraagstukken aanpakken, kritisch nadenken en weloverwogen beslissingen nemen, gebaseerd op de inzichten die door AI worden verschaft.

Door AI-technologieën te omarmen en te kiezen voor een AI-firstbenadering, kunnen internal auditors ervoor zorgen dat ze voorop blijven lopen in hun vakgebied

Veranderen vaardigheden

Naarmate de technologieën veranderen, moeten ook de vaardigheden van internal auditors veranderen. De toekomst van auditing zal in toenemende mate afhangen van het vermogen van auditors om zich aan te passen aan nieuwe technologieën en deze instrumenten te integreren in hun dagelijks werk. Continu leren en professionele ontwikkeling zijn cruciaal, omdat ze ervoor zorgen dat auditors gelijke tred kunnen houden met de technologische vooruitgang en deze effectief kunnen gebruiken. In dat verband zou ik internal auditors willen aanmoedigen om proactief te experimenteren met het gebruik AI en de mogelijke toepassingen ervan binnen hun specifieke functies te onderzoeken.

Internal auditfuncties moeten deze verkenning ondersteunen door te investeren in trainingsprogramma’s en ontwikkelingsinitiatieven die auditprofessionals helpen AI-tools te begrijpen en te implementeren. Dergelijke investeringen versterken niet alleen de technische competenties van auditteams, maar stimuleren ook innovatie binnen de auditfunctie. Door AI-technologieën te omarmen en te kiezen voor een AI-firstbenadering, kunnen internal auditors ervoor zorgen dat ze voorop blijven lopen in hun vakgebied, klaar om de uitdagingen van een steeds complexere en digitalere wereld aan te gaan.

Aanvullende leessuggesties

• De output van ChatGPT op de prompts zijn te omvangrijk om integraal in dit artikel op te nemen. Bekijk de input en de output hier.
• Een stap-voor-stap video-instructie van de auteur voor het uitvoeren van een risicoassessment.
• ‘De auditor als waarzegger’, Audit Magazine.
• AI Knowledge Center op de IIA Global-website.
• Andere vormen van AI, zoals text mining, kunnen van grote waarde zijn in de veldwerkfase van de audit. Zie voor meer informatie de publicatie Tekstanalyse: Gewoon doen!