The latest and greatest AI vanuit academics en praktijk

Sta je als internal auditor nog aan de zijlijn van artificial intelligence (AI)? Dan is dit het moment om in te stappen. De ontwikkelingen gaan zo snel dat zelfs voorlopers moeite hebben om het tempo bij te houden. Tijdens de 3rd International Conference on Auditing and AI in Duisburg werd duidelijk hoe fundamenteel AI het vak verandert: niet alleen de manier waarop auditors werken, maar ook het object waarop zij assurance geven.

De auteurs van dit artikel waren aanwezig bij de conferentie, georganiseerd door de Universiteit Duisburg-Essen. Keynote speaker David A. Wood richtte zich op de gevolgen voor het auditvak en de verdeling van werkzaamheden tussen mens en AI. Keynote speaker Björn Nill liet aan de hand van autonoom rijden bij Mercedes-Benz zien hoe AI ook de omgeving waarin auditors assurance moeten geven ingrijpend verandert. Twee perspectieven die samen één ongemakkelijke maar onontkoombare vraag oproepen: wacht internal audit af, of stapt zij in?

AI dwingt IA uit de zijlijn

AI verandert niet alleen hoe auditors hun werk uitvoeren, maar ook wat expertise betekent. David A. Wood, hoogleraar aan Brigham Young University, stelt dat internal audit daarom veel fundamenteler naar AI moet kijken. Niet als hulpmiddel om sneller e-mails te schrijven, maar als aanleiding om auditprocessen opnieuw te ontwerpen. AI ontwikkelt zich in een tempo dat nauwelijks bij te houden is. Wood illustreert dat aan het begin van zijn keynote met een simpele constatering: tijdens zijn reis naar Europa werden in twee dagen tijd drie belangrijke nieuwe AI-modellen uitgebracht. Die snelheid vraagt volgens Wood om een strategische keuze. Organisaties kunnen vooroplopen, volgen of vrijwel stilstaan. De relevante vraag voor internal audit is dan ook: waar bevindt jouw auditfunctie zich? Wood: “Wat houdt je tegen om een strategische keuze te maken over waar je wilt staan?”

Meer dan een zoekmachine

Veel organisaties gebruiken AI inmiddels, maar volgens Wood zegt dat weinig over de volwassenheid van het gebruik. De vraag is vooral hoe medewerkers AI inzetten. Wood onderscheidt verschillende manieren om met AI te werken. Hij ziet hierbij drie niveaus. Op het eerste en eenvoudigste niveau stelt de gebruiker AI een vraag of laat hij een product maken, bijvoorbeeld een tekst of analyse. Nuttig, maar ook riskant. Wie het denken volledig uitbesteedt, bouwt zelf geen expertise op.

Op het tweede niveau ontstaat samenwerking. AI wordt een tutor of een partner waarmee de gebruiker gezamenlijk een probleem analyseert. Het grootste potentieel ziet Wood in het derde niveau, wat hij de ‘agency zone’ noemt. Daar wordt AI ingezet als verificatieagent, creatieve verbreding en kritische uitdager. AI bevestigt dan niet alleen wat de gebruiker vraagt, maar helpt aannamen te toetsen, alternatieven te onderzoeken en zelfs de probleemstelling ter discussie te stellen. Juist daar liggen volgens Wood kansen voor auditors.

De ervaren auditor beschikt over organisatorische context die AI niet vanzelfsprekend heeft

Wie vindt de afwijkingen?

Tijdens zijn keynote stelt Wood het publiek op de proef. Op het scherm verschijnt een payment run met acht facturen. De opdracht: vind binnen korte tijd alle uitzonderingen. Er blijken zes afwijkingen in de gegevens te zitten. Zelfs in een zaal vol ervaren auditors is het lastig om ze binnen de beschikbare tijd allemaal te vinden. Vervolgens voert Wood dezelfde opdracht uit met AI. Het model analyseert het materiaal in korte tijd en identificeert de uitzonderingen. Dat zet volgens hem een fundamentele aanname onder druk.

Auditors vertrouwen veel werkzaamheden toe aan mensen die onder tijdsdruk gegevens controleren, waarna iemand anders hun werk reviewt. Maar waarom gaan we ervan uit dat mensen daar per definitie het beste in zijn? Zijn conclusie is scherp: “We moeten ieder bedrijfsproces dat we hebben opnieuw bekijken. En met ieder bedoel ik ook echt ieder proces.” Dat betekent niet dat AI iedere taak succesvol zal uitvoeren. Door het te proberen, ontdek je juist waar de mogelijkheden en grenzen liggen.

Mensen hallucineren ook

Een veelgenoemd bezwaar tegen generatieve AI is dat modellen kunnen hallucineren: ze presenteren verzonnen informatie alsof die waar is. Wood betwist dat risico niet, maar plaatst er een ongemakkelijke observatie tegenover: mensen hallucineren eveneens. Hij verwijst naar onderzoek waarbij studenten fiscale memo’s opstelden. Mensen zonder AI maakten fouten, maar in een van de onderzochte casussen hallucineerden mensen mét AI zelfs meer dan mensen zonder AI. AI die zelfstandig dezelfde taak uitvoerde, liet bij de geteste modellen juist aanzienlijk minder hallucinaties zien. Wood vat het provocerend samen: “Humans make AI dumber.”

Hoe dat komt, staat nog niet vast. Een mogelijke verklaring is dat mensen hun eigen vooronderstellingen meenemen in hun prompts. Ze vragen AI niet neutraal om een probleem te analyseren, maar geven eerst hun eigen vermoedelijke antwoord mee. Daarmee kan menselijke tussenkomst de uitkomst juist verslechteren. Voor internal audit heeft dat mogelijk verstrekkende gevolgen. Het traditionele model is vaak hiërarchisch: een minder ervaren medewerker voert werkzaamheden uit, waarna een ervaren collega deze beoordeelt. Waarom, vraagt Wood, zou AI niet rechtstreeks een deel van het uitvoerende werk doen, waarna de ervaren professional het resultaat beoordeelt? Wood: “Dat verandert het volledige auditmodel fundamenteel.”

Bewijzen dat het klopt

Dat betekent niet dat de mens uit de audit verdwijnt. Zijn rol verschuift. Wood brengt professionele expertise terug tot twee hoofdvragen: kan ik een antwoord van hoge kwaliteit produceren en kan ik bewijzen dat dit antwoord te vertrouwen is? Voor het eerste blijft domeinkennis essentieel. Een auditor moet kunnen bepalen of überhaupt de juiste vraag wordt gesteld. Daarnaast zijn analytische en technologische expertise nodig.

Vervolgens moet de betrouwbaarheid van de uitkomst worden vastgesteld. Hoeveel validatie nodig is, hangt af van het risico. Voor een onbelangrijke vraag is uitgebreide verificatie overbodig. Bij informatie waarop betuurders, toezichthouders, of andere belanghebbenden vertrouwen, ligt dat anders. Een auditor kan een AI-uitkomst bijvoorbeeld vergelijken met een andere technologie, de achterliggende logica inspecteren of verschillende AI-modellen dezelfde opdracht laten uitvoeren.

En dan resteert iets wat moeilijker in een model is te vangen: professionele intuïtie. De ervaren auditor beschikt over organisatorische context die AI niet vanzelfsprekend heeft. Hij weet wat vorig jaar gebeurde, welke signalen via een meldpunt binnenkwamen en wat tijdens eerdere audits opviel. Wood ziet daarom menselijke meerwaarde vooral aan het begin en eind van het proces. Aan de voorkant bepaalt de professional welke vraag ertoe doet. In de uitvoering kan AI veel meer werk overnemen. Aan het eind interpreteren mens en AI gezamenlijk wat de uitkomsten betekenen.

De methodologie op de schop

De consequenties voor auditfuncties zijn volgens Wood groot. Wie innovatie en experimenten met AI alleen ‘erbij’ doet, loopt het risico stil te blijven staan. Ook de auditmethodologie moet volgens hem veel sneller veranderen. De gedachte dat een audit enkele jaren later op ongeveer dezelfde manier opnieuw kan worden uitgevoerd, vindt hij niet meer houdbaar: “We zouden onze auditmethodologie ieder kwartaal opnieuw moeten uitvinden, zo snel ontwikkelt en verandert de wereld.”

Dat roept meteen een opleidingsvraagstuk op. Internal audit werkt traditioneel met een leermodel waar beginnende professionals relatief eenvoudige werkzaamheden uitvoeren en zo ervaring opbouwen. Maar wat gebeurt er als AI juist die werkzaamheden overneemt? Wood noemt het de million-dollar question. Als AI bepaalde taken uiteindelijk beter en betrouwbaarder kan uitvoeren, is het weinig zinvol professionals die taken jarenlang handmatig te laten oefenen. Maar hoe bouwen zij dan de expertise op die nodig is om AI-uitkomsten later professioneel te beoordelen?

De discussie óf AI het auditvak gaat veranderen, is volgens Wood inmiddels achterhaald. “De trein heeft het station verlaten”

Een definitief antwoord heeft Wood niet. Wel staat voor hem vast dat leren niet minder belangrijk, maar juist belangrijker wordt. Alleen moet opnieuw worden bedacht hoe auditors leren. De discussie óf AI het auditvak gaat veranderen, is volgens Wood inmiddels achterhaald. “De trein heeft het station verlaten.” De vraag is wie de verandering gaat vormgeven.

AI achter het stuur

Dat die vraag niet alleen over het werk van auditors gaat, maar ook over het object van audit, blijkt uit de praktijk van Mercedes-Benz. Waar Wood auditors oproept hun eigen processen opnieuw te ontwerpen, staat Björn Nill voor een volgende uitdaging: hoe geef je assurance over bedrijfsprocessen waarin AI zelf steeds autonomer beslissingen neemt?

Mercedes-Benz behoort tot de voorlopers op het gebied van AI-governance. In 2019 publiceerde de autofabrikant AI-principes en voerde het een AI-governancemodel in. Rond dezelfde tijd begon internal audit met het ontwikkelen van een aanpak voor het auditen van AI. Aanvankelijk lagen de belangrijkste AI-risico’s volgens de risicoanalyses vooral bij toepassingen in sales, aftersales en finance. Voor technologie in de auto bestond bovendien een uitgebreid stelsel van certificering. Met autonoom rijden verandert dat.

Van bestuurder naar fabrikant

Bij de eerste niveaus van autonoom rijden ondersteunt technologie de bestuurder, maar blijft deze verantwoordelijk. Vanaf niveau drie verandert dat fundamenteel. De fabrikant neemt onder bepaalde omstandigheden de rijtaak en daarmee verantwoordelijkheid over. Mercedes-Benz heeft in Duitsland al goedkeuring voor autonoom rijden op niveau drie onder specifieke omstandigheden op de Autobahn. Ook in Nederland heeft de RDW recentelijk goedkeuring gegeven voor specifieke automodellen. Naarmate de omstandigheden complexer worden, groeit ook het risico. Wanneer de fabrikant verantwoordelijkheid overneemt, raakt een falend AI-systeem rechtstreeks de onderneming. Veiligheid, aansprakelijkheid en reputatie komen samen. AI wordt daarmee niet alleen een technologisch onderwerp, maar een bedrijfsrisico waarop governance en internal audit zicht moeten hebben.

Context verandert het spel

Een autonome auto is bovendien veel meer dan een AI-model en een paar camera’s. Camera’s, LiDAR, radar en ultrasone sensoren worden gecombineerd met onder meer informatie over wegcondities, GPS en digitale kaarten. Al die gegevens komen samen in een keten die objecten waarneemt, voorspelt wat ze waarschijnlijk gaan doen en binnen milliseconden beslissingen vertaalt naar sturen, versnellen en remmen. Voor auditors betekent dit dat ‘de AI’ niet als één afzonderlijk model kan worden beschouwd. Het gaat om een keten van data, modellen, sensoren, software en veiligheidsmechanismen.

Nieuwe foundation models (breed voorgetrainde modellen die als basis kunnen dienen voor verschillende toepassingen) voegen daar iets aan toe: context. Een systeem ziet bijvoorbeeld niet alleen met een bepaalde waarschijnlijkheid een object op de weg, maar kan ook meewegen dat de auto al een halfuur door een bos rijdt, waar de auto zich bevindt en welke uitwijkmogelijkheden beschikbaar zijn. Dat kan autonoom rijden robuuster maken, maar introduceert tegelijkertijd nieuwe risico’s.

Wat als AI hallucineert?

Want wat gebeurt er als een model een voetganger ‘ziet’ die er niet is en de auto plotseling remt? Of als reflecties tot verkeerde conclusies leiden? Bij een autofabrikant zijn hallucinaties geen abstract AI-probleem. Een fout kan fysieke gevolgen hebben. Mercedes-Benz probeert daarom twee werelden te combineren. Foundation models leveren het vermogen om context te begrijpen. Daaromheen bouwt de fabrikant een veiligheidslaag, tijdens de keynote aangeduid als de Mercedes-Benz shell, gebaseerd op decennialange kennis van voertuigveiligheid.

De foundation models mogen bijdragen aan de besluitvorming, maar de veiligheidsmechanismen bewaken de grenzen. Tijdens een praktijktest voorspelde een foundation model bijvoorbeeld een traject dat door onverwacht hard remmen van een voorligger tot een botsing zou hebben geleid. De veiligheidslaag greep in en koos een alternatief traject. De gedachte: benut de kracht van nieuwe AI zonder bestaande veiligheidskennis overboord te zetten.

Auditors hoeven niet ieder technisch detail zelf te reproduceren, maar moeten kunnen vaststellen dat de totale keten aantoonbaar beheerst functioneert

Auditen rond het model

Voor internal audit leidt dat tot een belangrijke vraag. Moet de bestaande AI-auditaanpak volledig op de schop? Vooralsnog niet. Mercedes-Benz beschikt al over AI-principes rond onder meer verantwoord gebruik, uitlegbaarheid, privacy, veiligheid en betrouwbaarheid. AI-usecases doorlopen een governanceproces en toepassingen met een verhoogd risico krijgen aanvullende aandacht. Internal audit bouwt daarop voort met een gedifferentieerde aanpak. Bij wat Nill beschrijft als een ‘white-box’-benadering ligt de nadruk vooral op governance, regelgeving, beleid, rollen en procescontrols. Bij een ‘grey box’ kijkt audit ook naar bijvoorbeeld data, externe bronnen en de keuze van modellen en parameters. Een ‘black-box’-benadering gaat verder: auditors kunnen codes beoordelen, modelresultaten valideren of een onafhankelijk challengermodel bouwen.

Precies daar ontstaat bij foundation models een grens. Zo’n model volledig onafhankelijk nabouwen is praktisch nauwelijks haalbaar. Het vraagt te veel geld, tijd, capaciteit en specialistische kennis. De auditvraag verschuift daarom: hoe kan internal audit voldoende assurance geven zonder het foundation model zelf volledig te reconstrueren? Het antwoord ligt vooral in de beheersing rond het model. Auditors hoeven niet ieder technisch detail zelf te reproduceren, maar moeten kunnen vaststellen dat de totale keten aantoonbaar beheerst functioneert.

Zes aandachtspunten

Bij autonoom rijden komen daarbij zes onderwerpen nadrukkelijk in beeld: governance van externe AI-ontwikkeling, datamanagement, functionele veiligheid, controls rond het foundation model, testen en valideren en regulatory compliance.

Vooral de koppeling met functionele veiligheid is belangrijk. Auditors moeten begrijpen hoe veiligheidsvereisten in het technische ‘harnas’ zijn verwerkt en hoe wordt vastgesteld dat die mechanismen blijven functioneren. Welke KPI’s maken dat zichtbaar? En welke controls voorkomen dat veiligheidsfuncties worden uitgeschakeld of omzeild?

Ook testen verandert. Alleen veel kilometers maken zegt onvoldoende. Relevant is of engineers het voertuig bewust hebben blootgesteld aan kritieke en afwijkende situaties en of het systeem daar aantoonbaar goed op reageert.

Assurance zonder absolute zekerheid

Daarmee komt Nill uiteindelijk uit bij een vertrouwd auditvraagstuk: hoeveel assurance is genoeg? Voor autonoom rijden bestaat daarvoor geen eenvoudig percentage. De afweging hangt samen met de risk appetite van de onderneming en met het bredere stelsel van engineers, certificerende autoriteiten, legal, compliance en andere stakeholders. Internal audit vormt één onderdeel van dat systeem van assurance.

Bij een autofabrikant zijn hallucinaties geen abstract AI-probleem. Een fout kan fysieke gevolgen hebben

Voor Mercedes-Benz speelt bovendien de reputatie van het merk een belangrijke rol. Van een onderneming die veiligheid tot haar erfgoed rekent, verwacht de markt dat technologie betrouwbaar werkt. Een ernstig incident met autonoom rijden kan daarom veel verder reiken dan alleen het betreffende voertuig. De ontwikkeling verloopt om die reden stapsgewijs: eerst autonoom rijden onder sterk gecontroleerde omstandigheden, daarna geleidelijk bewegen naar complexere situaties. Foundation models kunnen dat proces versnellen, maar nemen de noodzaak van veiligheidsgrenzen niet weg.

Voor internal audit ligt daar de belangrijkste les. Auditors hoeven een foundation model niet opnieuw te bouwen om relevante assurance te leveren. Ze moeten begrijpen hoe AI onderdeel is van het totale systeem, waar de kritieke beheersmaatregelen liggen en hoe technologie, data, governance en functionele veiligheid elkaar beïnvloeden.

Wood bepleit ingrijpende vernieuwing van de uitvoering. Nill laat zien dat bestaande auditprincipes bruikbaar blijven bij een veel complexer auditobject. Die combinatie vraagt nieuwe kennis om taken verantwoord aan AI over te laten én de beheersing van AI-systemen te beoordelen. De vertrouwde kern van internal audit biedt houvast, maar geen vrijbrief voor stilstand. Auditors die hun expertise niet actief blijven ontwikkelen, riskeren dat de werkelijkheid sneller verandert dan hun inzicht. Alleen gebeurt dat inmiddels in een wereld waarin AI niet alleen naast de auditor, maar soms letterlijk achter het stuur zit.