Zo audit je AI: drie succesvolle praktijkvoorbeelden

AI-systemen zijn in opkomst binnen internal audit. Maar hoe audit je ze effectief? Erasmus MC, CZ en Achmea laten zien dat er meerdere wegen naar Rome leiden – elk met een aanpak die past bij hun AI-volwassenheid.

AI-systemen worden steeds vaker onderwerp van internal audit. De centrale vraag is: hoe audit je de ontwikkeling en inzet van AI effectief binnen je organisatie? Drie Nederlandse voorlopers – Erasmus MC, CZ en Achmea – tonen aan dat er geen standaardrecept is voor AI-auditing. De aanpak moet passen bij de organisatiecultuur en mate van AI-volwassenheid.

• Erasmus MC: AI-governance bij beginnende adoptie

In 2024 startte Erasmus MC met een vooronderzoek naar AI-governance. Een audit op basis van een extern normenkader, zoals ISO 42001, was nog niet zinvol. Tijdens dit vooronderzoek werd ook de ‘AI accelerator’ opgericht: een centraal AI-expertisecentrum. Het onderzoek toonde versnippering en onduidelijkheid over de beheersing van AI. “Er was veel enthousiasme, maar weinig regie”, aldus auditors Reinier Roest en Nathalie de Wit. De uitkomsten leidden tot concrete aanbevelingen voor beleid en governance. Een formele audit volgt in 2025, zodra het fundament is gelegd.

• CZ: 0-meting als vertrekpunt

CZ koos in 2024 voor een systematische nulmeting. Het team combineerde de ALTAI-lijst van de EU en ISO 42001 tot een eigen framework, aangevuld met thema’s als business value en third-party management. “We wilden inzicht geven én verwachtingen managen”, vertelt auditor Tom Verharen. CZ wil op termijn doorgroeien van deze nulmeting naar formele assurance-audits.

• Achmea: volwassen audits met brede scope

Achmea audit al vijf jaar AI en levert inmiddels volwaardige assurance. De scope varieert van AI-governance tot specifieke systemen als AchmeaGPT. “We begonnen adviserend, maar leveren nu volwaardige assurance”, zegt auditor Wouter Nijhof. De aanpak van Achmea kenmerkt zich door de wisselende scope: het ene jaar de focus op AI-governance, het andere jaar op specifieke AI-systemen zoals AchmeaGPT en Copilot-implementaties. AI-audits worden zowel door de business aangevraagd als vanuit de auditafdeling voorgesteld – een teken van volwassenheid in de samenwerking.

Achmea ontwikkelde inmiddels volwaardige assurance op het AI-beheersingssysteem, vergelijkbaar met generieke IT-controls. “Naast zekerheid geven de audits ook veel inzicht voor de business, de tweede lijn en audit zelf”, aldus Nijhof. Deze mature-aanpak toont hoe AI-auditing kan uitgroeien tot een strategische functie binnen de organisatie.

Auditonderwerpen: beleid, ethiek en techniek

Ondanks de verschillende aanpakken komen bij alle drie organisaties vergelijkbare onderwerpen terug in hun AI-audits. Beleid en verantwoordelijkheden vormen de basis: wie is waarvoor verantwoordelijk en hoe is dit geborgd? Impact assessments zijn cruciaal om risico’s vooraf in kaart te brengen. Security en datakwaliteit krijgen veel aandacht – AI-systemen zijn immers zo goed als de data waarop ze getraind zijn. Ethiek en compliance vormen onlosmakelijke onderdelen van iedere AI-audit, waarbij organisaties moeten aantonen dat hun AI-systemen verantwoord worden ingezet.

AI-auditing stelt nieuwe eisen aan de capabilities van internal auditafdelingen

Auditen van het algoritme

Een opvallend verschil ligt in de mate waarin algoritmen zelf worden geaudit. Erasmus MC richt zich primair op processen en governance, met momenteel beperkte aandacht voor de technische werking van algoritmen. “De IAF moet zich bij AI-audits in deze eerste fase vooral richten op processen, compliance en procedures. De benodigde (technische) capaciteit voor het auditen van de algoritmen zelf is nu niet voorhanden”, stelt het Erasmus MC-team.

CZ keek bij de 0-meting naar AI governance & management en de zeven ALTAI-aandachtsgebieden. Dat betreft de aandachtsgebieden human agency and oversight, technical robustness and safety, privacy and data governance, transparency, diversity non-discrimination and fairness, societal and environmental well-being en accountability. De inhoudelijke betrouwbaarheid van het algoritme was nu nog geen object van de 0-meting, maar zal, afhankelijk van het risiconiveau bij toekomstige toepassingen wel aan de orde komen. CZ moet goed gaan kijken naar de benodigde expertise voor het beoordelen van de algoritmen.

Achmea kiest voor een bredere benadering en besteedt wel aandacht aan algoritmen naast governance en processen. “De auditfunctie moet zich niet alleen richten op processen en compliance, maar ook op de algoritmen zelf om te waarborgen dat deze robuust, ethisch en wettelijk zijn”, aldus Nijhof. Dit betekent bijvoorbeeld dat auditors interviews afnemen met data-scientists en data-engineers om grip te krijgen op wat het algoritme doet, waarbij zowel de normale werking als onverwachte situaties worden getest.

Wat vraagt AI van de auditafdeling?

AI-auditing stelt nieuwe eisen aan de capabilities van internal auditafdelingen. Alle drie organisaties benadrukken het belang van multidisciplinaire auditteams die IT-auditors, financial auditors, operational auditors en waar nodig externe expertise combineren. Een stakeholderbenadering is cruciaal: betrek privacy officers, compliancemedewerkers, juridische zaken en business stakeholders vanaf het begin. “Het auditen van AI vraagt ook bepaalde vaardigheden van de auditor”, stelt Nijhof. “Het is goed om een multidisciplinair team te hebben met kennis van techniek, ethische vraagstukken en financiële stromen.”

Frameworkgebruik biedt houvast, maar vereist maatwerk. ALTAI, ISO 42001 en NIST dienen als basis, maar moeten worden aangepast aan de organisatiecontext. Investeren in AI-kennis is essentieel: trainingen, certificeringen en het ontwikkelen van technische vaardigheden binnen het team.

Het IIA Ambition Model als kompas voor de IAF

Het IIA ontwikkelde het Ambition Model. Het IIA Ambition Model biedt internal auditfuncties een gestructureerd raamwerk om de volwassenheid en effectiviteit te evalueren. Het model helpt auditafdelingen om de strategische positie binnen de organisatie te bepalen en te versterken. Door verschillende dimensies van de auditfunctie te beoordelen, zoals governance, processen, technologie en impact, kunnen teams inzicht krijgen in waar ze staan en waar ze naartoe willen groeien.

AI is een recente toevoeging aan het model bij het thema services and role.  Het topic AI heeft in het model vijf volwassenheidsniveaus voor AI-auditing: initial, infrastructure, integrated, managed en optimizing. Het model biedt een roadmap van ad hoc AI-audits naar strategische thought leadership en een proactieve sparringpartnerrol op AI.  Het model kan als gereedschap gebruikt worden voor het maken van bewuste keuzen in de AI-groeistrategie van de IAF.

Praktische uitvoering: risk-based en gefaseerd

De uitvoering van AI-audits vereist een doordachte aanpak. Alle organisaties hanteren een risk-based approach: materiële AI-systemen eerst, experimentele toepassingen later. “Het is belangrijk om een brede scope te hanteren bij het uitvoeren van risicoanalyses en deze vervolgens specifiek te maken”, adviseert Achmea.

Bepaal eerst de organisatierijpheid voordat je de auditstrategie vaststelt. Audit governance voordat je individuele systemen gaat auditen. Erasmus MC toont dat dit soms betekent dat je moet beginnen met advies in plaats van assurance. Begin met advies en groei toe naar assurance naarmate de organisatie volwassener wordt in AI-adoptie. Start met governance-audits als de AI-adoptie nog pril is, en bouw daarna uit naar specifieke systeemaudits. CZ illustreert deze gefaseerde aanpak met de bewuste keuze om van 0-meting te groeien naar formele audits.

Conclusie: begin en leer

Wacht niet op perfecte richtlijnen. Stem je aanpak af op de volwassenheid van je organisatie. Van advies tot assurance: elke stap telt. Erasmus MC, CZ en Achmea tonen dat AI-auditing maatwerk is. En dat kennisdeling essentieel is voor groei.