AI-beheersing: voorbij de black box – Deel II

AI-beheersing: voorbij de black box – Deel II

Auteur: Eduward van de Kamp RE RO – Mathijs Schouten
Beeld: Adobe Stock
4 min

In het vorige artikel ‘Van shadow AI naar slimme AI’ stond AI-literacy centraal als basis voor verantwoorde AI-adoptie. Nu verschuift de uitdaging naar beheersing: hoe houden we grip op AI-agents die autonoom handelen? De auditor ontwikkelt zich daarbij van controleur tot technisch onderzoeker die AI inzichtelijk maakt via ‘observability’ en ‘explainability’.

Effectieve governance van AI begint bij een fundamentele verschuiving in eigenaarschap. Volgens de principes van COSO ligt de verantwoordelijkheid voor AI-beheersing niet bij de IT-afdeling, maar bij de proceseigenaar (de control owner). Een gezonde AI-beheersomgeving is een omgeving waar AI openlijk wordt gebruikt, kritisch wordt begrepen en proactief wordt uitgedaagd.

De AI Control Plane en Governance

Om dit te operationaliseren, bouwen organisaties een AI control plane (AI-beheerslaag) die toezicht houdt op de gebruikte large language models (LLM’s) en autonome agents. De beheerslaag dient als een ‘secure-by-design’-fundament. Het dwingt contextuele waarborgen (‘guardrails’) af voor privacy en security, terwijl het alle besluiten traceerbaar maakt voor de auditor. Hierdoor blijven niet alleen de risico’s, maar ook de kosten onder controle. Het gaat dus niet alleen om logging achteraf, maar ook om monitoring en bijsturing in real-time. Zonder zo’n raamwerk blijft AI-gebruik informeel en onzichtbaar, wat traditionele auditbenaderingen effectief uitschakelt. Er wordt namelijk geen audit trail opgebouwd die in een later stadium nog gecontroleerd kan worden.

Bestaande raamwerken voor AI-audit

Voor auditors die houvast zoeken, is het raamwerklandschap steeds meer herkenbaar ingericht. ISO/IEC 42001 beschrijft het AI management system (vergelijkbaar in opzet met ISO 27001 voor informatiebeveiliging). Het NIST AI risk management framework biedt een risicogebaseerde structuur waarbij de functies govern, map, measure en manage centraal staan om de betrouwbaarheid en veiligheid van AI-systemen systematisch te waarborgen. Aanvullend vertalen audit-communitygedreven initiatieven zoals shared audit agents framework (SAAF) deze normen naar herbruikbare audit-skills, prompts, policies en lessons learned. Ze zijn daarmee direct toepasbaar in de auditpraktijk.

Beheersing van AI is geen eenmalige exercitie. Door ‘model drift’ (het langzaam veranderen van modelgedrag) is een jaarlijkse audit onvoldoende

Agents: meer dan een chatbot

Voor de auditor is het cruciaal om te begrijpen dat een AI-agent fundamenteel verschilt van een simpele chatbot. Een agent beschikt over drie kernvaardigheden:

  1. Geheugen – het vermogen om eerdere interacties te onthouden en toe te passen in volgende stappen.
  2. Plannen en beslissen – het opdelen van een complex doel in deeltaken en het zelfstandig bijsturen van de koers.
  3. Tools aanroepen en acties uitvoeren – de agent kan zelfstandig externe bronnen of software-tools kiezen, gebruiken en daarmee daadwerkelijk acties uitvoeren in andere systemen.

Deze autonomie introduceert echter het risico op ‘silent failures’ (stille fouten). In tegenstelling tot klassieke software die bij een fout duidelijk stopt (bijvoorbeeld met een 404-foutmelding), kan AI met grote stelligheid een feitelijk absurd of onveilig resultaat produceren zonder dat er een foutmelding afgaat. Erger nog: dat resultaat is doorgaans de input voor een volgende beslissing of actie, waardoor de impact zich ketengewijs opstapelt en steeds groter wordt.

Observability: van trace naar motief

Hier komt ‘AI observability’ (waarneembaarheid) in beeld. Traditionele monitoring kijkt bijvoorbeeld naar de beschikbaarheid van een systeem en stelt de vraag: is het systeem up and running? Observability gaat een stap verder en vraagt: wat gebeurt er onder de motorkap en waarom weten we zeker dat het systeem beschikbaar is (hoe is dat gemeten)?

Vergelijk het met een rechercheur die een moordzaak onderzoekt. Aan de ene kant heeft een rechercheur evidence nodig: bewijsmateriaal dat exact terug te vinden is in de redeneerketen (de trace) van de agent – welke data werd geraadpleegd, welke prompt-versie was actief, welke tools werden aangeroepen? Dit noemen we de chain of thought. Aan de andere kant zoekt de rechercheur ook naar het motief: het waarom achter de uitkomst. Dat tweede stuk valt onder ‘explainability’. Voor een sluitende reconstructie heeft de auditor beide nodig.

Een actueel securityrisico dat zonder observability volledig onder de radar verdwijnt, is de opkomst van ‘vibecoding’ ofwel AI-gestuurd programmeren. Agents kunnen onbedoeld gecompromitteerde softwarepakketten (zoals kwaadaardige ‘npm-packages’) binnenhalen, wat leidt tot ‘supply chain attacks’. Alleen wanneer elke toolaanroep en de bijbehorende codegeneratie wordt gemonitord, kan dit type silent failure worden gedetecteerd vóór de gevolgen zich verspreiden.

Explainability en de validation gap

Naast het weten wat er zich afspeelde (‘traceability’), moeten we begrijpen waarom een agent een besluit nam (‘decision understanding’). In een auditcontext is de uitkomst ‘akkoord’ waardeloos zonder de onderliggende logica. We spreken hier over de ‘validation gap’: de kloof tussen de output van de AI en de bewijsbare feiten in de bronnen. Om deze kloof te dichten, moet de auditor een zoekstrategie in twee richtingen hanteren: niet alleen zoeken naar bewijs dat de AI-conclusie ondersteunt (belastend), maar ook actief zoeken naar bewijs dat deze tegenspreekt (ontlastend). Alleen als de redenering van de AI deze kritische toets doorstaat, kan de organisatie er werkelijk op vertrouwen.

Compliance: de EU AI Act en FRIA

Met de komst van de EU AI Act wordt de rol van de auditor nog formeler. Systemen die bijvoorbeeld worden ingezet bij werving en selectie of kredietwaardigheidsbeoordelingen, worden zonder de benodigde mitigerende maatregelen geclassificeerd als hoogrisico. Een essentieel onderdeel van de verantwoording is de fundamental rights impact assessment (FRIA). Dit is een beoordeling van de impact op fundamentele rechten, zoals non-discriminatie en menselijke waardigheid. Voor de auditor betekent dit dat er niet alleen naar data wordt gekeken, maar ook naar maatschappelijke bias en de invloed van AI op menselijk gedrag.

De toekomst: continuous auditing

Beheersing van AI is geen eenmalige exercitie. Door ‘model drift’ (het langzaam veranderen van modelgedrag) is een jaarlijkse audit onvoldoende. De toekomst ligt in ‘continuous auditing’, waarbij een tweede AI-model wordt ingezet als ‘rechter’ (‘LLM-as-a-judge’) om voortdurend de kwaliteit, toxiciteit (de mate waarin output schadelijk, beledigend of onveilig is voor de eindgebruiker) en logische bronvermelding van de primaire agent te scoren.

Conclusie

De weg van shadow AI naar slimme AI loopt via totale transparantie. Een betrouwbare agent is niet een systeem dat nooit faalt, maar een systeem waarvan de besluiten en fouten waarneembaar genoeg zijn om ze te kunnen beheersen. En een waarvan de resterende fouten binnen de tolerantie van de risk appetite vallen. Voor de auditor betekent dit een nieuwe standaard: de organisatie bouwt of koopt alleen AI-systemen die transparant zijn en een duidelijke audit trail vastleggen.

Over
Eduward van de Kamp RE RO is internal auditor bij Mollie. Daarvoor werkte hij als chief audit executive bij een kleine bank en gaf hij leiding aan digitale transformatietrajecten in de financiële sector.

Mathijs Schouten is internal auditor bij Mollie en heeft een achtergrond in forensische ICT en development.

Samen zijn zij de founders van shared audit agents framework (SAAF). Elke maand organiseren zij hackathons waar zij samen met 75 tot 100 auditors AI audit agents bouwen om praktijkkennis te delen en de beroepsgroep te versterken. Meer informatie op saafproject.com.

Een artikel aanleveren? Lees onze auteursinstructies.
0 likes

Reacties (0)

Wilt u ook een reactie plaatsen?

Voor het plaatsen van een reactie vereisen wij dat u bent ingelogd. Heeft u nog geen account? Registreer u dan nu. Wilt u meer informatie over deze vereiste? Lees dan ons privacyreglement.

Lees meer over dit onderwerp:

Artificial intelligence for good

Wat is artificial intelligence? Waar kun je het voor gebruiken en welke rol speelt de AVG bij het gebruik van data voor artificial-intelligencetoepassingen. Aan het woord is Jim Stolze, spreker op het IIA Congres in september 2021. Hoe komt een student toegepaste taalwetenschappen terecht in de wereld van artificial intelligence? “Artificial intelligence (AI) is er […]

Lees meer