Zonder dossier geen governance – deel I

Zonder een compleet, actueel en herleidbaar AI-dossier zijn effectieve governance, audit en toezicht niet mogelijk. Dit eerste deel van een drieluik over AI-governance beschrijft de samenhangende dossieronderdelen. Het helpt internal auditors beoordelen of het dossier bij een concrete AI-toepassing voldoende basis biedt voor audit en assurance.

AI-governance wordt vaak uitgelegd vanuit strategie, ethiek of wetgeving. Dat is logisch, maar voor internal auditors begint het meestal ergens anders. Niet bij de vraag wat een organisatie wil met AI, maar voor auditors speelt vooral de vraag: kunnen we aantonen wat er gebeurt, wie verantwoordelijk is en of de beheersing werkt?

Waarom bewijs het fundament is

Veel organisaties hebben wel beleid: een visie, principes en misschien een verbod op verkeerd gebruik. Maar het bewijs ontbreekt. Het ene team zegt dat een systeem alleen ondersteunt, het andere denkt dat het bijna zelfstandig beslist. Men weet dát AI wordt gebruikt, maar niet precies waar, door wie en met welke risico’s. Dossiers liggen verspreid over mailboxen, teamsites, notebooks, tickets en leveranciersmappen. Daardoor groeit de kans op tegenstrijdige informatie en kost het beantwoorden van basale vragen veel tijd. De centrale vraag is daarom: wat is een AI-dossier dat ‘audit ready’ is, en welke onderdelen moet het bevatten?

‘Record keeping’

Record keeping levert het onmisbare bewijs voor audit. Dat betekent niet ‘meer administratie’, maar feiten, keuzen, versies, controles en uitkomsten zo vastleggen dat een ander ze later kan volgen. Zonder dat spoor blijft governance hangen in losse verhalen. Bij verspreide dossiers stapelen de vragen zich snel op. Welk model draaide? Welke data hoorde daarbij? Was de uitleg aan klanten al aangepast? Was er menselijk toezicht? En was dat zichtbaar in de logs? Record keeping is de kern van AI-governance: niet documentatie als doel op zich, maar als voorwaarde voor toetsing, sturing en herstel.

Audit ready betekent dat een auditor, reviewer of toezichthouder snel kan zien hoe het systeem werkt en of de juiste beheersmaatregelen aanwezig zijn

Het AI-dossier

Een AI-dossier bevat alle informatie en bewijs over één AI-toepassing, zoals een chatbot, triagemodel of kredietmodel. Het laat zien wat het systeem doet, waarom het wordt gebruikt, welke risico’s erbij horen, wie verantwoordelijk is en welk bewijs laat zien dat de organisatie in control is. Audit ready betekent dat een auditor, reviewer of toezichthouder snel kan zien hoe het systeem werkt en of de juiste beheersmaatregelen aanwezig zijn. Het dossier is geen stapel losse documenten, maar logisch opgebouwd en actueel. Bewijs is vindbaar, begrijpelijk en herleidbaar.

Het dossier heeft twee vaste onderdelen. Het AI-register is de centrale lijst van alle AI-toepassingen. Per systeem staan daarin de naam, het doel, de risicoklasse, de rol van de organisatie en de modeleigenaar. De ‘review-evidenceset’ is het vaste bewijspakket per review- of auditcyclus. Het register geeft het overzicht; de review-evidenceset bewijst de werking. Samen vormen ze het AI-dossier.

Het AI-register in detail

Het AI-register is meer dan een lijstje. Het is een managementinstrument dat laat zien waar AI wordt gebruikt, met welke rol, risicoklasse en bijbehorende bewijsstukken. Tabel 1 toont de belangrijkste velden.

Voorbeeld: een verzekeraar

Een verzekeraar gebruikt ‘schade-triage AI’ om binnenkomende schademeldingen te ordenen op urgentie en complexiteit. De medewerker beslist over afwijzing of uitbetaling, niet het model. Juist daarom is het belangrijk dat menselijke tussenkomst, afwijkingen van het AI-advies (‘overrides’) en logging goed zijn vastgelegd. In dit voorbeeld vermeldt het register als organisatierol ‘deployer’ (de partij die het systeem inzet) en als risicoklasse hoog risico. De eigenaar is product owner Schadebehandeling. De datasheet heeft versie 1.4 en de model card versie 2.1. De logging bevat input, output, modelversie en overrides. Het klantportaal toont een AI-melding met uitleg op B1-niveau. De laatste review was op twaalf mei 2026. Er staan twee CAPA’s open.

De review-evidenceset

De review-evidenceset laat zien dat de beheersing ook werkt. Het pakket bevat logextracten, screenshots van AI-meldingen, uitlegvoorbeelden, tweedelijns modelvalidaties, controleresultaten, incidentrapporten, openstaande verbeteracties en besluiten uit reviews. Het register zegt wat er zou moeten zijn. De review-evidenceset laat zien of dat ook echt zo is. Zo kan de auditor opzet, bestaan én werking beoordelen.

Kernbegrippen voor auditors

De hierna genoemde termen keren in het hele drieluik terug. Gedeelde taal is een voorwaarde voor effectieve audits: zodra teams dezelfde woorden verschillend gebruiken, wordt audit moeilijker. Denk aan ‘uitleg’, waar de business een klanttekst bedoelt, IT een modeluitleg en compliance wettelijke informatie.

• Een datasheet beschrijft de gebruikte data: herkomst, kwaliteit, representativiteit en privacy-afspraken.
• Representativiteit gaat over de vraag of de data past bij de betrokken groepen.
• Een model card beschrijft de werking, versie, prestaties en beperkingen van het model en hoe het toezicht is ingericht.
• Een override is het moment waarop een medewerker afwijkt van het AI-advies. Dit is bewijs dat menselijk toezicht werkt.
• CAPA’s zijn herstel- en verbetermaatregelen na een fout of incident: het probleem oplossen en herhaling voorkomen.
• Bij logging legt de organisatie de invoer (input), uitkomsten (output), modelversie en menselijke ingrepen vast. Zo kan zij een besluit achteraf nagaan.
• Retentie gaat over bewijs: hoelang het beschikbaar blijft, wie toegang heeft en wanneer het wordt verwijderd of anoniem gemaakt.

Van wettelijke eis naar bewijs

Een goed AI-dossier bevat naast het register en de reviewset een ‘crosswalk’ (zie tabel 2). Deze tabel verbindt de wettelijke eis (wat) met het proces (hoe), het bewijs (waarmee) en de verantwoordelijke (wie). Zonder crosswalk vertaalt elk team regels op zijn eigen manier. Dat geeft ruis, dubbel werk en onduidelijkheid. De crosswalk is een navigatiekaart: van eis naar proces, bewijs en eigenaar. Compliance wordt zo geen abstract verhaal of dikke map, maar een navolgbaar spoor.

Vier inhoudelijke pijlers

De vier inhoudelijke pijlers van het AI-dossier zijn data, model, logging en transparantie. Ze vullen het register en de review-evidenceset.

Pijler 1 – De data
Een model is zo goed als de gegevens die erin gaan. Herkomst, kwaliteit en representativiteit moeten aantoonbaar zijn. De datasheet beschrijft welke dataset is gebruikt, waar die vandaan komt, voor welk doel die is gekozen, hoe de data is gelabeld, hoe representativiteit is beoordeeld en hoe privacy, retentie en onderhoud zijn geregeld. Dat helpt niet alleen datascientists, maar ook auditors: met een datasheet zien zij sneller of een organisatie haar data echt kent. Datakwaliteit is bovendien geen momentopname. Een dataset die vorig jaar passend was, kan vandaag verouderd zijn. Voor audit telt daarom niet of er ooit een check is gedaan, maar of er een ritme is voor herbeoordeling.

Auditvraag – Kent de organisatie haar data echt? Is de herkomst helder, mag de data voor dit doel worden gebruikt, zijn relevante groepen voldoende vertegenwoordigd en is er een ritme voor herbeoordeling?

Pijler 2 – De model card: het model
Waar de datasheet de data beschrijft, beschrijft de model card het model zelf. Beide vullen elkaar aan: de datasheet laat zien waarmee het systeem is gevoed, de model card hoe het systeem die data verwerkt en welke uitkomsten je mag verwachten.

Een goede model card bevat naam en versie van het model, type algoritme, gebruikte trainings- en validatiedata, prestatiematen, ‘fairness-analyse’, uitlegmethode, versiebeheer, onderhoudsmomenten en een koppeling met incidenten en verbeteracties. Voor audit is vooral de traceerbaarheid belangrijk. Veel bevindingen lijken op elkaar: de modelversie is niet herleidbaar, of bij een update staat nergens wat er veranderde.

Auditvraag – Is de modelversie herleidbaar? Is vastgelegd wat er bij een update veranderde? Is de relatie tussen trainingsdata en productieversie traceerbaar?

Pijler 3 – Logging en retentie
Als er later een vraag komt over een AI-besluit, begint bijna alles bij logging. Logging is het geheugen van de organisatie: zonder log kun je veel zaken niet reconstrueren. Goede logging gaat verder dan technische foutmeldingen. In een AI-context wil je minimaal het volgende kunnen volgen: inputdata, output, modelversie, beslismomenten, overrides, fouten en incidenten, en toegangsgegevens. Daar hoort retentie bij. Bewijs is alleen bruikbaar als het lang genoeg beschikbaar blijft. Een organisatie moet niet alleen weten wat zij logt, maar ook hoe lang zij dat bewaart, wie toegang heeft en wanneer gegevens veilig worden verwijderd of geanonimiseerd.

Auditvraag – Kan de organisatie een specifiek AI-besluit reconstrueren? Is het retentiebeleid vastgelegd en nageleefd?

Pijler 4 – Transparantie: de kanaalmatrix
Veel organisaties denken bij transparantie nog te snel aan één tekst op de website. Voor AI is dat niet genoeg. Gebruikers komen AI tegen in meerdere kanalen: een chatvenster, een app, een brief, een formulier, een dashboard of een automatisch gegenereerde samenvatting. De kanaalmatrix legt per kanaal vast waar AI zichtbaar moet zijn, welke tekst wordt gebruikt, of een pictogram, voetnoot, metadata of watermerk nodig is, waar het bewijs ligt en wie eigenaar is. Daarmee wordt transparantie herhaalbaar en controleerbaar. Voor audit is dit interessant, omdat dit een typische control is die op papier goed kan lijken, maar in de praktijk faalt: op de website staat de melding wel, in de app of brief niet. Een goede kanaalmatrix voorkomt dat. Per kanaal is er één standaardtekst in B1-niveau, zichtbaar vóór de interactie, met bewijs in de vorm van screenshots, templates of configuratiebestanden.

Auditvraag – Is de AI-melding in alle kanalen consistent, begrijpelijk (B1-niveau) en zichtbaar vóór de interactie? Is daar bewijs van?

Governance als continu proces

Een dossier is pas sterk als het leeft. AI-systemen staan niet stil: data verandert, modellen worden onderhouden en aangepast, kanalen komen erbij en leveranciers doen updates. Eén keer per jaar opschonen volstaat niet. Beheersing vraagt vaste momenten waarop bewijs wordt bekeken, besproken en bijgewerkt.

• Voorbereiding: wat moet minimaal op orde zijn voordat een AI-toepassing mag starten?
• Oplevering: wanneer is iets echt gereed voor productie?
• Review: wordt bewijs periodiek getoond, besproken en bijgewerkt?
• Verbetering: zijn verbetermaatregelen na incidenten zichtbaar en opvolgbaar?

De kernvraag voor audit is niet alleen: bestaat het document? Maar ook: wordt het gebruikt, bijgewerkt en gekoppeld aan verandering?

Juist op het niveau van werking vallen organisaties vaak door de mand. Het instrument bestaat wel, maar leeft niet

Betekenis voor internal auditors

AI valt vrijwel altijd binnen de reikwijdte van het ‘internal audit charter’, omdat het raakt aan governance, risicobeheersing en compliance. Beoordeel het AI-dossier daarom langs de bekende driedeling opzet, bestaan en werking.

• Opzet: zijn de juiste beheersmaatregelen en bewijsstukken ingericht? Kijk naar het AI-register, de crosswalk, het sjabloon voor datasheets en het plan voor logging.
• Bestaan: zijn deze onderdelen aanwezig en ingevuld? Is het register gevuld, zijn de datasheets actueel en zijn screenshots beschikbaar?
• Werking: werkt de beheersing in de praktijk? Worden reviews uitgevoerd, zijn logs opvraagbaar en worden CAPA’s opgevolgd?

Juist op het niveau van werking vallen organisaties vaak door de mand. Het instrument bestaat wel, maar leeft niet: de template is ingevuld maar niet bijgewerkt, de logging bedacht maar niet volledig geactiveerd, het register gevuld maar zonder de pilots en kleine experimenten.

Rode vlaggen die erop wijzen dat een organisatie nog niet audit ready is:

• Een ‘AI-use-case’ staat niet in het register.
• De herkomst van de data is onduidelijk.
• De modelversie is niet herleidbaar.
• De AI-melding verschilt per kanaal of ontbreekt.
• De uitleg is te technisch voor de eindgebruiker.
• Er is geen duidelijk retentiebeleid.
• Bewijs ligt verspreid over mappen en teams.
• Een open AI-tool is gebruikt zonder aantoonbare borging.

Dit zijn geen kleine administratieve fouten. Het zijn signalen dat de organisatie nog niet beschikt over het fundament dat nodig is voor verantwoorde inzet van AI.

In deel twee van dit drieluik verschuift de focus naar ontwerp en besluitvorming: proportionaliteit, fairness en menselijk toezicht. Deel drie behandelt de operatie: logging, monitoring, incidenten en bijsturing als onderdeel van blijvende beheersing.

Conclusie

Een audit ready AI-dossier bestaat uit het AI-register en de review-evidenceset, ondersteund door een crosswalk die wet, proces, bewijs en modeleigenaar verbindt. Het rust op vier pijlers: data governance (de datasheet), model governance (de model card), logging en retentie, en transparantie (de kanaalmatrix). Het dossier is pas effectief als het niet alleen bestaat, maar ook leeft: als het wordt gebruikt, bijgewerkt en gekoppeld aan verandering. De beoordeling langs opzet, bestaan en werking helpt de internal auditor om dat onderscheid scherp te maken. Zonder dat fundament is geen goed gesprek mogelijk over fairness, proportionaliteit of menselijk toezicht, en is ook toezicht na livegang zwak: monitoring, incidenten en verbetermaatregelen zijn dan niet goed te volgen. Wat je niet kunt terugvinden, kun je niet besturen. En wat je niet kunt aantonen, kun je niet auditen.

Disclaimer
Disclaimer: Bij het schrijven van dit artikel is gebruikgemaakt van een AI-tool ter ondersteuning bij taal- en structuurverbetering. De inhoud is door de auteur handmatig gecontroleerd en definitief opgesteld. De eindverantwoordelijkheid voor de inhoud, juistheid en actualiteit van het artikel ligt bij de auteur.