Behavioural auditing: het onderzoeken van gedrag in organisaties

In eerdere artikelen introduceerden wij behavioural auditing als een nieuwe discipline binnen het vakgebied auditing en de learning history als een manier om gedrag in organisaties te onderzoeken.¹ In dit artikel bespreken we wat er bij een dergelijk onderzoek komt kijken.

Een behavioural audit is erop gericht inzicht te krijgen in het gedrag van organisatieleden en daarover te rapporteren met als doel het beïnvloeden van het sociaalpsychologische klimaat en de organisatiecultuur in organisaties. Een learning history-onderzoek is een deugdelijk onderzoek dat leidt tot betrouwbare bevindingen over relevante organisatievraagstukken. Tegelijkertijd beoogt het een proces in gang te zetten dat organisaties ondersteunt bij het realiseren van hun doelstellingen.² In nummer 1-2014 van Audit Magazine behandelden wij de voorbereiding van het onderzoek en de gegevensverzameling. De focus lag daarbij op die aspecten waarin het learning history-onderzoek zich onderscheidt van meer traditionele auditformats.

Een learning history-onderzoek is een vorm van kwalitatief onderzoek. Dit type onderzoek gaat ervan uit dat er niet zoiets als een ‘objectieve’ werkelijkheid bestaat. We hebben stilgestaan bij ‘sensitizing concepts’ die in de beginfase richting geven aan het onderzoek en introduceerden vraagtechnieken die auditors in staat stellen om in onderzoekende gesprekken in vrij korte tijd aannamen en vooronderstellingen van auditees in kaart te brengen. De transcripties van deze gesprekken vormen het ruwe materiaal voor de data-analyse en leveren de bouwstenen voor de rapportage. In dit artikel beschrijven we hoe de data-analyse plaatsvindt, op welke wijze het onderzoeksverslag tot stand komt en een aantal typische kenmerken ervan.

Open coderen

Een learning history-onderzoek is een vorm van kwalitatief onderzoek. De manier waarop de data worden geanalyseerd is kenmerkend voor dit type onderzoek. De analyse vindt plaats in een aantal stappen en bestaat uit ruwweg drie fasen (zie figuur 1).

In de eerste fase worden de transcripties geanalyseerd op relevantie voor de onderzoeksvraag. Interviewfragmenten die van belang worden geacht, worden gemarkeerd en in de kantlijn van een ‘code’ voorzien. Een code is een trefwoord of een korte beschrijving die de inhoud van het tekstfragment typeert. Voorbeelden van codes zijn bijvoorbeeld ‘tone at the top’, ‘teamsamenwerking’, ‘voorbeeldgedrag’, maar ook ‘zorgen over de consequenties van de reorganisatie’, ‘eisen van de toezichthouder leiden tot grotere werkdruk’. Omdat het voor de hand ligt dat relevante onderwerpen of aspecten daarvan meerdere malen terugkomen in gesprekken en ook door meerdere auditees worden genoemd, worden codes vaak meermalen gegeven. Codes en teksten worden onderling met elkaar vergeleken. Die vergelijking leidt vaak tot aanscherping van de codes. Deze eerste stap wordt ‘open coderen’ genoemd. Open coderen levert een lijst op van codes die het ruwe onderzoeksmateriaal beschrijven.

In onze onderzoeken beginnen we met open coderen als we halverwege de interviews zijn. We doen dit om trends en kenmerken die zich in de eerste interviews beginnen af te tekenen te kunnen toetsen (of te falsifiëren) in de volgende reeks. Interviews en de eerste fase van het coderen overlappen elkaar dus gedeeltelijk.

Axiaal coderen

In de tweede daarop volgende fase worden alle tot dan toe ontwikkelde codes opnieuw bekeken en beoordeeld door het onderzoeksteam. Dekt de vlag de lading op een juiste manier? Zijn er bij het coderen synoniemen gebruikt die teruggebracht kunnen worden tot één goede treffende term of omschrijving? Zijn wel alle relevante gespreksfragmenten verwerkt in de codering?

Na deze kwaliteitscheck volgt een proces waarbij de bij het onderzoek betrokken auditors het onderzoeksmateriaal herordenen. Ze doen dit door codes die bij elkaar horen in clusters te groeperen. Ieder cluster krijgt vervolgens een eigen code. Zo ontstaat een nieuwe ordening met hoofdcodes en subcodes. Digitale hulpmiddelen in de vorm van dataverwerkingsprogramma’s voor kwalitatief onderzoek garanderen dat de relatie met de achterliggende interviewfragmenten helder en duidelijk blijft en de hergroepering van gegevens die op deze wijze plaatsvindt gegrond blijft in de ruwe data.

Deze fase wordt gericht of axiaal coderen genoemd. Deze tweede fase is cruciaal voor het verdere verloop van het onderzoek. Zijn de benoemde clusters representatief voor wat er leeft in de organisatie? Zijn er aanwijzingen over het hoofd gezien? Zijn er indicaties die voor een andere ordening pleiten? Houden eerder gegeven codes afgezet tegen alle data stand? De onderzoekers selecteren, ordenen en herordenen, schrappen en herformuleren totdat alleen de echt representatief geachte clusters en codes overblijven. Dit kan tot verhitte discussies leiden in het onderzoeksteam, maar dat hoort erbij.

Het gaat niet om de werkelijkheid, maar om percepties

Met open coderen heeft het onderzoeksteam de ruwe data in kaart gebracht. Bij axiaal coderen richten ze zich op meer specifieke gebieden. Door te clusteren groeperen ze de data in categorieën. Een categorie wordt gevalideerd door het relevante onderzoeksmateriaal daaromheen te groeperen. De categorieën laten zien wat het onderzoeksteam belangrijk vindt en waar het naar haar mening in het onderzoek echt om draait.

Selectief coderen

De derde stap in de analyse wordt selectief coderen genoemd. Uitgaande van de onderzoeksvraag speurt het onderzoeksteam naar verbanden en patronen in en tussen de clusters. Het gaat erom dat de bevindingen op een betekenisvolle manier worden gestructureerd. Oog voor detail is belangrijk, evenals gevoel voor nuances. Sensitiviteit ten opzichte van het onderzoeksmateriaal en een goed gevoel voor de organisatieverhoudingen zijn hierbij onontbeerlijke eigenschappen. Selectief coderen levert patroon- en structuurcodes op die de samenhang weergeven in en tussen de clusters. Ook hier geldt dat er een duidelijke relatie moet zijn tussen de gegeven patroon- en structuurcodes en de onderzoeksgegevens.

Gedurende dit proces krijgen de onderzoekers steeds meer zicht op het ‘verhaal’ dat in de onderzoeksgegevens ligt besloten. ‘Ieder blok marmer heeft al een beeld in zich’ is een bekende uitspraak van de Italiaanse renaissancekunstenaar en beeldhouwer Michelangelo. De kunstenaar moet het alleen nog zichtbaar maken. Dat en niet meer is de taak van het onderzoeksteam in deze fase.

Selectief coderen is een spannend maar ook creatief proces en wat ons betreft de meest voldoening gevende stap in het verwerken van de onderzoeksgegevens. Als al het onderzoeksmateriaal op deze manier is verwerkt wordt het tijd voor het opmaken van het rapport.

Rapportage

Een leergeschiedenisrapport ziet er wat anders uit dan veel andere auditrapporten. Na een korte inleiding volgt een hoofdstuk ‘Verantwoording’. Dit hoofdstuk heeft als doel de lezer duidelijk te maken dat het hier gaat om de resultaten van een kwalitatief goed uitgevoerd onderzoek. Dat is belangrijk omdat nog maar weinig opdrachtgevers hiermee ervaring hebben opgedaan. De auditors beschrijven hierin hoe ze te werk zijn gegaan, wie er geïnterviewd zijn, op welke wijze de data-analyse heeft plaatsgevonden en hoe die tot de rapportage hebben geleid. Het meest in het oog springend is vervolgens de presentatie van de onderzoeksresultaten in een tweekolommenformaat (zie figuur 2).

Eén kolom is gereserveerd voor quotes uit de interviews met de auditees. In de andere kolom worden deze van commentaar voorzien door de onderzoekers. De vormgeving hangt direct samen met het doel van dit type onderzoek. Het gaat niet om een eenduidig geformuleerd eindoordeel door de auditors. In plaats daarvan schetsen de onderzoekers meerdere perspectieven met betrekking tot relevante thema’s en onderwerpen die ze in het onderzoeksmateriaal hebben aangetroffen. Uitspraken van geïnterviewden die in het rapport worden weergegeven zijn representatief voor wat er leeft en hoe er in de organisatie gedacht wordt. De onderzoekers ordenen het materiaal zodanig dat er een doorlopend verhaal (‘jointly told tale’) ontstaat.

Onderwerpen en thema’s die tijdens de data-analyse als belangrijk naar voren kwamen worden in het onderzoeksrapport verwerkt tot hoofdstukken en paragrafen. Ieder hoofdstuk begint met een korte inleiding waarin het thema of het onderwerp dat daarin wordt behandeld wordt toegelicht en waarin wordt besproken waarom dat van belang is voor de organisatie en voor het onderzoek. Daarna komen de auditees aan het woord en geven zij hun visie daarop. De onderzoekers brengen diepgang aan. Dat kan op veel manieren, bijvoorbeeld door aannamen of blinde vlekken te signaleren of onderwerpen te benoemen waarover men in de organisatie liever niet spreekt. Maar ook door thema’s en patronen die zij belangrijk vinden te bespreken of door het stellen van kritische vragen. Veel kan, zolang het maar bijdraagt aan hun belangrijkste taak: food for thought leveren voor alle betrokkenen. Soms brengen ze daarom extra informatie in die in tekstboxen aan het verhaal worden toegevoegd. Een andere keer sluiten ze een hoofdstuk af met een beschouwende alinea.

Een heldere verhaallijn en natuurlijk de herkenbaarheid van de onderwerpen moeten ervoor zorgen dat lezers zich aangesproken en betrokken voelen. Het resultaat is een werkdocument dat stimuleert tot nadenken en dat is precies wat we met dit type onderzoek willen bereiken. Het rapport wordt geschreven om – soms sluimerende – vraagstukken bloot te leggen en het verhaal van zoveel betrokkenen biedt aanknopingspunten om daarover met elkaar na te kunnen denken. Omdat ze uit de organisatie zelf komen zijn ze herkenbaar, vaak praktisch en direct bruikbaar en nodigen ze uit om in actie te komen. Veel van de meerwaarde van deze manier van rapporteren zit in de gesprekken die er vervolgens binnen de organisatie over worden gevoerd.

Dat iedereen de ruimte krijgt om zijn eigen perspectief naar voren te brengen, maakt dat men bereid is naar elkaar te luisteren. Dan groeit er begrip voor elkaar

Verspreiding

Die gesprekken beginnen in validitieworkshops waarin de conceptrapportage eerst aan de opdrachtgever en daarna aan de geïnterviewden wordt voorgelegd. Hoofdstuk na hoofdstuk wordt uitgedeeld en besproken. De eerste vraag is steeds of men zich herkent in het verhaal. Daarna komen vragen als: wat valt op, wat vind je verrassend, wat betekent dit voor jullie, et cetera. De validatieworkshops zijn primair bedoeld om de kwaliteit van het onderzoekswerk te toetsen. De centrale vraag daarbij is of de auditees zichzelf en hun organisatie herkennen in de rapportage.

Hoe belangrijk dit ook is voor de onderzoekers, voor de auditees lijkt validatie vaak maar een bijzaak. Deels zit dat in de manier waarop we de gesprekken voeren, wij kiezen altijd voor de dialoogvorm. Het feit dat iedereen de ruimte krijgt om zijn eigen perspectief naar voren te brengen maakt dat men bereid is naar elkaar te luisteren. Hoewel men het niet – altijd – eens hoeft te zijn, groeit er dan begrip voor elkaar. Daarmee wordt de basis gelegd voor het samen nadenken over dingen die anders en beter kunnen.

Voor opdrachtgevers is het soms even slikken als zij lezen hoe er binnen de organisatie wordt gedacht, zeker als dat anders is dan zij hadden verwacht. Het besef echter dat het niet gaat om de werkelijkheid, maar om percepties van auditees leidt bij hen doorgaans al snel tot het inzicht dat het rapport alleen daarom al belangrijke aanknopingspunten voor bijsturing biedt. Als dan ook nog blijkt dat niet alleen zij maar zeker ook de auditees zelf daaraan actief – willen – bijdragen, dan is ook voor hen alle inspanning de moeite meer dan waard geweest.

In twee opeenvolgende artikelen hebben we beschreven hoe methodologisch gezien een behavioural audit eruit kan zien. In een volgende publicatie willen wij collega’s en hun opdrachtgevers aan het woord laten over hun ervaringen met een behavioural audit en de impact daarvan op hun organisaties.

Noten

1. Audit Magazine nr. 1 en 2 2013, nr.1 2014.
2. Meulen, I van der, ‘De Learning history, een nieuw onderzoeksformat voor auditors’. In: Ron de Korte, Inge van der Meulen en Jan Otten (ed), Management Control Auditing, bijdragen aan Assurance & Consulting Activities, 2^e druk 2012, hoofdstuk 16.