Behavioural auditing: het onderzoeken van gedrag

In eerdere artikelen introduceerden wij behavioural auditing als een nieuwe discipline binnen het vakgebied auditing en de learning history als een manier om gedrag in organisaties te onderzoeken.¹ In dit artikel bespreken we wat er bij een dergelijk onderzoek komt kijken.

Een behavioural audit is erop gericht inzicht te krijgen in het gedrag van organisatieleden en daarover te rapporteren met als doel het beïnvloeden van het sociaalpsychologische klimaat en de organisatiecultuur in organisaties. Een learning history-onderzoek is een deugdelijk onderzoek dat leidt tot betrouwbare bevindingen over relevante organisatievraagstukken. Tegelijkertijd beoogt het een proces in gang te zetten dat organisaties ondersteunt bij het realiseren van hun doelstellingen.²

In dit artikel behandelen wij achtereenvolgens de voorbereiding van het onderzoek en de gegevensverzameling. De focus ligt op die aspecten waarin het learning history-onderzoek zich onderscheidt van meer traditionele auditformats. Een learning history-onderzoek is een vorm van kwalitatief onderzoek. Dit type onderzoek gaat ervan uit dat er niet zoiets als een ‘objectieve’ werkelijkheid bestaat. We staan stil bij ‘sensitizing concepts’ die in de beginfase richting geven aan het onderzoek en introduceren vraagtechnieken die auditors in staat stellen om in vrij korte tijd aannamen en vooronderstellingen te achterhalen.

Bij de voorbereiding horen gesprekken met de opdrachtgever waarin deze een goed beeld krijgt van de aard van het onderzoek en de manier waarop er gerapporteerd wordt

Voorbereidingen

Een learning history-onderzoek is een project waarin meerdere auditors samenwerken. De redenen daarvoor hebben wij elders beschreven.³ De voorbereidingen betreffen de technische en inhoudelijke aspecten van het onderzoek én het proces wat ermee in gang wordt gezet. Met een leergeschiedenisonderzoek houdt de organisatie zichzelf een spiegel voor. Vaak zitten daar gevoeligheden in die betrokkenen eigenlijk liever niet willen horen. Het is daarom belangrijk dat de auditors de vrijheid en het vertrouwen krijgen om het onderzoek uit te voeren en daarover te rapporteren zonder dat zij zich zorgen hoeven te maken over de vraag of de resultaten geaccepteerd zullen worden.

Bij de voorbereiding horen dan ook gesprekken met de opdrachtgever waarin deze een goed beeld krijgt van de aard van het onderzoek en de manier waarop er gerapporteerd wordt. Het gaat daarbij om de oprechte bereidheid van de opdrachtgever om de organisatie te laten leren én dat proces te faciliteren. Een dergelijk psychologisch ‘contract’ tussen opdrachtgever en auditteam is een belangrijke voorwaarde voor het slagen van het hele project. Het vertrekpunt voor de inhoudelijke voorbereiding is de opdrachtformulering. Op welke vragen moet het onderzoek een antwoord geven en voor wie zijn de resultaten bedoeld? Bij de inhoudelijke voorbereiding wordt vastgesteld welke bronnen – schriftelijk, digitaal – zullen worden geraadpleegd. Tegelijkertijd wordt een eerste selectie gemaakt van de informanten die bij het onderzoek zullen worden betrokken.

Kwalitatief onderzoek

Mensen geven betekenis aan hun sociale omgeving en in hun interactie construeren zij hun eigen werkelijkheid. W.I. Thomas formuleerde het in zijn bekende theorema als volgt: ‘If men define situations as real, they are real in their consequences’.⁴ Kwalitatief onderzoek is erop gericht de betekenis die personen aan hun omgeving en wat zich daarin voordoet geven, te achterhalen en patronen daarin te identificeren. Het learning history-onderzoek heeft daarbij het expliciete doel deze bespreekbaar te maken. Het kwalitatieve karakter van het onderzoek heeft consequenties voor de inrichting ervan.

De belangrijkste bronnen zijn de auditees en de voornaamste ontsluitingstechniek is het diepte-interview. De tijdens het vooronderzoek geformuleerde onderzoeksvraag heeft dan ook een voorlopig karakter. De auditors houden er rekening mee dat gaandeweg het onderzoek de focus kan verschuiven omdat een iets anders geformuleerde vraag relevanter blijkt te zijn dan op voorhand gedacht. Dit is een onderwerp dat ter sprake moet komen in de voorbereidende gesprekken en tijdens de voortgangsoverleggen met de opdrachtgever. Na het voorgaande zal het niet meer verbazen dat een referentiekader bij dit type onderzoek ontbreekt.

Identificeren

Het echte onderzoekswerk begint met het identificeren van ‘opmerkelijke feiten en gebeurtenissen’ die van belang zijn voor het onderzoek. Het gaat daarbij om direct observeerbare zaken die concreet en meetbaar (kwantificeerbaar) zijn. Over het bestaan ervan is iedereen het eens, over de betekenis kan wel verschillend worden gedacht. Deze feiten en gebeurtenissen zijn het vertrekpunt voor de onderzoekende gesprekken. Ze sturen de interviews naar de meest relevante aspecten terwijl tegelijkertijd het interview gegrond blijft in de feitelijke en actuele context.

Opmerkelijke feiten en gebeurtenissen zijn bijvoorbeeld formele besluiten, reorganisaties, budgetoverschrijdingen, klanttevredenheidsonderzoeken, et cetera. De formulering moet zodanig zijn dat er geen discussie over ontstaat. ‘De structuur van het overleg is veranderd’ is een feitelijke constatering. ‘Het overleg levert te weinig op’ is geen constatering maar een oordeel. ‘De besluiten van het management zijn effectief’ is een waardering. ‘Het management besloot afgelopen maand het beleid te wijzigen’ is een feitelijke constatering.

Sensitizing concepts

In kwalitatief onderzoek wordt gebruikgemaakt van ‘sensitizing concepts’ of ‘gevoeligmakende begrippen’. Sensitizing concepts bieden een denkkader dat het vertrekpunt is voor het onderzoek. Ze geven richting zonder de weg voor te schrijven en dienen als hulpmiddel voor de onderzoekers om zich te oriënteren tijdens het veldwerk. De term is afkomstig van de socioloog Blumer die de functie als volgt omschreef: ‘A sensitizing concept… gives the user a general sense of reference and guidance… Where as definitive concepts provide prescriptions of what to see, sensiziting concepts merely suggest directions along which to look’.⁵ Sensitizing concepts worden tijdens de voorbereiding van het onderzoek ontwikkeld bijvoorbeeld op basis van literatuurstudie of documentenonderzoek. In onze onderzoeken gebruiken wij soms modellen die ook worden gebruikt als referentiekader bij andere auditformats. De manier waarop wij de modellen inzetten is echter wezenlijk anders.

Diepte-interviews hebben het karakter van een reflectief gesprek. De auditors werken daarbij in teams van twee personen

Een referentiekader staat vast en biedt vooraf gedefinieerde toetsingscriteria op grond waarvan een oordeel kan worden gegeven over een aangetroffen situatie. Zo beschrijven Hartog en Grasmeijer hoe zij de ‘balanced change card’ hebben gebruikt om een normenkader voor een projectaudit te ontwikkelen.⁶ In een van onze onderzoeken hebben wij aan ditzelfde model richtinggevende begrippen ontleend die we hebben gebruikt om te onderzoeken waarom de projectaanpak in een organisatie niet werkte. Gaandeweg het onderzoek bleek echter dat andere termen en begrippen beter aansloten bij onze bevindingen en hebben we de formulering aangepast.

Reflectieve gesprekken

De diepte-interviews hebben het karakter van een reflectief gesprek. De auditors werken daarbij in teams van twee personen. Zij leggen de ‘opmerkelijke feiten en gebeurtenissen’ voor aan de auditees met de uitnodiging daarop te reageren. Het doel van het gesprek is hen in alle openheid te laten praten over hun ervaringen. De manier waarop de auditors vragen stellen zet auditees aan hun aannamen en interpretaties te onderzoeken. Het zijn vragen die zij zichzelf doorgaans niet of niet meer stellen. Door de reflectie die hiermee in gang wordt gezet worden zij zich bewust van verbanden waarvan zij het bestaan niet of niet eerder vermoedden. Bij auditees leiden deze gesprekken daarom bijna altijd tot onverwachte en soms compleet nieuwe inzichten. Geavanceerde interviewtechnieken en -strategieën gecombineerd met een strak interviewprotocol helpen de auditors de gewenste diepgang te bereiken.

Interviewprotocol

Een goed protocol maakt dat de gesprekken meer opleveren en zorgt ervoor dat de interviews beter vergelijkbaar worden. Ieder interview begint met het geven van informatie over het doel van het onderzoek, de gang van zaken tijdens en na het gesprek, wat er gebeurt met de resultaten en hoe de auditee daarop invloed kan uitoefenen. Auditees ontvangen na afloop van het gesprek de volledige transcriptie ter aanvulling en/of correctie.

Het uitgangspunt is dat alles wat in het gesprek wordt gezegd voor de uiteindelijke rapportage kan worden gebruikt, maar de geïnterviewde heeft altijd de mogelijkheid bepaalde passages of onderdelen als vertrouwelijk te bestempelen. In dat geval zal dat onderdeel niet worden gebruikt.

Het protocol voorziet in een korte en bondige lijst van de opmerkelijke feiten en gebeurtenissen. De auditors vragen de auditee om twee of drie feiten of gebeurtenissen te selecteren die het meest relevant voor hem of haar zijn. Bijvoorbeeld omdat de auditee bij de totstandkoming betrokken is geweest of omdat ze in zijn ogen kritisch zijn in het kader van het onderzoek. Zij vragen de auditee opmerkelijke feiten en gebeurtenissen te noemen die niet op de lijst staan, maar volgens de persoon wel relevant zijn. Het gesprek start daarna met de geselecteerde en eventueel door de auditee naar voren gebrachte feiten en gebeurtenissen.

Interviewtechnieken

Onze interviews hebben het karakter van een half-gestructureerd of topic-interview. Ieder topic start met een ‘opmerkelijk(e) feit of gebeurtenis’. Vervolgens worden in het gesprek een aantal fasen doorlopen. De eerste fase is explorerend. Met open vragen en ongericht doorvragen wordt de auditee uitgenodigd de feitelijke situatie nader te beschrijven. Vervolgens richten de vragen zich op het ‘waarom’, de beweegredenen en overwegingen die naar de mening van de auditee een rol van betekenis speelden.

Na deze diagnostische fase volgt een derde fase waarin de auditee wordt uitgenodigd terug te kijken naar de gebeurtenis en daarop te reflecteren vanuit zijn huidige situatie. De vragen zijn dan meer evaluerend van karakter. Zo kunnen de auditors vragen wat de gebeurtenis zo belangrijk maakte voor de auditee en waarom hij dat zo ervaart en wat dat voor hem betekent. De laatste fase is erop gericht om belemmerende (of stimulerende) systemen en krachten te achterhalen die in de organisatie aanwezig zijn. Deze fase wordt gekenmerkt door speculatie en confrontatie. Hierbij gaat het om vragen als: wat had anders gekund? Waarom is dat alternatief niet gekozen? Welke overwegingen speelden een rol? Wat was daarbij doorslaggevend? Als het overgedaan zou worden, hoe zou het er dan uitzien?

De in een van onze vorige artikelen beschreven inferentieladder verheldert hoe in denkstappen mensen op basis van waarnemingen meningen en standpunten vormen, die vervolgens weer ten grondslag liggen aan hun gedrag (zie figuur 1). De ladder helpt begrijpen op welk niveau de auditee zijn uitspraken doet. De auditors kunnen diepgang in het gesprek brengen door de auditee op een ander denk- of waarnemingsniveau door te laten gaan. Zo kunnen ze bij waarnemingen en observaties vragen naar meningen, bij conclusies naar de onderliggende feiten, bij interpretaties naar een beschrijving van de situaties die daartoe leidden en bij handelingen naar achterliggende opinies en opvattingen.

In een onderzoekend gesprek van een uur kunnen zo twee of drie opmerkelijke feiten of gebeurtenissen behandeld worden. De transcripties van deze gesprekken vormen het ruwe materiaal voor de data analyse en leveren de bouwstenen voor de rapportage. We hopen daar in een volgend artikel op terug te komen.

Noten

1. Audit Magazine, 2013, nr. 1 en 2.
2. I. van der Meulen, ‘De Learning history, een nieuw onderzoeksformat voor auditors.’ In: Ron de Korte, Inge van der Meulen en Jan Otten (ed), Management Control Auditing, bijdragen aan Assurance & Consulting Activities, 2^e druk 2012, hoofdstuk 16.
3. Zie noot 2.
4. W.I. Thomas, The child in America: Behavior problems and programs, 1928.
5. H. Blumer, What is wrong with social theory, 1954, ASR, 19:3-10.
6. IPMA Projectie Magazine, 01-2010.