Fraude in de wetenschap: “Binnen vijf minuten drie hits”

Je hoort het steeds vaker, fraude in de wetenschap. René Aquarius, neurowetenschapper in het Radboudumc, over beeldmanipulatie, paper mills en de kwetsbaarheid van het wetenschappelijk systeem.

Waar is jouw interesse ontstaan?

“Een aantal jaren geleden begon ik samen met mijn collega Kim Wever een systematische literatuurstudie waarin we keken naar diermodellen voor hersenbloedingen. We verwachtten zo’n vijftig relevante studies te vinden, maar het werden er meer dan zeshonderd. Dat was al vreemd, maar wat het nog vreemder maakte was dat bijna alle studies positieve resultaten rapporteerden. Je zou verwachten dat als één medicijn echt werkt, deze dan verder ontwikkeld wordt. Maar hier zagen we honderden verschillende middelen die allemaal ‘succesvol’ waren, terwijl er in de praktijk geen behandeling is. Dan ga je je afvragen: wat gebeurt hier?”

Wat deed je met die informatie?

“Geïnspireerd door een lezing van de bekende ‘wetenschapsdetective’ Elisabeth Bik, besloten mijn collega’s en ik de afbeeldingen in publicaties nader te bekijken. We projecteerden een aantal figuren op de muur en gingen er gewoon naar kijken. Binnen vijf minuten hadden we drie studies waarin dezelfde beeldfragmenten terugkwamen. Dat kan technisch gezien niet. Dat moment bleek een kantelpunt. Óf we hadden extreem veel geluk, óf er was structureel iets mis. Dat laatste bleek het geval. Van de 608 artikelen bleken er 243 duidelijke beeldmateriaalgerelateerde problemen te bevatten. Dat is zo’n 40%. Dat is echt enorm. Toch is het lastig om direct van fraude te spreken. We kunnen niet in iemands hoofd kijken. De intentie laat zich moeilijk raden. Het is tegelijkertijd moeilijk te geloven dat al die problemen ontstaan door ‘onschuldige foutjes’.”

Wanneer spreek je dan van fraude?

“Bijvoorbeeld als iemand data verzint, plagiaat pleegt of bewust beeldmateriaal manipuleert. Maar vaak wordt het pas echt duidelijk als iemand het toegeeft. Dat gebeurt zelden. De meeste auteurs blijven volhouden dat er niets mis is of dat het om een onbedoeld foutje gaat.”

“Als nepstudies de literatuur vervuilen, kost dat tijd, geld en uiteindelijk mogelijk ook mensenlevens”

Waarom moeten niet-wetenschappers deze vormen van fraude belangrijk vinden?

“Wetenschapsfraude is geen ver-van-je-bedshow. In de medische wetenschap kan het betekenen dat de ontwikkeling van effectieve behandelingen vertraging oploopt. Als nepstudies de literatuur vervuilen, kost dat tijd, geld en uiteindelijk mogelijk ook mensenlevens. Daarnaast heeft het gevolgen voor de besteding van publieke middelen. Wetenschappers bouwen voort op eerder onderzoek. Als het eerdere onderzoek niet klopt, dan is het mogelijk dat er belastinggeld wordt geïnvesteerd in een doodlopend pad. En er is nog een effect: fraudeurs kunnen zich profileren als toponderzoekers, terwijl eerlijke wetenschappers minder kansen krijgen. Dat ondermijnt het hele systeem.”

Hoe kan het dat het zo ‘eenvoudig’ is om te frauderen? Er zijn toch peer reviews?

“De hoeveelheid publicaties is enorm toegenomen, dat betekent dat er ook meer peer reviewers (collega-onderzoekers uit hetzelfde veld) nodig zijn om al dat werk te beoordelen. Echter, het aantal onderzoekers neemt niet op dezelfde schaal toe als het aantal publicaties. Minder mensen moeten dus meer werk verrichten in dezelfde tijd. Daarnaast kijken peer reviewers met een bepaalde bril: klopt de methodologie? Is het onderzoek vernieuwend? Klopt de interpretatie van de data? De gedachte dat data misschien verzonnen zijn, komt niet op bij eerlijke onderzoekers en peer reviewers. Er is impliciet vertrouwen dat het onderzoek echt is uitgevoerd.”

En controle vanuit uitgevers?

“Je hebt natuurlijk ook de uitgevers die allerlei checks doen om te kijken of een manuscript in orde is of niet, maar dat is ook geen waterdicht systeem. Zeker niet als er kwaadwillende personen zijn die het systeem bewust willen omzeilen. En je komt er makkelijk mee weg. De meeste lezers zijn zich niet echt bewust van de kans op wetenschapsfraude, zij zullen artikelen dan ook niet op die manier bestuderen. Het is soms moeilijk te herkennen.”

Welke rol heeft AI in wetenschapsfraude?

“De opkomst van AI maakt het probleem complexer. Je kunt heel snel zeer geloofwaardige artikelen genereren. Afbeeldingen hoeven niet meer te worden hergebruikt als je ze makkelijk door AI kunt laten maken. Het probleem is dat we dan ook geen duplicatiefouten meer kunnen detecteren. Tegelijkertijd ontstaan er nieuwe signalen, zoals door AI gehallucineerde referenties. We staan aan het begin van een nieuwe fase. Oude detectiemethoden werken misschien minder goed, maar er komen ook nieuwe voor in de plaats.”

Lijkt het zo of is er meer fraude in de wetenschap?

“Dat denk ik wel. Een belangrijke verklaring voor de toename in wetenschapsfraude is de opkomst van ‘paper mills’. Dat zijn bedrijven die gefingeerde artikelen produceren en auteursposities verkopen. Prijzen verschillen, maar soms kun je voor duizend dollar al eerste auteur worden. In sommige landen is publiceren een voorwaarde om carrière te maken. Als je geen toegang hebt tot een lab of middelen, is het kopen van een artikel vaak de enige uitweg. Mensen zitten dan in een systeem dat hen deze kant op duwt.”

Hoe detecteer je artikelen die door zo’n paper mill zijn geproduceerd?

“Je moet soms lang naar een afbeelding kijken om te zien dat cellen zijn gekopieerd, gedraaid of gespiegeld. Voor de meeste lezers is dat moeilijk zichtbaar. Er zijn ook signalen die wel makkelijk te herkennen zijn, zoals zogenaamde ‘tortured phrases’. Deze ontstaan door automatische herschrijftools die worden gebruikt om plagiaatdetectie te omzeilen. Een term als ‘big data’ wordt dan vertaald naar ‘colossal information’ (zie tabel 1)”.

Wie is er eigenlijk verantwoordelijk voor het voorkomen van wetenschapsfraude?

“Het probleem ligt niet bij één partij. Onderzoekers, universiteiten, uitgevers en subsidieverstrekkers hebben allemaal een rol. Daar zit ook een deel van het probleem: als iedereen verantwoordelijk is, voelt niemand zich verantwoordelijk. De verleiding is groot om het probleem door te schuiven. Als iedereen naar elkaar wijst, dan gebeurt er weinig in de praktijk. Bovendien is er nog te weinig kennis en ervaring op dit gebied. Als ik kan aantonen dat er sprake is van vervalste gegevens, reageren sommige partijen geschokt. Het wordt nog te vaak gezien als een uitzondering, als iets dat zelden voorkomt. Ik denk dat dat niet per se het geval is.”

Is er nog een rol weggelegd voor de internal auditor?

“Er is zeker een rol voor de internal auditor, maar met de kanttekening dat internal auditors waarschijnlijk niet zijn toegerust om inhoudelijke fouten in wetenschappelijke artikelen te herkennen. Dit soort problemen vraagt om specialistische kennis van inhoudelijke experts of forensisch metawetenschappers. Internal auditors kunnen daarentegen wel controleren of adequate beheersmaatregelen binnen een organisatie worden genomen. Zijn er bijvoorbeeld goede systemen opgetuigd die voorkomen dat medewerkers hun tijd verdoen aan het lezen (of gebruiken) van problematische wetenschappelijke artikelen?”

Kunnen we de wetenschap eigenlijk nog wel vertrouwen?

“De wetenschap werkt nog steeds. Kijk naar de snelle ontwikkeling van vaccins tijdens de coronapandemie. Dat is indrukwekkend. Maar er is wel werk aan de winkel. Het is een probleem dat serieus aangepakt moet worden. We kunnen niet achteroverleunen. Systeemproblemen moeten worden opgelost en probleemartikelen moeten snel worden teruggetrokken. Juist om de goede wetenschap te beschermen.”