Replicatie en reproduceerbaarheid

Drie pijlers van wetenschappelijke verificatie zijn: onafhankelijke evaluatie (peer review), onafhankelijke replicatie en onafhankelijke reproduceerbaarheidscontrole.

De termen replicatie en reproduceerbaarheid worden vaak door elkaar gebruikt. In een context van wetenschappelijke verificatie is het echter nuttig beiden te onderscheiden.

“…I define “replication” as independent people going out and collecting new data and “reproducibility” as independent people analyzing the same data.” (Roger Peng, 2011)

Replicatie
Replicatie is het opnieuw uitvoeren van een onderzoek door onafhankelijke onderzoekers met als doel een claim of resultaat van de originele studie (‘X veroorzaakt Y’) te verifiëren. Soms wordt dit ook met de term ‘repeatability’ aangeduid. Een replicatieonderzoek is dus een nieuw onderzoek, er worden nieuwe data verzameld waarbij echter zoveel mogelijk de opzet en methodologie van het originele onderzoek worden gebruikt.

Reproduceerbaarheid
Bij een reproduceerbaarheidsonderzoek – of beter reproduceerbaarheidscontrole – staat de vraag centraal of de data-analyse van het te reproduceren onderzoek juist en correct is uitgevoerd. Onafhankelijke onderzoekers heranalyseren de oorspronkelijke data om na te gaan of de gepubliceerde gegevens (een figuur of tabel in een artikel) inderdaad zijn af te leiden uit de data. Soms wordt dit ook aangeduid met de termen ‘reanalysis’ of ‘duplication’.

Reproduceerbaarheid zegt niets over de juistheid of validiteit van de gepubliceerde resultaten. Een studie die reproduceerbaar is, hoeft niet repliceerbaar te zijn.


Replicatie, reproduceerbaarheid en RDM
Voor RDM is het verschil tussen reproduceerbaarheid en replicatie van belang omdat reproduceerbaarheid vereist dat de oorspronkelijke data van het onderzoek plus een overzicht van alle bewerkingsstappen – vaak in de vorm van de ontwikkelde of gebruikte softwarecode voor de bewerking, analyse en presentatie van de data – beschikbaar worden gesteld. Bij replicatie is dat niet het geval.

De Gedragscode Wetenschapsbeoefening (p. 8, punt 3.3) van de VSNU vereist dat onderzoeksdata voor reproduceerbaarheidscontroles minimaal 10 jaar bewaard blijven.