Les spécialistes du cancer surestiment la reproductibilité des études précliniques
![](https://www.mcgill.ca/newsroom/files/newsroom/styles/fullwidth_breakpoints_theme_moriarty_small_1x/public/channels/image/9403934518_40bb8d10ba_z.jpg?itok=ayof3zjL×tamp=1498759569)
Les scientifiques surestiment la reproductibilité d’importantes études précliniques sur le cancer, suggère une étude de l’Université McGill.
Publiées dans PLOS Biology par Jonathan Kimmelman et ses collègues de l’Université McGill, ces observations s’appuient sur un sondage mené auprès de scientifiques chevronnés et néophytes. Lors d’expériences réalisées dans le cadre du projet Reproducibility Project: Cancer Biology (RPCB), on a demandé à ces chercheurs de prédire la reproductibilité des effets observés chez la souris dans six grandes études précliniques sur le cancer.
En moyenne, les chercheurs ont évalué à 75 % et à 50 %, respectivement, la probabilité de reproduire la signification statistique et l’ampleur de l’effet obtenues dans l’étude initiale. Or, selon ces critères, aucune des six expériences menées à terme jusqu’à maintenant dans le cadre du projet RPCB n’a donné les mêmes résultats que les études initiales.
Cet optimisme des spécialistes du cancer pourrait notamment tenir au fait qu’ils surestiment la reproductibilité des grandes études réalisées dans leur domaine. Il se pourrait aussi qu’ils sous-estiment la complexité méthodologique et logistique inhérente à la reproduction d’une étude par un laboratoire indépendant.
La crise de la reproductibilité
La présente étude fait suite à la publication de nombreux articles sur la « crise de la reproductibilité » qui secoue la biomédecine. En effet, depuis 10 ou 15 ans, on redoute de plus en plus que certaines des techniques et des pratiques de la recherche biomédicale conduisent à une évaluation inexacte des vertus potentielles d’un médicament.
Comme il n’est pas toujours possible de reproduire les résultats d’études, le Pr Kimmelman et son équipe se sont demandé si les spécialistes du cancer pouvaient au moins repérer d’instinct les résultats d’étude susceptibles de ne pas être facilement reproductibles. Or, il semble que leur capacité de le faire soit « vraiment limitée », ce qui donne à penser que le processus d’« autocorrection » de la science pourrait laisser à désirer.
Cependant, en raison des procédés employés et d’éventuelles différences méthodologiques, plusieurs scientifiques mettent en doute la fiabilité des études menées dans le cadre du RPCB comme outils d’évaluation de la reproductibilité. Les résultats de notre étude, souligne le Pr Kimmelman, ne signifient aucunement que les scientifiques interrogés ne comprennent pas ce qui se passe dans leur domaine, et ils ne diminuent en rien l’importance du financement de la recherche et de l’édiction de politiques appuyées sur un consensus scientifique. Il est important de rappeler, ajoute-t-il, que les participants n’étaient pas rompus à la prédiction – un art au demeurant difficile à maîtriser – et que malgré tout, certains y sont allés de prédictions très justes.
Mieux former pour mieux interpréter
Cela dit, une formation pourrait aider de nombreux scientifiques à se libérer de certains biais cognitifs de nature à influer sur leur interprétation des résultats d’études.
« Si les chercheurs tiennent pour fiables les résultats d’une étude, ils peuvent commencer à édifier une théorie scientifique sur des fondations qui se révéleront bancales. Si, au contraire, ils doutent d’une assertion, ils seront plus susceptibles de la mettre directement à l’épreuve avant de prendre appui sur elle. »
« Il s’agit de la première étude du genre, mais il convient d’explorer davantage le sujet afin de comprendre comment les scientifiques interprètent les études importantes, plaide le Pr Kimmelman. À mon avis, ce n’est probablement pas dans l’exécution des expériences scientifiques que la rigueur fait défaut. C’est plutôt l’interprétation des observations scientifiques qui laisse quelque peu à désirer. »
__________________________________________________________________________
Cette étude a été financée par les Instituts de recherche en santé du Canada.
L’article « Can Cancer Researchers Accurately Judge Whether Preclinical Reports Will Reproduce », par Daniel Benjamin, David R. Mandel et Jonathan Kimmelman, a été publié dans la revue PLOS Biology.
Crédit photo : Cancer Institute of Colombia