Les articles qui ne peuvent pas être reproduits sont cités 153 fois plus parce que leurs résultats sont intéressants –

Publié dans Progrès scientifiques, l’article explore la «crise de réplication» en cours dans laquelle les chercheurs ont découvert que de nombreuses découvertes dans les domaines des sciences sociales et de la médecine ne tiennent pas lorsque d’autres chercheurs tentent de répéter les expériences.

L’article révèle que les résultats d’études qui ne peuvent pas être vérifiés lorsque les expériences sont répétées ont une plus grande influence au fil du temps. La recherche peu fiable a tendance à être citée comme si les résultats étaient vrais longtemps après l’échec de la réplication de la publication.

«Nous savons également que les experts peuvent bien prédire quels articles seront reproduits», écrivent les auteurs Marta Serra-Garcia, professeur assistant d’économie et de stratégie à la Rady School et Uri Gneezy, professeur d’économie comportementale également à la Rady School. “Compte tenu de cette prédiction, nous nous demandons ‘pourquoi les articles non reproductibles sont-ils acceptés pour publication en premier lieu?'”

Leur réponse possible est que les équipes de revue de revues académiques doivent faire un compromis. Lorsque les résultats sont plus «intéressants», ils appliquent des normes plus faibles quant à leur reproductibilité.

Le lien entre les résultats intéressants et la recherche non reproductible peut également expliquer pourquoi elle est citée à un taux beaucoup plus élevé – les auteurs ont constaté que les articles qui se répliquent avec succès sont cités 153 fois moins que ceux qui ont échoué.

“Les découvertes intéressantes ou attrayantes sont également davantage couvertes par les médias ou partagées sur des plateformes comme Twitter, ce qui suscite beaucoup d’attention, mais cela ne les rend pas vraies”, a déclaré Gneezy.

Serra-Garcia et Gneezy ont analysé les données de trois projets de réplication influents qui ont tenté de reproduire systématiquement les résultats dans les meilleures revues de psychologie, d’économie et de sciences générales (Nature et Science). En psychologie, seulement 39% des 100 expériences ont été répliquées avec succès. En économie, 61% des 18 études ont été répliquées, tout comme 62% des 21 études publiées dans Nature / Science.

Avec les résultats de ces trois projets de réplication, les auteurs ont utilisé Google Scholar pour tester si les articles qui n’ont pas réussi à se répliquer sont cités beaucoup plus souvent que ceux qui ont été répliqués avec succès, à la fois avant et après la publication des projets de réplication. Le plus grand écart concernait les articles publiés dans Nature / Science: les articles non réplicables étaient cités 300 fois plus que les articles réplicables.

Lorsque les auteurs ont pris en compte plusieurs caractéristiques des études répliquées – telles que le nombre d’auteurs, le taux d’auteurs masculins, les détails de l’expérience (lieu, langue et mise en ligne) et le domaine dans lequel l’article a été publié – – la relation entre reproductibilité et citations est restée inchangée.

Ils montrent également que l’impact de ces citations augmente avec le temps. Le décompte annuel des citations révèle un écart prononcé entre les articles qui se sont répliqués et ceux qui ne l’ont pas fait. En moyenne, les articles qui n’ont pas été reproduits sont cités 16 fois plus par an. Cet écart persiste même après la publication du projet de réplication.

“Fait remarquable, seulement 12 pour cent des citations post-réplication de résultats non réplicables reconnaissent l’échec de la réplication”, écrivent les auteurs.

L’influence d’un article inexact publié dans une revue prestigieuse peut avoir des répercussions pendant des décennies. Par exemple, l’étude Andrew Wakefield publiée dans The Lancet en 1998 a retourné des dizaines de milliers de parents dans le monde contre le vaccin contre la rougeole, les oreillons et la rubéole en raison d’un lien implicite entre les vaccinations et l’autisme. Les conclusions incorrectes ont été rétractées par The Lancet 12 ans plus tard, mais les affirmations selon lesquelles l’autisme est lié aux vaccins se poursuivent.

Les auteurs ont ajouté que les revues peuvent ressentir de la pression pour publier des résultats intéressants, tout comme les universitaires. Par exemple, dans les décisions de promotion, la plupart des établissements universitaires utilisent les citations comme une mesure importante dans la décision de promouvoir ou non un membre du corps professoral.

C’est peut-être la source de la «crise de réplication», découverte pour la première fois au début des années 2010.

“Nous espérons que nos recherches encouragent les lecteurs à être prudents s’ils lisent quelque chose d’intéressant et d’attrayant”, a déclaré Serra-Garcia. “Chaque fois que les chercheurs citent des travaux qui sont plus intéressants ou qui ont été beaucoup cités, nous espérons qu’ils vérifieront si des données de réplication sont disponibles et ce que ces résultats suggèrent.”

Gneezy a ajouté: “Nous nous soucions du domaine et produisons une recherche de qualité et nous voulons que ce soit vrai.”