Psychologie scientifique : la rigueur croissante réduit les recherches douteuses

Depuis maintenant dix ans, suite à une étude qui révélait la crise de reproductibilité dans le domaine de la recherche psychologique (selon laquelle une étude sur deux, notamment en psychologie sociale et cognitive, était difficilement réplicable), on observe des signes d’amélioration dans la rigueur et la précision des publications scientifiques publiées dans ce secteur.

Une analyse portant sur 240 355 publications en psychologie a montré que, entre 2004 et 2024, la proportion de résultats « fragiles » – c’est-à-dire dont la signification statistique pouvait être douteuse – avait nettement diminué. Par conséquent, on peut supposer que les méthodes de recherche douteuses ou reposant sur des échantillons trop restreints pour représenter la réalité ont également reculé. Cette étude a été récemment publiée dans la revue Advances in Methods and Practices in Psychological Science.

Entre novembre 2011 et décembre 2014, le projet international en accès libre Reproducibility Project : Psychology a tenté de reproduire les résultats d’une centaine d’études publiées en 2008 dans trois revues spécialisées, sans examiner en détail les méthodes de recherche, mais uniquement pour vérifier la rigueur avec laquelle ces études avaient été menées.

Les résultats furent décevants : seulement 36 % des études reproduites ont donné des résultats identiques. De plus, l’ampleur des effets observés était inférieure de plus de moitié à celle rapportée dans les études initiales.

De cette démarche, menée sous la direction de Brian Nosek, psychologue à l’Université de Virginie, est née une réflexion collective importante sur comment améliorer la fiabilité des recherches en psychologie. Parmi les pistes envisagées figuraient la nécessité de publier en amont le plan de recherche avant de commencer une étude, ou encore de rendre publics les données et les codes utilisés lors des analyses.

Pierre Bogdan, psychologue à l’Université Duke en Caroline du Nord, a entrepris de mesurer le niveau de signification statistique dans les études du domaine, c’est-à-dire le seuil qui permet de déterminer si un résultat peut être considéré comme statistiquement significatif. Il a utilisé pour cela la valeur p (p-value), qui aide à interpréter si la différence observée est due au hasard, ou si elle est réellement significative.

En créant un script permettant d’extraire le p-value de 240 355 études publiées au cours des vingt dernières années, Bogdan a constaté qu’en science, un résultat est considéré comme significatif si le p-value est inférieur à 0,05. En 2004, seulement 32 % des travaux en psychologie se situaient dans ce qu’il a qualifié d’« intervalle fragile », c’est-à-dire juste au-dessus de ce seuil conventionnel. En 2024, cette proportion a considérablement chuté, atteignant légèrement plus de 26 %.

Ce résultat suggère que, par simple « hasard », — ce que l’on pourrait résumer en disant que les erreurs méthodologiques ont fortement diminué dans ce domaine.

Cela signifie que les psychologues mènent aujourd’hui des études scientifiques plus rigoureuses, avec moins de pratiques nuisibles au secteur, comme la sélection biaisée des résultats pour ne publier que les findings qui impressionnent le plus (« cherry picking »). Certains domaines ne montrent pas encore une amélioration uniforme : la psychologie clinique et du développement continuent d’afficher un pourcentage plus élevé d’études dont la fiabilité statistique reste fragile, contrairement à la psychologie sociale et cognitive.

De plus, la taille moyenne des échantillons a elle aussi augmenté au fil du temps. En 2004, la majorité des études comprenait en moyenne moins de cent participants, alors qu’en 2024, ce chiffre avoisinait les 250. Cette évolution s’explique notamment par l’utilisation croissante de plateformes en ligne pour recruter des volontaires ou par la pratique consistant à récompenser la participation par de petits incitations.