Votre recherche

9 janvier 2018 Science en dérive

9 janvier 2018 Science en dérive

Les scientifiques paraissaient une espèce préservée… Une sorte d’oasis dans une humanité soumise à tous les vents…

Dans le monde scientifique, la publication devient une nécessité. Publier signe une carrière, des honneurs, des moyens. De là à focaliser sur la production d’articles, le pas a été vite franchi. Il y a peu encore, les chercheurs de tous pays échangeaient facilement leurs connaissances. Il existait une forme de communication internationale où les échanges entre chercheurs de tous pays allaient de soi. L’état d’esprit était à additionner les connaissances et à se renvoyer entre laboratoires les données d’avancées des recherches. Les chercheurs s’épaulaient ainsi respectivement pour l’intérêt général. Cela nourrissait la dynamique de la connaissance générale scientifique, utile à l’ensemble de l’humanité.

Mais, dans un glissement progressif, la publication est devenue l’élément d’évaluation du chercheur, l’évaluation de son « excellence » et/ou telle université ou laboratoire. Avec un corollaire devenu incontournable, sa conversion en moyens financiers. L’argent pour la science devenant plus restreinte, plus aléatoire, et les politiques ayant compris qu’une partie de leur réussite électorale pouvait en dépendre. La circulation des connaissances est passée des mains des chercheurs à celles décideurs maîtrisant les fonds publics et privés.

Bien entendu, les chercheurs ont cherché à conserver l’éthique initiale. Toute avancée scientifique était soumise aux pairs pour vérification et validation. Mais, les chercheurs ont surestimé leur capacité à demeurer fidèle à l’éthique initiale. En surinvestissant dans leurs capacités pour être soumis à l’évaluation de leurs pairs avec une volonté farouche de ne pas commettre d’erreurs ou même d’approximations dans leurs découvertes, ils ont fragilisé leur rigueur méthodologique. Il restait toujours persuadé de demeurer dans la démarche du chercheur : faire avancer la science au service de l’humanité.

Mais c’était sans compter, avec l’accélération de la dynamique enclenchée dans un contexte de limitation des moyens et d’exigence accrue des financeurs. Il leur fallait faire face à la concurrence entre les États, aux aspirations toujours plus grandes des peuples en termes de mieux-être ! Les scientifiques – sous pression – ont cru pouvoir résister en restant inscrit dans une solidarité internationale qui devait leur permettre de s’extraire du contexte concurrentiel.

« Le Monde » et « Le Temps » ont décidé d’enquêter sur cinq facettes sombres de ce système : la dictature du chiffre -« publier ou périr » – la confiscation de la connaissance – les failles du peer reviewing – l’embellissement des résultats – la crise de reproductibilité.

En lien à un contexte en évolution. Le manque de moyens, la précarité, la bureaucratie, les conflits d’intérêts… Ils perturbent la vie des chercheurs. Le taux de malhonnêteté n’est pas plus grand chez les chercheurs que dans les autres professions ! D’autre part, il varie selon les disciplines. Les mathématiciens publient moins et mieux que les biologistes. Les physiciens sont plus rigoureux que les psychologues. Les pays s’accommodent plus que d’autres de ces défauts de qualité.

Ces « faces sombres » révèlent malgré tout à quel point le système de recherche s’est profondément transformé. Un des maillons essentiels du symptôme, les publications scientifiques et surtout leur métamorphose en unité comptable de l’activité scientifique. La logique gestionnaire avec ses effets pervers diffuse dans toute la chaine. La situation devient si intenable que partout naissent des initiatives pour corriger ces problèmes, les prévenir, voire rompre totalement avec cette nouvelle logique. (source David La Rousserie)

 

Un mode d’évaluation défaillant

 

Etape incontournable pour tous les chercheurs. Avant publication dans une revue scientifique, ils doivent soumettre leur nouveau résultat à des experts dans leur domaine. Ce processus – peer review – s’effectue bénévolement. Ce processus est considéré comme la méthode de référence de validation des découvertes scientifiques.

Cette démarche agit comme un premier filtre. « Sans évaluation, environ 2% des articles publiés seraient corrects, reproductibles, et intéressants. Grâce à la « peer review », on arrive entre 10% et 50%, estime David Vaux, professeur au Walter ans Eliza Hall Institut de Melbourne, qui contribue au site américain Retraction Watch, spécialisé dans le suivi des articles retirés ou corrigés. Le taux reste faible car peu de relecteurs peuvent s’octroyer le temps et les moyens de reproduire le parcours de la découverte qui leur permettrait de s’assurer de sa validité.

Paradoxalement, Christine Clavien, philosophe des sciences à l’Université de Genève constate « une recherche toujours plus spécialisée » qui oblige « à faire de plus en plus confiance aux revues » ! Or, celles qui pratiquent l’évaluation par les pairs ont une caractéristique commune : l’identité des relecteurs reste inconnue des auteurs et lecteurs. Mais, si le but est louable, celui d’éviter les pressions, notamment des jeunes chercheurs qui peuvent avoir à critiquer des articles de chercheurs plus reconnus sans crainte de répercussions. Mais le processus n’est bien sûr pas infaillible. « Les jeunes doctorants sont souvent plus critiques que les professeurs plus âgés » s’amuse Winship Herr. Plus préoccupant, le risque de relecteurs qui auraient un intérêt personnel sur la thématique de recherche, entraînant un regard partial, non objectif !

Un autre défaut possible, les évaluateurs peuvent trahir des secrets des publications qu’ils évaluent en la donnant à lire à des collègues (ils seraient 11% sur 1413 spécialistes ayant répondu à une enquête) ou en s’inspirant pour leurs propres travaux (2% des répondants).

Plus stratège, un chercheur sud-coréen, spécialisé dans les plantes, a suggéré un réseau d’évaluateurs pour ses travaux, de faux-experts dont les adresses e-mail fournies arrivent à son domicile, lui permettant de devenir son propre relecteur ! Son forfait découvert en 2012, 28 de ses articles ont dû être retirés de la littérature scientifique.

Ce type de fraude est même parfois institutionnalisé. L’entreprise pharmaceutique allemande Merck s’est ainsi fait prendre la main dans le sac en 2009. Elle avait acquis plusieurs revues scientifiques qui publiaient sans filtre de articles positifs concernant ses propres médicaments. Elle profitait ainsi de l’apparence de l’autorité scientifique qui facilitait grandement leur homologation.

Limites du système

Face à de telles limites, la communauté scientifique tente d’améliorer le système. Par exemple, davantage d’anonymat et travail en « double aveugle » des évaluateurs. Ils ne connaîtraient pas les auteurs des manuscrits. Ceci les obligeant à être plus objectifs. Car la réputation des auteurs peut influencer davantage leur évaluation que la lecture attentive de leur article !

Autre hypothèse, les revues scientifiques perdraient leur exclusivité. La publication, grâce au web, serait soumise aux commentaires et aux interactions entre spécialistes. Jon Tennant, un paléontologue, fait une telle proposition car il participe avec la plate-forme Web ScienceOpen à ce type de fonctionnement.

De nombreux chercheurs ont choisi eux de mettre en ligne une version préliminaire « preprints » de leurs articles de recherche non encore soumise à une revue à comité de lecture. Une charte encourage en France les biologistes à recourir à ce système déjà largement adopté par la communauté des mathématiciens et des physiciens… D’autres sites, comme PubPeer, permettent de commenter ces « preprints » ou des articles déjà publiés.

Mais un « hic » subsiste : quelque soit le système, il est difficile de trouver des relecteurs qui ont le temps, les compétences et l’envie de faire ce travail chronophage et peu gratifiant. Pour Jon Tennant, « Il n’y aura jamais une seule façon de faire de la relecture par les pairs, d’autant plus que le web permet tellement d’innovations ! Dans tous les cas, le système vers lequel nous nous dirigeons devra reconnaître la valeur de la recherche elle-même, plutôt que le fait qu’elle a été publiée dans un journal réputé ».

 Source Frédéric Schutz (Le Temps) et D.L.

 Les effets pervers de l’impératif de productivité scientifique

 Septembre 2017. Un auteur d’une étude publiée dans la revue Cell conteste la décision du journal de retirer son article suite à l’impossibilité de reproduire les résultats. L’Afrique du Sud réalise qu’elle a dépensé des millions de dollars pour publier les travaux de ses chercheurs dans des revues, qui se révèlent être des journaux prédateurs, c’est-à-dire sans évaluation rigoureuse des articles. Les Annals of Surgery publient par inadvertance un article refusé et mettent deux ans à le retirer de leur collection. La revue Science diffuse un avertissement indiquant qu’une enquête est en cours sur un article, deux jours après sa publication, suite à des doutes sur les données fournies par l’équipe. Sa concurrente Nature reconnaît, dans un éditorial qu’un de ses précédents éditos est « faux » et que la revue « n’avait pas réalisé à quel point il pouvait être néfaste ». Le Chinois Lu Jinkui a été renvoyé de son université, l’East China Normal University à Shangaï, pour avoir leurré le journal dans lequel il publiait, et évalué lui-même son propre travail.

Tous ces « faits divers » scientifiques sont tirés du site Retraction Watch, qui depuis 2010, s’intéresse aux articles retirés par les revues et aux à-côtés du système de publication. Ils pourraient rendre pessimiste si, en même temps qu’ils se déroulaient, la littérature scientifique et la connaissance ne s’enrichissaient pas de dizaines de milliers d’articles hors de tout soupçon. Ils révèlent en tout cas à quel point la recherche, les chercheurs et parfois la science elle-même sont sous tension.

Epidémie de manipulation d’images, mésusage des méthodes statistiques, faible incitation à corriger les erreurs… minent la qualité des travaux. Le psychologue Chris Chambers exprime son inquiétude de voir la discipline comparée à l’alchimie comme le lancement d’un manifeste pour la science reproductible montre que les problèmes sont graves. Mais, il est frappant de voir le foisonnement de propositions pour sortir de ces écueils.

Les solutions fourmillent, attaquant tous les aspects : meilleures méthodes statistiques, guide de bonnes pratiques, charte, logiciels de détection de plagiat et de retouche d’images, évaluation à posteriori, incitation à répliquer les travaux, transparence des protocoles, ouverture des données, voire disparition des revues telles qu’on les connaît. L’élan est là, souvent porté par des jeunes chercheurs et facilité par des innovations numériques. Reste à le relayer aussi au plus haut niveau.

De la bidouille à la fraude… La pression à publier augmente le risque de mauvaises pratiques

 Copier – coller d’images, bidouillage statistique, exagération des résultats, méconnaissance des méthodes utilisées, lenteur voire refus à corriger des erreurs. Les arrières – cour des laboratoires ne sont pas toujours reluisantes.

 Septembre 2017. Un auteur d’une étude publiée dans la revue Cell conteste la décision du journal de retirer son article suite à l’impossibilité de reproduire les résultats. L’Afrique du Sud réalise qu’elle a dépensé des millions de dollars pour publier les travaux de ses chercheurs dans des revues, qui se révèlent être des journaux prédateurs, c’est-à-dire sans évaluation rigoureuse des articles. Les Annals of Surgery publient par inadvertance un article refusé et mettent deux ans à le retirer de leur collection. La revue Science diffuse un avertissement indiquant qu’une enquête est en cours sur un article, deux jours après sa publication, suite à des doutes sur les données fournies par l’équipe. Sa concurrente Nature reconnaît, dans un éditorial qu’un de ses précédents éditos est « faux » et que la revue « n’avait pas réalisé à quel point il pouvait être néfaste ». Le Chinois Lu Jinkui a été renvoyé de son université, l’East China Normal University à Shangaï, pour avoir leurré le journal dans lequel il publiait, et évalué lui-même son propre travail.

Tous ces « faits divers » scientifiques sont tirés du site Retraction Watch, qui depuis 2010, s’intéresse aux articles retirés par les revues et aux à-côtés du système de publication. Ils pourraient rendre pessimiste si, en même temps qu’ils se déroulaient, la littérature scientifique et la connaissance ne s’enrichissaient pas de dizaines de milliers d’articles hors de tout soupçon. Ils révèlent en tout cas à quel point la recherche, les chercheurs et parfois la science elle-même sont sous tension.

Ce second volet va plus loin dans la description des pratiques des chercheurs et les coulisses des laboratoires. Epidémie de manipulation d’images, mésusage des méthodes statistiques, faible incitation à corriger les erreurs… minent la qualité des travaux. Le psychologue Chris Chambers exprime son inquiétude de voir la discipline comparée à l’alchimie comme le lancement d’un manifeste pour la science reproductible montre que les problèmes sont graves. Mais, il est frappant de voir le foisonnement de propositions pour sortir de ces écueils.

Les solutions fourmillent, attaquant tous les aspects : meilleures méthodes statistiques, guide de bonnes pratiques, charte, logiciels de détection de plagiat et de retouche d’images, évaluation à posteriori, incitation à répliquer les travaux, transparence des protocoles, ouverture des données, voire disparition des revues telles qu’on les connaît. L’élan est là, souvent porté par des jeunes chercheurs et facilité par des innovations numériques. Reste à le relayer aussi au plus haut niveau.

En juin 2016, dans le journal mBio, un criblage de 20 000 articles de 40 journaux scientifiques a repéré près de 4% de problèmes avec des images présentes à l’appui des démonstrations. Le taux dépassant 12% pour un journal de l’échantillon. Les « erreurs » allaient de la simple duplication de parties d’images à la retouche frauduleuse en passant par le repositionnement ou l’inversion de certaines parties.

On note l’absence de réactions des auteurs ou des journaux qui publient les articles litigieux. Par exemple, Elisabeth Bik estime avoir signalé plus de 800 cas qui ont conduit simplement à une trentaine de retraits, et « dans la grande majorité des cas, je n’ai pas eu de réponses » !

Elle explique ces pratiques en évoquant « l’erreur, le manque de temps pour faire des expériences de contrôle, la précipitation à publier ou l’envie de cacher des choses… y compris des récidivistes, preuve de dysfonctionnements plus graves. »

Les chercheurs savent aussi s’arranger avec les statistiques, l’outil qui leur sert à analyser leurs résultats leur permet surtout de « clamer une découverte » ! Alors que l’absence fait rarement l’objet de publication… Plus de 70 chercheurs ont appelé dans Nature Human Behaviour à « redéfinir la signification statistique » car, pour eux, « les standards pour revendiquer une découverte sont tout simplement trop bas dans beaucoup de domaines de la science ». Dans certains domaines, des seuils autrement drastiques ont été pris en compte mais dans nombre d’autres ce n’est toujours pas le cas !

Bertrand Thirion, spécialiste en neurosciences à l’Inria, considère ; « Ce n’est pas de la triche délibérée mais, comme les chercheurs ont fourni beaucoup d’efforts pour faire les expériences, ils veulent trouver quelque chose et font « vibrer » les méthodes ». (source David Larousserie)

Reproductibilité en crise

 Il y a péril en la demeure. Le « système immunitaire de la science » connaît des ratés – Christophe Chambers dans son livre « Les sept péchés mortels de la psychologie » Princeton University Press). Le non savant de cette défense est « reproductibilité », c’est-à-dire la possibilité, c’est-à-dire la possibilité de refaire et confirmer une expérience. « La reproductibilité et la réplication sont les pierres angulaires de la science. Sans elles, nous n’avons aucun moyen de savoir quelles découvertes sont vraies et lesquelles sont causées par le jeu du hasard, de l’erreur ou de la fraude, précise Chris Chambers, de l’Université de Cardiff. On ne vole pas dans un avion qui n’a pas été rigoureusement testé, encore et encore. Il en va de même pour toutes les branches de la science. »

 En 2014, devant l’impossibilité de plusieurs laboratoires à répéter un protocole prétendant obtenir des cellules souches pluripotentes, l’équipe japonaise qui avait clamé la découverte dans Nature est contrainte d’avouer qu’elle a fraudé… De nombreuses expériences de réplication ont depuis été conduites montrant l’ampleur de la défaillance du système… Nature en mai 2016 publiait un sondage dévastateur : 70% des 1576 répondants déclarent avoir échoué à reproduire un résultat et même 50% à refaire leur propre expérience !

L’heure est grave. En janvier 2017, dix auteurs signent un « Manifeste pour la science reproductible », dans Nature Human Behaviour, appelant à plus de rigueur dans les méthodes, les comptes rendus et l’évaluation de la recherche. Et la crise touche largement au-delà de la psychologie et de l’oncologie mais aussi, par exemple, l’imagerie cérébrale par IRM fonctionnelle, la chimie… Les revues scientifiques ne sont en effet pas promptes à corriger les erreurs publiées, qui entament leur réputation.

Chris Chambers estime que le public a le droit de fonder sa confiance en la science sur la réalité et non sur la fiction…  Si la science est, à ses yeux, sans aucun doute le meilleur moyen de découvrir la vérité sur le monde et de prendre des décisions rationnelles, « cela ne veut pas dire qu’elle ne peut pas être améliorée. Nous devons trouver des solutions pratiques à ses défauts »

Il faudrait plus de transparence, relever les exigences en matière de rigueur statistique… Mais il y a encore des freins face à cette ouverture… « Pour certains, les données c’est le pouvoir. Pour d’autres, c’est la peur qu’on trouve des défauts dans leur travail », regrette en substance Bertrand Thirion qui rappelle… « Mais, justement, c’est bien de trouver des erreurs, pour pouvoir les corriger ! »… Autre idée, défendue par provocation par John Ioannidis en 2014 : sortir des « incitations » à publier à outrance afin de promouvoir les études de réplication, le partage des données…

Et Chris Chambers de conclure… « Nous avons la lourde responsabilité publique de veiller à ce que la prochaine génération de scientifiques ne souffre pas des problèmes de ma génération. Ce n’est que lorsque la science est aussi ouverte et solide que possible qu’elle peut apporter le maximum d’avantages à l’humanité ».

Les animateurs Brandon Stell et Boris Barbour du site PubPeer plaident pour une évaluation des articles par la communauté scientifique à travers leur libre diffusion en ligne. Ils sont tous deux des neuroscientifiques au CNRS, respectivement à l’Université Paris-Descartes et à l’Ecole Normale Supérieure à Paris.

PubPeer permet à la communauté scientifique de commenter anonymement des articles déjà publiés. Le site, vu 300 000 fois par mois, comporte désormais 18 170 articles publiés dans 3221 journaux, enrichis de plus de 56 000 commentaires.

Ils tentent d’inverser le processus – publier d’abord et discuter après. Tous les commentaires et avis d’experts sont censés alimenter une base de données permettant de se faire une opinion sur un article et d’en découvrir de nouveaux, grâce à des algorithmes de recommandations, des alertes automatiques…

La multiplication rapide et interactive des commentaires devrait clarifier les idées mieux que le système de publication actuelle. Encore faut-il inciter les chercheurs à faire des commentaires. Après tout, selon les deux animateurs, « ils font déjà un travail gratuit pour la revue des articles que les journaux leur envoient. » Tout cela doit nous amener vers un système où on se focalise à nouveau sur la substance des travaux, où la publication n’est que le début de l’évaluation, et où les chercheurs reprennent le pouvoir sur leur métier.

Source… Sciences éléments (cf Le Monde 2 suppléments sur la science « Publier ou périr ». Malédiction pour la recherche / La science poussée à la faute (27.09/ 04.10). Supplément du Monde avec la collaboration du Temps

Articles similaires

Pas de commentaire

Commenter

Votre adresse mail ne sera pas publiée.