Le rejet fait partie du fonctionnement normal de l’édition scientifique. Une décision aux conséquences scientifiques et professionnelles majeures doit toutefois identifier les erreurs, appliquer des critères stables et rester ouverte à l’audit. Or les données disponibles décrivent une évaluation encore peu reproductible et sensible à des facteurs étrangers au contenu scientifique.
Julien Riposo, CEO et Fondateur de J.R. Enterprise
La critique du fonctionnement actuel du peer review part d’un principe simple : toute recherche sérieuse doit être examinée, discutée et, lorsque cela est nécessaire, corrigée. Les évaluateurs accomplissent souvent un travail considérable, dans des délais contraints et généralement sans rémunération directe.
L’évaluation par les pairs peut effectivement améliorer les manuscrits. Une étude portant sur 27 467 soumissions adressées à quatre revues de la Royal Society a notamment observé une augmentation du contenu statistique des articles au cours du processus d’évaluation [1]. La portée de ce résultat reste circonscrite : certains rapports apportent peu, tandis que certaines modifications peuvent même affaiblir un texte. L’étude confirme néanmoins que le peer review peut produire des améliorations tangibles.
La difficulté centrale concerne le contrôle de cette institution. Une procédure peut être utile tout en demeurant insuffisamment encadrée. Elle peut produire de bonnes décisions dans de nombreux cas et commettre ailleurs des erreurs graves. Surtout, elle peut exercer un pouvoir considérable sans rendre ce pouvoir scientifiquement intelligible.
Distinguer la sélection éditoriale du jugement scientifique
Une revue possède évidemment le droit de sélectionner les textes qu’elle publie. Elle peut considérer qu’un article correspond mal à son lectorat, à son positionnement ou à ses priorités. La publication dans une revue déterminée relève d’une sélection éditoriale, jamais d’un droit acquis.
Deux questions distinctes doivent cependant être examinées.
La première concerne la valeur scientifique du manuscrit : le raisonnement est-il valide ? Les méthodes sont-elles appropriées ? Les données soutiennent-elles les conclusions ? Le théorème est-il correctement démontré ? La contribution est-elle réellement nouvelle ?
La seconde concerne la politique éditoriale : l’article correspond-il au positionnement de la revue ? Le sujet intéressera-t-il son lectorat ? S’accorde-t-il avec ses priorités du moment ? Les éditeurs souhaitent-ils lui consacrer de l’espace et du temps ?
Ces deux jugements sont légitimes et répondent à des logiques différentes. Le premier porte sur la validité et la portée du travail. Le second porte sur sa place dans une publication donnée.
Une formule telle que « le manuscrit ne présente pas un intérêt suffisant pour notre revue » peut justifier une décision éditoriale. Toute conclusion relative à la fausseté, à la faiblesse ou à l’insignifiance scientifique du travail exige en revanche des arguments supplémentaires.
Cette distinction apparaît avec une netteté particulière en mathématiques. Lorsqu’un évaluateur affirme qu’un résultat est invalide, il devrait identifier une implication incorrecte, une hypothèse manquante, un contre-exemple, une circularité ou une lacune précise dans la démonstration. Sans objection de cette nature, la décision demeure éditoriale et sa portée réfutative est nulle.
Or les lettres de décision mélangent fréquemment exactitude, nouveauté, importance, adéquation éditoriale et impression générale dans un verdict unique. Le vocabulaire de la science confère alors une autorité épistémique à ce qui relève parfois principalement d’une préférence éditoriale.
Une cohérence insuffisante entre évaluateurs
Une évaluation scientifique gagne en crédibilité lorsque différents experts aboutissent à des diagnostics comparables. Deux spécialistes compétents peuvent naturellement diverger sur l’importance d’un résultat, sur l’élégance d’une démonstration ou sur la portée d’une contribution. Une forte dépendance à l’identité des évaluateurs réduit toutefois la stabilité et la valeur informative du verdict.
Une méta-analyse consacrée à la fiabilité interévaluateurs a regroupé 48 études portant sur plus de 19 000 manuscrits. Elle a estimé le coefficient κ de Cohen moyen à environ 0,17 et la corrélation intraclasse moyenne à environ 0,34 [2]. Selon les conventions usuelles, ces valeurs correspondent respectivement à un accord faible et à une fiabilité limitée.
Ces chiffres révèlent qu’un même travail peut recevoir des appréciations sensiblement différentes selon les experts sélectionnés.
Une expérimentation menée en 2024 dans 23 revues d’Elsevier illustre l’intérêt d’une évaluation davantage structurée. Sur 107 manuscrits examinés par deux évaluateurs, l’accord exact concernant la recommandation finale atteignait 41 %, contre 31 % historiquement dans les mêmes revues [3].
L’étude n’était pas randomisée et ses auteurs appellent eux-mêmes à la prudence. Elle fait néanmoins apparaître deux constats. La structuration des rapports peut améliorer la cohérence. Malgré cette amélioration, les évaluateurs formulaient encore la même recommandation finale dans moins d’un cas sur deux.
L’expertise demeure indispensable, mais elle opère dans un cadre aux critères souvent trop peu spécifiés. Le choix des évaluateurs peut ainsi peser lourdement sur le destin d’un manuscrit.
Une procédure scientifique dont l’issue varierait aussi fortement selon l’opérateur ferait rapidement l’objet d’une révision méthodologique. Le système chargé d’imposer cette exigence aux chercheurs devrait se l’appliquer à lui-même.
La signature modifie le jugement porté sur un contenu identique
Les effets de réputation ont été mis en évidence par plusieurs expériences contrôlées.
En 2022, une expérience de terrain préenregistrée a soumis le même manuscrit à des évaluateurs potentiels en modifiant uniquement l’information relative à l’auteur. Selon les groupes, le texte était présenté sous le nom d’un lauréat du prix Nobel, anonymement ou sous le nom d’un chercheur peu connu.
La proportion de recommandations de rejet était de 23 % lorsque le nom du prix Nobel était visible, de 48 % lorsque le texte était anonyme et de 65 % lorsqu’il était attribué au chercheur peu connu. Plus de 20 % des évaluateurs recommandaient l’acceptation directe lorsque le nom prestigieux apparaissait, contre moins de 2 % dans les autres conditions [4].
La portée externe de cette expérience reste limitée à un manuscrit et à un domaine déterminés. Son protocole contrôlé établit toutefois un point difficilement contestable : dans certaines circonstances, la signature modifie substantiellement l’évaluation d’un contenu pourtant identique.
Une autre étude, menée sur 500 articles soumis à une conférence internationale d’informatique, a comparé des évaluations simples et doublement anonymisées. Lorsque l’identité des auteurs était connue, les évaluateurs favorisaient davantage les travaux associés à des auteurs célèbres ou à des institutions prestigieuses [5]. La réputation intervenait donc dans un jugement supposé porter sur le manuscrit.
Le parcours antérieur d’un chercheur peut fournir une information contextuelle pertinente. Cette information doit cependant rester distincte de l’examen du raisonnement présent. Dans le cas contraire, le prestige devient cumulatif : les auteurs déjà reconnus obtiennent plus facilement une appréciation favorable, laquelle renforce ensuite leur reconnaissance future.
Le processus académique risque alors de reproduire les hiérarchies qu’il prétend mesurer.
Le sens du résultat influence également le verdict
D’autres facteurs extérieurs à la qualité méthodologique peuvent modifier l’évaluation.
Une expérience randomisée publiée en 2010 a présenté à 210 évaluateurs deux versions d’un essai clinique fabriqué. Les manuscrits étaient pratiquement identiques, à une différence près : l’un rapportait un résultat positif, tandis que l’autre concluait à l’absence de différence entre les groupes.
La version positive a reçu une recommandation de publication dans 97,3 % des cas, contre 80 % pour la version ne montrant aucune différence significative. Plus troublant encore, les évaluateurs ont détecté davantage d’erreurs dans la version sans résultat positif et ont attribué une moins bonne note à sa méthodologie, alors que les sections méthodologiques des deux versions étaient identiques [6].
Toute généralisation à l’ensemble des disciplines serait abusive. L’expérience met toutefois clairement en évidence un mécanisme possible : un résultat plus séduisant peut améliorer rétrospectivement, dans l’esprit de l’évaluateur, la perception d’une méthode pourtant inchangée.
Le pouvoir intellectuel, narratif ou éditorial de la conclusion contamine alors l’évaluation du protocole qui l’a produite.
Ce phénomène soulève une difficulté fondamentale. La qualité d’une recherche devrait dépendre de la pertinence de sa question, de la rigueur de sa méthode et de la validité de son raisonnement, plutôt que du caractère spectaculaire de son résultat.
Le filtrage éditorial peut manquer les travaux les plus influents
Le filtrage initial est généralement défendu par un argument pragmatique. Les revues les plus prestigieuses reçoivent trop de manuscrits pour organiser une évaluation externe complète de chaque soumission. Leurs éditeurs doivent donc identifier rapidement les travaux les plus prometteurs.
Les données imposent cependant une appréciation nuancée de cette capacité de sélection.
Une étude a suivi 1 008 manuscrits soumis à trois grandes revues médicales : Annals of Internal Medicine, le British Medical Journal et The Lancet. En moyenne, les appréciations éditoriales et celles des évaluateurs présentaient une certaine capacité à anticiper l’influence ultérieure des articles. Le filtrage contenait donc une information réelle, quoique très imparfaite.
Les erreurs situées dans la partie extrême de la distribution restent néanmoins remarquables. Parmi les 808 manuscrits finalement publiés, les quatorze articles les plus cités avaient tous été rejetés par les revues étudiées ; douze avaient été écartés directement par les éditeurs, avant toute évaluation externe [7].
Le nombre de citations constitue un indicateur d’influence, et non une mesure directe de vérité ou de qualité intrinsèque. Un travail peut être très cité en raison de son caractère controversé, erroné ou simplement conforme aux préoccupations du moment.
La conclusion essentielle de cette étude porte donc sur la capacité de détection du système : les institutions les plus sélectives peuvent échouer à reconnaître les travaux qui exerceront ensuite la plus forte influence.
La relation entre nouveauté et acceptation apparaît également plus complexe qu’un simple rejet systématique de l’originalité. Une analyse portant sur 49 revues de sciences physiques et du vivant a conclu que les manuscrits les plus novateurs étaient, en moyenne, davantage susceptibles d’être acceptés, notamment lorsque leur nouveauté demeurait intelligiblement reliée aux connaissances existantes [8].
Les effets de la nouveauté sont donc contextuels. Une contribution peut être favorisée pour son originalité dans un environnement donné et écartée comme trop atypique dans un autre.
Le système résulte d’une combinaison variable d’effets de prestige, de discipline, de cadrage, de résultat, de réputation, de sélection éditoriale et de jugement individuel. Cette variabilité rend l’opacité particulièrement problématique.
Le prestige éditorial fournit un signal, jamais une démonstration
Un article publié dans Nature, Science ou Cell a franchi une procédure particulièrement sélective. Cette sélection fournit une information utile et peut raisonnablement modifier notre appréciation initiale du travail.
Sa portée reste toutefois limitée. Elle atteste le franchissement de plusieurs filtres éditoriaux et scientifiques, sans établir la vérité du résultat ni son caractère exceptionnel.
Le nom de la revue agit comme un signal imparfait. En termes plus formels, il ne constitue pas une statistique suffisante de la qualité scientifique. L’évaluation d’un article exige toujours l’examen de ses hypothèses, de ses méthodes, de ses données, de ses démonstrations et de la portée exacte de ses conclusions.
Symétriquement, le rejet par une revue prestigieuse indique seulement qu’à un moment donné, selon certains évaluateurs et certains critères éditoriaux, le manuscrit n’a pas été sélectionné. Ce rejet ne constitue aucune mesure générale et définitive de sa valeur scientifique.
Le système académique transforme pourtant couramment ces décisions locales en hiérarchies globales. Le titre de la revue intervient dans les recrutements, les promotions, les financements, les invitations et la couverture médiatique.
La publication remplit ainsi deux fonctions simultanées : diffuser les connaissances et certifier les carrières. Ces deux fonctions créent des incitations qui ne s’alignent pas toujours sur la recherche de la vérité [9].
Un mécanisme éditorial imparfait devient alors un instrument institutionnel de mesure. Cette transformation donne à ses faiblesses des conséquences considérables.
L’opacité constitue le problème central
Toute procédure humaine comporte une part d’erreur. Les évaluateurs peuvent se tromper de bonne foi, mal maîtriser un aspect du manuscrit ou interpréter différemment la portée d’un résultat. L’infaillibilité représente un objectif irréaliste.
La traçabilité du raisonnement constitue en revanche une exigence parfaitement légitime.
L’anonymat de l’évaluateur et le secret de son argumentation répondent à deux questions distinctes. Un rapport peut être rendu public tout en maintenant l’identité de son auteur confidentielle. La protection personnelle peut favoriser la liberté de critique ; la publicité des raisons demeure une exigence indépendante.
Une expérience randomisée menée au British Medical Journal a constaté une qualité comparable des rapports lorsque les évaluateurs étaient invités à révéler leur identité. Cette transparence augmentait toutefois d’environ 12 % la probabilité qu’ils refusent la mission [10].
Cette observation invite à distinguer la publicité des arguments de celle des personnes. L’anonymat des évaluateurs peut être préservé, tandis que leurs raisonnements, les réponses des auteurs et les motifs de la décision deviennent accessibles.
Lorsqu’un manuscrit rejeté est envoyé ailleurs, les rapports précédents sont généralement perdus pour la communauté scientifique. D’autres évaluateurs recommencent le même travail. Les décisions contradictoires restent invisibles. Les critères appliqués par les éditeurs échappent à toute comparaison. Les erreurs produisent très peu de données institutionnelles exploitables.
La science exige des chercheurs des méthodes explicites, des données traçables, des hypothèses contestables et des conclusions révisables. Les institutions chargées de les juger doivent se soumettre aux mêmes principes.
Organiser une évaluation plus transparente et plus responsable
Plusieurs modèles ont déjà été proposés, expérimentés ou mis en œuvre : rapports structurés, évaluation ouverte, transfert des rapports, procédures d’appel, anonymisation renforcée ou examen préalable des protocoles [11]. La réforme dispose donc de précédents concrets.
La première mesure devrait séparer explicitement la validité scientifique de la priorité éditoriale. Toute décision pourrait comporter deux évaluations distinctes : d’une part, la solidité du travail ; d’autre part, son adéquation avec la stratégie de la revue.
Un manuscrit pourrait ainsi être reconnu comme techniquement valide tout en étant refusé pour des raisons éditoriales. Cette distinction empêcherait qu’un choix de programmation soit présenté comme un verdict sur la valeur scientifique.
Les rapports devraient ensuite être structurés. Toute objection majeure devrait préciser le passage concerné, la nature du problème, son degré de gravité et les conditions permettant de le résoudre. Une affirmation générale telle que « la contribution n’est pas suffisamment convaincante » devrait être considérée comme insuffisante lorsqu’elle ne s’accompagne d’aucune analyse précise.
Le double anonymat devrait être privilégié lorsque sa mise en œuvre est praticable. L’anonymisation restera imparfaite, notamment dans les domaines très spécialisés où les auteurs peuvent être identifiés indirectement. Une protection partielle demeure néanmoins préférable à l’intégration officielle de la réputation dans le dossier soumis aux évaluateurs.
Les rapports, les réponses des auteurs et les lettres de décision devraient pouvoir être publiés avec le manuscrit, y compris lorsque l’identité des évaluateurs demeure masquée. Le lecteur pourrait alors distinguer les objections formulées, les corrections apportées et les désaccords encore ouverts.
Les évaluations devraient également devenir transférables. Avec l’accord des auteurs, un dossier de peer review pourrait suivre le manuscrit d’une revue à l’autre. Cette portabilité réduirait le travail redondant et permettrait au nouvel éditeur de comprendre l’historique scientifique du texte, sans l’obliger à reprendre les recommandations précédentes.
Une procédure d’appel indépendante devrait être ouverte lorsqu’un auteur identifie une erreur factuelle, mathématique ou méthodologique précise dans la décision. Son champ serait circonscrit aux objections vérifiables, afin d’éviter une contestation indéfinie de toute décision éditoriale.
Toute institution scientifique doit disposer d’un mécanisme capable de corriger ses propres erreurs.
Dans les sciences empiriques, les Registered Reports constituent déjà une réforme importante. Le protocole, les hypothèses et le plan d’analyse sont évalués avant l’obtention des résultats. Une acceptation de principe engage ensuite la revue à publier l’étude lorsque le protocole est respecté, indépendamment du caractère positif, négatif ou spectaculaire des résultats. Plusieurs revues du groupe Nature appliquent désormais ce modèle [12].
Dans les disciplines fondées sur la démonstration, les rapports devraient au minimum distinguer quatre diagnostics : résultat incorrect, démonstration incomplète, contribution non nouvelle ou exposition insuffisante pour permettre la vérification. Chacune de ces situations exige une réponse spécifique.
Enfin, la publication doit devenir une étape du processus d’évaluation, prolongée par les commentaires postérieurs, les réplications, les corrections et les versions révisées. La date d’acceptation ne saurait constituer le terme définitif de la discussion scientifique.
La science exige des décisions contrôlables
L’objectif consiste à soumettre le peer review aux principes qu’il prétend défendre.
Un système scientifique cohérent doit appuyer ses verdicts sur des raisons explicites, mesurer la reproductibilité de ses procédures et ouvrir ses décisions à l’audit. Il doit également distinguer les erreurs démontrées, les désaccords interprétatifs et les préférences éditoriales.
Ma confiance dans la méthode scientifique demeure intacte. Elle repose sur la confrontation rationnelle des hypothèses au réel, des démonstrations à la logique et des conclusions à la critique.
Ma confiance dans certaines institutions chargées d’évaluer la recherche, de la sélectionner et de lui attribuer sa valeur publique s’érode en revanche profondément.
Cette érosion devrait nous alerter. Lorsque les décisions éditoriales opaques deviennent des instruments de classement des chercheurs, des laboratoires et des idées, les dysfonctionnements de l’évaluation affectent directement la production des connaissances.
La faillibilité des évaluateurs est inévitable. Une institution scientifique responsable doit rendre cette faillibilité visible, contestable et corrigible.
L’autorité du peer review doit reposer sur des raisons intelligibles, publiques et révisables.
Références
[1] D. García-Costa, A. Forte, E. López-Iñesta, F. Squazzoni et F. Grimaldo, « Does peer review improve the statistical content of manuscripts? A study on 27,467 submissions to four journals », Royal Society Open Science, 2022.
[2] L. Bornmann, R. Mutz et H.-D. Daniel, « A Reliability-Generalization Study of Journal Peer Reviews: A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants », PLOS ONE, 2010.
[3] M. Malički et B. Mehmani, « Structured peer review: pilot results from 23 Elsevier journals », PeerJ, 2024.
[4] J. Huber, S. Inoua, R. Kerschbamer, C. König-Kersting, S. Palan et V. L. Smith, « Nobel and novice: Author prominence affects peer review », Proceedings of the National Academy of Sciences, 2022.
[5] A. Tomkins, M. Zhang et W. D. Heavlin, « Reviewer bias in single- versus double-blind peer review », Proceedings of the National Academy of Sciences, 2017.
[6] G. B. Emerson et al., « Testing for the Presence of Positive-Outcome Bias in Peer Review: A Randomized Controlled Trial », Archives of Internal Medicine, 2010.
[7] K. Siler, K. Lee et L. Bero, « Measuring the effectiveness of scientific gatekeeping », Proceedings of the National Academy of Sciences, 2015.
[8] M. Teplitskiy, H. Peng, A. Blasco et K. R. Lakhani, « Is novel research worth doing? Evidence from peer review at 49 journals », Proceedings of the National Academy of Sciences, 2022.
[9] J. S. Trueblood et al., « The misalignment of incentives in academic publishing and implications for journal reform », Proceedings of the National Academy of Sciences, 2025.
[10] S. van Rooyen et al., « Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial », British Medical Journal, 1999.
[11] B. Aczel et al., « The present and future of peer review: Ideas, interventions, and evidence », Proceedings of the National Academy of Sciences, 2025.
[12] Nature Portfolio, « Registered Reports », politique éditoriale relative aux protocoles évalués avant l’obtention des résultats.
