Totem de l’évaluation, tabou de la mesure

  • par Enka Blanchard, CNRS, et Zacharie Boubli, CNAM

Le renforcement du discours de l’urgence dans nos sociétés accroît la mise sous tension de la recherche. Elle fait l’objet d’attentes croissantes, parmi lesquelles se distingue une demande de productivité. Celle-ci postule d’une part la mesurabilité de la productivité scientifique et d’autre part la capacité des politiques publiques à moduler celle-ci de manière efficace et efficiente. Dans un article publié dans Questions de Communication 42 (2022), nous proposons une critique de ces postulats fondée sur des études empiriques provenant de multiples domaines et analysant l’organisation de la recherche dans des champs variés. Le constat d’une efficacité douteuse des politiques de recherche contemporaines nous amène à proposer l’explication d’un fondement culturel et idéologique à cet état de fait, tout en offrant des pistes pour en sortir. Afin de faciliter la diffusion de ces analyses au-delà d’un cercle restreint composé principalement de spécialistes, nous reproduisons ici nos principaux arguments en laissant de côté certaines considérations techniques présentes dans l’article original en accès ouvert...


L’urgence, ou plutôt sa perception bien ou mal fondée, créée des oeillères collectives qui privilégient la résolution immédiate d’une situation anormale, confondant parfois symptôme conjoncturel et cause structurelle. Dans le cas de la crise du Covid-19, nos sociétés technophiles ont attendu une solution aussi rapide que possible et la circonspection nécessaire à la recherche, déjà fragilisée par des scandales méthodologiques, est ainsi venue nourrir une défiance du public envers les chercheurs. Soupçonnés de vanité personnelle, de biais idéologique ou d’intérêt caché, les enseignant·es-chercheur·ses (EC) doivent justifier leurs recherches auprès de la société.

Demande citoyenne de transparence scientifique

Cette demande sociale légitime de transparence s’est traduite dans le renforcement des cadres de déontologie et d’intégrité scientifique. Mais une réflexion sur les cadres sociaux de la recherche scientifique ne peut ignorer une tendance bien plus lourde, celle du désengagement de la puissance publique des politiques de recherche. Scrutée au sujet de son intégrité, la recherche l’est aussi par la logique de l’évaluation. La réduction tendancielle des moyens de la recherche s’est en effet accompagnée de la création d’instruments raffinés d’évaluation de ses résultats, dans une démarche de rationalisation autojustifiante d’un système élitiste, qui limite sciemment le nombre de postes stables et engage les EC dans une compétition permanente considérée comme saine. Les EC occupent une part croissante de leur temps à satisfaire des indicateurs de productivité, mais cela ne serait que le prix à payer pour s’assurer que les moyens alloués à la recherche soient efficients.

Cet article se propose d’analyser les fondements de ces logiques organisationnelles à l’aune du but qu’elles sont supposées servir (la productivité qualitative et quantitative de la recherche). Il nous semble alors que le paradigme contemporain repose sur trois fondements :

  • La productivité des EC est mesurable.
  • Les politiques publiques de compétition peuvent augmenter la productivité scientifique.
  • Les gains de productivité permis par les politiques d’optimisation compensent le coût de ces politiques.

Le fétichisme des indicateurs

La productivité de la recherche est elle mesurable ?

Cette problématique est celle des objets, des méthodes et des échelles de l’évaluation de la production scientifique, puis celle de ses conséquences.

https://www.flickr.com/photos/wallsdontlie/25671143301/in/photolist-F7tjwZ-dHWQ8z-VeHCVz-7fmpmY-7fmnJA-7fhvbx-7fmoCE-7fmnMA-7fhuTz-Ewqms-c9h4Fh-2ime4XA-erPLKf-7fmsfh-F9aDao-2ndUW4b-2hRe5Dj-AfcGQs-AVRrCf-aFLS6B-JESUJH-2nUC6Un-9g8FG9-7fhxVV-2a6NGSY-qjr2uT-q6KBxo-pRRxZa-efrQWK-9u3BNU-pyu44M-ovQaTu-7fhoEt-6Wajen-2jSNDs-dVecPd-EivBq2-6ZgaSB-3kPzNM-22kAHjK-7fhw3p-7fmpyw-7fmozU-7fmspj-7fmoG9-7fhvjP-2kaDMCL-7fhvMZ-7fmpKw-7fmrxq

Crédit : wallsdontlie, 2016

Concernant les objets, on remarque que l’évaluation d’un·e EC ne comprend pas ou peu ses activités d’enseignements et de direction, souvent considérées comme des charges. Elle se concentre en fait sur les publications de cet·te EC. Nonobstant les techniques évidentes d’inflation artificielle de la quantité de publications, la qualité de celles-ci est essentiellement évaluée par d’autres indicateurs bibliométriques. Dans le meilleur des cas, ceux-ci se basent sur des méthodes d’évaluation par les pairs. Or, de nombreux travaux d’époques et de domaines différents concourent à montrer que les jugements et hiérarchisations produits de la sorte ne sont pas assez fiables pour être pris comme critère de mesure universel. Pire, la plupart des indicateurs sont soumis à un fort « effet Mathieu », qui transforme une faible différence initiale en forte différence finale.

Concrètement, un·e EC capable dès le début d’optimiser son « score » de publications recevra davantage de financements, lesquels augmentent par eux-même l’intérêt accordé à sa recherche et accroissent ses chances d’obtenir d’autres financements ultérieurs. On arrive ainsi à de multiples confirmations de la loi de Goodhart, selon laquelle « une mesure devenue un objectif est devenue une mauvaise mesure », qui se vérifie à la fois par « l’optimisation » du score et par la fraude pour le manipuler. Le souci sincère de la productivité peut ainsi se muer en fétichisme des indicateurs1.

Favoriser la productivité ?

La productivité de la recherche peut-elle être augmentée par les politiques publiques ? Si la productivité de la recherche est difficilement mesurable, peut-être est-il quand même possible de la favoriser par des politiques publiques ? Deux mécanismes sont utilisés par ces politiques, d’une part l’incitation (récompense de « bonnes performances »), d’autre part la sélection (s’assurer que seuls les meilleurs EC soient recrutés, et que les meilleurs parmis eux soient mieux financés).

Le financement compétitif de la recherche aboutit à une hyperconcentration des moyens dans les mains d’une élite de chercheurs. Or, plusieurs études cherchant à en mesurer « objectivement » la qualité montrent un rendement négatif de l’hyperconcentration des moyens au-delà d’un certain seuil (dépassé depuis longtemps en France et ailleurs). La corrélation positive entre moyens de recherche et production scientifique est ainsi prise pour mécanique et constante alors qu’elle ne l’est pas. Cet élitisme scientifique tend aussi à éteindre la diversité de la recherche, en écartant les approches minoritaires. Quant au modèle incitatif, d’autres études montrent qu’il induit un rapport dévoyé au travail et amène aux mêmes comportements de suivi de modes et de fraude favorisés par le fétichisme des mesures.

Gaspillage de temps et de ressources

Les politiques publiques sont elles efficientes ?

L’évaluation en continue des EC ainsi que l’attribution compétitive des financements et des postes a également pour résultat d’occuper une part croissante du temps et des ressources des EC. Que ce soit comme candidats ou comme évaluateurs, les EC utilisent une proportion croissante de leur temps pour justifier de leur propre financement ou de celui des autres (ce temps étant régulièrement supérieur au temps accordé à la recherche elle-même).

Des expériences multiple montrent que le coût de l’évaluation permanent est d’une ampleur telle qu’elle en devient contre-productive. Il existe cependant des pistes alternatives, telles que le financement de la recherche par loterie, la mise en place d’un guichet unique ou d’autres méthodes conçues pour éviter les effets pervers des modes d’évaluation des EC.

*
*   *

En conclusion, nous avons vu qu’aucun des trois postulats annoncés en début d’article ne reposait à la fois sur une solide base scientifique et sur une confirmation empirique : les évaluations d’articles et de projets ont une part de hasard qui est parfois totale ; il n’est nullement certain que les mécanismes sélectifs fassent émerger les « meilleurs » ; l’attribution de moyens supplémentaires à ces derniers est inefficace, voire contre-productive. Aucun indicateur fiable ne montre que les politiques élitistes et productivistes augmentent réellement la productivité, alors que leurs coûts se font de plus en plus sentir. Ces critiques ne sont pas neuves et s’accélèrent depuis plusieurs décennies alors même que les politiques productivistes se normalisent, poussées par la rhétorique de l’urgence. Il semble donc approprié de chercher des explications en dehors des considérations purement empiriques.

L’analyse des systèmes de production et des institutions et de leurs discours révèle ainsi des divergences entre les objectifs affichés et les moyens mis en œuvre pour les réaliser. Ces divergences proviennent le plus souvent de contradictions dans l’organisation du système, lesquelles reposent sur des présupposés d’ordre idéologique enracinés dans l’histoire de la modernité sociotechnique et désormais confondues avec le « bon sens ».


Article complet: Recherche et dogmatisme : de l’improductivité du productivisme, par Enka Blanchard et Zacharie Boubli, Questions de communication 42 (2022)

Sur Academia



Citer ce billet
L'équipe des rédacteurs d'Academia (2023, 10 mars). Totem de l’évaluation, tabou de la mesure. Academia. Consulté le 25 mai 2024, à l’adresse https://doi.org/10.58079/ajdo

  1. NDLR: sur Academia, voir L’église de la scientométrie, 2 avril 2021. []

Une réflexion sur « Totem de l’évaluation, tabou de la mesure »

  1. Ping : Chercheur-euse-s à l’université : une bibliographie | Une sociologue chez le coiffeur

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.