Archives par mot-clé : évaluation
Totem de l’évaluation, tabou de la mesure
- par Enka Blanchard, CNRS, et Zacharie Boubli, CNAM
Le renforcement du discours de l’urgence dans nos sociétés accroît la mise sous tension de la recherche. Elle fait l’objet d’attentes croissantes, parmi lesquelles se distingue une demande de productivité. Celle-ci postule d’une part la mesurabilité de la productivité scientifique et d’autre part la capacité des politiques publiques à moduler celle-ci de manière efficace et efficiente. Dans un article publié dans Questions de Communication 42 (2022), nous proposons une critique de ces postulats fondée sur des études empiriques provenant de multiples domaines et analysant l’organisation de la recherche dans des champs variés. Le constat d’une efficacité douteuse des politiques de recherche contemporaines nous amène à proposer l’explication d’un fondement culturel et idéologique à cet état de fait, tout en offrant des pistes pour en sortir. Afin de faciliter la diffusion de ces analyses au-delà d’un cercle restreint composé principalement de spécialistes, nous reproduisons ici nos principaux arguments en laissant de côté certaines considérations techniques présentes dans l’article original en accès ouvert...
L’urgence, ou plutôt sa perception bien ou mal fondée, créée des oeillères collectives qui privilégient la résolution immédiate d’une situation anormale, confondant parfois symptôme conjoncturel et cause structurelle. Dans le cas de la crise du Covid-19, nos sociétés technophiles ont attendu une solution aussi rapide que possible et la circonspection nécessaire à la recherche, déjà fragilisée par des scandales méthodologiques, est ainsi venue nourrir une défiance du public envers les chercheurs. Soupçonnés de vanité personnelle, de biais idéologique ou d’intérêt caché, les enseignant·es-chercheur·ses (EC) doivent justifier leurs recherches auprès de la société.
Demande citoyenne de transparence scientifique
Cette demande sociale légitime de transparence s’est traduite dans le renforcement des cadres de déontologie et d’intégrité scientifique. Mais une réflexion sur les cadres sociaux de la recherche scientifique ne peut ignorer une tendance bien plus lourde, celle du désengagement de la puissance publique des politiques de recherche. Scrutée au sujet de son intégrité, la recherche l’est aussi par la logique de l’évaluation. La réduction tendancielle des moyens de la recherche s’est en effet accompagnée de la création d’instruments raffinés d’évaluation de ses résultats, dans une démarche de rationalisation autojustifiante d’un système élitiste, qui limite sciemment le nombre de postes stables et engage les EC dans une compétition permanente considérée comme saine. Les EC occupent une part croissante de leur temps à satisfaire des indicateurs de productivité, mais cela ne serait que le prix à payer pour s’assurer que les moyens alloués à la recherche soient efficients.
Cet article se propose d’analyser les fondements de ces logiques organisationnelles à l’aune du but qu’elles sont supposées servir (la productivité qualitative et quantitative de la recherche). Il nous semble alors que le paradigme contemporain repose sur trois fondements :
- La productivité des EC est mesurable.
- Les politiques publiques de compétition peuvent augmenter la productivité scientifique.
- Les gains de productivité permis par les politiques d’optimisation compensent le coût de ces politiques.
Le fétichisme des indicateurs
La productivité de la recherche est elle mesurable ?
Cette problématique est celle des objets, des méthodes et des échelles de l’évaluation de la production scientifique, puis celle de ses conséquences.
Qui veut la peau de la Commission d’Évaluation de l’Inria ? (II)
Ceci est le 2e billet de la série “Qui veut la peau de la Commission d’Évaluation de l’Inria ?”.
EDIT 10/01/2023 -> rajout de la recommandation 13 du rapport de la mission dans l’épilogue.
EDIT 04/03/2023 -> Lettre du président du collège de déontologie du ministère au SNCS est disponible (et jointe)
Si il y a eu des situations de conflit d’intérêts qui ont mené au déclassement d’un ou d’une candidat·e : pourquoi nommer une “mission” et non une commission d’enquête ? Quel est son rôle ? Si il y a un problème sur les gestions des Conflits d’Intérêts dans certains processus, pourquoi ne pas alerter pour changer cette gestion ? |
Le vrai, le bien et le néant
Au souhait de remise en cause de l’indépendance et du fonctionnement de la Commission d’évaluation (CE). Communiqué de l’intersyndicale INRIA, 20 septembre 2022
Sur Academia
HCERES : vague C, vague scélérate
Les marins connaissent bien les vagues scélérates. Longtemps confinées au folklore marin, ces vagues monstrueuses sont aujourd’hui une réalité parfaitement démontrée et documentée, à l’origine d’un certain nombre de catastrophes maritimes sur toutes les mers et océans du monde. Une vague scélérate est définie comme une vague dont la hauteur verticale, crête à creux, est supérieure à au moins deux fois la hauteur significative des vagues. Les vagues scélérates se forment sans raison évidente au milieu des autres vagues.
Pas besoin d’être un grand marin pour saisir le parallèle frappant qui existe entre une vague scélérate et la vague C d’évaluation du HCERES qui va s’abattre d’ici quelques mois sur un grand nombre de laboratoires français. Des unités de recherche comme autant de navires déjà secoués par la houle et les vents mauvais de la loi de programmation de la recherche (LPR) dont les effets d’usure et de destruction lente commencent à se faire ressentir, même sur les coques les plus solides.
S’accordant parfaitement avec la définition d’une vague scélérate, la vague C sera ainsi deux fois plus importante que toutes les vagues passées d’évaluation puisque l’on achemine, après plusieurs mois d’errements et de tergiversation, vers une évaluation totalement disjointe des bilans et des projets des laboratoires. Pour « faire simple », le HCERES ne s’intéressera qu’à l’évaluation ex post des labos (en gros, un bilan comptable passé au crible de 57 critères d’évaluation les plus invraisemblables) ; à charge aux établissements-tutelles d’évaluer leur projet via une procédure spécifique (à construire) pour fin 2022 – début 2023…

La Grande Vague de Kanagawa, de Hokusai, vers 1830. Metropolitan Museum of Art. 「冨嶽三十六景 神奈川沖浪裏」 [Fugaku Sanjūrokkei – Kanagawa oki nami ura, « Trente-six vues du mont Fuji – Sous la vague au large de Kanagawa »]. L’auteur a sans doute voulu représenter non un tsunami, mais une “vague scélérate”.
Regard d’Australie sur les « universités entrepreneuriales »
- par Agnès Vandevelde
Un article/grand entretien vient de paraître dans la revue de l’Association internationale de sociologie Global Dialogue (n°12.1, avril 2022) sur l’évolution des universités australiennes depuis 30 ans : « Universités entrepreneuriales et injustices épistémiques. Entretien avec Jill Blackmore », par Johanna Grubner.
« Le monde universitaire et la science sont l’objet de profondes mutations liées à leur marchandisation ou quasi-marchandisation imposées par la gouvernance néolibérale »,
soulignent les rédacteurs en chef de la revue, Brigitte Aulenbacher et Klaus Dörre, ajoutant que
« Jill Blackmore décrit les profondes restructurations qu’ont connues les universités australiennes au cours des dernières décennies, ce qui les a motivées, et les effets qu’elles ont sur la production de connaissances et la justice épistémique. »
Un éclairage utile pour questionner ce qui se passe aussi ailleurs dans le monde…
La recherche comme activité coopérative, par ….
Le Hcéres doit simplifier la procédure d’évaluation des unités de recherche de la vague C. Communiqué ADL, CP-CNU, CoNRS, 21 février 2022
Le Hcéres supprime la visite sur site des unités de recherche et modifie la nature de l’évaluation et sa qualité. Communiqué SNCS
Communiqué du 29 novembre 2021 du SNCS-FSU
Le SNCS-FSU alerte la communauté scientifique : Le Hcéres supprime la visite sur site des unités de recherche et modifie la nature de l’évaluation et sa qualité
Le Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur (Hcéres) organise en cette fin d’année 2021, sur les différents sites concernés, une tournée de présentations des modalités d’évaluation de la vague C, rassemblant les unités de recherche qui seront examinées en 2022-2023. Des membres du Hcéres viennent principalement présenter les « nouvelles modalités » d’organisation de l’évaluation des unités de recherche à leurs directrices et directeurs. Sont exposés durant ces séances non seulement un « référentiel » censé servir de base à la rédaction des rapports, mais aussi une toute nouvelle procédure qui met en place des panels d’experts et supprime la visite sur site. Alors que le président du Haut conseil Thierry Coulhon s’est contenté d’une présentation au collège du Hcéres des changements qu’il voulait initier, alors qu’aucune concertation n’a eu lieu avec les organismes de recherche et les universités sur ces nouvelles modalités, alors que jusqu’ici aucune publicité n’avait été faite par le Haut conseil de ces projets, alors que le collège du Hcéres n’a encore pris aucune décision, les nouvelles modalités sont décrites aux directrices et directeurs des unités de recherche comme étant d’ores et déjà entérinées. Il leur est demandé de travailler dès maintenant à la préparation de l’évaluation de leur unité en suivant ces nouvelles directives.

la page 20 du support de présentation des nouvelles modalités d’évaluation énonce « le remplacement de la visite sur site par des entretiens en visioconférence ».
Les changements que le Hcéres veut ainsi imposer sont pourtant violents et modifient profondément la nature de l’évaluation ainsi que sa qualité et son utilité potentielle. 20 panels d’experts, couvrant chacun un large domaine scientifique, seraient formés d’individus sélectionnés par un « comité scientifique » ad hoc, sans qu’on sache par qui et comment ce comité serait lui-même constitué. Ces panels examineraient tous les laboratoires du domaine. La visite sur site serait, sauf exception, supprimée et les panels et les experts se contenteraient d’auditionner à distance, en visio-conférence, les représentants des laboratoires avant de rendre leur rapport d’évaluation.
HCERES : Vague C, la jouissance bureaucratique
Dans son enseignement de la psychanalyse, le psychiatre et psychanalyste Jacques Lacan (1901-1981) a identifié sept versions de la jouissance1 : de la Chose, de l’Être, de l’Autre, de l’image du corps, de l’image phallique, la jouissance sexuelle et celle de la vie. Près de cinquante ans plus tard, une révision des fondamentaux lacaniens est en train de s’opérer sous nos yeux : les universitaires et cliniciens, spécialistes de la question, ont en effet découvert très récemment une huitième déclinaison de la jouissance : la jouissance bureaucratique.
Pas besoin d’aller bien loin pour la découvrir, elle s’étale sous nos yeux depuis quelques années dans le monde de l’évaluation de l’enseignement supérieur et de la recherche. Et récemment, elle a pris tous les stigmates d’une névrose obsessionnelle dont le HCERES constitue la formidable boîte de pétri pour l’étudier in vitro. Son tableau clinique est maintenant bien établi : elle affecte des technocrates en fin de carrière dont la principale prédisposition est le désœuvrement intellectuel. C’est bien triste. Après avoir virevolté un trop grand nombre d’années dans les sphères célestes de tous les pouvoirs, les voilà prisonniers d’une sorte d’ivresse, un delirium administrativum, quête insatiable de jouissance que seule une bureaucratie poussée à son paroxysme peut assouvir.
Temporairement s’entend. Les crises ont malheureusement tendance à augmenter et en fréquence et en intensité.
Lacan ajoute que la jouissance est toujours de l’ordre de la tension, du forçage, de la dépense, voire de l’exploit. De la dépense et de l’exploit, voilà exactement les sujets qui nous préoccupent en ce qui concerne un opuscule visiblement rédigé dans une moment de rare démence bureaucratique : le nouveau référentiel d’évaluation des unités de recherche, récemment publiée par le HCERES, et les procédures qui vont avec.
- G. Dimitriadis. La jouissance comme concept psychanalytique et son potentiel destructeur sur l’organisme. 2017. hal-01468828 [↩]
“Une machine bureaucratique qui fait trop d’évaluations” : le Hcéres selon la Cour des comptes
Clap de fin d’année universitaire pour le HCERES qui termine cette désastreuse séquence inaugurale de l’ère Coulhon par une opération de communication soigneusement orchestrée : interview à tout va de son Président dans différents médias spécialisés1, sortie de son rapport annuel sur papier glacé réalisé par une agence de pub, communication web vibrionnante, etc… Objectif unique : montrer « quoi qu’il en coûte » que le HCERES est « utile » à l’ESR et qu’il “n’est pas une machine bureaucratique qui fait trop d’évaluations” (sic), d’après les mots mêmes de celui qui le dirige depuis maintenant près de neuf mois.
Les bureaucrates de l’inutile
Il faut dire que la principale attaque ne vient pas, ces dernières semaines, des vilains enseignants-chercheurs islamo-gauchistes qui ravagent l’université française ou des hackers russes, trop occupés à saboter les grandes œuvres de Jean-Michel Blanquer. Non, l’ignoble estocade vient…des très sérieux juges de la Cour des Comptes. Le texte de leur référé qu’ils ont adressé en mars dernier à Matignon est un véritable démontage en règle des activités du haut conseil. Largement commenté lors de sa parution, le premier paragraphe du référé se doit être cité in extenso :
Les rapports d’évaluation du Haut conseil ne jouissent pas, dans le milieu académique, d’une réputation à la hauteur de l’effort consenti. Menés sur la base de référentiels très normés et de procédures particulièrement longues, les travaux d’évaluation pèsent sur les établissements et plus encore, sur des unités de recherche déjà chargées en travaux non scientifiques ».
Étonnante diatribe qui dit tout ou presque, avec économie des mots chère à la rue Cambon : défiance de la communauté vis-à-vis du machin, bureaucratie chronophage et papivore, inutilité des évaluations, perte de temps pour tous les acteurs de l’ESR, etc… La Cour dresse ainsi le portrait d’un véritable monstre bureaucratique que plus personne ne semble contrôler et tire le signal d’alarme : « L’inflation du nombre des rapports […] s’avère aujourd’hui intenable : pas moins de 5 185 rapports ont été produits entre 2017 et 2019 soit entre quatre et cinq par jour ». On imagine avec amusement la tête du magistrat qui a sorti sa calculatrice et qui a tapé : 5185/3/365 = 4,7 ! Et encore, le réquisitoire de la Cour des comptes ne tient pas compte de l’inflation des recrutements de ces derniers mois initiée par la nouvelle gouvernance. C’est simple, on n’arrive plus à suivre le rythme effréné de publication des offres d’emplois destinés à gonfler cette technostructure de l’inutile : directeurs et chefs en tous genres, chargés de projets, coordinateurs, secrétaire général adjoint,…. Le HCERES, c’est dorénavant une véritable armée mexicaine, les ponchos et les sombréros en moins.
- Nous n’en ferons pas ici la promotion. [↩]
L’église de la scientométrie
En créant l’Église de Scientologie, Lafayette Ronald Hubbard, dit L. Ron Hubbard, introduisit la pratique essentielle d’audition des adeptes à l’aide d’un E-Meter ou “électro-psychomètre”, instrument supposé pouvoir mesurer l’état ou les changements d’état spirituel de la personne auditée ou de l’être vivant.

L Ron Hubbard utilisant son Hubbard E-Meter pour déterminer si les tomates éprouvent de la douleur, en 1968
L’appareil n’est en réalité qu’un simple ohmmètre (ou pont de Wheatstone) permettant de mesurer des variations de résistance de quelques micro-ohms, évidemment en rien liées à l’état psychique de la personne qui tient les électrodes conductrices, tout au plus induites par une sudation ou une sécheresse des mains qui modifie la résistance des contacts main-électrode. Pour l’affaire qui nous concerne, l’intérêt de cette mise en scène ne vient pas du caractère grotesque de la mesure ou de son interprétation délirante. Cette pratique montre que L. Ron Hubbard, en fin connaisseur – manipulateur – de la psychologie humaine et de ses failles, avait parfaitement saisi l’importance d’un marketing de type Canada Dry (“Ça a la couleur de la science, le goût de la science… mais ce n’est pas de la science !”) pour ancrer les principes fondateurs de sa “religion” dans une soi-disant vérité scientifique et par là même promouvoir son entreprise sectaire.
Quoi de plus convaincant, en effet, que de confier l’évaluation des états d’âmes des adeptes à un “instrument de laboratoire” plutôt qu’à un oracle ? Dans le cas de l’audition scientologue, la démarche est théâtralisée, ritualisée même ; elle consiste à effectuer des “mesures” et à générer des données personnelles relatives à la personne ainsi “auditée” grâce à ce fameux électromètre. Cette dernière se soumet à l’examen et est généralement convaincue (sinon elle ne serait pas là) que l’audition va lui apporter des informations sur son état psychique et l’aider à progresser dans sa quête de spiritualité.
Alléluia.
La science de la technobureaucratie — ou sa religion
Quel lien entre l’Église de Scientologie, l’électromètre de Ron Hubbard et l’évaluation de la recherche en France ? Aucun, a priori, tant les deux mondes sont antinomiques à tous points de vue. Sauf que, à y regarder de plus près, certains éléments de cette pratique de la scientologie pourraient se retrouver dans la nouvelle religion qui enflamme la haute technobureaucratie de la recherche française depuis les années 2000 : la scientométrie.
Hcéres : les directeurs changent et l’islamo-gauchisme avance
À l’évidence, Thierry Coulhon s’apprête à ériger le Hcéres à la hauteur des standards internationaux de l’évaluation de la recherche et de l’enseignement supérieur… Au Hcéres, le copinage, on ne connaît pas, et les chefs de département sont des hommes de terrain, des vrais ! La preuve…
Après le scandale de la nomination à venir de Bernard Larrouturou, celui-là même qui a organisé la procédure de sélection de la candidature de Thierry Coulhon à la tête du collège du Hcéres, revenons aujourd’hui sur le renouvellement (du renouvellement…) de Pierre Glaudes, lundi prochain. Il n’y a pas à dire : le Hcéres sous Thierry Coulhon, c’est la grande classe.
Les notaires en fin de carrière choisissent leur successeur. C’est ce qu’on appelle « le droit de présentation », une pratique datant de… la Restauration. Ils « proposent » le nom de leur remplaçant au ministère de la justice, qui avalise ce choix dans l’immense majorité des cas.
Une pratique dont s’est certainement inspiré le HCERES pour le renouvellement de son directeur du département d’évaluation de la recherche. Sauf surprise de dernière minute, la prochaine séance du collège du HCERES du 1er mars 2021 doit en effet entériner la proposition de renouveler Pierre Glaudes au département d’évaluation de la recherche.
Pierre Glaudes, successeur de Pierre Glaudes, depuis maintenant 3 mandats ! Retour dans le passé pour un bref historique de cette véritable charge notariale donc.
Pierre Glaudes, 54 ans à l’époque, est nommé directeur de la section des unités de recherche de l’agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) en 2011. Ce n’est pas un nouvel entrant et l’intéressé a déjà un beau parcours dans la maison. Son CV officiel indique qu’il a été successivement délégué scientifique pour le secteur Lettres (2007-2009) puis délégué scientifique coordinateur des Sciences humaines et sociales (2009-2011). Mais à l’arrivée de Pierre Glaudes, l’agence est déjà dans la tourmente et sous le feu des critiques du monde universitaire et de la recherche. Il fut dire que les griefs ne manquent pas : censée à l’origine évaluer de façon constructive et être une agence de conseils, la boutique s’est rapidement transformée en vilain comptoir de notation, marquant au fer rouge chaque laboratoire d’une note allant de A+ pour les « meilleurs » à C pour les « pathologiques ». L’agence ne survivra pas à la loi relative à l’enseignement supérieur et à la recherche promulguée en 2013. Fin 2014, l’AERES est morte, vive le HCERES !
L’évaluation en temps de crise sanitaire
La fin du semestre approchant, les équipes pédagogiques dans les universités sont amenées à se reposer les questions épineuses sur l’évaluation en période de confinement. Bien sûr, les contrôles continus ont maintenu cette question dans les esprits, mais l’organisation des examens soulève des problèmes d’une toute autre ampleur. Si ces questions doivent être posées, certains messages envoyés par des équipes pédagogique soulignent l’urgence de rappeler quelques points légaux qui doivent encadrer nos décisions et peut-être de proposer quelques éléments de réflexion. #ResistESR
L’évaluation : une obligation ou une option ?
En premier lieu, puisque notre métier d’universitaires consiste à élaborer des savoirs et en assurer la diffusion, il faut rappeler que l’évaluation devrait se subordonner à cette mission : évaluer pour enseigner et non l’inverse. Ceci est vrai de l’évaluation formative, bien sûr, mais aussi de l’évaluation assertive – l’un des problèmes actuels étant que sont entrés dans une année de formation des étudiantes et étudiants qui n’ont, suite au premier confinement et à une évaluation rendue presque impossible, pas assimilé les prérequis leur permettant de continuer leurs études dans de bonnes conditions intellectuelles. Il me semble qu’il aurait souvent été préférable de se contenter d’évaluation formative et de laisser le choix aux étudiantes et étudiants de redoubler ou de passer à l’année suivante : au moins nous n’aurions pas donné la fausse impression que nous étions en mesure de leur assurer qu’ils avaient légitimement validé leur année. Dans ces conditions, la question se pose à nouveau d’évaluer, ou de neutraliser.
La question de la fraude
Dans un monde idéal, il suffirait de d’informer les étudiantes et étudiants des conditions dans lesquelles se placer pour les examens et les laisser composer assez librement. Il resterait encore à s’occuper de celles et ceux qui n’ont pas d’espace de travail ou pas d’outil de télécommunication adapté, ce qui ne serait certes pas une mince affaire. Mais notre monde n’est pas idéal, et il est impossible de ne pas prendre en compte que la fraude aux examens universitaires est courante et constitue un problème sérieux.