Le personnel et les équipes dirigeantes des universités accordent une grande importance aux classements des universités et les résultats de leurs systèmes de classement peuvent avoir d’importantes conséquences matérielles/financières. S’appuyant sur l’exemple particulier de sa propre institution, Jelena Brankovic fait valoir que le fait de corréler de manière linéaire les classements comme des indicateurs de qualité ou de performance est une manière fondamentalement erronée de saisir la valeur d’une université, en particulier lorsque les universitaires seul∙es s’en prévalent.
- par Jelena Brankovic, Traduit de l’anglais “The Absurdity of University Rankings”, LSE Blogs, 22 mars 20211
Au début du mois, QS a publié son classement annuel des universités mondiales par discipline, suscitant l’enthousiasme des médias sociaux universitaires. “Je suis ravi de faire partie du numéro 1 mondial”, a déclaré un membre du corps enseignant. “Fier∙e d’être ancien∙e élève et membre du personnel”, a écrit un∙e autre. “Tellement fier∙e de faire partie de l’équipe. Bravo à tous et à toutes”… Et ainsi de suite. Vous voyez le tableau.
Il n’y a rien de mal en soi à ce que les gens aiment leur travail et apprécient de travailler dans un environnement stimulant. Cependant, il y a quelque chose de troublant dans le fait que les universitaires considèrent des éléments tels qu’un classement établi par QS, Shanghai ou toute autre organisation, comme un indice ou une preuve de la qualité — ou de la médiocrité, d’ailleurs — de leur situation relativement à celle des autres.
On peut se demander si les universitaires ont réagi aux classements de cette manière dans l’enthousiasme du moment ? u parce qu’ils prennent les classements au sérieux ? Ou peut-être s’agit-il d’autre chose ?
Pour être clair dès le départ, mon intention ici n’est pas de critiquer les classements. Du moins pas de la manière dont on le fait habituellement. En ce sens, il ne s’agit pas d’une histoire sur les méthodologies défectueuses des classements ou leurs effets négatifs, sur la façon dont certains classements sont produits pour faire du profit, ou sur l’opacité ou la mauvaise gouvernance de ces classements. Rien de tout cela n’a d’importance ici.
Ce que je souhaite plutôt faire, c’est attirer l’attention sur une hypothèse très problématique à laquelle de nombreux universitaires semblent souscrire : l’hypothèse selon laquelle il existe, ou pourrait exister, une relation significative entre un classement, d’une part, et ce qu’une université est et fait par rapport aux autres, d’autre part.
Je commencerai par raconter une histoire qui concerne ma propre université et je conclurai par un thèse plus générale expliquant pourquoi l’approbation publique des classements rend un mauvais service au monde universitaire.
Qu’y a-t-il dans un classement ?
En septembre 2019, l’hebdomadaire allemand Der Spiegel a publié un article sur le classement mondial des universités du Times Higher Education (THE), qui venait alors de paraître. Le statut de l’Allemagne en tant que “troisième pays le plus représenté dans le Top 200”, selon l’article, était une fois de plus confirmé. L’article développe une autre information “particulièrement digne d’être soulignée” : “L’université de Bielefeld est passée de la position 250 à 166”.
Bien que Bielefeld ait participé à ce classement particulier depuis la première édition en 2011, la plupart du temps, elle serait diversement positionnée quelque part entre 201 et 400. Puis, dans l’édition 2020 du classement”, Bielefeld s’est retrouvée dans le Top 200. La nouvelle a été bien accueillie dans le pays. Le président (rector) de Bielefeld a remercié toutes celles et ceux “qui ont contribué à ce magnifique résultat”.
Cependant, les dirigeant∙es de Bielefeld étaient assez perplexes : ils ne pouvaient pas identifier ce qui était à l’origine cette remarquable amélioration. Iels avaient dû faire quelque chose de bien, c’est certain, mais quoi ? Soucieux-ses d’aller au fond des choses, iels ont décidé d’enquêter.
Le “saut” avait probablement à voir avec les citations : c’était évident dès le départ. Toute personne connaissant un tant soit peu la méthodologie de ce classement en comprend la logique. Et de fait, sur la base des seules citations, Bielefeld était la 99e université au monde et la sixième en Allemagne.
Notre bibliothèque universitaire a confirmé que l’hypothèse des citations était la bonne. De plus, lorsque les scores au fil du temps ont été recalculés, il est apparu que Bielefeld avait gagné plus de 120 places, et ce entre deux classements seulement. Et, non seulement elle s’est “améliorée” de manière exceptionnelle, mais elle était également l’une des meilleures universités du monde en termes de progression d’une année sur l’autre.
Bielefeld constituait une aberration extrême.
L’enquête a révélé que d’énormes bonds dans les classements THE découlaient déjà d’une une vaste collaboration internationale dans le domaine de la santé mondiale – l’étude Global Burden of Disease. Selon une autre source, la méthode de comptage des citations utilisée par le THE est telle que, dans certains cas, il suffisait d’un seul chercheur participant à cette étude pour améliorer le classement d’une université, et même de manière significative, d’une année sur l’autre.
Nous avons été frappé∙es par le fait que dix articles ont contribué à eux seuls jusqu’à 20 % des citations globales de Bielefeld au cours de ces deux années. Chacun d’entre eux pouvait être rapporté à l’étude sur la « coût mondial de morbidité ». Tous sauf un avaient été publiés dans The Lancet et étaient cosignés par des centaines d’auteurs. Un des auteurs — et un unique auteur — venait de Bielefeld.
Notre analyse a montré que la progression de Bielefeld dans le classement était clairement due à la présence d’un seul universitaire. C’est dire à quel point la relation entre la “performance” de l’université de Bielefeld – une institution dans son entier – et son classement était significative.
Il est tentant de penser que, tout bien considéré, Bielefeld a “bien joué” dans ce classement particulier – par accident. C’est même amusant, surtout quand on pense aux sommes démesurées que certaines universités investissent pour obtenir ce genre de résultat dans un classement.
Le sophisme logique
Lorsque THE a publié le classement, le président de la conférence des présidences d’universités allemandes a déclaré qu’il pensait que “la progression de l’Allemagne “était étroitement liée” à l’initiative d’excellence du gouvernement”. Il n’était certainement pas le seul à tenter d’expliquer les classements en recourant à ce type de raisonnement reposant sur une causalité linéaire, comme on peut le lire dans le même texte.
Ce détail, cependant, met en lumière une dimension à la fois la plus extraordinaire et en même temps la plus absurde de tout cela. Presque intuitivement, les gens ont tendance à expliquer la position dans un classement en avançant ce qui peut sembler être une explication rationnelle. Si l’université monte, c’est qu’elle s’est réellement améliorée. Si elle descend, c’est qu’elle est punie pour avoir été moins performante.
L’exemple de Bielefeld remet en question la pensée linéaire-causale des classements, de manière spectaculaire même. Cependant, en vérité, cette histoire n’a rien d’exceptionnel, si ce n’est qu’elle constitue un exemple frappant de l’arbitraire des classements.
Même si THE change sa méthodologie un jour, cela ne changera rien au fait que ses classements sont des jeux artificiels à somme nulle. Artificiels parce qu’ils imposent une hiérarchie stricte aux universités. Artificiels aussi parce qu’il n’est pas réaliste de penser qu’une université ne peut améliorer sa réputation de performance qu’au détriment de la réputation des autres universités. Enfin, artificiels parce que la réputation n’est pas en soi une ressource rare, mais les classements la font apparaître comme telle. Dans cette optique, les classements de THE ne sont en aucun cas spéciaux, meilleurs ou pires que les autres classements. Ils ne sont qu’une variation sur un thème.
Les chiffres, les calculs, les tableaux et autres dispositifs visuels, les méthodologies “soigneusement calibrées”, et tout le reste, sont là pour nous convaincre que les classements sont ancrés dans la logique et le raisonnement quasi-scientifique. Et s’ils peuvent sembler être des travaux scientifiques, ils n’en sont absolument pas. Cependant, il est crucial pour les classements de conserver l’apparence de scientificité. En ce sens, le fait que de véritables chercheurs approuvent les jeux artificiels à somme nulle produits par les classeurs contribue de manière critique à leur légitimité.
Il est tout à fait absurde de supposer qu’un classement — ou n’importe quel classement — puisse dire quoi que ce soit de significatif sur la qualité d’une université par rapport à d’autres universités, que ce soit comme lieu de recherche ou d’enseignement. Cependant, c’est précisément ce présupposé qui rend les classements très importants. Ces classements sont d’autant plus importants que le présupposé sur lequel ils reposent est non seulement incontesté, mais si ouvertement et publiquement acceptée par les universitaires eux-mêmes.
Traduction Deepl/ Ch.Rabier
À propos de l’auteur
Dr Jelena Brankovic est chercheuse postdoctorale à la faculté de sociologie de l’université de Bielefeld. Ses recherches portent sur l’enseignement supérieur, la sociologie des organisations et la gouvernance transnationale. Elle étudie actuellement le rôle que jouent les classements et d’autres formes de comparaison publique dans la dynamique institutionnelle au sein des secteurs et entre eux. Elle est rédactrice de livres au sein du comité de rédaction de Higher Education et coordonne le réseau international des chercheurs en début de carrière dans l’enseignement supérieur (ECHER). Twitter : @jelena3121.
Sur Academia
- Evaluation de la recherche en SHS: le manifeste de Leyde, 27 avril 2015
- « Inutile de pousser le bouchon trop loin » : réflexions de Thierry Coulhon, Conseiller du Président de la République sur l’avenir de (l’évaluation de) l’ESR, 17 janvier 2021
- La pensée complexe aux prises avec l’évaluation de la recherche, 18 janvier 2021 – discours d’Emmanuel Macron, 27 novembre 2019
- Le Ministère et le trou noir de l’évaluation, 24 avril 2020
- L’Université de Bern abandonne l’évaluation par facteur d’impact, 15 novembre 2021
- L’évaluation en temps de crise sanitaire, 27 novembre 2021
- Une version distincte a été initialement publié en allemand “So verrückt können Rankings sein” , Frankfurter Allgemeine Zeitung, 11 mars 2020. [↩]
OpenEdition vous propose de citer ce billet de la manière suivante :
L'équipe des rédacteurs d'Academia (28 mars 2021). L’absurdité des classements universitaires. Academia. Consulté le 8 novembre 2024 à l’adresse https://doi.org/10.58079/aiw4