Les IA spécialisées en revue de la littérature scientifique : des promesses douteuses

Par Mona Claro, enseignante-chercheuse en sociologie à l’Université de Liège

Que valent les intelligences artificielles (IA) génératives spécialisées en revue de la littérature scientifique (Perplexity Academic, Felo, Elicit, Sci Space…) ? Est-ce qu’elles sont vraiment plus prometteuses que ChatGPT pour nos usages pédagogiques ? En tant qu’enseignante de sociologie à l’université, j’ai été un peu forcée de m’y intéresser. J’ai testé pour vous deux de ces IA « scientifiques ».

Face aux logiques capitalistes derrière les IA génératives grand public présentées comme de plus en plus incontournables, y compris à l’université, on commence à peine à avoir un peu de recul scientifique (voir par exemple la fameuse étude sur l’affaiblissement des capacités cognitives des étudiant·es  qui utilisent ChatGPT pour rédiger leurs devoirs). Je ne suis sans doute pas la seule à trouver les corrections de devoirs de plus en plus pénibles à cause de certaines façons d’utiliser l’IA par chez nos étudiant·es (style fade et ennuyeux, platitudes répétitives, ou pire : références bibliographiques hallucinées et autres erreurs). Parmi les enseignant·es du supérieur, il y a probablement plus ou moins consensus sur certains usages particulièrement délétères de l’IA, mais il y a aussi des propos récurrents de certain·es collègues que je trouve exagérément optimistes, sur le mode : « les changements en cours ne sont pas si graves, il y a plein de bons usages potentiels de l’IA pour nos étudiant·es » ou « il suffit de bien l’utiliser ». Je me réjouis des « bons usages » scientifiquement rigoureux, mais dans ce billet, je voudrais parler de certaines promesses douteuses.

Pourquoi cet optimisme qui me semble excessif dans une partie du monde académique? Peur de passer pour des technophobes ringard·es si on critique trop fortement l’IA ? Possible. Je pense que dans certains cas, une des raisons de cet optimisme peut être l’expérience personnelle plutôt positive des IA génératives qu’ont les collègues optimistes : usage très ciblé et parcimonieux, relecture et élimination des erreurs, réécritures et aller-retours multiples, etc.  Avec des années, voire des dizaines d’années de pratique des sciences sociales derrière elles, ces personnes réussissent probablement à être facilement et rapidement efficaces et rigoureuses, et supposent alors que ça peut être pareil pour nos étudiant·es. Je suis persuadée qu’au contraire, sans ces années de pratique « à l’ancienne » des sciences sociales (enquêter, lire, analyser et rédiger de A à Z sans IA générative), nos étudiant·es moyen·nes ont peu de chances d’arriver à une utilisation aussi fiable de l’IA. J’entends souvent : « il suffit de les former à bien l’utiliser ». Pourquoi pas : admettons que sur un cours de 12 séances de 2h, je sacrifie 1 ou 2h de contenu (dommage !) pour pouvoir faire cette formation à la place (un mal pour un bien ?). Mais selon moi, la priorité reste d’abord et surtout de passer 22 ou 23h à les former à faire des sciences sociales sans IA générative. Sans cette formation « à l’ancienne » comme base, il ne peut pas y avoir d’utilisation rigoureuse de l’IA. Toute perte de temps et d’énergie au détriment de cette mission fondamentale de formation « à l’ancienne » doit être bien justifiée. Est-ce que ça vaut vraiment le coup ? Qu’est-ce que telle ou telle utilisation précise de telle ou telle IA va apporter en plus à leur formation ? j’espère que ce billet participera à répondre à cette question.

Je m’intéresse donc ici aux IA génératives spécialisées en revue de la littérature scientifique (Perplexity Academic, Felo, Elicit, Sci Space…) : c’est typiquement là que serait un des soi-disant « bons » usages qu’on nous promet à l’université. Contrairement à ChatGPT, ce sont des IA qui sont censées, par défaut, chercher uniquement dans la littérature scientifique, citer leurs sources, et ne pas halluciner de fausses sources. J’en ai testé deux (Perplexity Academic et Felo) avec trois questions de sociologie, et j’ai trouvé le résultat pire que médiocre. J’ai vu passer plusieurs analyses critiques très intéressantes des usages de l’IA à l’université (notamment sur ce même blog), mais aucune ciblée sur les IA de revue de la littérature scientifique (sauf celle publiée par Urfistinfo, citée en conclusion de ce billet). J’ai trouvé un test similaire à celui que je propose ici (lui aussi cité plus bas), mais avec une question de sciences biomédicales (en anglais). Je n’ai pas encore vu de tels tests dans le domaine des sciences humaines et sociales, donc je me suis dit que ce petit test exploratoire pourrait intéresser.

Basan (yōkai), dessin par Takehara Shunsen Ehon hyaku monogatari , vers 1861. De la taille d’une dinde et à l’apparence d’un poulet est reconnaissable à son plumage coloré et sa crête flamboyante, doté d’un souffle de feu, le basan passe pour vivre dans les montagnes de la province d’Iyo.

J’ai donc testé ces deux IA (version gratuites) avec trois questions de sciences sociales pour lesquelles j’ai déjà des idées précises de réponses rigoureuses. C’est le genre de questions que pourraient sans doute poser à ces IA des étudiant·es qui rédigent un devoir ou un mémoire dans un des masters ou j’enseigne (master de sociologie, master d’études de genre…). J’ai posé deux questions de façon particulièrement précise : « Comment analyser sociologiquement le vécu des hommes minoritaires dans les métiers féminins ? » (une question sur laquelle il existe une littérature abondante) ; « Présente-moi des travaux sociologiques sur les lesbiennes d’origine maghrébine en Belgique » (une question plus « niche », moins étudiée). J’ai aussi posé une question plus vague et plus large : « Est-ce que l’homosexualité a toujours existé ? » (ici, la littérature abonde). A chaque fois, l’IA a produit un texte à première vue séduisant, d’environ une page, avec des paragraphes et des intertitres et qui, du point de vue de la forme, mime plutôt bien le style habituel des revues de la littérature telles qu’on les trouve dans les articles scientifiques ou les candidatures à des projets de recherche.

Test n°1. Des déceptions, et la question des biais politiques

« Comment analyser sociologiquement le vécu des hommes minoritaires dans les métiers féminins ? ». Selon le consensus dans ma discipline, un bon état de l’art sur cette question prendra inéluctablement comme point de départ le texte de la sociologue Christine Williams, datant de 1992, devenu un classique (cité 2378 fois sur Google Scholar à ce jour), dans lequel elle a proposé le concept « d’escalator de verre », abondamment réutilisé depuis. Qu’on veuille le reprendre à son compte, le repenser ou le critiquer, il faut commencer par là. Or, un des outils testés, Perplexity Academic, passe à côté du texte de C. Williams, et les deux outils testés omettent complètement son concept « d’escalator de verre ». Pire, Perplexity Academic hallucine le concept « plafond de verre inversé », inexistant dans la littérature scientifique.

Par ailleurs, les deux IA testées insistent surtout sur les difficultés de ces hommes minoritaires dans les professions dites féminines (infirmière, sage-femme, etc.), alors que la littérature de sciences sociales aborde certes leurs difficultés, mais tend à insister plutôt sur les avantages dont ils bénéficient (accès plus probable aux postes à responsabilités, meilleurs salaires…). En gros, les IA testées évoquent bien la domination masculine, mais la minimisent un peu, et préfèrent mettre l’accent sur le statut de victime de ces hommes minoritaires (voir illustrations ci-dessous). On est ici au cœur de la question des biais politiques et épistémologiques des IA génératives. « Les IA continuent de souffrir de biais masculinistes, racistes et homophobes, comme le déplorent une étude de l’université de Stanford et une autre de l’Unesco », ainsi que le rappelle un article du Monde.

Légende.  Extraits d’une réponse de Felo à la question «Comment analyser sociologiquement le vécu des hommes minoritaires dans les métiers féminins?»

Les réponses de ces outils à cette première question sont donc très décevantes, d’autant que quelques secondes et deux clics sur Google Scholar (avec les mots clés « Sociologie+”hommes minoritaires”+”métiers féminins” ») suffisent pour trouver bien mieux : en tout premier résultat, l’introduction d’un numéro de revue thématique pile sur la question, qui inclut un état de l’art synthétique, répondant parfaitement aux besoins d’un·e étudiant·e de master pressé·e.

Test n°2. De nouvelles déceptions, et la question de la non-reproductibilité des résultats

Que proposent ces deux IA sur une question plus pointue, sur laquelle on a moins de travaux ?  « Présente-moi des travaux sociologiques sur les lesbiennes d’origine maghrébine en Belgique » : ici, un bon état de l’art commencerait par constater qu’il n’existe aucune recherche précisément sur ce sujet. Il pourrait ensuite sélectionner des éléments (concepts, résultats…) directement ou indirectement utiles dans des travaux sur « diasporic queer women in Belgium » ou encore « same-sex sexualities and Belgian Moroccan communities ». Enfin, cet état de l’art pourrait tirer profit des publications de Salima Amari sur « les lesbiennes d’origine maghrébine » en France, en se demandant prudemment dans quelle mesure ses résultats seraient transposables en Belgique.

Perplexity Academic ne cite aucun de ces travaux, et plus généralement aucune référence scientifique. Il prétend s’appuyer sur « plusieurs travaux » et « des études existantes », mais sans les citer. Cet outil a du mal à admettre qu’il n’a rien trouvé (un classique de l’IA générative !), et génère plusieurs paragraphes sur une base mystérieuse, en les soupoudrant de concepts qui « font » scientifiques (voir illustration ci-dessous).

Légende : Extrait d’une réponse de Perplexity Academic

La deuxième IA testée, Felo, a su tirer parti de sources pertinentes que la première n’avait pas trouvées, mais sa réponse reste assez incomplète, et très superficielle. Elle cite bien S. Amari avec les précautions nécessaires (en précisant que son travail porte sur un autre pays), mais ne cite pas les publications en anglais que j’ai mentionnées plus haut, portant elles sur la Belgique. Du moins, c’était mon diagnostic la première fois que j’ai posé la question à Felo. Des aléas logistiques ont fait que j’ai été amenée à revenir poser la même question une deuxième fois au même outil : la réponse était très différente, et beaucoup moins riche, avec une seule source citée. On touche ici à une autre question fondamentale dans le domaine de l’IA : la question de la non-reproductibilité des résultats, dont dépend la rigueur scientifique1 .

Test n°3. Encore des déceptions, encore des classiques non cités

Finalement, que proposent les deux outils testés pour cette troisième question, vaste et passionnante : « Est-ce que l’homosexualité a toujours existé ? ». Une bonne revue de la littérature devrait inclure l’idée que les comportements homosexuels ont vraisemblablement toujours existé, dans toutes les sociétés humaines, mais que la catégorie (médicale, identitaire…) « homosexuel / homosexualité » est une construction récente (qu’on fait souvent remonter aux XVIIe-XIXe siècles), historiquement et géographiquement située (idée-clé). En la matière, le philosophe Michel Foucault, ou encore les historiens David Halperin et George Chauncey, sont des classiques incontournables, abondamment cités (auteurs-clés). Or, l’une des deux IA testées, Felo, ne fournit pas cette idée-clé, et ne cite pas ces auteurs-clés. La réponse de l’autre IA, Perplexity Academic, inclut bien l’idée-clé attendue, mais sans citer les auteurs-clés qui en sont à l’origine. A titre de comparaison, même l’article « Histoire de l’homosexualité » sur Wikipedia fait mieux : malgré ses limites, il cite M. Foucault et G. Chauncey. Sans parler des encyclopédies et manuels universitaires, qui proposent des synthèses courtes et infiniment plus rigoureuses que ces IA. Lire quelques pages du petit « Repère » Sociologie de l’homosexualité , par exemple, ne prend pas beaucoup plus de temps que de lire les réponses médiocres de Felo ou Perplexity Academic.

Conclusion

Les résultats de ce petit test exploratoire avec des questions sociologiques posées à des IA spécialisées en revue de la littérature scientifique vont dans le même sens que ceux d’un autre test (plus complet), mené dans le domaine des sciences biomédicales par Aster Zhao (Research Support Librarian, Hong Kong University of Science and Technology) avec une question posée à quatre autres IA du même genre (Scite, Elicit, Consensus et Scopus AI) : ces IA dites scientifiques ne sont pas capables de fournir une véritable « analyse en profondeur » de la littérature, et produisent des états de l’art contenant des biais (non contrôlés) et des erreurs ((Zhao Aster, “Trust in AI: Evaluating Scite, Elicit, Consensus, and Scopus AI for Generating Literature Reviews”, Research Bridge, Hong Kong University of Science and Technology, 20/03/2025. Consulté le 08/07/2025 à l’adresse : https://library.hkust.edu.hk/sc/trust-ai-lit-rev/)). En gros, au mieux, les réponses sont trop vagues et incomplètes et au pire, elles souffrent d’un grave manque de rigueur scientifique. Il y a un côté arnaque, poudre aux yeux. Pourquoi passer du temps à leur faire produire des textes médiocres qu’on va ensuite vérifier et réécrire, alors qu’on pourrait directement utiliser ce temps à lire des textes de qualité ?

Le test d’A. Zhao a d’ailleurs révélé un autre grave problème : le risque de plagiat. Une des IA de son test (Scopus AI) a produit une reformulation d’un passage d’un article qui était si proche du texte d’origine qu’elle était qualifiable de plagiat2.

Ces IA spécialisées en littérature scientifique, me semblent donc très, très loin d’apporter des bénéfices pédagogiques dans des cursus universitaires de sciences sociales. Je ne sais pas comment elles vont progresser à l’avenir, mais en attendant, j’ai plutôt retrouvé dans les réponses de ces IA les platitudes et généralités vagues (ni fausses, ni intéressantes) et parfois les hallucinations typiques de ChatGPT.

Le problème fondamental est que le fonctionnement en mode « boîte noire » de ces outils est contraire à la démarche scientifique : quand je vais sur Google Scholar, sur Cairn ou sur un catalogue de bibliothèque, je sais que je vais pouvoir trouver, dans tel ou tel ensemble de publications, toutes celles qui contiennent tels ou tels mots-clés, sur telle ou telle période, je sais comment je décide de les mobiliser ou non, et à chaque micro-étape, j’exerce mon esprit critique ; à l’inverse, avec les IA spécialisées en littérature scientifique, je ne sais pas comment la sélection a été faite, comment telle ou telle citation a été priorisée, et si je repose la même question à une minute d’intervalle, j’obtiens un résultat différent , autrement dit, je laisse faire une « boîte noire » trop opaque, pas assez sous mon contrôle, et je m’en remets en partie au hasard. Sans parler des biais épistémologiques et politiques qui font partie de cette « boîte noire », et qui risquent d’orienter les réponses dans le sens du maintien de l’ordre établi.

Ainsi, je partage les « sujets d’inquiétude » mis en avant par Aline Bouchard (conservatrice des bibliothèques, URFIST de Paris), qui déplore que « les synthèses proposées se contentent souvent d’aligner les points essentiels des articles les uns après les autres, sans vraiment faire de synthèse entre les résultats des publications »3. Elle évoque aussi :

  • Des inquiétudes au sujet du « cherry picking de citations »: ces outils comportent un risque d’utilisation biaisée des publications citées (seuls les passages allant dans un sens précis sont utilisés, les autres sont ignorés), avec un risque accru de « biais de confirmation » (Horbach et al 2022)4 ;
  • Des inquiétudes au sujet de la faisabilité de la vérification humaine : on pourrait répondre à tout ça que « d’accord, ce n’est parfaitement fiable, mais il suffit de bien tout revérifier ». Or, A. Bouchard souligne que « la situation est plus délicate qu’avec les hallucinations d’un ChatGPT »5 : elle cite le documentaliste Aaron Tay, selon lequel « la « menace » représentée par l’IA dans le domaine des revues de la littérature n’est pas qu’elle peut citer des articles fictifs mais qu’elle […] citera de vrais articles de manière inappropriée ». Or, ce second problème est beaucoup plus difficile à détecter, « surtout quand l’erreur est subtile ». J’ajouterais que la situation est d’autant plus délicate que l’utilisateur est un·e étudiant·e, et non un·e scientifique expérimenté·e.
  • Des inquiétudes au sujet de « l’illusion de la compréhension et la perte d’expertise. […] De plus en plus d’études soulignent les risques des assistants IA de « délégation cognitive » (« cognitive offloading»), pour les apprenants mais aussi pour les experts (voir par ex., iciici et ) »6 ;

Pour conclure, j’aimerais répondre à un argument qu’on entend souvent, quand on critique les IA génératives : « oui mais elles progressent rapidement, elles sont de plus en plus fiables ». Admettons. Admettons que demain, elles produisent des revues de la littératures suffisamment rigoureuses. D’un point de vue pédagogique, il reste un immense problème. Je suis sensible à la métaphore de la salle de sport, souvent utilisée à propos de l’IA générative à l’école ou à l’université : si le but est de se muscler, quel est l’intérêt de faire soulever les haltères par une machine ? Ce qui est important quand un·e étudiant·e rédige une revue de la littérature, ce n’est pas tellement le résultat final (en général, ce résultat est déjà disponible quelque part), c’est surtout le chemin pour en arriver au résultat final, les compétences exercées au cours de l’exercice. Je trouve génial qu’on puisse déléguer à des IA des tâches intellectuellement peu intéressantes, rébarbatives, comme la correction des fautes d’orthographe ou la mise en forme d’une bibliographie. Mais choisir quelles publications on va utiliser ou non, lire des abstracts ou des articles, se confronter à des passages difficiles à comprendre, buter sur tel ou tel concept, s’interroger sur des passages d’un même texte qui semblent se contredire, prendre le temps de se plonger dans une controverse entre plusieurs sociologues ou sur les divergences entre plusieurs courants, et pour finir rédiger en faisant le tri entre l’accessoire et l’essentiel, ce ne sont pas des tâches secondaires à déléguer, au contraire, c’est le cœur de l’apprentissage de la démarche scientifique. Ces IA de revue de la littérature scientifique me semblent donc non seulement inutiles (pour l’instant ?), mais aussi (fatalement) contre-productives d’un point de vue pédagogique.

Pour aller plus loin :

  1. Voir par exemple : “L’intelligence artificielle n’échappe pas à la crise de la reproductibilité“, David Larousserie, Le Monde, 2019 ; “Apport de l’intelligence artificielle générative pour aider les chercheurs à synthétiser les données de la science“, au sujet d’un article du Pr Viet-Thi Tran au sein de l’équipe METHODS du Centre de Recherche Epidémiologie et StatistiqueS (CRESS, Université Paris Cité / INSERM), paru dans  Annals of Internal Medicine, le 21 mai 2024: “#WorkInProgress : IA générative et outils de recherche de littérature académique”, par A. Bouchard, URFiST, 20 février 2025. []
  2. Ibid. []
  3. Bouchard Aline, « #WorkInProgress : IA générative et outils de recherche de littérature académique », UrfistInfo, 20/02/2025. Consulté le 08/07/2025 à l’adresse : https://doi.org/10.58079/13cls. []
  4. Ibid. []
  5. Ibid. []
  6. Ibid. []

Auteur/autrice


OpenEdition vous propose de citer ce billet de la manière suivante :
L'équipe de rédaction d'Academia (2 septembre 2025). Les IA spécialisées en revue de la littérature scientifique : des promesses douteuses. Academia. Consulté le 5 décembre 2025 à l’adresse https://doi.org/10.58079/14k9z


2 réflexions sur « Les IA spécialisées en revue de la littérature scientifique : des promesses douteuses »

  1. Ping : Khrys’presso du lundi 8 septembre 2025 – Framablog

  2. Merci pour cette démonstration édifiante. Un seul élément a été omis : le plaisir de lire un texte humainement bien écrit et qui par conséquent stimule l’intelligence.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.