Par Mona Claro, enseignante-chercheuse en sociologie à l’Université de Liège
Que valent les intelligences artificielles (IA) génératives spécialisées en revue de la littérature scientifique (Perplexity Academic, Felo, Elicit, Sci Space…) ? Est-ce qu’elles sont vraiment plus prometteuses que ChatGPT pour nos usages pédagogiques ? En tant qu’enseignante de sociologie à l’université, j’ai été un peu forcée de m’y intéresser. J’ai testé pour vous deux de ces IA « scientifiques ».
Face aux logiques capitalistes derrière les IA génératives grand public présentées comme de plus en plus incontournables, y compris à l’université, on commence à peine à avoir un peu de recul scientifique (voir par exemple la fameuse étude sur l’affaiblissement des capacités cognitives des étudiant·es qui utilisent ChatGPT pour rédiger leurs devoirs). Je ne suis sans doute pas la seule à trouver les corrections de devoirs de plus en plus pénibles à cause de certaines façons d’utiliser l’IA par chez nos étudiant·es (style fade et ennuyeux, platitudes répétitives, ou pire : références bibliographiques hallucinées et autres erreurs). Parmi les enseignant·es du supérieur, il y a probablement plus ou moins consensus sur certains usages particulièrement délétères de l’IA, mais il y a aussi des propos récurrents de certain·es collègues que je trouve exagérément optimistes, sur le mode : « les changements en cours ne sont pas si graves, il y a plein de bons usages potentiels de l’IA pour nos étudiant·es » ou « il suffit de bien l’utiliser ». Je me réjouis des « bons usages » scientifiquement rigoureux, mais dans ce billet, je voudrais parler de certaines promesses douteuses.
Pourquoi cet optimisme qui me semble excessif dans une partie du monde académique? Peur de passer pour des technophobes ringard·es si on critique trop fortement l’IA ? Possible. Je pense que dans certains cas, une des raisons de cet optimisme peut être l’expérience personnelle plutôt positive des IA génératives qu’ont les collègues optimistes : usage très ciblé et parcimonieux, relecture et élimination des erreurs, réécritures et aller-retours multiples, etc. Avec des années, voire des dizaines d’années de pratique des sciences sociales derrière elles, ces personnes réussissent probablement à être facilement et rapidement efficaces et rigoureuses, et supposent alors que ça peut être pareil pour nos étudiant·es. Je suis persuadée qu’au contraire, sans ces années de pratique « à l’ancienne » des sciences sociales (enquêter, lire, analyser et rédiger de A à Z sans IA générative), nos étudiant·es moyen·nes ont peu de chances d’arriver à une utilisation aussi fiable de l’IA. J’entends souvent : « il suffit de les former à bien l’utiliser ». Pourquoi pas : admettons que sur un cours de 12 séances de 2h, je sacrifie 1 ou 2h de contenu (dommage !) pour pouvoir faire cette formation à la place (un mal pour un bien ?). Mais selon moi, la priorité reste d’abord et surtout de passer 22 ou 23h à les former à faire des sciences sociales sans IA générative. Sans cette formation « à l’ancienne » comme base, il ne peut pas y avoir d’utilisation rigoureuse de l’IA. Toute perte de temps et d’énergie au détriment de cette mission fondamentale de formation « à l’ancienne » doit être bien justifiée. Est-ce que ça vaut vraiment le coup ? Qu’est-ce que telle ou telle utilisation précise de telle ou telle IA va apporter en plus à leur formation ? j’espère que ce billet participera à répondre à cette question.
Je m’intéresse donc ici aux IA génératives spécialisées en revue de la littérature scientifique (Perplexity Academic, Felo, Elicit, Sci Space…) : c’est typiquement là que serait un des soi-disant « bons » usages qu’on nous promet à l’université. Contrairement à ChatGPT, ce sont des IA qui sont censées, par défaut, chercher uniquement dans la littérature scientifique, citer leurs sources, et ne pas halluciner de fausses sources. J’en ai testé deux (Perplexity Academic et Felo) avec trois questions de sociologie, et j’ai trouvé le résultat pire que médiocre. J’ai vu passer plusieurs analyses critiques très intéressantes des usages de l’IA à l’université (notamment sur ce même blog), mais aucune ciblée sur les IA de revue de la littérature scientifique (sauf celle publiée par Urfistinfo, citée en conclusion de ce billet). J’ai trouvé un test similaire à celui que je propose ici (lui aussi cité plus bas), mais avec une question de sciences biomédicales (en anglais). Je n’ai pas encore vu de tels tests dans le domaine des sciences humaines et sociales, donc je me suis dit que ce petit test exploratoire pourrait intéresser.

Basan (yōkai), dessin par Takehara Shunsen Ehon hyaku monogatari , vers 1861. De la taille d’une dinde et à l’apparence d’un poulet est reconnaissable à son plumage coloré et sa crête flamboyante, doté d’un souffle de feu, le basan passe pour vivre dans les montagnes de la province d’Iyo.
J’ai donc testé ces deux IA (version gratuites) avec trois questions de sciences sociales pour lesquelles j’ai déjà des idées précises de réponses rigoureuses. C’est le genre de questions que pourraient sans doute poser à ces IA des étudiant·es qui rédigent un devoir ou un mémoire dans un des masters ou j’enseigne (master de sociologie, master d’études de genre…). J’ai posé deux questions de façon particulièrement précise : « Comment analyser sociologiquement le vécu des hommes minoritaires dans les métiers féminins ? » (une question sur laquelle il existe une littérature abondante) ; « Présente-moi des travaux sociologiques sur les lesbiennes d’origine maghrébine en Belgique » (une question plus « niche », moins étudiée). J’ai aussi posé une question plus vague et plus large : « Est-ce que l’homosexualité a toujours existé ? » (ici, la littérature abonde). A chaque fois, l’IA a produit un texte à première vue séduisant, d’environ une page, avec des paragraphes et des intertitres et qui, du point de vue de la forme, mime plutôt bien le style habituel des revues de la littérature telles qu’on les trouve dans les articles scientifiques ou les candidatures à des projets de recherche.








Pour commencer, une citation à moitié sérieuse de Douglas Adam, l’auteur de l’immortel Guide du Voyageur Galactique, à propos de la manière dont est perçue la technologie.


