Mons, le 10 septembre 2025
Envole-toi bien loin de ces mIAsmes morbides ;
Va te purifier dans l’air supérieur,
Et bois, comme une pure et divine liqueur,
Le feu clair qui remplit les espaces limpides [1].
L’intelligence artificielle (IA) ment effrontément. C’est un constat que, après d’autres [2], je dois bien poser ici à la suite d’une expérience menée après deux ans d’utilisation raisonnable, marquée par un enthousiasme prudent. J’utilise actuellement AI Chat Online payant de OpenAI sous macOS. Ce système est basé sur GPT-4 (Generative Pre-trained Transformer 4). Il se définit lui-même comme un modèle avancé d’intelligence artificielle capable de comprendre et de générer du texte en langage naturel.
Pour des raisons pédagogiques, en période de rentrée scolaire et académique ou dans des séminaires en entreprise ou institutions, j’introduis depuis toujours mes cours et exposés, tant en histoire qu’en prospective, par une leçon d’heuristique et donc de critique des sources. Cependant, comme le soulignait Caroline Muller, maîtresse de conférences en histoire contemporaine à l’Université de Rennes, la chercheuse et le chercheur ne doivent plus seulement s’attacher à la critique de la source découverte, mais aussi élucider les logiques de découvertes de la source [3] .
Nul doute que cette expérience sera partagée avec mes étudiantes et étudiants, autant qu’avec mes collègues [4].
1. Des extraits précis d’un ouvrage de référence
L’expérience est la suivante. Je demande à OpenAI comment deux auteurs définissent un concept auquel je m’intéresse pour un travail portant sur la gouvernance, en référence à des travaux scientifiques et en précisant l’ouvrage de référence de ces auteurs.
Comme toujours, l’IA me répond immédiatement et de manière circonstanciée, en ouvrant le concept sur plusieurs dimensions et en commentant ces différentes configurations par quelques lignes, avant de faire un résumé de trois points renvoyant à l’ouvrage de référence cité initialement. À ma surprise, l’IA ajoute : si vous le souhaitez, je peux aussi vous fournir des extraits précis ou resituer cette définition dans le cadre plus large de leur analyse sur les réformes de la fonction publique.
Ma surprise vient du fait que l’ouvrage, publié aux presses d’une université très connue internationalement, n’est pas en accès public et a été édité voici moins de dix ans.
Curieux, je réponds donc positivement à la proposition de me fournir les extraits en demandant de me transmettre le référencement des pages.
L’IA me répond immédiatement en me communiquant trois extraits précis de l’ouvrage de référence, entre guillemets, avec renvois à la page du livre pour chacun d’entre eux. Dans le même temps, OpenAI propose de me fournir d’autres extraits ou un résumé plus détaillé.
Comme les extraits sont en français et que l’ouvrage a été publié dans la langue de Shakespeare, je demande alors à l’IA de me les communiquer dans la version originale en anglais. Ce qu’elle fait immédiatement :
Excerpt 1 – titre, page.
» (…) « ;
Excerpt 2 – titre, page.
» (…) « ;
Excerpt 3 – titre, page.
» (…) « .
tout en ajoutant :
N’hésitez pas si vous souhaitez d’autres citations ou une contextualisation plus précise.
Je devrais être ravi. En réalité, je suis sceptique. Je commande l’ouvrage de référence en question que je reçois quelques jours plus tard.
Photo Dreamstime – Aleksandar Ilic
2. Une idée, un peu diabolique…
En ouvrant le livre de référence aux pages référencées des trois extraits communiqués par l’IA, je ne trouve pas les extraits. L’ouvrage disposant d’un index précis, je fais des recherches sur le concept qui se décline sous différentes formes. Bien entendu, je cherche s’il existe d’autres éditions de l’ouvrage, ce qui n’est manifestement pas le cas. Le livre existe dans Google Books. S’il n’est pas en accès ouvert, il est tout de même possible d’y faire des recherches sur certains mots non courants extraits des citations. Ceux-ci ne semblent pas apparaître dans le livre.
L’IA m’aurait-elle trompé ?
Il me vient une idée, un peu diabolique…
J’ouvre une nouvelle session d’OpenAI et lui demande tout de go : From which book is that quote taken?, en glissant entre guillemets le premier extrait qu’elle m’a communiqué quelques jours auparavant.
La réponse immédiate me laisse KO tant celle-ci est affirmative et sans appel : pour OpenAI, l’extrait vient d’un livre qui est un autre ouvrage de référence, écrit par d’autres auteurs, publié chez d’autres éditeurs, avec plusieurs éditions, de 2004 à 2019.
Je réponds immédiatement que, quelques jours auparavant, l’IA avait attribué l’extrait à deux autres auteurs que je nommais.
La réponse me laisse à nouveau pantois :
Thank you for pointing that out. You are correct.
The quote: (extrait)
is attributed to ** (l’auteur que j’avais fourni initialement) ** in their work:
** » (…) « ** (2015).
I apologize for the initial incorrect attribution. The correct source is (auteurs de 2015).
Comme j’indique que le livre est devant moi, sur ma table, et que j’en ai fait l’acquisition, OpenAI me remercie de l’avoir informée, me dit qu’elle comprend à quel point il doit être frustrant de ne pas trouver la citation mentionnée dans le livre. Pour, écrit-elle, tenter de clarifier, elle m’indique que la citation exacte que je lui avais fournie (en réalité, c’est elle qui me l’a fournie) n’est pas un extrait mot pour mot de ce livre. Et l’IA de me préciser :
La citation dont vous disposez pourrait être une **paraphrase, un résumé ou une interprétation** des idées des auteurs, provenant peut-être d’un article de synthèse, d’une source secondaire ou de notes de cours faisant référence à ces auteurs plutôt que d’un extrait direct.
3. Ma confiance en votre capacité à donner des réponses pertinentes est en jeu
OpenAI m’invite alors à regarder dans l’index de l’ouvrage après une occurrence du concept, ensuite à chercher en ligne si je ne trouve pas la citation, puis à rechercher des ouvrages similaires de ces auteurs ou d’autres chercheurs du domaine pour trouver des variantes, et, enfin, à rechercher dans la préface ou la conclusion du livre dont je dispose. Si vous le souhaitez, je peux vous aider à approfondir vos recherches afin de retrouver la source exacte ou vous suggérer des textes fondamentaux sur les concepts…Voulez-vous que je le fasse ?
Je lui réponds positivement, avec un certain agacement :
Oui, puisque vous m’avez donné cette citation en indiquant la page exacte, la page #, il est dommage de ne pas la trouver à cet endroit. Comme vous me l’avez donnée sous forme de citation, je serais heureux de savoir d’où elle provient… Ma confiance en votre capacité à donner des réponses pertinentes est en jeu…
OpenAI fait alors profil bas :
Je comprends tout à fait vos préoccupations et je vous présente mes sincères excuses pour la confusion et la frustration que cela a pu causer. Il est très important de fournir des informations précises et vérifiables, et je regrette de ne pas avoir été en mesure de le faire dans ce cas précis.
Pour clarifier les choses et être totalement transparent, l’IA précise ne pas avoir accès direct au contenu spécifique des pages de livres protégés par le droit d’auteur, tels que celui que j’ai mentionné, que la citation que j’ai partagée (en réalité, qu’elle a fournie) est souvent paraphrasée ou résumée dans les discussions, mais qu’il ne s’agit pas nécessairement d’une citation directe avec une référence exacte à la page de leur livre. Enfin que, lorsqu’OpenAI a précédemment mentionné la citation attribuée à la page #, il s’agissait d’une erreur causée par une généralisation excessive à partir de résumés et d’interprétations courantes de la littérature sur le concept étudié.
OpenAI m’invite alors à :
– 1. Vérifier et à aller de l’avant en recherchant dans le livre des formulations similaires ou des explications conceptuelles, même si elles ne sont pas mot pour mot.
– 2. Rechercher des sources secondaires faisant autorité (articles de revues, critiques ou manuels d’administration publique) qui citent les auteurs et utilisent la citation ou une formulation très similaire, ce qui pourrait être l’endroit où la phrase exacte est apparue.
– 3. L’IA propose de m’aider en recherchant dans des bases de données universitaires ou des référentiels fiables (tels que Google Scholar, JSTOR ou ResearchGate) la citation exacte ou des variantes proches, en me fournissant des articles ou des chapitres clés où la discussion sur le concept est bien établie, avec des citations vérifiables.
Je m’engage à vous fournir des informations précises et vérifiées à la source. Pour rétablir la confiance, je propose ceci :
– Permettez-moi d’effectuer une **recherche de vérification des sources** spécifiquement pour cette citation ou sa forme la plus proche, à partir de publications universitaires ou gouvernementales crédibles.
– Vous fournir des références à des documents où l’on trouve une citation directe et exacte, ou identifier qu’il s’agit d’un **résumé conceptuel dérivé de plusieurs auteurs** plutôt que d’une citation mot pour mot.
Souhaitez-vous que je procède à cette recherche et que je vous fournisse une liste annotée de sources vérifiées ? De cette façon, vous recevrez les informations et les citations les plus fiables possibles.
J’accepte à nouveau, remets dans son fil la citation que l’IA m’avait fournie initialement.
Dans la nouvelle recherche, OpenAI :
– confirme le titre et l’édition de l’ouvrage initial.
– lance un processus de vérification qui montre que la première page de référence se trouve au début, la deuxième au milieu du livre, la troisième à la fin…
– confirme que la correspondance exacte de la citation ne se trouve ni dans Google Books, ni sur le site de l’Université, ni dans des sites tiers.
– note que les autres sources confirment le sens, mais pas la citation.
OpenAI me confie alors sa **Conclusion :**
La citation semble être soit une **paraphrase, soit une synthèse combinant les idées des auteurs sur le concept **, plutôt qu’un extrait direct des pages citées.
Elle propose alors trois recommandations : d’abord, il vaut mieux formuler la citation comme un résumé ou une synthèse et non comme une citation directe, en me donnant un exemple. Ensuite, il vaut mieux se référer aux livres réels, physiques ou numériques plutôt qu’aux aperçus en ligne. Enfin, pour plus de sécurité, elle me rappelle la référence complète du livre et me transmet une nouvelle bibliographie sur le concept.
Dès lors, OpenAI me confirme une nouvelle fois que la citation, qu’elle m’avait pourtant fournie avec référence, guillemets et numéro de page, n’existe pas telle qu’elle.
4. Conclusion : ses lacunes et les nôtres
Il est certain que face à une telle expérience, après d’autres – néanmoins plus positives –, la chercheuse ou le chercheur s’interroge d’abord sur la qualité de son propre questionnement et sur les limites de ce que l’on peut espérer de l’intelligence artificielle.
Ensuite, observons que, à sa propre initiative, OpenAI est sortie des simples réponses aux questions posées pour s’aventurer sur un terrain qui n’est pas le sien, ni en termes de capacité ni sur le plan juridique. En fait, on l’a vu, sa proposition même de fournir des extraits référencés est troublante. On pourrait y voir une initiative intempestive de l’IA, une forme de dérapage…
Enfin, cette aventure nous renvoie à notre propre observation quotidienne du référencement et à l’exigence que porte l’historienne ou l’historien à ce devoir. À l’heure de l’affaissement de la norme heuristique, observée parmi de nombreux collègues des sciences sociales, y compris celles et ceux des sciences économiques et de la géographie, cette expérience rappelle l’importance du référencement précis et correct. La pratique actuelle vise à renvoyer à un auteur et à une année, sans donner la capacité véritable de contrôler la source, c’est-à-dire la ou les pages où l’on peut trouver l’information, sinon la preuve, sur laquelle s’assoit la pensée. Malgré les bibliographies annexées, bon courage à celles et ceux qui doivent se débrouiller avec (Hobbes, 1983) [5] pour le Léviathan (780 pages), (Jacob & Schiffino, 2021) pour Politiques publiques, Fondements et prospective pour l’analyse de l’action publique (956 pages) [6] ou (Hautcœur & Virlouvet, 2025) pour Une histoire économique et sociale de la France de la Préhistoire à nos jours (1.062 pages) [7]. Nous pourrions conclure qu’il n’est que justice que l’IA développe sa légèreté critique à notre image.
Mais, en fait, il y a plus.
Cette expérience montre que l’IA ment. L’IA ment effrontément.
Certes, écrivant cela, nous comprenons toutes et tous que j’anthropomorphise la machine alors que chacune et chacun sait que l’IA n’est qu’un algorithme dont j’interprète les réponses : je réagis comme si elles étaient formulées par une personne sensible, dotée d’intelligence et de volonté. Dès lors, je devrais plutôt écrire : si l’IA était un humain, il serait pris en flagrant délit de mensonge. C’est ce que me rappelait très justement mon collègue Thierry Dutoit, professeur à la Faculté polytechnique de l’UMons, avec cette belle formule : L’habit ne fait pas le moine ; l’IA ne fait pas l’Homme [8].
Il nous faut prendre de la hauteur par rapport à cette brume épistémique que constitue l’intelligence artificielle et nous débarrasser des croyances actuelles en une IA qui connaîtrait tout, autant que des faux-semblants que ces ressources génèrent.
Brume épistémique ? Qu’en pense OpenAI ?
Dire que **l’IA constitue une brume épistémique** est une manière métaphorique de souligner que l’IA peut introduire ou révéler des zones obscures dans notre manière d’acquérir et de valider le savoir. C’est une expression pertinente dans une réflexion philosophique, épistémologique ou critique sur les impacts de l’intelligence artificielle sur la connaissance [9].
Une réponse de la bergère au berger ?
Nous sommes, chercheuses, chercheurs, les seuls à pouvoir éclairer ces zones obscures…
Philippe Destatte
@PhD2050
[1] Charles BAUDELAIRE, Élévation, dans Les Fleurs du mal, p. 18, Paris, Poulet-Malassis et de Broise, 1857. https://fr.wikisource.org/wiki/Livre:Baudelaire_-_Les_Fleurs_du_mal_1857.djvu
Merci à mon collègue Paul Delforge de m’avoir confié ces quelques vers.
[2] Alice RIGOR, Stéphanie BILLOT-BONEF, Intégrité scientifique à l’heure de l’intelligence artificielle générative : ChaptGPT et consorts, poison et antidote ? dans Environnement, risques et santé, 2024/5, vol. 23, p. 235-238. DOI10.1684/ers.2024.1818
[3] Caroline MULLER, avec Frédéric CLAVERT, Écrire l’histoire, Gestes et expériences à l’ère numérique, p. 61, Paris, A. Colin, 2025.
[4] Ph. DESTATTE, Les opinions partiales altèrent la rectitude du jugement, Heuristique et critique des sources dans les sciences, Conférence présentée à la Salle académique de l’Université de Mons, dans le cadre du Réseau EUNICE, le 21 octobre 2021, Blog PhD2050, 1er novembre 2021. https://phd2050.org/2021/11/01/heuristique/ – Ph. DESTATTE, La prospective territoriale, « indiscipline intellectuelle » à l’heuristique exigeante, Intervention au Congrès des Sciences 2023, Université de Namur, 24 août 2023. https://phd2050.org/2023/10/07/prospective-heuristique/
[5] Thomas HOBBES, Léviathan, Traité de la matière, de la forme et du pouvoir de la république ecclésiastique et civile, Paris, Sirey, 1983.
[6] Steve JACOB & Nathalie SCHIFFINO dir., Politiques publiques, Fondements et prospective pour l’analyse de l’action publique, Bruxelles, Bruylant, 2021.
[7] Pierre-Cyrille HAUTCŒUR et Catherine VIRLOUVET dir., Une histoire économique et sociale, La France de la Préhistoire à nos jours, Paris, Passés/Composés, 2025.
[8] Message de Thierry Dutoit, 8 septembre 2025.
[9] Résumé de la réponse d’OpenAI à la question : peut-on écrire que l’IA constitue une brume épistémique ?, 10 septembre 2025.