Dans L’I.A. m’a tué. Comprendre un monde post-humain (Paris, Éditions Intervalles, 2024), François Rastier analyse le fonctionnement des intelligences artificielles génératives (IA) du type ChatGPT. Contrairement aux comparaisons rassurantes (notamment avec l’écriture et l’imprimerie) qui tentent de sauver la place surplombante d’un utilisateur-sujet face à une technologie qu’il s’agirait simplement d’apprendre et de contrôler, il montre que la génération automatique de textes et d’images conduit à édifier un monde de substitution post-humain exerçant une emprise sur ledit sujet. Simulant la symbolisation alors qu’il n’est fait que de codes de signaux, ce monde ignore les notions de vérité, de réalité, d’authenticité, et le statut de sujet en tant qu’agent critique réflexif, y est constitutivement impensable.
Une immense accumulation de data, d’erreurs et de fakes
Le livre commence par une anecdote significative, remontant au lancement en France de ChatGPT en 2022 ; l’I.A. a déclaré François Rastier mort en 2021. À l’époque, loin de reconnaître son erreur lorsqu’on lui demande des justifications, la machine s’obstine à citer des nécrologies du Monde et du CNRS dont l’une aurait été publiée en 2020… et finit par reculer la date du décès en 2019. Tout cela avec l’exquise courtoisie et la faussement humble autorité qu’on lui connaît, citant de multiples et imaginaires sources en ligne, et ne cessant par la suite de modifier la date.
Bien entendu, aujourd’hui, ChatGPT « sait » que François Rastier est vivant. Et bien sûr ChatGPT ne se démonte pas lorsqu’on fait état de cet épisode. Je l’ai interrogé à ce sujet et on trouvera en annexe téléchargeable ci-dessous de larges extraits de notre échange (23 février 2025), lequel confirme les analyses que François Rastier développe dans son livre.
On ne peut pas avancer, comme on l’entend parfois, que l’IA s’améliorerait du fait de l’énorme quantité des données disponibles et de la masse d’utilisateurs susceptibles de corriger erreurs et absurdités, masse sans cesse croissante qui permettrait d’affiner les résultats selon, par exemple, le modèle dont se réclament certaines encyclopédies en ligne ouvertes à l’intervention publique. En effet, l’IA générative puise dans une gigantesque quantité données accessibles en ligne mais, loin d’éliminer les fakes et les erreurs par l’épreuve d’un réel extérieur permettant de les récuser,
« ces prétendus corpus n’offrent aucune garantie scientifique : moissonnés par des logiciels comme Common Crawl, ils mêlent des textes divers, des encyclopédies comme Wikipédia, des livres et articles en ligne, sous droits ou non, des pages web, des posts de réseaux sociaux, des textes générés par diverses IA, des masses de mots clés cachés qui servent à attirer les moteurs de recherche. » (p. 34-35)
Mieux, ou plutôt pire :
« plus les données sont étendues, plus le nombre des corrélations oiseuses s’accroît. […] si bien que l’information disponible se traduit paradoxalement par une raréfaction de l’information pertinente. En d’autres termes, passée une certaine taille de la masse de données, les corrélations oiseuses deviennent majoritaires. » (p. 38)
Au lieu de contribuer à l’authenticité et à la vérité, le gigantisme est un puissant accélérateur de « post vérité ». En outre, les propos élaborés par IA ont pour source un pseudo-énonciateur indiscernable, ou plutôt une absence d’énonciateur, d’où leur irresponsabilité : si je suis déclaré mort par une IA, contre qui pourrai-je porter plainte ? Du reste, ma position de sujet-agent se dissout : ne suis-je pas réductible à un profil ?
Quelques préjugés au sujet de l’IA
Le livre démonte, ou aide à démonter, plusieurs préjugés qui circulent couramment au sujet de l’IA .
Un modèle auto-correcteur ?
L’IA observerait un modèle auto-correcteur qui peut faire penser à celui, aveugle et énoncé a posteriori par la recherche biologique, de l’évolution vivante, produisant et transmettant continuellement un texte sans auteur (le code génétique) qu’un correcteur inconscient aurait affiné durant des millions d’années1. Or ce parallèle n’est aucunement valide2. Car l’évolution du vivant ne retient que les succès, sanctionnés à l’aune de la capacité de reproduction des espèces, le mécanisme de sélection éliminant et « oubliant » toutes les « erreurs ». Au contraire, l’IA retient tout et ne rencontre par son propre fonctionnement aucune sanction extérieure – puisqu’elle ne connaît pas d’extérieur -, c’est dire que le rapport à la vérité en est par définition exclu. La notion même de « succès » n’y est présente que de manière prescriptive, par les « prompts » qu’on lui adresse et non par une épreuve qui apprécierait ses résultats. Or on peut « réussir » à répondre, et même brillamment, à une injonction en avançant des âneries :
« par exemple, dressé à l’inclusivité, le générateur d’images de Google, Gemini, affichera volontiers des papesses, des Pères fondateurs féminins, et même des SS afros bien assortis à leurs uniformes » (p. 39).
« En l’absence de tout humour, de toute ironie, de tout second degré, [le discours des IA génératives] peut combiner le pédantisme et le délire sans autre limite que de complaire au client roi. » (p. 139).
Une machine-outil contrôlable par un agent-sujet ?
L’IA serait, au bout du compte, contrôlable par son utilisateur, sujet conscient occupant une position surplombante et pouvant toujours se tenir en retrait en face de productions (en particulier de « textes ») générées par des automatismes . « Écrits pour quiconque et par personne, les textes artificiels devraient donc tomber des mains de tout le monde, mais la foi crédule en l’IA est telle qu’il n’en est rien. » (p. 44)
Or ces « textes » sont l’objet d’une double méprise anthropomorphique.
Alors qu’ils ne sont que des chaînes de caractères, « ils sont lisibles et se présentent sous des dehors ordinaires […] nous pouvons projeter sur eux nos routines et les lire comme s’ils étaient des textes interprétables. » Il s’agit de « simulations de discours sans énonciateur réel »3, de sorte que « un système IA revêt alors l’apparence d’un interlocuteur capable d’empathie apparente et d’emprise réelle. » (p.45)
Ce leurre atteint l’utilisateur lui-même (c’est la deuxième méprise), qui se trouve inclus dans le champ de l’emprise et dépossédé subrepticement de son statut de sujet : la perte d’identité se traduit par sa réduction à un profil customisable par ce qui est dit de lui – toute personne étant schématisée (et bientôt définie?) par ses traces numériques.
Ainsi la déshumanisation accompagne l’humanisation des logiciels (p. 68).
« Plus banalement, un effet-miroir se diffuse dans l’ensemble de la société : des CV rédigés par IA sont choisis par l’IA qui assiste les directeurs de ressources humaines. […] Quand les IA parlent aux IA, pourquoi toutefois se soucier de ce qu’elles disent ? » (p. 70) D’autant plus que, programmées en fonction d’un politiquement correct, elles deviennent des machines idéologiques.
L’IA n’invente rien ?
L’IA n’inventerait rien. C’est faux ! Il ne faut pas confondre créer et inventer. L’IA innove considérablement en établissant des relations (le terme « intelligence », pourvu qu’on le prenne au sens strict, n’est nullement usurpé). Elle combine des fragments glanés sur le web d’une manière hautement acceptable par un locuteur dans une langue donnée (et souvent avec un bien meilleur niveau de langue que celui pratiqué par ledit locuteur), mais cette cohérence séjourne dans une bulle gigantesque qui fonctionne, par définition, sans aucun rapport à une extériorité (le réel, les tests de falsifiabilité, l’authenticité). De sorte qu’« elle crée des combinaisons qu’elle aligne sur un mode affirmatif comparable au discours délirant » (p. 116).
On a donc affaire, à strictement parler, à un délire artificiel ; la différence avec le délire clinique est qu’il n’y a aucun dédoublement du sujet puisqu’il n’y a pas de sujet : « les textes issus de l’IA générative relèvent donc d’une idéologie pure » (p. 117)
Ainsi s’édifie un monde de substitution.
Pas plus alarmant que l’écriture ou l’imprimerie ?
Du fait qu’il s’agit d’un mode de production automatique de chaînes de caractères, les inquiétudes que l’IA soulève sont du même ordre que celles qui accompagnent la mise en œuvre de l’écriture alphabétique, elles seraient donc la reprise d’une crainte technophobe archaïque. Et de rappeler, à l’appui4, la critique que Platon propose de l’écriture dans le mythe de Teuth5 .
En effet, l’écriture alphabétique est formée de mécanismes où seule la matérialité est articulée6. Sauf qu’il faut y regarder d’un peu plus près avant d’esquisser un parallèle avec l’IA. L’écriture alphabétique n’est pas une machine à produire des textes, mais un moyen purement mécanique de transcrire par des phonogrammes des textes produits en dehors d’elle, textes eux-mêmes interprétables issus d’énonciateurs réels et identifiables. L’alphabet ne produit aucun texte, son usage n’entraîne aucune désymbolisation (bien au contraire : se contentant de noter les sons de la chaîne parlée en les analysant, l’usage de l’alphabet renvoie aux symboles) alors que l’IA simule cette production, rabattant tout système de symboles sur des séries de codes de signaux. Alors que l’alphabet est une machine libératrice qui promeut et autonomise le lecteur en tant que sujet7, l’IA est une machine substitutive qui leurre le sujet en simulant ses productions.
Les analyses de François Rastier conduisent à décrire et à caractériser l’édification d’un monde de substitution formé de faits alternatifs qui disqualifie le réel et qui n’a pas d’extérieur : la notion même d’absence, de manque, lui est par définition étrangère. Ce monde sans extérieur, sans temporalité, sans responsabilité, sans espace de recul, sans différenciation entre réel et fictif, est aussi celui du discours transhumaniste. L’augmentation de l’homme n’y est pas celle que fournissent les prothèses (et encore moins celle des orthèses) qu’il faut apprendre à utiliser et/ou à tolérer et qui n’abolissent pas l’écart, l’espace de retrait propre au sujet. C’est celle, sans recul réflexif, d’une désymbolisation où tout n’est plus qu’une immense archive dans laquelle « les données prennent la place des faits », et dont la position critique du sujet est constitutivement évacuée.
François Rastier, L’I.A. m’a tué. Comprendre un monde post-humain, Paris, Éditions Intervalles, 2024.
Notes
1 – On se reportera à l’admirable livre de François Jacob La Logique du vivant, une histoire de l’hérédité, Paris, Gallimard, 1970.
2 – J’ai posé la question à ChatGPT (voir l’annexe ci-dessous) : l’IA confirme !
3 – Là encore, ChatGPT décrit impeccablement ses propres productions comme des simulations lorsqu’on l’interroge avec un peu de précision sur la question : voir l’annexe téléchargeable ci-dessous.
4 – Voir par exemple cet article « L’IA dans l’enseignement supérieur : les leçons de Platon et du mythe de Theuth » par Pascal Lardellier et Emmanuel Carré https://theconversation.com/lia-dans-lenseignement-superieur-les-lecons-de-platon-et-du-mythe-de-theuth-244894
5 – Platon, Phèdre, 274b et suiv.
6 – Au sujet de l’écriture alphabétique en ce qui la distingue de tous les autres systèmes d’écriture, je me permets de renvoyer à mon article « L’alphabet, machine libératrice » https://www.mezetulle.fr/lalphabet-machine-liberatrice/ .
7 – Voir référence note précédente.
Annexe
Mon échange avec ChatGPT du 23 février 2025. Lien de téléchargement
Merci pour ce billet Mme Kintzler.
Et merci de nous faire part de votre conversation avec l’IA.
Sa lecture est assez effrayante. De mon point de vue, l’IA conversationnelle confirme ce que l’on peut ressentir avec Wikipédia parfois : ce n’est pas la pertinence d’une idée qui fait foi c’est sa persistance et le nombre de ses occurrences…
Finalement, l’IA est la descendante (non darwinienne) de Protagoras.
Bonjour Catherine,
Merci et totalement d’accord avec ces analyses du phénomène IA.
Mais ne faudrait-il pas resituer cette dérive de la « pensée » dans un contexte plus généralisé de basculement dans le « monde du virtuel », qui à l’évidence est celui d’une société globalement de plus en plus psychotique ? D’ailleurs, on qualifie « d’hallucinations » – https://fr.wikipedia.org/wiki/Hallucination_(intelligence_artificielle) – les réponses des IA qui débloquent. Ça n’est pas un hasard, c’est le symptôme des concepteurs de ces logiciels qui y ont mis leur « maladie ».
Les constats et les signes sont nombreux qui nous disent que Guy Debord avait bien identifié (dans « La Société du spectacle » – 1967) cette mutation du capitalisme dans la société du virtuel.
Je ne sais pas si c’est réversible et/ou modifiable (paraît-il que Google s’y emploie, mais j’en doute), mais clairement, c’est terrifiant pour les générations futures, et pas seulement pour les raisons avancées dans ces analyses exposées.
Cela dit, pour le meilleur et à l’évidence également pour le pire – comme pour quasiment toutes les avancées technologiques majeures – les IA vont bouleverser tellement de secteurs et de fonctionnalités réservées auparavant aux humains qu’il est impossible de les énumérer exhaustivement et d’en prévoir toutes les conséquences.
J’en ai testé quelques-unes et c’est quand même assez stupéfiant de pouvoir avoir accès à des connaissances ou des aides de manière instantanée. À ce propos, DeepSeek me semble bien meilleur et pertinent que ChatGPT ; du moins tant qu’on ne leur demande pas, à aucun des 2, leur avis sur l’histoire et/ou la politique.
Il faut se préparer à tous ces bouleversements majeurs, mais je n’ai pour l’instant aucune idée de comment contrer les « massacres » que cette technologie ne va pas manquer de produire et qu’elle produit déjà d’ailleurs.
Bien amicalement.
Bonjour Incognitototo.
Oui, vous avez raison, il convient de situer cette production d’un monde de substitution par l’IA au sein, comme vous le dites, d’un « contexte plus généralisé de basculement dans le ‘monde du virtuel' ». C’est aussi ce que fait l’auteur dans son livre, je n’ai pas tout commenté, j’y ai fait simplement allusion dans ma recension. Ce qui semble vraiment particulier avec l’IA générative, c’est que cette production comme leurre, comme simulation de la vraisemblance du discours n’est pas perçue comme telle par le commun des utilisateurs (du reste vous parlez vous-même d’un « accès à des connaissances », alors que l’IA ignore la notion même de connaissance). Elle apparaît si on pose la question explicitement à l’IA sur la nature de ses productions, sur leurs objectifs et sur les modalités de leur « conformité », en s’appuyant sur des exemples d’hallucination : c’est ce que j’ai fait dans le document annexe et comme vous avez pu le voir, la réponse de l’IA est à la fois impeccable et inquiétante (oui je suis une machine à produire un discours qui a toutes les apparences de la vraisemblance ; je n’ai aucun rapport à la vérité). Mais je n’aurais jamais pensé à poser pareille question si je n’avais pas lu le livre de François Rastier (je suppose qu’il n’est pas le seul à avoir souligné cette propriété). C’est une sophistique sans auteur poussée à son maximum. Mais cette sophisitique est plongée dans un leurre anthropologique d’autant plus puissant qu’elle est « stupéfiante » de rapidité et de correction langagière.
Et bien sûr il faut se préparer aux bouleversements que vous signalez à juste titre. Mais il faut, me semble-t-il, distinguer
a) d’une part ceux qui touchent la robotisation de tâches intellectuelles naguère assurées « à la main » : ce bouleversement est comparable à une mécanisation et il a connu plusieurs formes dans l’histoire des moyens de production. Il s’agit d’applications pour ainsi dire régionales de l’IA. Rédiger un courrier-type, explorer les hypothèses pour diagnostiquer un dysfonctionnement : on avait des manuels et des « grilles » pour ce genre de tâche… En fait beaucoup de travaux intellectuels sont mécanisables depuis toujours : on n’en avait pas le moyen, la « faisabilité ». Et le terme « intelligence » en français désigne les opérations de mise en relation : il est pertinent s’agissant de machines capables d’effectuer de tels rapports.
b) de l’autre le bouleversement anthropologique proprement dit que F. Rastier analyse dans son livre. Il est général et affecte la notion même de sujet autonome, celle de vérité, celle d’authenticité, celle de réalité.
– Se préparer au premier changement (« les massacres » que vous signalez) relève de l’organisation politique et sociale, la question déjà ancienne de la production et de la répartition de la richesse produite est toujours d’actualité. Mais vous avez réfléchi à cette question beaucoup plus et mieux que moi, et je renvoie les lecteurs à votre blog https://incognitototo.eklablog.com/
– Affronter le bouleversement général engendré par la production incessante et massive d’un monde de substitution post-vérité plongé dans un leurre anthropomorphe est d’un autre ordre. On peut tout au plus sans risquer de se tromper avancer que le fonctionnement généralisé de la pensée critique est plus que jamais d’actualité. L’urgence est donc l’instruction publique en tant qu’elle met chacun en mesure de comprendre les principes d’intelligibilité fondamentaux (et non une « éducation » qui « adapte » aux changements). Dans le document annexe qui accompagne la recension ci-dessus, l’IA recommande (c’est un comble !) de vérifier les affirmations qu’elle produit… mais ce n’est pas suffisant : encore faut-il avoir réfléchi à ce qui fonde les notions mêmes de vérité et d’erreur et en avoir fait l’expérience.
Merci pour vos réponses. J’ai été trop rapide dans mon commentaire, et fainéant
, je n’avais pas lu l’intégralité de votre échange avec ChatGPT, très édifiant en soi. Votre échange me rappelle cette « blague » de certains professionnels de la santé mentale : « Un névrosé sait que 2 + 2 font 4, et parfois ça le désespère. Un psychotique est persuadé que 2 + 2 font 5, et le plus souvent il s’en fout, mais parfois ça le rend fou. »
Comme vous le rappelez et le démontrez, pour une IA, 2 et 2 font ce qu’une majorité de gens sur les réseaux disent que ça fait ; tant pis pour la vérité, le réel et la responsabilité de diffusion de fausses informations (un procédé bien connu des manipulateurs d’opinion, généralement d’extrême droite, qui en saturent les réseaux).
Vous avez remarqué comme nous-mêmes, on se fait piéger en adoptant des codes humains pour parler à une machine ? Quand vous la vouvoyez, quand vous la remerciez ou lui dites que c’est très intéressant. Et le plus inquiétant à mes yeux, vous avez remarqué comme l’IA se défausse de sa responsabilité ? Ça n’est pas dû au hasard, mais à des systèmes conçus à la base pour éviter toute mise en cause juridique d’une responsabilité, quelle qu’elle puisse être ; un fait coutumier des GAFAM qui se lavent les mains des mauvais usages des utilisateurs et des conséquences de leurs « outils ».
Autant, je suis totalement d’accord avec vos précisions de la partie « b » de votre réponse, autant pour la partie « mécanisable » des tâches intellectuelles, je ne suis pas sûr que ces machines ne créeront pas plus de problèmes qu’elles n’en résoudront. J’ai en mémoire une flopée de romans d’anticipation dystopique, où la majorité des humains sont réduits à n’être au mieux que des veaux qu’il faut gaver « de pain et de jeux » pour qu’ils se tiennent « tranquilles », et au pire des nuisibles qu’il faut éliminer puisqu’ils ne servent plus à rien pour la perpétuation du « système » ; avec tout un tas de scénarios intermédiaires qui ont cependant pour base commune la démission de l’humain pour prendre des décisions, y compris pour celles qui le concernent au premier chef.
Avec la mécanisation des tâches intellectuelles à quoi cela servira d’aller à l’école ? D’apprendre à penser ? À décider par soi-même ? À échanger avec des humains ?… Et même de déployer son énergie pour faire en sorte que le futur soit meilleur que le présent pour tous ? Vraiment, j’ai du mal à penser que ces machines ne vont pas générer de facto plus de problèmes qu’elles n’en résoudront.
En substance, même pour les applications techniques spécialisées, où elles semblent être d’un grand apport (ingénierie médicale, architecture, développements informatiques …), si elles ne sont pas pilotées et contrôlées par des humains qui devront eux-mêmes connaître ce que l’IA « connaît » (ou pas), les risques sont majeurs. Mais, clairement nous ne prenons pas du tout cette voie-là du contrôle des IA.
Si je soulignais le basculement dans le monde du virtuel de façon plus globale, c’est parce qu’à mon sens l’IA n’en est qu’un symptôme, peut-être même l’ultime, après bien d’autres.
Quelques rappels, parmi d’autres possibles :
– L’invention de la « finance casino », qui ne repose sur aucune activité économique réelle et notamment celle générée par des algorithmes, existe déjà depuis plus de 50 ans. Aujourd’hui, 70 % à 90 % (!!!) des échanges des bourses sont générés par des algorithmes. Ce sont « eux » qui décident de qui va mourir et qui va vivre, et qui va s’en mettre plein les fouilles, bien sûr. De mémoire, 12 bulles spéculatives – dont la dernière concernait la soi-disant inflation en réalité générée par des traders et des machines – ont depuis régulièrement ravagé les économies des pays et surtout les hommes, sans qu’aucun État n’y mette réellement un terme. Tandis que l’engouement pour les monnaies virtuelles (bitcoin et autres) – clairement fondées sur des systèmes de Ponzi – ne faiblit pas.
– L’introduction de la télé dans tous les foyers, puis l’accès à une multitude de chaînes, puis la création des « réseaux asociaux », puis la démocratisation de la VOD ont clairement accéléré les processus de désocialisation et ont déjà installé un monde alternatif et parallèle.
– Même l’art après la valorisation d’un « art contemporain » fondé sur les placements spéculatifs, en est à vendre de l’art numérique et pire du pire des NFT (jetons non fongibles) ; le comble de l’arnaque « créative ».
– Actuellement, les organismes publics et les entreprises privées installent des IA pour répondre aux usagers et clients, sans que personne ne s »inquiète ni ne pose la question de la pertinence des réponses, et de la déshumanisation des rapports sociaux, où plus personne ne sera responsable de rien (ce qui est déjà le cas dans bien des organismes).
– Les Smartphones (mais aussi le Linky et autres « innovations ») sont devenus le premier outil de contrôle social généralisé, avec le consentement d’une majorité d’utilisateurs « qui n’ont rien à cacher », sans mesurer à quel point cette intrusion permanente dans leur vie privée est – pour rester soft – « anormale ».
– Sans oublier que ce n’est pas à vous que je vais apprendre à quel point l’éducation nationale a depuis longtemps abandonné son objectif d’apprendre aux jeunes à penser par eux-mêmes… et les IA aggravent clairement ce tropisme délétère…
Cependant, il y a une continuité commune dans l’acceptation de ces dérives : elle ne perdure et se développe que parce qu’il y a une majorité de gens pour y croire, y participer et s’en contenter. Reich avait bien identifié comment le contexte social et politique est indissociable des problèmes mentaux ; je me demande ce qu’il dirait devant l’explosion des pathologies mentales depuis 40 ans, qui sont à l’évidence – avec la paupérisation des services publics – des conséquences de toutes ces mutations.
Bref, l’IA est bien un nouveau point nodal du développement du « capitalisme virtuel » qui va pouvoir continuer à générer de l’argent sans avoir besoin d’humains pour cela, et si possible même sans rien produire de réel. Le rêve ultime du capitalisme le plus dégénéré est en train de se mettre en place et apparemment ça n’affole pas grand monde… La prochaine étape avec la création de ce monde alternatif est bien d’abattre les démocraties pour arriver au « monde parfait » dont rêvent tous les idéologues délirants qui assument leur fascisme.
Pas sûr que tous ceux qui n’ont pas réagi à votre article mesurent bien l’importance vitale de dire non, maintenant, et suffisamment fort pour être entendu.
Désolé d’avoir été si long et si vous jugez que c’est trop pour que ce soit publié, tant pis.