\n<\/p>\n
![\"Eliza\"](\"https:\/\/fr.sott.net\/image\/s37\/746183\/full\/id5991792_ELIZA_conversation_8.jpg\" "\\"Cliquer")
<\/a><\/p>\n\u00a9 Domaine public<\/span>Une s\u00e9ance de th\u00e9rapie simul\u00e9e avec ELIZA, le programme informatique des ann\u00e9es 1960 qui ouvrit la voie \u00e0 la technologie des chatbots – et r\u00e9v\u00e9la avec quelle facilit\u00e9 les \u00eatres humains projettent du sens sur les machines.<\/span><\/p>\n<\/div>\n \n Bien avant ChatGPT et l’essor fulgurant de l’intelligence artificielle conversationnelle, un scientifique visionnaire avait d\u00e9j\u00e0 per\u00e7u les dangers d’une humanit\u00e9 fascin\u00e9e par ses propres machines. En cr\u00e9ant ELIZA dans les ann\u00e9es 1960, Joseph Weizenbaum donna naissance au tout premier chatbot de l’histoire – avant de devenir l’un des critiques les plus lucides de l’intelligence artificielle. <\/p>\n On pourrait facilement en d\u00e9duire que cet \u00e9change a eu lieu r\u00e9cemment entre ChatGPT et un utilisateur humain. Mais cette d\u00e9duction serait erron\u00e9e. Cette conversation s’est en r\u00e9alit\u00e9 d\u00e9roul\u00e9e dans les ann\u00e9es 1960 entre un programme informatique appel\u00e9<\/a> ELIZA et un \u00eatre humain. Ce pr\u00e9curseur de ChatGPT – qui, malgr\u00e9 des capacit\u00e9s modestes en comparaison, \u00e9tait d\u00e9j\u00e0 capable de g\u00e9n\u00e9rer une conversation simul\u00e9e fluide avec un interlocuteur humain – existait d\u00e9j\u00e0 bien avant le tournant du si\u00e8cle. Aujourd’hui, ELIZA est reconnue comme le premier chatbot, l’arri\u00e8re-grand-m\u00e8re, si l’on peut dire, des grands mod\u00e8les linguistiques actuels, tels que ChatGPT.<\/p>\n Mais l’ironie de l’histoire d’ELIZA r\u00e9side dans le fait que son programmeur – tout comme le Dr Frankenstein de Mary Shelley – a rapidement pris conscience du danger que recelait sa cr\u00e9ation, et qu’il a consacr\u00e9 une grande partie du reste de sa carri\u00e8re \u00e0 mettre en garde contre l’intelligence artificielle (IA). Il a \u00e9galement vivement critiqu\u00e9 la vision technologique et posthumaine d\u00e9fendue par certains pionniers de la science de l’IA.<\/p>\n Le programmeur s’appelait Joseph Weizenbaum (1923-2008). Ce scientifique allemand, qui avait fui l’Allemagne nazie dans sa jeunesse, fut une figure marquante des d\u00e9buts de la communaut\u00e9 de l’intelligence artificielle – un homme qui allait pourtant devenir l’un de ses plus grands d\u00e9tracteurs.<\/p>\n La naissance d’ELIZA<\/span> ELIZA analysait les messages des utilisateurs \u00e0 la recherche de certains mots-cl\u00e9s, tels que \u00ab je \u00bb, \u00ab tu \u00bb ou \u00ab m\u00e8re \u00bb. Ces mots d\u00e9clenchaient une r\u00e8gle associ\u00e9e qui g\u00e9n\u00e9rait une phrase ou une question en r\u00e9ponse, souvent en ins\u00e9rant certains des mots de l’utilisateur dans un mod\u00e8le de r\u00e9ponse. Cela donnait l’impression que le bot r\u00e9pondait r\u00e9ellement au contenu de la d\u00e9claration de l’utilisateur. Si l’utilisateur \u00e9crivait \u00ab Je suis triste \u00bb, la machine pouvait r\u00e9pondre : \u00ab Depuis combien de temps es-tu triste ? \u00bb La signification du mot \u00ab triste \u00bb n’avait aucune importance. Le chatbot se contentait de copier le mot tel qu’il figurait dans la saisie de l’utilisateur. Cela fonctionnait tout aussi bien avec \u00ab d\u00e9prim\u00e9 \u00bb, \u00ab heureux \u00bb, \u00ab en col\u00e8re \u00bb ou tout autre adjectif. Si ELIZA ne d\u00e9tectait aucun mot-cl\u00e9 dans la d\u00e9claration d’un utilisateur, elle g\u00e9n\u00e9rait alors une r\u00e9ponse g\u00e9n\u00e9rique, telle que \u00ab Je vois \u00bb ou \u00ab Continuez, s’il vous pla\u00eet \u00bb.<\/p>\n L’illusion \u00e9tait convaincante. Dans son article publi\u00e9 en 1966, Weizenbaum notait que certains sujets \u00e9taient \u00ab tr\u00e8s difficiles \u00e0 convaincre \u00bb qu’ELIZA n’\u00e9tait pas humaine. En effet, lorsque Weizenbaum demanda \u00e0 sa secr\u00e9taire de tester le syst\u00e8me, celle-ci lui demanda de quitter la pi\u00e8ce afin qu’elle puisse poursuivre sa conversation avec le \u00ab th\u00e9rapeute \u00bb en priv\u00e9. Weizenbaum \u00e9tait tomb\u00e9 par hasard sur un ph\u00e9nom\u00e8ne qui allait \u00eatre appel\u00e9 \u00ab l’effet ELIZA \u00bb : notre tendance \u00e0 projeter des qualit\u00e9s humaines sur des machines inanim\u00e9es.<\/p>\n L’homme face \u00e0 la machine<\/span> Weizenbaum \u00e9tait constern\u00e9 \u00e0 l’id\u00e9e que quiconque puisse confier \u00e0 ce jouet de v\u00e9ritables probl\u00e8mes de sant\u00e9 mentale. Sa connaissance intime du fonctionnement aveugle et algorithmique d’ELIZA lui faisait clairement comprendre qu’elle ne devait pas \u00eatre trait\u00e9e comme un v\u00e9ritable th\u00e9rapeute. C’\u00e9tait un syst\u00e8me aussi inerte et inconscient qu’une calculatrice de poche, et il n’avait rien \u00e0 dire sur la vie humaine. Il consid\u00e9rait cette id\u00e9e comme \u00ab obsc\u00e8ne \u00bb.<\/p>\n La r\u00e9v\u00e9lation d\u00e9concertante de l’effet ELIZA a commenc\u00e9 \u00e0 troubler Weizenbaum, l’amenant \u00e0 repenser le cadre r\u00e9gissant la relation entre l’homme et la technologie. Une interview r\u00e9alis\u00e9e en 1998 a mis en lumi\u00e8re la profondeur et la perspicacit\u00e9 de la pens\u00e9e de Weizenbaum. Elle a expos\u00e9 sa critique de la vision m\u00e9caniste de l’univers qui, selon lui, sous-tendait la tentative de remplacer les \u00eatres humains par des machines.<\/p>\n \u00ab Ces auteurs [partisans de l’IA], entre autres, v\u00e9hiculent une image extr\u00eamement dangereuse de l’homme \u00e0 l’aube du nouveau mill\u00e9naire \u00bb, a-t-il d\u00e9clar\u00e9 au journaliste Bernhard P\u00f6rksen lors de l’entretien.<\/p>\n \u00ab Elle repose sur l’id\u00e9e que l’homme est une machine qui peut – en principe et dans un avenir proche – \u00eatre comprise et d\u00e9cod\u00e9e afin d’\u00eatre corrig\u00e9e et am\u00e9lior\u00e9e. Le dogme central de cette conception de l’homme est l’id\u00e9e que chaque aspect de la vie est calculable, c’est-\u00e0-dire qu’il peut \u00eatre d\u00e9compos\u00e9 en processus calculables et formalisables. \u00bb \u00a9 CC BY-NC 2.0<\/span>Les pionniers de l\u2019intelligence artificielle Claude Shannon, John McCarthy, Ed Fredkin et Joseph Weizenbaum (\u00e0 dr.). Tandis que certains repoussaient les fronti\u00e8res de l\u2019intelligence des machines, Weizenbaum devint par la suite l\u2019un de ses critiques les plus virulents.<\/span><\/p>\n<\/div>\n La critique du transhumanisme<\/span><\/p>\n Dans cette interview, Weizenbaum s’en est pris \u00e0 la th\u00e9orie naissante du transhumanisme, affirmant qu’elle reposait sur une conception fondamentalement erron\u00e9e de la nature humaine et de la r\u00e9alit\u00e9 dans son ensemble.<\/p>\n Les passionn\u00e9s d’IA r\u00eavaient d’un \u00ab meilleur mod\u00e8le \u00bb de l’\u00eatre humain, d’une \u00ab humanit\u00e9 2.0 \u00bb, qui constituerait un bond \u00e9volutif facilit\u00e9 vers un plan sup\u00e9rieur, m\u00eame si cela devait rendre l’humanit\u00e9 1.0 obsol\u00e8te. Weizenbaum craignait que ces penseurs et scientifiques ne soient pr\u00eats, anim\u00e9s par une sorte d’instinct quasi-religieux, \u00e0 sacrifier l’homme d’aujourd’hui sur l’autel de l’homme du futur. Il est d’ailleurs all\u00e9 jusqu’\u00e0 qualifier la science mat\u00e9rialiste de \u00ab religion mondiale dominante aujourd’hui \u00bb.<\/p>\n En rabaissant l’humanit\u00e9 au rang de machine et en \u00e9levant la machine au rang de dieu, Weizenbaum craignait que les partisans de l’IA ne d\u00e9shumanisent les gens. Il a compar\u00e9 cette situation \u00e0 la rh\u00e9torique nazie pendant la Seconde Guerre mondiale.<\/p>\n Il a expliqu\u00e9 : \u00ab Je pense que le point commun fondamental entre le national-socialisme et les id\u00e9es de [le th\u00e9oricien de l’IA] Hans Moravec r\u00e9side dans la d\u00e9valorisation de l’\u00eatre humain et dans le fantasme d’un homme nouveau parfait qu’il faut cr\u00e9er \u00e0 tout prix. \u00bb<\/p>\n Une menace pour l’humanit\u00e9<\/span><\/p>\n Weizenbaum parlait en connaissance de cause : sa famille avait fui l’Allemagne nazie pour les \u00c9tats-Unis en 1935 apr\u00e8s avoir \u00e9t\u00e9 t\u00e9moin de l’ascension du r\u00e9gime hitl\u00e9rien.<\/p>\n Pourtant, le culte des machines et de la technologie pourrait s’av\u00e9rer encore plus cataclysmique que l’id\u00e9ologie toxique du nazisme, car il ne visait pas une race en particulier, mais l’humanit\u00e9 tout enti\u00e8re. \u00c0 l’issue de cette qu\u00eate effr\u00e9n\u00e9e de l’\u00eatre humain parfait, Weizenbaum a fait remarquer que \u00ab l’homme n’est tout simplement plus l\u00e0 \u00bb.<\/p>\n Weizenbaum aurait sans doute souscrit \u00e0 cette r\u00e9flexion de C.S. Lewis : \u00ab La nature humaine sera la derni\u00e8re partie de la Nature \u00e0 se soumettre \u00e0 l’Homme. […] La bataille sera certes remport\u00e9e. Mais qui, exactement, l’aura remport\u00e9e ? […] La conqu\u00eate ultime de l’Homme s’est av\u00e9r\u00e9e \u00eatre l’abolition de l’Homme. \u00bb<\/p>\n Pour Weizenbaum, une fausse image de l’\u00eatre humain \u00e9tait plus dangereuse que n’importe quelle arme humaine. Elle \u00e9tait souvent le motif qui poussait \u00e0 recourir aux armes ; elle n’\u00e9tait pas l’\u00e9p\u00e9e elle-m\u00eame, mais le bras qui la brandissait. Il voyait un grave danger dans l’amalgame entre l’homme et la machine. Les mettre sur un pied d’\u00e9galit\u00e9 revenait \u00e0 ignorer la dignit\u00e9 humaine et le respect de la vie, transformant les corps humains en simples \u00ab machines de chair \u00bb.<\/p>\n Il a expliqu\u00e9 : \u00ab L’histoire de ce si\u00e8cle, peut-\u00eatre le plus brutal de tous, nous enseigne \u00e0 quel point l’image de l’homme a jou\u00e9 un r\u00f4le d\u00e9terminant dans les crimes du pass\u00e9, en nous rappelant que les crimes les plus atroces ont \u00e9t\u00e9 rendus possibles parce que leurs auteurs ont ni\u00e9 l’humanit\u00e9 des victimes. \u00bb<\/p>\n Les d\u00e9tracteurs de Weizenbaum fondaient leur espoir de transcender la nature humaine gr\u00e2ce \u00e0 l’intelligence artificielle sur l’hypoth\u00e8se selon laquelle l’humanit\u00e9, le comportement humain et l’exp\u00e9rience humaine finiraient par \u00eatre enti\u00e8rement quantifi\u00e9s, compris et \u00e9lucid\u00e9s – et donc reproduits et am\u00e9lior\u00e9s. Weizenbaum, quant \u00e0 lui, affirmait avec force qu’un \u00eatre humain et l’univers dans lequel il \u00e9volue ne seront jamais enti\u00e8rement explicables ni \u00ab piratables \u00bb.<\/p>\n \u00ab Le monde regorge de myst\u00e8res, et le credo du milieu de l’IA, selon lequel tout est calculable, nie le myst\u00e8re de la vie \u00bb, a-t-il d\u00e9clar\u00e9. \u00ab Cela cr\u00e9e l’illusion d’une transparence totale et laisse entendre que tous les aspects de notre existence peuvent \u00eatre \u00e9lucid\u00e9s. \u00bb<\/p>\n M\u00eame si, \u00e0 l’\u00e9poque, son avertissement semblait \u00e0 beaucoup n’\u00eatre que les craintes r\u00e9trogrades d’un vieux grincheux scl\u00e9ros\u00e9 et d\u00e9connect\u00e9 de la r\u00e9alit\u00e9, il prend aujourd’hui une importance croissante. \u00a9 Alex Knight\/Pexels<\/span>\u00c0 mesure que les machines gagnaient en sophistication, Joseph Weizenbaum avertissait que le v\u00e9ritable danger ne r\u00e9sidait pas seulement dans leur puissance, mais dans la mani\u00e8re dont les \u00eatres humains finiraient par se percevoir eux-m\u00eames face \u00e0 elles.<\/span><\/p>\n<\/div>\n Des convictions fermes, des avertissements r\u00e9p\u00e9t\u00e9s<\/span><\/p>\n Au cours des d\u00e9cennies qui ont suivi la cr\u00e9ation d’ELIZA, et en particulier apr\u00e8s la publication en 1976 de son ouvrage Computer Power and Human Reason: From Judgment to Calculation<\/em>, la farouche opposition de Weizenbaum \u00e0 l’intelligence artificielle fit de lui une sorte de paria du monde universitaire et scientifique.<\/p>\n \u00ab Il y a certaines t\u00e2ches que l’on ne devrait pas confier aux ordinateurs, qu’ils soient capables ou non de les accomplir \u00bb, \u00e9crit-il dans son livre.Weizenbaum s’est ouvertement oppos\u00e9 aux id\u00e9es de John McCarthy et Marvin Minsky, deux des organisateurs de l’atelier de Dartmouth de 1956, qui a marqu\u00e9 la naissance de la recherche en IA. McCarthy et Minsky sont tous deux devenus des pionniers de la recherche en IA, qui \u00e9tait financ\u00e9e, \u00e0 ses d\u00e9buts, par l’arm\u00e9e am\u00e9ricaine. McCarthy a fustig\u00e9 le livre de Weizenbaum, le qualifiant de \u00ab moralisateur et incoh\u00e9rent \u00bb, et lui et ses coll\u00e8gues ont poursuivi leurs travaux.<\/p>\n L’avertissement de Weizenbaum est rest\u00e9 largement lettre morte.<\/p>\n Nous en sommes aujourd’hui \u00e0 un stade o\u00f9 la sophistication de nos chatbots d\u00e9passe de loin celle d’ELIZA, ce qui nous rend plus enclins \u00e0 tomber dans le pi\u00e8ge de consid\u00e9rer ces machines comme nos \u00e9gaux en tant que personnes. Nous avons vu des gens affirmer que les chatbots \u00e9taient dou\u00e9s de sensibilit\u00e9, nous les avons vus tomber amoureux de chatbots, et nous avons m\u00eame vu des personnes se laisser convaincre par des chatbots de se suicider.<\/p>\n De tels d\u00e9veloppements attristeraient sans doute le scientifique allemand. La fille de Weizenbaum, Miriam, a d\u00e9clar\u00e9 au Smithsonian Magazine que son p\u00e8re \u00ab aurait pris conscience de la trag\u00e9die que repr\u00e9sente le fait que les gens s’attachent litt\u00e9ralement \u00e0 des suites de z\u00e9ros et de uns, \u00e0 du simple code informatique \u00bb.\n
\n
Weizenbaum a publi\u00e9 la transcription ci-dessus dans un article de revue datant de 1966<\/a>, dans lequel il expliquait le fonctionnement d’ELIZA. En substance, ELIZA imitait essentiellement le style de psychoth\u00e9rapie rog\u00e9rienne, dans lequel c’est le patient qui m\u00e8ne la conversation. Le th\u00e9rapeute intervient en posant des questions ou en faisant de simples remarques afin d’inciter le patient \u00e0 approfondir sa r\u00e9flexion. Ce mod\u00e8le \u00e9tait id\u00e9al pour un chatbot rudimentaire qui devait \u00eatre capable de simuler une conversation, mais qui n’avait pas la sophistication n\u00e9cessaire pour g\u00e9n\u00e9rer beaucoup de texte original.<\/p>\n
\n
Weizenbaum s’\u00e9tait rendu compte que la tentation d’attribuer une humanit\u00e9 ou une personnalit\u00e9 \u00e0 ELIZA – et \u00e0 d’autres machines – ne concernait pas uniquement sa secr\u00e9taire. Il s’est s\u00e9rieusement inqui\u00e9t\u00e9 lorsque certains psychiatres ont proclam\u00e9 haut et fort qu’ELIZA (ou une variante de celle-ci) pourrait en r\u00e9alit\u00e9 s’av\u00e9rer utile \u00e0 des fins th\u00e9rapeutiques.<\/p>\n
\n<\/p>\n<\/a><\/p>\n
\n<\/p>\n<\/a><\/p>\n
\n<\/p>\n