DES MACHINES INTELLIGENTES

La science des ordinateurs inquiète et fascine : le courrier souvent passionné reçu à la suite du débat organisé par la France Catholique lors du passage à Paris de Jacques Vallée, de l’Institut du futur, en témoigne ¹. Il atteste le fossé de malentendus qu’une regrettable et peut-être dramatique absence d’information a laissé se creuser entre le public qui réfléchit et les savants.

1. Plusieurs lecteurs dénoncent (avec raison) la superstition de l’ordinateur. W.B…, de Lons-le-Saunier, rappelle quelques lapsus monumentaux, celle de telle fusée spatiale américaine égarée par suite d’une erreur de signe, celle de la commission anglaise des salaires qui avait abouti a une évaluation erronée du salaire des mineurs, etc.

Le médecin choisit, lui…

Mais que prouvent ces erreurs ? Quand on en cherche les causes, on en trouve de deux types, et de deux seulement : 1. la ferraille de la machine s’est détraquée (ce cas est en voie de disparition), et 2. c’est l’utilisateur qui a mal programmé. Ces deux défaillances sont, on le voit, l’une et l’autre d’origine humaine : dans le premier cas, la fiabilité n’a pas été proprement assurée, dans le second le programmeur n’a pas compris son travail.

2. D’autres lecteurs insistent, non sur les défaillances de la machine (destinées à disparaître) (a) mais sur ses limitations : certains opérations de la pensée humaine seraient, disent-ils, à jamais exclues des possibilités de la « pensée artificielle ». Ainsi, par exemple, le docteur de Font-Réaulx oppose-t-il au formalisme rigide de l’ordinateur la démarche du médecin « qui choisit j’allais dire d’instinct, par son expérience, par la présentation du malade, par une inflexion de voix, une réticence, une attitude, une médaille ou une bague particulières, un rongement d’ongles, une passivité ou une exubérance excessives… les questions qu’il faut poser. »

Disons-le bien clairement : il est évident que rien de tout cela, qui fait, en effet, le médecin, n’est imitable par les machines que nous connaissons. Mais je gage que beaucoup seront surpris de lire que cette incapacité des machines actuelles n’est nullement due à une impossibilité théorique. Ce que décrit notre correspondant (et bien d’autres choses qu’un homme ne saurait faire) est théoriquement mécanisable, les spécialistes le savent depuis les études de Turing et de von Neumann (a) ²
.

Il n’est pas question, bien entendu, de décrire la machine capable de remarquer une certaine façon de se ronger les ongles, capable aussi de rapprocher cette remarque d’autres observations aussi subtiles et d’en déduire les questions à poser au patient sur son enfance et ses espoirs déçus. Mais on n’a pas besoin de décrire une telle machine pour savoir si elle est possible ou non.

Un des théorèmes démontrés par Turing porte sur ce qu’il appelle les « automates universels ». Ce théorème énonce que l’on peut toujours construire un automate au moins aussi capable (effective) que tout automate concevable – par exemple, précise von Neumann pour bien faire sentir l’aspect paradoxal de la démonstration, « qu’un automate deux fois plus gros et plus complexe que l’automate considéré » !

Pour la démonstration de ce théorème apparemment contradictoire, je ne peux que renvoyer, soit à Turing lui-même, soit à von Neumann, qui en donne dans le premier texte cité en note un exposé, non mathématique. Le lecteur verra que la contradiction n’existe pas. Il verra aussi qu’une conséquence immédiate de ce théorème est la possibilité de réaliser des automates capables de reproduire toute activité intellectuelle susceptible d’une définition, c’est-à-dire toute activité intellectuelle exprimable.
Le lecteur aura sans doute retenu au passage le mot « reproduire » : certes, pensera-t-il, l’automate peut reproduire, mais il ne peut que cela, il ne saurait inventer ni trouver du nouveau.

C’est là une des réflexions couramment répétées à propos de l’ordinateur. Or, c’est une erreur. A partir des théorèmes de Turing, von Neumann a montré à son tour que l’on peut construire des automates capables de se reproduire, et, au-delà, de dépasser par leur propre reproduction toute complication imaginable.

« Ces automates autoreproducteurs, écrit-il, illustrent que la complication à ses plus bas niveaux est dégénérative, c’est-à-dire que l’automate qui produit d’autres automates sera seulement capable d’en faire de moins compliqués que lui-même. Cependant, poursuit-il, il y a un certain seuil de complication au-dessus duquel la caractéristique dégénérative cesse d’être universelle. A ce niveau de complications, les automates se reproduisent eux-mêmes ; au-dessus, des automates capables de construire des entités plus compliquées qu’eux-mêmes deviennent possibles. » ³

Elle ne saura jamais aimer

Il découle de là que, passée une certaine complication (qui certes n’est pas près d’être atteinte mais que la théorie permet de définir), des machines qui seront forcément les plus compliquées construites par l’homme commenceront de produire d’autres machines plus compliquées qu’elles-mêmes, donc plus compliquées que toute machine conçue par l’homme. Ces machines à leur tour seront capables d’en construire d’autres encore plus compliquées, et ainsi de suite. La théorie ne prévoit aucune limite à cet accroissement ⁴ . On peut cependant penser que certaines limites apparaîtront, dues non à la théorie, mais aux insuffisances de l’infrastructure électronique.

Ne comptons pas trop sur ces insuffisances pour sauver notre suprématie intellectuelle ! Il est piquant de relire Turing et von Neumann vingt ans après et de voir comment ces mathématiciens, peut-être pour se rassurer, avaient eux-mêmes calculé les insuffisances dont je parle, les fixant en un point que nous avons dépassé depuis longtemps : ils n’avaient simplement pas prévu l’invention du transistor et du circuit imprimé ! Ces deux esprits géniaux s’étaient trompés sur deux points, et dans les deux cas par sous-estimation technique : ce qu’ils annonçaient pour la fin du siècle était atteint vers 1965, et les bornes de fiabilité qu’ils croyaient inaccessibles sont depuis longtemps franchies.

Est-ce à dire que la machine sera bientôt plus « intelligente » que l’homme ? Si par intelligence on entend la faculté discursive qui démontre les théorèmes, passe les tests et gagne les parties d’échecs, l’homme est déjà dépassé sur bien des points et le sera tôt ou tard sur tous. Si c’est de l’intelligence contemplative que l’on parle, si c’est de l’intelligence de l’âme et du cœur, la question n’a évidemment pas de sens, fût-ce au niveau le plus sommaire comme le dit Turing lui-même, on ne peut pas construire une machine qui aime les fraises et les ice creams ⁵ ! L’eschatologie de la machine est peut-être de purger la raison raisonnante de son orgueil.

Aimé MICHEL

(a) A. M. Turing : Computering machinery and intelligence, dans : Mind, N° 59, p. 433, 1950, mais on voit déjà naître ces idées dans une étude du même Turing datant de 1937, avant les premiers ordinateurs !
John von Neumann : The General and Logical theory of Automata (repris dans J.R. Newman : The World of mathematics, vol. IV, p. 2070), et : Probabilistic Logics and the Synthesis of reliable organism from unreliable components, in Automata Studies, édit. Shannon et McCarthy, 1956.

Chronique n° 181 parue dans France Catholique-Ecclesia – N° 1426 – 12 Avril 1974

Courrier des lecteurs : La machine et la tarte aux fraises

Notre collaborateur et ami, Aimé Michel reçoit un courrier abondant, il en a extrait [la lettre] qu’on va lire :

Ayant déjà fait l’expérience de la générosité de votre accueil, je me décide à m’exprimer :

Je retrouve dans mon souvenir un passage de la Genèse où il est dit qu’ayant achevé la création du monde et des espèces végétales et animales. Dieu dit : « Faisons l’homme à notre image et notre ressemblance ».

Or, j’entends encore la définition de Dieu (si j’ose dire) faite ici ou là dans la Bible, spécialement dans le Nouveau Testament : Dieu est Amour.
Amour, mot bien galvaudé dans le langage courant. C’est pourtant, dans l’intention divine, la caractéristique de l’homme, son don essentiel.
Les animaux sont capables d’attachement, souvent chez le chien par exemple, un attachement émouvant, mais ce n’est pas l’amour. Il éprouve un élan véritablement spirituel. C’est là au moins un commencement du véritable amour.

Je n’en finirais pas sur ce sujet si je reprenais les passages innombrables des Saintes Écritures qui traitent de l’amour des hommes et de son rapport à l’amour de Dieu.

AIMÉ MICHEL. — Mais bien entendu ! C’est l’amour, plus que la « tarte aux fraises » de Turing, qui fait l’inimitable singularité de l’homme, sa ressemblance à l’image de Dieu. Il est désespérant de ne pas le voir. Peut-être est-ce pour ne l’avoir pas vu que Turing lui-même s’est suicidé si jeune ⁶, « au plus haut de son génie » dit J.-R. Newman.

Les Notes de 1 à 6 sont de Jean-Pierre ROSPARS, 17 août 2013

1. Aimé Michel avait réuni autour de l’informaticien Jacques Vallée dans les locaux de France Catholique — du 12 rue Edmond-Valentin 7e arrdt —plusieurs des collaborateurs du journal. Il en était résulté deux longs comptes-rendus réalisés par Jean-Pierre Maurel : A l’Institut pour le futur : l’appareil Forum peut-il changer les rapports humains ? Une table ronde autour de Jacques Vallée de l’Institut du futur dans F.C.-E. n° 1418 du 18 février 1974. Puis : La recherche pour le futur : La personne humaine en ordinateur, F.C.-E. n° 1419 du 22 février 1974. Sur Vallée voir aussi la note 4 de la chronique n° 104, Software et politique, d’août 1972 (parue ici le 1.6.2010) et la note 576, p. 494, de La clarté au cœur du labyrinthe (www.aldane.com). Voir également les chroniques n° 44, L’étrange expérience d’Apollo XIV (025.10.2009), n° 105, Comment la planification tue la recherche – L’exemple du Plan Calcul (20.02.2012), n° 110, Les ovnis et l’irrationnel – Réflexions philosophiques à propos d’une énigme persistante (05.02.2012), et n° 154, Penser ensemble – Deux modes de pensée : algorithmique et heuristique (05.11.2012)
2. Les article de Turing de 1937 (On computable numbers, with an application to the Entscheidungsproblem, Proc. London Math. Soc., série 2, vol. 42, pp. 230-265) et de 1950 mentionnés en note par Aimé Michel sont disponibles en traduction française (par Julien Basch et Patrice Blanchard) dans le livre d’Alan Turing et Jean-Yves Girard : La machine de Turing (Seuil, coll. Points Science n° S131, 1995) sous les titres : « Théorie des nombres calculables, suivie d’une application au problème de la décision » et « Les ordinateurs et l’intelligence ». Ces deux classiques de l’histoire des sciences sont de difficultés très inégales : le premier est destiné à des mathématiciens tandis que le second est d’un abord plus aisé.

   Que dit l’article de 1937 ? Dans une première partie, Turing y définit ce qu’on appelle depuis les machines de Turing et la machine de Turing universelle. Ces machines abstraites (sur le papier) agissent sur des informations présentées en entrée (séquences d’instructions et de données) et sont susceptibles de fournir des résultats ; elles formalisent donc la notion d’algorithme. Une machine de Turing n’est autre qu’on programme informatique et une machine de Turing universelle est un ordinateur capable de faire tourner différents programmes. (La différence entre programme et ordinateur s’estompe si on se souvient qu’un ordinateur peut être « émulé », c’est-à-dire imité, par un programme tournant sur un autre ordinateur). Une paradoxale difficulté de la présentation de Turing est que nous sommes maintenant si habitués à utiliser des programmes informatiques sur des ordinateurs qu’on a du mal à imaginer qu’il fut un temps où ils n’existaient pas encore, où il a fallu les imaginer et les décrire avec un vocabulaire qui n’est pas encore le nôtre. Aujourd’hui, son caractère abstrait et son indépendance de la technologie rendent la machine de Turing précieuse pour les théoriciens qui s’en servent comme référence.

   Dans une seconde partie Turing utilise sa « machine » pour attaquer le problème de la « calculabilité ». Il montre qu’une telle machine peut résoudre n’importe quel calcul mathématique pourvu qu’il soit représentable par un algorithme. Par contre, elle ne peut pas résoudre le problème de l’arrêt, à savoir décider en examinant la description d’une machine de Turing si elle s’arrêtera pour une entrée donnée car ce problème n’est pas calculable. Autrement dit, on ne peut pas écrire un programme qui, après avoir examiné le code d’un programme, pourra décider si le programme s’arrête. Turing en déduit que le problème de la décision (Entscheidungsproblem) de Hilbert (une proposition mathématique est-elle démontrable ?) n’a pas de solution.

   L’article de 1950 tente de répondre à la question « Les machines peuvent-elles penser ? ». Pour cela Turing introduit ce qu’il appelle le « jeu de l’imitation » ; il consiste à faire dialoguer un homme et un ordinateur et à demander à un interrogateur humain qui n’a accès qu’au dialogue s’il peut dire qui est l’homme et qui est la machine. « Je crois, répond-t-il, que dans une cinquantaine d’années il sera possible de programmer des ordinateurs, avec une capacité mémoire d’à peu près 109, pour les faire si bien jouer au jeu de l’imitation qu’un interrogateur moyen n’aura pas plus de 70 % de chances de procéder à l’identification exacte après cinq minutes d’interrogation. » Ce en quoi il se trompait, des ordinateurs ayant une mémoire d’un milliard de chiffres ayant été disponibles bien avant la fin du siècle, mais sans qu’on puisse qualifier aucun d’eux de « machine pensante ».

   Pour défendre son opinion, Turing soulève neuf objections auxquelles il répond. Voici ces objections : Dieu a donné une âme immortelle à l’homme mais ni aux animaux ni aux machines ; mieux vaut croire que les machines ne peuvent pas penser car cela aurait des conséquences trop terribles ; il y a des limites aux pouvoirs des machines à états discrets en raison du théorème de Gödel ; « aucun mécanisme ne peut ressentir du plaisir quand il réussit, du chagrin quand ses lampes grillent » ; on ne peut faire une machine qui soit « gentille, débrouillarde, belle, amicale » etc. ; jamais une machine n’apprendra ou ne fera quelque chose de vraiment nouveau ; le système nerveux n’est pas une machine à états discrets ; « il n’est pas possible de produire un ensemble de règles qui ait la prétention de décrire ce qu’un homme devrait faire dans tout ensemble concevable de circonstances » ; l’homme mais pas la machine possède des capacités de perception extrasensorielle. Les réponses à ces objections occupent près de la moitié de l’article.

   On notera en particulier la dernière objection fondée sur les résultats des expériences de parapsychologie ; en effet il admet que cet argument est « très fort » car « les preuves statistiques, au moins pour la télépathie, sont accablantes ». Malgré tout, il estime que « beaucoup de théories scientifiques semblent continuer à fonctionner dans la pratique malgré les conflits avec la perception extrasensorielle ; que l’on peut, en fait, très bien se débrouiller si on l’oublie. »

   Bien que Turing ne se soit jamais considéré comme un philosophe son article de 1950 est un des plus cités par les philosophes de langue anglaise (mais probablement pas par leurs collègues français, au moins jusqu’à une date récente, ce qu’Aimé Michel déplorait déjà dans la chronique n° 26, Propédeutique à la névrose, mise en ligne le 07.06.2010).

3. Von Neumann (1903-1957), Hongrois de naissance et de formation, expatrié aux États-Unis à partir de 1931, est considéré, avec Turing, comme un des précurseurs de l’informatique, mais plus que ce dernier il s’illustra dans d’autres domaines dont la physique quantique. Son article « Théorie générale et logique des automates » est extrait d’un livre intitulé Cerebral Mechanisms in Behavior; the Hixon Symposium (Lloyd A. Jeffress ed., Wiley, Oxford, 1951) ; ce livre rassemble les contributions de six chercheurs (W. C. Halstead, H. Klüver, W. Köhler, K. S. Lashley, W. S. McCulloch et J. von Neumann) présentées lors d’un symposium qui s’est tenu en septembre 1948 au Caltech, l’Institut de Technologie de Californie, sous la présidence de H. W. Bronsin.

   Dans son article, von Neumann présente les caractéristiques des ordinateurs et les compare aux êtres vivants ; appelle de ses vœux une théorie logique des automates ; décrit les procédés différents de numérisation des quantités continues utilisées par le système nerveux et par les ordinateurs ; discute les réseaux de neurones formels ; enfin introduit le concept de complication, la théorie des machines de Turing, et l’autoreproduction. C’est cette dernière partie qu’Aimé Michel résume et les phrases qu’il cite en sont la conclusion.

4. Cet accroissement indéfini de la capacité des machines fait l’objet de la chronique n° 50, La troublante loi de Good – Quand l’intelligence des machines aura commencé d’échapper à la nôtre (06.12.2010). Ces idées de John von Neumann, Irving John Good et leurs émules (Hans Moravec, Ray Kurzweil, etc.) sont plus que jamais d’actualité. On peut les discuter de deux points de vue, pragmatique et fondamental.

   Commençons par l’approche pragmatique qui est bien illustrée par Jean-Yves Girard, chercheur à l’université de Marseille-Luminy, spécialiste renommé de la logique mathématique, dans son commentaire de l’article de Turing (voir note 2 ci-dessus). Elle peut se résumer ainsi : (a) « on est beaucoup plus loin de la machine intelligente que Turing ne l’imaginait ; tellement loin qu’on ne sait même pas si les travaux en cours vont effectivement dans la bonne direction. Pratiquement, la question ne se pose pas pour notre génération » ; (b) « la solution actuellement la plus raisonnable est celle de couples homme-machine ; ainsi, plutôt que de demander aux machines de trouver des théorèmes à notre place, on verrait l’homme proposer l’ossature d’un théorème, l’ordinateur tentant, quant à lui, d’en vérifier les détails. »

   Pour tenter de prévoir l’évolution à long terme il faut avoir recours à des arguments plus fondamentaux qui sont l’objet de la note suivante.

5. Cet exemple de la tarte aux fraises fait partie de la cinquième objection discutée par Turing celle des « arguments provenant de diverses incapacités ». Elle prend ici la forme suivante : « Je vous concède que vous pouvez fabriquer des machines qui fassent tout ce que vous aurez mentionné, mais vous ne serez jamais capable d’en fabriquer une qui (…) aime les fraises à la crème. » Turing balaye ainsi l’argument : « Le lecteur a pu être frappé par la futilité de l’incapacité à aimer les fraises à la crème. Il est possible qu’on puisse faire aimer ce plat délicieux à une machine, mais toute tentative pour le faire serait idiote. » Il ajoute à juste titre : « Les critiques que nous considérons ici sont souvent des formes déguisées de l’argument issu de la conscience. » Il esquive donc la question de savoir si la machine qui passe avec succès son test d’imitation est consciente ou non parce que « la seule manière dont on pourrait s’assurer qu’une machine pense serait d’être la machine et de ressentir qu’on pense. On pourrait alors décrire ces sentiments au monde, mais bien sûr personne n’aurait de raisons d’en tenir compte. » Malgré tout, Turing conclut : « Je ne voudrais pas donner l’impression de penser qu’il n’y a pas de mystère relatif à la conscience. »

   C’est ce caractère pour l’instant scientifiquement insaisissable de la conscience sur lequel Aimé Michel est régulièrement revenu :
   « Il n’existe et ne peut exister – c’est la démonstration de Turing en particulier – aucun moyen imaginable de distinguer un processus conscient d’un processus inconscient. Quel que soit le moyen imaginé, si subtil et sophistiqué soit-il, on peut toujours concevoir une machine capable de passer le test et de démontrer qu’elle est consciente et qu’elle souffre quand on lui dévisse un écrou ou qu’on lui débranche un contact. » (n° 102, Le lit de Procuste, 04.08.2010).

   « Il ne prouve certes pas la pensée, qui est improuvable même chez l’homme (c’est le paradoxe de Turing et, indirectement, la preuve que la pensée est de nature spirituelle). » (n° 74, La mort et le rêve – La science des rêves 3, 13.04.2011)

   « Il n’existe et il ne saurait exister aucune preuve testable de votre prétendue douleur. » (n° 126, Avis désintéressé à MM. les assassins – Les hypothèses les plus certaines ne sont pas de nature scientifique, 04.06.2012)

   « Le sens du paradoxe [de Turing] n’est pas là ; mais dans la démonstration que la conscience n’est connue que de la conscience et n’est pas objet de science » (n° 255, Les mouches – Ces théologiens sérieux qui repoussent l’idée d’une Personne divine, 11.02.2013).
   La thèse que dessine Aimé Michel peut se résumer en deux affirmations : (a) la conscience doit être dissociée de l’intelligence (la raison raisonnante) ; (b) l’intelligence mais non la conscience peut être imitée par des machines dont le fonctionnement est fondé sur des algorithmes. Les tenants contemporains de la singularité (quand l’homme sera dépassé par l’ordinateur), du transhumanisme et du posthumanisme (voir la chronique n° 91, La fin de la nature humaine ? – Un avenir impensable : l’homme va changer de nature et devenir un autre être, 26.09.2011) nient la thèse (a) : pour eux la conscience est un épiphénomène qui, au mieux, émerge du fonctionnement algorithmique du cerveau tandis que le libre arbitre est une pure illusion, si bien que la dissociation proposée n’a pas de sens. Seulement cette conclusion est prématurée car il n’est pas prouvé que la conscience naisse des seuls processus connus du cerveau (les neurones, leurs synapses etc.).

   A cette première difficulté s’en ajoute une seconde : rien ne prouve non plus que la conscience ne soit pas indispensable à l’exercice de l’intelligence telle qu’on l’observe chez l’homme (sur ce point, omis du présent article, voir la chronique n° 154, Penser ensemble – Deux modes de pensée : algorithmique et heuristique, mise en ligne le 05.11.2012). Or, les développements récents en physique quantique donnent un poids considérable à ces deux objections. Dans cette perspective le remplacement et dépassement de l’homme par une machine algorithmique serait dépourvu de fondement.

   Mais ne concluons pas trop vite pour autant. D’une part les machines algorithmiques vont continuer d’évoluer et qui peut dire ce qu’elles feront et ne feront pas ? D’autre part l’irruption de la physique quantique dans ce domaine ne permettra-t-elle pas la conception de machines non algorithmiques, susceptibles, elles, de conscience et de libre arbitre ?

6. La brève et peu ordinaire vie d’Alan Turing (né à Londres en 1912, mort à Manchester en 1954) a inspiré bien des œuvres, notamment de sa mère (1959) et d’un biographe (1983). Je n’en retiendrai que deux épisodes.

   En 1926, à l’École de Sherborne, il se lie d’amitié avec son camarade Christopher Morcom. Mais celui-ci meurt en 1930 des complications d’une tuberculose contractée en buvant du lait de vache contaminé. Turing en perd la foi, devient athée et matérialiste, bien qu’il continue de croire à la survie de l’esprit après la mort (ainsi, à propos de la deuxième objection aux machines pensantes il note « peut-être devrait-on […] chercher [consolation] dans la métempsycose »).

   Pendant la guerre, alors qu’il joue un rôle déterminant dans l’élucidation du code de la machine Enigma utilisé par les états-majors allemands pour crypter leurs communications, certains le décrivent comme « homosexuel pratiquant et agressif ». A l’occasion d’un vol chez lui en janvier 1952, il porte plainte auprès de la police qui arrête le voleur. Mais durant l’enquête il doit reconnaître une relation homosexuelle avec un jeune chômeur de 19 ans que le voleur a dénoncé. L’homosexualité étant illégale, Turing est condamné. On lui donne le choix entre l’emprisonnement et un traitement aux œstrogènes pour réduire sa libido.

   Il accepte le traitement ce qui le rend impuissant. Du fait de sa condamnation il perd ses autorisations et ne peut plus travailler au Quartier Général des Communications du Gouvernement. On craint que son homosexualité n’en fasse une proie pour les agents soviétiques et peut-être subit-il des pressions.

   Le 8 juin 1954 on le trouve mort chez lui d’un empoisonnement au cyanure. On conclut au suicide par ingestion d’une pomme contaminée (non analysée) mais sa mort reste entourée de mystère. Pour certains il n’aurait montré aucun signe de désespoir mais d’autres disent qu’il a parlé de suicide. Certains ont suggéré que la mort avait eu lieu par inhalation accidentelle de cyanure lors de l’utilisation d’un appareil qu’il avait chez lui mais d’autres pensent qu’il a délibérément disposé cet appareil pour que sa mère puisse croire à un accident (voir http://plato.stanford.edu/entries/turing/ .