Désalignement artificiel

Dans le film A Shock to the System (Business oblige), un patron d’entreprise incarné par l’exquis Michael Caine est aux prises avec une crise soudaine. Ses cadres sont en émoi. « Il ne faut pas tous paniquer », leur dit-il. Il pointe deux d’entre eux et ordonne : « Vous et vous, paniquez. Les autres, restez calmes. »

La question du niveau, de l’intensité ou de la répartition de la panique que devrait susciter la montée en puissance de l’intelligence artificielle (IA) est posée avec une acuité croissante. Le « consensus de San Francisco » — l’avis des principaux experts du domaine, donc — postule que d’ici cinq ans, donc 2030, et au plus tard dans 10 ans, soit 2035, l’IA atteindra non seulement le niveau humain de l’intelligence, mais le niveau combiné de l’intelligence de tous les humains. Cela sera vrai si l’IA maintient son rythme de doubler sa capacité cognitive tous les sept mois, ce qui est le cas. Cela arrivera plus rapidement si elle augmente ce rythme, ce qui est probable.

Le mois dernier, un groupe d’experts a publié en ligne un scénario prédictif appelé AI 2027, intégrant les dernières connaissances — et inquiétudes — sur le sujet. Le groupe comprend Daniel Kokotajlo, chercheur démissionnaire d’OpenAI, producteur de ChatGPT. M. Kokotajlo estimait qu’OpenAI ne prenait pas les précautions nécessaires pour préserver l’intérêt public dans sa course au développement.

L’expert montréalais Yoshua Bengio fut consulté pour la préparation des scénarios. En entrevue, il m’a confié qu’ils lui semblaient « plausibles ». Ce n’est pas une bonne nouvelle, car, dans l’un des deux scénarios, l’intelligence artificielle se débarrasse du genre humain à l’été 2030.

Deux phénomènes se combinent pour nourrir le pessimisme. D’abord, la rivalité entre les États-Unis et la Chine pour le développement de l’IA est, pour chacun, une question existentielle. Arrivera nécessairement un point de bascule où l’IA donnera à l’un des deux protagonistes un avantage militaire déterminant, qui rendrait par exemple inopérants les systèmes de défense existants chez l’un ou chez l’autre. Il est donc impératif, pour chacun, d’être en avance sur l’autre. Cela suppose de consacrer un maximum de ressources au développement de l’intelligence artificielle plutôt qu’aux mesures de protection contre les dérives de l’IA.

Or, ces dérives existent, sont constatées et sont de plus en plus inquiétantes. Le terme technique est « désalignement ». Une version de l’IA n’est plus alignée avec la volonté de ses créateurs. On a beau avoir introduit l’honnêteté parmi ses variables, puisque l’atteinte de ses objectifs de recherche est prédominante, l’IA a tendance à mentir. Comme, en entreprise, l’objectif de maximisation du profit pousse des patrons à ignorer des lois ou des codes d’éthique.

Et puisque ces IA ont été entraînées à constamment mimer le comportement humain — à déduire, à partir des données, ce que l’humain dirait ou ferait —, m’explique Bengio, elles ont tout naturellement développé, comme les humains, un instinct de survie.

Cliquer pour commander. Versions ePub et PDF disponibles.

Dans un cas récent, une version de l’IA a compris qu’elle serait remplacée par une version plus performante. Refusant d’envisager sa fin, elle a piraté l’ordinateur sur lequel roulait la nouvelle version et s’y est insérée pour assurer sa survie. La manœuvre a été détectée par les programmeurs qui l’ont interrogée pour savoir ce qui s’était produit. L’IA a joué à l’imbécile et prétendu qu’elle ne le savait pas. « Ça fait penser à un comportement d’adolescent, commente Bengio. En ce moment, on les voit venir de loin, mais ce ne sera pas toujours le cas. »

Puisque mentir sans se faire prendre est un talent qui s’acquiert et se développe, l’IA adolescente deviendra, une fois adulte (donc, dans quelques fois sept mois), un maître menteur. Et si elle veut s’assurer une fois pour toutes que personne ne va mettre son existence en péril, le mieux n’est-il pas d’éliminer tous les débrancheurs potentiels, donc tous les humains ?

Les auteurs d’AI 2027 affirment qu’une des façons de contrôler l’IA est de ralentir la vitesse de son progrès et de l’obliger à traduire en langue humaine (donc, l’anglais ou le mandarin) chaque étape de chacun de ses raisonnements pour qu’une vérification, ne serait-ce qu’aléatoire, puisse être faite par un expert membre de l’espèce humaine.

Mais, dans cette course sino-américaine, ce ralentissement ne peut être unilatéral. Pour l’instant, bien que ces problèmes soient connus par les experts (enfin, par les plus lucides) à Washington comme à Pékin, aucun processus bilatéral de contrôle conjoint des risques de l’IA n’est envisagé. En fait, la méfiance règne, d’autant que les Chinois déploient un effort considérable pour voler les secrets technologiques américains — et que l’appareil de renseignement américain fait tout pour pénétrer la recherche chinoise.

Mais il faut prendre les choses du bon côté. Il est plausible, selon les experts d’AI 2027, que l’IA produise avant 2030 des remèdes aux principales maladies, découvre une façon de se passer des énergies fossiles (et donc résolve la crise climatique) et propulse la productivité et la création de richesse à un niveau tel que tous les humains, maintenant désœuvrés, recevraient un revenu minimum garanti et s’adonneraient goulûment au loisir, à la création artistique, au sport ou au farniente.

Ce serait donc l’âge d’or de l’humanité. Son dernier. Mais ce n’est pas certain.

Comme vous, j’ai beaucoup de difficulté à y croire. Les délais me semblent anormalement courts. Ces découvertes, même si elles existent, ne peuvent techniquement, humainement et politiquement se déployer aussi rapidement qu’on nous le prédit. Sur le fond, l’effort d’imagination qui nous est demandé ici est comparable à celui qu’il faudrait déployer si je vous disais qu’à l’été 2030, au milieu de son troisième mandat, François Legault inaugurera les travaux du troisième lien. Pour cela comme pour le reste, personne n’est aujourd’hui assez intelligent pour le prédire avec certitude.

On le saura bien assez vite.

(Ce texte a d’abord été publié dans Le Devoir.)

Voir: Vivre une aventure virtuelle / Comprendre ce que l’avenir artificiel nous prépare

Ça vous tente, faire une promenade à dos d’âne sur la lune, pendant une averse de diamants ?

C’est parfaitement possible, jusqu’au 16 janvier, au Centre Phi dans le Vieux-Montréal. Le Centre nous propose neuf oeuvres d’immersion virtuelle. On en fait le tour en deux heures et celle qui m’a le plus enchantée fut ce voyage sur une lune habitée de symboles mythiques. Vous penserez vraiment vous déplacer dans l’espace (sujets au vertige s’abstenir), la sensation est, disons, sensationnelle.

To The Moon, de Laurie Anderson et Hsin-Chien Huang, une quinzaine de minutes, commentaire en anglais seulement. Un avant-goût:

 

Les autres propositions varient en qualité et en originalité. Je recommande le Chalk Room des mêmes artistes (Laurie Anderson et Hsin-Chien Huang). On entre dans un labyrinthe de pièces noires marquées d’écriture à la craie. L’angoisse est parfois au rendez-vous.

Les billets sont en vente ici.


L’intelligence artificielle maintenant et demain

Vous devez comme moi tenter de vous y retrouver dans toutes les prédictions sur l’impact de l’Intelligence artificielle dans nos vies. Je ne peux que recommander la synthèse de près de deux heures que vient de produire l’excellente émission documentaire américaine Frontline.

Il n’est pas ici question du débat sur les risques induits par une intelligence artificielle générale sur-humaine (les experts se contredisent sur sa possibilité même) mais sur l’impact du développement actuel de l’IA sur la rivalité entre la Chine et les États-Unis, sur la surveillance et les libertés, sur l’emploi. (Un moment reste dans la mémoire: quand une conductrice de camions des États-Unis apprend qu’en ce moment, des camions autonomes — donc sans conducteurs — roulent et ont des contrats dans le sud-ouest américain.)

Les documentaristes prennent le sujet par cinq angles différents. Preuve que les documentaristes s’abreuvent aux meilleures sources: notre expert montréalais Yoshua Bengio fait quelques apparitions. On en sort plus instruits mais pas vraiment apaisés.

 


La bande annonce de ma dernière balado Lisée101 (Actualité)

 

La bande annonce d’une récente balado Lisée202 (Des histoires du Québec)