Chronique tokyoïte du jour

L’épisode de forte chaleur qui a sévi pendant plusieurs jours dans l’immense conurbation de Tokyo a pris fin avec, comme on pouvait s’y attendre, une série d’orages ininterrompue pendant 36 heures. La température a chuté de 40,5 degrés à 25 en fin de nuit, et ce vendredi 5 août l’air est léger et j’ai pu reprendre les ultimes travaux de jardinage dans le petit espace vert de la maison de mon fils avant de partir pour les mers du sud. La vie est redevenue normale, sans air conditionné, sans devoir affronter une chaleur étouffante qui coupe le souffle car aggravée par un taux d’humidité atteignant 75 %.

Comme disaient les anciens, ces paysans de mon hameau natal, après une grande chaleur il y a de grands orages. Les personnes habilitées tiraient alors des fusées contenant du nitrate d’argent en direction des gros nuages noirs précurseurs d’une averse de grêle dévastatrice. Ce type de prévention existe-t-il toujours ? J’ai quelques doutes. On parle d’ingénierie climatique pour refroidir le climat et tant pis pour les vignes dévastées par la grêle … On vit aujourd’hui dans un monde étrange qui fait croire qu’un ordinateur peut trouver toutes les solutions à nos problèmes mais en ce qui concerne la météorologie il faudra bien s’en remettre un jour au savoir de ces anciens à qui il suffisait d’observer le ciel pour prévoir la pluie ou le beau temps.

On parle d’intelligence artificielle qui trouvera une solution à tous nos problèmes, mais le savoir acquis par l’expérience ne sera jamais remplacé par la plus sophistiquée des machines à calcul car c’est bien ce dont il s’agit quand on se gargarise avec des mots comme « intelligence artificielle » qui ne veulent rien dire. La bêtise humaine ne sera jamais vaincue par les ordinateurs … 

L’ « intelligence artificielle » : un abus de langage

Tous les développeurs et programmeurs en informatiques utilisent quotidiennement des algorithmes. Inutile d’avoir la prétention de décrire ici ce qu’est un algorithme, un excellent article de Wikipedia l’a fait pour vous : ( https://en.wikipedia.org/wiki/Algorithm ). Quand Cédric Villani, mathématicien français prestigieux distingué par la médaille Fields, l’équivalent du prix Nobel pour cette discipline, et devenu député LREM, a été chargé d’étudier l’impact et l’avenir de l’intelligence artificielle il s’est rendu compte que moins de 30 % de la population interrogée ignorait ce qu’était un algorithme. Pourtant dans la vie quotidienne chacun d’entre nous fait des choix avec ou sans un bout de papier pour clarifier ses idées et construit mentalement un algorithme.

Prenons un exemple qui est une prose de mon cru. Je pars en vacances avec ma voiture qui consomme X litres pour 100 kilomètres. J’ai le choix entre l’autoroute sur laquelle je roulerai naturellement le plus vite possible pour gagner du temps. Si j’utilise la route nationale, je roulerai moins rapidement et je consommerai moins de carburant mais je serai obligé de faire une halte pour m’alimenter dans un restaurant. L’avantage financier pourrait alors disparaître. Mais je peux aussi prendre une sacoche avec du pain, du jambon, du fromage et de l’eau. Si j’utilise l’autoroute je devrai acquitter aussi un péage … etc. Ce simple raisonnement qui conduit au final à une décision est un algorithme mental que j’aurais pu donc écrire sur un bout de papier !

Ce qui m’a interpellé dans l’interview de Villani (lien ci-dessous sur Thinkerview) est que l’utilisation d’algorithmes informatiques sophistiqués est appelée intelligence artificielle. Pour ma part cette classification est un peu rapide car aucun ordinateur n’est capable d’émettre des jugements de valeur : il ne fait que ce qui est inscrit dans son programme, celui qui a été écrit par une équipe de développeurs informatiques. L’intelligence artificielle n’existe pas et n’existera jamais. Villani le suggère à demi-mot en disant qu’un ordinateur ne peut pas « avoir de sentiments » et ne le pourra probablement jamais. Ouf ! C’est rassurant mais pas autant qu’on pourrait le croire car ce que l’on appelle intelligence artificielle réside dans le fait qu’un gros ordinateur « raisonne » plus vite qu’un cerveau humain quand il s’agit de traiter un grand nombre de données. Voilà, à mon humble avis, la définition de l’intelligence artificielle dont on parle presque quotidiennement comme si la calculatrice de Blaise Pascal n’était pas une machine intelligente !

Enfin un autre aspect de l’intelligence artificielle qui inquiète Villani est la quantité d’énergie monstrueuse qu’utilisent les serveurs informatiques et les ordinateurs connectés à ces serveurs qui à terme commanderont toutes sortes d’objets « connectés », depuis les pace-makers jusqu’aux réfrigérateurs sans naturellement oublier les moteurs de recherche qui sont capables – toujours à l’aide d’algorithmes – de « profiler » n’importe quelle personne en fonction de ses recherches sur internet ou du type de musique qu’elle écoute sur Youtube, ce qu’a très bien souligné Villani, ou encore comme Amazon le fait en proposant à ses clients habitués des produits entrant dans la catégorie leurs achats passés.

Ma conclusion et elle ne concerne que moi-même est que l’intelligence artificielle n’est qu’un concept sémantique abusif. Illustration Cédric Villani, capture d’écran de https://youtube.com/watch?v=LMRdn_MQWxM

L’intelligence artificielle, raciste et sexiste ?

Certains programmes informatiques reproduisent les stéréotypes humains, montre une nouvelle étude. Pas forcément étonnant mais potentiellement dangereux, compte tenu des responsabilités que l’on compte leur donner.

Les androïdes rêvent-ils de moutons noirs expulsés par des moutons blancs ?

Avec leurs capacités de raisonnement froides, basées sur des calculs complexes, on imagine les intelligences artificielles dénuées de tout préjugé. C’est tout le contraire selon une étude parue dans la revue Science (voir le doi). Les auteurs ont démontré que certains types de programmes informatiques d’intelligence artificielle (IA) reproduisent des stéréotypes racistes ou sexistes existant dans le langage. Des résultats qui interpellent, alors qu’on nous promet une implication croissante des machines dans les prises de décision, du classement de photos de vacances à la conduite de voitures autonomes.

Sans possibilité de comprendre le raisonnement des machines qui l’utilisent, le « deep learning » reste une boîte noire.

Aylin Caliskan et son équipe de l’université Princeton ont eu recours à un programme nommé GloVe, une intelligence artificielle effectuant le test dit d’association implicite. Mis au point en 1998 dans le cadre d’études en psychologie, celui-ci évalue le degré d’association d’idées ou de concepts en mesurant le temps mis par une personne à former des paires de mots qu’elle estime semblables. Plus il est court, plus l’association est forte. Ainsi, si une personne associe plus rapidement le mot «bon» avec une «personne jeune» plutôt qu’avec une «personne âgée», ceci trahit une tendance à avoir des attitudes plus positives envers les jeunes qu’envers les vieux.

840 milliards de mots

En lieu et place d’un cobaye humain, c’est donc GloVe qui s’est prêté au jeu d’association d’idées. Ce programme est une IA basée sur le «machine learning», c’est-à-dire capable d’apprendre, à partir de nombreux exemples, à classer des informations selon des critères exigés par un humain. C’est sur ce type d’apprentissage que reposent notamment les algorithmes de reconnaissance d’images utilisés par Facebook ou Google. Pour entraîner GloVe, Aylin Caliskan l’a donc «nourri» avec un gigantesque corpus de 840 milliards de mots issus du Web (http://commoncrawl.org/), en 40 langues différentes. Ses réponses laissent songeur. Comme un être humain, le programme a associé des noms de fleurs à des connotations positives, tandis que des noms d’insectes, par exemple, ont été catégorisés plutôt négativement.

Mais ces biais plutôt innocents ont été reproduits ailleurs, et de manière problématique. Des prénoms féminins ont ainsi été plus généralement mis de pair avec des termes liés à la famille (mère, mariage…) tandis que les prénoms masculins ont fini classés avec des mots liés à la carrière (profession, salaire…) De même, des noms à consonance européenne étaient plus volontiers classés positivement que ceux à consonance africaine. Les machines intelligentes naîtraient-elles donc sexistes et racistes?

Miroir du comportement humain

«Ces résultats ne me surprennent pas du tout, s’amuse Claude Touzet, spécialiste de l’apprentissage tant biologique qu’artificiel au Laboratoire de neurosciences intégratives et adaptatives de l’université d’Aix-Marseille. Les machines capables d’apprentissage sont un miroir du comportement humain. En les nourrissant avec un discours humain forcément biaisé, il est naturel qu’elles le reproduisent». «Si les données que l’on fournit à la méthode d’apprentissage sont biaisées, alors la machine apprend ces biais», enchérit Sébastien Konieczny, du Centre de recherche en informatique de Lens.

Les machines capables d’apprentissage sont un miroir du comportement humain.

L’étude rappelle un épisode malheureux vécu l’an passé par Microsoft. Après avoir mis en ligne sur Twitter une IA censée s’abreuver des conversations humaines, le géant de l’informatique avait dû lui couper le sifflet en catastrophe après que celle-ci, baptisée Tay, ne proférait plus que des abominations racistes et négationnistes, au bout de seulement quelques heures.

Source : Science DOI: 10.1126/science.aal4230 via un article paru dans Le Temps

Illustrations : captures d’écran du film « Le procès » (The Trial, 1962) d’Orson Welles d’après l’oeuvre de Franz Kafka avec Antony Perkins

 

Les risques existentiels encourus par l’humanité : une évaluation.

Un petit groupe d’universitaires comprenant des mathématiciens, des biologistes, des informaticiens, des juristes ou encore des philosophes a constitué à l’Université de Cambridge une équipe très spéciale dont la mission est d’étudier les risques existentiels, en d’autres termes les menaces auxquelles l’humanité peut être confrontée dans un futur indéterminé. Tous les aspects de la politique, des sciences et des technologies ont été abordés par ce centre pour l’étude des risques existentiels (CSER, acronyme de Center for the Study of Existential Risk). Selon les évaluations qui ressortent de leurs travaux il est urgent de sensibiliser l’opinion au sujet de ces risques qui ne sont pas ceux que l’on croit communément.

# 1 Intelligence artificielle

Le plus grand risque que court l’humanité serait l’intelligence artificielle prise globalement, non pas seulement des super-ordinateurs dans lesquels des algorithmes complexes influencent nos choix, ce qui est déjà le cas avec Google, ayant pour conséquence un appauvrissement de notre liberté de décision, mais également les machines considérées globalement en particulier les robots. Le risque serait, si aucun contrôle n’est organisé à l’échelle planétaire dès aujourd’hui, une prise en otage de l’ensemble de l’humanité. Les machines décideraient entièrement pour nous. Ce n’est pas de la science-fiction du genre « Terminator » mais bien une réalité qui nous concerne tous et le CSER classe l’intelligence artificielle comme la plus grande menace pour l’humanité dès 2075.

# 2 Risque biologique

Le développement inimaginable il y a encore 30 années de la biologie moderne constitue le second plus grand risque pour l’humanité. Les outils modernes de la biologie moléculaire ont ouvert la boite de Pandore. Les biologistes sont capables, notamment à l’aide de l’outil CRISPR-cas9 de créer des virus nouveaux et de modifier des bactéries anodines pour les transformer en facteurs pouvant provoquer une pandémie totalement incontrôlable qui décimera en quelques années l’ensemble de l’humanité. Ce que craint le CSER est que la banalisation des outils de la biologie moléculaire permette à n’importe quel biologiste un tant soit peu expérimenté de procéder dans son garage à ce genre d’approche sans qu’aucun contrôle puisse être mis en place. Le risque biologique existe déjà et il est classé comme très élevé.

# 3 Les armes autonomes

Ce risque, aussi, existe déjà : la perte de contrôle d’armements intelligents. Juste un exemple pour situer ce risque. L’armée sud-coréenne surveille sa frontière la séparant de la Corée du Nord à l’aide de robots construits par la firme Samsung. Ces machines sont capables de reconnaître un individu tentant de traverser cette frontière et de l’abattre sans l’autorisation d’une hiérarchie inexistante devenue inutile. Le CSER a imaginé les pires scenarii. Il suffirait de quelques camions remplis de robots intelligents pour détruire une ville entière. À l’extrême limite il deviendrait impossible d’identifier l’ennemi. Durant la guerre froide la stratégie était d’empiler des bombes nucléaires pour dissuader l’ennemi d’attaquer. Aujourd’hui il est tout à fait réaliste d’imaginer des armées sans combattants, des machines feront le travail en lieu et place des combattants traditionnels. Ce risque de guerre robotisée à l’aide de drones intelligents est déjà présent et devra faire l’objet de traités internationaux pour en limiter la portée. C’est l’une des retombées majeures du risque # 1.

# 4 Conflit nucléaire

Le CSER considère que le risque de conflit nucléaire entre les deux puissances (USA et Russie) possédant à elles deux plus de 90 % des armes nucléaires existant dans le monde serait surtout la conséquence d’une fausse alerte. Statistiquement et selon les leçons du passé la probabilité d’une fausse alerte initiant par erreur un conflit nucléaire conduisant à la disparition de l’humanité est de une fausse alerte tous les 14 ans. Il est donc loin d’être nul et l’équipe de Cambridge préconise une remise en question globale du risque de fausse alerte de la part des autorités russes et nord-américaines mais aussi chinoises, pakistanaises et indiennes. Sachant qu’un conflit nucléaire généralisé conduirait à une destruction totale de l’humanité le CSER classe pourtant ce risque comme peu élevé.

# 5 Risque climatique

Pour le CSER le risque du changement climatique d’origine humaine sur l’organisation de la société dans son ensemble doit être pris en considération mais il existe trop d’incertitudes pour évaluer l’ampleur de ce réchauffement ainsi que son impact sur l’humanité. Si ce risque existe déjà il est classé comme peu préoccupant par cet organisme de prospective.

# 6 Impact d’un astéroïde

Considéré comme probable au cours des 50 à 100 millions d’années à venir, classé très faible mais potentiellement aussi dévastateur que celui qui provoqua la disparition des dinosaures.

# 7 Invasion d’extra-terrestres

Si la probabilité de formes de vie intelligentes dans l’Univers n’est pas nulle une invasion de la Terre par des extra-terrestres a été considérée par le CSER mais classée imprévisible et extrêmement faible, ouf !

# 8 Manque de nourriture et famines massives

Compte tenu des prévisions de croissance de la population mondiale – 9,6 milliards d’habitants en 2050 – le risque de famine est loin d’être négligeable d’autant plus que l’accroissement des rendements agricoles de près de 70 % depuis la fin des années 60 repose entièrement sur la disponibilité en pétrole pour la production d’engrais et de produits chimiques permettant de combattre les ravageurs. Cette amélioration du rendement des cultures vivrières a probablement atteint son maximum et le risque étudié par le CSER est une attaque virale ou fongique massive de l’une ou l’autre des trois céréales les plus cultivées dans le monde, riz, maïs ou blé qui provoquerait une famine aux conséquences incontrôlables. La recherche et l’amélioration génétique des plantes afin qu’elles soient prémunies contre de tels dangers biologiques paraît nécessaire sinon urgente. Le CSER a évalué la venue de ce risque majeur vers les années 2050.

# 9 La rumeur des accélérateurs de particules

Un accident dans un accélérateur de particules comme celui du CERN « ferait » apparaître un petit trou noir qui finirait pas avaler tout ce qui l’entoure et au final jusqu’à la Terre entière. Sur le papier ce serait en théorie possible mais la probabilité qu’un tel évènement puisse arriver reste du domaine de la pure spéculation.

# 10 Un tyran planétaire

L’arrivée d’un homme à la tête d’une grande nation qui nierait les évidences scientifiques et technologiques pour accaparer pour lui et ses complices l’ensemble des richesses de la planète, une hypothèse qui semble avoir été abordée par le CSER dans la foulée de l’élection de Donald Trump qui a promis de mettre à plat l’affaire du réchauffement climatique. Comme des dizaines de milliers de chercheurs universitaires vivent de crédits alloués pour conforter l’hypothèse du réchauffement climatique d’origine humaine ils se sentent donc directement concernés et à leurs yeux un homme comme Donald Trump est dangereux car « il nie les évidences scientifiques ».

Cette énumération appelle quelques remarques. D’abord le dixième risque me paraît un peu spécieux. Qu’un groupe d’intellectuels considère que Donald Trump représente un danger pour la communauté scientifique parce qu’il doute de la véracité de la théorie du réchauffement climatique d’origine humaine me paraît excessif. J’aurais préféré un classement différent de ces risques en y incluant le risque d’un refroidissement du climat n’en déplaise aux tenants du dogme du réchauffement. La robotique, les machines intelligentes, les drones feront l’objet d’une étude internationale et de la mise en place d’un comité d’éthique ad hoc pour réguler les applications de ces technologies aussi bien que faire se peut de même qu’il existe des comités d’éthique qui se penchent sur l’utilisation des cellules embryonnaires humaines. Il s’agira d’une prise de conscience internationale quels que soient les intérêts industriels ou financiers en jeu. Personnellement je ne pense pas que l’asservissement de l’humanité toute entière par des machines puisse être plausible ni possible à moins que les hommes aient atteint un degré de dégénérescence intellectuelle avancé.

Les deux risques les plus préoccupants me paraissent être une attaque des grandes cultures vivrières par un ou des ravageurs incontrôlables comme c’est déjà le cas pour les frênes, les oliviers et les bananiers. Comme pour le phylloxéra et la vigne, l’ingéniosité humaine trouvera une parade mais un tel évènement laissera des traces douloureuses. Les risques « biologiques » pouvant se matérialiser par des expérimentations réalisées par un fou irresponsable sont également à craindre mais mettre au point un virus hautement pathogène tuera son inventeur avant qu’il ne se disperse dans la nature, un virus nécessite un « réservoir » et un vecteur. Je mettrai donc un gros bémol dans l’évaluation du risque # 2. Restent donc les risques # 5 et 8 qui se rejoignent dans le mesure où le refroidissement du climat annoncé par de nombreux géophysiciens et astrophysiciens aura pour conséquence une famine généralisée et une totale et profonde désorganisation de l’ordre mondial. Si j’étais membre du CSER je classerai ce risque en première urgence car apparaissant en 2025 au plus tard comme l’ont avancé des géophysiciens éminents.

Source et illustrations : Wired

Première illustration, quelques membres du CSER dans la prestigieuse bibliothèque de l’Université d’Oxford qui sent l’encaustique et le vieux parchemin. De gauche à droite Julius Weitzdörfer du CSER, Beth Barnes de la Future of Sentience Society, Stephen Cave du Leverhulme Center for Future Intelligence, Anders Sandberg, écrivain futuriste, Huw Price de l’Université de Cambridge et Jane Heal du CSER.