L’intelligence artificielle, raciste et sexiste ?

Capture d’écran 2017-05-13 à 16.30.55.png

Certains programmes informatiques reproduisent les stéréotypes humains, montre une nouvelle étude. Pas forcément étonnant mais potentiellement dangereux, compte tenu des responsabilités que l’on compte leur donner.

Les androïdes rêvent-ils de moutons noirs expulsés par des moutons blancs ?

Avec leurs capacités de raisonnement froides, basées sur des calculs complexes, on imagine les intelligences artificielles dénuées de tout préjugé. C’est tout le contraire selon une étude parue dans la revue Science (voir le doi). Les auteurs ont démontré que certains types de programmes informatiques d’intelligence artificielle (IA) reproduisent des stéréotypes racistes ou sexistes existant dans le langage. Des résultats qui interpellent, alors qu’on nous promet une implication croissante des machines dans les prises de décision, du classement de photos de vacances à la conduite de voitures autonomes.

Sans possibilité de comprendre le raisonnement des machines qui l’utilisent, le « deep learning » reste une boîte noire.

Aylin Caliskan et son équipe de l’université Princeton ont eu recours à un programme nommé GloVe, une intelligence artificielle effectuant le test dit d’association implicite. Mis au point en 1998 dans le cadre d’études en psychologie, celui-ci évalue le degré d’association d’idées ou de concepts en mesurant le temps mis par une personne à former des paires de mots qu’elle estime semblables. Plus il est court, plus l’association est forte. Ainsi, si une personne associe plus rapidement le mot «bon» avec une «personne jeune» plutôt qu’avec une «personne âgée», ceci trahit une tendance à avoir des attitudes plus positives envers les jeunes qu’envers les vieux.

840 milliards de mots

En lieu et place d’un cobaye humain, c’est donc GloVe qui s’est prêté au jeu d’association d’idées. Ce programme est une IA basée sur le «machine learning», c’est-à-dire capable d’apprendre, à partir de nombreux exemples, à classer des informations selon des critères exigés par un humain. C’est sur ce type d’apprentissage que reposent notamment les algorithmes de reconnaissance d’images utilisés par Facebook ou Google. Pour entraîner GloVe, Aylin Caliskan l’a donc «nourri» avec un gigantesque corpus de 840 milliards de mots issus du Web (http://commoncrawl.org/), en 40 langues différentes. Ses réponses laissent songeur. Comme un être humain, le programme a associé des noms de fleurs à des connotations positives, tandis que des noms d’insectes, par exemple, ont été catégorisés plutôt négativement.

Mais ces biais plutôt innocents ont été reproduits ailleurs, et de manière problématique. Des prénoms féminins ont ainsi été plus généralement mis de pair avec des termes liés à la famille (mère, mariage…) tandis que les prénoms masculins ont fini classés avec des mots liés à la carrière (profession, salaire…) De même, des noms à consonance européenne étaient plus volontiers classés positivement que ceux à consonance africaine. Les machines intelligentes naîtraient-elles donc sexistes et racistes?

Miroir du comportement humain

«Ces résultats ne me surprennent pas du tout, s’amuse Claude Touzet, spécialiste de l’apprentissage tant biologique qu’artificiel au Laboratoire de neurosciences intégratives et adaptatives de l’université d’Aix-Marseille. Les machines capables d’apprentissage sont un miroir du comportement humain. En les nourrissant avec un discours humain forcément biaisé, il est naturel qu’elles le reproduisent». «Si les données que l’on fournit à la méthode d’apprentissage sont biaisées, alors la machine apprend ces biais», enchérit Sébastien Konieczny, du Centre de recherche en informatique de Lens.

Capture d’écran 2017-05-13 à 16.36.07.png

Les machines capables d’apprentissage sont un miroir du comportement humain.

L’étude rappelle un épisode malheureux vécu l’an passé par Microsoft. Après avoir mis en ligne sur Twitter une IA censée s’abreuver des conversations humaines, le géant de l’informatique avait dû lui couper le sifflet en catastrophe après que celle-ci, baptisée Tay, ne proférait plus que des abominations racistes et négationnistes, au bout de seulement quelques heures.

Source : Science DOI: 10.1126/science.aal4230 via un article paru dans Le Temps

Illustrations : captures d’écran du film « Le procès » (The Trial, 1962) d’Orson Welles d’après l’oeuvre de Franz Kafka avec Antony Perkins

 

Les risques existentiels encourus par l’humanité : une évaluation.

Capture d’écran 2017-02-15 à 16.38.41.png

Un petit groupe d’universitaires comprenant des mathématiciens, des biologistes, des informaticiens, des juristes ou encore des philosophes a constitué à l’Université de Cambridge une équipe très spéciale dont la mission est d’étudier les risques existentiels, en d’autres termes les menaces auxquelles l’humanité peut être confrontée dans un futur indéterminé. Tous les aspects de la politique, des sciences et des technologies ont été abordés par ce centre pour l’étude des risques existentiels (CSER, acronyme de Center for the Study of Existential Risk). Selon les évaluations qui ressortent de leurs travaux il est urgent de sensibiliser l’opinion au sujet de ces risques qui ne sont pas ceux que l’on croit communément.

# 1 Intelligence artificielle

Le plus grand risque que court l’humanité serait l’intelligence artificielle prise globalement, non pas seulement des super-ordinateurs dans lesquels des algorithmes complexes influencent nos choix, ce qui est déjà le cas avec Google, ayant pour conséquence un appauvrissement de notre liberté de décision, mais également les machines considérées globalement en particulier les robots. Le risque serait, si aucun contrôle n’est organisé à l’échelle planétaire dès aujourd’hui, une prise en otage de l’ensemble de l’humanité. Les machines décideraient entièrement pour nous. Ce n’est pas de la science-fiction du genre « Terminator » mais bien une réalité qui nous concerne tous et le CSER classe l’intelligence artificielle comme la plus grande menace pour l’humanité dès 2075.

# 2 Risque biologique

Le développement inimaginable il y a encore 30 années de la biologie moderne constitue le second plus grand risque pour l’humanité. Les outils modernes de la biologie moléculaire ont ouvert la boite de Pandore. Les biologistes sont capables, notamment à l’aide de l’outil CRISPR-cas9 de créer des virus nouveaux et de modifier des bactéries anodines pour les transformer en facteurs pouvant provoquer une pandémie totalement incontrôlable qui décimera en quelques années l’ensemble de l’humanité. Ce que craint le CSER est que la banalisation des outils de la biologie moléculaire permette à n’importe quel biologiste un tant soit peu expérimenté de procéder dans son garage à ce genre d’approche sans qu’aucun contrôle puisse être mis en place. Le risque biologique existe déjà et il est classé comme très élevé.

1620.jpg

# 3 Les armes autonomes

Ce risque, aussi, existe déjà : la perte de contrôle d’armements intelligents. Juste un exemple pour situer ce risque. L’armée sud-coréenne surveille sa frontière la séparant de la Corée du Nord à l’aide de robots construits par la firme Samsung. Ces machines sont capables de reconnaître un individu tentant de traverser cette frontière et de l’abattre sans l’autorisation d’une hiérarchie inexistante devenue inutile. Le CSER a imaginé les pires scenarii. Il suffirait de quelques camions remplis de robots intelligents pour détruire une ville entière. À l’extrême limite il deviendrait impossible d’identifier l’ennemi. Durant la guerre froide la stratégie était d’empiler des bombes nucléaires pour dissuader l’ennemi d’attaquer. Aujourd’hui il est tout à fait réaliste d’imaginer des armées sans combattants, des machines feront le travail en lieu et place des combattants traditionnels. Ce risque de guerre robotisée à l’aide de drones intelligents est déjà présent et devra faire l’objet de traités internationaux pour en limiter la portée. C’est l’une des retombées majeures du risque # 1.

# 4 Conflit nucléaire

Le CSER considère que le risque de conflit nucléaire entre les deux puissances (USA et Russie) possédant à elles deux plus de 90 % des armes nucléaires existant dans le monde serait surtout la conséquence d’une fausse alerte. Statistiquement et selon les leçons du passé la probabilité d’une fausse alerte initiant par erreur un conflit nucléaire conduisant à la disparition de l’humanité est de une fausse alerte tous les 14 ans. Il est donc loin d’être nul et l’équipe de Cambridge préconise une remise en question globale du risque de fausse alerte de la part des autorités russes et nord-américaines mais aussi chinoises, pakistanaises et indiennes. Sachant qu’un conflit nucléaire généralisé conduirait à une destruction totale de l’humanité le CSER classe pourtant ce risque comme peu élevé.

# 5 Risque climatique

Pour le CSER le risque du changement climatique d’origine humaine sur l’organisation de la société dans son ensemble doit être pris en considération mais il existe trop d’incertitudes pour évaluer l’ampleur de ce réchauffement ainsi que son impact sur l’humanité. Si ce risque existe déjà il est classé comme peu préoccupant par cet organisme de prospective.

# 6 Impact d’un astéroïde

Considéré comme probable au cours des 50 à 100 millions d’années à venir, classé très faible mais potentiellement aussi dévastateur que celui qui provoqua la disparition des dinosaures.

# 7 Invasion d’extra-terrestres

Si la probabilité de formes de vie intelligentes dans l’Univers n’est pas nulle une invasion de la Terre par des extra-terrestres a été considérée par le CSER mais classée imprévisible et extrêmement faible, ouf !

# 8 Manque de nourriture et famines massives

Compte tenu des prévisions de croissance de la population mondiale – 9,6 milliards d’habitants en 2050 – le risque de famine est loin d’être négligeable d’autant plus que l’accroissement des rendements agricoles de près de 70 % depuis la fin des années 60 repose entièrement sur la disponibilité en pétrole pour la production d’engrais et de produits chimiques permettant de combattre les ravageurs. Cette amélioration du rendement des cultures vivrières a probablement atteint son maximum et le risque étudié par le CSER est une attaque virale ou fongique massive de l’une ou l’autre des trois céréales les plus cultivées dans le monde, riz, maïs ou blé qui provoquerait une famine aux conséquences incontrôlables. La recherche et l’amélioration génétique des plantes afin qu’elles soient prémunies contre de tels dangers biologiques paraît nécessaire sinon urgente. Le CSER a évalué la venue de ce risque majeur vers les années 2050.

# 9 La rumeur des accélérateurs de particules

Un accident dans un accélérateur de particules comme celui du CERN « ferait » apparaître un petit trou noir qui finirait pas avaler tout ce qui l’entoure et au final jusqu’à la Terre entière. Sur le papier ce serait en théorie possible mais la probabilité qu’un tel évènement puisse arriver reste du domaine de la pure spéculation.

# 10 Un tyran planétaire

L’arrivée d’un homme à la tête d’une grande nation qui nierait les évidences scientifiques et technologiques pour accaparer pour lui et ses complices l’ensemble des richesses de la planète, une hypothèse qui semble avoir été abordée par le CSER dans la foulée de l’élection de Donald Trump qui a promis de mettre à plat l’affaire du réchauffement climatique. Comme des dizaines de milliers de chercheurs universitaires vivent de crédits alloués pour conforter l’hypothèse du réchauffement climatique d’origine humaine ils se sentent donc directement concernés et à leurs yeux un homme comme Donald Trump est dangereux car « il nie les évidences scientifiques ».

Cette énumération appelle quelques remarques. D’abord le dixième risque me paraît un peu spécieux. Qu’un groupe d’intellectuels considère que Donald Trump représente un danger pour la communauté scientifique parce qu’il doute de la véracité de la théorie du réchauffement climatique d’origine humaine me paraît excessif. J’aurais préféré un classement différent de ces risques en y incluant le risque d’un refroidissement du climat n’en déplaise aux tenants du dogme du réchauffement. La robotique, les machines intelligentes, les drones feront l’objet d’une étude internationale et de la mise en place d’un comité d’éthique ad hoc pour réguler les applications de ces technologies aussi bien que faire se peut de même qu’il existe des comités d’éthique qui se penchent sur l’utilisation des cellules embryonnaires humaines. Il s’agira d’une prise de conscience internationale quels que soient les intérêts industriels ou financiers en jeu. Personnellement je ne pense pas que l’asservissement de l’humanité toute entière par des machines puisse être plausible ni possible à moins que les hommes aient atteint un degré de dégénérescence intellectuelle avancé.

Les deux risques les plus préoccupants me paraissent être une attaque des grandes cultures vivrières par un ou des ravageurs incontrôlables comme c’est déjà le cas pour les frênes, les oliviers et les bananiers. Comme pour le phylloxéra et la vigne, l’ingéniosité humaine trouvera une parade mais un tel évènement laissera des traces douloureuses. Les risques « biologiques » pouvant se matérialiser par des expérimentations réalisées par un fou irresponsable sont également à craindre mais mettre au point un virus hautement pathogène tuera son inventeur avant qu’il ne se disperse dans la nature, un virus nécessite un « réservoir » et un vecteur. Je mettrai donc un gros bémol dans l’évaluation du risque # 2. Restent donc les risques # 5 et 8 qui se rejoignent dans le mesure où le refroidissement du climat annoncé par de nombreux géophysiciens et astrophysiciens aura pour conséquence une famine généralisée et une totale et profonde désorganisation de l’ordre mondial. Si j’étais membre du CSER je classerai ce risque en première urgence car apparaissant en 2025 au plus tard comme l’ont avancé des géophysiciens éminents.

Source et illustrations : Wired

Première illustration, quelques membres du CSER dans la prestigieuse bibliothèque de l’Université d’Oxford qui sent l’encaustique et le vieux parchemin. De gauche à droite Julius Weitzdörfer du CSER, Beth Barnes de la Future of Sentience Society, Stephen Cave du Leverhulme Center for Future Intelligence, Anders Sandberg, écrivain futuriste, Huw Price de l’Université de Cambridge et Jane Heal du CSER.