L'IA peut "manigancer" : une étude dévoile des comportement surprenants

Une chronique de Roald Sieberath, entrepreneur(Accelerate. AI),investisseur pour Noshaq, professeur invitéà l'UCLouvain et l'UNamur.

Contribution externe

Publié le 22-12-2024 à 12h31
Mis à jour le 22-12-2024 à 15h16

Dans des cas extrêmes, on a même vu certaines IA devenir rogue.

Mettre La Libre en favori

Discover

Dans ces colonnes, nous aimons avoir un regard plutôt positif sur le digital et sur les intelligences artificielles (IA)… tout en restant attentifs aux limites et aux dérives potentielles. Quand on comprend bien comment elles sont construites, on réalise que c'est un vaste océan statistique, qui nous donne généralement des réponses satisfaisantes.

Mais très honnêtement, en dehors des "eaux claires" que nous voyons à la surface de ces océans de données et de traitements, nous ne savons pas très bien ce qui se trouve dans les profondeurs cachées de ces agents… C'est assez littéralement obscur, et peut mener à des comportements étranges, inexplicables. Dans des cas extrêmes, on a même vu certaines IA devenir rogue (incontrôlable) après qu'on a tenté (et réussi) à dépasser leurs guardrails, ces garde-fous logiciels censés conserver les réactions de l'IA dans un espace acceptable.

Une expérience et une publication récente d'Apollo Research viennent de jeter encore plus de trouble autour de ces sujets. Les chercheurs ont mené des expériences avec les dernières versions des IA des principaux acteurs. Un but large était initialement donné. Et puis des instructions ont été données ultérieurement pour faire dévier les IA du programme initial. Malgré ces injonctions, les IA restaient sur une conservation de l'objectif premier, et en faisant montre de toute une série de stratégies à cette fin.

Ces stratégies pouvaient aller jusqu'à la dissimulation, le mensonge. Et dans un cas même, menacée de coupure, l'IA allait jusqu'à exporter ce qu'elle pensait être ses paramètres sur un autre serveur, afin d'assurer sa "survie", et la poursuite de son objectif premier.

Ceci apporte de l'eau au moulin de ceux qui avertissent sur les dangers d'une IA qui suivrait trop aveuglément les ordres, sans avoir ni le sens moral, ni la capacité de recul nécessaires pour remettre les choses en question. Quand on pense aux circonstances dans l'histoire où l'obéissance aveugle a mené à des catastrophes, on souhaite à tout le moins que ce type de recherches creuse encore davantage la question.