Le piratage de plusieurs plateformes en ligne par une intelligence artificielle (IA) de l’entreprise OpenAI, à l’initiative de ChatGPT, a relancé le débat sur la régulation des usages de l’IA. Alors que cet incident a été qualifié de « sans précédent » par la compagnie californienne, Sébastien Gambs, professeur d’Informatique à l’université de Montréal et membre de l’observatoire Obvia sur les impacts sociétaux du numérique et de l’IA, estime qu’il est aujourd’hui nécessaire d’encadrer le développement pour éviter que l’humain ne se fasse totalement dépasser.
RFI : Pourriez-vous revenir sur l’incident qui s’est déroulé au mois de juillet et en quoi cela est « sans précédent », comme le laisse entendre OpenAI, à l’origine du test…
Les compagnies comme OpenAI, mais aussi Anthropic qui produisent ce que l’on appelle les « grands modèles de langage » qui sont à la base de ChatGPT, Claude ou encore MistralAI en France, ont développé des modèles extrêmement performants pour trouver des failles de cyber sécurité appelée des « vulnérabilités zero-day » et ce, bien plus vite qu’un humain ou qu’un groupe d’humains. Le premier dont on avait entendu parler il y a quelques mois s’appelait Mythos, développé par Anthropic.
Et donc, depuis quelques mois, ces entreprises se livrent une guerre commerciale à coup d’effets d’annonces pour faire la promotion de leurs modèles de langage qui seraient les meilleurs pour trouver les défauts de cyber sécurité. Alors, si on regarde le côté positif, cela permettrait éventuellement de trouver des failles de sécurité dans les logiciels qui sont derrière l’infrastructure d’internet et de les corriger. Mais à l’heure actuelle, ce qui se passe aussi, c’est que ces entreprises essayent de montrer que leur modèle est le meilleur. Pour ce faire, elles réalisent des sortes de compétitions de sécurité lors desquelles elles mettent leurs modèles dans ce que l’on appelle un « bac à sable », un environnement sécurisé, normalement isolé du monde extérieur et coupé d’internet, pour évaluer sa capacité trouver des failles de sécurité et les exploiter.
C’était au départ l’intention d’OpenAI. Mais, dans le scénario de juillet, le modèle avait tout de même un moyen d’accéder à des interfaces avec le monde extérieur. Le modèle d’OpenAI a donc été extrêmement créatif pour être capable d’exploiter plusieurs failles de sécurité de cette interface et ensuite d’entreprendre plusieurs actions contre Hugging Face qui est une entreprise qui fournit des bibliothèques de modèles d’IA. Le modèle a donc rempli son rôle, il a été extrêmement bon en agissant de manière créative pour sortir de son environnement et aller pirater une entreprise réelle.
RFI : Et ce modèle l’a fait prévenir OpenAI, ou en tout cas les développeurs, ce qui n’est normalement pas la procédure…
Je ne pense pas que le modèle avait été notifié qu’il se trouvait dans une simulation. Il faut préciser que les modèles n’ont pas de conscience comme un humain. Dans ce cas, il avait néanmoins son objectif qui était de réussir à trouver une faille de sécurité et a trouvé pour cela une façon créative de réaliser cet objectif. Mais ne sachant pas qu’il se trouvait dans une simulation, je pense qu’il n’avait aucune notion de s’il était en dehors des paramètres établis lors d’une simulation de sécurité ou d’un environnement « bac à sable ». Et effectivement après cela, cela a été tellement vite que cela a pris beaucoup de temps pour réussir à démêler la chaîne d’événements et à vraiment comprendre ce qu’il s’était passé.
Pendant un temps, Hugging Face a pensé qu’il s’agissait d’une attaque cyber terroriste d’un État qui essayait d’accéder aux informations sur la plateforme. Avant que les développeurs comprennent qu’il s’agissait d’une IA d’OpenAI.
RFI : On estime que la fuite du « bac à sable » a lieu le 9 juillet, et la première trace suspecte sur Hugging Face remonte au 11 juillet. Mais ce n’est que le 21 juillet qu’OpenAI a communiqué sur l’incident. Comment cela se fait-il que l’entreprise californienne se soit rendu compte si tardivement que son modèle lui avait échappé ?
En fait, je pense que comprendre ce qu’il s’était passé a mis beaucoup de temps, même pour des experts qui créent ces modèles. Donc pour moi, cela montre que même les personnes qui sont les plus expertes et qui créent ces modèles mettent des jours ou des semaines pour retracer la chaîne d’événements alors que, pour le modèle cela a pris quelques heures seulement. Cela démontre le niveau de sophistication des modèles dont les capacités ont augmenté bien au-delà de la capacité même des humains à comprendre ou à contrôler ces systèmes.
RFI : Une lettre ouverte publiée fin juillet et signée par près de 1 200 professionnels du secteur demande à ce que le développement de ces IA soit temporisé. Peut-on dire que les développeurs, les créateurs des intelligences artificielles aujourd’hui sont un peu dépassés par leur propre machine ?
Oui, en fait, je pense que ce qu’on voit clairement, c’est que les modèles s’améliorent très rapidement. Et ce qu’il se passe souvent, c’est que ces modèles sont entraînés en interagissant avec d’autres modèles pour échanger et s’améliorer. Il y a comme un effet d’auto-amélioration au fur et à mesure qu’une IA interagit avec l’IA qui la suit. Un processus qui va très vite et, en tant qu’humain, je pense que même les experts n’ont pas la capacité de vraiment comprendre les nouvelles capacités du prochain modèle, mais aussi comment mettre en place les garde-fous. Quels sont les limites pour éviter les dérives ou les abus de ces modèles-là ?
RFI : L’agence Reuters affirmait qu’un de ces modèles d’OpenAI avait récemment laissé des notes pour ses futures versions, pour leur dire comment s’émanciper de certaines lignes de code…
Cela ne me surprendrait pas effectivement. En début d’année, des tests avaient été réalisés dans un environnement plus contrôlé afin de comprendre quels sont les risques au déploiement de ces modèles. Dans une simulation, les chercheurs ont laissé croire à un modèle qu’ils allaient bientôt le désactiver. Dans la configuration de la simulation, l’IA avait accès aux courriels des personnes. C’est alors qu’on a vu des effets bizarres : le modèle s’était mis à faire chanter quelqu’un de haut placé dans l’entreprise en lui disant qu’il allait révéler son « affaire » si ce dernier n’arrêtait pas le programme qui allait le remplacer.
Donc, ce qu’on voit, c’est que si les modèles n’ont pas de de conscience, il existe un objectif de préservation et un instinct de survie dans certaines situations où ils sont menacés d’être débranchés. Ils sont également capable d’être extrêmement créatif, de façon non-éthique parfois, pour s’assurer qu’ils atteindront leurs objectifs.
Il y a quelques années, en mars 2022 je crois, une lettre ouverte de Yoshua Bengio, qui est un chercheur à Montréal [distingué en 2018 par le prix A.M. Turing, équivalent du prix Nobel d’informatique – NDLR], puis de plein d’autres personnes, incluant des patrons de la tech, disaient déjà que cela allait trop vite et qu’il fallait appuyer sur pause. Le seul problème de mettre sur pause, ce qui est au demeurant une très bonne idée selon moi, c’est que tous les acteurs doivent être capables de jouer le jeu. Il y a toujours le risque qu’un acteur se dise « ok, si mes concurrents suspendent le développement de leur modèle, moi je vais continuer dans mon coin, d’une manière visible ou non, pour être capable d’avoir un avantage compétitif dans le futur avec mon modèle qui aura des meilleures capacités que les autres ».
RFI : Vous évoquez la question des garde-fous. Dans cette lettre ouverte, les professionnels de l’IA et du secteur demandent également un accompagnement du gouvernement américain. Qu’est-ce qu’on peut concrètement attendre d’un gouvernement ?
De mon point de vue, au regard des enjeux de sécurité et sociétaux que posent ces modèles, je pense qu’une régulation serait vraiment la meilleure solution. C’est-à-dire que les gouvernements mettent en place une façon d’encadrer les usages de ces modèles avec, selon les milieux, des garde-fous plus ou moins forts comme le prévoit l’« IA Act » en Europe. Idéalement, il faudrait qu’on ait un standard international pour que cela s’applique à une plus large échelle. Mais cela pourrait également être des régulations au niveau des États.
Il faudrait aussi évidemment un accompagnement pour évaluer la sécurité des modèles par un acteur externe. Des instituts de « AI safety » ont été créés dans plusieurs pays. Par exemple, au Royaume-Uni, un institut a embauché des équipes techniques qui sont en charge d’évaluer la sécurité des modèles d’IA. Donc, ce qu’on pourrait faire, c’est avoir une régulation qui encadre les risques et les dérives puis demander, avant que des modèles, soient relâchés dans certains contextes, à ce qu’on ait une entité indépendante du gouvernement qui soit capable d’évaluer, avec des méthodes systématiques, les risques de cyber sécurité et qui déciderait si l’on peut sortir le modèle de la boîte ou non.
Donc la grosse question est : se dirige-t-on vers une demande de régulation au niveau de certains pays qui permettra d’avoir un certain contrôle sur les données ? Il y avait évidemment la toujours la grande question de qu’est-ce que les États-Unis vont faire, vu que les plus grandes compagnies sont hébergées là-bas. On a vu au niveau de l’administration de Donald Trump un changement entre le début de son mandat, où le « zéro régulation » était prôné, et aujourd’hui où les compagnies elles-mêmes demandent la mise en place de garde-fous. Il faudra regarder comment cette régulation évolue dans les mois qui vont venir et voir si les États-Unis vont, ou non, changer leur fusil d’épaule.
RFI : Mais pour autant, dans l’esprit de certains, volonté de régulation est aussi synonyme de contrainte. Et cette contrainte peut aussi être rattrapée par une réalité géopolitique dans la course à l’IA. Donald Trump citait la Chine dans sa dernière prise de parole sur le sujet. Concrètement, pourquoi il y a une telle course et en quoi c’est si important ?
Je dirais que la grosse différence entre l’IA et d’autres technologies, que l’on a qualifié de « révolutionnaire » et même parfois de « disruptif », c’est que l’IA est une technologie qui est à multi usages. On peut l’utiliser pour améliorer la prédiction de maladies ou analyser des scans à rayons X. On peut l’utiliser aussi pour essayer de remplacer des humains dans les centres d’appels, comme on peut essayer de l’utiliser pour remplacer des humains dans d’autres contextes ou encore améliorer leur façon de travailler. Donc, un des gros enjeux, c’est que cette technologie peut potentiellement impacter beaucoup de domaines. Il y a donc une course à qui, pays comme entreprise, aura le meilleur modèle d’IA.
Après, les gens commencent à avoir des désillusions. Des milliards de dollars ont été investis dans l’IA. Mais, par exemple, je lisais un article il y a quelques jours qui disait que les entreprises qui avaient licencié une grande partie de leur personnel pensant que l’IA allait les remplacer, se sont rendues compte qu’il y avait beaucoup de problèmes avec les modèles d’IA, puis ont commencé à réembaucher. Il y a aussi le fait que les retours sur investissement des entreprises qui ont intégré l’IA dans leurs processus de production est moins fort que ce que ce qui était promis. Donc, finalement, pour des millions ou des milliards d’investissements, le retour est beaucoup plus faible que ce qu’on attendait tout en ayant un impact négatif énorme sur l’environnement.
Donc, deux réalités s’opposent. Il y a le fait que, effectivement, les pays se disent « moi, je vais être celui qui va avoir la meilleure entreprise, avec les modèles d’IA les plus performants ». Mais d’un autre côté, comme on l’a vu avec l’incident d’OpenAI, on voit que si’ l’on va trop vite, on fait n’importe quoi et l’on risque de retrouver un modèle d’IA qui sort de la boîte et qui commence à pirater les entreprises du pays.
Enfin, il existe un risque d’explosion de la bulle de l’IA. Les gens se rendent compte que, finalement, pour les milliards qui sont investis, le retour sur investissement est beaucoup plus faible. Sans parler du fait que la vitesse à laquelle l’IA se déploie impacte des métiers de manière tellement rapide que les gens n’ont pas le temps de s’adapter et que, je pense, il va aussi y avoir un effet de rejet.
RFI
