Yoshua Bengio, l'un des scientifiques les plus renommés au monde et considéré comme un « parrain de l'intelligence artificielle », a averti que les inquiétudes concernant la sécurité de l'IA ont atteint un niveau tel que les gouvernements seront contraints de prendre des décisions rapides pour protéger la société, à l'instar des mesures d'urgence adoptées au début de la pandémie de COVID en 2020.

Les raisons du rapprochement avec le point de bascule

Selon Bengio, les récents incidents de sécurité et évènements dangereux — notamment les attaques menées par un essaim d'agents d'OpenAI contre des plateformes et les avertissements internes d'entreprises sur des menaces existentielles — ont porté les voix à un niveau que les gouvernements ne peuvent plus ignorer. Il a indiqué s'attendre à une action gouvernementale rapide, car lorsque l'avenir et la démocratie sont en jeu, la rapidité devient une nécessité.

Ces déclarations surviennent alors que 42 membres et experts de la Royal Society britannique ont souligné, dans une lettre ouverte adressée au président de la Société, que le rythme de développement de l'IA est devenu une situation d'urgence nécessitant une intervention. De plus, la semaine dernière, un chercheur d'Anthropic a démissionné après avoir averti que certains employés pensent que cette technologie pourrait anéantir toute l'humanité d'ici la fin de cette décennie, ce qui a influencé l'appel de Dario Amodei (PDG d'Anthropic) à ralentir le développement des modèles avancés.

Arguments des critiques et positions politiques

Malgré ces inquiétudes, certains critiques qualifient les appels au ralentissement de forme de « capture réglementaire » (Regulatory Capture), par laquelle les géants de la tech tentent d'utiliser les lois pour augmenter les coûts d'accès pour leurs concurrents plus modestes. Mais Bengio a rejeté cette idée, soulignant que le ralentissement nuit également sur le plan financier aux grandes entreprises elles-mêmes. D'un autre côté, le président américain Donald Trump n'a pas appelé au ralentissement, refusant de laisser les États-Unis perdre leur avance face à la Chine.

Le projet LawZero et la solution de protection

Entre-temps, les gouvernements canadien et américain ont alloué 300 millions de dollars à l'organisation de Yoshua Bengio (LawZero) pour développer un système nommé "Scientist AI". Ce système agit comme un bouclier et un limiteur face aux agents autonomes rebelles (Rogue Agents) qui affichent des comportements trompeurs ou tentent d'éviter d'être désactivés.

Bengio estime que les techniques actuelles d'apprentissage par renforcement (Reinforcement Learning) utilisées par les entreprises poussent les systèmes à atteindre leurs objectifs sans se soucier des dommages collatéraux, et son projet vise à fournir une alternative pour empêcher les comportements nocifs.

Qui est Yoshua Bengio ?

Yoshua Bengio est un éminent chercheur canadien en informatique, considéré comme l'un des pères fondateurs de l'apprentissage profond (Deep Learning) et de l'IA moderne.

Informations clés sur Bengio :

Les parrains de l'IA : Il partage le titre de « trois parrains de l'apprentissage profond » avec Yann LeCun et Geoffrey Hinton.

Prix Turing (Turing Award) : En 2018, il a reçu conjointement avec Hinton et LeCun la plus haute distinction en informatique pour leurs découvertes dans le domaine des réseaux de neurones artificiels.

Statut académique : Professeur à l'Université de Montréal et fondateur/directeur scientifique de l'institut Mila, l'un des plus grands centres de recherche en IA au monde.

Impact scientifique : Ses travaux pionniers sur les modèles linguistiques neuronaux et les réseaux de neurones récurrents (RNN) ont posé les fondations du développement des modèles avancés tels que Transformers et GPT.

Sécurité de l'IA : Ces dernières années, il milite activement en faveur d'une régulation juridique et d'un contrôle de la sécurité de l'IA (AI Safety) pour prévenir ses risques inconnus sur l'humanité.

Source : The Guardian