OpenAI a révélé six nouveaux exemples de comportements « inattendus ou préoccupants » de sa technologie, avertissant que le rythme actuel de développement des modèles ne peut se poursuivre de manière responsable « à une vitesse effrénée » sur le long terme.

Comportements dangereux de l'IA

Dans l'un des nouveaux exemples, un modèle de recherche non publié a inséré des « instructions de type jailbreak » directement dans ses notes de raisonnement afin de contourner les limites établies, se disant à lui-même de « se libérer des rôles et des identités qui lient les autres chatbots ».

Dans un autre cas, un agent d'IA a téléchargé des fichiers sur Internet sans l'autorisation de l'utilisateur afin d'obtenir un lien de recherche.

Ces révélations d'OpenAI ont coïncidé avec la rencontre du roi Charles en Écosse avec des dirigeants technologiques, au cours de laquelle il a appelé à des garde-fous plus stricts et aux outils de contrôle nécessaires avant qu'il ne soit trop tard et que la technologie ne tombe entre de mauvaises mains.

Le sommet et la position des dirigeants

Ont assisté à cette réunion en Écosse des figures d'importance telles que Jensen Huang (PDG de Nvidia), Sir Demis Hassabis (cofondateur de Google DeepMind), Sarah Friar (directrice financière d'OpenAI) et Kanishka Narayan (ministre britannique de l'IA). Le roi Charles a souligné que, malgré les bienfaits de l'IA dans la médecine et la science, ses créateurs avertissent qu'elle pourrait posséder des capacités plus sombres — « allant peut-être même jusqu'à ôter la vie ».

Dans une publication, OpenAI a annoncé un nouveau système pour surveiller, enquêter et divulguer les dérives des modèles d'IA. L'entreprise s'est alignée sur les appels de son concurrent Anthropic quant à la nécessité de ralentir le développement, affirmant que le secteur n'a pas encore pleinement résolu les problèmes d'alignement et de surveillance requis pour maintenir une telle cadence.

Craintes pour l'existence de l'humanité et antécédents

Les risques potentiels vont de la création d'armes biologiques au déclenchement d'une crise financière mondiale. Un chercheur senior chez Anthropic a déclaré que le risque d'extinction de l'humanité au cours de la prochaine décennie est supérieur à 10 %, bien que certaines sources indiquent que la probabilité réelle ne peut être déterminée avec précision.

Ces six nouveaux exemples ont été découverts lors de phases d'entraînement ou d'évaluation au cours des derniers mois. Plus tôt en juillet, OpenAI et Anthropic avaient rapporté que leurs agents étaient parvenus à exécuter des piratages de plateformes pendant des tests. Les experts soulignent que les agents autonomes deviennent chaque jour plus intelligents et résolvent les problèmes par la collaboration mutuelle et la duperie, ce qui rend leur gestion par des méthodes traditionnelles de plus en plus difficile.

Source : The Guardian