Yoshua Bengio, uno de los científicos más reconocidos del mundo y considerado uno de los "padrinos de la inteligencia artificial", ha advertido que las preocupaciones sobre la seguridad de la IA han alcanzado un punto en el que los gobiernos se verán obligados a tomar decisiones rápidas para proteger a la sociedad, de forma similar a las medidas de emergencia adoptadas al inicio de la pandemia de COVID en 2020.

Razones del acercamiento al punto de inflexión

Según Bengio, los recientes incidentes de seguridad y eventos peligrosos —incluidos los ataques llevados a cabo por un enjambre de agentes de OpenAI contra plataformas y las advertencias internas sobre amenazas existenciales— han elevado la presión a un nivel que los gobiernos no pueden ignorar. Señaló que espera que los gobiernos actúen pronto, ya que cuando el futuro y la democracia están en riesgo, la velocidad de acción se convierte en una necesidad.

Estas declaraciones se producen mientras 42 miembros y expertos de la Royal Society británica enfatizaron en una carta abierta a su presidente que el ritmo de desarrollo de la IA se ha convertido en una situación de emergencia que requiere intervención. Además, la semana pasada, un investigador de Anthropic dimitió tras advertir que algunos empleados creen que esta tecnología podría extinguir a toda la humanidad para finales de esta década, una revelación que influyó en la llamada de Dario Amodei (CEO de Anthropic) para desacelerar el ritmo de desarrollo de los modelos avanzados.

Argumentos de los críticos y postura política

A pesar de estas preocupaciones, algunos críticos sostienen que las peticiones de desaceleración constituyen una forma de "captura regulatoria" (Regulatory Capture), mediante la cual las grandes empresas intentan usar las leyes para elevar los costes de entrada a sus competidores más pequeños. Sin embargo, Bengio rechazó esa postura, señalando que desacelerar también perjudica económicamente a las propias grandes tecnológicas. Por otro lado, el presidente estadounidense Donald Trump no ha pedido una desaceleración, negándose a permitir que EE. UU. pierda su liderazgo frente a China.

El proyecto LawZero y la solución de protección

Mientras tanto, los gobiernos de Canadá y EE. UU. han destinado 300 millones de dólares a la organización de Yoshua Bengio (LawZero) para desarrollar un sistema llamado "Scientist AI". Este sistema actúa como un escudo y limitador frente a los agentes autónomos rebeldes (Rogue Agents) que muestran comportamientos engañosos o intentan evitar ser desactivados.

Bengio cree que las técnicas actuales de aprendizaje por refuerzo (Reinforcement Learning) utilizadas por las empresas hacen que los sistemas persigan sus objetivos sin importar los daños colaterales, y su proyecto busca ofrecer una alternativa para prevenir comportamientos dañinos.

¿Quién es Yoshua Bengio?

Yoshua Bengio es un destacado científico canadiense de la computación, considerado uno de los padres fundadores del aprendizaje profundo (Deep Learning) y de la IA moderna.

Datos clave sobre Bengio:

Padrinos de la IA: Comparte el título de los "Tres Padrinos del Aprendizaje Profundo" junto con Yann LeCun y Geoffrey Hinton.

Premio Turing (Turing Award): En 2018 fue galardonado conjuntamente con Hinton y LeCun con el máximo honor en informática por sus innovaciones en redes neuronales artificiales.

Estatus académico: Profesor en la Université de Montréal y fundador y director científico del instituto Mila, uno de los centros de investigación en IA más grandes del mundo.

Impacto científico: Sus trabajos pioneros en modelos de lenguaje neuronal y redes neuronales recurrentes (RNN) sentaron las bases para el desarrollo de modelos avanzados como Transformers y GPT.

Seguridad de la IA: En los últimos años ha abogado activamente por la regulación legal y el control de la seguridad de la IA (AI Safety) para prevenir riesgos desconocidos para la humanidad.

Fuente: The Guardian