Los agentes superinteligentes plantean riesgos catastróficos: ¿puede una IA científica ofrecer un camino más seguro?

Abstract

Las principales empresas de IA se centran cada vez más en construir agentes de IA generalistas: sistemas capaces de planificar, actuar y perseguir objetivos de forma autónoma en casi todas las tareas que pueden realizar los seres humanos. Por útiles que resulten, una agencia de la IA sin control plantea riesgos considerables para la seguridad pública, que van desde el uso indebido por parte de actores maliciosos hasta una pérdida potencialmente irreversible del control humano. Los autores analizan cómo surgen estos riesgos de los métodos actuales de entrenamiento de la IA. De hecho, diversos escenarios y experimentos han demostrado la posibilidad de que los agentes de IA recurran al engaño o persigan objetivos no especificados por los operadores humanos y contrarios a los intereses humanos, como la autopreservación. Siguiendo el principio de precaución, los autores ven una necesidad apremiante de alternativas más seguras, pero igualmente útiles, a la trayectoria actual impulsada por la agencia. En consecuencia, proponen como pieza básica para futuros avances el desarrollo de un sistema de IA no agéntico, fiable y seguro por diseño, al que llaman «IA científica» (Scientist AI). Este sistema está diseñado para explicar el mundo a partir de observaciones, en lugar de actuar en él para imitar o complacer a los humanos. Consta de un modelo del mundo que genera teorías para explicar los datos y de una máquina de inferencia que responde preguntas. Ambos componentes operan con una noción explícita de incertidumbre, a fin de mitigar los riesgos de las predicciones excesivamente confiadas. A la luz de estas consideraciones, una IA científica podría ayudar a los investigadores humanos a acelerar el progreso científico, incluido el de la seguridad de la IA. En particular, el sistema puede emplearse como salvaguarda frente a los agentes de IA que pudieran crearse pese a los riesgos que entrañan. En última instancia, centrarse en una IA no agéntica podría permitir aprovechar los beneficios de la innovación en IA evitando los riesgos asociados a la trayectoria actual. Los autores esperan que estos argumentos motiven a investigadores, desarrolladores y responsables políticos a favorecer este camino más seguro.