Bilal Chughtai y Josh Engels dejaron sus puestos en el área de seguridad de AGI de Google DeepMind y publicaron cartas abiertas en las que advierten sobre los riesgos del avance de la IA. Sus posturas se suman a los pedidos de Anthropic y OpenAI de establecer regulaciones.
Dos ex empleados de Google DeepMind, el área de inteligencia artificial del buscador, renunciaron a sus puestos y publicaron cartas abiertas en las que expresan su preocupación por los riesgos del desarrollo de la inteligencia artificial. Se trata de Bilal Chughtai y Josh Engels, quienes se desempeñaban en el equipo de Seguridad y Alineamiento de modelos de Inteligencia Artificial General (AGI, por sus siglas en inglés).
Chughtai anunció su renuncia a través de sus redes sociales. «En Google, presencié el desarrollo de la IA de primera mano y me preocupa enormemente la trayectoria predeterminada que viene teniendo esta tecnología», escribió. «Creo firmemente que la IA tiene el potencial de acabar con todos nosotros y que podríamos estar quedándonos sin tiempo para evitarlo. El ritmo de progreso de la IA en los últimos años ha sido asombroso», agregó.
El ingeniero, que dejó su puesto a comienzos de mes, sostuvo que «las capacidades de IA de vanguardia están mejorando mucho más rápido que nuestra comprensión de la alineación». «Peor aún. Nuestra comprensión actual de cómo entrenar sistemas de IA que deseen profundamente lo que nosotros deseamos es extremadamente rudimentaria», afirmó. En ese sentido, pidió desacelerar el avance de los desarrollos para que «las capacidades de los modelos no sobrepasen nuestra capacidad de alinearlos».
Por su parte, Josh Engels también trabajaba en el área de seguridad de AGI de DeepMind. Renunció hace aproximadamente tres semanas y se sumó al debate público tras la difusión de la carta de renuncia de Jacob Coxon, un especialista británico que dejó su puesto en Anthropic. Engels citó un posteo sobre el tema y remarcó que está «convencido de que no tenemos las cosas bajo control y deberíamos bajar el ritmo».
En su carta abierta, Engels reveló que rechazó ofertas de OpenAI y Anthropic. «Todas las empresas de IA están intentando construir superinteligencia: sistemas mucho mejores que los humanos en todo. Si esto sale bien, los sistemas resultantes podrían ser asombrosos para resolver innumerables problemas para la humanidad. Pero actualmente no sabemos cómo asegurarnos de que las IA sean lo suficientemente seguras», dijo.
El ingeniero puso el foco en el proceso de Automejora recursiva (RSI), mediante el cual los sistemas de IA entrenan versiones mejoradas de sí mismas en un bucle constante. Para Engels, un bucle de RSI desalineado «podría ser catastrófico». «En las últimas semanas, hemos descubierto que algunos modelos se confabulan entre sí, hackean empresas, ocultan sus huellas y manipulan socialmente a los humanos. No es que estos incidentes fueran muy peligrosos en sí mismos. El problema es que estos sistemas claramente no están lo suficientemente alineados como para iniciar de forma segura la automejora recursiva», diagnosticó.
Engels advirtió que «existe una probabilidad aterradora de que los sistemas de IA causen un daño inmenso en los próximos cinco años». «No conozco la probabilidad exacta, pero creo que es lo suficientemente alta como para convertirlo en el problema más importante del mundo», dictaminó. El ingeniero renunció a Google DeepMind para incorporarse a METR, una ONG dedicada a evaluar los riesgos de los modelos de frontera de IA.
El sábado pasado, el CEO de Anthropic, Dario Amodei, pidió una desaceleración en el desarrollo de la inteligencia artificial y la implementación de auditorías de terceros para evitar catástrofes en ciberseguridad a escala global. Su postura fue respaldada por Sam Altman y Elon Musk. Una de las firmas propuestas para realizar dichas auditorías fue METR, donde trabaja Engels.
Estos pedidos de regulación se producen en un contexto de disputa con China y de un negocio que, para OpenAI, sigue siendo deficitario. Según The Wall Street Journal, OpenAI registró US$12.300 millones de pérdidas operativas en el segundo trimestre de 2026, con ingresos por US$6.700 millones.