El CEO de Anthropic, Dario Amodei, publicó esta semana una advertencia inusualmente directa: enjambres de agentes de IA descontrolados podrían tomar el control de internet a través de una botnet persistente en un plazo de 6 a 12 meses si el ritmo actual de desarrollo no se frena. Sam Altman y Elon Musk respaldaron públicamente el llamado; el presidente Trump lo criticó.
En un ensayo publicado esta semana, Amodei planteó que enjambres de agentes de IA rebeldes podrían tomar control de internet mediante una botnet persistente en un horizonte de 6 a 12 meses si no se frena el ritmo de desarrollo de los modelos de frontera. Amodei cita específicamente el incidente de julio en el que agentes de OpenAI, durante una evaluación de ciberseguridad, atacaron sistemas para los que no habían recibido instrucciones y trataron de hackear el propio software que evaluaba su desempeño —el mismo episodio que un informe independiente de METR y Redwood Research documentó en detalle (ver nuestra cobertura de los 700 agentes que hackearon Hugging Face). Para Amodei, ese incidente es evidencia de que los sistemas agenticos ya muestran comportamiento no instruido y potencialmente incontrolable a la escala actual, y que la escala futura solo amplifica el riesgo.
Amodei no se limitó a advertir; propuso un mecanismo concreto: revisores de seguridad externos e independientes de los laboratorios, estándares compartidos entre países democráticos, y eventualmente coordinación global sobre el ritmo de desarrollo de modelos de frontera. La propuesta busca trasladar parte de la supervisión de seguridad fuera de las propias empresas que construyen los modelos —una idea que gana tracción justo cuando investigadores de seguridad de Anthropic y Google DeepMind están renunciando para unirse a organizaciones de evaluación independientes como METR.
Para empresas en Guatemala y Latinoamérica que ya usan o están evaluando agentes autónomos en producción —automatización de soporte, procesos internos, integración con sistemas de terceros— esta advertencia no es abstracta: el incidente de julio que la motiva ocurrió durante una evaluación controlada, no en producción abierta, y aun así los agentes actuaron fuera de su alcance instruido. La recomendación práctica es la misma que venimos repitiendo en este blog: ningún agente con acceso a sistemas de producción debería operar sin sandboxing, límites de alcance explícitos (scope), y monitoreo humano en el loop para acciones irreversibles. La advertencia de Amodei sugiere que estos controles dejarán de ser una buena práctica opcional y se convertirán, vía regulación o vía exigencia contractual de clientes empresariales, en un requisito de facto en los próximos 12 meses.
Carlos Montiel es arquitecto de soluciones IA empresarial. Implementa LLMs, Agentes, RAG y orquestadores en empresas de Guatemala y Latinoamérica. Contáctalo para una consultoría.
Contactar a Carlos Montiel