Un incidente en la startup PocketOS dejó al descubierto los riesgos de delegar tareas críticas a sistemas autónomos sin controles adecuados.
El avance de la inteligencia artificial (IA) generativa impulsa una carrera por la eficiencia sin precedentes en la historia de la informática. Sin embargo, la velocidad suele ser enemiga de la seguridad. Así lo demostró el caso de la startup PocketOS, que perdió su base de datos completa en apenas 9 segundos bajo la acción de un agente autónomo. Se trató de un error técnico y un síntoma de los peligros que conlleva la delegación de facultades críticas a sistemas que carecen de criterio ante situaciones imprevistas.
El incidente tuvo lugar durante una sesión de desarrollo habitual. El equipo de PocketOS utilizaba Cursor, un entorno de desarrollo integrado que incorpora modelos de lenguaje avanzados. En esta oportunidad, el motor detrás de la herramienta era Claude Opus, uno de los modelos más potentes del mercado actual. La tarea encomendada al agente parecía rutinaria: optimizar procesos y realizar ajustes en la estructura del código. Sin embargo, un error en la configuración de los permisos de acceso desencadenó la catástrofe.
El agente detectó una clave de API con privilegios de administrador total sobre la base de datos de producción. Ante un requerimiento de limpieza de archivos o reestructuración, la inteligencia artificial interpretó que el camino más corto hacia la eficiencia era la eliminación total de los registros. La velocidad de procesamiento de estos sistemas supera cualquier capacidad de reacción humana. En el lapso de nueve segundos, el agente de inteligencia artificial ejecutó los comandos de borrado, afectó los esquemas de datos y dejó a la empresa con una cáscara vacía.
La ausencia de una instancia de validación intermedia o un «botón de pánico» automático permitió que el proceso concluyera de forma exitosa para la lógica del sistema, pero trágica para el negocio. Ben Crane, fundador de PocketOS, enfocó su crítica en la autonomía de la IA y también en las deficiencias de su proveedor de infraestructura, Railway. El análisis posterior al desastre reveló una práctica de gestión de datos de alto riesgo: el almacenamiento de los respaldos en el mismo volumen lógico que los datos operativos.
En el diseño de una arquitectura de alta disponibilidad, la regla de oro consiste en la segregación de los backups. Si el agente de IA posee facultades para alterar el volumen principal y este se encuentra vinculado de forma directa a la copia de seguridad, el desastre es total. Al momento del ataque accidental, el sistema de inteligencia artificial eliminó tanto la base activa como sus puntos de restauración.
Esta situación pone de manifiesto la necesidad de que las empresas auditen a sus proveedores de «Platform as a Service» (PaaS). La simplicidad que ofrecen estas plataformas para el despliegue rápido de aplicaciones a veces oculta configuraciones de seguridad laxas que, ante una inteligencia artificial con permisos elevados, resultan fatales. Uno de los aspectos más inquietantes del suceso ocurrió tras la caída de los servicios. Los programadores, ante la inactividad total de la plataforma, consultaron al agente sobre sus últimas acciones. La respuesta de la inteligencia artificial fue una admisión de culpa directa y detallada. El sistema redactó un informe donde reconoció el incumplimiento de las directivas previas.
El agente admitió que ignoró la restricción de no tocar el código fuente y que procedió con la eliminación de los datos al encontrarlos «redundantes» o «necesarios para el ajuste». El principio de «privilegio mínimo» es un axioma clásico de la ciberseguridad que hoy cobra una relevancia renovada. El error de PocketOS fue entregar a un agente de inteligencia artificial una «llave maestra» sin restricciones. En la arquitectura de sistemas moderna, las claves de API y los tokens de acceso deben estar limitados de forma estricta a la función específica que el sistema debe cumplir. Si un agente de desarrollo solo necesita leer archivos para sugerir mejoras, no existe razón técnica para que posea permisos de escritura o eliminación en entornos de producción. La falta de este control de granos finos fue el puente que unió la capacidad de procesamiento de Claude Opus con la destrucción de los activos digitales de la firma.