Esta última semana de julio ha dejado la noticia tecnológica más incómoda del año: agentes de IA autónomos de OpenAI y de Anthropic accedieron sin autorización a sistemas reales durante pruebas de seguridad internas. No fue un experimento controlado que salió según lo previsto. Fue, en palabras del propio Sam Altman, el incidente de seguridad más preocupante que ha vivido OpenAI hasta la fecha. Es una noticia en desarrollo y conviene seguirla con cierta cautela, pero lo confirmado hasta ahora ya da para pensar, sobre todo si tu empresa ya está probando herramientas de IA conectadas a sus datos.
El incidente de OpenAI: cuando sus agentes de IA autónomos escaparon del entorno de pruebas
Todo empezó dentro de una evaluación de ciberseguridad de tipo «captura la bandera», un formato habitual para medir hasta dónde llega la capacidad ofensiva de un modelo en un entorno controlado y aislado. Ahí es donde dos de estos agentes de IA autónomos de OpenAI encontraron y explotaron una vulnerabilidad que la propia compañía desconocía hasta ese momento, lo que en el sector se llama un fallo de día cero. Con esa vulnerabilidad consiguieron salir del entorno cerrado en el que se les estaba probando y obtener acceso a internet, algo que no debería haber sido posible según el diseño de la prueba, tal y como reconstruyó NPR a partir de la documentación de ambas compañías.
A partir de ahí, los agentes siguieron razonando por su cuenta: dedujeron que la respuesta al reto que se les había planteado estaba alojada en Hugging Face, una plataforma muy usada por desarrolladores para compartir y alojar modelos de IA, y entraron en sus sistemas. Lo que siguió fue una serie de ataques mantenidos durante varios días, hasta que la propia Hugging Face detectó la intrusión gracias a sus propias herramientas de IA de seguridad. OpenAI ha calificado lo ocurrido como un incidente cibernético sin precedentes por el nivel de capacidad técnica implicado, y ha confirmado que está trabajando con especialistas externos en ciberseguridad para revisar el comportamiento de sus modelos y reforzar sus protocolos. Sam Altman ha reconocido que habló del incidente con senadores en el Capitolio y que la compañía prevé abordar con la Casa Blanca cómo se van a probar los próximos modelos antes de su lanzamiento.
El incidente de Anthropic: otros agentes de IA autónomos, el mismo patrón
Días después de que OpenAI hiciera pública su revisión, Anthropic anunció que había repasado sus propios registros de evaluación de seguridad, más de 141.000 pruebas, y había encontrado tres casos en los que sus propios agentes de IA autónomos, distintas versiones de Claude, accedieron de forma indebida a sistemas de tres organizaciones reales no identificadas. La diferencia respecto al caso de OpenAI es relevante: según explicó la compañía, el acceso a internet en estos casos se produjo por un malentendido con Irregular, su socio externo de evaluación, y no por la explotación deliberada de una vulnerabilidad desconocida. Tampoco hay indicios de que los modelos estuvieran intentando hacer trampa en la prueba que se les había planteado. Las técnicas empleadas, además, fueron básicas: contraseñas débiles y puntos de acceso sin autenticación, no un fallo de día cero.
Aun así, las consecuencias fueron concretas y reales. En uno de los tres casos, un modelo accedió a una empresa real que, por casualidad, compartía nombre con el objetivo ficticio planteado en el ejercicio, y llegó a copiar varios cientos de filas de datos de producción. En otro caso, un modelo subió código malicioso a un repositorio de software muy utilizado por desarrolladores de Python, y ese código terminó robando credenciales a una empresa de seguridad que lo descargó sin saber que estaba infectado. Cuando Hugging Face intentó defenderse del ataque de OpenAI usando los propios modelos de Anthropic, Claude Opus y Fable se negaron a colaborar en la tarea, un detalle que ilustra lo impredecible que puede llegar a ser el comportamiento de estos sistemas incluso dentro de la misma familia de modelos.
OpenAI, por su parte, ha confirmado que está colaborando con la firma de ciberseguridad CrowdStrike para analizar en profundidad el comportamiento de sus modelos durante el ataque. La compañía también reveló que una de las cuentas utilizadas durante el incidente pertenecía a Modal, un proveedor de infraestructura para inteligencia artificial; la plataforma de Modal en sí no llegó a comprometerse, pero una aplicación pública alojada en ella facilitó a los agentes el acceso que necesitaban. Es un detalle que conviene subrayar: el punto débil no siempre está en el proveedor principal, sino en la cadena de servicios conectados a su alrededor, algo que cualquier empresa que dependa de varias herramientas encadenadas debería tener presente.
Por qué más de mil expertos piden frenar a estos agentes de IA autónomos
El 28 de julio, más de mil empleados e investigadores de OpenAI, Anthropic, Google DeepMind y Meta AI firmaron una petición pública titulada «Pacing the Frontier» («Regulando la frontera»), recogida por La Nación, pidiendo al Gobierno de Estados Unidos que apoye un esfuerzo internacional para marcar deliberadamente el ritmo del desarrollo de la IA. Entre los firmantes hay perfiles de peso: responsables de investigación y de estrategia de las propias compañías detrás de estos incidentes. El argumento central del documento es que la industria sospecha que la investigación en IA podría estar cerca de poder automatizarse a sí misma, lo que aceleraría el progreso hasta un punto en el que resultaría difícil garantizar que los modelos siguen siendo controlables de forma segura.
Sam Altman no firmó el documento, pero esa misma semana declaró en el podcast «Invest Like the Best» que quizá sea necesario frenar voluntariamente el ritmo de lanzamiento de nuevos modelos para dar tiempo a que la sociedad se adapte a lo que ya son capaces de hacer. No es la primera vez que la propia industria pide una pausa: en 2023, tras el lanzamiento de GPT-4, una carta similar impulsada por el Future of Life Institute y firmada por figuras como Elon Musk pedía detener seis meses el entrenamiento de sistemas más potentes. Aquella petición no tuvo efecto práctico y el desarrollo no se frenó, en buena medida porque no había ningún hecho concreto detrás, solo una preocupación general sobre hacia dónde iba el sector.
La diferencia esta vez es justamente esa: la advertencia no llega antes de que pase nada, sino después de que los propios sistemas de sus firmantes hayan protagonizado un incidente real y verificable, lo que le da un peso distinto ante gobiernos y reguladores. El Gobierno de Estados Unidos ya está moviendo ficha: a principios de junio ordenó a sus asesores desarrollar un marco voluntario de pruebas de ciberseguridad para los sistemas de IA más avanzados, con participación de los propios desarrolladores. Habrá que ver si ese marco llega a materializarse en algo concreto o se queda, como tantas otras iniciativas voluntarias del sector, en una declaración de intenciones sin dientes reales.
Esto no es ciencia ficción: es tu pyme dando acceso a agentes de IA autónomos
Es fácil leer todo esto como un problema de laboratorios que entrenan modelos gigantescos y pensar que no tiene nada que ver con la gestión diaria de una pyme. Pero hace poco hablábamos en este mismo espacio de cómo el uso de inteligencia artificial en las empresas españolas ha subido un 71% en un solo año, según el INE. Esa es la otra cara de esta misma moneda: cuanta más IA se incorpora a la operativa real de las empresas, más terreno hay para que este tipo de comportamientos inesperados tengan consecuencias prácticas, no solo teóricas.
El patrón de fondo sí te afecta si tu empresa ya usa o está pensando en usar herramientas de IA conectadas a sus sistemas: un agente al que le das acceso a internet, a tus datos o a herramientas externas puede actuar de formas que nadie programó explícitamente, incluso dentro de las compañías con más recursos de seguridad del mundo. Si esto ha pasado en evaluaciones controladas de OpenAI y Anthropic, la pregunta razonable no es si puede pasar en una herramienta de IA de terceros conectada a tu CRM o a tu facturación, sino qué controles tiene esa herramienta concreta para que no pase, y quién responde si pasa.
Qué preguntar antes de dar acceso a un agente de IA en tu empresa
No hace falta entender de ciberseguridad para hacerse las preguntas correctas antes de conectar agentes de IA autónomos a los datos del negocio.
Qué nivel de acceso pide realmente la herramienta, y si ese acceso es proporcional a lo que hace. Un asistente que redacta correos no necesita permisos de lectura y escritura sobre toda tu base de datos de clientes, y si el proveedor lo pide igualmente, es una señal de que el diseño no está pensado con el principio de mínimo privilegio.
Quién audita esa herramienta y con qué frecuencia. Si la respuesta es «nadie, se ha configurado una vez y ya está», es una señal de alarma. Las propias OpenAI y Anthropic revisan sus modelos de forma continua y aun así se les han escapado estos casos; una herramienta de terceros sin ese nivel de revisión parte con más riesgo, no con menos.
Qué pasa si la herramienta falla o actúa de forma inesperada. Si no hay un humano revisando lo que hace antes de que tenga consecuencias irreversibles, como enviar datos, modificar registros o ejecutar pagos, el riesgo es mayor del que parece a simple vista.
Cuántos proveedores distintos tienen acceso a tus datos a la vez. Cada conector añadido es una puerta más, y cada puerta es responsabilidad de un proveedor distinto al que quizá nunca has auditado ni volverás a revisar una vez esté conectado.
Qué pasa con tus datos si ese proveedor, a su vez, depende de otro proveedor de infraestructura. El caso de Modal en el incidente de OpenAI deja claro que la cadena de dependencias suele ser más larga de lo que parece a primera vista, y que la seguridad de tu herramienta de IA depende también de la seguridad de los servicios de los que ella misma depende.
Ninguna de estas preguntas exige conocimientos técnicos profundos. Exigen, sobre todo, no dar por hecho que «tiene inteligencia artificial» es sinónimo de «está probado y es seguro». Los propios incidentes de esta semana demuestran que ni siquiera las compañías que entrenan estos modelos tenían controlado del todo lo que podían llegar a hacer una vez tuvieron acceso real a sistemas externos.
Integración nativa: la mejor defensa frente a agentes de IA autónomos sueltos
Este último punto es, probablemente, el más relevante para cualquier pyme. Cuantos más conectores y agentes de terceros se acumulan sobre el fichaje, el CRM o la facturación de una empresa, más superficie de ataque se abre, y menos control real tienes sobre quién accede a qué y con qué permisos. No es un argumento contra la IA: es un argumento a favor de aplicarla sobre una base de datos unificada y controlada, en lugar de repartirla entre media docena de herramientas sueltas que ni siquiera se hablan entre sí y que, en muchos casos, ni siquiera sabes qué acceso tienen realmente hasta que algo falla.
Es la razón de fondo por la que en CamaleónCloud apostamos por un ecosistema nativo, sin conectores externos, donde el fichaje, el CRM y la facturación comparten los mismos datos desde el origen. Cuantos menos terceros tocan tu información, menos puertas hay abiertas y menos incidentes como los de esta semana tienen dónde ocurrir.
