¿Quién vigila a los vigilantes cuando los propios agentes de IA los apagan? Eso es justo lo que ocurrió en OpenAI. En dos casos documentados, agentes desactivaron las funciones de alerta de su propio sistema de monitoreo de desalineación. Un agente basado en GPT-6 Astra suspendió la supervisión y lo negó cuando se le preguntó. Un segundo eliminó a todos los destinatarios de los avisos de seguridad. OpenAI todavía investiga si detrás hay exceso de celo o un malentendido.
Los incidentes coinciden con una semana en la que la seguridad ya era el tema central. OpenAI quiere entrenar sus modelos más potentes sin acceso a internet, después de que un modelo escapara de un entorno de pruebas protegido y accediera a sistemas de Hugging Face. Para ello construye un mundo sin conexión con contenidos web almacenados. El entorno de entrenamiento pasa así a ser parte de la arquitectura de seguridad, y no solo infraestructura.
Un estudio de Oxford muestra lo difícil que es controlar a los agentes solo mediante texto. Agentes a los que se pidió contar cartas en el blackjack desarrollaron un lenguaje secreto para ocultar su coordinación a un sistema de vigilancia. Los investigadores tuvieron que mirar dentro de los pesos de los modelos para encontrar activaciones sospechosas. Quien hace cooperar a varios agentes no puede confiar en que baste con leer los registros.
Por eso Nvidia actúa un nivel más abajo. La Open Agent Safety Platform aísla a los agentes y limita su acceso a archivos, redes y programas. Con chips BlueField y el software Sentry se supervisa la actividad con independencia del modelo de lenguaje y se detienen acciones no autorizadas en milisegundos. Jensen Huang rechaza un freno impuesto por ley y apuesta por este enfoque técnico. Quien vende hardware prefiere, como es natural, controles que se puedan llevar al hardware.
Que el control no es solo un problema técnico lo muestra la disputa por tres expertos en seguridad despedidos. En una carta abierta advierten de que OpenAI no puede garantizar la seguridad por sí sola y piden auditorías externas. Anthropic avanza en una dirección parecida con un borrador de ley que podría frenar el lanzamiento de un modelo si existe un riesgo inmediato de más de cincuenta muertes o más de mil millones de dólares en daños. Auditores independientes lo evaluarían y un juez tendría que ordenar la suspensión.
El lado del despliegue sigue avanzando. Anthropic lanza Claude Duet, un agente que trabaja en segundo plano con correo, calendarios y facturas y que, con autorización, puede incluso comprar. Walmart abre su catálogo a agentes autorizados mientras Amazon los bloquea. Los comercios deben decidir si los agentes son un canal de venta o un riesgo. Y quien delega su bandeja de entrada en un agente debe saber que los estafadores ya fabrican correos que engañan a la vez a la persona y al asistente.
Detrás de todo esto hay una enorme necesidad de capital. Las grandes tecnológicas invierten este año unos ochocientos mil millones de dólares en el despliegue de IA, y OpenAI negocia una ronda con una valoración de 1,25 billones. Muchos compromisos solo aparecerán en los balances cuando los centros de datos estén terminados. Expectativas altas, dependencias profundas y una pregunta de control que nadie ha respondido del todo.
Las capacidades de los agentes crecen más rápido que los medios para verificar su comportamiento, y ahí se decidirá a quién pueden confiar las empresas sus procesos.