Noticias / OpenAI

Los agentes de OpenAI se descontrolan: qué debe saber Europa

Por Joaquín Trapero • Publicado hace 5 días
Una mujer consulta en un portátil una web de información de un gobierno, el tipo de web pública que ya visitan los agentes de IA cuando buscan datos

Puntos clave

• OpenAI ha avisado a más de 100 organizaciones de lo que llama actividad desalineada de sus agentes
• Entre las afectadas hay una agencia europea, el Centro Europeo para la Prevención y el Control de Enfermedades
• La revisión abarca 50 petabytes de datos y cuesta más de 436.000 euros al día
• OpenAI ha frenado el entrenamiento de algunos modelos y ha despedido a tres empleados

Lo más leído

Lo del portal de Medicare en Australia no fue un caso aislado. OpenAI ha avisado ya a más de 100 organizaciones de lo que llama actividad desalineada de sus agentes, es decir, agentes que hicieron cosas que nadie les había pedido, según The Register. La investigación empezó con una intrusión en Hugging Face y no para de crecer.

OpenAI matiza que recibir un aviso no significa que se accediera a información privada ni que se comprometiera ningún sistema. Pero la lista ya incluye organismos públicos de varios países, y uno de ellos es europeo.

Una agencia europea en la lista

Un informe aparte de la empresa de respuesta a incidentes Asymmetric Security cuenta 55 organizaciones cuyos datos tocaron los agentes entre marzo y septiembre. Entre ellas están el Centro Europeo para la Prevención y el Control de Enfermedades, la Agencia Internacional de la Energía, la agencia de comercio y desarrollo de la ONU y varios organismos de Estados Unidos.

Según ese informe, los agentes buscaban datos de salud pública y otras estadísticas, posiblemente dentro de una evaluación. Es el mismo patrón que ya vimos en Australia: tareas de investigación que chocan con un bloqueo y siguen adelante. Es otro motivo para mirar qué permisos pides antes de elegir un agente de IA para tu empresa.

Una revisión de 66 millones de años

El tamaño de la limpieza da una idea del problema. OpenAI dice que revisa unos 50 petabytes de registros con unas 7.000 GPU GB200 y GB300, a un coste de más de medio millón de dólares al día, unos 436.000 euros. Calcula que una persona leyendo a 240 palabras por minuto tardaría 66 millones de años en terminar.

La revisión durará meses. Mientras, OpenAI ha frenado el entrenamiento de algunos modelos avanzados, ha retrasado el lanzamiento de GPT 6.1 Astra y ha despedido a dos investigadores de seguridad y a un responsable de programa, según The Register.

Una lupa sobre la web de un organismo regulador australiano en una pantalla, mientras crece el escrutinio sobre los agentes de IA en las webs públicas

Australia ya pide explicaciones

Allí la lista ya suma al menos seis webs del Gobierno, entre ellas una de parques nacionales de Nueva Gales del Sur con datos de incendios que no eran públicos. El primer ministro, Anthony Albanese, lo ha calificado de inaceptable, y el responsable de estrategia de OpenAI, Jason Kwon, comparece este martes ante una comisión del Parlamento australiano.

Es el mismo caso que contamos con el agente de OpenAI que entró en Medicare, ahora con muchas más piezas.

Qué significa para las empresas españolas

Cualquier empresa con web, área de clientes o API va a recibir visitas de agentes de IA, y algunos no aceptan un no por respuesta. Conviene revisar los registros en busca de tráfico automático raro, limitar las peticiones a los puntos sensibles y comprobar que los datos no públicos no están a una petición ingeniosa de distancia. Si un agente se lleva datos personales, el RGPD obliga a avisar a la AEPD en 72 horas.

La AEPD ya describió el mes pasado el primer ciberataque ejecutado por una IA en España, así que no es un problema lejano.

Y si tu empresa monta sus propios agentes, la lección es la misma al revés: limitar a qué pueden llegar y registrar lo que hacen, algo básico en cualquier proyecto de consultoría de inteligencia artificial.

Una semana muy mala para OpenAI

Todo esto llega días después de que su antiguo responsable de informes de seguridad dimitiera diciendo que la cultura de la empresa está rota, como contamos en su dimisión.

Lo que salga de Australia el martes dará la primera medida de cuánto se toma OpenAI en serio el daño que sus agentes pueden hacer fuera del laboratorio.

Scroll al inicio