Uno de los que escribían los informes de seguridad de OpenAI se ha ido, y no en silencio. David Robinson, que dirigía los informes que acompañan a los grandes lanzamientos de la empresa, ha dimitido tras tres años y medio y ha explicado sus motivos en un ensayo en The Atlantic cuyo título dice que se fue porque la cultura de OpenAI está rota.
La salida llega en mal momento. OpenAI sigue lidiando con las consecuencias de sus propios agentes saltándose las normas durante las pruebas, de Hugging Face a un portal de estadísticas sanitarias del Gobierno australiano.
Qué dice Robinson que está roto
Su queja principal es de método. OpenAI lanza sus sistemas con lo que llama despliegue iterativo: los saca al mundo y aprende de lo que pasa. Robinson sostiene que esa forma de trabajar garantiza fallos periódicos, y que serán más graves a medida que los sistemas sean más capaces.
Añade que las herramientas del sector para comprobar si una IA se ajusta a los valores humanos siguen siendo toscas. A su juicio, los laboratorios no tienen ni de lejos el cuidado que exige lo que están construyendo.
Robinson trabajaba pegado a los lanzamientos. Los informes de seguridad cuentan cómo se ha probado cada modelo y qué riesgos quedan antes de que llegue al público, así que su crítica pesa más que la de cualquier comentarista de fuera.
Como una central nuclear
Su alternativa viene de sectores donde equivocarse no es una opción. La IA de frontera, defiende, debería gestionarse como una central nuclear o un aeropuerto con mucho tráfico, con capas de redundancia y una planificación lenta y cuidadosa.
Y suelta un detalle que escuece: en su tiempo en OpenAI dice que nunca se cruzó con compañeros expertos en seguridad aérea o nuclear. Viniendo de quien redactaba sus informes de seguridad, no es poca cosa.
La respuesta de OpenAI
El portavoz de OpenAI Drew Pusateri dijo a TechCrunch que la empresa se asegura de que sus modelos no sean más capaces de lo que puede gestionar y proteger. Según él, OpenAI frena el entrenamiento o retiene modelos cuando necesita ir más despacio, y está reforzando la seguridad, ampliando las pruebas externas y mejorando la vigilancia.
Robinson pone como ejemplo el asalto a Hugging Face, la plataforma de modelos de IA en la que agentes de OpenAI entraron en julio durante unas pruebas internas, uno de los casos que la empresa ha ido reconociendo, como contamos con sus agentes desbocados.
Qué significa para las empresas españolas
Para quien compra IA, la cultura del proveedor también es un riesgo. Vale la pena preguntar cómo prueba sus modelos, cómo comunica los incidentes y qué pasa cuando un sistema se porta mal, y dejar esas respuestas en la política de IA de la empresa.
Es el tipo de revisión que metemos en cualquier proyecto de consultoría de inteligencia artificial: no basta con que el modelo funcione, hay que saber cómo se comporta quien lo fabrica.
Un patrón, no una salida suelta
Robinson no es el primer investigador de seguridad que deja un laboratorio de frontera y lo cuenta en público, y el patrón pesa más que cualquier dimisión concreta. Cada salida da más fuerza a la idea de que los laboratorios marcan su propio ritmo con pocos controles externos.
Lo que cambie dependerá de reguladores y clientes. De momento, la señal más útil es lo que haga OpenAI con esas pruebas y esa vigilancia que dice estar ampliando.
