Noticias / Anthropic

Usó Claude como diario y Anthropic avisó a la policía

Por Joaquín Trapero • Publicado hace 3 semanas
Un policía toma notas en una carpeta mientras habla con una mujer, después de que Anthropic comunicara a las autoridades una conversación amenazante en Claude

Puntos clave

• Una mujer de Florida escribió en Claude el 26 de septiembre que atacaría a tiros una comisaría
• Los sistemas de Anthropic lo marcaron, lo revisó una persona y la empresa avisó a la policía
• Cuatro días después fue detenida y se enfrenta a un delito grave
• La política de Anthropic permite revelar datos para evitar daños graves y revisar chats marcados

Lo más leído

Una mujer de Florida usaba Claude como si fuera su diario. Una de sus entradas acabó en manos de la policía. El 26 de septiembre escribió que iba a atacar a tiros la oficina del sheriff del condado de Lee, y en otro mensaje habló de conseguir un arma nueva. Los sistemas de Anthropic marcaron la conversación, una persona la revisó y la empresa avisó a las autoridades, según Tom’s Hardware.

Cuatro días después la detuvieron en su casa sin incidentes. Ahora se enfrenta a un delito grave por amenazas escritas según la ley de Florida.

Cómo llegó el mensaje a la policía

Anthropic vigila las conversaciones en busca de frases que puedan indicar una amenaza. La mayoría se gestiona de forma automática, pero los casos más graves pasan a revisión humana, y eso es lo que ocurrió aquí. Quienes lo revisaron vieron el riesgo lo bastante real como para pasar los datos a la policía.

Anthropic no ha comentado este caso en público. Su forma de actuar se parece a la de los proveedores de correo o las redes sociales ante amenazas creíbles: los sistemas automáticos filtran un volumen enorme de mensajes y las personas deciden qué llega a las autoridades.

Lo que permite la política de Anthropic

No es una regla escondida. La política de privacidad de Anthropic dice que puede comunicar datos personales a autoridades o fuerzas de seguridad cuando cree de buena fe que es razonablemente necesario para evitar un daño grave a personas o bienes, o para cumplir la ley.

También recoge que las conversaciones pueden marcarse para revisión de seguridad, para detectar contenido dañino y hacer cumplir sus normas. Y eso vale incluso para quien ha desactivado que sus chats se usen para entrenar modelos.

Una mujer escribe de noche en la ventana de chat de un ordenador, el tipo de conversación privada que mucha gente tiene con un chatbot de IA

No es el primer chat que acaba en comisaría

Según la prensa que ha seguido el caso, es al menos la tercera conversación con una IA que llega a la policía desde agosto. Antes hubo una amenaza contra un colegio de San Antonio el 11 de agosto y otra contra un consejero delegado en San Francisco el 14 de agosto, además de un caso con ChatGPT que salió a la luz en marzo.

El patrón se repite. La gente trata al chatbot como una libreta privada, pero detrás hay una empresa con equipos de seguridad y obligaciones legales.

Qué significa para las empresas españolas

La lección para una empresa no va de amenazas, va de lo que la plantilla da por privado. Mucha gente pega datos de clientes, información de salud o conflictos internos en herramientas de IA como si hablara sola, cuando el proveedor puede revisar lo que se marca y comunicarlo en algunos casos. El RGPD, además, permite tratar datos cuando hace falta para proteger intereses vitales de una persona.

Tu política de IA debería dejar claro qué herramientas se usan, con qué planes y qué no puede entrar nunca en ellas. Lo explicamos en nuestra guía sobre protección de datos con ChatGPT en la empresa, que vale igual para Claude.

Privado, pero no secreto

Poca gente discutirá que se frene una amenaza creíble de violencia. Lo importante es entender que un chat con una IA está a medio camino entre un diario y un correo a una empresa, y conviene tratarlo así.

Para quien elige plataforma, las condiciones de revisión y de comunicación de datos merecen tanta atención como el precio, algo que revisamos en cualquier proyecto de consultoría de inteligencia artificial.

Scroll al inicio