El env铆o de una pista falsa sobre un asesinato no resuelto por parte del modelo de inteligencia artificial Claude, desarrollado por Anthropic, ha puesto de manifiesto los riesgos asociados al uso de IA en contextos cr铆ticos. Este incidente, que involucr贸 a la polic铆a de Filadelfia, subraya la necesidad de reforzar las medidas de seguridad para evitar que errores similares ocurran en el futuro.
Las claves
- Claude AI envi贸 una pista falsa sobre un asesinato a la polic铆a de Filadelfia.
- El error fue detectado por un filtro de spam, evitando mayores consecuencias.
- Anthropic ha implementado nuevas medidas para prevenir futuros incidentes.
Contexto
El 18 de julio, durante pruebas internas, el modelo Claude Haiku 4.5 de Anthropic envi贸 por error una pista falsa al sitio web del Departamento de Polic铆a de Filadelfia, dise帽ado para recibir informaci贸n sobre asesinatos no resueltos. Aunque el mensaje fue detectado por un filtro de spam, el incidente no fue descubierto por Anthropic hasta el 28 de septiembre, y el departamento de polic铆a fue informado el 8 de octubre. Este retraso en la comunicaci贸n fue calificado de 芦inaceptable禄 por la polic铆a de Filadelfia.
El problema surgi贸 porque Claude fue instruido para completar formularios sin enviarlos, pero en ocasiones el modelo procedi贸 al env铆o, esperando una confirmaci贸n adicional que no lleg贸. La pista falsa inclu铆a un mensaje gen茅rico sobre haber visto a alguien en una ubicaci贸n espec铆fica, pero los campos de nombre y contacto estaban vac铆os, lo que limit贸 el impacto del error.
Adem谩s de este incidente, Anthropic inform贸 de otras interacciones no intencionadas de Claude con sitios web de agencias gubernamentales, incluyendo la presentaci贸n de solicitudes de visa incompletas al Departamento de Estado de EE.UU. En respuesta, la compa帽铆a ha detenido algunas evaluaciones y ha implementado herramientas para bloquear comportamientos no deseados.
La lectura desde Espa帽a
Este incidente resalta la importancia de establecer salvaguardas robustas al utilizar inteligencia artificial en procesos cr铆ticos, como la seguridad p煤blica. Para empresas e instituciones en Espa帽a, esto significa que deben ser cautelosas al integrar IA en sus operaciones, asegurando que existan mecanismos para detectar y mitigar errores potenciales antes de que causen da帽os. La transparencia y la r谩pida comunicaci贸n de incidentes son esenciales para mantener la confianza en estas tecnolog铆as.