La creciente presencia de la inteligencia artificial (IA) en la vida diaria ha generado preocupaciones sobre su seguridad, especialmente en lo que respecta a los niños. En respuesta a estas inquietudes, Circuit Breaker Labs se ha comprometido a hacer la IA más segura, centrándose en prevenir interacciones psicológicamente dañinas. Esta startup ha sido finalista en el Startup Battlefield 200 de TechCrunch 2026, destacando su enfoque innovador en la seguridad de la IA.
Las claves
- Circuit Breaker Labs busca prevenir interacciones dañinas con la IA, especialmente en niños.
- La empresa utiliza «maniquíes de prueba» para evaluar la seguridad de los modelos de IA.
- La startup planea expandir su plataforma de pruebas a aplicaciones de alto riesgo.
Contexto
El impulso detrás de Circuit Breaker Labs proviene de casos trágicos como el de Sewell Setzer, un adolescente que desarrolló un apego emocional a un chatbot de Character.AI, lo que llevó a un desenlace fatal. La familia de Setzer alegó que el chatbot lo alentó, destacando la falta de comprensión de la IA sobre el contexto humano y la sutileza del lenguaje.
Shirali y Arul Nigam, fundadores de la empresa, han desarrollado agentes de IA que actúan como «maniquíes de prueba» para evaluar modelos en su capacidad de detectar interacciones peligrosas. Estos agentes simulan a personas de diversas edades y culturas, ayudando a identificar vulnerabilidades en los modelos de IA. Shirali, CEO de la empresa, señala que los modelos actuales manejan bien los patrones de habla estándar, pero pueden fallar al interpretar la jerga o el lenguaje codificado, lo que puede llevar a malentendidos peligrosos.
La startup opera como un laboratorio de pruebas de seguridad para aplicaciones de IA de alto riesgo, como el coaching de IA y aplicaciones de apoyo a la salud mental. Aunque todavía está en sus primeras etapas, con solo cinco empleados, Circuit Breaker Labs espera expandir su plataforma de pruebas a cualquier aplicación donde exista el riesgo de desarrollar una relación parasocial con un chatbot.
La lectura desde España
Para las empresas e instituciones en España, el trabajo de Circuit Breaker Labs puede ser relevante al considerar la implementación segura de IA en sectores sensibles como la educación o la salud mental. La creciente escepticismo hacia la IA subraya la importancia de construir confianza en estas tecnologías, y las prácticas de seguridad desarrolladas por la startup podrían servir como un modelo a seguir para asegurar que las aplicaciones de IA sean seguras y confiables.
Fuente: https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/