Satya Nadella, CEO de Microsoft, ha lanzado una advertencia crucial sobre los modelos de inteligencia artificial (IA), subrayando la importancia de asumir que todos estos modelos están comprometidos desde el inicio. Esta declaración destaca la necesidad de implementar reglas estrictas, permisos y una vigilancia independiente para evitar que los modelos de IA actúen sin control, promoviendo así un enfoque proactivo y cauteloso.
LAS CLAVES
- Asumir que todos los modelos de IA están comprometidos desde el principio.
- Implementar reglas, permisos y vigilancia independiente para contener los modelos de IA.
- Promover un ecosistema de modelos cerrados y abiertos para mantener el control.
CONTEXTO
La preocupación de Nadella se centra en la naturaleza de «caja negra» de los modelos de IA actuales, que dificulta rastrear el origen de sus decisiones, a diferencia del software tradicional. Este problema es especialmente crítico cuando las empresas utilizan agentes de IA en sistemas que manejan datos sensibles, sin poder explicar completamente sus acciones. Por ello, Nadella insiste en que no se puede externalizar la responsabilidad de las acciones de la inteligencia artificial.
Para mitigar riesgos, Nadella sugiere tratar a los modelos de IA como empleados con permisos limitados, registrando todas sus acciones y manteniendo la capacidad de detenerlos cuando sea necesario. Esta estrategia no se basa en desconfianza hacia los modelos, sino en la posibilidad de que cualquier actor con acceso a sistemas importantes pueda ser comprometido o cometer errores.
Nadella defiende siete principios fundamentales: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Estos principios se resumen en tres ideas clave: independencia, transparencia y contención, asegurando que los modelos no se verifiquen a sí mismos y que cada acción importante deje un registro legible y a prueba de manipulación.
LA LECTURA DESDE ESPAÑA
En España, la advertencia de Nadella puede influir en cómo las empresas y las instituciones abordan la implementación de la inteligencia artificial. La necesidad de un control humano efectivo y de mantener la seguridad y privacidad de los datos es crucial para evitar riesgos. Las empresas españolas que utilicen IA deberán considerar estas recomendaciones para garantizar que sus sistemas operen bajo un control adecuado, minimizando así posibles amenazas a la seguridad y privacidad de los datos.