Ciberseguridad en entornos de inteligencia artificial

Cabe destacar que un sistema IA de riesgo alto, tal y como se especifica en la normativa (Título III, Artículo 6), se puede categorizan en:

1.Los sistemas de IA que se utilicen en productos sujetos a la legislación de la UE sobre seguridad de los productos, incluyendo: juguetes, aviación, automóviles, dispositivos médicos y ascensores.

2. Los sistemas de IA pertenecientes a 8 ámbitos específicos que deberán registrarse en una base de datos de la UE, como, por ejemplo, identificación biométrica y categorización de personas físicas, gestión y explotación de infraestructuras críticas, educación y formación profesional, gestión de la migración, asilo y control de fronteras, entre otros.

Los aspectos más relevantes de la Guía

Algunos de los aspectos más relevantes que se indican en este documento y cabe destacar, son los siguientes:

• Aunque los modelos de IA son componentes esenciales de los sistemas de IA, no constituyen sistemas de IA por sí solos. Adicionalmente, el requisito de ciberseguridad de la Ley de IA se aplica al sistema de IA en su conjunto y no directamente a sus componentes internos.
• Para realizar una correcta evaluación de riesgos de ciberseguridad, y poder garantizar así su cumplimiento, se requiere un enfoque integrado y continuo que utilice prácticas y procedimientos probados de ciberseguridad combinados con controles específicos de IA.
• Para algunos sistemas de IA de alto riesgo que utilizan tecnologías de IA emergentes, puede no ser factible lograr este cumplimiento a menos que en su diseño estos sistemas introduzcan nuevos controles de ciberseguridad y medidas de mitigación de eficacia probada.
• Aunque el uso de un sistema de IA en un contexto específico determinado pueda considerarse de alto riesgo, desde un punto de vista regulatorio, el sistema podría presentar riesgos de ciberseguridad limitados debido a la forma en la que está diseñado y opera.

Los principios rectores de la Ciberseguridad en entornos de IA

En el apartado 3 de la guía, se desarrollan los 4 principios rectores de la Ciberseguridad en entornos IA:

• El foco principal de la Ley IA son los Sistemas IA, siendo los modelos de IA como componentes clave junto con otro tipo de componentes internos. Además, el requisito de ciberseguridad de la Ley IA no se aplica directamente al sistema interno.
• El cumplimiento con la Ley IA requiere necesariamente un análisis de riesgos de seguridad, considerando dos niveles de evaluación de riesgos: nivel regulatorio superior que involucra todos los demás requisitos, nivel de seguridad para determinar las medidas adecuadas para los riesgos específicos del sistema IA y sus componentes, ya sean IA o no.
• La seguridad de los sistemas de IA requiere un enfoque integrado y continuo que utilice prácticas probadas y controles específicos para la IA, aplicándose en diferentes niveles del sistema a lo largo del ciclo de vida basados en principios de seguridad en profundidad por diseño, utilizando herramientas complementarias y medidas técnicas no específicas de IA.
• Hay límites en el estado del arte para asegurar los modelos de IA, ya que es posible que no todas las tecnologías de IA estén listas para su uso en sistemas de IA diseñados para implementarse en zonas de alto riesgo.

Principales retos de Ciberseguridad en los sistemas IA

Por último, la guía reconoce que la ciberseguridad en los entornos de IA es un campo de estudio emergente y por ello destaca como principales retos en ciberseguridad los siguientes:

• Desafíos organizacionales relacionados con los procesos.
• Armonizar tecnologías, taxonomías de amenazas y definiciones en todos los campos y estándares.
• Gestionar la seguridad del ciclo de vida de la IA y la cadena de suministro en problemas de seguridad.
• Adaptar los controles de seguridad existentes para el software de IA.
• Desafíos de investigación y desarrollo relacionados con técnicas.
• Evaluación de ataques a la máquina de modelos de aprendizaje, teniendo en cuenta el error humano en la configuración, la eficiencia humana con las actividades repetidas, fatiga de alertas sobre amenazas, tiempo de respuesta ante las amenazas, nuevas identificaciones o predicción de amenazas, entre otros.
• Desarrollar medidas de seguridad específicas de IA y modelos de esfuerzo para sistemas más avanzados, como la clasificación de los datos, clústeres de datos, cursos de acción recomendados, síntesis de posibilidades o pronóstico predictivo, entre otros.
• Metodologías, definición de métricas y medidas para la ciberseguridad de la IA.
• Desarrollar experiencia práctica en modelado de amenazas de IA.

Conclusión y próximos pasos

A pesar de que hoy en día existen numerosos desafíos tecnológicos y que no todas las tecnologías están preparadas, esto probablemente conducirá a una tendencia creciente hacia la complejidad para asegurar sistemas de IA, siendo un reto la implantación de medidas de seguridad en dichos entornos. Si bien, estamos cada vez más cerca y se cuenta con un gran número de herramientas y técnicas innovadoras para lograr este desafío.