Regulación europea en Inteligencia Artificial y modelos de base generativa: comienza la cuenta atrás

De igual forma, han abordado la definición de los sistemas de inteligencia artificial, al objeto de contar con una definición uniforme de IA diseñada para ser tecnológicamente neutra, según se informa por la propia Eurocámara. Entre otras novedades incluidas en este nuevo proyecto de enmiendas a la Propuesta inicial de Reglamento europeo de inteligencia artificial del Parlamento Europeo y del Consejo, por el que se establecen normas armonizadas en materia de Inteligencia Artificial (Ley de Inteligencia Artificial), se destacan las siguientes:

1. Prohibiciones a la vigilancia biométrica, el reconocimiento de emociones y los sistemas de IA policial predictiva:

Las normas europeas de IA, como el reglamento europeo de inteligencia artificial, siguen un enfoque basado en el riesgo y, por ello, establecen obligaciones para proveedores y usuarios en función del nivel de riesgo que pueda generar la IA, siendo fundamental, por tanto, de forma previa identificar y clasificar estos sistemas convenientemente en función de dicho riesgo, en la medida en que ello determinará las obligaciones legales y técnicas a cumplir en cada caso.

En tal sentido, los sistemas de IA con un nivel inaceptable de riesgo para la seguridad de las personas estarían estrictamente prohibidos, incluidos los sistemas que despliegan técnicas subliminales o de manipulación intencionada, explotan las vulnerabilidades de las personas o se utilizan para el scoring social (clasificación de personas en función de su comportamiento social, estatus socioeconómico o características personales).

Junto a estas prácticas prohibidas, los eurodiputados proponen ampliar sustancialmente la lista del reglamento europeo de inteligencia artificial para incluir prohibiciones de usos intrusivos y discriminatorios de sistemas de IA tales como:

• Sistemas de identificación biométrica remota “en tiempo real” en espacios de acceso público;
• Sistemas de identificación biométrica remota “a posteriori”, con la única excepción de las fuerzas del orden para la persecución de delitos graves y sólo previa autorización judicial;
• Sistemas de categorización biométrica que utilicen características sensibles (por ejemplo, sexo, raza, etnia, estatus de ciudadanía, religión, orientación política);
• Sistemas policiales predictivos (basados en perfiles, localización o comportamientos delictivos anteriores);
• Sistemas de reconocimiento de emociones en las fuerzas del orden, la gestión de fronteras, el lugar de trabajo y las instituciones educativas; y
• Extracción indiscriminada de datos biométricos de redes sociales o grabaciones de CCTV para crear bases de datos de reconocimiento facial (violación de los derechos humanos y del derecho a la intimidad).

2. IA de alto riesgo

Se propone la ampliación de la clasificación de áreas de alto riesgo para incluir en el reglamento europeo de inteligencia artificial los daños a la salud, la seguridad, los derechos fundamentales o el medio ambiente. También se añaden a la lista de alto riesgo aquellos sistemas de IA que influyan en los votantes en las campañas políticas y en los sistemas de recomendación utilizados por las plataformas de medios sociales (con más de 45 millones de usuarios, según la Ley de Servicios Digitales (Digital Service Act)). En este sentido, será fundamental también el papel del nuevo Centro Europeo de Transparencia Algorítmica (ECAT) con sede en España (Sevilla).

Del mismo modo, también se prevén en el reglamento europeo de inteligencia artificial nuevas obligaciones para procurar una mejor gobernanza de los datos en este tipo de sistemas de forma que, por ejemplo, los conjuntos de datos de entrenamiento, validación y prueba estarán sujetos previsiones específicas con especial atención a la inclusión de medidas adecuadas para detectar, prevenir y mitigar posibles sesgos.

3. Nuevas obligaciones y regímenes a medida para IA de propósito general y modelos generativos como ChatGPT.

Los eurodiputados han aprovechado este momento también para proponer la inclusión de nuevas obligaciones para los proveedores de estos modelos, que tendrían que evaluar y mitigar los riesgos, cumplir los requisitos de diseño, información y medio ambiente, y registrarse en la base de datos de la UE.

Con carácter adicional, los modelos de base generativa, como ChatGPT (generative foundation model), tendrían que cumplir con requisitos concretos de transparencia, como revelar que los contenidos han sido generados por IA, diseñar el modelo para evitar que genere contenidos ilegales y publicar resúmenes de los datos protegidos por derechos de autor que hayan sido utilizados para el entrenamiento del modelo en cuestión.

Así, los modelos de base generativa deben garantizar la transparencia sobre el hecho de que el contenido es generado por un sistema de IA y no por humanos, de tal forma que los proveedores de estos modelos destinados específicamente a generar, con distintos niveles de autonomía, contenidos como texto complejo, imágenes, audio o vídeo (“IA generativa”) y los proveedores que especialicen un modelo de base en un sistema de IA generativa, deberán:

• cumplir las obligaciones de transparencia señaladas en el artículo 52 de la Propuesta de Reglamento europeo de Inteligencia Artificial.
• entrenar y, en su caso, diseñar y desarrollar el modelo de forma que se garanticen las salvaguardias adecuadas contra la generación de contenidos contrarios al Derecho de la Unión, en consonancia con el estado de la técnica generalmente reconocido; y
• sin perjuicio de la legislación nacional o de la Unión en materia de derechos de autor, documentar y poner a disposición del público un resumen suficientemente detallado acerca del uso de los datos de entrenamiento protegidos por la legislación sobre derechos de autor.

Dado que estos modelos son relativamente nuevos, y están sujetos a una rápida evolución, se plantea la conveniencia, además, de que la Comisión Europea y la Oficina europea de IA  supervisen y evalúen periódicamente el marco legislativo y de gobernanza de tales modelos y, en particular, de los sistemas de IA generativa, los cuales, sin duda alguna, plantean cuestiones significativas relacionadas con la legítima generación de contenidos y otras potenciales vulneraciones a derechos y bienes protegidos por el Derecho de la Unión y el de los Estados miembros. El reglamento europeo de Inteligencia Artificial incluirá los resortes necesarios para adaptarse a la evolución de estas tecnología y que, en ningún caso, la norma quede desfasada.

4. Derecho a presentar quejas sobre los sistemas de IA.

De igual forma, se propone impulsar el derecho de los ciudadanos a presentar quejas sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en sistemas de IA de alto riesgo que afecten significativamente a sus derechos.

5. Nuevas normas de transparencia y gestión de riesgos para los sistemas de IA.

Para garantizar un desarrollo ético y centrado en el ser humano de la Inteligencia Artificial (IA), se han reforzado las obligaciones en torno a la transparencia, identificación y gestión de los riesgos durante todo el ciclo de vida de los sistemas de IA, con especial atención a los riesgos asociados a ciertos grupos de personas o colectivos especialmente vulnerables como son, por ejemplo, los menores de edad.

6. Reforzamiento de los derechos a la intimidad y a la privacidad durante a lo largo de todo el ciclo de vida del sistema de IA:

A este respecto, los principios de minimización de datos y de protección de datos desde el diseño y por defecto serán esenciales cuando el tratamiento de datos entrañe riesgos significativos para los derechos fundamentales de las personas.

En tal sentido, las nuevas normas, prevén que los proveedores y usuarios de sistemas de IA deberán aplicar las medidas técnicas y organizativas más avanzadas, si cabe, para proteger estos derechos y, al mismo tiempo, garantizar la protección y seguridad de los datos concernidos. Dichas medidas deben incluir no solo la anonimización y el cifrado sino también el uso de tecnologías que permitan llevar algoritmos a los datos y obtener información valiosa sin comprometer la privacidad o realizar la transmisión entre partes o la copia innecesaria de los datos. Ello, sin duda, requiere analizar las tecnologías y técnicas del mercado más adecuadas a tal fin.

7. Sostenibilidad e IA.

Es interesante cómo, por la parte de la sostenibilidad, por conexión con los criterios ESG, ya se pone de manifiesto el hecho de que los sistemas de IA pueden tener un gran impacto medioambiental y un elevado consumo de energía durante su vida útil. Por ello, otra de las novedades regulatorias propuestas se refiera, por ejemplo, a tratar de comprender mejor el impacto de los sistemas de IA sobre el medio ambiente, imponiendo, entre otras muchas obligaciones en este ámbito, que la documentación técnica elaborada por los proveedores de los sistemas IA deba incluir información sobre el consumo de energía del sistema de IA, integrando el consumo durante el desarrollo y el consumo previsto durante el uso.

 8. Apoyar la innovación y proteger los derechos de los ciudadanos:

Para impulsar la innovación en IA, el nuevo proyecto ha añadido exenciones a estas normas para las actividades de investigación y los componentes de IA proporcionados bajo licencias de código abierto. La nueva ley promueve la creación de entornos controlados (sandbox regulatorio) por parte de las autoridades públicas para probar la IA antes de su despliegue o lanzamiento en el mercado, mitigando al máximo los posibles riesgos inherentes al sistema de IA de que se trate.

Este documento y propuestas de enmienda serán analizadas y, en su caso, refrendadas por el Pleno del Parlamento Europeo durante el período de sesiones prevista para el próximo mes de Junio (12 al 15 de junio). Todo ello antes de que puedan comenzar las negociaciones con el Consejo de la UE con el fin de proceder a la aprobación definitiva de esta nueva normativa reguladora de la IA en la Unión Europea, el reglamento europeo de Inteligencia Artificial.

Lo que resulta patente es que cada vez está más cerca la adopción de esta nueva normativa y que, por consiguiente, las compañías y organizaciones deben comenzar a analizar a la mayor brevedad posible en qué medida les afecta las misma, según el tipo de sistemas IA que desarrollen, adopten o usen en su actividad, preparándose para poder cumplir con todas las obligaciones y previsiones de esta nueva normativa en ciernes y del reglamento europeo de Inteligencia Artificial. También implantando, en paralelo, un enfoque y visión ética y responsable/confiable de tecnología emergente, que incluye a la IA, tal y como apunta esta legislación, y otros tantos pronunciamientos importantes en lo relativo a la Ética en la Inteligencia Artificial se refiere[2].

Por lo tanto, se deberá prever cómo:

• Garantizar que los sistemas de IA introducidos y usados en el mercado sean seguros y respeten la legislación vigente en materia de derechos fundamentales y valores de la Unión (en el caso del mercado de la UE, al menos);
• Mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y los requisitos de seguridad aplicables a los sistemas de IA;
• Hacer un uso legal, ético, seguro y fiable de las aplicaciones y sistemas de IA, disponiendo de una estrategia y hoja de ruta para el desarrollo de IA confiable y responsable en las Organizaciones.