Unboxing de Inteligencia Artificial: confianza a través de transparencia y explicabilidad

“Dad, you don’t know him. He’s read everything in the library. I don’t know what he feels inside, but I don’t know what you feel inside either. When you talk to him you’ll find he reacts to the various abstractions as you and I do, and what else counts? If some one else’s reactions are like your own, what more can you ask for?”

The Bicentennial Man

Isaac Asimov

Los sistemas de Inteligencia Artificial (IA) cada vez están más presentes en nuestras vidas y en muchos casos juegan un papel fundamental en la toma de decisiones de las empresas en temas muy relevantes para la sociedad como salud, préstamos, seguros, empleo y administración de justicia… Esta tecnología permite mejorar tanto la calidad de las decisiones -ya sean internas (por ejemplo, en qué activos invertir) como externas (a qué clientes concedo un crédito)- como la productividad y eficiencia de las compañías.

Aunque sus ventajas son ampliamente reconocidas, existe también una cierta desconfianza al hecho de que algunas decisiones sean tomadas por máquinas. De hecho, el 74% de los CEOs españoles reconoce haber pasado por alto en alguna ocasión las conclusiones que aportaban los datos porque contradecían su intuición, según el informe CEO Outlook 2019, elaborado por KPMG.

El motivo de esta ‘desconfianza’ es que, al ser decisiones basadas en métodos algorítmicos y datos no transparentes, en muchos casos no es posible comprender la calidad de la decisión salvo si se compara con la que habría tomado un ser humano. Aunque los seres humanos tampoco tengan que ser necesariamente fiables.

Esta ‘desconfianza’ se produce en dos ámbitos:

• En el ámbito interno de las empresas, la alta dirección quiere conocer el porqué de las decisiones que se toman a través de la IA. En este ámbito las decisiones técnicas pueden ser matizadas por factores humanos y políticos, en la mayoría de casos justo antes de adoptar la decisión final. Y estos matices requieren conocer en profundidad cómo se han desarrollado las recomendaciones técnicas.
• En el ámbito social, los usuarios de servicios que proporcionan las empresas, exigen de forma creciente información sobre la forma en que se toman las decisiones, para conocer si se han vulnerado los derechos. Un ejemplo sería el establecimiento de precios de los seguros y la posible discriminación por género basada en las estadísticas de accidentes.

Construyendo confianza en Inteligencia Artificial

Lo cierto es que, por más que se diese a conocer públicamente un sistema de Inteligencia Artificial nadie podría afirmar categóricamente que entiende en detalle cómo se toman las decisiones, de la misma forma que no podríamos entender cómo ganaba Kasparov al ajedrez solo a través de la lectura de sus pensamientos.

También existe un debate relevante sobre el uso de datos en Inteligencia Artificial que podrían contener sesgos discriminatorios como la raza, sexo, religión, pertenencia a sindicatos, etc. Si partimos de la base de que los datos en sí no tienen sesgo, es decir, reflejan la realidad tal cual es y han sido analizados con las técnicas matemáticas adecuadas que eliminan sesgos técnicos, ¿debería eliminarse la presencia de esta información si es relevante para la toma objetiva de decisiones?

Pese a que los sistemas de IA fueran completamente transparentes, serían complejos de entender

Mi opinión es que no, y que cada empresa debe decidir libremente cómo incluye la información y las conclusiones en sus procesos. Paradójicamente, este miedo a los datos sesgados procede precisamente de los sesgos cognitivos de los seres humanos, tales como la generalización a partir de unos pocos casos -por ejemplo, afirmar que todos los inmigrantes son violentos- en la que nunca caería un sistema de Inteligencia Artificial.

Transparencia en la toma de decisiones

No obstante, este problema existe y quizá aporte más luz si se analiza desde el punto de vista de los altos directivos de las empresas. Los ejecutivos recurren frecuentemente a expertos para resolver problemas complejos sobre los que no hay suficiente conocimiento en la empresa. Pero ¿por qué un directivo debería fiarse de un consultor externo? Al igual que sucede con los sistemas de Inteligencia Artificial, no se puede acceder a los procesos cognitivos del consultor.

De este modo, se valoran otros aspectos. Por una parte, el prestigio del consultor: ¿cuáles han sido sus resultados en otras empresas resolviendo problemas similares? Una cuestión que también es aplicable a cualquier sistema de Inteligencia Artificial. Por otra, está la capacidad de explicar cómo ha llegado a las recomendaciones que hace. Probablemente no reflejen de forma fiel los procesos cognitivos del consultor, pero ayudan a construir una historia coherente y por la que el directivo se sienta cómodo (o no) con la solución aportada.

Uno de los primeros sistemas expertos, Mycin, funcionaba de forma similar a un consultor. A través de preguntas a pacientes para analizar la información disponible era capaz de emitir un diagnóstico, explicando a su vez cómo había llegado a esa conclusión. Tomando este sistema como ejemplo nos podríamos preguntar: ¿no sería razonable que los sistemas de IA suficientemente complejos se diseñaran de forma que pudieran explicar en lenguaje entendible cómo han llegado a las conclusiones?

El derecho de ‘explicación’ establecería información comprensible sobre cómo la IA ha alcanzado su conclusión

En la literatura legal se encuentran muchas referencias al derecho a una explicación (right to explanation) en relación con los sistemas de Machine Learning (ML). Pese a que gran parte de estos textos se dedican a interpretar qué quería decir el legislador, lo cierto es que el Reglamento General de Protección de Datos (GDPR en sus siglas en inglés) sí que hace referencia en el artículo 15 al derecho a una explicación de forma explícita. En concreto, aborda la “información comprensible sobre la lógica empleada, además de la relevancia y consecuencias previstas de este procesamiento” de datos, incidiendo a su vez en que esta explicación no debe afectar a otros derechos como el de propiedad intelectual.

Explicando las conclusiones de la Inteligencia Artificial

Dejando aparte las cuestiones legales es evidente que, desde el punto de vista práctico, la transparencia de los sistemas -en el sentido de comprender el racional de las conclusiones a las que llegan- es necesario tanto para aplicarlas de manera fiable como para poder mantener y mejorar los modelos. La cuestión es ¿cómo implementar estas ‘explicaciones’ desde el punto de vista técnico?

Muchos de los sistemas actuales están basados fundamentalmente en Machine Learning que, simplificándolo mucho, podríamos definir como regresiones muy sofisticadas que permiten hacer una predicción –por ejemplo “esta persona pagará el crédito con una fiabilidad del 97,3%- o una clasificación –“de acuerdo con los síntomas, usted tiene la gripe”-. En este caso la explicación de las conclusiones no podría hacerse como en el caso del sistema Mycin, aunque sí podrían mostrarse las principales tendencias y correlaciones de los datos originales para entender la plausibilidad de las conclusiones. Desafortunadamente este tipo de explicaciones, que para ser comprensibles se basarán en grandes tendencias generales serán menos útiles precisamente para los casos ‘extraños’ o complejos, que son los que realmente es necesario comprender.

En un futuro muy próximo, las propias tecnologías de Inteligencia Artificial podrán solucionar este problema. Los sistemas de Inteligencia Artificial son cada vez más sofisticados y emplean una gran variedad de componentes para resolver los problemas. Parte de estos componentes están basados en técnicas de Machine Learning puras y otras más cercanas a los antiguos sistemas, basados en la lógica y en reglas explícitas y/o derivadas de los datos.

La IA podría explicar las causas y efectos de sus conclusiones

El sistema de explicación podría verse como un equivalente de nuestro ‘consciente’, que razona sobre las causas y los efectos de las decisiones, y que toma la parte ‘inconsciente’ de nuestro cerebro. Estos dos ámbitos deberían construirse y entrenarse simultáneamente, ya que están muy estrechamente relacionadas y sus actuaciones se influyen mutuamente.

Siguiendo este esquema, los sistemas de IA deberían ser capaces de explicar de una forma coherente cómo llegan a conclusiones. Y, continuando con la analogía del consultor, no tiene por qué ser un reflejo exacto del razonamiento de la máquina, ya que se apoyará en numerosas fuentes: datos brutos, ‘intuiciones’ como las que proporciona el Machine Learning e información procedente de sistemas transaccionales y técnicos (como por ejemplo datos de plantas industriales).

De este modo, debe ser capaz -igual que hacen los consultores que nos inspiran más confianza- de construir un relato comprensible y coherente que ayude a los usuarios a entender cómo se ha tomado una decisión. Al igual que con el hombre bicentenario, se trata de generar abstracciones inteligibles sobre las ‘intuiciones’ del software, más que saber exactamente cómo se mueven los electrones en el silicio.