Explicabilidad, ética y responsabilidad, retos de la inteligencia artificial

La inteligencia artificial (IA) sólo ha empezado a mostrar una pequeña parte de las enormes posibilidades que ofrece. Sin embargo, su desarrollo no puede dejar de lado aspectos tan relevantes como la explicabilidad, la ética y la responsabilidad.

El respeto de estos principios no sólo es importante desde un punto de vista ético, moral o filosófico, sino también por una cuestión de pragmatismo. Muchas empresas y organizaciones todavía son reticentes a la implantación de la IA porque consideran que sus decisiones no siempre pueden ser explicadas con transparencia o porque creen que sus posibles sesgos pueden causarles problemas futuros.

“La explicabilidad es una herramienta clave en el desarrollo de los sistemas de IA, para dotar de confianza a dichos sistemas, ya que ayuda a los científicos de datos y a los responsables de la toma de decisiones empresariales a operar con transparencia y solidez cuando se utilizan sistema de IA. También sirve de apoyo a las empresas para dar cumplimiento al marco legal actual y, muy próximamente, al Reglamento Europeo sobre Inteligencia Artificial”, declara Gabriel López, director de Asuntos Regulatorios de Microsoft en España.

Así pues, la explicabilidad de la IA es uno de los mayores retos. “Existen diferentes métodos de IA que permiten a las máquinas tomar decisiones. Algunas, como los árboles de decisión, pueden explicar las decisiones tomadas de forma muy natural; mientras que otras, como las redes neuronales o el aprendizaje profundo (deep learning), difícilmente pueden explicar de forma clara las razones. Por ejemplo, un árbol de decisión puede diagnosticar diabetes en base a determinados síntomas, como el nivel de glucosa en sangre. En cambio, una red neuronal reconoce una cara en una imagen en base a unos patrones que no son nada fáciles de entender para las personas. Como los métodos que han tenido más repercusión últimamente han sido los de este tipo, se tiende a pensar que la IA no es explicable, pero en realidad no es el caso de todos los métodos”, apunta Maite López Sánchez, profesora de Inteligencia Artificial de la Universidad de Barcelona (UB).

Asimismo, Moisés Barrio, Letrado del Consejo de Estado, profesor de Derecho digital, asesor de diversos países en regulación tecnológica y autor del libro Derecho de los robots, pone el acento en que “la explicabilidad plantea varios problemas de calado”, entre lo que destaca dos. “Uno es que cuando los algoritmos de IA pueden explicarse, son explicables a nivel de código máquina, entendible sólo por sus diseñadores y científicos de datos. El otro es que algunos de los algoritmos más avanzados no pueden ser explicables, porque su potencia supera con creces las capacidades de la mente humana”.

Pero no se trata tan sólo de que las razones que motivan una determinada decisión no sean explicables. El problema es que éstas decisiones pueden tener repercusiones. “El problema de muchos algoritmos de IA es que generan modelos de predicción que funcionan como cajas negras. Sabes los datos que metes dentro y ves los datos que devuelven, pero no es sencillo entender qué es lo que ha pasado dentro. Esto genera problemas cuando esos modelos se utilizan para tomar decisiones que afectan a los ciudadanos, ya que podrían contener sesgos basados en parámetros como sexo, raza, edad, etc.”, advierte Enrique puertas, profesor de Inteligencia Artificial y Big Data de la Universidad Europea (UE).

Respuesta desde las empresas

Aunque no es una tarea sencilla, se están haciendo esfuerzos para derribar esta barrera. “Algunos enfoques pretenden añadir un modelo a las cajas negras que funcione como modelo explicador y descifre las decisiones tomas. Otros, conocidos como cajas blancas o white boxes, buscan encontrar otros métodos para hacer que los algoritmos sean transparentes”, anota David Fernández, Customer Success director de Inbenta.

Asimismo, José Ventura, Technical Data Science leader de IBM, especifica que “se está trabajando en diferentes métodos o enfoques para conseguir esta explicabilidad, como pueden ser el LIME (Local Interpretable Model-Agnostic Explanations), el LRP (Layer-wise Relevance Propagation) o SpRAy (Spectral Relevance Analysis)”.

La propia IBM está haciendo hincapié en la explicabilidad, “integrando una potente herramienta orientada a este fin en la plataforma de datos del porfolio de la compañía o mediante el AI Explainability 360, un completo conjunto de herramientas open source orientado específicamente a la explicabilidad e interpretabilidad de los modelos de machine learning”, detalla Ventura.

Igualmente, Azure Machine Learning, de Microsoft, hace posible el desarrollo e implementación de sistemas de IA con herramientas que permiten dotar de explicabilidad. “Para superar estos obstáculos, Microsoft ha incluido innovaciones en responsible machine learning que pueden ayudar a los desarrolladores a entender, proteger y controlar sus modelos a lo largo del ciclo de vida del aprendizaje automático”, señala el portavoz de Microsoft.

Entre estas herramientas se encuentra InterpretML, Fairlearn o WhiteNoise, disponibles en código abierto en GitHub. Además, Azure Machine Learning cuenta con controles integrados que permiten monitorizar y automatizar el proceso de desarrollo, entrenamiento e implementación de un modelo, capacidad conocida como Machine Learning y Operaciones (MLOps).

Fujitsu también está avanzando en esta dirección. “Llevamos tiempo desarrollando proyectos de innovación e investigación creando tecnologías de explicación como Wide Learning, que se utilizan en la región de Europa para tomar decisiones de venta, así como en investigaciones de fraude y riesgo. También en este ámbito se ha desarrollado Deep Tensor, que, en combinación con tecnología de grafos de conocimiento —Knowledge Graphs—, ayuda a explicar y entender las decisiones tomadas por técnicas asociadas a las redes neuronales —deep learning—. Esta tecnología ha sido utilizada también en el ámbito del riesgo y fraude financiero y en el ámbito médico, especialmente para tratamiento del cáncer”, desgrana María Mora, head of Fraud and Risk Solutions at the Global CoE of Data Intelligence de Fujitsu España.

IA ética y sin sesgos

La ética de las decisiones de la IA es otro de sus puntos más controvertidos. “Desgraciadamente, el mundo en el que vivimos no es perfecto, y existen muchas prácticas poco éticas. El sexismo, la discriminación… todos estos elementos los puede aprender una IA. Por ejemplo, en el ámbito de la IA conversacional, si construimos un chatbot y lo entrenamos con datos de historiales de conversación, ¿cómo podemos asegurar que las conversaciones no contienen prejuicios? ¿O consolidan discriminaciones?”, plantea el responsable de Inbenta.

Por eso, es fundamental abordar este aspecto tanto en el diseño como en la aplicación de sistemas de IA. “Los que deben ser responsables y tener en cuenta los principios éticos son las personas que crean los modelos de IA y las que usan la IA o toman decisiones con ella. Los ingenieros y científicos que crean modelos deben asegurarse de que los datos con los que se entrena esa IA no contienen sesgos que discriminen a colectivos. Por ejemplo, si se está creando un modelo para una población, pero sólo se trabaja con datos de personas de una determinada raza o de un determinado status social. Por otro lado, los responsables del uso de esos modelos deben conocer bien lo que hay detrás de los algoritmos de IA y aplicarlos sabiendo que es necesaria cierta supervisión para comprobar que no exista degradación con el tiempo en las decisiones que toma el sistema”, precisa Puerta.

Una de las claves para lograr una IA ética es el desarrollo de algoritmos justos y sin sesgos. “Muchos de los algoritmos actuales se basan en información previa —histórica — de la forma en la que se han tomado las decisiones. Desgraciadamente, vivimos en un mundo con muchísimos sesgos —por género, raza, nivel socioeconómico, religión, etc.— que se trasladan, e incluso potencian, en los algoritmos”, advierte López Sánchez. Así pues, el responsable de IBM señala que “es muy importante conocer los datos con los que se va a alimentar un sistema de IA y conocer el impacto —social, económico, etc.— que puedan tener, directa o indirectamente”.Sin embargo, acceder a conjuntos de datos de calidad no siempre es sencillo. “Debido a las restricciones que existen por las leyes de protección de datos, muchos algoritmos se entrenan con datos públicos disponibles en internet, que no representan a la población final para la que se planea el modelo. Incluso para los conjuntos de datos extraídos de la población local, contar con muestras demoscópicamente completas es muy complicado”, indica el experto de la UE.

De este modo, hay que buscar la manera de atenuar los posibles sesgos de los datos de entrenamiento y de las personas que diseñan los algoritmos. “Debemos reducirlos al máximo posible con procedimientos dirigidos a tal fin, comenzando por equipos interdisciplinares diversos, la utilización de datos de entrenamiento de calidad o la revisión periódica de los algoritmos y sus resultados”, puntualiza Barrio.

La profesora de la UB también propugna la fijación de estándares internacionales. “De la misma manera que la industria impone estándares de calidad y seguridad en la mayoría de los productos a través de organismos internacionales como el IEEE, también se puede trabajar para que sea así en el caso del desarrollo de sistemas inteligentes. La Unión Europea ya está trabajando en una ley, pero estamos aún muy lejos de que se convierta en un requerimiento universal. Los requerimientos pasan por abogar por un diseño y uso responsable de la tecnología, que no sea dañino y que trabaje por el bien de toda la Humanidad. Un ejemplo sería asegurar que los sistemas inteligentes respeten los derechos humanos”, declara.

Impulso a la regulación

Ya estamos viendo algunos movimientos en este sentido. “Por ejemplo, las Ethics Guidelines for Trustworthy Artificial Intelligence en las que está trabajando el Parlamento Europeo o el Centre for Data Ethics and Innovationes que ya tiene el Reino Unido”, puntualiza el responsable de IBM.

Además, existen propuestas como la Recomendación sobre la Ética de la Inteligencia Artificial de UNESCO, “algo así como una declaración universal para afrontar de manera responsable los efectos conocidos y desconocidos de la IA en los seres humanos, las sociedades y el medio ambiente”, explica Fernández.

“Establece por primera vez un marco normativo mundial para el uso de la IA, siguiendo la estela de iniciativas como la Declaración de Toronto, firmada por organizaciones como Human Rights Watch, Access Now o Amnistía Internacional, y que establece unos principios universales para la protección de los derechos humanos en el desarrollo de los sistemas de machine learning”, añade.

Sin embargo, Barrios advierte que “las normas éticas son una primera aproximación, pero tienen bastantes defectos”. “No cuentan con garantías para asegurar su cumplimiento. Tampoco tienen incentivos para su implantación práctica. Ni una supervisión externa sobre su adecuado cumplimiento”, explica. Así pues, carecen de medidas coercitivas, como sanciones, multas, etc.

Éstas quedan definidas en el marco jurídico. En este sentido, la Unión Europea ya tiene sobre la mesa la propuesta de un Reglamento de la Comisión Europea sobre el marco jurídico aplicable a los sistemas de Inteligencia Artificial,  primera norma jurídica en el mundo que legislará la IA.

“Regula los sistemas de IA de alto riesgo y contiene reglas de transparencia dirigidas a regular los sistemas de IA que interactúan con personas físicas en la generación y manipulación de imágenes, sonidos o contenidos de video”, detalla Mora. “Esta medida es importante y representa un paso adelante en la armonización de la UE, al disponer de un marco normativo uniforme que permite ir más allá de las iniciativas individuales adoptadas por cada uno de los Estados miembros”, agrega.Además, ya se habían dado algunos pasos previos. “El Reglamento General de Protección de Datos ya establece algunos criterios para que cualquier ciudadano objetivo de una decisión de un algoritmo de IA reciba una explicación entendible. Además, existen una serie de Recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la Inteligencia Artificial, así como un Plan coordinado sobre Inteligencia Artificial o el Libro Blanco sobre la Inteligencia Artificial”, especifica el representante de Inbenta.

En España también hay iniciativas propias. “Se aprobó la Estrategia Nacional de Inteligencia Artificial (ENIA), que ya ha creado la Oficina del Dato o la Carta de Derechos Digitales”, recuerda Fernández. Además, el Gobierno ha presentado el Consejo Asesor de Inteligencia Artificial.

Asimismo, la responsable de Fujitsu remarca que España se ha ofrecido como campo de pruebas de aplicación del nuevo reglamento, a través de la creación de la Agencia Española de Supervisión de Inteligencia Artificial (AESIA). “España contará, desde este año 2022, con una agencia que controle los algoritmos de IA que afectan a sus ciudadanos. AESIA auditará algoritmos de redes sociales, administraciones públicas y empresas con el objetivo de minimizar los riesgos significativos sobre la seguridad y salud de las personas, así como sus derechos fundamentales, que puedan derivarse del uso de sistemas de IA”, puntualiza.

Y también hay otras propuestas interesantes, como la Declaración de Barcelona sobre la IA o la creación del Observatorio del impacto social y ético de la inteligencia artificial (OdiseIA), que presentará el 17 de febrero su nueva GuIA Ética para un uso responsable de la IA.

Si analizamos la postura que adoptan otros países respecto a la IA, Mora indica que el modelo regulatorio de Estados Unidos “opta por una lógica de seguridad nacional”, frente al modelo de supervisión y prevención de daños de la UE. Esto se concreta en su Iniciativa de IA y en unos principios éticos para la IA emitidos por Centro Conjunto de Inteligencia Artificial (JAIT, por sus siglas en inglés) del Departamento de Defensa, “poniendo el foco en el individuo, no en la comunidad”, apunta. “El modelo estadounidense prioriza que se utilice primero el sistema de la IA y, en caso de que tras su despliegue se detecte un uso discriminatorio, se apliquen mecanismos de respuesta y se haga caso por caso”, detalla.

En el caso de China, la responsable de Fujitsu especifica que se promueven buenas prácticas de IA dirigidas a la comunidad, buscando mejorar todas las industrias y reducir todas las disparidades regionales, a través de los Principios de Gobernanza para una Nueva Generación de IA, como recogía China Daily. “El modelo chino ve que los prejuicios y discriminaciones producidos por la IA podrán ser eliminados tanto como se pueda por el propio sistema a medida que éste vaya mejorando en capacidades y gestión”, precisa.

Y en Japón, Mora destaca que “no hay una norma general que regula la IA, pero sí unas Guías de Utilización de la IA, donde se pide a los proveedores y desarrolladores no producir daños”. “De una forma más genérica, Japón postula que la IA debe respetar a la ciudadanía, aunque no se habla de un rol activo de la sociedad”, concluye.

Apuesta por la ética

Las grandes empresas tecnológicas también están buscando la manera de atender los desafíos éticos que comporta el uso de la IA. Por ejemplo. Fujitsu colabora con el Laboratorio de Ética Digital de la Universidad de Oxford (DELab). Además, es socio fundador de AI4People, “una iniciativa que está trabajando para crear un marco ético de IA y recomendaciones sobre la gobernanza de la IA, inicialmente para su adopción en toda Europa”, precisa Mora.

Además, destaca su compromiso con la EU AI Alliance, un foro especializado establecido en 2018 por la Comisión Europea, monitorizando las actividades de la alianza sobre ética de la IA y contribuyendo a las Ethics Guidelines for Trustworthy Artificial Intelligence del Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial (AI HLEG).

La compañía también está trabajando junto con el banco Intensa Sanpaolo (ISP) para abordar las cuestiones de sesgo, a través del marco internacional Trustworthy AI-FBF (Fair Banking Framework). “Hemos desarrollado tecnologías capaces de comprender cómo se puede medir o mitigar la discriminación o sesgo en las diferentes fases del aprendizaje automático, dentro del sector bancario y financiero”, anota.

Por su parte, Microsoft cuenta con un comité de ética en IA, denominado AETHER (IA, ética y efectos en ingeniería e investigación), creado en 2017. “AETHER escuchó a nuestros clientes, partners y expertos internos y publicó The Future Computed en enero de 2018. Seis meses después, solicitamos una regulación para el reconocimiento facial. Y formamos la Oficina de IA Responsable a principios de 2019, publicando nuestros estándares internos para una IA Responsable en septiembre de 2019”, apunta el director de Asuntos Regulatorios. Asimismo, Microsoft ha identificado seis principios éticos para guiar el desarrollo y uso de la IA: justicia, fiabilidad y seguridad, privacidad y seguridad, inclusión, transparencia y responsabilidad.

Además, hace hincapié en que Microsoft “apoya la visión y la dirección de la regulación de la IA”. “En particular, coincidimos en la necesidad de adoptar un marco basado en el riesgo identificado centrado en una lista clara de usos de alto riesgo, así como la determinación de usos prohibidos. También observamos de manera positiva el reconocimiento de los beneficios de la transparencia en la promoción de una IA confiable y segura, que proporcione mecanismos de autoevaluación cuando es relevante y que se incentive la adopción de una gobernanza responsable de IA a través de códigos de conducta”, añade.

IBM también contribuye a la ética en la IA a través de sus herramientas. “En nuestra plataforma de datos contamos con Watson Open Scale, orientada a detectar y mitigar tanto desviaciones en sesgos como desviaciones en los modelos de IA”, explica Ventura.