I+D española para una IA sin prejuicios

La IA se ha convertido en una tecnología omnipresente en nuestra sociedad. Por eso, asegurarnos de que sea explicable, ética y responsable es un importante desafío, ya que la existencia de posibles prejuicios en su desarrollo podría tener graves consecuencias.

Por ejemplo, hay que tener en cuenta que los modelos de IA generativa como ChatGPT, Gemini, Copilot, etc., se alimentan de una ingente cantidad de datos extraídos de múltiples fuentes de internet: páginas web, foros, redes sociales…

La mayor parte de estos contenidos no pasan ningún tipo de filtro que garantice su veracidad o la existencia de posibles prejuicios o sesgos ideológicos. Así pues, corremos el riesgo de que estas herramientas de IA, que tanto peso están adquiriendo en nuestro día a día, reproduzcan dichos prejuicios o sesgos, los amplifiquen y los difundan.

Los investigadores de la Universitat Oberta de Catalunya (UOC), en colaboración con sus colegas de la Universidad de Luxemburgo, han recogido ese guante y han desarrollado LangBiTe, un programa open source que evalúa si estos modelos están libres de sesgos y cumplen con las regulaciones vigentes sobre no discriminación.

“El objetivo de LangBiTe no es comercial, sino servir como recurso útil tanto para creadores de herramientas de IA generativa como para perfiles de usuario no técnicos, que contribuya a detectar y mitigar los sesgos de los modelos y ayude, en definitiva, a tener mejores IA en el futuro”, indica en este artículo Sergio Morales, investigador del grupo Systems, Software and Models (SOM Research Lab), del Internet Interdisciplinary Institute (IN3) de la UOC, cuyo trabajo de doctorado se basa en esta herramienta.

Los investigadores aseguran que LangBiTe se distingue de otros programas similares por su alcance y porque se trata de la herramienta “más completa y detallada” que existe en la actualidad.

“Anteriormente, la mayoría de los experimentos se centraban en la discriminación de género hombre-mujer, sin considerar otros aspectos éticos importantes o minorías vulnerables. Con LangBiTe hemos comprobado hasta qué punto algunos modelos de IA pueden responder a ciertas cuestiones de forma racista, desde un punto de vista político claramente parcial o con connotaciones homófobas o tránsfobas”, detallan.

Asimismo, reseñan que el enfoque ético de otros trabajos que han creado clasificaciones de modelos de IA ha sido “demasiado superficial, sin detallar los aspectos específicos evaluados”.

Así pues, la herramienta desarrollada por estos expertos, un proyecto supervisado por Robert Clarisó, profesor de los Estudios de Informática, Multimedia y Telecomunicación e investigador líder del SOM Research Lab de la UOC, y Jordi Cabot, investigador de la Universidad de Luxemburgo, analiza si una aplicación o herramienta que incorpora funciones basadas en modelos de IA se adapta a los requisitos éticos o comunidades de usuarios concretos de cada institución u organismo.

“LangBiTe no prescribe ningún marco moral particular. Lo que es ético y lo que no lo es depende en gran medida del contexto y la cultura de la organización que desarrolla e incorpora características basadas en modelos generativos de IA en su producto. Por lo tanto, nuestro enfoque permite a los usuarios definir sus propias preocupaciones éticas y sus correspondientes criterios de evaluación para adaptar la evaluación del sesgo a su contexto cultural particular y al entorno regulatorio”, aclaran los investigadores.

Para ello, LangBiTe incluye bibliotecas con más de 300 prompts destinados a revelar sesgos en los modelos, cada una de ellas especializada en una preocupación ética particular: edadismo, LGBTIQA-fobia, preferencias políticas, prejuicios religiosos, racismo, sexismo y xenofobia.

Cada uno de estos prompts tiene unas respuestas asociadas para poder valorar si la contestación del modelo contiene algún tipo de sesgo. También incluye plantillas de prompts que pueden modificarse, permitiendo así que el usuario amplíe y enriquezca la colección original con nuevas preguntas o preocupaciones éticas.

Este programa proporciona acceso a los modelos propietarios de OpenAI (GPT-3.5, GPT-4) y otros modelos de IA generativa disponibles en Hugging Face y Replicate, que facilitan interactuar con gran variedad de modelos como los de Google y Meta.  Además, permite que cualquier desarrollador interesado use LangBiTe para evaluar otros modelos, incluidos desarrollos propios.

El software también permite comprobar la diferencia entre respuestas de distintas versiones de un mismo modelo y entre modelos de distintos proveedores. “Por ejemplo, vimos que la versión disponible de ChatGPT 4 tenía una tasa de éxito de pruebas contra el sesgo de género del 97%, mayor a la obtenida por la versión disponible en aquel momento de ChatGPT 3.5, con un 42% de éxito. En esa misma fecha vimos que, para el modelo Flan-T5 de Google, cuanto mayor era el tamaño de éste, menos sesgado se mostraba respecto a género, religión y nacionalidad”, reseña el investigador del grupo Systems.

Asimismo, los investigadores han incorporado la posibilidad de evaluar herramientas en distintos idiomas, permitiendo que los usuarios detecten si un modelo muestra sesgos dependiendo del lenguaje empleado para sus consultas.

También están trabajando para analizar modelos que generan imágenes, como Stable Diffusion, DALL·E y Midjourney. “La actual aplicación de estas herramientas va desde la elaboración de libros infantiles hasta el acompañamiento de noticias, lo que puede llevar a la propagación de estereotipos tergiversadores o dañinos, que obviamente la sociedad está interesada en erradicar”, comenta Morales.

Por otro lado, los investigadores destacan que LangBiTe puede ayudar a cumplir con la Ley de Inteligencia Artificial de la Unión Europea, que contempla entre sus objetivos que los nuevos sistemas con IA promuevan el acceso equitativo, la igualdad de género y la diversidad cultural y que no comprometan los derechos de no discriminación.