Observabilidad, la clave para reducir los riesgos de la IA

Como cualquier tecnología, la Inteligencia Artificial (IA) debe gobernarse, pero en el caso de usar esta tecnología en procesos críticos o expuestos al público, las compañías deben además obedecer regulaciones y manifiestos internos de uso de la IA. Algo que unido al gran volumen de datos con los que se entrena la inteligencia artificial o las multas que ya establecen algunas normas, hace que la observabilidad se presente como un elemento clave.

La observabilidad de la IA, en ocasiones minusvalorada, es la capacidad de comprender en profundidad el comportamiento y el rendimiento de los sistemas de IA y está muy directamente vinculada al gobierno de la IA. Esto incluye la monitorización continua de las entradas, procesos y salidas de los modelos de IA, así como la capacidad de identificar y diagnosticar problemas en tiempo real.

En esencia, la observabilidad de la IA nos permite “ver” cómo funciona la IA, lo cual es esencial para garantizar su fiabilidad, seguridad y cumplimiento normativo.

Observabilidad… por normativa

Como señalábamos, ya existen normas que regulan la IA y concretamente la Unión Europea está a la vanguardia de dicha regulación con su propuesta de IA Act que, pionera en su enfoque, establece requisitos estrictos para los sistemas de IA, especialmente aquellos considerados de “alto riesgo”. Es por ello que la observabilidad se erige como un pilar fundamental para cumplir con estas regulaciones, ya que permite a las organizaciones demostrar transparencia, garantizar la calidad y la seguridad y cumplir con los requisitos de auditoría.

De todo ello se habló en el encuentro organizado por Keepler Data Tech y Silicon y que, conducido por Daniel de Blas, director de Branded Content en Netmedia, congregaba a Gonzalo Durban, Head of Data & Analytics de Almirall; Óscar Cuevas, Head of Data & Analytics de Sacyr; Carlos Perales, Head of AI & Data Science de Acciona Energía; David Redondo, responsable de Innovación, Arquitecto de la IA y Gobierno del Dato en Valoriza; David Liras, CIO, Digital Transformation & Operational Excellence en Moeve Química; y Rubén del Campo, Head of Advanced Analytics & AI en Nationale-Nederlanden.

“La regulación de la IA, en el caso de la IA Act, busca precisamente regular el riesgo que supone esta tecnología y eso hace que, al igual que manejan la parte técnica, las empresas tengan que empezar a gestionar también sus riesgos”, apuntaba Juanma Aramburu, CEO de Keepler Data Tech.

En esa regulación, añadía, se establece que es un proceso continuo; “hay que observar de forma continua cómo se utiliza el modelo de IA”, algo que, como señalaba Aramburu, hace que en la compañía entiendan la Inteligencia Artificial como un producto de datos más, con su herramienta de gestión de proyectos, su área de FinOps, su ROI y, cómo no, su mapa de riesgos y su observabilidad”.

Riesgos y desafíos que además, apuntaba, hacen necesario determinar un responsable de la IA dentro de las empresas y que, en el caso de Acciona Energía, están en pleno proceso de fijar. “Ya tenemos casos de uso, aunque pequeños y ahora estamos volcados en orquestarlo todo y sobre todo establecer esos mecanismos y estrategia de observabilidad que, yo creo, recaerá en el delegado de Protección de Datos (DPO) o una figura asociada”, compartía Carlos Perales, Head of AI & Data Science de la compañía.

En el caso de Sacyr, actualmente, en los desarrollos de IA “están involucradas personas también de Datos y de Ciberseguridad; no puede recaer toda la responsabilidad únicamente en el DPO”, opinaba Óscar Cuevas, Head of Data & Analytics. Además, explicó, en Sacyr, actualmente el foco está en reforzar el gobierno del dato, saber qué datos están entrenando el modelo y en crear un gobierno del documento, en determinar la criticidad del documento, en función de quién lo genera y quién lo maneja”.

Al hablar de observabilidad, Rubén del Campo, Head of Advanced Analytics & AI en Nationale-Nederlanden, señalaba que “muchas veces no es tanto la tecnología que uses sino la decisión que vas a tomar con ella y cómo vas a justificar esa decisión”. Además, apuntaba la necesidad de “involucrar a negocio en todo lo relacionado con la IA, formarles y hacer que entiendan qué es”.

En la misma línea se posicionaba Gonzalo Durban, Head of Data & Analytics de Almirall que aseguraba que “es fundamental la comunicación para que negocio entienda” y, en cuanto a la observabilidad, apuntaba que “no basta con poner un “riesgo check” al inicio del proyecto sino que hay que vigilar cómo funciona luego todo”.

En el caso de Almirall, este papel recae en un equipo multidisciplinar, “donde están personas de Data, Privacidad, Ciberseguridad y un auditor”, señalaba Durban.

“La IA ha dado más importancia si cabe al gobierno del dato”, afirmaba David Liras, CIO, Digital Transformation & Operational Excellence en Moeve Química que, en este caso, ha involucrado en esta área al DPO, al responsable de ciberseguridad y al departamento de riesgos.

Así, además, señalaba la importancia de formar y concienciar al usuario además de para hacer un uso de la IA correcto “gestionar las expectativas”.

También experimentando ya con la IA se encuentran en Valoriza, como exponía su responsable de Innovación, Arquitecto de la IA y Gobierno del Dato, David Redondo.

“Nuestro objetivo es no casarnos con ningún proveedor, por eso mismo hemos desarrollado un sistema que nos dice o direcciona hacia el modelo de IA que mejor responde a cada necesidad que tenemos”, comentaba Redondo.

Uso interno de la IA

Pero ¿para qué tipo de procesos o tareas están utilizando las empresas hoy la IA? Al menos las participantes en el encuentro lo tenían claro: para uso interno.

“Siempre la usamos para cosas internas y la única vez que hicimos un proyecto con salida al exterior, prefijamos una serie de respuestas… No podías salirte de ahí”, respondía desde Almirall, Gonzalo Durban.

“Nosotros también estamos aplicándola a procesos y tareas internas; para relacionarnos con clientes aún no”, comentaba Rubén del Campo, de Nationale-Nederlanden.

Y todos sin distinción tenían claro que usarla hay que usarla. “Si lo prohíbes mal, no puedes poner puertas al campo; la van a utilizar y encima sin que lo puedas al medio controlar”, aseguraba Carlos Perales, de Acciona Energía.

“Los modelos están ahí y los vamos a usar todos. Ahora bien, el que mejor sepa utilizarlos es el que tendrá una ventaja competitiva”, afirmaba en ese sentido Óscar Cuevas, de Sacyr.

Una vez más las personas, aprendiendo a utilizar una tecnología “que cada vez tiene menos valor por sí misma porque lo importante es cómo la utilizamos”, reflexionaba desde Valoriza, David Redondo.

Por eso mismo, “es esencial abordar la gestión del cambio, en Moeve Química estamos totalmente enfocados en ello y más con la rapidez a la que ocurre todo ahora”, declaraba David Liras.

Formar, concienciar, gobernar el dato… “Todo lo que tiene que ver con observabilidad y gobierno de la IA tiene su antecedente en el dato. La competencia de modelos además es una oportunidad para las empresas de elegir así que, de nuevo, la tecnología es el menor de los problemas. El gran desafío es la gestión del cambio”, concluía Pablo Ríos, BDM de Keepler Data Tech.