Salesforce: “La precisión es lo más importante a la hora de aplicar la IA en un contexto empresarial”

Durante la celebración de Salesforce TrailblazerDX, el evento para desarrolladores organizado por la compañía, en el que se ha anunciado el lanzamiento de Einstein GPT, Silicon ha contado con la oportunidad de entrevistar a Paula Goldman, Chief Ethical and Humane Use Officer de Salesforce.

Para comenzar nuestra conversación, Paula comentó que en 2018 definieron los principios por los que se regiría el trabajo de Salesforce respecto a la inteligencia artificial en general. Una vez que Einstein GPT comenzó a convertirse en algo real para la compañía definieron los principios aplicados a la inteligencia artificial de OpenAI enfocada a los servicios de atención al cliente.

– Hablemos de los principios éticos de Einstein GPT. ¿Cómo están funcionando? Hay diferentes regiones en el mundo y supongo que es difícil adaptarlos a cada parte. ¿Cómo lo llevan a cabo?

Sí, absolutamente. Vamos a retroceder un poco en los principios. Son precisión, seguridad, honestidad, empoderamiento y sostenibilidad. Como puedes ver son principios globales. Entonces, si pensamos particularmente la precisión es lo más importante a la hora de aplicar la IA en un contexto empresarial, porque debes asegurarte de que si la IA está haciendo una recomendación para un prompt, para un chat con un cliente o un correo electrónico enfocado a las ventas, que no esté inventando hechos. Y eso es cierto en todas las culturas, en todas las geografías. Queremos asegurarnos de generar resultados que estén realmente basados en los modelos de datos de nuestros clientes y, en caso de no conocer la respuesta, que la IA posea la capacidad para decir “no lo sé” o que “esta no es una pregunta relevante”. Sin embargo, hay lugares donde la respuesta puede variar dependiendo de la geografía y tiene que ver con el sesgo y la toxicidad. Es decir, cuando pensamos en cómo deben ser representados diferentes grupos demográficos dentro de los datos, cómo etiquetamos las palabras como contenido tóxico, requiere de un enfoque muy específico culturalmente. Requiere de mucho cuidado con todas las culturas. Y eso es algo a lo que estamos prestando mucha atención.

– Cuando hablas de que el comportamiento de la IA, en ocasiones genera contenido inapropiado. ¿Cómo lo solucionáis?

Ni el sesgo ni la toxicidad es un problema nuevo para la IA generativa. En términos generales, la IA es tan buena como los datos que se le proporcionan y has de asegurarte de que los conjuntos de datos sean representativos, que no haya sesgos involuntarios en los datos, etiquetarlos como toxicidad para estos tipos de problemas. Para la IA generativa, especialmente cuando hablamos de estos modelos de base extremadamente grandes, hay soluciones cada vez más sofisticadas para estos problemas que mencionas. Y tiene que ver con el tamaño de estos modelos. Y en algunos casos, son errores abiertos. Por lo tanto, podemos enviarle algunos de estos documentos, pero hay varios trabajos de investigación que hablan de la evaluación y básicamente se toma el tiempo para ver si se puede romper el modelo y luego arreglarlo de manera iterativa. Eso es en lo que se han entrenado varios modelos de IA generativa. Y es una metodología que también usamos. La razón por la que te doy ese ejemplo es para decir que se vuelve cada vez más sofisticado cuando pensamos en los usos más expansivos de la IA generativa, y luego tienes que prestar atención adicional a ese tipo de cosas. Y hay un estado emergente del arte en esas técnicas.

– ¿Tienen preparada la IA para clientes impertinentes? Si tienen un cliente impertinente que está escribiendo en lenguaje inapropiado, ¿la IA está educada para responder en este tipo de casos?

Bueno, esa es una pregunta interesante. La forma en que funcionaría más generalmente sería, por ejemplo, si tenemos una IA configurada para ayudar a un agente de servicio al cliente y alguien hace una pregunta fuera de tema o incluso grosera, creo que lo más probable es que la IA diga que no lo sabe o que no está dentro de los límites y el contenido que está comentando. También puede ser posible sugerir frases para desescalar una conversación. Pero siempre creo que la IA se mantendrá dentro de los límites para asegurarse de que esas conversaciones sean apropiadas y saludables, y que estén basadas en datos y hechos empresariales reales.

– ¿Y cuando encuentran un error en el comportamiento de la IA, lo reportan a OpenAI? ¿Cómo trabajan en ambas empresas?

En primer lugar diré que la forma en que estamos diseñando Einstein GPT es para dar a nuestros clientes opciones en diferentes modelos y comenzar entendiendo que se puede empezar con un punto de partida. ¿Cuáles son las propiedades de estos diferentes modelos en torno a estos temas, en torno a los sesgos, la toxicidad, etc.? Y esas son cosas publicadas de las que podemos hablar y luego dar a nuestros clientes muchas opciones de elección. También podemos educarles e informarles sobre cómo usar esta Ia generativa de manera responsable. En segundo lugar, estamos haciendo una gran cantidad de pruebas nosotros mismos, mientras creamos estos productos y diseñamos estas integraciones, algunos de esos comentarios se vuelven a incorporar en nuestro propio diseño. Y diría que la gran mayoría de esos comentarios se incorporan a nuestro propio diseño porque hablamos de cómo se fundamenta la IA en los datos de nuestros clientes. Entonces, podríamos fundamentar la IA en 100 artículos de conocimiento de un cliente y luego enseñarle a decir que si una pregunta no se encontró, la respuesta no se encontró en esos artículos de conocimiento, podría decir “no lo sé”. La gran mayoría del trabajo va a ser asegurarse de que ese ciclo que estamos construyendo funcione, y creo que tenemos una relación muy colaborativa también con estas diferentes asociaciones al proporcionarles feedback. Estamos trabajando con ellos en enfoques responsables a medida que estos continúan evolucionando. Estamos trabajando con ellos mientras seguimos iterando en estas características de los productos en sí. Pero creo que muchos de los comentarios que vamos a tener en el “bucle humano” del que estamos hablando, los procesos piloto y las salvaguardias, los comentarios que buscamos de nuestros clientes son sobre cómo estamos diseñando el producto en sí.

– ¿El contenido que genera Einstein GPT estará identificado como que ha sido generado por inteligencia artificial?

Sí. Lo que puedo decir es que si hay algo que solo es generado por la IA, se marcará como tal. No sé si será una marca de agua en particular, pero más bien, si solo estás interactuando con una IA, obviamente te quedará claro que estás interactuando con una IA y la forma en que diseñamos productos, por ejemplo, si la IA sugiere o redacta un correo electrónico, debe haber un humano involucrado para aprobar, cambiar, editar y enviar. La IA no lo enviará autónomamente.

– ¿Cómo puede la IA saber qué información es privada para la empresa y qué información puede mostrar al cliente?

Esa es una pregunta crítica que mucho tiene que ver con el diseño y las pruebas que estamos creando. Y, de nuevo, volviendo al ejemplo del anclaje de los datos y asegurándonos de que tenemos claros en el conjunto de datos al que queremos que se refiera. Diría que tanto los socios con los que estamos trabajando como nuestros propios equipos también están realizando muchas pruebas de seguridad y privacidad para asegurarse de que no se pueda romper el modelo y hacer que revele información privada y segura. Eso es algo que destacamos en los principios en torno a la IA generativa responsable, y es algo en lo que estamos trabajando muy duro.

– ¿Puede decirme algunos casos en los que su IA falló, generando contenido inapropiado o algo así?

Por ejemplo, tenemos un chatbot existente que funciona en una capacidad de servicio y hacemos muchas pruebas antes de lanzar algo al mercado. Notamos cuando estábamos trabajando en el chat y viendo los datos de entrenamiento que necesitábamos que fuera más representativo. En el contexto de los Estados Unidos, pero ¿cómo traes diferentes vernáculos, diferentes formas de hablar en inglés? Existe algo llamado vernáculo afroamericano. Hay un número de diferentes formas informales de hablar que pueden influir en el éxito de una interacción con un chatbot. Y quieres asegurarte de que esos estén representados, que esos datos sean representativos de los clientes que sirven al final, que es un grupo amplio. Y así que trabajamos con ese equipo para asegurarnos de que aumentamos los datos de entrenamiento para ser lo más representativo posible. Hay muchos ejemplos como ese en los que decimos: “Oye, tenemos un conjunto de estándares sobre la IA que estamos lanzando y vamos a detectar un problema antes de que llegue al mercado para asegurarnos de que sea correcto”.

– Para finalizar la entrevista, ¿cuál es el próximo paso de Einstein GPT?

Estoy muy emocionada por el momento en el que estamos en torno a la inteligencia artificial generativa, no solo porque creo que hemos pensado cuidadosamente cómo usarla en un contexto empresarial y cómo diseñar cuidadosamente para asegurarnos de que los datos que se ingresan son buenos y que la respuesta que se obtiene es precisa, útil y confiable. Pero también estoy muy emocionada por el trabajo que estamos haciendo en el frente ético porque no estamos empezando desde cero. En Salesforce, llevamos casi cinco años trabajando en esto. Estamos trabajando con muchos expertos fuera de la empresa. Estamos trabajando con grupos de la sociedad civil y aplicando todo lo que hemos aprendido en el futuro. Y siento que este es el momento en el que hablamos de la ética tecnológica. Para esto fue creado. Fue creado para un momento en el que estamos tomando una tecnología que todavía está en sus inicios, donde aún no conocemos todos los casos de uso y dónde se aplicará. Pero estamos pensando y aplicando la previsión. Y para mí, eso es lo más emocionante, es esta etapa en la que realmente estamos poniendo a prueba estos principios y encontrando sus resultados.