Los empleados que usan ChatGPT pueden tener un peor desempeño, según un estudio

Un grupo de investigadores de BCG, Harvard, Wharton y el MIT han llevado a cabo un experimento para comprobar cómo el acceso a ChatGPT puede afectar a la productividad y la calidad del trabajo de los empleados administrativos.

Lo cierto es que los resultados dan bastante que pensar y suponen una advertencia para todos aquellos que usan la herramienta de OpenAI sin contrastar la información.

El estudio, del que se hace eco Business Insider, confirma que los trabajadores que se sirven de ChatGPT pueden tener un peor desempeño que aquellos que no lo hacen. Esto se debería a que toman los resultados al pie de la letra, sin preocuparse por comprobar si la IA generativa está incluyendo errores (lo que se conoce como ‘alucinaciones’).

Para realizar el estudio los investigadores asignaron aleatoriamente a 758 consultores de BCG en tres grupos: uno sin acceso a la IA, otro que sí tenía acceso a ChatGPT en su versión premium con tecnología GPT-4 y un tercero que podía usar ChatGPT normal, así como vídeos instructivos y documentos sobre estrategias de inversión rápidas.

Tras establecer líneas base de desempeño a los consultores de cada grupo se les asignó una de dos categorías de tareas. Una categoría incluía 18 tareas que existen ‘dentro de la frontera’ de lo que la IA puede hacer, como generar ideas sobre conceptos de bebidas innovadores o idear un plan de negocios exhaustivo para un nuevo concepto de calzado.

La otra categoría contenía tareas más abiertas que existen ‘fuera de la frontera’ de las capacidades de la IA. Si bien “los consultores sobresaldrían” en estas tareas, “la IA tendría dificultades sin una orientación exhaustiva”, según el estudio.

Los investigadores encontraron marcadas diferencias en los resultados de los tres grupos, dependiendo de su acceso a ChatGPT.

Para las tareas ‘dentro de la frontera’, los consultores que utilizaron IA fueron “significativamente más productivos” y “produjeron resultados de calidad significativamente más altos” que aquellos que no usaron el chatbot.

Sin embargo, aquellos utilizaron IA para completar tareas “fuera de la frontera” tenían “19 puntos porcentuales menos de probabilidades de producir soluciones correctas en comparación con aquellos sin IA”. Esto se debe a que se descubrió que los consultores de IA escuchaban indiscriminadamente sus resultados, incluso si las respuestas eran incorrectas.

En definitiva, estos hallazgos demuestran las capacidades desiguales de la IA.

Tan buena como mala

Aunque los hallazgos del estudio evidencian que la IA es “extremadamente buena” para ayudar a los humanos con ciertas tareas, estos deben tener cuidado al usar la tecnología para evitar errores, ha comentado a Insider Saren Rajendran, uno de los investigadores involucrados en el estudio.

“A medida que los límites de las capacidades de la IA continúan expandiéndose, a menudo de manera exponencial, corresponde a los profesionales humanos recalibrar su comprensión de la frontera y a las organizaciones prepararse para un nuevo mundo de trabajo que combine humanos e IA”, han explicado los investigadores.