Por qué la mayoría de los proyectos de Big Data fracasan, y cómo hacer que el tuyo sea un éxito

El concepto Big data está actualmente muy de moda, ya que los departamentos de TI, ya sean grandes  o pequeños, deben enfrentarse a volúmenes de datos estructurados y no estructurados que crecen exponencialmente. Pero, a pesar del posicionamiento del Big Data como gran fenómeno tecnológico, la mayor parte de los proyectos de Big Data acaban fracasando, y las empresas siguen luchando por encontrar formas de obtener, gestionar, dar sentido, y en última instancia, obtener información valiosa de sus datos. Controlar Big Data y ser capaz de obtener información útil para el negocio es una tarea muy complicada en sí misma, pero, si además, todos los que están involucrados en el proyecto no están de acuerdo a la hora de definir los objetivos del proyecto, éste, sin duda, estará destinado al fracaso.

Estas son las principales causas del fracaso de los proyectos de Big Data:

• Falta de compromiso. Es habitual que la dirección de la empresa y el departamento de TI no entiendan del mismo modo la problemática del negocio que se necesita resolver, pero, en la mayor parte de los casos el compromiso sólo viene desde el área tecnológica. Por este motivo,  la falta de un verdadero compromiso desde el punto de vista de los responsables del negocio, es mucho más complicado alcanzar el éxito.

• Falta de acceso. El acceso a los datos suele estar restringido, y los miembros del equipo no tienen acceso a los datos que necesitan para encontrar las respuestas que harán que el proyecto tenga éxito.

• Falta de conocimiento. Muchas de las tecnologías, los enfoques y las disciplinas alrededor de Big Data son nuevas, por lo que las personas que forman parte de los equipos carecen de los conocimientos acerca de cómo trabajar de manera efectiva con los datos y lograr los resultados deseados.

De todas estas dificultades, la primera, la falta de compromiso y de enfoque a la hora de hacer preguntas que se buscan responder, es el más importante. La idea es que muchas veces se explora y se busca algo que no se conoce, así que, para tener éxito, es fundamental definir el proyecto en base a lo que exactamente la empresa está tratando de lograr, y planteando correctamente las preguntas que necesitan ser contestadas. A pesar de que es el factor más importante para el éxito de un proyecto de Big Data, determinar el enfoque es complicado. Big Data no sólo puede significar diferentes cosas para diferentes personas, sino que hay una serie de factores externos que pueden provocar cambios en las necesidades y las prioridades del negocio más rápido de lo que la tecnología puede soportar. Así, si la tecnología no está alineada con los objetivos de negocio para llevar adelante el proyecto, éste se podría disparar en demasiadas direcciones, involucrando a mucha gente y cambiando el enfoque.

Otro aspecto complicado a la hora de alinear el negocio con la tecnología viene de falta de voluntad para cambiar. A menudo, si un proyecto de Big Data suponer llevar a cabo acciones o cambios que son ajenos a los responsables del negocio, puede que estos se muestren reticentes a aceptarlos. Como respuesta, los grupos de analistas pueden verse tentados a redirigir los resultados de un proyecto en un sentido en el que crean que los responsables de negocio van a estar de acuerdo, lo que supone un condicionamiento de las acciones, las cuales pueden generar respuestas y datos no del todo óptimos para la empresa.

El segundo motivo por el que los proyectos de Big Data fracasan, la falta de acceso a los datos, se remonta a una premisa tecnológica fundamental: los silos. Existen silos de datos en diferentes departamentos: ventas, marketing, recursos humanos, etc. cada uno de ellos restringido y vigilado para cumplir con las normas. Hay buenas razones para que los silos de datos existan, pero, si los datos necesarios no están disponibles para la persona adecuada, se están estableciendo límites incluso antes de empezar a resolver el problema. Para superar esto, los proyectos de Big Data deben empezar con revisión de la propiedad de los datos a nivel ejecutivo. Sin todos los datos relevantes, es imposible ver las relaciones y los patrones que responderán a las preguntas que se buscan. Algún cargo directivo debería decir: “Este equipo está tratando de resolver un problema y es lo suficientemente importante como para que puedan tener acceso a todos los datos que necesiten”. En definitiva sin acceso a los datos correctos, el proyecto estará en punto muerto.

El tercer escollo, la falta de conocimientos, supone que hay que tener a las personas adecuadas y que tengan las habilidades necesarias para ejecutar el proyecto. Se necesita gente que sepa sobre aprendizaje automático y el procesamiento de lenguaje natural, solo por nombrar dos ejemplos, pero, ya que esta tecnología es tan nueva para el público en general, los equipos de TI con frecuencia carecen de aquellos que entienden cómo utilizarlo para fines analíticos. Si bien la contratación de un científico de datos es una de las posibilidades para hacer frente a este déficit de conocimientos, no es posible para muchas empresas. Este nuevo rol debe combinar la mentalidad de un científico y un investigador con las habilidades de un programador, pero es un puesto caro y el conjunto de habilidades requeridas no es fácil de encontrar, ni fácil de enseñar.

Cómo tener éxito en los proyectos de Big Data

Hay que plantearse un enfoque práctico, en primer lugar no hay que llamarlo “proyecto de Big Data”, sino que debería tener un nombre más descriptivo, en función de lo que se necesite descubrir, por ejemplo: “proyecto para descubrir más sobre nuestros clientes y por qué hacen sus compras en una determinada tienda”. El proyecto debe responder a importantes preguntas para el negocio y Big Data es la fuente de las respuestas. Estas son algunas buenas prácticas para ayudar a alcanzar el éxito de un proyecto:

• Comenzar con una lista de preguntas y problemas a las que se quiera responder. No hay que tratar de comenzar por algo demasiado grande. Lo ideal es empezar con un proyecto pequeño, acerca de un tema específico al que se necesite hacer frente, y centrarse en él. Hay que hacer una lista de las preguntas a las que se debe responder, y no se debe perder de vista el objetivo. Hay que evitar que los equipos sean demasiado amplios o tratar de abarcar demasiados ámbitos, para evitar el principal motivo de fracaso del proyecto: un cambio constante de los requisitos entre el negocio y la tecnología. Hay que asegurarse de que todas las personas involucradas estén de acuerdo con el objetivo, y mantenerles motivados en la consecución del objetivo.

• Obtener la aprobación de los superiores antes de empezar. Una vez que se ha identificado el problema de negocio a resolver, el equipo debe tener la aprobación de los superiores para obtener acceso a todos los datos necesarios para completar el proyecto con éxito. Tener la aprobación de la dirección de la compañía garantiza al equipo el acceso a todos los datos de negocio relevantes, para que puedan encontrar los patrones y las relaciones que responderán a las preguntas de negocio. Hay que obtener el acceso, de forma controlada, obviamente, pero con autoridad.

• Asegurarse de que el equipo cuenta con los conocimientos necesarios para llevar a cabo el proyecto. Lo ideal sería tener a alguien en el equipo que entienda los procesos de aprendizaje automático, que tenga las habilidades y la mentalidad de un científico de datos, y que pueda trabajar con los datos para obtener el resultado empresarial adecuado. Pero, si no es así, se debe trabajar con el equipo con el que se cuenta. Este sería un buen momento para dar un paso más atrás y considerar de nuevo las preguntas a las que hay que responder. De hecho, se pueden obtener las respuestas que se buscan sin necesidad de conocimientos sobre aprendizaje automático o procesamiento de lenguaje natural, pero para ello hay que ofrecer el acceso a los datos a las personas adecuadas dentro de la empresa.

Para seguir el camino correcto, hay que escoger un problema que pueda crear valor para el negocio, y tener la determinación necesaria para centrarse en él. Pero hay que recordar que, un proyecto exitoso, lo es, independientemente de su ámbito de aplicación. No hay que arriesgarse a fracasar por querer perseguir objetivos demasiado ambiciosos, al fin y al cabo es mejor tener éxito en un proyecto pequeño, que fracasar muchas veces en uno grande.