Desde la década de los 90 las grandes empresas empezaron a reconocer la importancia de los datos como un diferenciador clave en sus planes de negocios. Este fenómeno se intensificó con la democratización de Internet y el auge de las páginas web, marcando una tendencia que ha evolucionado significativamente en los últimos 30 años.
Un informe de Statista proyecta que en 2025 se generarán más del doble de datos que el año pasado, alcanzando cerca de 180 zettabytes, aproximadamente 36 mil veces más que el volumen de datos que Google almacena en la actualidad.
Con motivo de su 25 aniversario, PUE, la empresa tecnológica española líder en consultoría e implementación de proyectos Data & Machine Learning, ha compilado los hitos clave que ha presenciado en la transición desde el antiguo big data hasta las capacidades actuales. Estos hitos han permitido a la empresa responder de manera innovadora a las crecientes demandas de sus clientes.
- Transición hacia una mayor eficiencia: De Hadoop al Data Cloud: En 2006, Apache Hadoop emergió como una innovación centrada en procesos ETL por lotes para entornos on-premise. Sin embargo, su ecosistema limitado y los desarrollos complejos en Java lo dejaron rezagado como un entorno de trabajo rudimentario. En 2023, el Data Cloud se consolida como una evolución que mantiene el espíritu de Hadoop, centrándose en procesamientos batch y streaming. Esta ventaja en tiempo real, combinada con inteligencia artificial, permite el desarrollo de procesos en un amplio ecosistema, tanto en la nube como en entornos híbridos, y ofrece capacidades de data quality y data governance, marcando un avance significativo desde los días de Hadoop.
- Evolución en la gestión del dato: De local a Cloud y modelos híbridos: En los primeros proyectos de datos, las compañías se veían limitadas a la opción on-premise. Con el desarrollo de la Nube, surgió una gestión de datos más ágil, flexible y eficiente, con inversiones potencialmente menores. En la actualidad, la clave para una estrategia de datos optimizada es analizar la naturaleza de cada proyecto para determinar si el Cloud, la infraestructura local o los entornos híbridos son la mejor opción. Un informe de la firma Cloudera revela que el 72 % de las empresas considera repatriar sus datos del Cloud al on-premise, mientras que el 94 % planea mover más datos a la Nube.
- Smart Data: La máxima eficiencia en Big Data: A medida que más empresas buscaban aprovechar sus datos para expandir sus negocios simplemente ser una empresa data-driven dejó de ser suficiente. Ahora la recopilación y almacenamiento masivo de datos debe ir de la mano con técnicas de análisis innovadoras para un uso más útil, accesible y intuitivo. La transición de big data a smart data se convierte en el factor diferencial. Esto impulsa la optimización de procesos, minimiza riesgos y amenazas, abre nuevas oportunidades de negocio, mejora la experiencia del usuario y, en última instancia, aporta una reputación positiva a la marca.
- Nuevo reto en el corto plazo: Crecimiento de datos no estructurados: En sus inicios, las empresas manejaban cantidades de datos reducidas y manejables. Sin embargo, con avances como IoT y dispositivos conectados, el volumen de datos ha crecido exponencialmente. En la actualidad, es común encontrar volúmenes altos de datos no estructurados, representando entre el 80 % y el 90 % de los nuevos datos captados por las empresas, según Gartner. Este desafío dificulta la gobernanza del dato y destaca la necesidad de tecnología y enfoques analíticos adecuados para extraer el máximo valor de estos datos.