Confluent anuncia nuevas funcionalidades cloud en Kafka Summit Londres 2023

Confluent ha anunciado nuevas funcionalidades de Confluent Cloud durante la celebración del congreso Kafka Summit en Londres, Reino Unido, los días 16 y 17 de mayo, en el que Silicon ha estado presente.

Cabe resaltar que este evento es una cita destacada para desarrolladores, arquitectos, ingenieros de datos, profesionales de DevOps y aquellos interesados en aprender sobre data streaming y Apache Kafka, el cual se enfocó en las buenas prácticas, la construcción de sistemas de próxima generación y el futuro de las tecnologías de streaming.

Las nuevas soluciones están enfocadas a que los clientes puedan obtener insights de sus datos en una sola plataforma, procesarlos y compartirlos de manera segura, con el objetivo de reducir las cargas de trabajo operativas y mejorando el rendimiento de su servicio. Veamos ahora las nuevas funcionalidades que ofrece Confluent Cloud:

Data Quality Rules

Data Quality Rules supone una expansión de la suite Stream Governance, la cual permite a empresas y organizaciones obtener stream de datos fiables y de alta calidad en toda la estructura empresarial, empleando reglas personalizables para la obtención de datos íntegros y compatibles.

Con esta expansión, Data Quality Rules permite a los equipos garantizar la integridad de los datos en gran medida validando y restringiendo los valores de los campos individuales dentro de stream de datos. Por otro lado, esta solución también resuelve los problemas de calidad de datos mediante acciones de seguimiento personalizables sobre mensajes incompatibles. Incluso, esta nueva funcionalidad permite simplificar la evolución del esquema con la utilización de reglas de migración que transformen los mensajes de una formato a otro.

Custom Connectors

Confluent ha ampliado el ecosistema de conectores mediante Custom Connectors, que permiten que cualquier conector de Kafka se ejecute en Confluent Cloud sin necesidad de gestionar la infraestructur, ante la necesidad de las organizaciones con arquitecturas de datos únicas de crear sus propios conectores para integrar sus sistemas de datos y aplicaciones, con su correspondiente autogestión.

Mediante Custom Connectors ahora los equipos podrán conectarse a cualquier sistema de datos utilizando los propios plugins de Kafka Connect del equipo sin cambios en el código y de forma rápida. Por otro lado, esta solución garantiza una alta disponibilidad y rendimiento utilizando logs y métricas para supervisar el estado de los conectores y de los trabajadores del equipo.Por último, los nuevos connectors permiten también eliminar la carga operativa derivada de proporcionar y gestionar continuamente la infraestructura de conectores de bajo nivel. Respecto a los Custom Connectors, cabe destacar que ya está disponible en AWS en determinadas regiones y se abrirá próximamente a las que todavía no dispongan de ellos.

Stream Sharing

Ninguna organización involucrada en actividades como la gestión de inventarios, entregas y trading financiero puede funcionar de manera aislada. De hecho, necesitan del intercambio de datos en tiempo real, tanto dentro como fuera de su estructura, para tomar decisiones informadas, brindar una experiencia única al cliente y mejorar las operaciones. Muchas de estas organizaciones aún dependen de métodos obsoletos como transmisiones de archivos planos o API de sondeo, lo que resulta en retrasos, riesgos de seguridad y complicaciones de integración adicionales.

La nueva solución Stream Sharing facilita que los equipos puedan intercambiar fácilmente datos en tiempo real y sin retraso, directamente desde Confluent a cualquier cliente Kafka. Además, pueden compartir y proteger sus datos de forma segura con sólidos controles de uso compartido autenticado, gestión de acceso y cifrado por capas. Por último, pueden confiar en la calidad y compatibilidad de los datos compartidos aplicando esquemas compatibles entre usuarios, equipos y organizaciones.

Más innovaciones Confluent Cloud

Durante el congreso de Kafka Summit London 2023, organizado por Confluent, se anunciaron más innovaciones, las cuales Francisco Molero, country leader en España y Portugal de Confluent, ha analizado para Silicon: “Yo destacaría dos grandes pilares: Kora y Flink”.

Kora Engine

Otra de las soluciones presentadas durante Kafka Summit London 23 es Kora, un motor Apache Kafka desarrollado por Confluent, destinado a alimentar Confluent Cloud para proporcionar insights y experiencias más rápidas. Desde 2018, Confluent ha dedicado más de 5 millones de horas de ingeniería en la creación de Kora, diseñado específicamente para el entorno de la nube.

Gracias a su capacidad de abstracción multi-tenancy y serverless, así como a su estructura desacoplada de networking, almacenamiento y computación, junto con operaciones automatizadas y disponibilidad global, Kora permite a los clientes de Confluent Cloud escalar hasta 30 veces más rápido, almacenar datos sin límites de retención, contar con un SLA del 99,99% y procesar cargas de trabajo con una latencia ultrabaja.

En palabras de Molero: “Lo que Confluent hace es coger el engine de Apache Kafka, le aplica una serie de ingenierías para hacerlo cloud native, donde hay una serie de mejoras a ese engine que lo hace diferencial. O sea, Confluent Cloud va mucho más allá que Apache Kafka en el cloud. Ahora lo que se ha hecho es eso, aglutinar lo llamarle Kora Engine.”

Apache Flink

Apache Flink de Confluent ofrece un programa de acceso anticipado a las funcionalidades avanzadas de procesamiento de data streaming. “Tras la adquisición de Inmerok el pasado enero, primera empresa en desarrollar cloud native lo que es Flink, ahora Confluent disponibiliza para sus clientes las early stages de este servicio cloud desde enero hasta junio”, ha explicado Molero.

Como última de las novedades presentadas durante el conferencia aparece Apache Flink, ofreciendo un programa de acceso anticipado a sus funcionalidades avanzadas de procesamiento de data streaming, que permite a los clientes aprovechar el papel fundamental del stream processing en la infraestructura de data streaming, filtrando, agrupando y añadiendo datos en tiempo real para obtener información instantánea en aplicaciones y sistemas downstream.

Las empresas suelen recurrir a ApacheFlink para manejar grandes volúmenes de datos streaming con alto rendimiento y baja latencia, gracias a sus capacidades avanzadas de procesamiento de streams y su comunidad de desarrolladores sólida. Tras la adquisición de Immerok por parte de Confluent, se ha lanzado el programa de acceso anticipado de Apache Flink gestionado, dirigido a clientes selectos de Confluent Cloud, con el objetivo de probar el servicio y colaborar en la definición de la hoja de ruta junto a los equipos de producto e ingeniería de la compañía.

Respecto a Apache Flink, Molero también ha explicado: “Con esto pretendemos facilitar toda la capa de desarrollo que nos ponga cerca de las aplicaciones de negocio. Es una evolución fundamental, ya que Flink viene a complementar y a mejorar nuestro propio motor de procesamiento de datos streaming. Por ahora se trata de early stages, pero para el año que viene ya estará disponible al completo en todas sus versiones”.