LinkedIn es conocida por su desarrollo de Kafka, una plataforma de código abierto unificada, de alto rendimiento y baja latencia para manejar los feeds de datos en tiempo real.
Ahora la red social para profesionales ha presentado a la comunidad de código abierto Cruise Control, un sistema automatizado que monitoriza continuamente los clusters de servidores y ajusta automáticamente los recursos asignados a estos para cumplir con los objetivos de rendimiento.
Cruise Control y Kafka se han unido para ir de la mano. En esencia, Kafka especifica los objetivos de rendimiento y Cruise Control supervisa los clusters de servidores, analiza la carga de trabajo existente en el cluster y ejecuta automáticamente las operaciones administrativas para satisfacer esas metas.
El desarrollador de LinkedIn, Jiangjie Qin, ha explicado en un post que los servidores fallan diariamente, lo que lleva a cargas de trabajo desequilibradas en los clusters. Como resultado, los SRE gastan mucho tiempo y esfuerzo para reasignar particiones con el fin de restaurar el equilibrio a los clusters de Kafka. “La automatización inteligente es crítica en estas circunstancias, por lo que hemos desarrollado Cruise Control “, ha afirmado Qin.
La popularidad de Apache Kafka ha crecido sustancialmente durante los últimos años. De hecho, el despliegue de LinkedIn, que consta de más de 1.800 servidores, superó recientemente los 2.000 millones de mensajes por día.
Dell pretende que "las organizaciones puedan utilizar continuamente los últimos avances de IA en el…
Introduce cinco nuevas soluciones HPE Cray con arquitectura de refrigeración líquida directa y dos servidores…
Las entradas para acudir a este parque temático que defiende un turismo sostenible saldrán a…
Amplía la disponibilidad de actualizaciones y parches críticos para ambos sistemas operativo hasta agosto de…
Con esta actualización acelera las cargas de trabajo de Kubernetes para máquinas virtuales, bases de…
Su cometido pasa por consolidar y ampliar el ecosistema industrial en España y Portugal.