La CNCF congrega a 12.000 asistentes en Paris para comprender como los kubernetes influyen en las workloads de la IA.
Esta semana, durante los días 19 y 22 de marzo está teniendo lugar la celebración de la nueva edición de KubeCon + CloudNativeCon Europe 2024. Con más de 12.000 asistentes, 233.000 colaboradores alrededor del mundo y 183 proyectos graduados, en incubación y en Sandbox, han convertido a este en el KubeCon + CloudNativeCon en el más grande hasta la fecha.
KubeCon es una conferencia líder a nivel mundial que reúne a desarrolladores, ingenieros, administradores de sistemas y líderes en el ámbito de la tecnología de contenedores y la orquestación de contenedores, para explorar las últimas innovaciones en la tecnología y compartir conocimientos, experiencias y mejores prácticas.
En la keynote de apertura, Priyanka Sharma, directora ejecutiva de la Cloud Native Computing Foundation (CNCF), ha anunciado que es un gran año para el cloud native, ¡ya que Kubernetes cumple 10 años! En 2024, algunas de las marcas más grandes del mundo confían en Kubernetes y en el cloud native. Sharma describió este momento como una “exuberancia irracional” sobre la IA y el futuro, recordando que hace 6 años, en la KubeCon, OpenAI dijo que el futuro de la IA estaría impulsado por el cloud native.
En esta era de la IA, el cloud native está construyendo el futuro de la tecnología. Muchas personas en la audiencia confirmaron, levantando la mano, que estaban desarrollando funciones habilitadas para la IA. Pero el prototipado es “fácil” mientras que la producción es mucho más difícil, especialmente sin estandarización. Sharma destacó la necesidad de estándares de IA y cómo el cloud native está aquí para ayudar en ese viaje y proporcionar los guardrails necesarios para que los ingenieros de plataforma tengan éxito.
Sharma demostró cómo cargar un clúster de Kubernetes, tomar una foto de la audiencia y obtener una descripción generada por IA de la foto inmediatamente para demostrar el prototipo a la producción a escala. Además, se acaba de lanzar un nuevo documento técnico de Cloud Native sobre IA, más prueba de que la comunidad cloud native está trabajando arduamente para resolver problemas de infraestructura para la IA.
Sharma invitó a Paige Bailey, gerente de producto principal (Generativo y Modelos) en Google DeepMind, a Timothée Lacroix, cofundador de Mistral AI, y a Jeffrey Morgan, fundador de Ollama, al escenario para discutir sus experiencias y esperanzas para el futuro del código abierto en la IA, por qué el código abierto es importante para los modelos de IA y cómo el código abierto hará que la IA sea más segura.
A continuación, la presentación principal, “Acelerando las cargas de trabajo de IA con GPUs en Kubernetes”, por Kevin Klues y Sanjay Chatterjee de NVIDIA, abordó el proceso de acelerar las cargas de trabajo de IA utilizando GPUs en Kubernetes.
Klues destacó la importancia de la IA y la natividad en la nube, coincidiendo con la declaración de “exuberancia irracional” de Sharma, ofreciendo que la IA impulsará nuestra próxima revolución industrial con Kubernetes como plataforma. Además, también describió sus experiencias habilitando el soporte de GPU en Kubernetes hoy, incluidas técnicas para compartir GPUs entre múltiples cargas de trabajo y cómo está utilizando Dynamic Resource Allocation (DRA), una API para solicitar y compartir recursos entre pods y contenedores dentro de un pod, para llevar el soporte para Kubernetes al siguiente nivel.
Chatterjee se unió al escenario emocionado por cómo el mundo se está enamorando de la IA generativa y compartió cómo NVIDIA Picasso, una fundición de IA para construir y desplegar modelos de IA generativa para diseño visual, resuelve algunos de los desafíos con la escalabilidad de Kubernetes.
Específicamente, Chatterjee discutió estos tres desafíos principales: colocación consciente de la topología, tolerancia a fallos y optimización multidimensional, y concluyó con un llamado a la acción: “Este es un gran momento para resolver problemas desafiantes con GenAI, GPUs y Kubernetes, y este es el momento de Linux para Kubernetes, así que hagámoslo realidad.”
En el panel de discusión sobre la optimización del rendimiento y la sostenibilidad para la inteligencia artificial, se exploró cómo mejorar la eficiencia y sostenibilidad de las cargas de trabajo de IA en Kubernetes para un mayor valor empresarial, así como simplificar Kubernetes para un rendimiento óptimo, enfoques innovadores de gestión de datos, consideraciones económicas y más.
En general, Kubernetes son excelentes para las LLMs, pero un enfoque solo en GPU puede no ser sostenible. Hay trabajo por hacer porque Kubernetes se está convirtiendo en el estándar para las plataformas de IA y las cargas de trabajo aceleradas deben funcionar mejor en Kubernetes. Además, las decisiones de asignación de recursos deben coincidir con los patrones de uso.
Acelerando la carga y preprocesamiento de datos al adjuntar CPUs a los clústeres de GPU y elegir el cómputo especializado adecuado para el modelo de IA correcto, será más fácil para los científicos de investigación iterar más rápido. Finalmente, es fundamental que todos trabajen como comunidad para mejorar el rendimiento de las cargas de trabajo aceleradas.
Para concluir la keynote de apertura de esta KubeCon + CloudNativeCon Europe 2024, La charla titulada “Bloques de construcción de plataformas: Cómo construir infraestructura de aprendizaje automático con Proyectos CNCF” presentada por Yuzhui Liu, Líder de Equipo, y Leon Zhou, Ingeniero de Software de Bloomberg, describieron un modelo para crear plataformas eficientes y escalables utilizando el ecosistema nativo de la nube con Bloomberg como caso de uso.
Bloomberg maneja enormes cantidades de datos en tiempo real y ha estado utilizando la inteligencia artificial para extracción, enriquecimiento, búsqueda y resumen de información financiera no estructurada. También proporcionaron ejemplos de cómo están mejorando las funciones del terminal de Bloomberg con IA, incluyendo Temas Clave de Noticias, Análisis de Empresas y Resúmenes de Ganancias Potenciados por IA.
En definitiva, la KubeCon es un evento fundamental para aquellos interesados en la tecnología de contenedores y Kubernetes, ofreciendo una plataforma única para el aprendizaje, la colaboración y la innovación en este emocionante campo de la informática, con un enfoque especial en inteligencia artificial durante está edición de 2024.
Los mensajes RCS ofrecen muchas más posibilidades que los SMS, pero también abren la puerta…
Acompañará a las empresas en sus procesos de equipamiento, desde la elección del hardware hasta…
Juntos, trabajarán en la formación y la actualización de habilidades para que los consejeros impulsen…
Este dispositivo incluye entre sus especificaciones procesador Intel Core Ultra (Serie 2) y botón Copilot.
Ya cuenta en su poder con más del 90 % de las acciones del proveedor…
Los actuales consejeros delegados, Raphael Erb y Melissa Mulholland, se convertirán en co-CEOs de la…