AWS aplica la filosofía ‘serverless’ a Kubernetes

Especial desde Las Vegas

Del 2 al 6 de diciembre está teniendo lugar el evento anual re:Invent de AWS en la ciudad de Las Vegas, Nevada. Es un evento anual que tiene lugar desde el año 2012. Ese año asistieron a la convención de AWS 6.000 personas y tuvo lugar en el hotel The Venetian. Siete años más tarde, la conferencia cuenta con 60.000 asistentes, con actividades y sesiones repartidas en seis hoteles del famoso “Strip”. No es un evento corporativo al uso: es un evento educativo, destinado a comunicar, preferentemente a los desarrolladores, consultores y otros profesionales IT, las novedades y tendencias más destacadas dentro de AWS para los meses venideros.  También es un evento en el que los profesionales IT pueden compartir sus conocimientos o resolver dudas, o ver qué es lo que otros están haciendo a modo de inspiración.

AWS, por su parte, se ha convertido en el proveedor de servicios cloud con la mayor cuota de mercado del momento, con Azure de Microsoft en segundo puesto, bastante alejado de AWS, seguido de otros proveedores como Alibaba o Google. A día de hoy, AWS ofrece más de 175 servicios diferentes a los clientes que desean mover su negocio a la nube, partiendo de servidores e infraestructuras on premise. Este movimiento, desde servidores físicos en las propias empresas, a servidores en la nube, se ha visto acelerado en los últimos años de un modo espectacular, lo cual se ve reflejado en el interés que los profesionales IT de todo tipo de sectores están poniendo en la nube como soporte para sus modelos de negocio.

La nube ya no inspira desconfianza

Sectores como la banca y las finanzas, tradicionalmente reticentes a sacar sus datos y procesos de negocio fuera de los confines físicos de sus instalaciones, ya han empezado a confiar en la nube para desplegar soluciones alrededor de la banca online, dejando atrás los temores acerca de posibles brechas de seguridad que comprometiesen datos sensibles de sus clientes. Otros sectores, como la sanidad o el sector público, la energía o la manufactura, tradicionalmente apegadas a sus propios servidores y recelosas de exponer sus procesos en plataformas cloud, también están adoptando soluciones como las que propone AWS.

Una de las claves para entender esta adopción generalizada lo dio Andy Jassy en su Keynote: muchas startups que ahora son líderes en sus respectivos sectores, sin nada que perder, adoptaron soluciones cloud como punto de partida. La escalabilidad y flexibilidad de la nube les permitió comprometer los negocios tradicionales ofreciendo más y mejores servicios a sus clientes, reaccionando antes a las demandas del mercado, probando de facto que las soluciones cloud son óptimas. Las grandes empresas, finalmente, acaban por adoptar la nube, no siempre de buen agrado, pero sí casi siempre como respuesta a la amenaza que suponen las startups estructuradas alrededor de soluciones en la nube.

Uber en el transporte, o airbnb en el alojamiento, son ejemplos que han puesto en jaque al taxi o a los hoteles, que han tenido que reaccionar.

Con todo, en la keynote inaugural impartida por Andy Jassy, CEO de AWS, conocimos que el gasto total en IT en la actualidad se reparte todavía de forma muy desigual, con un 97% de los gastos para infraestructuras on premise y un 3% para cloud.

En el mercado de IaaS, AWS cuenta con una cuota del 47,8%, seguida de Microsoft con un 15,5%, Alibaba con un 7,7%, Google con un 4%, IBM con un 1,8% y otros proveedores con un 23,2%. Tras esta introducción por parte de Andy Jassy, el resto de la Keynote discurrió como una sucesión de anuncios de nuevas soluciones dentro del repertorio de tecnologías cloud de Amazon.

Para entender un poco “a vista de pájaro” en qué consisten estos anuncios, que se cuentan por decenas en cada evento re:Invent, partimos de que AWS ofrece a sus clientes la capacidad de ejecutar aplicaciones y servicios para articular sus procesos de transformación digital. Estas aplicaciones y servicios, antes de la nube, se ejecutaban en servidores on premise.

Amazon ofrece soluciones en las que, a partir de una infraestructura de servidores interconectados instalados en centros de datos repartidos por todo el mundo, consigue granularizar esa infraestructura en unidades pequeñas de procesamiento, que pueden combinarse en caso de necesidad para afrontar cargas de trabajo mayores. Con una filosofía tradicional basada en servidores o incluso en máquinas virtuales, los recursos solo pueden “trocearse” hasta cierto punto. Tecnologías como las de contenedores, o las más recientes tecnologías serverless (sin servidor), permiten ejecutar cargas de trabajo de un modo granular y dinámico. De este modo, Amazon es capaz de maximizar el uso de sus recursos dentro del modelo de negocio de IaaS.

Además, AWS ha ido diversificando y especializando el hardware de sus servidores y centros de datos, para adaptarlo a cada tipo de carga de trabajo, adoptando nuevas tecnologías a medida que las tendencias tecnológicas se han ido consolidando y convirtiendo en realidad. Adoptando, o diseñándolas “ad hoc” en caso de necesidad. Como las controladoras Nitro para sincronizar procesos en escenarios HPC, o los procesadores Gravitron para la ejecución de determinados tipos de instancias, basados en arquitecturas ARM como Neoverse N1.

Por supuesto, cuenta con Instancias basadas en x86, tanto Intel como AMD, así como servidores Xeon y GPUs NVIDIA Tesla. Alrededor de cada tipo de solución de hardware, AWS configura su oferta de servicios donde encontramos esos más de 176 que mencionaba Andy Jassy en su Keynote.

Soluciones reales para tendencias consolidadas

Uno de los elementos diferenciadores de AWS frente a otros proveedores es el de la robustez y poder hacer realidad sus propuestas tecnológicas. AWS no suele ser el primero que adopta una tecnología a la primera de cambio. Si no tiene una utilidad práctica, ni habla de ello. Sucedió con Blockchain. En los tiempos de mayor “hype” de esta tecnología, ni se mencionó en el evento re:Invent. Tiempo más tarde, ofreció una solución, pero ajustada a la realidad de esta tecnología que se ha quedado en un lugar secundario.

En el extremo opuesto, si una tecnología tiene utilidad práctica, AWS no solo la integra en su repertorio de servicios cloud, sino que la mejora, generalmente tras haberla adoptado internamente en sus procesos. AWS surgió como una forma de poner a disposición de otras empresas la tecnología que la propia compañía usaba para articular sus procesos IT. Y sigue manteniendo esta filosofía: AWS es la primera que adopta una solución para luego ofrecerla a sus clientes tras optimizarla e incluso inventarla.

I+D real y tangible

AWS no solo integra tecnologías de terceros para ofrecer sus servicios bajo el modelo de IaaS. También las inventa. Sin ir más lejos, las controladoras Nitro que están detrás de sus instancias de computación elástica (EC2),  están diseñadas desde cero en AWS. Se trata de controladoras que gestionan la interconexión de los diferentes componentes de la infraestructura de AWS, la securizan y llevan a sus chips ASIC la lógica de control, seguridad y conectividad que antes dependía de los servidores y clusters. De este modo, se ofrece un rendimiento en la nube de AWS similar al que se obtiene on premise.

Nitro está detrás de muchos de los servicios de computación que ofrece AWS y detrás de filosofías como “Serverless”, adoptadas de forma generalizada por un número creciente de clientes que buscan escalabilidad, reducción de costes, flexibilidad y liberar a sus departamentos IT de tareas que en la nube se gestionan de forma automatizada.

Otro de los componentes de hardware que diseña AWS son los procesadores Graviton con arquitectura Arm que presentaba el pasado año y que ahora llegan a su segunda versión mejorada, con tecnologías de 7 nm, 32 cores físicos, conectividad de red mejorada, etcétera.

re:Invent, el superordenador

Innovaciones como Nitro también está detrás de la “reinvención del HPC” que Peter DeSantis propuganaba en su intervención del lunes en re:invent. Ofrecer HPC sobre AWS es uno de los retos a los que se enfrenta la compañía para completar su portfolio de soluciones cloud, donde cuenta con una gran variedad de instancias diferentes orientadas a diferentes necesidades de computación. Una carga de trabajo HPC la define como una carga de trabajo tan grande que “no cabe” en un único servidor. HPC necesita de High Performance Networking para coordinar las cargas entre diferentes servidores en un cluster.  Los superordenadores, en su aproximación “on premise” presentan desventajas como la dificultad para acceder a ellos. Además, su hardware se queda desactualizado en poco tiempo.

AWS está trabajando para integrar las cargas de trabajo HPC en su infraestructura IaaS y para ello aprovecha las virtudes de elemento como sus contraladoras Nitro, que permiten desarrollar, a su vez, protocolos de red como EFA (Elastic Fabric Adapter) capaces de optimizar las comunicaciones entre instancias c5n hasta alcanzar un comportamiento similar al de un superordenador “baremetal” pero con instancias AWS en la nube. Estas cargas van desde la dinámica de fluidos hasta la predicción meteorológica, pasando por simulaciones en el campo de las Ciencias de la Vida. De hecho, el ejemplo de aplicación de esta infraestructura que se mostró en la presentación fue el de la Fórmula 1 y la simulación de comportamiento aerodinámico de los coches durante la carrera.

En este contexto, también está la reinvención de la infraestructura de Machine Learning, que reutiliza elementos como EFA para la interconexión de clusters para el entrenamiento de modelos usando instancias como P3, en las que encontramos hardware como GPUs V100 Tensor Core de NVIDIA. Para optimizar la inferencia (realizar predicciones usando un modelo de ML entrenado previamente), una vez completado el modelo de ML tras el entrenamiento, AWS ha desarrollado sus propios chips, con la misma premisa que con los Gravitron: ofrecer un elevado rendimiento a una fracción del coste asociado al uso de procesadores x86. En el caso de Gravitron hablamos de reducciones de costes de más del 40% y en el caso de Inferentia, hablamos de reducciones de hasta el 90%.

Los anuncios de la Keynote de Andy Jassy en re:Invent 2019

Como es tradición, en re:Invent la lista de anuncios relativos a nuevas instancias, servicios y habilidades de AWS, orientadas a mejorar, optimizar o ampliar el portfolio de soluciones y herramientas de AWS para los profesionales IT que se encargan de llevar a la nube infraestructuras on premise, o de desplegar soluciones cloud nativas, es muy larga, aunque extremadamente interesante también.

Para tener una panorámica general puedes consultar esta página web, aunque la traducción no es especialmente afortunada. Aunque como referencia rápida es útil.

Dedicaremos un artículo más detallado sobre los anuncios de re:Invent. Pero sirva como referencia y repaso rápido decir que AWS está consolidando y sacando provecho a sus desarrollos propios de hardware, tanto en la parte relativa al networking y la lógica de red y de gestión de instancias a través de Nitro, como en la de los procesadores Graviton 2 e Inferentia, que permiten a AWS ofrecer instancias de alto rendimiento y bajo coste comparadas con las que se ofrecen sobre hardware x86.

Así, una de las primeras novedades ha sido la de las Instancias M6g, R6g, C6g basadas en procesadores Graviton 2 de 7 nm, junto con las instancias Inf1 basadas en el chip Inferentia.

Además, la estrategia serverless se lleva a un número de instancias cada vez mayor también. Por ejemplo, uno de los anuncios mejor recibidos por la audiencia de la keynote, mayoritariamente compuesta por desarrolladores, fue el de Amazon Fargate para Amazon EKS. Es decir, se aplica la filosofía serverless a Kubernetes, un formato de contenedor ampliamente usado por los profesionales IT cuando despliegan soluciones en la nube.

También ha habido anuncios relativos a las bases de datos, analítica avanzada y a la gestión de data lakes en forma de instancias Amazon Redshift RA3 con almacenamiento gestionado, que separan recursos de computación de los recursos de almacenamiento. También dentro de Redshift, un servicio de procesamiento de datos empleado ampliamente dentro de AWS, está AQUA para Amazon Redshift, una arquitectura de caché de alta velocidad desplegada sobre Amazon S3. De esta forma se pueden realizar operaciones de computación sobre los datos directamente sin necesidad de moverlos.

Dentro del apartado de Machine Learning ha habido infinidad de anuncios durante la presentación de Andy Jassy. Hablaremos de ellos con más detalle en otro artículo, pero baste decir que se trata de un campo con aplicaciones reales y tangibles para las organizaciones. Entre otras aplicaciones encontramos la detección de fraudes, automatización de revisiones de código para los desarrolladores, servicios de búsqueda empresarial aplicando ML, así como herramientas para desarrollar soluciones alrededor de ML de un modo sistematizado con herramientas como SageMaker o la creación automática de proyectos piloto para Amazon SageMaker. Amazon SageMaker Autopilot permite realizar entrenamiento automático sobre datos en bruto. AWS se ha volcado con ML, sin duda.

Otro aspecto destacable de la presentación fue el de los anuncios relativos a la integración de la tecnología 5G dentro de AWS a través de Amazon Wavelength. Se trata de llevar los servicios e instancias de AWS a otros ámbitos y modelos de negocio aprovechando las bajas latencias de 5G y el ancho de banda, además de otros aspectos como Network Slicing o la virtualización de las funciones de red. Las redes de comunicaciones 5G están basadas en infraestructuras donde los equipos de red tradicionales se sustituyen por centros de datos.

Las compañías que estén operando en la nube de AWS y quieran ofrecer servicios a usuarios conectados mediante redes 5G, tendrán herramientas diseñadas ad hoc para aprovechar las virtudes de 5G en forma de instancias y servicios construidos sobre esas redes de comunicaciones. Para ello, están llegando a acuerdos con operadoras como Verizon en EEUU, Vodafone en Europa o SK Telecom en Korea y Kddi en Japón.

Que Andy Jassy haya integrado 5G en su repertorio de propuestas para el próximo futuro confirma que 5G es una tecnología con visos de ser realmente útil de cara a desplegar nuevos modelos de negocio aprovechando las virtudes de las redes de baja latencia, alta velocidad y lógica avanzada. Si hay algo que AWS tiene claro, es que en su portfolio de productos solo puede haber herramientas y servicios que respondan a una realidad tangible y supongan un beneficio real para las empresas que los adopten.

AWS en España

Este año es especialmente relevante de cara a la presencia de AWS en España. Por un lado está el anuncio de hace unas semanas que confirma la construcción de un centro de datos en España para conformar la séptima región de AWS en Europa. Este centro de datos consta de tres zonas de disponibilidad en un primer momento, con una fecha estimada de comienzo de sus operaciones a finales de 2022 o principios de 2023. Actualmente AWS cuenta con 69 zonas de disponibilidad, repartidas en 22 regiones por todo el mundo. Además de España, AWS ha anunciado otras zonas de disponibilidad hasta un total de 13 en cuatro regiones en Indonesia, Italia, Sudáfrica y la de España.

Además, durante el evento re:Invent, se ha anunciado un proyecto de construcción de una planta de energía renovable en el sureste de Sevilla. Concretamente, se trata de una granja solar de 149 MW de capacidad que proporcionará energía a los centros de datos de AWS y a la red logística de Amazon. Para hacernos una idea del tamaño del proyecto, una central nuclear “típica” tiene una capacidad de generación de algo más de 1.000 MW. Y las centrales térmicas van desde unas pocas decenas de MW a más de 1.500 MW.  Esta granja solar se espera que entre en funcionamiento en 2020. 

En total se calcula que esta planta proveerá más de 300.000 MWh de energía al año. Amazon, como empresa, tiene el propósito de convertirse en una empresa con huella de carbono cero una década antes de lo estipulado en los acuerdos de París. Hasta 2019, Amazon generaba 946 MW de potencia renovable repartida en 10 proyectos. En 2019 se han sumado 562 MW más repartidos en 8 proyectos en Europa y EEUU, junto con 711 MW más anunciados a lo largo de seis nuevos proyectos, que hacen un total de 1.273 MW.