Investigadores de Fujitsu, CyberAgent, Kotoba Technologies, RIKEN, el Instituto Tecnológico de Tokio y las Universidades de Tohoku y Nagoya se han unido en torno a un proyecto conjunto: Fugaku-LLM.
Se trata de un gran modelo lingüístico con capacidad mejorada para el idioma japonés que ha sido entrenado utilizando el superordenador que le da nombre, Fugaku.
Sus creadores desarrollaron métodos de entrenamiento distribuido como la portabilidad del marco de aprendizaje profundo Megatron-DeepSpeed a Fugaku para optimizar el rendimiento de Transformers. También aceleraron la biblioteca de multiplicación de matrices densas para Transformers y la de comunicación colectiva en la interconexión D de Tofu, además de optar por distintas técnicas de paralelización.
Fugaku-LLM tiene 13 000 millones de parámetros, con una puntuación media de 5,5 en el MT-Bench japonés. El rendimiento de referencia para tareas de humanidades y ciencias sociales obtuvo 9,18 puntos.
Este gran modelo lingüístico ha aprovechado 380 000 millones de tokens empleando 13 824 nodos de Fugaku. Alrededor del 60 % de los datos de entrenamiento fueron japoneses y se combinaron con inglés, matemáticas y código.
Su código está disponible en GitHub y el modelo, en Hugging Face. Se permite su uso tanto con fines de investigación como comerciales, respetando la licencia. El objetivo es avanzar hacia “aplicaciones empresariales y de investigación innovadoras de próxima generación, como la vinculación de la simulación científica y la IA generativa, y la simulación social de comunidades virtuales con miles de IA”.
Los españoles han descendido tres puestos en la clasificación mundial en lo que se refiere…
Su propuesta a nivel de inteligencia artificial se completa con la nueva Lenovo Aura Edition…
Visitamos las instalaciones donde se encuentra ubicado el mayor centro de supercomputación europeo y quinto…
Junto al trío de HONOR Magic V3, MagicPad 2 y MagicBook Art 14, ha presentado…
La mayoría de los usuarios de ChatGPT Enterprise, ChatGPT Team y ChatGPT Edu no procede…
Durante su trayectoria profesional ha pasado por las filas de compañías como Commvault, HP, Lenovo…