Opera ayudará a evaluar la capacidad de los dispositivos para ejecutar modelos de IA
Devicetest.ai utiliza como indicadores los tokens por segundo, la latencia del primer token y el tiempo de carga del modelo.
Opera ha desarrollado una herramienta para la evaluación de dispositivos para la inteligencia artificial (IA o AI por sus siglas en inglés): devicetest.ai.
Accesible para todos los usuarios, sean aficionados o investigadores que trabajan con modelos de lenguaje grandes (LLM), esta solución ayuda a determinar la capacidad que tienen sus dispositivos para ejecutar IA de forma local. Para ello sólo tienen que acceder al enlace de la herramienta con la última versión de Opera Developer y ejecutar una prueba, que durará entre 3 y 20 minutos.
Devicetest.ai utiliza tres indicadores para determinar el grado de preparación de los dispositivos: TPS (tokens por segundo), FTL (latencia del primer token) y MLT (tiempo de carga del modelo). Así, mide la cantidad de palabras de cuatro caracteres procesables por segundo, el tiempo que le lleva al modelo generar la primera palabra cuando recibe una indicación y, por último, el tiempo que tarda el hardware en cargar el LLM en la memoria RAM.
Cuando los resultados están disponibles aparecen en pantalla. Opera permite compartirlos vía link o descargarlos como archivo CSV.
