Apple se asocia con NVIDIA para acelerar los modelos de lenguaje de IA

hay manzana detalles generales En colaboración con NVIDIA, mejorar significativamente el rendimiento de los modelos de lenguaje grandes (LLM) mediante la introducción de una nueva técnica de generación de texto que mejora significativamente la velocidad de las aplicaciones de IA.

Apple a principios de este año publicado y fuente abierta Recurrent Drafter (ReDrafter), un enfoque que combina el trazado de rayos y el enfoque dinámico en árbol para acelerar la generación de texto. La búsqueda por haz examina múltiples secuencias de texto potenciales simultáneamente para lograr mejores resultados, mientras que el enfoque de árbol organiza y elimina superposiciones redundantes entre estas secuencias para mejorar la eficiencia.

Apple ahora ha integrado la tecnología en el sistema TensorRT-LLM de NVIDIA, que optimiza los LLM que se ejecutan en las GPU de NVIDIA, y aquí, según Apple, ha logrado un “rendimiento de última generación”. La técnica de integración experimentó un aumento de 2,7 veces en la tasa de tokens generados por segundo cuando se probó con un modelo de producción que contenía decenas de miles de millones de parámetros.

Apple afirma que el rendimiento mejorado no sólo reduce el retraso percibido por el usuario, sino que también reduce la GPU y el consumo de energía. De manzana Blog de investigación sobre aprendizaje automático:

“Los LLM se utilizan cada vez más para impulsar aplicaciones de producción, y mejorar la eficiencia de la inferencia también puede afectar los costos computacionales y reducir la latencia para los usuarios. Con el nuevo enfoque de ReDrafter para la decodificación especulativa integrado en el marco NVIDIA TensorRT-LLM, los desarrolladores ahora pueden usar tokens para aprovechar de producción más rápida en GPU NVIDIA para aplicaciones LLM de producción”.

Los desarrolladores interesados ​​en implementar ReDrafter pueden obtener más información sobre ambos. sitio web de Apple y Blog para desarrolladores de NVIDIA.