Aegaeon: Sistema Inteligente de Escalado de GPU para LLMs en Alibaba Cloud

Aegaeon: Un Avance en la Eficiencia de GPU para Modelos LLM

El equipo de investigación de Alibaba Cloud ha desarrollado Aegaeon, un innovador sistema diseñado para optimizar la utilización de recursos GPU en entornos de modelos de mercado que manejan cientos o miles de LLMs (Modelos de Lenguaje de Gran Escala). Este sistema aborda el desafío crítico de la ineficiencia de los recursos GPU, que es común en la implementación de múltiples modelos de lenguaje simultáneamente.

Utilizando una técnica revolucionaria de escalado automático basado en tokens en lugar de solicitudes, Aegaeon promete maximizar la eficiencia del agrupamiento de GPUs, logrando una reducción del 82% en el uso de estos recursos. Esto es especialmente crucial dado que plataformas como Hugging Face albergan más de un millón de modelos, donde solo un pequeño porcentaje recibe la mayoría de las solicitudes.

El Contexto: Necesidad de Aegaeon

La dinámica del mercado de modelos LLM presenta varios retos:

• Los modelos de uso menos frecuente generan un alto nivel de desperdicio de GPU, donde un 17,7% de los recursos gestionan solo el 1,35% de las solicitudes.
• Los modelos más populares sufren de sobreaprovisionamiento durante picos de tráfico, lo que resulta en sistemas ineficientes.
• El enfoque tradicional de escalado automático por solicitud provoca tiempos de respuesta largos, afectando la experiencia del usuario.

Limitaciones de Soluciones Anteriores

Las técnicas previas, como el multiplexado y el escalado automático basado en solicitudes, presentan limitaciones severas:

• El multiplexado limita la cantidad de modelos que se pueden ejecutar simultáneamente en una GPU debido a restricciones de memoria.
• El escalado automático por solicitud aumenta los tiempos de espera, lo que resulta en un efecto de bloqueo que afecta la eficiencia del sistema.

Innovaciones de Aegaeon

La clave de Aegaeon radica en su enfoque de escalado automático basado en tokens, que permite a los modelos manejar múltiples solicitudes de manera simultánea, reduciendo así los tiempos de inactividad y maximizando el uso de las GPUs.

Este método no solo resuelve el problema de bloqueo, sino que también mejora la eficiencia general del sistema, permitiendo que hasta siete modelos sean soportados por GPU, lo que representa un aumento significativo respecto a los enfoques anteriores.

Beneficios de Implementar Aegaeon

• Eliminación del bloqueo HOL (Head-of-Line), permitiendo tiempos de respuesta más rápidos.
• Mejora en la eficiencia de agrupamiento de GPUs, con la capacidad de soportar más modelos simultáneamente.
• Reducción de recursos GPU de 1.192 a 213, lo que representa un ahorro del 82% en el uso de recursos.

Tecnologías Clave en Aegaeon

Aegaeon incorpora varias tecnologías innovadoras que optimizan el rendimiento del sistema:

• Programación por Token: Separa las etapas de prellenado y decodificación, aplicando diferentes estrategias de programación para maximizar la eficacia.
• Gestión de Memoria Explícita: Minimiza la fragmentación de memoria en GPU, lo que reduce la latencia y mejora el rendimiento.
• Sincronización Fina de Caché KV: Utiliza eventos CUDA para asegurar que las operaciones de caché se realicen sin conflictos, mejorando la eficiencia del sistema.

Resultados de la Evaluación y Perspectivas Futuras

Las pruebas de rendimiento han demostrado que Aegaeon supera a las soluciones existentes, logrando tasas de procesamiento de solicitudes 2 a 2,5 veces mayores y una mejora en el rendimiento global de 1,5 a 9 veces. Con un enfoque en la producción real, Aegaeon ha demostrado ser viable en entornos de nube, apoyando una amplia variedad de aplicaciones en tiempo real.

Este sistema no solo es un hito en la eficiencia de recursos GPU, sino que también establece un nuevo estándar en el servicio de LLMs, donde la visión futura es el soporte de múltiples modelos por GPU en lugar de la asignación de GPUs individuales por modelo. Con la implementación de Aegaeon, se espera que Alibaba Cloud continúe mejorando la infraestructura AI, beneficiando a las empresas que dependen de servicios de inteligencia artificial.

Para más información, consulte el artículo original en: Aegaeon: Effective GPU Pooling for Concurrent LLM Serving on the Market (SOSP ’25).