Aegaeon: Innovadora Arquitectura de GPU Para Modelos de IA Concurrentes

Avances en la Utilización de GPU en la Infraestructura de IA de Alibaba Cloud

Alibaba Cloud ha dado un paso significativo en la optimización de la utilización de GPU con el lanzamiento de Aegaeon, un sistema híbrido de servicio multi-modelo que mejora la eficiencia en el uso de recursos para modelos de inteligencia artificial (IA). Esta innovación fue presentada en el prestigioso Simposio sobre Principios de Sistemas Operativos (SOSP) 2025, donde se aceptaron solo 66 trabajos, lo que subraya la relevancia de esta tecnología en el ámbito de la investigación en sistemas.

Contexto de la Investigación

El crecimiento de los modelos de IA a nivel global es imparable. Según estadísticas recientes, Hugging Face alberga más de un millón de modelos, pero en la práctica, un pequeño conjunto de modelos populares acapara la mayoría de las solicitudes de inferencia. Esto ha llevado a una subutilización significativa de los recursos de GPU, ya que el estándar actual implica reservar al menos una instancia de inferencia por modelo, lo que no es eficiente.

Presentación de Aegaeon

Aegaeon se presenta como una solución innovadora que permite el servicio de múltiples modelos de IA de manera simultánea, utilizando un enfoque de programación a nivel de token. Este sistema está compuesto por tres componentes clave:

• Capa de Proxy: Se encarga de recibir y gestionar las solicitudes de inferencia, asegurando un balance de carga y tolerancia a fallos mediante mecanismos de memoria compartida como Redis.
• Piscina de GPU: Funciona como un conjunto centralizado de instancias de GPU virtualizadas, permitiendo la conmutación entre modelos para maximizar la utilización de recursos.
• Gestor de Memoria: Coordina los recursos de memoria entre nodos en el clúster de servicio, con mecanismos que optimizan la velocidad de carga de modelos y la gestión de cachés.

Innovaciones y Resultados

Una de las innovaciones más destacadas de Aegaeon es su algoritmo de programación a nivel de token, que permite decisiones de conmutación de modelos dinámicas. Esto se logra mediante la predicción precisa del tiempo de ejecución y un algoritmo de programación que facilita la atención concurrente a múltiples modelos, cumpliendo con los requerimientos de latencia.

Los resultados son impresionantes: Aegaeon puede servir hasta siete modelos diferentes en una sola GPU, logrando un aumento de entre 1,5 y 9 veces en el rendimiento efectivo y duplicando la capacidad de manejo de solicitudes en comparación con los sistemas existentes.

Aplicaciones Prácticas de Aegaeon

Las tecnologías centrales de Aegaeon ya se están utilizando en Alibaba Cloud Model Studio, donde permiten la inferencia de decenas de modelos, reduciendo el consumo de GPU en un 82%. Hasta la fecha, se han lanzado más de 200 modelos líderes en la industria, con un notable aumento de quince veces en las invocaciones de modelos durante el último año.