Implementación Práctica de la Puerta de Enlace de IA por Ctrip
Este artículo detalla cómo Trip.com (Ctrip) construyó y desplegó una puerta de enlace de IA basada en Higress para unificar, gobernar y optimizar el acceso a servicios de modelos grandes y servicios de MCP. El contenido se organiza según la presentación de Dong Yiquan, Director de I+D en Trip.com, durante la Conferencia de Nubes de Confianza de China 2025.
Problemas Encontrados en la Aplicación de Tecnología de IA
Para mejorar los niveles y la calidad del servicio, Trip.com comenzó a explorar modelos de inteligencia artificial a gran escala. A medida que avanzaba el trabajo, se expandieron las áreas de aplicación de los servicios de modelos grandes y aumentó el número de aplicaciones internas que necesitaban acceder a estos servicios. Esto generó los siguientes problemas:
- Acceso a modelos grandes comerciales y modelos internos autodesarrollados con diferentes requisitos de acceso y mecanismos de autenticación.
- Aplicaciones empresariales conectadas de manera independiente, sin estadísticas centralizadas de uso.
- Falta de mecanismos unificados para gestionar el tráfico durante picos de carga o fallos en los servicios de modelos grandes.
Consideraciones para la Selección de Puertas de Enlace
Tras comparar varios proyectos de código abierto, se eligió Higress como base para construir las puertas de enlace de IA debido a:
- Larga trayectoria y acumulación técnica dentro de Alibaba.
- Uso de Istio y Envoy como núcleo, lo que proporciona extensibilidad mediante plugins Wasm.
- Comunidad activa con actualizaciones rápidas, cada dos o tres semanas.
La arquitectura de acceso a los servicios de IA se gestiona a través de un clúster interno de Kubernetes, donde los componentes de la puerta de enlace son responsables de gestionar los recursos del servidor y la información de configuración.
Desafíos en la Implementación de Puertas de Enlace de IA y Soluciones
Uno de los principales desafíos fue adaptar los contratos de interfaz de varios proveedores de modelos grandes. La mayoría de los servicios de modelos grandes utilizan el protocolo API de OpenAI, aunque algunos no cumplen completamente con este estándar. Para ello, el gateway necesita modificar las solicitudes y respuestas adecuadamente.
Otro punto crítico fue la necesidad de soporte para el método de transporte SSE, que, aunque ha sido desaprobado, sigue siendo solicitado por muchos clientes. El gateway debe gestionar sesiones para esta funcionalidad, asegurando que se mantengan las conexiones adecuadas durante el manejo de solicitudes.
Resultados de la Aplicación y Planes Futuros
Actualmente, la puerta de enlace de IA en Trip.com ha integrado múltiples modelos grandes, lo que proporciona una base sólida para la exploración de la tecnología de inteligencia artificial en la compañía. Se están realizando esfuerzos continuos para integrar diversos servidores de MCP y enriquecer el ecosistema de productos.
A medida que se avanza, se optimizarán aspectos como las reglas de enrutamiento de modelos, el post-procesamiento de salidas de modelos y la protección de contenido. Con el tiempo, se espera que la puerta de enlace no solo sirva como una capa de negocio, sino que también integre capacidades de IA para mejorar la seguridad y el cumplimiento en los enlaces de tráfico de IA.
Para más información sobre la Puerta de Enlace API de Alibaba Cloud (Higress), por favor visita: Higress.
Nota: Este contenido original ha sido modificado con IA y revisado por un especialista.
