Construye un Asistente Chat basado en RAG con Amazon EKS y NVIDIA NIM

Implementación de un Asistente de Chat Basado en RAG en Amazon EKS

Los asistentes de chat basados en Generación Aumentada por Recuperación (RAG) están revolucionando el soporte al cliente y la búsqueda empresarial al proporcionar respuestas rápidas y precisas basadas en datos específicos. Utilizando modelos de base ya disponibles y enriquecidos con información propia, los asistentes de chat pueden ofrecer respuestas contextualmente relevantes sin necesidad de reentrenamiento. Esta guía detalla cómo implementar un asistente de chat basado en RAG en Amazon Elastic Kubernetes Service (EKS), integrando microservicios de NVIDIA NIM y la capacidad de búsqueda de vectores de Amazon OpenSearch Serverless.

Arquitectura de la Solución

La solución se basa en una arquitectura que combina el servicio de modelos acelerados por GPU con la capacidad de búsqueda en Amazon OpenSearch Serverless, gestionando el despliegue de modelos y la caché mediante el operador NIM. La siguiente imagen ilustra la integración de los microservicios de NVIDIA NIM con los servicios de AWS, mostrando cómo se alimentan los datos en el asistente de chat.

Pasos de Implementación

A continuación, se describen los pasos necesarios para implementar el asistente de chat:

1. Crear un clúster EKS: Utilizar EKS Auto Mode para gestionar la infraestructura de Kubernetes.
2. Configurar Amazon OpenSearch Serverless: Crear una base de datos de vectores para almacenar y buscar representaciones numéricas de textos.
3. Crear un sistema de archivos EFS: Configurar un sistema de archivos que permita el acceso compartido a los datos.
4. Crear un NodePool GPU con Karpenter: Configurar instancias optimizadas para cargas de trabajo de GPU.
5. Instalar el descubrimiento de características de NVIDIA (NFD) y el operador NIM: Facilitar la gestión de los componentes del modelo.
6. Crear cachés NIM: Almacenar los modelos LLM y embebedores en cachés para acelerar la inicialización.
7. Crear servicios NIM: Desplegar los microservicios que gestionan las inferencias de los modelos.
8. Implementar el cliente de asistente de chat: Utilizar Gradio y LangChain para crear la interfaz del asistente.

Requisitos Previos

Para comenzar, es necesario tener instaladas y configuradas varias herramientas:

• AWS CLI (versión aws-cli/2.27.11 o posterior)
• kubectl
• eksctl (versión v0.195.0 o posterior para soportar Auto Mode)
• Helm

Configuración del Entorno

Es necesario generar una clave API de NGC para autenticar y descargar modelos NIM. Inscribirse en el Programa de Desarrolladores de NVIDIA permite acceder a esta clave sin costo alguno. A continuación, se deben establecer algunas variables de entorno:

export CLUSTER_NAME=automode-nims-blog-cluster
export AWS_DEFAULT_REGION={tu región}
export NVIDIA_NGC_API_KEY={tu clave}

Creación del Clúster EKS

Desplegar el clúster EKS utilizando EKS Auto Mode mediante el comando:

eksctl create cluster --name ${CLUSTER_NAME} --region ${AWS_DEFAULT_REGION} --auto-mode

Esto generará un clúster que soporta el acceso a diferentes servicios de AWS, garantizando la flexibilidad necesaria para el despliegue de aplicaciones modernas.

Configuración de Amazon OpenSearch Serverless

Amazon OpenSearch Serverless permite la implementación y operación de clústeres de OpenSearch dentro de la infraestructura de AWS. Crear una colección en OpenSearch es fundamental para gestionar y buscar documentos relevantes.

Conclusiones y Limpieza

Al finalizar la implementación, es crucial realizar una limpieza adecuada de los recursos creados. Esto incluye la eliminación del clúster EKS y los sistemas de archivos EFS, garantizando que no queden recursos innecesarios en uso.

Para obtener más información, puedes consultar la publicación completa [aquí](https://aws.amazon.com/blogs/machine-learning/building-a-rag-chat-based-assistant-on-amazon-eks-auto-mode-and-nvidia-nims/).