GPT OSS de OpenAI ya Disponible en SageMaker JumpStart

Introducción a los Modelos GPT OSS de OpenAI en Amazon SageMaker JumpStart

Amazon ha anunciado la disponibilidad de los nuevos modelos de OpenAI GPT OSS, específicamente los modelos gpt-oss-120b y gpt-oss-20b, dentro de su servicio Amazon SageMaker JumpStart. Esta integración permite a los usuarios desplegar los modelos más recientes de razonamiento de OpenAI para construir, experimentar y escalar sus ideas de inteligencia artificial generativa de manera responsable en AWS.

En este artículo, exploraremos cómo comenzar a utilizar estos modelos en SageMaker JumpStart, destacando sus características y los pasos necesarios para su implementación.

Visión General de la Solución

Los modelos OpenAI GPT OSS, como el gpt-oss-120b, se destacan en tareas relacionadas con la codificación, análisis científico y razonamiento matemático. Ambas variantes de los modelos cuentan con una ventana de contexto de 128K y niveles de razonamiento ajustables (bajo, medio, alto) que se adaptan a diferentes requisitos específicos. Además, soportan la integración de herramientas externas y pueden utilizarse en flujos de trabajo mediante frameworks como Strands Agents.

Estos modelos no solo ofrecen capacidades avanzadas, sino que también permiten un alto grado de personalización y modificación para satisfacer las necesidades empresariales específicas, todo ello manteniendo un nivel de seguridad empresarial y escalabilidad sin problemas.

Requisitos Previos para Desplegar los Modelos GPT OSS

Antes de proceder con el despliegue de los modelos GPT OSS, es necesario cumplir con los siguientes requisitos previos:

• Una cuenta de AWS que contenga tus recursos.
• Un rol de Identity and Access Management (IAM) para acceder a SageMaker.
• Acceso a SageMaker Studio, una instancia de notebook de SageMaker o un entorno de desarrollo interactivo (IDE) como PyCharm o Visual Studio Code.
• Acceso a los tipos de instancia recomendados para el tamaño del modelo, como p5.48xlarge.

Despliegue de GPT OSS a través de la Interfaz de Usuario de SageMaker JumpStart

Para desplegar el modelo gpt-oss-120b a través de la interfaz de usuario de SageMaker JumpStart, sigue estos pasos:

1. En la consola de SageMaker, selecciona Studio en el panel de navegación.
2. Los nuevos usuarios serán solicitados a crear un dominio. Si no, selecciona Abrir Studio.
3. Accede a SageMaker JumpStart eligiendo JumpStart en el panel de navegación.
4. Busca el modelo gpt-oss-120b utilizando el cuadro de búsqueda.
5. Selecciona una tarjeta de modelo para ver detalles como la licencia y los datos utilizados para el entrenamiento.
6. Haz clic en Desplegar para proceder con la implementación.
7. Introduce un nombre para el endpoint y selecciona el tipo de instancia recomendado.
8. Finalmente, selecciona Desplegar para crear el endpoint.

Despliegue de GPT OSS utilizando el SDK de SageMaker

El despliegue de los modelos también puede llevarse a cabo utilizando el SDK de SageMaker. Para ello, se debe seleccionar el modelo gpt-oss-120b, especificando el model_id correspondiente.

A continuación, se presenta un ejemplo de código para el despliegue:

from sagemaker.jumpstart.model import JumpStartModel 

accept_eula = True 
model = JumpStartModel(
    model_id="openai-reasoning-gpt-oss-120b",
    enable_network_isolation=False, 
    env={"EXA_API_KEY": ""}
) 
predictor = model.deploy(accept_eula=accept_eula)

Ejecutar Inferencias con el Predictor de SageMaker

Una vez que el modelo está desplegado, puedes ejecutar inferencias a través del cliente predictor de SageMaker:

payload = {
    "model": "/opt/ml/model",
    "input": [
        {"role": "system", "content": "You are a good AI assistant"},
        {"role": "user", "content": "Hello, how is it going?"}
    ],
    "max_output_tokens": 200,
    "stream": "false",
    "temperature": 0.7,
    "top_p": 1
}
response = predictor.predict(payload)
print(response['output'][-1]['content'][0]['text'])

Limpieza de Recursos

Es fundamental eliminar los recursos creados durante el proceso de despliegue para evitar cargos adicionales. Para ello, utiliza:

predictor.delete_model()
predictor.delete_endpoint()

Para más detalles sobre cómo eliminar endpoints y recursos, consulta la documentación de AWS.

Para obtener más información sobre el despliegue de los modelos GPT OSS de OpenAI en SageMaker JumpStart, visita el artículo original en AWS Blogs.