Citas con Amazon Nova: Comprendiendo Modelos
Los modelos de lenguaje grande (LLMs) han ganado relevancia tanto en aplicaciones de consumo como empresariales. Sin embargo, su tendencia a “alucinar” información y ofrecer respuestas incorrectas con aparente confianza ha generado problemas de confianza. Considera los LLMs como lo harías con un experto humano: solemos confiar en aquellos que pueden respaldar sus afirmaciones con referencias y guiarnos a través de su proceso de razonamiento. El mismo principio se aplica a los LLMs, ya que se vuelven más confiables cuando pueden demostrar su proceso de pensamiento y citar fuentes fiables para su información. Afortunadamente, con un adecuado diseño de preguntas, los LLMs pueden ser instruidos para proporcionar estas citas, haciendo que sus salidas sean más verificables y confiables.
¿Qué son las citas y por qué son útiles?
Las citas son referencias a fuentes que indican de dónde proviene información, ideas o conceptos específicos en un trabajo. Juegan un papel crucial en abordar los siguientes aspectos, mejorando la credibilidad, usabilidad y fundamentos éticos de las aplicaciones basadas en LLM:
- Asegurando precisión factual: Los LLMs son propensos a “alucinaciones”, donde generan información plausible pero incorrecta. Las citas permiten a los usuarios verificar afirmaciones al rastrearlas de vuelta a fuentes fiables, mejorando la corrección factual y reduciendo riesgos de desinformación.
- Construyendo confianza y transparencia: Las citas fomentan la confianza en el contenido generado por IA, permitiendo a los usuarios comprobar información y entender sus orígenes. Esta transparencia es vital en aplicaciones de investigación, salud, derecho y educación.
- Apoyando prácticas éticas: Citar fuentes asegura la atribución adecuada a los autores originales, respetando derechos de propiedad intelectual y contribuciones académicas. Previene el plagio y promueve el uso ético de la IA.
- Mejorando la usabilidad: Las citas mejoran la experiencia del usuario al proporcionar un camino para explorar materiales relacionados. Características como las citas en línea o bibliografías ayudan a los usuarios a encontrar fuentes relevantes con facilidad.
- Abordando limitaciones de los LLMs: Los LLMs a menudo fabrican referencias debido a su incapacidad para acceder a datos en tiempo real o recordar con precisión las fuentes de entrenamiento. Los sistemas de generación aumentada por recuperación (RAG) y las herramientas de citas mitigan este problema al fundamentar respuestas en datos externos.
- Estándares profesionales y académicos: En contextos académicos, las citas son indispensables para replicar métodos de investigación y validar hallazgos. Las salidas generadas por IA deben adherirse a estos estándares para mantener la integridad académica.
Citas con modelos de Amazon Nova
Amazon Nova, lanzado en diciembre de 2024, es una nueva generación de modelos de base que ofrecen inteligencia de vanguardia y un rendimiento de precio líder en la industria, disponibles en Amazon Bedrock. Los modelos de Amazon Nova incluyen cuatro modelos de comprensión (Nova Micro, Nova Lite, Nova Pro y Nova Premier), dos modelos de generación de contenido creativo (Nova Canvas y Nova Reel), y un modelo de voz a voz (Nova Sonic). A través de la integración sin fisuras con Amazon Bedrock, los desarrolladores pueden construir y escalar aplicaciones de IA generativa con los modelos de base de Amazon Nova.
Las citas para los modelos de comprensión de Amazon Nova se pueden lograr mediante la elaboración de preguntas donde instruimos al modelo a citar sus fuentes e indicar el formato de respuesta. Para ilustrar esto, hemos escogido un ejemplo donde preguntamos a Nova Pro sobre las cartas de los accionistas de Amazon. Incluiríamos la carta de los accionistas en el contexto y pediríamos a Nova Pro que responda preguntas e incluya citas de la(s) carta(s).
Evaluando las citas
Si bien las citas son beneficiosas, es importante evaluar que el modelo sigue nuestras instrucciones e incluye la cita textualmente del contexto y no las inventa. Para evaluar las citas a gran escala, utilizamos otro LLM para juzgar las respuestas de Amazon Nova Pro. Usamos la técnica de LLM como juez en las evaluaciones de Amazon Bedrock y evaluamos 10 preguntas diferentes. LLM como juez en la Evaluación de Modelos de Amazon Bedrock proporciona una solución integral para evaluar y optimizar el rendimiento de modelos de IA.
El resumen de los resultados de nuestra evaluación mostró que Nova Pro tuvo una puntuación de 0,78 en coherencia y fidelidad y 0,67 en corrección. Las altas puntuaciones indican que las respuestas de Nova Pro fueron holísticas, útiles, completas y precisas, al tiempo que eran coherentes según lo evaluado por Claude 3.5 Sonnet.
Para obtener más información sobre cómo hacer preguntas a los modelos de Amazon Nova, visita la biblioteca de prompts. También puedes aprender más sobre las evaluaciones de Amazon Bedrock en el sitio web de AWS.
Nota: Este contenido original ha sido modificado con IA y revisado por un especialista. Imagen generada por IA.
