Destilación del modelo de Amazon Bedrock

Con la destilación de modelos, los clientes pueden seleccionar un modelo “profesor” cuya precisión desean lograr para su caso de uso y, a continuación, seleccionar un modelo “estudiante” que desean afinar. Los clientes también proporcionan peticiones para su caso de uso. La destilación de modelos automatiza el proceso de generación de respuestas del profesor y el uso de esas respuestas para afinar el modelo estudiante. Los modelos estudiantes pueden entonces comportarse como los modelos profesores con una precisión similar a un costo reducido.

Refinar un modelo más pequeño y rentable para lograr una precisión similar a la de un modelo más grande para su caso de uso específico es un proceso iterativo. Para eliminar parte de la carga de iteración necesaria para lograr mejores resultados, la destilación de modelos puede optar por aplicar los diferentes métodos de síntesis de datos que mejor se adapten a su caso de uso. Por ejemplo, Bedrock puede ampliar el conjunto de datos de entrenamiento al generar peticiones similares o respuestas sintéticas de alta calidad utilizando los pares petición-respuesta proporcionados por el cliente como ejemplos base.

Con la refinación tradicional, los clientes deben crear peticiones y respuestas. Con la destilación del modelo, los clientes solo necesitan ingresar peticiones, que la destilación del modelo luego usa para generar respuestas sintéticas y refinar los modelos “estudiantes”. Los clientes pueden dirigirnos a sus registros de invocación y también filtrar los registros de acuerdo a ciertos campos de metadatos. La destilación del modelo puede leer tanto las peticiones como las respuestas a través de los registros de invocación y omitir la generación de respuestas sintéticas en el flujo de trabajo destilación del modelo, lo que reduce los costos al no tener que volver a generar respuestas a partir del modelo “profesor”. Comience a usar los ejemplos de código.