O que é o Amazon SageMaker Clarify?
Benefícios do SageMaker Clarify
Avalie modelos de base
Assistente de avaliação e relatórios
Personalização
Avaliações por pessoas
Avaliações da qualidade de modelos
Avaliações de responsabilidade de modelos
Avalie o risco do FM codificar estereótipos nas categorias de raça/cor, gênero/identidade de gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico usando avaliações automáticas e/ou humanas. Você também pode avaliar o risco de conteúdo tóxico. Essas avaliações podem ser aplicadas a qualquer tarefa que envolva geração de conteúdo, incluindo geração aberta, resumo e resposta a perguntas.
Previsões de modelos
Explicar previsões de modelos
Monitore seu modelo para mudanças de comportamento
Detectar viés
Identifique desequilíbrios nos dados
O SageMaker Clarify ajuda a identificar possíveis tendências durante a preparação de dados sem escrever código. Você especifica recursos de entrada, como gênero ou idade, e o SageMaker Clarify executa um trabalho de análise para detectar possíveis vieses nesses recursos. O SageMaker Clarify fornece um relatório visual com uma descrição das métricas e medições de possíveis vieses para que você possa identificar as etapas para corrigi-los. No caso de desequilíbrios, você pode usar o SageMaker Data Wrangler para equilibrar seus dados. O SageMaker Data Wrangler oferece três operadores de balanceamento: subamostragem aleatória, sobreamostragem aleatória e SMOTE para reequilibrar dados em seus conjuntos de dados não balanceados.
Verifique seu modelo treinado para vieses
Depois de treinar seu modelo, você pode executar uma análise de vieses do SageMaker Clarify por meio do Amazon SageMaker Experiments para verificar se há possíveis vieses em seu modelo, como previsões que produzem um resultado negativo com mais frequência para um grupo do que para outro. Você especifica os atributos de entrada determinando quais gostaria de medir a tendência nos resultados do modelo, e o SageMaker executa uma análise e fornece um relatório visual que identifica os diferentes tipos de tendência para cada atributo. O método de código aberto da AWS Fair Bayesian Optimization pode ajudar a mitigar as tendências ajustando os hiperparâmetros de um modelo.
Monitore as tendências do seu modelo implantado
Os vieses podem ser introduzidos ou exacerbados em modelos de ML implantados quando os dados ativos de treinamento diferem dos dados que o modelo vê durante a implantação. Por exemplo, as saídas de um modelo para prever preços de imóveis podem se tornar tendenciosas se as taxas de hipoteca usadas para treinar o modelo forem diferentes das taxas de hipoteca atuais. Os recursos de detecção de tendências do SageMaker Clarify são integrados ao Amazon SageMaker Model Monitor de modo que, quando o SageMaker detecta tendências acima de um determinado limite, ele gera automaticamente métricas que você pode visualizar no Amazon SageMaker Studio e por meio de métricas e alarmes do Amazon CloudWatch.
Recursos
Novidades
- Data (do mais recente ao mais antigo)