Por que usar o Glue?
O AWS Glue é um serviço de integração de dados escalável e com tecnologia sem servidor que facilita a descoberta, preparação, movimentação e integração de dados de várias fontes para análise, machine learning e desenvolvimento de aplicações. Através da assistência de IA generativa, o AWS Glue oferece todos os recursos necessários para a integração dos dados. Isso permite obter insights e utilizar dados em questão de minutos, em vez de meses. Com o AWS Glue, não existe nenhuma infraestrutura a configurar ou gerenciar. Você paga apenas pelos recursos consumidos durante a execução dos trabalhos.
Discover
Faça descobertas e pesquisas em todos os conjuntos de dados da AWS
O Catálogo de Dados do AWS Glue é um armazenamento persistente de metadados para todos os ativos de dados, independentemente da localização. O catálogo de dados contém definições de tabelas e trabalhos, esquemas e outras informações de controle que ajudam a gerenciar o ambiente do AWS Glue. Ele calcula estatísticas e registra partições de forma automática, possibilitando consultas de dados com eficiência e economia. Além disso, ele mantém um histórico de versões de schemas abrangente para que você possa compreender como os dados mudam com o tempo.
Descoberta automática de schemas
Os crawlers do AWS Glue conectam-se ao armazenamento de dados de origem ou de destino, percorrem uma lista priorizada de classificadores para determinar o esquema dos dados e criam metadados no Catálogo de Dados do AWS Glue. Os metadados são armazenados em tabelas no Catálogo de Dados e são utilizados no processo de autoria de trabalhos de extração, transformação e carregamento (ETL). Você pode executar crawlers de forma programada, sob demanda ou acionando-os com base em um evento para garantir que os metadados estejam atualizados.
Gerencie e aplique esquemas em fluxos de dados
O Registro de esquema do AWS Glue, um recurso de tecnologia sem servidor do AWS Glue, ajuda a validar e a controlar a evolução dos dados de streaming usando esquemas Apache Avro registrados, sem custo adicional. Por meio de serializadores e desserializadores licenciados pelo Apache, o Registro de esquema do AWS Glue se integra a aplicações Java desenvolvidas para o Apache Kafka/Amazon Managed Streaming for Apache Kafka (Amazon MSK), o Amazon Kinesis Data Streams, o Apache Flink/Amazon Kinesis Data Analytics for Apache Flink e o AWS Lambda. Quando aplicações de streaming de dados são integradas ao Registro de esquema do AWS Glue, você pode melhorar a qualidade dos dados e se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema. E mais, você pode criar ou atualizar tabelas e partições do AWS Glue usando esquemas armazenados no registro.
Ajuste a escala automaticamente com base na workload
O ajuste de escala automático, um recurso de tecnologia sem servidor no AWS Glue, aumenta e reduz verticalmente os recursos de maneira dinâmica com base na workload. Com o ajuste de escala automático, seu trabalho é atribuído a operadores somente quando necessário. À medida que o trabalho avança e passa por transformações avançadas, o AWS Glue adiciona e remove recursos dependendo do quanto é possível dividir a workload. Você não precisa mais se preocupar com o provisionamento excessivo de recursos, gastar tempo otimizando o número de operadores ou pagar por recursos ociosos.
Preparar-se
Desduplique e limpe os dados com o machine learning (ML) integrado
O AWS Glue ajuda a limpar e a preparar seus dados para análise sem que você precise se tornar um especialista em ML. O recurso FindMatches desduplica e encontra registros que são correspondências imperfeitas entre si. Por exemplo, use FindMatches para encontrar registros duplicados em seu banco de dados de restaurantes, como quando um registro lista “Joe's Pizza” no endereço “121 Main St.”, e outro mostra “Joseph's Pizzeria” no endereço “121 Main”. O recurso FindMatches apenas solicitará que você rotule os conjuntos de registros como “correspondentes” ou “não correspondentes”. O sistema então aprenderá seus critérios para chamar um par de registros de “correspondência” e criará um trabalho de ETL que pode ser usado para encontrar registros duplicados em um banco de dados ou registros correspondentes em dois bancos de dados.
Edite, depure e teste o código ETL com endpoints do desenvolvedor
Se você optar por desenvolver interativamente o código de ETL, o AWS Glue fornecerá endpoints de desenvolvimento para editar, depurar e testar o código gerado para você. Você pode usar seu ambiente de desenvolvimento integrado (IDE) ou bloco de anotações favorito. Leitores, gravadores ou transformações personalizados podem ser criados e importados para trabalhos de ETL do AWS Glue como bibliotecas personalizadas. Também é possível usar e compartilhar código com outros desenvolvedores em nosso repositório do GitHub.
Normalize os dados sem código usando uma interface visual
O AWS Glue DataBrew fornece uma interface visual interativa, do tipo apontar e clicar, para que usuários como analistas de dados e cientistas de dados limpem e normalizem dados sem escrever código. É fácil visualizar, limpar e normalizar os dados diretamente de data lakes, data warehouses e bancos de dados, incluindo Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon Aurora e Amazon Relational Database Service (Amazon RDS). Você pode escolher entre mais de 250 transformações integradas para combinar, girar e migrar os dados, além de automatizar tarefas de preparação de dados aplicando as transformações salvas diretamente nos novos dados recebidos.
Defina, detecte e corrija dados sigilosos
O AWS Glue Sensitive Data Detection ajuda a definir, identificar e processar dados sigilosos no pipeline de dados e no data lake. Uma vez identificados, você pode corrigir dados sigilosos ocultando, substituindo ou relatando dados de informações de identificação pessoal (PII) e outros tipos de dados considerados sigilosos. O AWS Glue Sensitive Data Detection simplifica a identificação e o mascaramento de dados sigilosos, incluindo PII, como nome, número de seguro social, endereço, e-mail e carteira de motorista.
Ajuste a escala do código Python existente com o Ray
Os desenvolvedores gostam do Python por sua facilidade de uso e rica coleção de bibliotecas de processamento de dados integradas. Eles querem usar o tipo primitivo familiar do Python para processar grandes conjuntos de dados. O AWS Glue para Ray ajuda os engenheiros de dados a processar grandes conjuntos de dados usando Python e bibliotecas Python bem conhecidas. O AWS Glue para Ray usa o Ray.io, uma estrutura de computação unificada de código aberto, que ajuda a ajustar a escala das workloads do Python de um único nó para centenas de nós. O AWS Glue para Ray usa a tecnologia sem servidor; portanto, não há infraestrutura para gerenciar.
Criar transformações visuais personalizadas
O AWS Glue ajuda a criar transformações visuais personalizadas para que você possa definir, reutilizar e compartilhar a lógica ETL. Com as transformações visuais personalizadas do AWS Glue, os engenheiros de dados podem escrever e compartilhar a lógica Apache Spark específica do negócio, reduzindo a dependência dos desenvolvedores do Spark e tornando mais simples manter os trabalhos de ETL atualizados. Essas transformações estão disponíveis para todos os trabalhos em sua conta da AWS, sejam visuais ou baseados em código.
Modernize as tarefas do Apache Spark com as atualizações do GenAI (versão prévia)
O AWS Glue fornece recursos de IA generativa para analisar automaticamente seus trabalhos do Spark e gerar planos de upgrade para versões mais recentes. Isso reduz o tempo e o esforço necessários para manter suas tarefas do Spark modernas, seguras e eficientes, automatizando a identificação e a atualização de scripts e configurações.
Acelere a depuração com a solução de problemas do GenAI (versão prévia)
O AWS Glue usa a IA generativa para identificar e resolver rapidamente problemas em trabalhos do Spark. Ele analisa metadados do trabalho, logs de execução e configurações para fornecer análises de causa raiz e recomendações acionáveis, reduzindo o tempo de solução de problemas de dias para minutos.
Integrar
Simplifique o desenvolvimento do trabalho de integração de dados
O AWS Glue Interactive Sessions, um recurso de tecnologia sem servidor para desenvolvimento de trabalhos, simplifica o desenvolvimento de trabalhos de integração de dados. Com o AWS Glue Interactive Sessions, os engenheiros de dados exploram e preparam os dados de modo interativo. Os engenheiros também podem explorar, testar e processar dados interativamente usando o IDE ou o bloco de anotações de sua escolha.
Blocos de anotações de trabalho integrados
O AWS Glue Studio Job Notebooks fornece blocos de anotações de tecnologia sem servidor com configuração mínima no AWS Glue Studio para que os desenvolvedores possam dar os primeiros passos rapidamente. Com os AWS Glue Studio Job Notebooks, você tem acesso a uma interface integrada para o AWS Glue Interactive Sessions, na qual você pode salvar e programar o código do bloco de anotações como trabalhos do AWS Glue.
Crie pipelines de ETL complexos com um agendamento simples de trabalhos
Os trabalhos do AWS Glue podem ser chamados por agendamento, sob demanda ou com base em um evento. É possível iniciar vários trabalhos em paralelo ou especificar dependências entre trabalhos para criar pipelines de ETL complexos. O AWS Glue processará todas as dependências entre trabalhos, filtrará dados inválidos e tentará executar novamente os trabalhos que falharem. Todos os logs e notificações são enviados ao Amazon CloudWatch para que você possa monitorar e obter alertas em um serviço central.
Aplique e implante práticas recomendadas de DevOps com integração do Git
O AWS Glue se integra ao Git, o sistema de controle de versões de código aberto amplamente utilizado. É possível usar o GitHub e o AWS CodeCommit para manter um histórico de mudanças em trabalhos do AWS Glue e aplicar práticas de DevOps existentes para implantá-las. A integração do AWS Glue com o Git funciona para todos os tipos de trabalho do AWS Glue, tanto visuais quanto baseados em código. Isso inclui a integração com o GitHub e o CodeCommit, além de simplificar o uso de ferramentas de automação, como o Jenkins e o AWS CodeDeploy para implantar trabalhos do AWS Glue.
Reduza os custos para workloads não urgentes com a execução flexível de trabalhos
O AWS Glue Flex é uma classe de trabalho de execução flexível que permite reduzir em até 35% o custo de suas workloads de integração de dados não urgentes (por exemplo, trabalhos de pré-produção, testes e carregamentos de dados). O AWS Glue tem duas classes de execução de trabalho: padrão e flexível. A classe de execução padrão é ideal para workloads sensíveis ao tempo que exigem inicialização rápida do trabalho e recursos dedicados. O AWS Glue Flex é apropriado para trabalhos não sensíveis ao tempo, cujos horários de início e conclusão podem variar.
Ler, inserir, atualizar e excluir arquivos em seu data lake
O AWS Glue oferece suporte nativo a três estruturas de código aberto, incluindo Apache Hudi, Apache Iceberg e Linux Foundation Delta Lake. Essas estruturas ajudam a gerenciar dados de maneira transacionalmente consistente para uso no data lake baseado no Amazon S3.
Forneça dados de alta qualidade em seus data lakes e pipelines
O AWS Glue Data Quality ajuda a melhorar a qualidade e a confiança dos dados. Ele mede, monitora e gerencia automaticamente a qualidade dos dados em seus data lakes e pipelines. Ele também calcula estatísticas automaticamente, recomenda regras de qualidade, monitora e alerta você quando a qualidade se deteriora, facilitando a identificação de dados ausentes, obsoletos ou incorretos antes que eles afetem seus negócios.
Transformar
Transforme os dados visualmente com uma interface do tipo arrastar e soltar
O AWS Glue Studio permite criar trabalhos ETL altamente escalonáveis para o processamento distribuído sem ser especialista em Apache Spark. Defina o processo ETL no editor de tarefas de arrastar e soltar e o AWS Glue gerará automaticamente o código para extrair, transformar e carregar seus dados. O código é gerado em Scala ou Python para o Apache Spark.
Gerar código ETL com a integração de dados do Amazon Q
Crie trabalhos de ETL usando linguagem natural com a integração de dados do Amazon Q no AWS Glue. Basta descrever suas necessidades de transformação de dados e obter um código Apache Spark gerado automaticamente que você pode personalizar, testar e implantar como trabalhos de produção.
Limpe e transforme os dados de streaming em trânsito
Os trabalhos ETL de streaming sem servidor no AWS Glue consomem dados continuamente de fontes de streaming, incluindo o Amazon Kinesis e o Amazon MSK, são limpos e transformados em trânsito, e disponibilizados para análise em segundos em seu armazenamento de dados de destino. Use esse recurso para processar dados de eventos como streams de eventos da IoT, sequências de cliques e logs da rede. Os trabalhos ETL de transmissão do AWS Glue podem enriquecer e agregar dados, unir fontes em lote e de transmissão, e fazer diversas operações complexas de análise de dados e machine learning.