Amazon S3 Metadata (versão prévia)

Na CMT, armazenamos e analisamos uma grande quantidade de dados, na ordem de múltiplos petabytes, provenientes de dispositivos móveis de IoT globalmente, visando aprimorar a segurança de motoristas e das rodovias. Conforme ampliamos nossas operações, localizar dados específicos para o desenvolvimento de novos insights e modelos se torna cada vez mais desafiador. O S3 Metadata, particularmente com a funcionalidade de metadados personalizados, possibilita a anotação de todos os nossos dados e a manutenção dos metadados em uma tabela gerenciada e consultável. Agora, a localização de dados relevantes requer apenas uma consulta SQL eficiente e econômica. Isso torna o S3 Metadata uma verdadeira revolução, possibilitando-nos a introduzir novas funcionalidades para nossos clientes.

O S3 Metadata nos oferece um mecanismo simples e sem complicações para analisar trilhões de objetos do S3 usando ferramentas padrão como o Amazon Athena e o Amazon QuickSight. Com essa funcionalidade, podemos dedicar nosso tempo à tomada de decisões, em vez de desenvolver nossos complexos pipelines de dados para acessar e consultar os metadados dos objetos do S3.

Com o S3 Metadata, aceleramos nossas iniciativas de IA generativa. À medida que desenvolvemos aplicações de LLM, como chatbots internos para nossas equipes, dados não estruturados, como PDFs, tornam-se uma parte cada vez mais essencial. Precisamos ingerir uma grande quantidade de documentos específicos de domínio em uma aplicação de geração aumentada via recuperação (RAG) para que o chatbot possa se adaptar aos contextos específicos de negócios da Roche. Entretanto, isso também resulta em um aumento significativo na quantidade de dados não estruturados que devemos gerenciar. Precisamos de um sistema de metadados para descrever nossos dados não estruturados de forma eficiente, permitindo que os usuários filtrem rapidamente nosso extenso data lake e identifiquem os conjuntos de dados relevantes para a aplicação específica de IA generativa que estão desenvolvendo. Com o S3 Metadata, o desenvolvimento de um sistema robusto de metadados foi simplificado para apenas alguns cliques no Console de Gerenciamento da AWS. À medida que continuamos a ingerir mais dados não estruturados, o S3 Metadata identifica automaticamente os metadados e os mantém atualizados. Além disso, empregamos nossa própria função do Lambda para extrair metadados específicos do negócio, como a classificação de documentos segundo uma taxonomia relevante para a Roche, e armazenamos esses metadados no mesmo catálogo do Glue, juntamente com a tabela do S3 Metadata. Isso nos permite, por meio de uma simples junção SQL, acessar todos os metadados necessários. O S3 Metadata nos ajuda a criar aplicações de IA generativa mais rapidamente, permitindo que concentremos nossos esforços no desenvolvimento em vez de na organização dos dados.

Imagine conduzir uma máquina do tempo pelos dados no Amazon S3. Na SmugMug e no Flickr, temos mais de 22 anos de fotos dos nossos clientes, totalizando centenas de bilhões de objetos, armazenados no S3. O novo recurso S3 Metadata simplifica e torna mais acessível a exploração dos metadados dos nossos objetos no S3, permitindo consultas sobre informações como o tamanho dos objetos ao longo do tempo. Isso facilita a compreensão da evolução dos nossos dados, eliminando a necessidade de combinar consultas complexas e custosas de banco de dados com inventários de objetos. Compreender como nossos fotógrafos usam o armazenamento fortalece nosso compromisso em criar um mundo melhor por meio da capacidade da fotografia.

A Solink processa mais de 500 milhões de horas de vídeo mensalmente, integrando imagens de segurança com dados essenciais para os negócios de mais de 350 fontes. A AWS fornece suporte à infraestrutura que utilizamos, e o Amazon S3 Metadata levará isso a um novo patamar ao disponibilizar insights em tempo real que aprimoram o gerenciamento do nosso conteúdo, desde o monitoramento de armazenamento e uso até a análise em tempo real dos impactos das alterações nas configurações dos clientes.

O Amazon S3 se destacou como um dos principais provedores de armazenamento em nuvem para diversos tipos de dados. O Amazon S3 Metadata possibilitará que fornecedores, como a Commvault, ajudem proativamente na identificação e na proteção informações confidenciais, além de automatizar elementos, como a classificação de dados, e melhorar os resultados para nossos clientes em comum. O S3 Metadata facilita a organização eficiente dos dados e contribui para simplificar a descoberta de dados, permitindo a anotação detalhada de objetos, o que é essencial para a resiliência cibernética em ambientes que priorizam a nuvem.

Como uma referência em observabilidade, o mecanismo de dados da New Relic processa aproximadamente 1,3 exabytes de dados do Amazon S3 a cada dia. O S3 Metadata acelerará nossa inovação ao gerar metadados avançados de objetos automaticamente por meio da simplificação da exploração de dados necessária pelas nossas equipes para realizar experimentos de produto e desenvolver provas de conceito, como o desenvolvimento de novos indicadores úteis para nossos clientes. O S3 Metadata diminuirá o esforço necessário para desenvolver e gerenciar um sistema de metadados robusto, reduzindo de centenas de horas para apenas alguns cliques no console de gerenciamento do S3, possibilitando que nossos engenheiros se concentrem na análise de dados, em vez de na organização dos dados.