Fonctionnalités d'Amazon OpenSearch Service

Le stockage à chaud permet une récupération rapide des données fréquemment utilisées. UltraWarm est une offre de stockage à chaud qui complète l'offre existante de stockage à chaud d'OpenSearch Service avec un stockage moins coûteux pour les données plus anciennes et moins fréquemment consultées, le tout avec une expérience de requête interactive. UltraWarm stocke les données dans Amazon Simple Storage Service (Amazon S3) et utilise des nœuds personnalisés et hautement optimisés, spécialement crées sur AWS Nitro System pour mettre en cache, pré-extraire et interroger rapidement ces données.

Avec UltraWarm, vous pouvez conserver jusqu'à 3 Po de données dans un seul cluster OpenSearch Service tout en réduisant le coût par Go de près de 90 % par rapport à l'offre de stockage à chaud. Vous pouvez également interroger et visualiser facilement les données dans l'interface Kibana (versions 7.10 et antérieures) ou OpenSearch Dashboards. Analysez vos données journalisées récentes (semaines) et historiques (mois ou années) sans passer des heures ou des jours à restaurer les journaux archivés.

UltraWarm est un niveau de stockage entièrement géré, économique et chaud pour OpenSearch Service. Compatible avec OpenSearch, Elasticsearch (jusqu'à la version 7.10), OpenSearch Dashboards et Kibana (jusqu'à la version 7.10), il vous permet d'analyser les données en utilisant les mêmes outils fournis aujourd'hui par OpenSearch Service. UltraWarm s'intègre harmonieusement avec les fonctionnalités existantes d'OpenSearch Service comme les alertes intégrées et les requêtes SQL pour ne citer que celles-là. 

UltraWarm vous permet d'étendre de manière rentable les données que vous souhaitez analyser sur OpenSearch Service. Vous pouvez obtenir des informations précieuses sur des données qui ont pu être déjà supprimées ou archivées. Avec UltraWarm, vous pouvez désormais conserver de manière économique une plus grande partie de vos données pour les analyser de manière interactive quand vous le souhaitez.

OpenSearch Service prend en charge deux niveaux de stockage intégrés : chaud et UltraWarm. Le niveau chaud est alimenté par des nœuds de données utilisés pour l'indexation, la mise à jour et l'accès ultra rapide aux données. Les nœuds UltraWarm complètent le niveau chaud en fournissant un niveau en lecture seule à faible coût pour les données plus anciennes et moins fréquemment accessibles.

UltraWarm utilise Amazon S3 pour le stockage (conçu pour une durabilité de 99,999999999 %) et élimine le besoin de configurer un réplica Elasticsearch pour vos données chaudes. De plus, si vous avez plus d'un nœud UltraWarm et qu'un devient défaillant, les autres nœuds UltraWarm accèdent automatiquement aux données au besoin.

UltraWarm prend en charge jusqu'à 3 Po de données primaires. UltraWarm est conçu de manière à vous permettre d'utiliser pleinement à 100 % cet espace de stockage. Étant donné qu'UltraWarm stocke les données sur Amazon S3 à des fins de durabilité, vous n'avez pas besoin d'utiliser de stockage supplémentaire pour les réplicas d'Elasticsearch.

UltraWarm offre une expérience interactive dans OpenSearch Dashboards et Kibana en mettant en œuvre la mise en cache E/S granulaire, la pré-extraction et l'optimisation des moteurs de requêtes pour fournir des performances similaires à celles des instances à haute densité utilisant le stockage local.

Pour démarrer avec UltraWarm, créez un nouveau domaine OpenSearch Service avec UltraWarm activé via la console, CLI ou les API. Une fois votre domaine créé, vous pouvez déplacer les données de chaud vers UltraWarm en utilisant les API OpenSearch/Elasticsearch. Pour en savoir plus, consultez le Guide du développeur d’OpenSearch Service.

Le stockage à froid est le niveau de stockage le plus économique pour OpenSearch Service. Il vous permet de conserver les données rarement consultées dans Amazon S3 et de ne payer pour le calcul que lorsque vous en avez besoin. Le stockage à froid s'appuie sur le stockage UltraWarm, qui fournit des nœuds spécialisés pour stocker des données dans Amazon S3 et utilise une solution de mise en cache sophistiquée pour offrir une expérience interactive. En découplant les ressources de calcul du stockage, le stockage à froid vous aide à conserver n'importe quel volume de données dans votre domaine OpenSearch Service tout en réduisant les coûts par Go à des valeurs proches des coûts de stockage d'Amazon S3. Dissocier les données chaudes historiques ou rarement consultées pendant qu'elles ne sont pas utilisées, ce qui libère les ressources de calcul et aide à réduire les coûts. Découvrez et sélectionnez les données froides à attacher aux nœuds UltraWarm de votre domaine en quelques secondes en utilisant votre choix d'interface Kibana (versions 7.10 et précédentes) ou OpenSearch Dashboards et des API simples d'utilisation. Grâce au stockage à froid, vous pouvez interroger les données froides attachées avec une expérience interactive et des performances similaires à celles de vos données chaudes.

OpenSearch comprend certains codes Elasticsearch sous licence Apache d'Elasticsearch B.V. et d'autres codes sources. Elasticsearch B.V. n'est pas la source de cet autre code source. ELASTICSEARCH est une marque déposée d'Elasticsearch B.V.

Le stockage à froid est une offre de stockage à moindre coût entièrement gérée pour OpenSearch Service qui facilite le stockage et l'analyse de vos journaux historiques à la demande et en toute sécurité. Le stockage à froid vous aide à dissocier complètement le stockage du calcul lorsque vous n'effectuez pas activement l'analyse des données, ce qui vous permet de garder vos données facilement accessibles à moindre coût. Les données de stockage à froid sont disponibles au sein du domaine OpenSearch Service par l'intermédiaire de vos nœuds UltraWarm. Le stockage à froid s'intègre harmonieusement avec OpenSearch et OpenSearch Dashboards, ainsi qu'avec Elasticsearch (versions 7.9 et 7.10) et Kibana (versions 7.9 et 7.10). Il vous permet d'analyser les données en utilisant les mêmes outils qu'OpenSearch Service fournit aujourd'hui.

Le stockage à froid vous aide à étendre de manière rentable les données que vous souhaitez analyser sur OpenSearch Service et d'obtenir des informations précieuses sur des données qui ont pu être supprimées ou archivées antérieurement. Le stockage à froid est une solution parfaite si vous avez besoin de faire des recherches ou des analyses approfondies de vos anciennes données et que vous voulez utiliser toutes les capacités d'OpenSearch Service pour ce faire, à un prix abordable. Le stockage à froid est conçu pour être évolutif et il bénéficie de la puissance d'Amazon S3. Trouvez et découvrez les données dont vous avez besoin, associez-les aux nœuds UltraWarm de votre cluster et accédez à l'analyse en quelques secondes. Les données froides associées sont soumises aux politiques de contrôle d'accès précis existantes qui limitent l'accès au niveau de l'index, du document et du champ.

Avec le stockage à froid, OpenSearch Service prend en charge trois offres de stockage intégrées : chaud, UltraWarm et froid. Le niveau chaud est utilisé pour indexer, mettre à jour et fournir l'accès le plus rapide aux données. UltraWarm constitue une extension transparente du niveau chaud en fournissant des nœuds de calcul qui offrent une expérience interactive très performante pour les données stockées durablement dans Amazon S3 et qui doivent être disponibles de manière persistante, supportant actuellement jusqu'à 3 Po de données dans un seul domaine. Grâce au stockage à froid, vous pouvez désormais détacher des index d'UltraWarm lorsqu'ils ne sont pas utilisés afin de libérer davantage de calcul pour réduire les coûts. Avec les nouvelles API de stockage à froid, OpenSearch Dashboards et l'interface Kibana, vous pouvez découvrir des indices d'après des modèles d'index et des horodatages de données pour trouver facilement ce dont vous avez besoin pour vos analyses. Ces données peuvent ensuite être reliées au domaine et prêtes pour l'analyse en quelques secondes. Lorsque vous avez terminé votre analyse, la dissociation des données suffit à libérer vos calculs de nouveau. 

Le stockage à froid est conçu pour plus d'évolutivité. Si le stockage des données à chaud et à chaud reste limité à 3 Po, vous pouvez stocker n'importe quel volume de données en stockage à froid.

Le stockage à froid s'appuie sur le stockage UltraWarm, qui fournit des nœuds spécialisés pour stocker des données dans Amazon S3 et utilise une solution de mise en cache sophistiquée pour offrir une expérience interactive. Les données froides doivent d'abord être associées aux nœuds UltraWarm de votre domaine OpenSearch Service. Une fois les données attachées, les requêtes sur ces données sont optimisées par les nœuds UltraWarm existants pour fournir les mêmes performances que vos données stockées à chaud. L'association des indices froids à votre domaine prend quelques secondes si la capacité d'UltraWarm est suffisante pour les données demandées. Si vous avez besoin d'une capacité plus importante, les nœuds de données UltraWarm doivent être ajoutés, ce qui peut prendre jusqu'à quelques minutes.

OpenSearch Service offre des fonctionnalités de recherche de documents en temps réel qui ne se limitent pas à la recherche dans une base de données. Ce service entièrement géré utilise le moteur OpenSearch pour la recherche. OpenSearch est un moteur de recherche open source complet, basé sur Lucene, portable et indépendant des plateformes qui prend en charge la recherche de mots-clés, la recherche en langage naturel, les synonymes, les langues multiples et plus encore. Les principales fonctionnalités de recherche sont les suivantes :

• Acquiert des données à partir d'une base de données ou d'un système de gestion du contenu, d'un crawler web ou intranet ou d'un service de diffusion en continu
• Offre des API de recherche pour établir un front-end sur les services de recherche
• Permet des recherches avec de nombreux attributs
• Trouve de nouveaux documents qui correspondent à un ensemble de requêtes enregistrées avec recherche prospective (percolation)
• Évalue les modèles d'usage et réalise une planification des capacités et une prédiction des coûts grâce aux fonctionnalités de surveillance d'OpenSearch Service
• Utilise des algorithmes avec machine learning (ML) intégrés pour la recherche des k voisins les plus proches (k-NN) afin de réaliser des recherches vectorielles, des recherches de similarité, des recherches sémantiques et plus encore
• Utilise des algorithmes avec machine learning intégrés pour Apprendre à classer pour calculer les scores de pertinence
• Fournit un stockage et une recherche vectoriels simples, pouvant être mis à l'échelle et hautement performants pour optimiser les expériences de recherche augmentées par le ML et les applications d'IA générative
• Utilise plusieurs langages pour les requêtes, y compris SQL

Rechercher des ressources

Vidéo : AWS On Air pour les recherches

Vidéo : LexisNexis sur la recherche guidée par le machine learning

Démo : améliorez les résultats de recherche avec Amazon OpenSearch Service

Atelier : améliorez la pertinence des recherches avec le machine learning dans Amazon OpenSearch Service

Blog : Novartis AG utilise OpenSearch Service k-NN et SageMaker pour optimiser la recherche et la recommandation

Diagramme d'architecture de référence : applications s'appuyant sur les recherches

Aidez vos équipes des opérations de sécurité (SecOps) à détecter rapidement les menaces tout en disposant des outils nécessaires aux enquêtes de sécurité, le tout avec de faibles coûts de conservation des données. Sécurisez les données de votre entreprise et détectez rapidement les menaces de sécurité potentielles. OpenSearch Service fournit une prise en charge immédiate de plus de 2 200 règles de sécurité Sigma open source afin de détecter les menaces de sécurité potentielles en filtrant les résultats de sécurité. Vous pouvez même personnaliser ou utiliser les règles Sigma par défaut pour détecter rapidement les menaces de sécurité potentielles et envoyer des alertes vers une destination présélectionnée. Profitez de la prise en charge prête à l'emploi de plusieurs sources de journaux, notamment Windows, NetFlow, AWS CloudTrail, DNS, etc. 

L’analytique de sécurité d’OpenSearch est conçue pour aider à enquêter, à détecter, à analyser et à répondre aux menaces de sécurité susceptibles de compromettre les opérations des fonctions critiques de l’entreprise. Ces menaces incluent l'exposition potentielle de données confidentielles, les cyberattaques et d'autres événements de sécurité indésirables. Elle inclut les outils et fonctionnalités nécessaires pour définir les paramètres de détection, générer des alertes et répondre efficacement aux menaces.

Nous prenons actuellement en charge huit types de journaux, dont NetFlow, les journaux DNS, les journaux d’accès Apache, les journaux Windows, les journaux AD/LDAP, les journaux du système Linux, les journaux AWS CloudTrail et les journaux d’accès Amazon S3.

Vous pouvez utiliser vos pipelines d'ingestion existants qui envoient des données au format JSON à OpenSearch.

Oui, l'analytique de sécurité OpenSearch intègre plus de 2 200 règles de sécurité Sigma pour une utilisation prête à l'emploi avec différents types de détecteurs de sécurité. Ces règles sont présélectionnées une fois que vous avez fourni une configuration minimale concernant la source du journal.

Oui, des règles personnalisées peuvent être ajoutées pour les types de journaux pris en charge ci-dessus. Ces règles doivent être au format Sigma et peuvent être importées dans OpenSearch avant d'être utilisées avec un détecteur de sécurité.

Oui, les journaux doivent être au format JSON. Nous vous recommandons de les envoyer au format ECS (Elastic Common Schema).

Les analyses de sécurité d'OpenSearch sont mises à votre disposition sans frais supplémentaires ni frais de licence. Vous payez le même coût que pour ingérer d'autres données dans OpenSearch Service.

L'analytique de sécurité est préinstallée avec OpenSearch Service exécutant OpenSearch version 2.5 ou supérieure.

Amazon Security Lake centralise automatiquement les données de sécurité provenant de sources dans le cloud, sur site et personnalisées dans un lac de données créé à cet effet et stocké dans votre compte. Ces données agrégées sont normalisées dans un format commun, stockées dans des compartiments S3. Ces données peuvent être ingérées dans OpenSearch Service, ce qui vous permet de les visualiser, d'interroger et de créer des rapports. L'analytique de sécurité fournit un moteur de règles de sécurité qui peut vous aider à détecter les événements de sécurité potentiels, à émettre des alertes ainsi qu'à les corréler pour faciliter votre enquête.

Oui, vous pouvez importer des journaux supplémentaires de Security Lake dans OpenSearch et créer un détecteur pour exécuter les règles pertinentes sur les journaux ingérés.

OR1, la famille d’instances optimisées OpenSearch, qui offre une amélioration du rapport prix-performance allant jusqu’à 30 % par rapport aux instances existantes selon les tests de performance internes et utilise Amazon S3 pour fournir une durabilité de 11 à 9 secondes. Avec OR1, Amazon OpenSearch Service utilise l'innovation OpenSearch et les technologies AWS pour repenser la façon le mode d'indexation et de stockage des données dans le cloud. OR1 permet aux clients de mettre à l'échelle leurs déploiements OpenSearch de manière plus économique et plus fiable sans compromettre l'expérience analytique interactive qu'ils attendent. 

OR1, la famille d’instances optimisées OpenSearch pour les clusters gérés par Amazon OpenSearch Service, qui offre une amélioration du rapport prix-performance allant jusqu’à 30 % par rapport aux instances existantes selon les tests de performance internes et utilise Amazon S3 pour garantir une durabilité de 11 à 9 secondes. Avec OR1, Amazon OpenSearch Service utilise l'innovation OpenSearch et les technologies AWS pour repenser la façon le mode d'indexation et de stockage des données dans le cloud. OR1 permet aux clients de mettre à l'échelle leurs déploiements OpenSearch de manière plus économique et plus fiable sans compromettre l'expérience analytique interactive qu'ils attendent. OR1 propose une tarification des instances réservées et facturée à l'utilisation, avec un tarif horaire simple pour les instances et le stockage provisionnés.

Les clients utilisent largement Amazon OpenSearch Service pour l'analyse des journaux opérationnels en raison de sa capacité à ingérer de grands volumes de données tout en fournissant des analyses riches et interactives sur ces données. OR1, la famille d’instances optimisées OpenSearch, qui offre une amélioration du rapport prix-performance allant jusqu’à 30 % par rapport aux instances existantes selon les tests de performance internes et utilise Amazon S3 pour fournir une durabilité de 11 à 9 secondes. Si vous indexez de lourdes charges de travail d'analyse opérationnelle, vous pouvez bénéficier de l'amélioration des performances et de l'efficacité de calcul. De plus, en cas de défaillance, OpenSearch peut effectuer une restauration automatique des données jusqu'à la dernière opération réussie, améliorant ainsi la fiabilité du domaine.

Amazon OpenSearch Service prend en charge deux stratégies de réplication : la réplication logique (document) et la réplication physique (segment). En cas de réplication logique, les données sont indexées sur toutes les copies individuellement, ce qui entraîne une duplication des efforts. En cas de réplication physique, les données sont indexées uniquement sur la copie principale et des copies supplémentaires sont créées en copiant les données depuis la copie principale. OR1, les nouvelles instances pour les clusters gérés par Amazon OpenSearch Service, utilisent la réplication physique pour écrire des données dans le magasin distant basé sur Amazon S3. Le référentiel Amazon S3, un magasin de données hautement durable, constitue la source de référence de toutes les opérations de réplication et de restauration. La conception innovante permet d'améliorer les performances d'indexation et d'améliorer la durabilité des domaines Amazon OpenSearch Service.

Amazon OpenSearch Service prend en charge les nœuds de gestion de clusters (nœuds principaux), les nœuds de données et les nœuds chauds. Pour les nœuds de données, les clients peuvent choisir entre des instances à usage général, optimisées pour la mémoire, optimisées pour le calcul, optimisées pour le stockage et désormais optimisées pour OpenSearch, en fonction des caractéristiques du rôle et de la charge de travail. Pour les nœuds chauds, Amazon OpenSearch Service fournit des instances ultra-chaudes optimisées pour réduire le coût de stockage des données chaudes. OR1 est l’option de première instance de la nouvelle famille d’instances OpenSearch optimisées. Les instances OR1 sont optimisées pour la mémoire et disponibles sous forme de nœuds de données. Les instances OR1 fournissent un débit d'indexation amélioré par rapport aux instances à mémoire optimisée standard. De plus, les instances OR1 assurent la durabilité des données sans recourir à des instantanés et permettent une restauration automatique rapide. Les instances OR1 et Ultrawarm utilisent toutes deux un magasin local (EBS) et un magasin distant (stockage géré, basé sur Amazon S3) pour stocker les données. Pour les instances OR1, une copie des données est conservée à la fois dans le magasin local et dans le magasin distant, tandis que pour les instances Ultrawarm, afin de réduire les coûts de stockage, les données sont principalement conservées dans le magasin distant et, en fonction du modèle d'accès, les données sont déplacées vers le magasin local. 

Les instances OR1 utilisent EBS comme magasin local et Amazon S3 comme magasin à distance. Toutes les données sont écrites de manière synchrone sur Amazon S3, conçu pour fournir 99,999999999 % (11 9) de durabilité des données.

Les instances OR1 peuvent être utilisées comme nœuds de données pour tous les nouveaux clusters gérés par Amazon OpenSearch Service créés sur OpenSearch version 2.11 ou ultérieure et dont le chiffrement au repos est activé. Au moment du lancement, les instances OR1 ne seront pas disponibles pour les clusters gérés créés à l'aide d'autres instances pour les nœuds de données. Pour OR1, vous devez provisionner des instances Graviton pour les gestionnaires de clusters.

En cas d’index rouge, les instances OR1 restaurent automatiquement les partitions manquantes depuis le magasin distant (Amazon S3). Le temps de restauration varie en fonction du volume de données à récupérer. 

eBook sur l'architecture de référence

Vidéo : outils pour la transformation des données