Fonctionnalités du service géré Amazon pour Apache Flink

Pourquoi choisir un service géré pour Apache Flink ?

Le service géré Amazon pour Apache Flink facilite la création et l'exécution d'applications de traitement des flux en temps réel à l'aide d'Apache Flink. Le service géré Amazon pour Apache Flink provisionne et configure vos clusters Flink et orchestre la gestion des tâches Flink. Il configure la surveillance et les alarmes, propose un autoscaling et est conçu pour une haute disponibilité (y compris le basculement des zones de disponibilité). Le service permet d'accéder aux API expressives d'Apache Flink. En plus, à travers le service géré Amazon pour Apache Flink Studio, vous pouvez interroger des flux de données de manière interactive ou lancer des applications dynamiques en quelques étapes. Avec ce service géré, vous pouvez démarrer avec Apache Flink et déployer et exploiter rapidement vos applications de traitement des flux de données.

Avec le service géré Amazon pour Apache Flink, vous avez accès à la gamme complète des fonctionnalités de pointe d'Apache Flink, notamment le traitement des données à faible latence et à haut débit, le traitement unique et l'état durable des applications. Avec le service géré Amazon pour Apache Flink, vous pouvez déployer des applications sécurisées, conformes et très disponible. Le service géré Amazon pour Apache Flink réplique sans effort les données et les charges de travail sur plusieurs zones de disponibilité, garantissant des performances et une fiabilité ininterrompues, sans avoir à payer pour une capacité supplémentaire.

Le développement d'applications est plus facile avec le service géré Amazon pour Apache Flink, car le service prend en charge les API flexibles de Flink en Java, Scala, Python et SQL. Le service géré Amazon pour Apache Flink s'intègre à des centaines de sources de données et de destinations, telles qu'Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, les connecteurs JDBC et les connecteurs personnalisés.

Diffuser des applications de traitement des flux avec Apache Flink

Technologie open source

Le service géré Amazon pour Apache Flink comprend des bibliothèques open source telles qu'Apache Flink, Apache Beam, Apache Zeppelin, les kits AWS SDK et les intégrations de services AWS. Apache Flink est un cadre et un moteur permettant de créer des applications de streaming hautement disponibles et précises. Apache Beam est un modèle unifié permettant de définir des applications de traitement de données de streaming et par lot exécutées par plusieurs moteurs d'exécution. Les kits AWS SDK permettent de simplifier le codage pour beaucoup de services AWS en fournissant des API dans votre langage préféré. Ils incluent des bibliothèques, des exemples de code et de la documentation AWS.

API flexibles

Le service géré Amazon pour Apache Flink prend en charge les API flexibles de Flink dans Java, Scala, Python et SQL dédiées à différents cas d'utilisation, notamment le traitement dynamique des événements, le streaming ETL (extraction, transformation et chargement) et l'analyse en temps réel. Grâce à des opérateurs et des capacités d'analyse prédéfinis, vous pouvez créer une application de streaming Apache Flink en quelques heures au lieu de plusieurs mois. Les bibliothèques sont extensibles, ce qui vous permet d'effectuer des traitements en temps réel pour divers cas d'utilisation.

Intégrations aux services AWS

Vous pouvez configurer et intégrer une source de données ou une destination avec un code minimal. Utilisez les bibliothèques du service géré Amazon pour Apache Flink afin d'intégrer les services AWS suivants :

Fonctionnalités d'intégration avancées

Outre les intégrations AWS, le service géré Amazon pour Apache Flink inclut plus de 40 connecteurs Apache Flink et permettent de créer des intégrations personnalisées. Avec quelques lignes de code supplémentaires, vous pouvez modifier le comportement de chaque intégration avec des fonctionnalités avancées. Vous pouvez également créer des intégrations personnalisées à l'aide d'un ensemble de types primitifs Apache Flink, afin de pouvoir lire et écrire à partir de fichiers, de répertoires, de sockets ou d'autres sources consultées sur internet.

Traitement unique

En utilisant le service géré Amazon pour Apache Flink, vous pouvez créer des applications dans lesquelles les enregistrements traités n'affectent les résultats qu'une seule fois, un processus connu comme traitement unique. Même en cas de perturbation de l'application, telle que la maintenance du service interne ou la mise à jour d'une application lancée par l'utilisateur, le service s'assure que toutes les données sont traitées et qu'il n'y a pas de données en double.

Traitement dynamique

Le service stocke les calculs précédents ou en cours, ou l'état, dans l'espace de stockage de l'application en cours d'exécution. Comparez les résultats anciens et ceux en temps réel sur n'importe quelle période, et la récupération de l'application après une panne est rapide. L'état est toujours chiffré et progressivement enregistré dans l'espace de stockage de l'application en cours d'exécution.

Sauvegardes d'applications durables

Créez et supprimez des sauvegardes d'applications durables via un simple appel d'API. Restaurez immédiatement vos applications à partir de la dernière sauvegarde après une interruption, ou à une version antérieure.

Intégration du ML

Le service géré Amazon pour Apache Flink prend en charge les algorithmes du machine learning (ML). Vous pouvez créer des applications en temps réel pour la classification, la mise en cluster, l'évaluation, les recommandations d'ingénierie des fonctionnalités, les régressions et les statistiques.

Compatibilité avec le registre du schéma AWS Glue

Le service géré Amazon pour Apache Flink est compatible avec le registre des schémas AWS Glue. Le registre des schémas vous aide à améliorer la qualité des données et à vous prémunir contre les changements inattendus grâce à des contrôles de compatibilité qui régissent l'évolution de vos schémas sur les charges du travail du service géré Amazon pour Apache Flink connectées à Apache Kafka, Amazon MSK ou Amazon Kinesis Data Streams, en tant que connecteur source ou puits.