Características de Amazon Managed Service para Apache Flink

Amazon Managed Service para Apache Flink incluye bibliotecas de código abierto tales como Apache Flink, Apache Beam, Apache Zeppelin, SDK de AWS e integraciones de servicios de AWS. Apache Flink es un marco y motor que sirve para crear aplicaciones de streaming precisas y de alta disponibilidad. Apache Beam es un modelo unificado para definir aplicaciones de streaming y de procesamiento de datos por lotes que se ejecutan en varios motores de ejecución. El SDK de AWS elimina la complejidad de la codificación para muchos servicios de AWS al proporcionar API en su idioma preferido e incluye bibliotecas de AWS, ejemplos de código y documentación. 

Amazon Managed Service para Apache Flink es compatible con las API flexibles de Flink en Java, Scala, Python y SQL especializadas para diferentes casos de uso, incluido el procesamiento de eventos con estado, ETL de streaming (extracción, transformación y carga) y análisis en tiempo real. Con operadores prediseñados y capacidades de análisis, puede crear una aplicación de streaming de Apache Flink en cuestión de horas en lugar de meses, y las bibliotecas son ampliables, por lo que puede realizar el procesamiento en tiempo real para varios casos de uso.

Puede configurar e integrar un destino u origen de datos con un código mínimo. Utilice las bibliotecas de Amazon Managed Service para Apache Flink para integrarlas con los siguientes servicios de AWS:  

• Amazon S3
• Amazon MSK
• Amazon OpenSearch Service
• Amazon DynamoDB
• Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose
• Amazon CloudWatch
• AWS Glue Schema Registry

Además de las integraciones de AWS, las bibliotecas de Amazon Managed Service para Apache Flink incluyen más de 40 conectores de Apache Flink y la capacidad de crear integraciones personalizadas. Con algunas líneas de código más, puede modificar el comportamiento de cada integración con la funcionalidad avanzada. También puede crear integraciones personalizadas mediante un conjunto de tipos primitivos de Apache Flink que le permiten leer y escribir desde archivos, directorios, conectores u otros orígenes a las que puede acceder a través de Internet.

Con Amazon Managed Service para Apache Flink, puede crear aplicaciones en las que los registros procesados afectan los resultados exactamente una vez, lo que se conoce como procesamiento único. Incluso en el caso de una interrupción de la aplicación, como el mantenimiento del servicio interno o la actualización de la aplicación iniciada por el usuario, el servicio garantiza que todos los datos se procesen y que no haya datos duplicados.

El servicio almacena el procesamiento, o estado, previo y en curso en el almacenamiento de la aplicación en ejecución. Compare resultados pasados y actuales durante cualquier periodo de tiempo y logre una recuperación rápida durante las interrupciones de la aplicación. El estado siempre está cifrado y se guarda de manera progresiva en el almacenamiento de la aplicación en ejecución.

Puede crear y eliminar copias de seguridad de aplicaciones duraderas a través de una simple llamada a la API. Restaure inmediatamente sus aplicaciones desde la última copia de seguridad después de una interrupción, o restaure su aplicación a una versión anterior. 

Amazon Managed Service para Apache Flink admite algoritmos de aprendizaje automático (ML). Puede crear aplicaciones en tiempo real para la clasificación, la agrupación en clústeres, la evaluación, las recomendaciones de ingeniería de características, las regresiones y las estadísticas. 

Amazon Managed Service para Apache Flink es compatible con AWS Glue Schema Registry. Schema Registry le permite mejorar la calidad de los datos y a protegerse frente a cambios inesperados mediante comprobaciones de compatibilidad que rigen la evolución de los esquemas en Amazon Managed Service para Apache Flink para cargas de trabajo conectadas a Apache Kafka, Amazon MSK o Amazon Kinesis Data Streams, ya sea como conector de origen o de destino.