发布于: Nov 19, 2020
AWS Glue Schema Registry 是 AWS Glue 的无服务器功能,让您可以使用注册的 Apache Avro 模式来验证和控制流数据的演变,无需支付额外费用。通过 Apache 许可的序列化器和反序列化器,Schema Registry 与为 Apache Kafka 开发的 Java 应用程序/适用于 Apache Kafka 的 Amazon Managed Streaming (MSK)、Amazon Kinesis Data Streams、Apache Flink/适用于 Apache Flink 的 Amazon Kinesis Data Analytics 和 AWS Lambda 集成。
架构定义由应用程序生成的数据记录(也称为事件)的结构和格式。例如,架构可能由一组字段(例如事件时间戳、客户 ID、电子邮件地址以及在网页上执行的操作的唯一标识符)定义。当生成数据的应用程序在架构中添加或删除字段(例如,删除电子邮件地址)时,数据质量可能会受到影响,而且下游应用程序可能会失败。为了防止这些问题,开发人员经常在其应用程序中编写防御性代码、使用维护窗口协调上游团队和下游团队之间的架构更改,或者使用只能与一种技术一起使用的第三方架构注册表。
有了 Schema Registry,您无需进行防御性编码和跨团队协作,并且可以提高数据质量、减少下游应用程序故障,并使用跨多个 AWS 服务集成的注册表。当数据流应用程序与 Schema Registry 集成时,系统将根据中央注册表中的架构对用于数据生成的架构进行验证,从而使您可以集中控制数据质量。每个架构都可以在兼容模式的保护范围内进行版本控制,从而为开发人员提供控制模式演变的灵活性。目前,您可以将 Schema Registry 与为 Apache Kafka/Amazon MSK 和 Amazon Kinesis Data Streams 构建的应用程序一起使用,也可以使用其 API 构建自己的集成。以后,我们计划将 Schema Registry 与其他 AWS 服务和开源框架集成,并扩展对非 Avro 数据格式和非 Java 客户端的支持。
访问 Schema Registry 用户文档开始使用并了解更多信息。
Schema Registry 功能现已在下列 AWS 区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、加拿大(中部)、南美洲(圣保罗)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(巴黎)和欧洲(斯德哥尔摩)。