Amazon Aurora 通过 Amazon Redshift 进行零 ETL 集成

支持对数千兆字节的交易数据执行近实时的分析

为什么选择与 Amazon Redshift 进行 Aurora 零 ETL 集成?

通过将 Amazon Aurora 与 Amazon Redshift 进行零 ETL 集成,使利用 Amazon Redshift 对 PB 级的事务型数据进行近乎实时的分析和机器学习(ML)成为了可能。将事务型数据写入 Amazon Aurora 的几秒钟内,零 ETL 集成可以无缝地将数据提供给 Amazon Redshift,使您无需构建和管理复杂的数据管道来执行提取、转换、加载(ETL)操作。

优势

仅需数秒时间,即可在 Amazon Redshift 中访问来自 Aurora 的事务型数据,从而对 PB 级的数据执行近乎实时的分析和机器学习。

近乎实时地快速分析事务型数据,无需构建和管理 ETL 管道即可将事务型数据转移到分析系统。

整合来自多个 Aurora 数据库集群的多个表,并将数据复制到一个 Amazon Redshift 数据仓库,以便跨越多个应用程序和数据来源进行统一的分析。

同时使用 Amazon Aurora Serverless v2 和 Amazon Redshift Serverless 时,无需管理任何基础设施,即可对事务型数据做出近乎实时的分析。

使用案例

使用 Amazon Redshift 的分析和机器学习功能,以近乎实时的速度从事务型数据和其他数据中获取见解,从而对具有时效性的关键事件做出有效响应。对于内容定位、优化游戏体验、数据质量监控、欺诈检测和客户行为分析等使用案例,您可以借助近乎实时的分析展开更准确、更及时的洞察。

借助 Aurora 与 Amazon Redshift 的零 ETL 集成,您可以利用 Amazon Redshift 的功能,分析整合自多个 Aurora 数据库集群的 PB 级事务型数据。您可以充分利用 Amazon Redshift 全面的分析功能,例如内置的机器学习、实体化视图、数据共享,以及对多个数据存储和数据湖的联合访问。借助 Amazon Redshift 的机器学习功能,您可以通过与 Amazon SageMaker 的原生集成,使用简单的 SQL 命令执行数十亿次预测。

将数据从事务型数据库移入中央数据仓库通常需要构建、管理和运营复杂的数据管道 ETL 解决方案。通过零 ETL 集成,您可以将架构、现有数据和数据变更从 Aurora 数据库无缝复制到新的或现有的 Amazon Redshift 集群中。零 ETL 集成消除了管理复杂数据管道的需求。

如何开始

要在 Aurora 和 Amazon Redshift 之间创建零 ETL 集成,您需要将 Aurora 数据库集群指定为数据来源,将 Amazon Redshift 数据仓库指定为目标。集成会将数据从源数据库复制到目标数据仓库。只需几秒钟,即可在 Amazon Redshift 中使用这些数据。这使数据分析师可以开始对数据使用 Amazon Redshift 的分析和机器学习功能。要了解更多信息,请访问 AuroraAmazon Redshift 的入门指南。

定价

AWS 不对 Aurora 与 Amazon Redshift 的零 ETL 集成收取额外费用。您需要为现有的 Aurora 和 Amazon Redshift 资源付费,这些资源用于创建和处理在零 ETL 集成过程中生成的变更数据。这些资源可能包括:

  • 启用变更数据捕获所使用的额外 I/O 和存储空间
  • 用于为 Amazon Redshift 数据库种子进行初始数据导出的快照导出费用
  • 额外的 Amazon Redshift 存储空间,用于存储复制的数据
  • 用于处理数据复制的其他 Amazon Redshift 计算
  • 将数据从来源移动到目标的跨可用区数据传输费用。

通过零 ETL 集成对数据变更进行的持续处理无需另行付费。有关更多信息,请访问 Aurora 定价页面。 

客户

  • Infosys

     

    货运验证对于维护 Infosys 制造、零售和物流客户的供应链完整性至关重要。为了实现这一目标,有必要实时获取货运跟踪数据以跟踪发货情况和货运分析。

    Infosys 利用零 ETL 的功能来实时获取数据,支持货运跟踪,并让您能够及时了解位置、状态和预计到达时间。这可以优化货运运营并显著降低成本。借助零 ETL 综合报告和分析,以及 Infosys Cobalt 和 Topaz 行业蓝图,现在可以实现数据驱动的决策。

    Sunil Senan,Infosys 高级副总裁兼数据、分析和人工智能全球主管
  • Intuit

    Intuit 是全球金融技术平台,通过 TurboTax、Credit Karma、QuickBooks 和 Mailchimp 助力 1 亿消费者和小型企业客户繁荣发展。由于即将进行的迁移非常复杂,Intuit 预计每天的配置文件迁移速度会超过 1000 万次。Intuit 开始采用 Amazon Aurora MySQL 与 Amazon Redshift 的零 ETL 集成,以简化数据摄取流程并消除复杂的工程工作。

    庞大的数据量和对无缝迁移的需求给我们带来了巨大的挑战。此外,我们需要一个能够快速分析迁移过程的解决方案,使我们能够快速做出数据驱动的决策。为了应对这些挑战,我们开始采用 Amazon Aurora 与 Amazon Redshift 的零 ETL 集成,以简化我们的数据摄取流程并消除复杂的工程工作。借助零 ETL,我们能够向 Amazon Redshift 发送大量数据,而无需进行数据捕获或单独的摄取任务。这可以实现洞察速览,推动关键的技术和业务决策,从而节省原本需要花费的数月时间。利用 Aurora 与 Amazon Redshift 的零 ETL 集成帮助我们在 Intuit 探索新模式,以实现大规模数据迁移和近实时分析。

    Aruna Ghiware,Intuit 产品开发经理
  • KINTO Technologies Corporation

    KINTO Technologies Corporation 是移动平台行业的领先企业,也是作为丰田旗下的金融服务公司,负责开发 KINTO 服务的技术公司。利用 Amazon Aurora MySQL 与 Amazon Redshift 的零 ETL 集成,KINTO Technologies 能够实现更具韧性的数据管道,并且现在可以近乎实时地将 Amazon Redshift 的高级分析功能应用于其运营数据。

    在零 ETL 集成可用之前,我们使用定制的解决方案,不断地将更改从我们的核心数据库传输到下游应用程序,但我们面临着持续的性能挑战以及对生产工作负载的影响。为了解决对生产工作负载的性能影响,我们必须手动调整管道以降低发送更新的频率并勉强使用 Amazon Redshift 中的旧数据。通过使用 Aurora MySQL 与 Amazon Redshift 的零 ETL 集成,我们能够始终在 Amazon Redshift 中获得近乎实时的数据,从而消除开发人员在手动管理 ETL 操作数据管道或处理工作负载性能影响上花费的时间,这有助于减轻我们的运营负担。

    Hitoshi Kageyama,KINTO Technologies Corporation 执行副总裁
  • Money Forward i

    Money Forward i 致力于通过直观的 SaaS 管理平台 Admina 简化重复性任务、削减成本和增强安全性来提高组织中 IT 团队的生产力和创造潜力。

    在发布 Amazon Aurora 与 Amazon Redshift 的零 ETL 集成之前,实施和维护 ETL 操作以在 Amazon Redshift 中分析来自 Amazon Aurora MySQL 的产品数据的负担非常艰巨。Aurora MySQL 与 Amazon Redshift 的零 ETL 集成可实现 Aurora MySQL 数据库和 Amazon Redshift 之间近乎实时的数据同步,从而将构建分析环境的时间从一个月缩短到三个小时。除了减轻开发时的初始负担外,零 ETL 集成还使对生产环境的影响降至最低,从而能够以最低的成本和最大的速度构建分析环境。

    Katsutoshi Murakami,Money Forward i 总监兼首席运营官
  • Woolworths

    Woolworths 是撒哈拉以南非洲地区领先的零售商,以创新、价值和可持续发展为重点,提供各种优质服装、日用百货和食品。

    从数据中及时获取洞察至关重要,因为这意味着我们可以在整个业务中快速推动数据驱动的决策,并有效响应关键的、时间敏感的事件。使用变更数据捕获和记录聚合非常耗时,而且处理成本比预期更高。通过使用 Amazon Aurora MySQL 与 Amazon Redshift 的零 ETL 集成,我们可以在一天内得出结果(由于 ETL 操作所需的工程工作,原本需要 2 个月才能得出该结果)。通过集成,我们的数据延迟显著减少,因为数据处于可供查询的就绪状态。这使我们能够在事件发生时更快地做出决策。通过使用 Aurora 与 Amazon Redshift 的零 ETL 集成,我们减轻了工程工作量、减少了管道管理中的故障点,并且节省了成本。

    Raamy Schroeder,Woolworths 商业智能主管