为何数据集成如此重要？
现代组织通常拥有多种可收集和存储数据的工具、技术和服务。碎片化数据会导致孤岛并带来访问挑战。
例如，商业智能应用程序需要运用营销和财务数据来改进广告策略。但是，这两个数据集的格式各不相同。因此，外部系统必须在分析之前对这两个数据集进行清理、筛选和重新格式化。此外，数据工程师可能会手动执行特定的预处理任务，从而导致进一步延迟。尽管做出了这些努力，应用程序也可能会错过关键数据集，因为分析团队不知道它的存在。
数据集成旨在通过不同的一致访问方法来解决这些挑战。例如，所有数据分析师和商业智能应用程序都使用单个统一的平台来访问不同业务流程的孤立数据。下面是数据集成的一些优点：
- 提高数据管理效率和利用率
- 提高数据质量和完整性
- 从准确和相关的数据中更快获取有意义的见解
数据集成有哪些使用案例？
公司将数据集成解决方案用于几个主要使用案例。下面进行更详细的介绍。
机器学习
机器学习涉及使用大量准确数据训练人工智能（AI）软件。数据集成将数据汇集到一个中心位置，并以支持机器学习的格式进行数据准备。例如，Mortar Data 为公司提供现代数据技术，通过整合 Amazon RedShift 上的数据来训练机器学习模型。
预测分析
预测分析是一种使用最新历史数据预测特定趋势的方法。例如，公司使用预测分析在发生故障之前安排设备维护。他们分析历史运营数据以发现异常趋势并采取解决措施。
云迁移
公司使用数据集成技术来确保无缝迁移到云计算。将所有遗留数据库迁移到云非常复杂，并且可能会中断业务运营。相反，公司使用中间件集成等数据集成策略，可在确保业务持续运营的同时，逐步将数据传输到云数据仓库。
数据集成的工作原理是什么？
数据集成是一个复杂的领域，拥有可采用各种方法应对挑战的不同工具和解决方案。过去，解决方案侧重于物理数据存储。数据经过物理转换并以统一格式迁移到中央存储库中。随着时间的推移，虚拟解决方案得以开发。中央系统集成并呈现出所有数据的统一视图，而无需更改基础物理数据。最近，重心已转移到数据网格等联合解决方案上。每个业务部门独立管理自己的数据，但会以集中定义的格式将其呈现给其他部门。
市场上的数据集成解决方案也使用各种方法。您仍然会发现，有些工具会使用现代技术来提高传统技术效率。不幸的是，市场上现有的分散式解决方案导致大型企业内部的方法也比较分散。不同团队使用不同的工具来满足其特定要求。大型组织通常拥有重叠和冗余共存的遗留和现代数据集成系统。
数据集成的方法有哪些？
数据架构师可在数据集成工作中使用这些方法。
数据整合
数据整合使用工具来提取、清理物理数据并将其存储在最终存储位置。这可消除数据孤岛并降低数据基础设施成本。数据整合中使用的工具主要有两种类型。
ETL
ETL 代表提取、转换、加载。首先，ETL 工具从不同来源提取数据。接下来，该工具根据特定的业务规则、格式和惯例来更改数据。例如，即使销售是以其他货币计算，ETL 工具也可以将所有交易价值转换为美元。最后，该工具将转换后的数据加载到数据仓库等目标系统。
ELT
ELT 代表提取、加载、转换。该工具类似于 ETL，只是 ELT 切换了后两个数据处理步骤的顺序。所有数据都加载到数据湖等非结构化数据系统中，并且仅在需要时进行转换。ELT 利用云计算的处理能力和可扩展性来提供实时数据集成能力。
数据复制
数据复制或数据传播可创建数据副本，而不必以物理方式将数据从一个系统迁移到另一个系统。此技术适用于数据来源较少的中小型企业。例如，零售硬件企业可以使用企业数据复制将特定表从库存处复制到销售数据库。
数据虚拟化
数据虚拟化不会在系统之间迁移数据，而是创建一个集成所有数据来源的虚拟统一视图。在数据虚拟化过程中存储系统不会在数据库之间传输数据。相反，存储系统会在收到查询后使用多个来源的数据填充控制面板。
数据联合
数据联合涉及在多个数据来源上创建虚拟数据库。其工作原理类似于数据虚拟化，只是数据联合不会集成数据来源。相反，收到查询时，系统会从相应来源获取数据，并使用标准数据模型实时组织这些数据。
数据集成和应用程序集成有什么区别？
应用程序集成是允许两个或多个软件应用程序相互通信的过程。此过程包括创建一个公共通信框架或 API，允许一个应用程序访问另一个应用程序的功能。API 是一种中间软件，可允许软件程序相互通信。
应用程序集成通过将现有软件程序与另一个程序集成来扩展现有软件程序的功能。例如，您可以将电子邮件自动响应程序与客户关系管理（CRM）应用程序集成。同时，数据集成从多个源系统提取和组合所有客户数据，并将数据加载到云数据存储库中。
AWS 如何帮助数据集成？
Analytics on AWS 可提供复杂数据集成解决方案所需的所有基础设施。我们提供最广泛的分析服务选择，让您以最佳性价比、可扩展性和最低成本构建自定义数据集成应用程序。
对于现成解决方案，AWS Glue 是一种允许公司大规模提取、清理和整合数据的数据集成工具。它允许数据架构师使用不同方法来集成数据，例如提取、转换、加载（ETL）；提取、加载、转换（ELT）；批处理；流处理。
- AWS Glue Data Catalog 允许数据科学家高效地查询数据并观察数据如何随时间变化
- AWS Glue DataBrew 提供的可视化界面让数据分析师无需编写代码即可转换数据
- AWS Glue 敏感数据检测可自动识别、处理和屏蔽敏感数据
- AWS Glue DevOps 允许开发人员以更一致的方式追踪、测试和部署数据集成作业
立即注册 AWS 账户，在 AWS 上开启数据集成之旅。
