什么是数据迁移?
数据迁移是指将数据从一个计算环境或存储系统移动到另一个计算环境或存储系统。组织收集并存储数据以进行分析。由于技术变化或组织想将运营转移到云端,他们必须在系统之间移动数据以实现集成可视化。数据迁移的目标是高效、快速地移动数据,以避免或最大限度减少对业务运营的干扰。其中包括规划网络资源、数据安全、时间和传输方法等注意事项。数据迁移还可能涉及存储架构方面的考虑因素,例如缺少数据值或更改数据类型。
为什么数据迁移很重要?
组织数据驻留在许多位置,包括物理存储中、本地服务器或虚拟服务器中、单台计算机中,甚至是不同的应用程序中。数据还以许多不同的格式和类型存储。
组织会出于多种不同的原因将数据从一个地点、设备或应用程序移动到另一个位置、设备或应用程序。例如,可以出于以下目的进行数据迁移:
- 整合资源
- 整合数据进行分析
- 降低存储成本
- 集中业务数据
- 使用新的应用程序
- 存档旧数据
- 将数据用于不同的用途
- 转移数据所有权
- 提高对数据处理法规的合规性
有哪些数据迁移策略?
IT 迁移有不同的类型。存储迁移、数据库迁移、架构迁移、应用程序迁移和业务流程迁移等术语都涉及将数据从一个地点移动到另一个地点。接下来,我们将介绍一些可用于数据迁移的策略。
直接迁移
直接迁移是迁移数据的最简单方法。您可以保留数据的格式,无需进行任何转换,只需将其传输并存储在其他位置即可。尽管这是一种有效的策略,但不太适用于云迁移。以相同格式存储数据往往无法有效利用云存储的好处。
使用既有的工具
有许多数据迁移软件工具可以帮助组织成功完成迁移。从管理的角度来看,这些供应商和开源数据迁移工具可使整个过程变得更加简单。
例如,AWS DataSync 是一项 Amazon Web Services(AWS)服务。可以帮助组织将其本地共享文件系统、对象存储或 Hadoop 集群转移到 AWS 云存储解决方案。
一次性或分阶段迁移
根据数据本身的情况,您可以选择一次性全部迁移或分阶段迁移。例如,您可以对大批量数据进行拆分,并在几周内夜间执行分块数据迁移。尽管一次性迁移所有数据最简单、最快速,但有时不可行。
寻求专家帮助
对于复杂的迁移,如果团队中没有人具有相关经验,明智的做法是寻求外部专家的帮助。在云迁移到 AWS 时,您可以选择与我们的某位 AWS 合作伙伴建立联系。
在数据迁移之前需要考虑哪些因素?
数据迁移的每一个细节都需要精心规划。以下是需要考虑的一些因素。
在线或离线数据迁移
即使使用现代联网解决方案,迁移大量数据也可能既耗费时间又耗费资源。对于某些组织来说,通过运送物理存储设备将数据从一个位置移动到另一个位置可能更高效、更经济。这种策略也比通过更广泛的互联网发送数据更安全。
数据格式
将数据从一个位置迁移到另一个位置而不改变其格式,通常相对简单。例如,将数据库从现场 SQL Server 迁移到基于云的 SQL Server 无需更改格式或架构。但是,如果要在数据中心迁移之前将数据转换为新格式,则需要中间处理步骤。
运营中断
当您将数据从一个地点移动到另一个地点时,会面临一些系统停机或速度减慢的问题。您可以将迁移安排在非高峰时段,以尽可能降低影响。许多组织推迟了数据迁移,因为他们无法承受任何系统停机。但是,这种方法将来可能会增加中断。
数据迁移的步骤是什么?
每个组织都以符合自身需求的定制方式来规划数据迁移。我们概述了您可以遵循的步骤,以提高流程的效率。
审查源数据
在迁移数据之前,必须先审查并描述现有数据。首先看一下数据存储格式及其当前环境。之后,在适用的情况下,在查看器中检查数据以确定其结构和属性。您需要将结构映射到新的数据系统。
确定目标
检查完源数据后,就可以根据源数据的结构和属性选择合适的目标数据存储解决方案。有时,您需要更改数据的结构、属性甚至格式,以适应新的数据存储解决方案。对于数据集成,您需要重新组织源数据以适应目标数据的规格。
概括数据迁移策略
一旦确定了数据迁移的需求和目标,就需要制定执行计划。数据迁移计划是成功迁移的路线图。
要弄清楚数据迁移过程的运作方式,应该先确定以下事项:
- 您需要的系统和数据迁移工具
- 安全要求
- 任何数据转换流程
- 费用和人力资源需求
- 数据迁移过程的大致时间表
数据迁移策略还应确定数据迁移对用户的潜在影响。这包括制定运营应急计划或创建一系列通信,提醒用户注意计划中的停机。
实施技术方面的内容
在运行数据迁移过程之前,必须先设置目标环境,包括安全性和权限。如果可行,创建一个数据迁移管道的代码,作为提供自动化、可重复使用的解决方案。您可以将该代码用于将来的类似迁移,也可以将其保留作为记录在案的过程证明。编码后的管道可作为实时数据迁移计划。
测试解决方案
测试对于降低与数据迁移过程相关的风险至关重要。测试类型取决于数据和解决方案。例如,您可以选择较小的数据块(例如虚拟数据),甚至是实时系统数据的副本进行测试。对于数据集成,请确保新的测试数据和现有数据相匹配。
运行数据迁移
成功完成测试后,您可以计划和运行数据迁移。为了在发生意外事件时进行故障排除,请确保整个过程中都能向合适的团队寻求帮助,即使是在下班后运行迁移。
数据迁移完成后,在新环境中检查实时数据,以检查其正确性并确保系统按预期运行。一旦新系统在给定时间内按预期运行,您就可以放心地停用旧环境。
数据迁移面临哪些挑战?
鉴于数据在组织环境中的重要性,数据迁移非常复杂,需要仔细进行风险评测。接下来,我们将介绍一些常见的挑战。
业务持续性
在进行数据迁移时,应尽可能减少服务中断。如果无法避免停机或速度减慢,请安排在正常工作时间之外进行迁移。通过电子邮件、应用程序内通知和固定社交媒体帖子等渠道向用户发送大量警告。
迁移成本
在传输数据时,工具、人力资源、新的数据基础设施和停用旧数据基础设施等方面都会产生成本。在开始迁移之前,请确保为所有方面做好预算。务必将应用程序停机期间,因生产力损失或收入损失而导致的任何成本考虑在内。为了将迁移影响成本降至最低,请尝试减少中断,并确保所有受影响的用户提前知晓迁移事宜。
数据安全
要确保传输过程中和新环境中的数据安全,需要仔细规划。您可能需要在传输前执行复杂的加密,并为传输过程创建虚拟专用网络。在迁移之前,请对新环境的安全规则和权限进行全面的测试和评测。
新系统失效和故障
确保在所有场景下成功完成数据迁移是一项艰巨的任务。有时传输数据可能会失败或产生意想不到的结果。如果出现故障和失效,您需要实施应急计划。务必进行备份,以便在需要时可以回滚到旧的数据系统。
有哪些数据迁移最佳实践?
以下是一些提高数据迁移过程效率和成本效益的建议。
清晰概述业务案例
为了使数据迁移项目取得成功,迁移的业务案例必须清晰且有根据。
例如,假设用户已经在业务的现有数据库上运行查询。该组织已经购买了新的数据分析解决方案,但到目前为止,只有三人接受了有关该解决方案的培训,培训将在一年内推出。如果他们在培训完成之前尝试迁移数据库,则组织可能会面临不利的业务结果。
仔细评测解决方案空间
与常规比较购买决策相比,新的数据解决方案可能需要更多的决策因素。例如,当组织将应用程序迁移到云端时,可能需要考虑在直接迁移之前对其架构进行容器化。容器化将有助于最大限度地发挥云基础设施的优势。这两种不同策略的目标解决方案也完全不同。
清理数据
虽然并非总是必要的,但最好在迁移之前清理数据。这包括重复数据删除、删除不完整数据和删除不正确数据之类的任务。
完整记录流程
记录数据迁移项目支持收购、合并和合规活动等案例的审计报告。这还有助于收集内部经验教训和组织知识。
AWS 如何帮助您满足数据迁移需求?
Amazon Web Services(AWS)提供广泛的解决方案来帮助您迁移云数据。我们能帮助您找到满足要求所需的适当服务和资源并保证其安全,同时协助您运行流程本身。
例如,您可以使用以下数据迁移服务:
- AWS DataSync 通过端到端安全性、简化的规划和数据移动管理,安全地发现数据并迁移到 AWS。
- AWS Direct Connect 用于创建与 AWS 的专用网络连接。这样,您就可以使用多种加密选项,当数据在您的网络与 AWS 之间传输时保护其安全。
- Amazon Kinesis Data Firehose 用于流式传输数据。您可以通过可靠方式将实时数据流加载到数据湖、数据仓库和分析服务中。
- AWS Snowcone 用于部署边缘计算设备。Snowcone 设备体积小巧、坚固耐用,并且非常安全。可以随时随地提供边缘计算、数据存储和物理数据传输。适用于几乎或完全没有连接的严峻环境。
- AWS Transfer Family 可轻松管理文件传输。您还可以对 Amazon Simple Storage Service(Amazon S3)或 Amazon Elastic File System(Amazon EFS)的传输工作流进行现代化改造。只需数小时即可使用现有的身份验证系统完成此操作。
立即创建账户,开始在 AWS 上使用数据迁移。