迁移到 Amazon EMR 之后
实现零服务停机时间
开源工作负载
实现 99.8% 的可用性
成本降低
30%
实现自动扩缩
以支持发展轨迹
故障排除时间
减少 25%
概览
对于 Autodesk 而言，数据是业务决策和发展策略的推动力。因此，其大数据框架的可靠性对于成功至关重要。第三方大数据解决方案存在长时间中断和效率问题，因此，Autodesk 寻求更可靠的替代方案，可以扩展以支持其持续发展。
Autodesk 转向 Amazon Web Services（AWS），成功将其复杂的数据环境迁移到 Amazon EMR。Amazon EMR 是一款业界领先的云大数据解决方案，用于使用开源框架进行 PB 级数据处理、交互分析和机器学习（ML）。现在，该解决方案可以大规模运行高性能的大数据工作负载，不仅性能快，而且不会出现长时间的中断或停机。
机会 | Autodesk 使用 Amazon EMR 改进大数据处理
Autodesk 于 1982 年成立，生产 3D 设计、工程和娱乐软件，供全球超过 1 亿客户使用。其 AutoCAD 软件可帮助架构师、工程师和建筑专业人员创建精确的数字图纸。作为一家数据驱动型公司，Autodesk 利用分析和洞察为其客户提供更好的解决方案和功能。但是，第三方大数据解决方案无法跟上其发展步伐。
Autodesk 高级工程经理 Nick Wilson 说：“我们之前的解决方案存在很多可靠性问题。数据是 Autodesk 业务的基本单位。我们需要能提供我们所需的可靠性并随着我们的发展轨迹扩展的新提供商。”
在评估不同解决方案的可靠性和性能之后，Autodesk 选择迁移到 Amazon EMR。Wilson 说：“Autodesk 仿佛 AWS 的陈列馆，从很久以前，我们就开始使用 AWS 服务。AWS 则根据我们所支付的费用提供更多样化的服务。我们可以找到一条路径，将所有工作负载从第三方提供商迁移到 Amazon EMR 和其他 AWS 服务。”
通过迁移到 Amazon EMR，我们将成本降低了 30%。我们实现了成本降低，同时显著改善了我们的安全状况。”
Anitha Matta
Autodesk 的 Engineering Manager of Platform Infrastructure
解决方案 | 通过 AWS 迁移加速计划迁移 PB 级数据，同时增强安全性和可靠性
要将 Autodesk 的大数据工作负载迁移到 Amazon EMR，这不是一件容易的事。这项工作涉及迁移来自 30 个不同团队的工作负载，而每个团队使用不同的编码语言并运行不同类型的查询。此外，Autodesk 的所有业务关键工作负载均基于第三方解决方案运行，公司需要避免在此过程中出现不必要的中断。为促进复杂的迁移，Autodesk 参与 AWS 迁移加速计划（AWS MAP），该计划采用以结果为导向的方法来帮助加快云迁移和现代化之旅。在迁移过程中，AWS MAP 不仅为 Autodesk 提供技术方面的支持，还会提供消费抵扣金来抵消部分成本。
Wilson 说：“每当您迁移到新服务时，都需要先积累一定的使用经验，才能真正优化您的计算。利用 AWS MAP 定价，我们将迁移对利润的影响降至最低，实现无缝过渡。”
Autodesk 在 Amazon EMR 上运行 Apache Spark（一款开源的统一分析引擎），将其视作主要计算引擎。Spark 集群支持所有数据处理和提取、加载、转换管道。为处理数据负载，Autodesk 将 Amazon Elastic Block Store（Amazon EBS，一种可扩展的高性能块存储服务）支持的卷连接到 Spark 实例。这些服务可以无缝扩展以处理 Autodesk 的数据，这些数据相当于 1PB，并且每月都在增长。为支持控制面板并提供分析服务，Autodesk 在 Amazon EMR 上运行开源分布式 SQL 查询引擎 Presto。
Wilson 说：“Presto on Amazon EMR 是开发者流程的基本组成部分。这款引擎可以帮助我们的团队与数据互动并从中学习，还可以提供常规业务洞察以帮助开发新产品。”
通过采用 Amazon EMR，Autodesk 极大提高了其大数据服务的可靠性。对于依赖 Apache Spark 和 Presto 的工作负载，该公司实现了 99.8% 的可用性，并且没有遇到任何严重的中断或服务停机。Autodesk 还将故障排除时间减少 25％。
开发团队非常欣赏这种持续的可靠性，现在可以将其资源集中在其他业务领域。Wilson：“我以前不想看星期日的公司通讯。内容通常是，因为第三方解决方案出现问题，我们的业务关键流程中断。现在，我们的管道稳定运行，集群按预期运行，我们正在满足服务级别协议。与迁移之前相比，我们现在在 Amazon EMR 上运行的系统要稳定得多。”
架构图
图 1.作业提交和迁移
图 1.作业提交和迁移
单击放大后可全屏观看。
图 2.Autodesk 用于大数据处理的 AWS 架构
图 2.Autodesk 用于大数据处理的 AWS 架构
单击放大后可全屏观看。
成果 | 改善 AWS 上大数据处理的成本、性能和可靠性
通过将大数据环境迁移到 Amazon EMR，Autodesk 提高了服务的可靠性、性能和成本效率。Autodesk 的 Engineering Manager of Platform Infrastructure Anitha Matta 说：“通过迁移到 Amazon EMR，我们将成本降低了 30%。我们实现了成本降低，同时显著改善了我们的安全状况。”
开始迁移后，Autodesk 在 6 个月内实现了成本平价。由于集群在 Amazon EMR 上边界清晰，因此可以近乎实时地将成本关联至特定的工作负载。利用这些信息，团队可以确定项目的投资回报率，并做出战略决策以提高成本效率。Autodesk 还以几乎与第三方解决方案相同的价格处理和分析更大的数据集，同时提高性能和可靠性。
公司的下一步是升级 Apache Spark 集群，并使用 Amazon Elastic Kubernetes Service（Amazon EKS）采用容器化架构。Amazon EKS 是一种托管式服务，在 AWS Cloud 和本地数据中心运行 Kubernetes。Autodesk 还使用机器学习服务（例如，完全集成的开发环境 Amazon SageMaker Studio），在整个组织中整合高级功能。
Wilson 说：“自 2013 年以来，Autodesk 的大部分历程是向云端迁移。通过这次迁移，我们希望能够更顺畅地访问及时、集成和受监管的数据，帮助推动我们的发展。使用 AWS，我们已经实现这些目标。通过让数据可在 AWS 上集中访问，Autodesk 的团队（包括产品、业务、营销、销售和财务）可以使用这些数据。AWS 服务为公司内部的关键职能部门提供支持。”
Autodesk 简介
Autodesk 提供跨多个行业的软件产品和服务，为创新者提供设计支持。其 AutoCAD 软件可帮助架构师、工程师和建筑专业人员以数字方式创建精确的图纸。
使用的 AWS 服务
Amazon EMR
Amazon EMR 是行业领先的云大数据解决方案，适用于使用开源框架（如 Apache Spark、Apache Hive、Presto）进行 PB 级数据处理、交互分析和机器学习。
Amazon EBS
Amazon Elastic Block Store (Amazon EBS) 是一种易于使用且可扩展的高性能数据块存储服务，适合用于 Amazon Elastic Compute Cloud (Amazon EC2)。
AWS Migration Acceleration Program（MAP）
AWS 迁移加速计划（MAP）是一项全面且经过验证的云迁移计划，基于 AWS 将数以千计的企业客户迁移到云中的经验开发。
更多 Autodesk 故事
行动起来
无论行业无论规模，每天都有各种机构在使用 AWS 实现自身业务转型、实现企业愿景。欢迎您联系我们的专家，立即踏上您的 AWS 之旅。