Autodesk 使用 AWS 将大数据处理成本降低了 90%

Autodesk 是建筑、工程、制造、媒体和娱乐行业 3D 设计领域的出色软件提供商。全球有超过 1 亿人使用 Autodesk 产品，其中包括计算机辅助设计和建筑信息模型软件。

为跟上不断扩大的用户群的步伐，Autodesk 开始与 Amazon Web Services（AWS）合作改进 Autodesk Data Platform（ADP）。Autodesk Data Platform 是一个数据仓库，可根据产品使用情况生成详细的洞察和分析。依靠 ADP 得出的指标（例如活跃用户、用户采用率、产品版本等），Autodesk 可以提高产品性能并发现更好地服务客户的新机遇。

2019 年 8 月，ADP 以每小时约 150GB 的速度接收数据，比其处理能力多出 50GB。Autodesk 预计，数据量将迅速激增，原因在于两个关键因素：Autodesk 的软件订阅用户增加，并且其桌面产品的每个新版本都会生成更多的产品使用数据。

Autodesk 亚太地区担任 Senior Data Engineering Manager 的 Deanne Marie Lim 说：“我们预测将有大量数据流入 ADP，必须进行改进。我们需要增强现有系统，以处理高达 150GB 的 10 倍的传入数据激增，这是该平台收到的最大数据量。还需要提高数据处理速度并将可用性增加到一小时，并且使处理成本降低 70％。”

在转型项目之前，Autodesk 在 AWS 基于 Spark 的系统上运行其数据平台。Autodesk 团队每小时观察一次产品使用情况，使用 Amazon Elastic Compute Cloud（Amazon EC2）来安排每小时清理和处理原始数据。但是，由于横向扩展的容量有限，当数据量在给定小时内飙升至 100GB 以上时，该平台经常会出现故障。因此，团队不得不手动重新运行作业，从而产生额外的成本，同时降低团队的效率。

此外，在清理原始数据（耗时长达四个小时）后，Autodesk 需要执行提取、转换、加载（ETL），以便在控制面板中展示此类数据。由于此清理和丰富过程会生成支持所有其他 ETL 和控制面板的最上游数据集，因此任何故障或延迟都会阻碍公司及时发现产品改进和其他业务发展的机遇。

Lim 补充说：“作为 AWS 合作伙伴网络（APN）的成员，对于如何利用无服务器解决方案来改善数据平台，我们拥有第一手的洞察。AWS 提供有价值的必要工具和技术，供我们解决当前挑战。特别是，AWS Lambda 和 Amazon DynamoDB 帮助我们解决了现有数据清理和丰富流程中遇到的问题。我们在一年内开发了可持续、可扩展且经济高效的解决方案。”

AWS 助力将 ADP 从批处理模型转变为在 AWS Lambda 上运行的基于事件的模型。这样的话，Autodesk 就能在数据到达时立即处理数据，而不是按预定时间进行处理（这会导致分析延迟）。AWS Lambda 会自动进行 ETL 聚合，现在数据几乎能实时处理，而不是按小时处理。

为实现高吞吐量、低延迟和近乎实时的处理，Autodesk 采用了 Amazon DynamoDB。借助 Amazon DynamoDB，ADP 可以在几毫秒内处理数千个并发请求。此外，Amazon Simple Storage Service（Amazon S3）还用于构建安全的数据湖并实现高数据可用性。

现在，ADP 每天可以自动处理超过 60 亿个数据事件，相当于 12TB 的数据，并且数据在收到后两分钟内就可用，低于之前的四小时。

Lim 总结道：“得益于 AWS，我们已经超额完成目标。我们将成本降低了多达 90％，并通过近乎实时的数据处理增强了对业务用户的分析。现在，我们可以对用户体验做出更有意义的改进。例如，通过跟踪有关过去用户活动的实时收集数据，我们可以向最终用户建议如何改善他们的软件使用方式。借助 AWS，我们现在可以向客户提供有价值的洞察。”

这一实施的成功激励 Autodesk 继续与 AWS 合作，将基于事件的建模应用于其他产品使用数据集。展望未来，Autodesk 计划发展其数据平台以支持预测分析。借此，公司能够分析常见的使用模式并提供实时建议以改善用户旅程，从而增强用户体验。