适用于 Amazon S3 的 Mountpoint

通过文件接口访问 Amazon S3 的弹性存储和吞吐量
开始使用适用于 Amazon S3 的 Mountpoint

概览

适用于 Amazon S3 的 Mountpoint 是一个开源文件客户端，您可以使用它在计算实例上挂载 S3 存储桶，并将其作为本地文件系统进行访问。它会自动将本地文件系统 API 调用转换为 S3 对象上的 REST API 调用。适用于 Amazon S3 的 Mountpoint 针对高吞吐量性能进行了优化。它基于 AWS Common Runtime（CRT）库构建，该库专为高性能和低资源使用量而构建，旨在有效利用您的计算资源。

优势

适用于 Amazon S3 的 Mountpoint 将 S3 对象作为文件呈现在本地文件系统中，并将本地文件系统 API 调用转换为对 S3 对象的 REST API 调用。它支持执行顺序和随机读取操作，还支持执行顺序写入操作以创建新文件。

使用适用于 Amazon S3 的 Mountpoint 的应用程序将受益于与 AWS CRT 库的集成，该库实施适用于 S3 客户端的最佳实践性能设计模式。

客户的反馈和贡献推动了适用于 Amazon S3 的 Mountpoint 的发展。要提供反馈和贡献，请访问 GitHub。

您可以可靠地纵向扩展和缩减数千个实例，处理 Amazon S3 数据湖中的 PB 级数据。

您可以在 Amazon EC2 实例存储、实例内存或 Amazon EBS 卷中缓存数据，以提高应用程序的成本和性能。要开始使用，请参阅文档。

何时使用适用于 Amazon S3 的 Mountpoint

适用于 Amazon S3 的 Mountpoint 非常适合那些需要读取大型数据集（TB 级到 PB 级）且需要 Amazon Simple Storage Service（Amazon S3）的弹性和高吞吐量的工作负载。常见应用场景包括大规模机器学习（ML）训练、自动驾驶汽车模拟、基因组学分析和图像渲染。尽管这类工作负载通过多个计算实例读取大型数据集，但它们会从单个节点按顺序写入文件。这意味着他们不需要锁定等共享文件系统功能。

适用于 Amazon S3 的 Mountpoint 的设计宗旨是，它公开 Amazon S3 的原生性能，并且不支持无法针对 S3 对象 API 有效实施的文件系统操作。这意味着适用于 Amazon S3 的 Mountpoint 不会尝试模拟 S3 对象 API 中没有类似功能的共享文件系统功能。对于需要共享文件系统功能（例如文件锁定和 POSIX 权限）的应用程序，您可以使用适用于 Lustre 的 Amazon FSx 以及与 S3 存储桶的数据存储库关联。

工作原理

Mountpoint for Amazon S3 - How it works diagram

客户

  • Continental

    Continental 开发开创性技术和服务，以实现人员及其货物的可持续、互联交通。这家科技公司成立于 1871 年，为车辆、机器、交通和运输提供安全、高效、智能且经济实惠的解决方案。

    AWS 存储博客：Continental 如何在自动驾驶技术开发中使用适用于 Amazon S3 的 Mountpoint – 将模拟性能提高 20%

    Continental 的高级驾驶员辅助系统（ADAS）技术通过自适应巡航控制和紧急制动辅助等功能实现高水平的驾驶舒适度并避免碰撞。验证 ADAS 开发需要在 Amazon EC2 实例上运行的计算工作负载中重新模拟存储在 Amazon S3 中的大量输入数据。适用于 Amazon S3 的 Mountpoint 使我们能够减少等待将数据复制到 EC2 实例进行处理所花费的空闲时间。凭借其高吞吐量性能，适用于 Amazon S3 的 Mountpoint 拓宽了我们对 EC2 实例类型的选择，显著降低了我们的计算成本。

    Continental 云模拟平台产品负责人 The An Binh Nguyen

  • Untold Studios

    Untold Studios 是一家获得英国电影和电视艺术学院奖、艾美奖和格莱美奖提名的工作室，致力于通过音乐、电视和广告打造文化。Untold Studios 开发原创节目、制作音乐和广告内容，并制作世界一流的视觉特效，所有这些都通过下一代技术实现。

    Untold Studios 之所以选择使用 AWS，是因为后者能够快速迭代基础设施并利用新技术。适用于 Amazon S3 的 Mountpoint 可以降低存储成本并简化我们的渲染工作流程的架构，这些工作流程需要高吞吐量访问权限才能读取和写入 TB 级的瞬态文件。这使我们的应用程序能够通过文件接口直接访问 Amazon S3 的弹性吞吐量和存储空间，从而为艺术家和项目在主文件系统上腾出性能和容量。

    Untold Studios 技术主管 Sam Reid

  • Amagi

    Amagi 是全球媒体技术 SaaS 领导者，为广播和流媒体电视提供端到端云管理的直播视频、点播视频和盈利解决方案。

    在 Amagi，我们高度依赖 Amazon S3 来存储大量的视频、音频、图形和元数据。过去，我们尝试了各种基于 Fuse 的文件系统和基于 S3 的存储基础设施，但它们未能满足我们对广播级播放系统的 SLA 要求。使用适用于 Amazon S3 的 Mountpoint 进行长期实验时实现的持续高读取吞吐量令我们十分兴奋。我们优先考虑为客户提供具有成本效益的解决方案，同时保持高 SLA 标准，适用于 Amazon S3 的 Mountpoint 将使我们能够在多种产品上做到这一点。

    Amagi 平台和直播电视工程经理 Arpit Malani

  • Rivian

    Rivian Automotive, Inc. 是一家美国电动汽车制造商，同时也是一家汽车技术和户外休闲用品公司，成立于 2009 年。

    我们在 Amazon S3 中存储了数 PB 的数据，用于运行模拟程序和数据管道，从而提升自动驾驶系统的精确度，并为自动驾驶模型的开发提供快速反馈。我们的内部工具通过文件系统接口读取模拟数据集并写入结果。在这方面，适用于 Amazon S3 的 Mountpoint 无疑为我们带来了革命性的变化。它无需更改任何代码，即可通过文件系统接口实现对象的高吞吐量访问。通过使用 Mountpoint，我们的文件下载速度提高了 4 倍，并且能够轻松扩展至每秒 TB 级的聚合吞吐量，助力我们的团队更快地完成工作任务。

    Narendra Nath Challa，Rivian 自动驾驶数据运营高级软件工程师