利用 Amazon S3 Storage Lens 存储统计管理工具优化成本并深入了解使用情况

教程

概览

Amazon S3 Storage Lens 存储统计管理工具提供了对对象存储使用情况和活动趋势的组织范围可见性,并提出了可操作的建议,以优化成本并应用数据保护最佳实践。S3 Storage Lens 存储统计管理工具是首个具备以下功能的云存储分析解决方案:它能为 AWS Organization 中的数百甚至数千个账户提供对象存储使用情况和活动的单一视图,并通过深入分析生成多个聚合级别的见解。 使用 S3 Storage Lens 存储统计管理工具对整个组织的指标进行分析后得出的情境化建议,您可以立即采取措施来优化存储。

Amazon S3 用于在数十到数百个账户和存储桶、多个区域及数千个前缀之间存储大型共享数据集。借助 S3 Storage Lens 存储统计管理工具,您可以轻松了解您的存储并对其进行分析,以检测异常值。S3 Storage Lens 存储统计管理工具可向 S3 控制台中的交互式控制面板提供有关 S3 存储使用情况和活动的 60 多项指标(免费指标和高级指标)。所有客户均可访问免费指标,并且可以通过每月按对象收取监控费用的方式启用高级指标,以获得前缀级见解、延长数据留存时间、建议,以及将指标发布到 Amazon CloudWatch 的选项。

您将学到的内容

  • 了解免费指标和高级指标之间的区别
  • 创建、配置和浏览 S3 Storage Lens 存储统计管理工具控制面板
  • 浏览 S3 Storage Lens 存储统计管理工具的使用案例 

先决条件

您需要一个 AWS 账户才能完成本教程。您还需要将至少一个已填充的 Amazon S3 存储桶与您的账户关联。

访问此 支持页面,了解有关如何创建和激活新 AWS 账户的详细信息。

如需有关创建第一个 S3 存储桶的帮助,请访问 Amazon S3 用户指南

 AWS 使用经验

中级

 完成时间

30 分钟

 所需费用(使用免费指标)

免费

 所需费用(使用高级指标)

价格可能有所不同:每 100 万个监控对象每月 0.20 USD(Amazon S3 定价页面

 需要

AWS 账户和已填充的 Amazon S3 存储桶

 使用的服务

 上次更新日期

2022 年 11 月 17 日

实施

S3 Storage Lens 存储统计管理工具提供了两个可为控制面板指标选择的选项:免费和高级。

免费指标

所有 Amazon S3 客户都可以在 S3 控制台中访问交互式控制面板,其中包含预配置的存储使用情况和活动趋势视图。借助 S3 Storage Lens 存储统计管理工具的免费指标,您将获得 28 项涵盖存储桶级别各个类别的指标,以及控制面板中 14 天的历史数据。您可以按摘要、成本优化、数据保护、访问管理、性能或事件筛选控制面板,以分析特定于您的预期应用场景的指标。除了 S3 控制台中的控制面板之外,您还可以将指标以 CSV 或 Apache Parquet 格式导出至您选择的 S3 存储桶中,以供将来使用。有关 S3 Storage Lens 存储统计管理工具汇总的使用情况指标的更多信息,请参阅 Amazon S3 Storage Lens 存储统计管理工具指标词汇表

高级指标和建议

S3 Storage Lens 存储统计管理工具为所有控制面板和配置提供免费指标,并可选择升级到高级指标和建议,但需额外付费。有关更多信息,请参阅 Amazon S3 定价页面上的管理和分析选项卡。

通过升级到 Storage Lens 存储统计管理工具高级指标,您将获得 35 项额外指标以及 15 个月的历史数据。高级指标可以提高与活动相关的见解(如请求计数)、更深入的成本优化(如 S3 生命周期规则计数)、额外的数据保护(如 S3 复制规则计数)和详细的状态代码(如 403 授权错误)。您还可以深入分析前缀级别,以确定桶中最大和增长最快的前缀。此外,您还可以通过 Amazon CloudWatch 访问 S3 Storage Lens 存储统计管理工具的指标来创建警报,或者通过 CloudWatch API 将指标发送给集成的可观测性合作伙伴。可以使用高级见解来扩大生命周期规则的使用范围以实现更出色的成本优化、识别数据保护策略不足的存储桶,以及提高应用程序工作负载的性能。

S3 Storage Lens 存储统计管理工具提供自动建议,以帮助您优化存储。在 S3 Storage Lens 存储统计管理工具控制面板中,建议按上下文放置在相关指标旁边。历史数据没有资格获得建议,因为建议与最近一段时间发生的情况有关。建议仅在相关时显示。

S3 Storage Lens 存储统计管理工具建议采用以下形式: 

  • 建议
    建议会提醒您注意存储使用情况和活动的趋势,这可能表明有机会优化存储成本或应用数据保护最佳实践。
  • 标注
    标注建议会提醒您存储使用情况和活动在一段时间内出现的有趣异常,可能需要进一步关注或监控。
  • 提醒
    提醒可让您深入了解 Amazon S3 的工作原理。它们可以帮助您详细了解如何使用 S3 功能降低存储成本或应用数据保护最佳实践。 

S3 Storage Lens 存储统计管理工具每天收集指标,数据可供查询的时间为 15 个月。有关 S3 Storage Lens 存储统计管理工具汇总的存储指标的更多信息,请参阅 Amazon S3 Storage Lens 存储统计管理工具指标词汇表

第 1 步:创建 S3 Storage Lens 存储统计管理工具控制面板

1.1 — 使用您的账户凭证登录 AWS 管理控制台。在 AWS 管理控制台服务搜索栏中,输入 S3。 在服务搜索结果下方,选择 S3

1.2 — 导航到左侧面板上 Storage Lens 部分下的控制面板菜单项。接下来,选择创建控制面板

1.3 — 在常规面板下,为控制面板输入描述性名称,然后选择主区域。接下来,在状态下选择启用选项以获取更新的每日指标。

1.4 — 控制面板可以跨账户、区域、存储桶和前缀分析存储空间。在控制面板范围下,选择要包括还是排除某些区域、存储桶(或同时设置两者),以更改控制面板的范围。  

如果您选择包括区域和存储桶按钮,则可以选择包括所有区域和存储桶,或者从下拉列表中选择要包括的区域和存储桶。否则,如果您选择排除区域和存储桶按钮,则会有一个下拉选项,用于选择要排除的区域和存储桶。

在本教程中,我们将包括所有区域和存储桶。

1.5 — 指标选择下,选择要使用的选项。在本教程中,我们选择了高级指标和建议,并且包括高级指标、CloudWatch 发布前缀聚合。此外,您还可以选择要包括在控制面板中的高级指标类别。在本教程中,我们选择了活动指标、详细状态代码指标、高级成本优化指标高级数据保护指标。 您可以在 Amazon S3 用户指南的指标词汇表中找到详细的指标列表。

 

1.6 — 在指标导出下,您可以选择启用,每 24 小时将控制面板指标导出到指定的 S3 存储桶一次。

如果您选择启用此功能,则必须选择首选的输出格式和目标存储桶。

Amazon S3 Storage Lens 存储统计管理工具指标每天生成 CSV 或 Apache Parquet 格式的指标导出文件,并放置在与您的账户或其他账户关联的 S3 存储桶中。您可以将指标导出从该文件提取到所选分析工具,例如 Amazon QuickSightAmazon Athena,并在其中分析存储使用情况和活动趋势。

要了解更多信息,请参阅有关 S3 Storage Lens 存储统计管理工具数据导出的文档。
1.7 — 接下来,选择 创建控制面板。创建控制面板后,可能需要 24 到 48 小时才能生成初始指标。

在此期间,您可以在指标生成后随时离开并返回本教程。

第 2 步:导航到 S3 Storage Lens 存储统计管理工具控制面板

2.1 — 通过访问 Amazon S3 控制台返回控制面板,然后转到控制面板菜单项,就像在步骤 1.2 中所做的那样。打开控制面板后,可以展开筛选器面板,按账户、区域、存储类、存储桶前缀临时筛选控制面板数据。

2.2 — 下一节是各种指标的快照。如果使用高级指标,则可以看到一条趋势线,显示每个指标在过去 30 天内的趋势以及百分比变化(如果使用免费指标或启用高级指标的时间不到 30 天,则为过去 14 天)。默认情况下,变动百分比比较列中的数字显示日/日百分比变化。您可以选择按周/周或月/月进行比较。

此外,您还可以从下拉列表中选择不同的指标组来查看快照概览。选项包括摘要、成本优化、数据保护、活动、访问管理、事件性能

2.3 — 在快照面板下,您将看到趋势和分布部分。在本部分,您可以比较某个日期范围内的两个指标,您可以指定该范围,以查看一段时间内的趋势。

2.4 — 在右下方,控制面板还显示了这两个指标以及它们在存储类AWS 区域之间的分布情况。您可以单击此图表中的任何值,然后向下钻取以根据该值筛选整个控制面板,也可以选择分析依据以导航到该维度的新控制面板视图。

2.5概述选项卡上的最后一部分允许您对某个日期范围内的指标进行前 N 个分析,其中 N 介于 1 到 25 之间。在下面的示例中,我们按降序选择了总存储指标的前三项。

然后,您可以查看在所选指标上排名前三的账户、区域、存储桶和前缀,以及相关的趋势。

您可以查看控制面板上的其他选项卡,了解有关您的 账户、区域、存储类、存储桶前缀的更具体指标。

 

 

 

 

 

 

第 3 步:浏览 S3 Storage Lens 存储统计管理工具的使用案例

在本节中,我们将介绍 S3 Storage Lens 存储统计管理工具的三个使用案例:识别未受监控的大型存储桶;使用 S3 存储类优化成本;以及发现不再访问或很少访问的存储桶。

识别您不知道的大型存储桶(免费套餐)

管理存储成本的第一步是详细了解各存储桶的 S3 使用情况。使用 S3 Storage Lens 存储统计管理工具,您可以访问账户中所有存储桶的集中视图。您甚至可以在 AWS Organization 级别配置控制面板,以查看所有账户中的所有存储桶。使用 S3 Storage Lens 存储统计管理工具可以轻松查看所有存储桶,从而获得意想不到的发现,例如存储桶中的对象比预期的要多。

3.1 — 在 S3 Storage Lens 存储统计管理工具控制面板的顶部,导航到存储桶选项卡。

3.2 — 在 前 N 个存储桶文本字段中输入要查看的存储桶数量(最多 100 个),选择该数字。在本示例中,我们选择查看 10 个存储桶。

3.3 — 在存储桶趋势图表上,您不仅可以查看哪个存储桶的总存储最高,还可以查看哪些存储桶的增长最多。在这张图中,很明显 bucket1 保持了持续增长,同时存储空间也最大。

我们可以深入研究这个存储桶以收集更多见解,例如平均对象大小、非当前版本字节的百分比或最大的前缀。

3.4 — 然后,您可以在 Amazon S3 控制台中导航到该存储桶,以了解相关的工作负载并根据账号识别存储桶的内部所有者。接下来,您可以从存储桶所有者那里了解这种增长是否符合预期,或者是意料之外的增长,现在可以将其置于适当的监控和控制之下。

增加 S3 存储类的使用量

节省存储成本的最明显途径之一是通过 Amazon S3 存储类根据访问频率和性能需求优化存储成本。Amazon S3 提供了一系列存储类,您可以根据工作负载的数据访问、弹性和成本要求进行选择。这些存储类包括:

  • S3 Standard,用于对经常访问的数据进行通用存储
  • S3 Intelligent-Tiering,适用于访问模式未知或不断变化的数据
  • S3 Standard-Infrequent Access(S3 Standard-IA)S3 One Zone-Infrequent Access(S3 One Zone-IA),适用于长期存在,但访问频率较低的数据
  • Amazon S3 Glacier Flexible Retrieval、Amazon S3 Glacier Instant Retrieval Amazon S3 Glacier Deep Archive,适用于长期存档和数字保留
如果您不确定当前是如何使用 S3 存储类的,S3 Storage Lens 存储统计管理工具提供了一种简单的方法来找出答案。
3.5 — 从“概述”选项卡中,向下滚动到 存储类分布图,如下所示:

如果您发现所有或几乎所有存储字节都在 S3 Standard 存储类中,则意味着您可以通过探索其他 S3 存储类来优化使用情况,以最好地适应您的应用场景。如果您看到这样的视图,可能可以从探索成本优化设计模式中受益。

首先,您可以使用 S3 Intelligent-Tiering 存储类自动进行成本优化,该存储类非常适合未知或不断变化的访问模式。其次,对于已知的访问模式,您可以配置 Amazon S3 生命周期策略,通过将数据过渡到更具成本效益的存储类来降低存储成本,因为访问频率会随着时间的推移而降低。查看 Amazon S3 定价页面,了解有关确切节省的更多详细信息,并注意过渡和按对象开销使用 S3 Glacier 存储类所产生的额外费用。

然后,您可以继续在 S3 Storage Lens 存储统计管理工具中进行分析,更深入地探索存储类的使用情况,深入查看特定区域或存储桶(如果已升级到高级层级,则为前缀)的存储类分布。存储桶子集的配置未达到最佳状态的情况很常见,您可以从使用不同或额外 S3 存储类中受益。S3 Storage Lens 存储统计管理工具是一种有效的工具,可以在继续采取进一步措施之前筛选这些存储桶。

发现变冷的存储桶

如果您的存储桶已变冷,这意味着这些存储桶中的存储空间不再被访问(或很少访问),通常表明相关工作负载已不再使用。如果您已启用 S3 Storage Lens 存储统计管理工具高级指标,则可以访问活动指标,以了解存储桶有多热(或多冷)。诸如 GET 请求数和下载字节数之类的指标可以显示存储桶每天的访问频率。您可以对这些数据几个月的趋势进行分析(高级层级可延长数据留存期),以了解访问模式的一致性并发现不再访问的存储桶。检索率百分比指标(按下载字节数/总存储空间计算)是一个实用的指标,可以了解存储桶中日常访问的存储空间所占的比例。请记住,如果在一天中多次下载同一对象,则下载字节会重复。

可视化已变冷的存储桶的最佳方法是通过控制面板存储桶选项卡上的气泡分析图。气泡分析图允许您使用任意三个指标在多个维度上绘制存储桶,以表示气泡的 x 轴、y 轴和大小。

3.6 — 导航到存储桶选项卡,然后向下导航到气泡分析图。选择总存储空间、检索率百分比平均对象大小

如果您深入研究任何检索率为零(或接近零)且相对存储容量较大的存储桶,则可以找到已经变冷且存储成本可能足够高,值得采取行动的存储桶。在本示例中,我们将看一看 bucket10 和 bucket1。

从这里,您可以确定组织中的存储桶所有者,从而确认工作负载的用途,并了解是否仍然需要存储。如果不需要,您可以通过配置生命周期过期策略或将数据存档在 Amazon S3 Glacier 存储类来降低成本。而且,为了避免将来出现冷存储桶问题,您可以应用本指南前面提到的建议设计模式之一,使用 S3 生命周期策略来自动转换数据,或者使用 S3 Intelligent-Tiering 来启用自动存档

第 4 步:清理

在本教程中,我们建议您在检索的见解中发现价值,请保持打开高级指标建议。请注意,如果您选择此选项,将会继续产生费用。

或者,您可以选择通过关闭高级指标建议来停止产生成本。 您仍然可以在控制面板上访问免费指标

4.1 — 要关闭 高级指标和建议,请导航到控制面板顶部,然后选择 查看控制面板配置

4.2 — 选择控制面板配置页面右上角的编辑按钮。

4.3 — 向下滚动到指标选择面板,然后选择免费指标。接下来,选择保存更改

总结

恭喜! 您已经学习了如何创建、配置和导航 Amazon S3 Storage Lens 存储统计管理工具控制面板,并探索了三个优化对象存储成本的使用案例。  

此页内容对您是否有帮助?

后续步骤

要了解有关 Amazon S3 Storage Lens 存储统计管理工具的更多信息,请访问 Amazon S3 用户指南和产品页面。