Amazon SageMaker 常见问题

SageMaker 在整个 ML 生命周期中提供专门构建的 ML 治理工具。借助 Amazon SageMaker 角色管理器，管理员可以在几分钟内定义最低权限。Amazon SageMaker 模型卡让您可以更轻松地捕获、检索和共享从概念到部署的基本模型信息，而 Amazon SageMaker 模型总览板则可以让您在一个位置了解生产模型的行为。有关
更多详情，请参阅使用 Amazon SageMaker 进行 ML 治理。

您可以使用 SageMaker Role Manager 在几分钟内定义最低权限。该服务通过预构建的 IAM policy 目录为 ML 活动和角色提供一组基线权限。您可以保留基线权限，或根据您的特定需求进一步自定义它们。通过一些自助提示，您可以快速输入常见的治理构造，例如网络访问边界和加密密钥。然后，SageMaker Role Manager 将自动生成 IAM policy。您可以通过 AWS IAM 控制台发现生成的角色和关联的策略。要进一步针对您的用例定制权限，请将您的托管 IAM 策略附加到您使用 SageMaker Role Manager 创建的 IAM 角色。您还可以添加标签以帮助跨 AWS 服务识别和组织角色。

SageMaker 模型卡通过为模型信息创建单一信任源，帮助您在整个 ML 生命周期中集中和标准化模型文档。SageMaker 模型卡可以自动填充训练详细信息以加速文档编制过程。您还可以添加详细信息，例如模型的目的和性能目标。您可以将模型评估结果附加到您的模型卡并提供可视化效果，以获得对模型性能的关键洞察。SageMaker 模型卡可以通过导出为 PDF 格式轻松地与他人共享。

SageMaker 模型总览板为您提供已部署模型和端点的全面概览，让您可以通过一个窗格跟踪资源和模型行为违规。它让您可以通过与 SageMaker Model Monitor 和 SageMaker Clarify 的集成，从四个维度监控模型行为，包括数据和模型质量，以及偏差和特征归因漂移。SageMaker 模型总览板还提供了一种集成体验，可以针对缺失和不活动的模型监控作业以及模型质量、数据质量、偏差漂移和特征归因漂移的模型行为偏差设置和接收警报。您可以进一步检查各个模型并分析随时间推移影响模型性能的因素。然后，您可以跟进 ML 从业者以采取纠正措施。

SageMaker JumpStart 可帮助您快速轻松地开始 ML。SageMaker JumpStart 为最常见的应用场景提供了一套解决方案，只需几个步骤即可轻松部署。这些解决方案是完全可定制的，并展示了 AWS CloudFormation 模板和参考架构的使用，因此可以加快您的 ML 进程。SageMaker JumpStart 还提供根基模型并支持一步式部署和 150 多种流行的开源模型的微调，例如转换器、对象检测和图像分类模型。 

SageMaker JumpStart 提供专有和公共模型。有关可用基础模型的列表，请参阅 Amazon SageMaker JumpStart 入门。

您可以通过 SageMaker Studio、SageMaker SDK 和 AWS 管理控制台访问根基模型。要开始使用专有基础模型，您必须接受 AWS Marketplace 中的销售条款。

不会。不会使用或共享您的推理和训练数据来更新或训练 SageMaker JumpStart 向客户展示的基本模型。

不能。专有模型不允许客户查看模型权重和脚本。

在提供 SageMaker Studio 的所有区域都可以发现基础模型，但部署模型的能力因所需实例类型的模型和实例可用性而异。您可以从 AWS Marketplace 的模型详细信息页面查看 AWS 区域的可用性和所需实例。

对于专有模型，您需要按模型提供商确定的软件定价付费，并根据使用的实例支付 SageMaker 基础设施费用。对于公开可用的模型，您需要根据使用的实例支付 SageMaker 基础设施费用。有关更多信息，请参阅 Amazon SageMaker 定价和 AWS Marketplace。

安全是 AWS 的重中之重，SageMaker JumpStart 旨在确保安全。因此，SageMaker 通过简单而强大的工具让您拥有和控制自己的内容，这些工具可以帮助您确定内容的存储位置、保护动态和静态内容，并为用户管理对 AWS 服务和资源的访问权限。

1. 我们不会在 AWS Marketplace 上与模型卖家共享客户训练和推理信息。同样，卖家的模型构件（例如模型权重）也不会与买家共享。
2. SageMaker JumpStart 不会使用客户模型、训练数据或算法来改善其服务，也不会与第三方共享客户训练和推理数据。
3. 在 SageMaker JumpStart 中，机器学习模型构件在传输中和静态下全部经过加密。
4. 在 AWS 责任共担模式下，AWS 负责保护运行所有 AWS 的全球基础设施。您有责任保持对在此基础设施上托管的内容的控制。

使用 AWS Marketplace 或 SageMaker JumpStart 中的模型，即表示用户承担模型输出质量的责任并承认已知悉单个模型描述中所述的功能和限制。

SageMaker JumpStart 包括来自 PyTorch Hub 和 TensorFlow Hub 的 150 多种经过预先训练且公开发布的模型。对于图像分类和对象检测等视觉任务，您可以利用 RESNET、MobileNet 和 Single-Shot Detector（SSD）等模型。对于句子分类、文本分类和问题回答等文本任务，您可以使用 BERT、RoBERTa 和 DistilBERT 等模型。

借助 SageMaker JumpStart，数据科学家和 ML 开发人员可以在其组织内轻松共享 ML 构件，包括笔记本和模型。管理员可以设置一个存储库，可供定义的一组用户访问。所有有权访问存储库的用户都可以浏览、搜索和使用模型和笔记本以及 SageMaker JumpStart 中的公共内容。用户可以选择构件，以在 SageMaker JumpStart 中训练模型、部署端点和执行笔记本。

借助 SageMaker JumpStart，您可以在构建 ML 应用程序时加快上市速度。只需几个步骤，就可以将组织内一个团队构建的模型和笔记本轻松地与组织内的其他团队共享。内部知识共享和资产重用可以显著提高组织的生产力。

符合。管理员可以跨 AWS 账户和用户主体控制哪些 Amazon SageMaker JumpStart 模型可供用户查看和使用。要了解更多信息，请参阅文档。

推理优化工具包使您可以轻松实施最新的推理优化技术，从而在 Amazon SageMaker 上实现最先进的 (SOTA) 性价比，同时节省数月的开发时间。您可以从 SageMaker 提供的常用优化技术菜单中进行选择，提前运行优化作业，对模型进行性能和精度指标基准测试，然后将优化的模型部署到 SageMaker 端点进行推断。该工具包可处理模型优化的各个方面，因此您可以更加专注于业务目标。

推理优化工具包可帮助您提高生成式人工智能应用的性价比并缩短上市时间。完全托管的模型优化工具包使您可以通过易于使用的工具访问最新的优化技术。随着时间的推移，该工具包会不断适应最先进的创新技术、新硬件和托管功能，因此也很容易升级到现有的最佳解决方案。

推理优化工具包支持 Speculative Decoding、Quantization 和 Compilation 等优化技术。您只需点击几下即可选择要添加到模型的优化，Amazon SageMaker 将管理所有无差别的繁重工作，包括采购硬件、选择深度学习容器和相应的调整参数来运行优化作业，然后将优化的模型构件保存在您提供的 S3 位置。

对于 Speculative Decoding，您可以开始使用 SageMaker 提供的草稿模型，这样您就不必从头开始构建自己的草稿模型，也不必请求路由和系统级优化。使用 Quantization 功能，您只需选择要使用的精度类型，然后开始基准测试工作，以衡量性能与精度之间的权衡。Amazon SageMaker 将生成一份全面的评估报告，因此您可以轻松分析性能和准确性之间的权衡。有了 Compilation 功能，对于最常用的模型及其配置，Amazon SageMaker 会在端点设置和扩展过程中自动获取编译后的模型构件，这样您就无需提前运行编译作业，从而节省了硬件成本。

Amazon SageMaker 推理优化工具包有助于减少优化 GenAI 模型的成本和时间，让您能够专注于业务目标。

SageMaker Canvas 是一项无代码服务，具有一个直观的点击式界面，使您能够根据数据创建高度准确的基于机器学习的预测。SageMaker Canvas 让您可以使用拖放式用户界面访问和组合来自各种来源的数据，自动清理和准备数据以最大限度地减少手动清理工作。SageMaker Canvas 应用各种最先进的 ML 算法来寻找高度准确的预测模型，并提供直观的界面来进行预测。您可以使用 SageMaker Canvas 在各种业务应用程序中进行更精确的预测，并通过共享模型、数据和报告轻松与企业中的数据科学家和分析师协作。要了解有关 SageMaker Canvas 的更多信息，请参阅 Amazon SageMaker Canvas 常见问题。

SageMaker Canvas 根据使用量付费。SageMaker Canvas 使您能够以交互方式摄取、探索和准备来自多个来源的数据、使用您的数据训练高度准确的 ML 模型并生成预测。您的账单由两个部分决定：基于使用或登录 SageMaker Canvas 的小时数的会话费用，以及基于用于构建模型的数据集大小的模型训练费用。有关更多信息，请参阅 Amazon SageMaker Canvas 定价。

Amazon SageMaker Pipelines 帮助您创建从数据准备到模型部署的全自动 ML 工作流，让您可以在生产中扩展到数千个 ML 模型。您可以使用 SageMaker Python SDK 创建 Pipelines，并从 SageMaker Studio 的可视化界面查看、执行和审核它们。SageMaker Pipelines 管理步骤之间的数据、打包代码配方并编排其执行，从而将数月的编码工作缩短至几个小时。每次执行工作流时，都会保存已处理数据和所采取措施的完整记录，以便数据科学家和 ML 开发人员可以快速调试问题。

使用 SageMaker Pipelines 不收取额外费用。您只需为 SageMaker Pipelines 中使用的基础计算或任何单独 AWS 服务支付费用。

将 SageMaker 组件用于 Kubeflow 管道无需额外付费。 

人机闭环是在整个机器学习生命周期中利用人类输入来提高模型的准确性和相关性的过程。人类可以执行从数据生成和注释到模型审查和定制等各种任务。人类干预对于生成式人工智能应用尤其重要，人类通常既是内容的请求者又是内容的消费者。因此，人类训练基础模型（FM）如何准确、安全和相关的响应用户的提示至关重要。可以应用人类反馈来帮助您完成多项任务。首先，通过有监督学习（人类模拟模型应如何响应用户提示的风格、长度和准确性）和提供人类反馈的强化学习（人类对模型响应进行排名和分类）为生成式人工智能应用程序创建高质量的标记训练数据集。其次，使用人工生成的数据针对特定任务或使用您的公司和领域特定数据来定制 FM，并使模型输出与您相关。

人机闭环功能在创建和改进由 FM 提供支持的生成式人工智能应用程序方面发挥重要作用。接受过任务指南培训的高技能员工可以在一些活动中提供反馈、指导、意见和评测，例如生成演示数据以训练 FM、纠正和改进样本响应、根据公司和行业数据微调模型、通过行动防范毒舌和偏见，等等。因此，人机闭环功能可以提高模型的准确性和性能。 

Amazon SageMaker Ground Truth 提供最全面的人机交互功能。有两种使用 Amazon SageMaker Ground Truth 的方法：自助式产品和 AWS 托管产品。在自助式产品中，您的数据注释者、内容创建者和提示工程师（内部、供应商管理或利用公共人群）可以使用我们的低代码用户界面来加速人机闭环任务，同时可以灵活地构建和管理您自己的自定义工作流程。在 AWS 托管的产品（SageMaker Ground Truth Plus）中，我们为您处理繁重的工作，包括为您的使用案例选择和管理合适的员工。SageMaker Ground Truth Plus 设计和定制端到端工作流程（包括详细的员工培训和质量保证步骤），并提供熟练的 AWS 管理团队，该团队接受过特定任务方面的培训，并满足您的数据质量、安全性和合规性要求。 

SageMaker Data Wrangler 可将汇总和准备机器学习数据所需的时间从数周缩短至几分钟。通过 SageMaker Studio 中的单一界面，只需几个步骤即可浏览和导入来自 Amazon S3、Amazon Athena、Amazon Redshift、AWS Lake Formation、Amazon EMR、Snowflake 和 Databricks 的数据。您还可以查询和导入从 50 多个数据来源传输并通过 Amazon AppFlow 在 AWS Glue Data Catalog 中注册的数据。SageMaker Data Wrangler 将自动加载、聚合和显示原始数据。将数据导入 SageMaker Data Wrangler 后，您就可以看到自动生成的列摘要和直方图。然后，您可以通过 SageMaker Data Wrangler 数据质量和洞察报告更深入地了解您的数据并识别潜在错误，该报告提供汇总统计数据和数据质量警告。您还可以直接从 SageMaker Data Wrangler 运行 SageMaker Clarify 支持的偏差分析，以检测数据准备期间的潜在偏差。从那里，您可以使用 SageMaker Data Wrangler 的预构建转换来准备您的数据。当数据准备就绪后，您可以使用 Amazon SageMaker Pipelines 构建全自动 ML 工作流程，或将该数据导入 Amazon SageMaker Feature Store。

您需要为用于 SageMaker Data Wrangler 的所有 ML 计算、存储和数据处理资源支付费用。您可以在此处查看 SageMaker Data Wrangler 定价的所有详细信息。作为 AWS Free Tier 的一部分，您还可以免费开始使用 SageMaker Data Wrangler。

SageMaker Feature Store 是一个完全托管式的专用平台，用于存储、共享和管理机器学习（ML）模型特征。可以发现和共享功能，以便在具有安全访问和控制权限的模型和团队（包括 AWS 账户）之间轻松重复使用。SageMaker Feature Store 支持在线和离线功能，用于实时推理、批量推理和训练。它还管理批处理和流式特征工程管道，以减少特征创建中的重复工作并提高模型准确性。

作为 AWS Free Tier 的一部分，您可以免费开始使用 SageMaker Feature Store。使用 SageMaker Feature Store 时，您需要支付写入功能库以及从在线功能库读取和存储的费用。有关定价详细信息，请参阅 Amazon SageMaker 定价。

SageMaker 提供两种数据标注产品：Amazon SageMaker Ground Truth Plus 和 Amazon SageMaker Ground Truth。这两个选项都允许您识别原始数据，例如图像、文本文件和视频，并添加信息标签来为您的机器学习模型创建高质量的训练数据集。要了解更多信息，请参阅 Amazon SageMaker 数据标注。

SageMaker Studio Notebooks 是一步式 Jupyter notebook，可以快速启动。底层计算资源极具弹性，让您可以轻松启用或关闭可用资源，并且更改将在后台自动进行，不会干扰您的工作。SageMaker 还支持一步共享笔记本。您可以与他人轻松共享笔记本，他们将获得保存在同一位置的完全相同的笔记本。

使用 SageMaker Studio Notebooks 时，您可以通过 IAM Identity Center 使用您的企业凭证登录。在团队内和团队间共享笔记本非常简单，因为系统会在工作映像中自动跟踪运行笔记本所需的依赖关系，并在共享笔记本时将其封装在笔记本内。

ML 从业者可以创建一个共享工作区，团队成员可以在其中一起阅读和编辑 SageMaker Studio 笔记本。通过使用共享步调，团队成员可以共同编辑同一个笔记本文件，同时运行笔记本代码，并一起查看结果，以消除来回和简化协作。在共享空间中，ML 团队将内置对 BitBucket 和 AWS CodeCommit 等服务的支持，因此他们可以轻松管理笔记本的不同版本并比较随时间变化的变化。从笔记本中创建的任何资源（例如实验和 ML 模型）都会自动保存并与创建它们的特定工作区相关联，因此团队可以更轻松地保持井井有条并加速 ML 模型开发。

不需要。您可以在同一计算实例上创建并运行多个笔记本。您只需为使用的计算付费，不需要为各个项目付费。您可以在我们的计量指南中了解更多相关信息。

除了笔记本之外，您还可以在 SageMaker Studio 中启动和运行终端和交互式 Shell，一切操作均在同一计算实例上执行。每个应用程序都在容器或映像内运行。SageMaker Studio 提供了多个内置映像，这些映像是为数据科学和机器学习专门构建和预先配置的。

您可以通过 SageMaker Studio 可视化界面和 AWS 管理控制台来监视和关闭 SageMaker Studio 笔记本所使用的资源。 有关更多详细信息，请参阅文档。

否，您无需为创建或配置 SageMaker Studio 域（包括添加、更新和删除用户资料）付费。

作为管理员，您可以在 AWS Billing Console 中查看 SageMaker（包括 SageMaker Studio）的逐项收费列表。在用于 SageMaker 的 AWS 管理控制台中，选择顶部菜单上的 “服务”，在搜索框中键入“账单”并从下拉列表中选择 “账单”，然后在左侧面板上选择 “账单”。在 “详细信息” 部分中，您可以选择 SageMaker 展开区域列表并向下钻取到逐项收费。

SageMaker Canvas 有助于您无缝发现账户有权访问的 AWS 数据来源，包括 Amazon S3 和 Amazon Redshift。您可以使用 SageMaker Canvas 可视化拖放界面浏览和导入数据。此外，您还可以从本地磁盘拖放文件，并使用预构建的连接器从第三方源（如 Snowflake）导入数据。

连接源、选择数据集并准备好数据后，您可以选择要预测的目标列以启动模型创建任务。SageMaker Canvas 将自动识别问题类型，生成新的相关特征，使用 ML 技术（例如线性回归、逻辑回归、深度学习、时间序列预测和梯度提升）测试一组全面的预测模型，并构建基于您的数据集进行准确预测的模型。

符合。SageMaker 可以自动在 AWS GPU 实例之间分配深度学习模型和大型培训集，只需花少量时间手动构建和优化这些分配策略即可。SageMaker 应用的两种分布式训练技术是数据并行和模型并行。通过在多个 GPU 实例之间平均划分数据，并允许每个实例同时进行训练，可应用数据并行，从而提高训练速度。模型并行对于太大而无法存储在单个 GPU 上，并且需要在将其分布到多个 GPU 之前划分为较小部分的模型很有用。只需在 PyTorch 和 TensorFlow 训练脚本中额外添加几行代码，SageMaker 就可以为您自动应用数据并行或模型并行，让您更快地开发和部署模型。SageMaker 将通过使用图形分区算法来确定拆分您的模型的最佳方法，以平衡每个 GPU 的计算量，同时尽量减少各 GPU 实例之间的通信。SageMaker 还可通过算法对您的分布式训练任务进行优化，这些算法充分利用 AWS 计算和网络，以实现近乎线性的扩展效率，从而让您比手动开源实施更快地完成训练。

目前提供 SageMaker 的所有区域都支持托管型 Spot 训练。

SageMaker 训练模型可以使用的数据集没有固定的大小限制。

目前不提供。只有在 SageMaker 内部使用它，才能获得最佳的模型优化性能和体验。

目前，用于优化超参数的算法是对贝叶斯算法的自定义实现。其目的是在优化过程中优化客户指定的目标参数。具体来说，它检查已完成训练任务的目标参数，然后利用这一信息推断下一个训练任务的超参数组合。

不推荐。某些超参数对模型性能的影响取决于各种各样的因素，很难肯定地说一个超参数比其他超参数更重要，因此需要对它进行优化。对于 SageMaker 的内置算法，我们会提示每个超参数是否可进行优化。

超参数优化任务的用时长短取决于多种因素，包括数据的大小、底层算法和超参数的值。此外，客户可以选择同时执行的训练任务的数量和训练任务的总数量。所有这些选择都会影响超参数优化任务的用时。

目前不提供。目前，您需要指定一个目标参数来优化或更改您的算法代码，以生成一个新指标（该指标是两个或更多有用指标之间的加强平均值），并在优化过程中对该目标指标进行优化。

超参数优化任务本身不收费。您需要按照模型训练定价为超参数调优作业启动的训练作业付费。

SageMaker Autopilot 可以自动处理典型的机器学习工作流程中的所有工作，包括特征预处理、算法选择和超参数优化，同时特别关注分类和回归使用场景。而 Automatic Model Tuning 用于优化任何模型，无论其是基于内置算法、深度学习框架还是自定义容器。为了获得灵活性，您必须手动选择具体算法、要优化的超参数和相应的搜索范围。

强化学习是一项机器学习技术，可帮助代理运用从其自己的行为和经验中得到的反馈，通过反复试验在交互式环境中学习。

可以，除了监督学习和无监督学习训练模型之外，您还可以在 SageMaker 中训练强化学习模型。

虽然监督学习与强化学习均使用输入和输出之间的映射，但强化学习使用延迟反馈，它对奖励信号进行了优化，以确保通过一系列操作实现长期目标，而不像监督学习那样，提供给代理的反馈是一组用于执行任务的正确操作。

监督学习技术的目标是根据训练数据中的模式找到正确的答案，无监督学习技术的目标是发现数据点之间的相同之处和不同之处。相比之下，强化学习 (RL) 技术的目标是学习如何实现预期结果，即使不清楚如何实现该结果。因此，RL 更适合实现智能应用，其中代理可以自主决策，例如机器人、无人驾驶车辆、暖通空调和工业控制等等。

Amazon SageMaker RL 支持许多不同的环境来训练 RL 模型。您可以使用 AWS 服务（如 AWS RoboMaker）、开源环境或自定义环境（使用 Open AI Gym 接口开发），或者使用商业模拟环境（如 MATLAB 和 SimuLink）。

不需要，SageMaker RL 包含 RL 工具包（如 Coach 和 Ray RLLib），这些工具包提供 RL 代理算法的实现，如 DQN、PPO、A3C 等等。

能，您可以将您自己的 RL 库和算法实现引入 Docker 容器并在 SageMaker RL 中运行这些实现。

符合。您甚至可以选择一个异构集群，其中训练可以在 GPU 实例上运行，而模拟可以在多个 CPU 实例上运行。

您可以缩减 SageMaker 异步推理端点实例数量到零，以便在您未积极处理请求时节省成本。您需要定义根据“ApproximateBacklogPerInstance”自定义指标进行扩展的扩展策略，并且将“MinCapacity”值设置为零。如需了解分步说明，请访问开发人员指南的自动扩展异步端点部分。 

SageMaker 无服务器推理功能是一个专门构建的无服务器模型服务选项，可让您轻松部署和扩展 ML 模型。SageMaker 无服务器推理端点会自动启动计算资源并根据流量扩大和缩小它们，让您无需选择实例类型、运行预置容量或管理扩展。您可以选择为无服务器推理端点指定内存要求。您只需为运行推理代码的持续时间和处理的数据量付费，而无需为空闲时间付费。

使用按需无服务器端点，如果您的端点有一段时间没有收到流量，然后突然收到新的请求，则您的端点可能需要一些时间才能启动计算资源来处理请求。这称为冷启动。如果您的并发请求超过当前的并发请求使用量，也可能发生冷启动。冷启动时间取决于您的模型大小、下载模型所需的时间以及容器的启动时间。

为了减少不断变化的延迟，您可以选择为无服务器端点启用预置并发。使用预置并发功能，您的无服务器端点随时准备就绪，可以即时应对突发流量，并且不会出现冷启动。

与按需无服务器推理一样，启用预置并发后，您需要为用于处理推理请求的计算容量（按毫秒计费）和处理的数据量付费。还可以根据配置的内存、预置的持续时间和启用的并发量为预置并发使用量付费。有关更多信息，请参阅 Amazon SageMaker 定价。

SageMaker Inference Recommender 通过跨 SageMaker ML 实例自动执行性能基准测试和优化模型性能，减少了将 ML 模型投入生产所需的时间。您现在可以使用 SageMaker Inference Recommender 将您的模型部署到提供最佳性能和最小成本的端点。您可以在几分钟内开始使用 SageMaker Inference Recommender，同时选择实例类型并在数小时内获得最佳端点配置的建议，从而消除数周的手动测试和调整时间。使用 SageMaker Inference Recommender，您只需为负载测试期间使用的 SageMaker ML 实例付费，无需额外费用。

否，我们目前仅支持每个端点一个模型。

目前我们只支持实时终端节点。

我们支持 Amazon SageMaker 支持的所有区域，AWS 中国区域除外。

是的，我们支持所有类型的容器。Amazon EC2 Inf1 基于 AWS Inferentia 芯片，需要使用 Neuron 编译器或 Amazon SageMaker Neo 编译的模型构件。一旦您拥有 Inferentia 目标的编译模型和关联的容器映像 URI，您就可以使用 SageMaker Inference Recommender 对不同的 Inferentia 实例类型进行基准测试。

否。SageMaker 会代您运行计算基础设施，从而执行运行状况检查、应用安全补丁和执行其他例行维护。您也可以通过在自己托管的环境中训练自定义推理代码来部署模型项目。

SageMaker 托管使用 Application Auto Scaling 自动扩展到您的应用程序所需的性能。此外，您可以通过修改端点配置，在不停机的情况下手动更改实例的数量和类型。

SageMaker 将性能指标发到 Amazon CloudWatch Metrics，这样您可以跟踪指标、设置警报，并自动响应生产流量变化。此外，SageMaker 还会将日志写入 Amazon CloudWatch Logs，让您能够监控生产环境并对其进行故障排除。

SageMaker 可托管符合推理 Docker 映像的记录规格的任何模型，其中包括利用 SageMaker 模型构件和推理代码创建的模型。

SageMaker 旨在将每秒完成的事务量扩展到一个更大值。精确的数量因部署的模型以及部署模型的目标实例的数量和类型而有所不同。

通过批量转换，您可以针对大批量或小批量数据运行预测。无需将数据集拆分为多个区块，也无需管理实时终端节点。使用一个简单的 API，您可以轻松快速地请求对大量数据记录进行预测并转换数据。

通过 SageMaker Edge Manager，您可以更轻松地优化、保护、监控和维护智能相机、机器人、个人计算机和移动设备等边缘设备队列上的机器学习模型。SageMaker Edge Manager 帮助 ML 开发人员在各种边缘设备上大规模操作 ML 模型。

要开始使用 SageMaker Edge Manager，您需要在云中编译并打包经训练的 ML 模型、注册设备、并使用 SageMaker Edge Manager SDK 准备设备。为准备模型以进行部署，SageMaker Edge Manager 使用 SageMaker Neo 为目标边缘硬件编译模型。编译模型后，SageMaker Edge Manager 用 AWS 生成的密钥对模型进行签名，然后将模型及其运行时和必要凭证打包在一起，以使其准备好进行部署。在设备端，您可以使用 SageMaker Edge Manager 注册设备，下载 SageMaker Edge Manager 开发工具包，然后按照说明在设备上安装 SageMaker Edge Manager 代理。教程笔记本提供了有关如何准备模型以及如何使用 SageMaker Edge Manager 在边缘设备上连接模型的分步示例。

SageMaker Edge Manager 支持采用 Linux 和 Windows 操作系统、基于 CPU（ARM，x86）和 GPU（ARM，Nvidia）的设备。随着时间的推移，SageMaker Edge Manager 将扩展以支持更多 SageMaker Neo 也支持的嵌入式处理器和移动平台。

不需要。您可以在其他地方训练模型，也可以使用源自开源代码或模型供应商的预训练模型。

是的，需要。SageMaker Neo 将您的模型转换并编译为可执行文件，然后将其打包并部署到您的边缘设备上。部署模型包后，SageMaker Edge Manager 代理将解压缩模型包并在设备上运行模型。

SageMaker Edge Manager 将模型包存储在指定的 Amazon S3 存储桶中。您可以使用 AWS IoT Greengrass 提供的空中下载（OTA）部署功能，也可以使用您选择的任何其他部署机制将模型包从 S3 存储桶部署到设备。

Neo dlr 是一个开源运行时系统，仅运行由 SageMaker Neo 服务编译的模型。与开源 dlr 相比，SageMaker Edge Manager 开发工具包包含一个具有附加安全性、模型管理和模型服务功能的企业级设备内置代理。SageMaker Edge Manager SDK 适用于大规模生产部署。

SageMaker Edge Manager 与 AWS IoT Greengrass 可以在您的 IoT 解决方案中一起工作。将 ML 模型与 SageMaker Edge Manager 打包在一起后，即可使用 AWS IoT Greengrass 的 OTA 更新功能将模型包部署到设备上。AWS IoT Greengrass 允许您远程监控 IoT 设备，而 SageMaker Edge Manager 可帮助您监控和维护设备上的 ML 模型。

AWS 提供在边缘设备上运行模型的最大广度和最大深度功能。我们提供的服务可支持各种使用案例，包括计算机视觉、语音识别和预测性维护。

对于希望在摄像机和家电等边缘设备上运行计算机视觉的公司，您可以使用 AWS Panorama。AWS Panorama 可随时为边缘设备部署计算机视觉应用程序。登录云控制台，指定要在 Amazon S3 或 SageMaker 中使用的模型，然后将业务逻辑作为 Python 脚本编写，即可轻松开始使用 AWS Panorama。AWS Panorama 会为目标设备编译模型并创建一个应用程序包，因此只需单击几下即可将其部署到您的设备上。此外，想要构建自己的自定义应用程序的独立软件提供商可以使用 AWS Panorama 开发工具包，并且设备制造商可使用 Device SDK 认证其设备以使用 AWS Panorama。

想要构建自己的模型并对模型功能进行更精细控制的客户，可以使用 SageMaker Edge Manager。SageMaker Edge Manager 是一项托管服务，用于跨各种边缘设备（如智能摄像机、智能扬声器和机器人）准备、运行、监控和更新机器学习模型，以用于自然语言处理、欺诈检测和预测性维护等使用案例。SageMaker Edge Manager 适用于希望控制其模型（包括设计不同的模型功能并监控模型漂移）的 ML 边缘开发人员。任何 ML Edge 开发人员都可以通过 SageMaker 控制台和 SageMaker API 使用 SageMaker Edge Manager。SageMaker Edge Manager 提供 SageMaker 的功能，可将云中的模型构建、训练和部署到边缘设备。

SageMaker Edge Manager 可在六个区域中提供：美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、欧洲（爱尔兰）、欧洲（法兰克福）和亚太地区（东京）。有关详细信息，请访问 AWS 区域性服务列表。

SageMaker Neo 让机器学习模型训练一次即可在云和边缘站点中的任何位置运行。SageMaker Neo 可以自动优化使用常用的深度学习框架构建的模型，这些框架可用于在多个硬件平台上部署。优化的模型运行速度最多可提高 25 倍，并且所消耗的资源不到典型机器学习模型的十分之一。

要开始使用 SageMaker Neo，请登录 SageMaker 控制台，选择经过训练的模型，根据示例编译模型，然后将生成的模型部署到目标硬件平台上。

SageMaker Neo 包含两个主要组件：编译器和运行时系统。首先，SageMaker Neo 编译器会读取由不同框架导出的模型。然后，它将框架特定的功能和操作转换为与框架无关的中间表示形式。接着，它会执行一系列优化。最后，编译器会为优化的操作生成二进制代码，并将其写入一个共享对象库。此外，编译器还会将模型定义和参数保存到各个文件中。在执行期间，SageMaker Neo 运行时系统会加载编译器生成的构件（模型定义、参数和共享对象库）以运行模型。

不需要。您可以在其他位置训练模型，然后使用 SageMaker Neo 为 SageMaker ML 实例或 AWS IoT Greengrass 支持的设备优化这些模型。

目前，SageMaker Neo 支持最常用的深度学习模型（此类模型支持计算机视觉应用程序），以及当今 SageMaker 中最常用的决策树模型。SageMaker Neo 可以优化 MXNet 和 TensorFlow 中训练的 AlexNet、ResNet、VGG、Inception、MobileNet、SqueezeNet 和 DenseNet 模型的性能，以及 XGBoost 中训练的分类和随机砍伐森林（Random Cut Forest）模型的性能。

您可以在 SageMaker Neo 文档中找到受支持的云实例、边缘设备和框架版本的列表。

要查看受支持区域的列表，请参阅 AWS 区域性服务列表。

可通过 AWS Organizations/整合账单系列中的任何账户购买 Savings Plans。默认情况下，Savings Plans 提供的优惠适用于 AWS Organization/整合账单系列中的所有账户的用量。不过，您也可以选择将 Savings Plans 的权益限定到仅购买过 Savings Plans 的账户。