Amazon SageMaker Ground Truth 功能

通过有监督学习，为模型提供所需输出的具体示例。这些示例称为演示数据，允许模型学习如何响应和回答未来看不见的用户请求。借助 SageMaker Ground Truth Plus，AWS 注释专家团队可以根据您的具体说明生成新的高质量演示数据。演示数据的一些示例包括图像和视频说明、文本摘要、问题答案等。演示数据可用于为您的使用案例自定义现有 FM，也可以用于微调您从头开始构建的模型。

• 问题和答案：通过问题和答案组合，您可以准备演示数据集，训练您的大型语言模型如何回答问题。

• 图像说明：使用图像说明，您可以准备数据集，详细描述图像中的场景和对象，以便训练文本到图像模型，使它们可以创建与您的意图相一致的、准确而富有创意的图像。这还可用于训练图像转文本模型，从而输出图像场景的准确描述。
  

• 视频说明：通过视频说明，您可以准备详细描述动作和视频场景的数据集，以训练文本转视频模型。高质量的视频说明训练数据可生成更准确、更具创意的视频，更符合您的目的。这还可以用于训练视频转文本模型，以便准确描述视频。
  

在基于人工反馈的强化学习 (RLHF) 中，数据注释者可以通过对模型的响应进行排名和/或分类，从而对模型产生的输出给予直接反馈和指导。这些数据被称为比较和排名数据，可用于训练模型。比较和排名数据示例包括根据准确性、相关性或清晰度等标准对文本响应从最佳到最差进行排名。比较和排名数据可用于为您的使用案例自定义现有 FM，也可以用于微调您从头开始构建的模型。

利用人工反馈，根据对您来说最重要的可自定义标准列表（例如准确性、相关性、毒性、偏见、品牌声音和风格）来评估和比较模型的输出，然后选择最适合您的使用案例的模型。AWS 为您提供了多种快速开始模型评估的方法。您可以利用 AWS 托管团队，通过 SageMaker Ground Truth 评估、比较和选择模型。您现在还可以通过 SageMaker Studio、SageMaker Jumpstart 和 Amazon Bedrock 访问模型评估功能，只需点击几下就能让您的内部团队开始评估模型。

故意尝试从模型中诱发有害响应，并系统地审查模型的输出，以发现漏洞，提高整体安全性、稳健性和可靠性。

借助 SageMaker Ground Truth，您可以将多个注释使用案例的 30 多种专门构建的标注工作流，用于图像数据、视频、文本和 3D 点云。

• 图像分类：图像分类工作流让您能够根据一组预定义的标注对图像进行分类。图像分类对于需要考虑整个图像环境的场景检测模型非常有用。例如，我们可以构建一个图像分类模型
  

• 图像对象检测：您可以使用对象检测工作流来识别和标注图像中您感兴趣的对象（例如车辆、行人、狗和猫）。标记任务涉及到在图像中您感兴趣的对象周围绘制一个边界框，即二维 (2D) 框。从带有标记边界框的图像训练而来的计算机视觉模型会了解框内的像素对应特定对象。
  

• 图像语义分割：您可以使用语义分割工作流来具体标注图像中与模型需要学习的标注对应的部分。该工作流将提供高度精确的训练数据，因为每个像素都会被标记。例如，您可以使用语义分割工作流准确地捕捉图像中汽车的不规则形状。
  

• 视频对象检测：借助于视频对象检测工作流，您可以在视频帧序列中识别感兴趣的对象。例如，在为自动驾驶汽车构建感知系统时，您可以检测汽车周边场景中的其他车辆。
  

• 视频对象跟踪：借助于视频对象跟踪工作流，您可以在视频帧序列中对感兴趣的对象进行跟踪。例如，在体育赛事使用案例中，您可以在比赛期间准确地标记运动选手。
  

• 视频片段分类：借助于视频片段分类工作流，您可以将视频文件分类到预先指定的类别。例如，您可以选择与视频内容最相符的预先指定的类别，如体育比赛，或繁忙十字路口的交通堵塞等。
  

• 文本分类：文本分类涉及到根据一组预定义的标注对文本字符串进行分类。这通常用于识别主题（例如产品说明、影评）或情感等内容的自然语言处理（NLP）模型。
  

• 命名实体识别：命名实体 (NER) 涉及到筛选文本数据以找到被称为命名实体的短语，并使用标注对每个短语进行分类，例如“人”、“组织”或“品牌”。
  

• 3D 点云对象检测：使用对象检测工作流，您可以识别和标注 3D 点云中您感兴趣的对象。例如，在自动驾驶车辆使用案例中，您可以准确地标记车辆、车道和行人。
  

• 3D 点云对象跟踪：使用对象跟踪工作流，您可以跟踪您感兴趣的对象的轨迹。例如，自动驾驶车辆需要跟踪其他车辆、车道和行人的运动。
  

• 3D 点云语义分割：使用语义分割工作流，您可以将 3D 点云的各个点分割为预先指定的类别。例如，对于自动驾驶车辆，Ground Truth 可以对存在的街道、植物和建筑进行分类。
  

SageMaker Ground Truth 使您能够创建自定义标注工作流。工作流包括：(1) UI 模板，为标注人员提供完成标注任务的说明和工具。有大量 UI 模板供您选择，您也可以上传自己的 Javascript/HTML 模板。(2) 封装在 AWS Lambda 函数中的任何预处理逻辑。Lambda 函数可以为标注员提供待标注数据的任何额外的背景信息，以及 (3) 封装在 AWS Lambda 函数中的任何后处理逻辑，用于添加精度改进算法。该算法可以评估标记员所做注释的质量，也可以在相同数据被提供给多个标记员时确定“正确的”统一标准。

SageMaker Ground Truth 使您能够通过实施质量保证措施（例如设置批准工作流、审查和更改注释、路由任务、利用机器验证和跟踪质量指标）来验证注释任务的质量。您还可以在工作流中创建共识，通过使用算法将任务审查路由给多个人，从而就数据准确度达成共识。

无论您是希望 AWS 代表您管理员工，还是利用现有的内部员工，SageMaker Ground Truth 都能提供选择和灵活性。

SageMaker Ground Truth Plus 可以代表您聘用和管理一支可扩展的领域专家队伍。例如，您可能需要一个在标注音频文件方面经验丰富或具有特定语言能力的团队。对于更高级的使用案例，您可能需要一个工作团队，能够生成书面演示数据内容。AWS 可以在全球范围内招聘、聘用、培训和管理任何规模的团队来负责不同期限的项目。AWS 托管员工队伍可以满足您的安全性、隐私性和合规性要求。

如果您拥有内部数据运营团队，团队成员可以利用 SageMaker Ground Truth 工具和工作流对各种使用案例的数据进行注释。如果您更相信自己团队的专业技术或具有数据保密要求，则可以选择此选项。

您可以从 AWS Marketplace 中选择首选注释供应商来完成 SageMaker Ground Truth 中的任务。这有助于减少寻找单个员工和组建团队的人工工作量。

无论是小型还是大型项目，通过 Amazon Mechanical Turk 众包您的注释工作都是一种经济实惠且可扩展的方法。您可以访问众多不同地域的员工，快速设计和迭代任务，并根据您的特定要求调整工作流。

使用 SageMaker Ground Truth 的内置辅助工具来减少标注所需的工作量，帮助员工高效地完成人机闭环任务，从而节省时间和成本。

SageMaker Ground Truth Plus 提供交互式控制面板和用户界面，所以您可以跨多个项目监控训练数据集的进度，跟踪项目指标，如每日吞吐量，检查标注的质量，并提供关于标注数据的反馈。