降低了 82% 的
ML 推理成本
从 30 分钟缩减到 5 分钟
（新模型的部署时间）
即时
向现有模型发送数据
消除易错的
手动工作
加速
创新
概述
Bazaarvoice 是产品评论和用户生成内容解决方案的领先提供商，帮助品牌和零售商通过产品评级、评论以及客户照片和视频丰富其产品页面。该公司使用机器学习 （ML）来快速调整和增强内容，并加快向客户网站分发内容。
Bazaarvoice 希望改进 ML 架构，以便加快模型部署、降低其成本和工程师的工作量，并为客户加快创新。由于 Bazaarvoice 的部分基础设施已经位于 Amazon Web Services（AWS）上，因此该公司将 ML 工作负载迁移到了 Amazon SageMaker，数据科学家和开发人员可使用该服务，凭借完全托管的基础设施、工具和工作流程来准备、构建、训练和部署高质量 ML 模型。这样一来，该公司加快了模型部署，提高了可扩展性，并将成本降低了 82%。该公司正在将节省的成本进行再投资，从而进一步改善其服务。
机会 | 加速 AWS 上的 ML 创新
Bazaarvoice 总部位于德克萨斯州奥斯汀，在全球设有办事处，利用 ML 为企业零售商和品牌实现内容审核自动化。该公司收集、整合和审核评论、社交内容、照片和视频，客户可以使用这些内容来增强其产品页面并推动销售。Bazaarvoice 还使用 ML 通过语义信息来增强内容，以便帮助客户对内容进行分类并收集洞察。
Bazaarvoice 希望提高其可扩展性、速度和效率，但面临着 ML 解决方案老旧、速度较慢的挑战。例如，公司每次需要引导新客户或训练新模型时，都必须手动编辑多个模型文件、上传这些文件，然后等待系统注册更改。这个过程大约需要 20 分钟，且很容易出错。此外，该架构的原有设计容量不能够有效支持公司不断增长的规模：支持其近 1600 个模型的每台机器都需要 1 TB 的 RAM。Bazaarvoice 首席研究工程师 Lou Kratz 说：“这样的成本非常高，而且由于该架构是作为整体构建的，因此无法自动扩展，而这是我们的关键目标之一。”对于支持 Bazaarvoice 不断增长的客户数量以及对 ML 模型进行试验的方面，敏捷性至关重要。Kratz 说：“我们希望能在不达到内存限制的情况下将生产中的模型数量增加 10 倍。”
Bazaarvoice 曾考虑构建自己的无服务器托管解决方案，但是这样的项目成本高昂，又耗费人力。作为替代，该公司采用了 Amazon SageMaker 无服务器推理功能来减轻团队的运营负担，这是一种专门构建的推理选项，可让企业轻松部署和扩展 ML 模型。Bazaarvoice 高级 ML 工程师 Edgar Trujillo 表示：“这个项目是我们模型部署统一的开始。”该公司于 2021 年 12 月开始向其新系统发送流量，到 2022 年 2 月，该系统已能处理所有生产流量。
“通过使用 SageMaker 无服务器推理功能，我们可以大规模高效地进行 ML，以合理的成本和较低的运营开销快速推出大量模型。”
Lou Kratz
Bazaarvoice 首席研究工程师
解决方案 | 实现更简单、可扩展性更强的 ML 部署
借助无服务器推理功能，Bazaarvoice 可以轻松地部署模型，并在模型遇到高流量时将其移至专用端点。最终，该公司提高了吞吐量，同时降低了成本。通过将 12000 个客户端的所有模型迁移到无服务器推理功能，该公司节省了 82% 的 ML 推理成本。Bazaarvoice 每月要分析和增强数百万条内容，因此每月会调用数千万次 SageMaker，相当于每秒调用约 30 次推理。但其大多数 ML 模型每隔几分钟才会被客户端调用一次，因此 Bazaarvoice 分配专用资源的做法是行不通的。Kratz 说：“我们需要灵活地在大型、昂贵模型的专属主机和不常用模型的低成本选项之间进行切换。”借助无服务器推理功能，该公司可以无缝纵向扩展或缩减以满足需求，从而提高效率并节省成本。Kratz 说：“对我们来说，最大的好处在于我们不必管理服务器或为不使用的计算时间付费。”“而且我们可以和新增内容保持同步，这样客户端能及时看到内容的调整和增强情况。”
Bazaarvoice 分发内容的速度越快，其客户就可以更快地向新的最终用户展示该内容。借助 SageMaker，整个过程只需要 5 分钟。Kratz 说：“过去，向现有模型发送新客户端数据需要 15-20 分钟。”“现在，一眨眼的功夫就完成了。” 而且，部署全新模型只需 5 分钟，无需 20-30 分钟。在 AWS 上，Bazaarvoice 的模型交付吞吐量有所增加。在向无服务器推理发送任何内容之前，该公司可以先构建、发布并在其上运行模型，以评估模型性能，从而降低使用实时内容的风险。而且，当需要向模型发送内容时，也无需重新部署，因为该模型已在 SageMaker 上运行。相反，可以在验证完成后立即部署新模型。Bazaarvoice 技术研究员 Dave Anderson 说：“借助 Amazon SageMaker，我们的实验能力得到了极大提升，并能以经济高效的方式快速将新模型投入生产。”“我们可以灵活地推动价值主张向前发展，这非常振奋人心。” 该公司帮助其数据科学家加快了研究速度，并为客户增加了更多价值。
Bazaarvoice 向其中一个 ML 模型推送内容时，该模型会输出一个置信度数值，并使用该值来决定内容。如果是该公司之前使用的架构，每当 Bazaarvoice 想要改变决策逻辑时，都必须推出新的模型。Bazaarvoice 开始使用 Amazon Elastic Container Service（Amazon ECS）处理 ML 模型以外的决策逻辑，这是一项完全托管的容器编排服务，使企业能够轻松部署、管理和扩展容器化应用程序。Kratz 说：“分离决策逻辑对我们非常有益，因为内容运营团队现在几乎可以即时获得结果并做出决策。”“他们无需发布新模型，然后等待其部署和更新。”
成果 | 继续改善客户体验
Bazaarvoice 实现了大幅成本节省，同时改善了团队的 ML 开发体验，并增强了为客户提供的产品和服务。该公司计划通过使用 SageMaker 无服务器推理 API 来支持快速访问，为客户带来更多便利。Kratz 说：“ ML 正逐渐成为行业常态，不能忽视其竞争优势。”“通过使用 SageMaker 无服务器推理功能，我们可以大规模高效地进行 ML，以合理的成本和较低的运营开销快速推出大量模型。”
关于 Bazaarvoice
Bazaarvoice 总部位于德克萨斯州奥斯汀，在世界各地设有办事处，致力于为品牌和零售商提供工具，通过全球零售、社交和搜索联合网络在整个客户旅程中打造智能购物体验。
使用的 AWS 服务
Amazon SageMaker 无服务器推理功能
Amazon SageMaker 无服务器推理功能是一个专门构建的推理选项，可让您轻松部署和扩展 ML 模型。
Amazon SageMaker
Amazon SageMaker 建立在 Amazon 二十年来开发现实世界 ML 应用程序的经验之上，这些应用程序包括产品推荐、个性化、智能购物、机器人技术和语音辅助设备。
了解更多 »
Amazon Elastic Container Service（Amazon ECS）
Amazon ECS 是一项完全托管式容器编排服务，该服务使您可以轻松部署、管理和扩展容器化的应用程序。
行动起来
无论行业无论规模，每天都有各种机构在使用 AWS 实现自身业务转型、实现企业愿景。欢迎您联系我们的专家，立即踏上您的 AWS 之旅。