Finch Computing 利用 AWS Inferentia 进行语言翻译，将推理成本降低了 80%

Finch（由 Find [查找] 和 Search [搜索] 这两个英文单词组合而成）在弗吉尼亚州的雷斯顿和俄亥俄州的代顿设有办事处，致力于为媒体公司和数据整合公司、美国情报部门和政府组织以及金融服务公司提供服务。该公司的产品以 NLP 为中心，NLP 是人工智能的一个子集，用来训练模型，以理解人类语言的细微差别，包括解读语气和意图。该公司的产品 Finch for Text 利用密集的并行机器学习（ML）计算（这些计算依赖高性能的加速计算），向客户提供有关其信息资产的近乎实时的见解。例如，利用该产品的实体消歧功能，对于拥有多种含义或拼写方式的单词，客户能够确定出正确的词义。

Finch 扩展了对荷兰语的支持能力，继而让开发人员意识到需要进一步扩展该产品，以支持法语、德语、西班牙语以及其他语言。这一决定非常重要，不仅是因为 Finch 的客户有很多内容都使用了这些语言，还因为支持其他语言的模型能够吸引到新的客户。Finch 需要找到一种方法，以便能够在不影响客户的吞吐量、响应时间、关键因素或者不增加部署成本的情况下，处理大量的额外数据。

在 AWS 举办的面向全球云计算社区的年度会议 AWS re:Invent 2021 上，Finch 代表了解了 Amazon Elastic Compute Cloud（Amazon EC2）中基于 AWS Inferentia 的实例，这些实例为几乎任何工作负载提供了安全、可调整大小的计算容量。AWS 将 Finch 推荐给 AWS 合作伙伴 Slalom，这是一家专注于战略、技术和业务转型的咨询公司。在举办 AWS re:Invent 之后的两个月里，Slalom 和 Finch 团队成员一直在努力构建具有成本效益的解决方案。Finch 的创始人兼首席技术官 Scott Lightner 表示：“除了获得 AWS 团队的指导以外，我们还与 Slalom 建立了联系，他们帮助我们优化了工作负载并加快了这个项目的进度。”

Finch 和 Slalom 共同构建了一个解决方案，优化了基于 AWS Inferentia 的 Amazon EC2 Inf1 实例的使用，这些实例能够以低廉的成本在云上提供高性能的机器学习推理。Lightner 表示：“考虑到 GPU 的成本，我们根本不可能在保持产品盈利的同时为客户提供其他的语言。”“但 Amazon EC2 Inf1 实例帮助我们突破了这一局限性。”

该公司的专有深度学习翻译模型在 PyTorch on AWS 上运行，后者是一个开源深度学习框架，可轻松开发机器学习模型并将其部署到生产环境。Finch 使用 Docker 对自己的 PyTorch 模型进行容器化和部署。Finch 将这些计算密集型模型从基于 GPU 的实例迁移到由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例。Amazon EC2 Inf1 实例旨在加速从计算机视觉到 NLP 的各种模型。这样，该团队就能够构建一个具有混合模型规模并保持与使用 GPU 时相同的吞吐量的解决方案，但成本要低得多。Lightner 表示：“使用 AWS Inferentia，我们能够以客户负担得起的价格提供客户所需的吞吐量和性能。”

这一策略需要将 Docker 容器部署到 Amazon Elastic Container Service（Amazon ECS），这是一项完全托管式容器编排服务，可以让组织轻松部署、管理和扩展容器化应用程序。该解决方案采用了 AWS Deep Learning AMI（DLAMI），这是一些用来快速构建深度学习应用程序的预配置环境。Finch 将 AWS Inferentia AMI 整合到自己的 DevOps 管道，并更新了其基础设施即代码模板，以使用 Amazon ECS 并通过 AWS Inferentia 运行自定义容器。Finch 首席架构师 Franz Weckesser 表示：“在 Amazon EC2 Inf1 实例和 Amazon ECS 上运行了 DevOps 管道之后，我们就能快速部署更多的深度学习模型。”事实上，在仅仅两天内，Finch 就构建了一个支持乌克兰语的模型。在短短的几个月内，Finch 部署了另外的三个分别支持德语、法语和西班牙语 NLP 的机器学习模型，并提高了现有荷兰语模型的性能。

使用 Amazon EC2 Inf1 实例，该公司提高了这些新产品的开发速度，同时将其推理成本降低了 80% 以上。新模型的加入吸引了渴望利用其他语言获取见解的客户，还从现有的客户那里收到了积极的反馈。Lightner 表示：“对基础设施进行全面改造总是会遇到一些挑战。”“不过，在 Slalom 和 AWS 的帮助下，凭借我们团队的毅力，我们迅速克服了这些挑战。最终结果证明，这一切都是值得的。”

Finch 希望继续将更多模型迁移到 AWS Inferentia。这些模型包括情感分配（将一段内容识别为积极、消极或中立）以及一项名为“关系提取”的新功能，这是一个计算密集型应用程序，用来发现文本中提到的多个实体之间的关系。Finch 会继续增加新的语言，并接下来计划支持阿拉伯语、中文和俄语。Lightner 表示：“在使用 AWS Inferentia 期间，我们获得了非常好的体验。”“他们帮助我们在业务的增长同时进行扩展，能够与这样的云提供商合作真是太棒了。”