Rad AI 使用由 NVIDIA 提供支持的 Amazon EC2 P4d 实例将收入提高了 10 倍

Mayo Clinic 的一项研究显示，将近 90% 的美国放射科医生在满负荷或者超负荷工作。Rad AI 通过训练机器学习 (ML) 模型来阅读详细文档，自动总结根据放射科医生的语言定制的结果，从而帮助减轻放射科医生的工作量，且方便主治医师确定病症并设计治疗方案。Rad AI 与美国放射学市场中 16% 的客户合作，包括 10 个最大的放射学团体中的 6 个，并且希望扩大其解决方案，为更多客户服务。为了提高其 ML 推理速度并实时得出结论，该公司选择了使用 Amazon Web Services (AWS)。

Rad AI 将本地 GPU 服务器上运行的文档摘要应用程序迁移到了由 NVIDIA A100 Tensor Core GPU 提供支持的 Amazon Elastic Compute Cloud (Amazon EC2) P4d 实例。通过在 Amazon EC2 P4d 实例上部署应用程序，Rad AI 显著提高了 ML 推理速度，从而为放射科医生提供更快更准确的报告，并且提高患者护理的质量。

Rad AI 是一家软件即服务初创公司，旨在通过简化放射学工作流程来提高医疗保健质量。Rad AI 业务拓展与战略经理 Niven Shah 表示：“放射科医生很有效率，但是他们的研究量非常高，所以很容易疲劳。我们的产品使用自然语言处理领域的最新技术成果，自动针对放射学报告得出定制结论，同时根据国家指导方针生成随访建议。”

Rad AI 将放射科医生每天口述的词语数量减少 30-35%，每个 9 小时班次能为放射科医生节省大约 1 小时的时间。其产品与现有工作流程紧密联系，是无需点击即可运行的解决方案。放射科医生兼 Rad AI 联合创始人 Jeff Chang 博士表示：“我们创办 Rad AI 就是为了减轻放射科医生的工作负担，提高患者护理的质量，并确保我们的患者在正确的时间接受适当的随访和治疗。”该公司之前使用过 Amazon EC2 P3 实例来部署 ML 应用程序，但是希望实现更高的性能和更快的推理速度，以便为更多客户服务。通过将 ML 模型迁移到由 NVIDIA A100 GPU 提供支持的 Amazon EC2 P4d 实例，Rad AI 发现了一条实现目标的途径。 

Amazon EC2 P4d 实例提供每个实例 320GB 的 GPU 内存，并且率先在云中支持 400Gbps 的高速网络。高性能和低延迟使其非常适合以更快的速度处理更大的文档。使用 AWS 服务还将帮助 Rad AI 实现 HIPAA 合规性，并满足其系统和组织控制 2 类型 II 认证的要求，从而简化新的放射学团体和健康系统的入驻。

Rad AI 在 2021 年完成了迁移，从而提升了 ML 推理速度和总体性能。Rad AI 高级软件工程师 Ali Demirci 表示：“通过迁移到 Amazon EC2 P4d 实例，我们将实时推理速度提高了 60%。因为我们能够实时总结，所以此解决方案对客户体验产生了直接影响。” 与本地部署相比，在使用 Amazon EC2 P4d 实例进行基于云的部署之后，Rad AI 将性能提高了 136%，吞吐速度加快了 11%。更快速度、更高的性能和云扩缩功能让这家初创公司能够将解决方案提供给更多客户，包括较小的私人诊所以及价值数十亿美元的医疗保健系统。

Rad AI 的解决方案现在能够在 3 秒内提供 CT 和 MRI 扫描报告摘要，过去需要 10 秒；X-Ray 报告摘要现在需要 0.7 秒，以前则是 2.5 秒。通过在 Amazon EC2 P4d 实例上训练一部分 ML 模型，Rad AI 将训练所需时间缩短了 2.4 倍。有了更快的推理速度，放射科医生现在能够更快向医师提供更准确的报告和适当的随访建议。然后，医师能够使用这些报告来诊断病情并制定治疗方案，进而提升患者疗效。

Rad AI 采用完全托管式容器编排服务 Amazon Elastic Container Service (Amazon ECS)，每天部署多个 ML 模型。Demirci 表示：“使用 Amazon ECS 进行持续部署，让我们能够更快响应客户反馈。我们能够根据需求调整模型，或者进行直接更改。我们的 ML 团队能够迅速自动预置实例，这有助于简化模型改进方面的实验。” 通过将 ML 推理迁移到云，Rad AI 也不再需要为其本地部署的数据中心采购和预置基础设施。相反，Rad AI 现在能够按需预置实例，从而优化运营成本。

Rad AI 还选择使用开源 ML 框架 PyTorch 来开发、训练和部署其 ML 技术。通过 PyTorch，Rad AI 能够分解并重组其 ML 工作流程的各个组成部分，以采用其 ML 训练流程的更新、更先进的迭代进行简单调试和快速实验。使用 PyTorch，该团队能够在减少开发和迭代时间的情况下交付更复杂的模型架构。

该公司还在 AWS 上扩展其服务，从而为新的客户服务。Rad AI 的 ML 工程师 Andriy Mulyar 表示：“当您需要部署像我们这样的大型 ML 模型时，您需要巨大的 GPU 内存。Amazon EC2 P4d 实例的每个 GPU 配备 40GB 的高带宽内存，能够有效满足我们的内存需求。现在我们能够按需扩展 ML 应用程序，无需预置物理硬件。我们能以更快的速度为客户生成输出结果，进而加速创新。” 由于 Rad AI 能够扩展，为更多客户提供服务，这家初创公司的客户群在 2021 年增加了 100% 以上。与 2020 年的总收入相比，Rad AI 还将 2021 年的经常性收入提高了 10 倍以上。

通过迁移到 Amazon EC2 P4d 实例，Rad AI 提高了收入，加快了创新速度，并且无缝扩展了 ML 应用程序，从而为客户带来实时效益并扩大了客户群。例如，德克萨斯州最大的私人放射学诊所 Radiology Associates of North Texas 在测试了 Rad AI 依托 AWS 的解决方案之后，将 Rad AI 的服务推广到了该诊所全部 225 名放射科医生。未来，Rad AI 计划在 AWS 进一步实现数据管道自动化，并且将推出新的 ML 驱动型产品，以改善患者护理服务。

Rad AI 使用 AWS 进行 ML 应用程序开发和部署，迅速构建了快速、高性能的解决方案。Demirci 表示：“无论您在什么时候向 AWS 团队寻求帮助，您都能联系到专业人员，并且能够迅速解决问题。与 AWS 团队合作为我们带来了巨大的好处。”