Resilience 在 AWS 上构建一个连通各实验室的全球数据网格

Resilience 成立于 2020 年，致力于开发创新的生物制造技术。该公司为领先的制药和生物技术公司提供一系列可扩展的现成生物制造方式，适用于基因疗法、核酸合成、蛋白质纯化等。该公司还监控着庞大的仪器网络，其中包括生物反应器、流式细胞仪、显微镜和基因组测序仪等设备。
 
为了加快生产速度，并缩短从进行实验到获得见解的时间，Resilience 需要将每个研究和制造场所连接到云。但是，面对如此庞大的数据量和多样性，构建互联的数据网络并非易事。Resilience 数据工程副总监 Adam Mendez 表示：“我们有很多产品领域，这些领域需要种类同样多的实验室仪器来开发。这造成了高度的数据异构性。“我们需要一个与数据类型无关的稳健数据传输系统，能够快速安全地将数据从所有实验室设备上传到云中。” 由于 AWS 具有安全、可扩展的基础设施和强大的物联网（IoT）功能，该公司将 AWS 确定为此项目的最佳解决方案。

在不到 3 个月的时间里，Resilence 的数字研究和开发组织与其数据工程和网络团队密切合作，构建了 AWS 基础设施，助力其实现全球互联系统。该解决方案使用 AWS DataSync（一种安全的在线服务，可自动和加速传输数据）将数据从其本地系统迁移到 AWS Cloud。这些数据使用 AWS PrivateLink 安全传输，该服务在虚拟私有云与 AWS 服务之间建立连接，同时不会将数据暴露到互联网上。然后，这些数据存储在 Amazon Simple Storage Service（Amazon S3）上，可供 Resilience 公司中的科学和业务用户访问。Amazon S3 是一种对象存储服务，专为从任意位置检索任意数量的数据而构建。Mendez 说：“通过在 AWS 上构建一个集中管理的数据存储系统，我们可以与其他应用程序和分析软件无缝集成，无论是第三方的软件即服务解决方案还是内部开发的解决方案。”
 
迄今为止，Resilience 已将 100 多台不同实验室设备产生的超过 75TB 的研究数据上传到 Amazon S3。现在，Resilience 的科学和业务用户可以在 Amazon S3 上查看、处理和分析仪器数据，以实现他们的研究与开发目标。该公司借助多项 AWS 物联网服务（如开源边缘运行时系统和云服务 AWS IoT Greengrass）自动地按需调用迁移任务，使科学家能够在不到 5 分钟的时间内访问云上的数据。Resilience 使用了 AWS Cloud Development Kit（AWS CDK）为应用程序建模，能够在几天时间内完成新设备联网并使整个场所上线（AWS CDK 是一种使用通用编程语言加速云开发的框架）。利用基础设施即代码的方法，Resilience 正帮助数十个研究团队加快工作速度。Resilience 实验室系统工程师 Jonathan Rivernider 表示：“通过使我们的每个场所都能近乎实时地上传数据，我们可以提供强大的数据备份能力，同时帮助团队以跨职能、跨场所的方式使用见解。这使数据更快地交到科学家手中，从而加快学习周期。”
 
在云上，Resilience 实验室数据的组织方式必须与科学家使用数据的方式相一致。为做到这一点，该公司的团队使用有关数据湖架构的 AWS Prescriptive Guidance 设计了一个 Amazon S3 数据湖，并聘请了 Quilt Data（一家 AWS 合作伙伴）来指定监管控件。这些控件将仪器数据集转化为数据包，以及原始实验室数据、分析数据和相关实验室文件（包括图形和 PowerPoint 文件）的不可变记录。现在，当数据经历交由科学家分析的阶段时，会随版本控制、元数据和世系信息一起在 Amazon S3 上对数据包进行维护。这些数据可在面向授权实验室和业务用户的用户门户中搜索，并且与他们的电子图书馆笔记本进行集成。
 
通过使用 Amazon CloudWatch（此监控服务可提供度各种 AWS 资源的运营见解），该公司的团队还能够构建一个覆盖所有数据传输任务的稳健日志记录系统。现在，Resilience 可以验证是否部署了适时报警功能，以确认系统和每台实验室仪器的运行状况。Resilience 的高级系统工程师 Jiro Koga 说：“鉴于研究数据的敏感性，该系统的安全性至关重要。通过使用 AWS PrivateLink 整合严格的网络防火墙规则、客户端证书和安全端点，所有数据在传输中和处于静态时都会被加密，以确保安全。”