由 Qualcomm AI 100 标准加速器提供支持的 Amazon EC2 DL2q 实例可用于经济高效地在云中部署深度学习（DL）工作负载。这些实例还可用于开发和验证将在 Qualcomm 设备上部署的深度学习工作负载的性能和准确性。DL2q 实例是首批将 Qualcomm 的人工智能技术引入云环境的实例。
凭借 8 个 Qualcomm AI 100 标准加速器和 128GiB 的加速器总内存，客户还可以使用 DL2q 实例来运行流行的生成式人工智能应用程序，例如内容生成、文本摘要和虚拟助手，以及用于自然语言处理和计算机视觉的经典人工智能应用程序。此外，Qualcomm AI 100 采用与智能手机、自动驾驶、个人计算和扩展现实耳机相同的人工智能技术，因此可以在部署之前使用 DL2q 实例来开发和验证这些人工智能工作负载。
客户可以使用 Qualcomm 的人工智能堆栈（包括分别称为 Apps SDK 和 Platform SDK 的两个软件开发工具包（SDK）），在 DL2q 实例上编译和部署其深度学习工作负载。要快速入门，客户可以使用预先打包 Qualcomm Apps 和 Platform SDK 的 AWS Deep Learning AMI（DLAMI），以及流行的机器学习框架，例如 PyTorch 和 TensorFlow。
优势
深度学习推理的经济高效性
通过使用专门构建的加速技术，DL2q 实例以低成本提供高吞吐量。例如，DL2q 实例以低于 0.0017 USD 的价格提供 10 万张 ResNet50 图像，或以低于 0.0076 USD 的价格提供 10 万个 BERT 序列。
支持领先的机器学习框架和模型
DL2q 实例以及 Qualcomm Apps 和 Platform SDK 支持领先的机器学习框架（例如 TensorFlow 和 PyTorch），可让您继续使用自己首选的机器学习工作流程。Qualcomm Apps SDK 还包含一些工具，可以轻松地将预先训练的模型移植和部署到 DL2q 实例，同时实现专门构建的人工智能推理加速器的性能优势。
跨边缘和云环境的持续体验
相同的 Qualcomm 人工智能堆栈运行在 Qualcomm 边缘设备和 DL2q 实例上。这为客户提供了一致的开发人员体验，可在其云和边缘开发环境中使用统一的 API。因此，可以使用 DL2q 实例来开发和验证适用于智能手机、自动驾驶、个人计算和扩展现实耳机的人工智能解决方案。
功能
由 Qualcomm AI 100 加速器提供支持
DL2q 实例配备 8 个 Qualcomm AI 100 加速器，每个加速器配备 16GiB 的内存、768GiB 的系统内存，第二代 Intel Xeon 可扩展处理器和 100 Gbps 的网络带宽。
Qualcomm Cloud AI Platform 和 Apps SDK
可以使用 Qualcomm Cloud AI Platform SDK 进行 DL2q 实例入门。此 SDK 由不同操作系统的内核驱动程序、用户空间实用程序、固件、库和验证工具组成。Cloud AI Apps SDK 包含库和工具，可帮助应用程序开发人员和框架开发人员与 Qualcomm AI 100 加速器交互。此 SDK 集成领先的框架，例如 TensorFlow 和 PyTorch。
基于 AWS Nitro System 构建
DL2q 实例依托 AWS Nitro 系统构建，该系统是丰富的构建数据块集合，可将许多传统虚拟化功能卸载到专用硬件和软件，实现高性能、高可用性和高安全性，同时还可降低虚拟化开销。
产品详细信息
| 实例大小 | Qualcomm AI 100 加速器 | 加速器 内存 (GB) |
vCPU | 内存 (GiB) |
本地 存储 |
加速器内 互连 |
网络 带宽 (Gbps) |
EBS 带宽 (Gbps) |
按需价格 | 1 年期限预留实例 | 3 年期限预留实例 |
| dl2q.24xlarge | 8 | 128 | 96 | 768 | 仅限 EBS | 否 | 100 | 19 | 8.919 USD | 5.352 USD | 3.568 USD |
入门
AWS Deep Learning AMIs（DLAMI）和 AWS Deep Learning Containers（DLC）
AWS Deep Learning AMIs（DLAMI）和 AWS Deep Learning Containers（DLC）为数据科学家、机器学习从业者和研究人员提供预先安装深度学习框架的机器和容器映像。它们可让您跳过从头开始构建和优化软件环境的复杂过程，从而简化入门。适用于 Qualcomm AI 100 的 Qualcomm Apps 和 Platform SDK 将集成到 AWS DL AMI 和 DLC 中，可让您快速开始使用 DL2q 实例。
