Per i data scientist, i ricercatori e gli sviluppatori che hanno bisogno di velocizzare le applicazioni ML, le istanze P3 di Amazon EC2 sono le più rapide nel cloud per l’addestramento ML. Le istanze P3 di Amazon EC2 presentano fino a otto GPU Tensor Core NVIDIA V100 di ultima generazione e offrono fino a un petaflop di prestazioni a precisione mista per accelerare significativamente i carichi di lavoro ML. Una formazione più rapida sui modelli può consentire agli scienziati di dati e ai tecnici di apprendimento automatico di eseguire iterazioni più rapide, addestrare più modelli e aumentare la precisione.

Una delle istanze GPU più potenti nel cloud combinata con piani di prezzi flessibili determina una soluzione dalla straordinaria convenienza per l’addestramento del machine learning. Come per le istanze di Amazon EC2 in generale, le istanze P3 sono disponibili come istanze on demand, istanze riservate o istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di Amazon EC2 con uno sconto fino al 70% rispetto ai prezzi on demand.

A differenza dei sistemi locali, l’esecuzione di HPC (High Performance Computing) su istanze P3 di Amazon EC2 offre una capacità praticamente illimitata di scalare l’infrastruttura fornendo flessibilità di cambiare le risorse facilmente e con la frequenza richiesta dal carico di lavoro. È possibile configurare le risorse per soddisfare le esigenze della propria applicazione e avviare un cluster HPC (High-Performance Computing) in pochi minuti e con un costo addebitato corrispondente all’uso effettivo.

Utilizza immagini Docker pre-pacchettizzate per distribuire ambienti di apprendimento profondo in pochi minuti. Le immagini contengono le librerie (attualmente TensorFlow e Apache MXNet) e gli strumenti per i framework di apprendimento profondo necessari e sono completamente testate. Puoi aggiungere le tue librerie e i tuoi strumenti in corrispondenza di tali immagini con la massima semplicità per ottenere un grado di controllo più elevato in termini di monitoraggio, conformità ed elaborazione dei dati. Le istanze P3 di Amazon EC2 ed Amazon SageMaker funzionano perfettamente insieme fornendo una piattaforma completa e intuitiva per il machine learning. Amazon SageMaker è una piattaforma di machine learning completamente gestita che consente di creare, formare e implementare modelli di machine learning in modo semplice e rapido. Inoltre, è possibile integrare le istanze P3 di Amazon EC2 con le AMI di AWS Deep Learning con popolari framework preinstallati di apprendimento approfondito. Questo facilita e velocizza l’inizio delle operazioni di addestramento e inferenza del sistema di machine learning.

Amazon SageMaker facilita la creazione di modelli di machine learning e li predispone per l’addestramento. Fornisce tutto ciò che occorre per connettersi rapidamente ai dati di addestramento e selezionare e ottimizzare il miglior algoritmo e framework per la tua applicazione. Amazon SageMaker include notebook Jupyter in hosting, che facilitano esplorazione e visualizzazione dei dati di addestramento memorizzati in Amazon S3.  È inoltre possibile utilizzare l’istanza di notebook per scrivere codice e creare lavori di modello di addestramento, distribuire modelli in hosting su Amazon SageMaker ed eseguire test o convalidare modelli.

Per iniziare ad addestrare il modello con Amazon SageMaker, basta un clic sulla console o una chiamata API. In Amazon SageMaker sono preconfigurate le versioni più recenti di TensorFlow e Apache MXNet e con il supporto alla libreria CUDA9 per ottenere le massime prestazioni dalle GPU NVIDIA. Inoltre, l’ottimizzazione automatica degli iperparametri permette di ottimizzare automaticamente i modelli, regolando in modo intelligente i parametri dell’algoritmo per ottenere dal modello le previsioni più accurate possibili. Per esigenze di scala maggiore, è possibile scalare a decine di istanze per consentire di creare più veloce.

Una volta completato l’addestramento, basta un solo clic per la distribuzione del modello su istanze di Amazon EC2 con Auto Scaling su diverse zone di disponibilità. Nella fase di produzione, Amazon SageMaker gestisce automaticamente, al posto tuo, l’infrastruttura di elaborazione per effettuare controlli di stato, applicare patch di sicurezza ed eseguire la manutenzione di routine, grazie a monitoraggio e registrazione di log integrati con Amazon CloudWatch.

Le istanze P3dn.24xlarge di Amazon EC2 sono le istanze di dimensioni P3 più rapide, più potenti e più grandi disponibili e forniscono fino a 100 Gb/s di velocità effettiva di rete, 8 GPU Tensor Core NVIDIA® V100 con 32 GB di memoria ciascuna, 96 vCPU Intel® Xeon® scalabile (Skylake) personalizzate e 1,8 TB di archiviazione SSD basata su NVMe. Le reti più rapide, i nuovi processori, il raddoppio della memoria GPU e le vCPU aggiuntive consentono agli sviluppatori di ridurre notevolmente il tempo necessario all’addestramento dei modelli ML o di eseguire più simulazioni HPC dimensionando orizzontalmente li loro processi su varie istanze (ad es. 16, 32 o 64 istanze). I modelli di machine learning richiedono grandi quantità di dati per l’addestramento e, in aggiunta a un aumento della velocità effettiva dei dati di trasferimento tra istanze, è inoltre possibile utilizzare la velocità effettiva di rete aggiuntiva delle istanze P3dn.24xlarge per accelerare l’accesso a grandi quantità di dati di addestramento con la connessione a Simple Storage Service (Amazon S3) o soluzioni di sistemi di file condivisi, quali Amazon EFS.

Con 100 Gb/s di velocità effettiva di rete, gli sviluppatori possono utilizzare in modo efficiente un grande numero di istanze P3dn.24xlarge per l’addestramento distribuito e ridurre notevolmente il tempo necessario per l’addestramento dei modelli. Le 96 vCPU dei processori Intel Skylake personalizzati di AWS con istruzioni AVX-512 operative a 2,5 GHz contribuiscono all’ottimizzazione della pre-elaborazione dei dati. Inoltre, le istanze P3dn.24xlarge utilizzano AWS Nitro System, una combinazione di hardware dedicato e hypervisor leggero che fornisce tutte le risorse di memoria ed elaborazione dell’hardware host alle tue istanze. Le istanze P3dn.24xlarge supportano anche Elastic Fabric Adapter, che consente alle applicazioni di machine learning che utilizzano NVIDIA Collective Communications Library (NCCL) di dimensionarsi a migliaia di GPU.

Il potenziamento delle reti utilizzando la versione più recente di Elastic Network Adapter con fino a 100 GB/s di banda di rete aggregata può essere utilizzato non solo per condividere i dati tra varie istanze P3dn.24xlarge, ma anche per l’accesso ai dati a throughput elevato tramite Amazon S3 o una soluzione di sistemi di file condivisi, come Amazon EFS. L’accesso ai dati a throughput elevato è fondamentale per ottimizzare l’utilizzo delle GPU e fornire massime prestazioni dalle istanze di calcolo.

Le istanze P3dn.24xlarge offrono GPU Tensor Core NVIDIA V100 con 32 GB di memoria per ottenere la flessibilità per addestrare modelli di machine learning più grandi e avanzati, oltre a elaborare batch di dati di dimensioni superiori, come immagini 4k per i sistemi di classificazione delle immagini e rilevamento di oggetti.