Perché scegliere le istanze Amazon EC2 P4?
Le istanze P4d di Amazon Elastic Compute Cloud (Amazon EC2) offrono le massime prestazioni per applicazioni di addestramento di machine learning (ML) e calcolo ad alte prestazioni (HPC) nel cloud. Le istanze P4d sono alimentate dalle GPU NVIDIA A100 Tensor Core e offrono una velocità di trasmissione effettiva elevata e una rete a bassa latenza leader nel settore. Queste istanze supportano una rete di istanze a 400 Gb/s. Le istanze P4d offrono un risparmio fino al 60% sui costi per l'addestramento dei modelli ML, inclusa una media di prestazioni 2,5 volte migliori per i modelli di deep learning rispetto alle istanze P3 e P3dn della generazione precedente.
Le istanze P4d vengono implementate in cluster iperscalabili denominati Amazon EC2 UltraCluster che comprendono le prestazioni di elaborazione, rete e archiviazione più elevate nel cloud. Ciascun EC2 UltraCluster è uno dei supercomputer più potenti al mondo, che consente ai clienti di eseguire l’addestramento di ML multi-nodo più complessa e carichi di lavoro HPC distribuiti. Puoi facilmente dimensionare da poche a migliaia di GPU NVIDIA A100 negli EC2 UltraCluster in base alle loro esigenze di progetto ML o HPC.
Ricercatori, data scientist e sviluppatori possono utilizzare le istanze P4d per addestrare modelli ML per casi d'uso come l'elaborazione del linguaggio naturale, il rilevamento e la classificazione di oggetti e i motori di raccomandazione. Possono anche utilizzarlo per eseguire applicazioni HPC come scoperte farmaceutiche, analisi sismiche e modellazione finanziaria. A differenza dei sistemi on-premise, è possibile accedere a capacità di elaborazione e archiviazione virtualmente illimitate, dimensionare la propria infrastruttura in base alle esigenze aziendali e avviare un processo di formazione ML multi-nodo o un'applicazione HPC distribuita strettamente accoppiata in pochi minuti, senza costi di installazione o manutenzione.
Annuncio delle nuove istanze Amazon EC2 P4d
Vantaggi
Caratteristiche
Testimonianze dei clienti
Ecco alcuni esempi di come clienti e partner hanno raggiunto i loro obiettivi aziendali con le istanze Amazon EC2 P4.
-
Toyota Research Institute (TRI)
Il Toyota Research Institute (TRI), fondato nel 2015, sta lavorando per sviluppare la guida automatizzata, la robotica e altre tecnologie di amplificazione umana per Toyota.
In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi. Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il tempo necessario per addestrare i modelli di ML da giorni a ore e non vediamo l'ora di utilizzare le istanze P4d, poiché la memoria GPU aggiuntiva e i formati float più efficienti consentiranno al nostro team di machine learning di addestrare con più modelli complessi a una velocità ancora maggiore.
Mike Garrison, Technical Lead, Infrastructure Engineering, TRI -
TRI-AD
In TRI-AD, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi ed esplorare con l'obiettivo di ridurre gli infortuni e le vittime dei veicoli utilizzando la guida adattiva e la smart city. Grazie all'utilizzo delle istanze Amazon EC2 P4d, siamo riusciti a ridurre il tempo di addestramento per il riconoscimento degli oggetti del 40% rispetto alle istanze GPU della generazione precedente senza alcuna modifica ai codici esistenti.
Junya Inada, Director of Automated Driving (Recognition), TRI-AD -
TRI-AD
Grazie all'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre istantaneamente i nostri costi di addestramento rispetto alle istanze GPU della generazione precedente, consentendoci di aumentare il numero di team che lavorano sull’addestramento del modello. I miglioramenti della rete in P4d ci hanno permesso di scalare in modo efficiente a dozzine di istanze, il che ci ha dato una notevole agilità per ottimizzare, riqualificare e distribuire rapidamente modelli in auto di prova o ambienti di simulazione per ulteriori test.
Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD -
GE Healthcare
GE Healthcare è un leader mondiale nell'innovazione di tecnologie mediche e soluzioni digitali GE Healthcare consente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison.
In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l'intelligenza artificiale e l'analisi a tali dati e scoprire approfondimenti che migliorano i risultati dei pazienti, guidano l'efficienza ed eliminano gli errori. I nostri dispositivi di imaging medico generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i precedenti cluster GPU, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L'utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni dell'immagine, ottenendo prestazioni migliori con una maggiore dimensione del lotto e una maggiore produttività con un ciclo di sviluppo del modello più rapido.
Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare -
HEAVY.AI
HEAVY.AI è un pioniere nel settore dell'analisi accelerata. La piattaforma HEAVY.AI viene utilizzata nel mondo degli affari e della pubblica amministrazione per trovare approfondimenti nei dati oltre i limiti degli strumenti di analisi tradizionali.
In HEAVY.AI stiamo lavorando per costruire un futuro in cui data science e analisi dei dati convergono per abbattere e fondere i silo di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere posizione e ora per costruire un quadro completo non solo di ciò che sta accadendo, ma anche di quando e dove accade, attraverso la visualizzazione granulare dei dati spazio-temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi. Attraverso l'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre significativamente i costi di implementazione della nostra piattaforma rispetto alle istanze GPU della generazione precedente, quindi di dimensionare in modo conveniente enormi set di dati. I miglioramenti della rete su A100 hanno aumentato le nostre efficienze nel modo in cui ridimensioniamo miliardi di righe di dati e hanno permesso ai nostri clienti di raccogliere informazioni ancora più velocemente.
Ray Falcione, VP of US Public Sector, HEAVY.AI -
Zenotech Ltd.
Zenotech Ltd sta ridefinendo l'ingegneria online attraverso l'uso di HPC Clouds offrendo modelli di licenza on demand insieme a vantaggi prestazionali estremi sfruttando le GPU.
In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell'ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono maggiori informazioni sulle prestazioni del prodotto attraverso l'uso di simulazioni su larga scala. "L'utilizzo delle istanze AWS P4d ci consente di eseguire le nostre simulazioni 3,5 volte più velocemente rispetto alla precedente generazione di GPU. Questa accelerazione riduce significativamente i nostri tempi di risoluzione, consentendo ai nostri clienti di immettere i progetti sul mercato più rapidamente o di eseguire simulazioni con una fedeltà più elevata rispetto a quanto fosse possibile in precedenza.
Jamil Appa, Director e Cofounder, Zenotech -
Aon
Aon è un'azienda leader a livello mondiale di servizi professionali che fornisce un'ampia gamma di soluzioni per rischi, pensioni e salute. Aon PathWise è una soluzione di gestione del rischio HPC basata su GPU e scalabile che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave di oggi come i test delle strategie di copertura, le previsioni normative ed economiche e il budget.
In PathWise Solutions Group LLC, il nostro prodotto consente alle compagnie assicurative, ai riassicuratori e ai fondi pensione di accedere alla tecnologia di prossima generazione per risolvere rapidamente le sfide assicurative chiave di oggi come il machine learning, i test delle strategie di copertura, i rapporti normativi e finanziari, la pianificazione aziendale e le previsioni economiche e sviluppo di nuovi prodotti e prezzi. Attraverso l'utilizzo delle istanze P4d di Amazon EC2 siamo in grado di offrire incredibili miglioramenti in termini di velocità per i calcoli a precisione singola e doppia rispetto alle istanze GPU della generazione precedente per i calcoli più impegnativi, consentendo ai clienti di eseguire una nuova gamma di calcoli e previsioni per il più prima volta. La velocità è importante e noi continuiamo a fornire ai nostri clienti valore significativo e la tecnologia più recente grazie alle nuove istanze di AWS.
Van Beach, Global Head of Life Solutions presso Aon Pathwise Strategy and Technology Group -
Rad AI
Unendo esperti di radiologia e IA, Rad AI crea prodotti che massimizzano la produttività dei radiologi, rendendo in definitiva l'assistenza sanitaria di gran lunga più accessibile e migliorando i risultati per i pazienti. Leggi il caso di studio per ulteriori informazioni
In Rad AI, la nostra missione è aumentare l'accesso e la qualità dell'assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro di imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora la precisione. Utilizziamo l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e contribuire a semplificare i referti radiologici. Con le nuove istanze EC2 P4d, abbiamo riscontrato un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e precisa e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti.
Doktor Gurson, Cofounder, Rad AI
Dettagli prodotto
Dimensioni istanza | vCPU | Memoria istanza (GiB) | GPU - A100 | Memoria GPU | Larghezza di banda della rete (Gbps) | GPUDirect RDMA | Peer to peer GPU | Archiviazione dell'istanza (GB) | Larghezza di banda EBS (Gb/s) | Prezzo on demand/h | Istanza riservata effettiva di 1 anno all’ora | Istanza riservata effettiva di 3 anno all’ora |
---|---|---|---|---|---|---|---|---|---|---|---|---|
p4d.24xlarge | 96 | 1152 | 8 | 320 GB HBM2 |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 32,77 USD | 19,22 USD | 11,57 USD |
p4de.24xlarge (anteprima) | 96 | 1152 | 8 | 640 GB HBM2e |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 40,96 USD | 24,01 USD | 14,46 USD |
Le istanze P4d sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Seoul e Tokyo) ed Europa (Francoforte e Irlanda). Le istanze P4de sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).
I clienti possono ora acquistare le istanze P4d e P4de come istanze on demand, istanze riservate, istanze spot, host dedicati o come parte di Savings Plan.
Guida introduttiva alle istanze P4d per ML
Guida introduttiva alle istanze P4d per HPC
Le istanze P4d sono ideali per eseguire simulazioni ingegneristiche, finanza computazionale, analisi sismiche, modellistica molecolare, genomica, renderizzazione e altri carichi di lavoro HPC basati su GPU. Le applicazioni HPC spesso richiedono prestazioni di rete elevate, storage veloce, grandi quantità di memoria e funzioni di elaborazione di alto livello o tutte queste caratteristiche insieme. Le istanze P4d supportano EFA, che consente alle applicazioni HPC che utilizzano Message Passing Interface (MPI) di dimensionarsi a migliaia di GPU. Batch AWS e AWS ParallelCluster consentono agli sviluppatori HPC di creare e dimensionare rapidamente applicazioni HPC distribuite.