Salesforce UIP utilise les instances Spot Amazon EC2 pour réduire les temps de traitement des données de plus de 90 % et économiser plus d'un million de dollars chaque mois

Fin 2019, l'équipe UIP a débuté la transition de son cluster sur site vers Amazon EMR, une plateforme de big data dans le cloud destinée à l'exécution des tâches de traitement de données distribuées à grande échelle, des requêtes SQL interactives et des applications de machine learning à l'aide de cadres d'analytique open source tels que Apache Spark, Apache Hive et Presto. L'utilisation d'Amazon EMR aide Salesforce à réduire la complexité de la gestion de ses infrastructures de big data et fournit une intégration native aux instances Spot Amazon EC2, qui aident les entreprises à tirer parti de la capacité Amazon EC2 inutilisée dans le cloud.

L'équipe a identifié ses charges de travail exécutées sur Apache Spark comme de bons candidats pour l'utilisation d'instances Spot dans le cadre d'une stratégie d'optimisation des coûts. Apache Spark sur Amazon EMR propose des relances automatiques, qui contribuent à garantir la résilience en cas de récupération d'instances Spot en raison des exigences de capacité d'Amazon EC2. De plus, l'équipe UIP utilise Spark Streaming pour traiter les données dans des fenêtres de 5 minutes, un autre facteur qui permet de minimiser les risques de devoir effectuer de nouvelles tentatives.

Pour obtenir la meilleure disponibilité au prix le plus bas, Salesforce UIP a expérimenté l'utilisation d'instances Spot parallèlement à d'autres options d'achat Amazon EC2. Elle a réalisé des scénarios portant sur différents pourcentages d'instances Spot et d'instances à la demande Amazon EC2, pour lesquels les entreprises payent la capacité de calcul à la seconde, sans aucun engagement à long terme et en contrôlant totalement le cycle de vie de l'instance. Pour ses instances à la demande, Salesforce UIP utilisait des Savings Plans, un modèle de tarification flexible qui offre des tarifs inférieurs à la tarification à la demande en échange d'un engagement d'utilisation donné. Cherchant à trouver un équilibre entre la fiabilité du cluster et les remises sur les instances, l'équipe UIP a identifié une configuration optimale en bénéficiant d'instances Spot pour 60 % de son utilisation d'Amazon EC2 et en utilisant une couverture de Savings Plans pour le reste. Pour respecter ses contrats de niveau de service (SLA), Salesforce UIP a créé ses flottes dans un souci de performance. Elle divise les charges de travail en SLA et non en clusters SLA en fonction des caractéristiques du processeur et de la capacité à respecter les délais du SLA. « Pour ce qui est de la création de notre flotte, je pense que le véritable avantage réside dans le nombre de types d'instances que vous pouvez utiliser », déclare Eric Legault, ingénieur principal chez Salesforce. « L'utilisation d'AWS nous a permis de jouer avec de nombreuses configurations de machines et d'essayer différents scénarios. Il s'agissait simplement de modifier la configuration pour voir quelques heures plus tard si cela fonctionnait réellement ou non. Je pense donc que cela a joué un rôle important dans la réussite de ce projet. »

Conformément aux meilleures pratiques d'AWS pour l'utilisation des instances Spot, l'équipe a renforcé la stabilité de sa flotte en passant de deux ou trois types d'instances à 27 types d'instances tout en conservant la même capacité. L'équipe UIP gère 12 clusters spécialisés à des fins différentes, en utilisant des types d'instances optimisés pour le processeur, la mémoire ou des charges de travail équilibrées et dotés d'un mélange de processeurs Intel et AMD. « Plus vous avez de types d'instances, plus votre cluster est résilient », explique Legault.

Salesforce UIP traite désormais entre 200 et 250 To par jour et écrit environ le double de cette quantité de données pour un coût à peu près identique à celui qui était auparavant nécessaire pour traiter 100 To. En réarchitecturant le traitement de l'ingestion selon une approche de streaming et en utilisant des instances Spot pour augmenter l'infrastructure tout en contrôlant les coûts, l'équipe a également amélioré l'efficacité du traitement, réduisant le temps nécessaire à l'ingestion et au traitement des données de 4 heures à 15 minutes. Pour fournir une meilleure visibilité sur ses métriques de calcul, Salesforce utilise Amazon CloudWatch, un service de surveillance et d'observabilité des ressources AWS. L'équipe surveille les applications à l'aide de tableaux de bord personnalisés créés à l'aide du logiciel open source Grafana, qui fournit une visualisation des indicateurs opérationnels.

La solution UIP de Salesforce utilise également Amazon EMR Managed Scaling, qui redimensionne automatiquement le cluster pour obtenir de meilleures performances au moindre coût possible. Pour compenser la possibilité d'une récupération d'une instance Spot, Salesforce laisse son cluster augmenter d'environ 5 % par rapport à sa capacité. La capacité supplémentaire se traduit par un traitement plus rapide afin d'améliorer la disponibilité et la stabilité du cluster lorsque cela est nécessaire. « Je pense que pouvoir augmenter ou réduire la capacité lorsque celle-ci n'est pas nécessaire est vraiment un avantage », déclare Legault. « Ce processus prend également en charge tout ce qui s'est passé en termes de récupération. » De plus, l'utilisation d'une nouvelle fonctionnalité au sein d'Amazon EMR Managed Scaling empêche l'UIP de Salesforce de réduire les instances qui stockent des données aléatoires intermédiaires pour Apache Spark, ce qui permet d'améliorer les performances et de réduire les coûts.

L'intégration des instances Spot par Salesforce UIP complète l'utilisation du Saving Plan et réduit les coûts de calcul de plus de 60 %, ce qui permet à l'entreprise d'économiser plus d'un million de dollars par mois. Outre deux clusters qui fonctionnent à plein temps, l'équipe UIP peut augmenter de manière rentable la capacité d'un troisième cluster si nécessaire pour faire face à un afflux soudain. L'utilisation des instances Spot par l'équipe UIP pour gérer la mise à l'échelle contribue également à réduire les coûts dans d'autres domaines de Salesforce, libérant ainsi des instances Savings Plan que d'autres équipes peuvent utiliser pour réduire les coûts pendant les périodes de forte utilisation.

Dans le cadre du processus d'optimisation, l'équipe UIP utilise le conseiller Spot Instance, qui aide les entreprises à déterminer les groupes présentant le moins de risques d'interruption et permet de réaliser des économies par rapport aux tarifs à la demande. L'équipe espère intégrer encore plus d'intelligence à la gestion dynamique de la flotte à l'aide du score de placement Amazon EC2 Spot, qui peut recommander, en temps quasi réel, une région AWS ou une zone de disponibilité en fonction des exigences de Salesforce. À l'aide du score de placement Amazon EC2 Spot, l'équipe UIP prévoit de proposer des capacités encore plus importantes et des prix plus bas à mesure qu'elle s'étend aux régions AWS. « Nous utilisons la capacité du cloud et le large éventail de types d'instances Amazon EC2 pour faire des choses que nous ne pouvions pas faire sur site », explique Legault. « Amazon EMR Managed Scaling joue un rôle important dans notre capacité à utiliser les fonctionnalités élastiques du cloud. Et nous réduisons considérablement les coûts simplement en utilisant les instances Spot de manière innovante. »