AWS Trainium 고객

Anthropic에서는 수백만 명의 사람들이 매일 Claude를 사용하여 작업합니다. AWS와 관련하여 두 가지 주요 개선 사항이 있습니다. 첫 번째는 Claude 3.5 Haiku의 새로운 ‘지연 시간 최적화 모드’로, Amazon Bedrock을 통해 Trainium2에서 60% 더 빠르게 실행됩니다. 두 번째는 수백 엑사플롭을 제공하는 수십만 개의 Trainium2 칩이 포함된 새로운 클러스터인 Project Rainier로, 이전 클러스터 크기의 5배가 넘습니다. Project Rainier는 당사의 연구와 차세대 스케일링을 지원하는 데 도움이 될 것입니다. 이는 고객에게 더 많은 인텔리전스, 더 낮은 가격, 더 빠른 속도를 의미합니다. 당사는 단지 더 빠른 AI를 구축하는 것이 아니라 확장 가능하고 신뢰할 수 있는 AI를 구축하고 있습니다.

Databricks의 Mosaic AI를 통해 조직은 고품질 에이전트 시스템을 구축하고 배포할 수 있습니다. 기본적으로 데이터 레이크하우스 위에 구축되므로 고객은 엔터프라이즈 데이터를 사용하여 모델을 쉽고 안전하게 사용자 지정하고 보다 정확한 도메인별 출력을 제공할 수 있습니다. Trainium의 고성능과 비용 효율성 덕분에 고객은 저렴한 비용으로 Mosaic AI에서 모델 훈련을 확장할 수 있습니다. Mosaic AI에 대한 수요가 전 세계 모든 고객 부문으로 계속 확장됨에 따라 Trainium2의 가용성은 Databricks와 고객에게 큰 이점이 될 것입니다. 세계 최대 데이터 및 AI 기업 중 하나로서 Databricks는 Trn2를 사용하여 고객에게 더 나은 결과를 제공하고 TCO를 최대 30% 절감할 계획입니다.

poolside에서는 AI가 경제적으로 가치 있는 작업과 과학적 진보의 대부분을 주도하는 세상을 만들고자 합니다. 우리는 소프트웨어 개발이 신경망에서 인간 수준의 지능에 도달하는 첫 번째 주요 역량이 될 것이라고 믿습니다. 검색과 학습 접근 방식을 가장 잘 결합할 수 있는 영역이기 때문입니다. 이를 위해 개발자의 손(또는 키보드)에 생성형 AI의 강력한 성능을 접목하는 파운데이션 모델, API 및 어시스턴트를 구축하고 있습니다. 이 기술을 가능하게 하는 주요 관건은 제품을 구축하고 실행하는 데 사용하는 인프라입니다. AWS Trainium2를 통해 poolside 고객은 다른 AI 액셀러레이터와는 다른 가격 대비 성능으로 사용량을 확대할 수 있을 것입니다. 또한 Trainium2 UltraServer를 사용하여 향후 모델을 훈련할 예정인데 EC2 P5 인스턴스와 비교하여 40%의 비용 절감을 기대하고 있습니다.

당사는 표준 추론부터 애플리케이션 미세 조정에 이르기까지 다양한 작업에서 AWS Trainium 및 Inferentia를 테스트했습니다. 이러한 AI 칩의 성능 덕분에 연구 개발에서 중요한 이정표를 달성할 수 있었습니다. 배치 및 온라인 추론 작업 모두에서 GPU에 비해 처리량이 7배 향상되었습니다. 이러한 성능 향상으로 조직 전체에 사용 사례가 확장되고 있습니다. 최신 Trainium2 칩은 생성형 AI에 획기적인 기능을 제공하고 Itau에서 혁신의 문을 열고 있습니다.

AWS Trn2가 Lama 3.1 405B를 기반으로 하는 코어 모델인 Ninja LLM에서 현재 가능한 최고의 토큰당 비용 성능과 가장 빠른 속도를 제공할 것으로 믿기 때문에 Trn2의 출시를 매우 기쁘게 생각합니다. Trn2의 짧은 지연 시간과 경쟁력 있는 가격, 온디맨드 가용성은 놀랍습니다. Trn2의 출시가 정말 기대됩니다!

Trn1 인스턴스로의 마이그레이션은 간단했습니다. 당사는 4,096개의 Trainium 칩으로 구성된 클러스터를 활용하여 단 8일 만에 130억 파라미터 LLM을 사전 훈련할 수 있었습니다! 소형 모델에서 성공을 거둔 후 Llama-3-Swallow-70B를 기반으로 하는 새로운 대형 LLM을 미세 조정했으며, Trainium을 활용하면서 AWS의 최신 GPU 시스템을 사용할 때보다 훈련 비용을 50% 절감하고 에너지 효율을 25% 개선할 수 있었습니다. 최신 AWS AI 칩인 Trainium2를 활용하여 고객에게 최저 비용으로 최고의 성능을 지속적으로 제공할 수 있게 되어 기쁩니다.

AWS Neuron NxD Inference 라이브러리에서 가장 마음에 들었던 점은 PyTorch 모델과 원활하게 통합된다는 것입니다. NxD의 접근 방식은 간단하고 사용자 친화적입니다. 우리 팀은 짧은 시간 내에 최소한의 코드 변경으로 HuggingFace PyTorch 모델을 온보딩할 수 있었습니다. 연속 배칭, 추측 디코딩과 같은 고급 기능을 활성화하는 것은 간단했습니다. 이러한 사용 편의성은 개발자 생산성을 향상시켜 팀이 통합 문제보다는 혁신에 더 집중할 수 있습니다.

고객들은 EC2 G5 인스턴스에 비해 EC2 Inf2 인스턴스에서 최대 20% 더 높은 성능과 달러당 1.5배 더 높은 토큰을 경험했습니다. Refact.ai의 미세 조정 기능은 고객이 조직의 고유한 코드베이스 및 환경을 이해하고 이에 적응하는 능력을 더욱 향상시킵니다. 또한 워크플로를 더욱 신속하고 효율적으로 처리할 수 있는 Trainium2의 기능을 제공하게 되어 매우 기쁩니다. 이 고급 기술을 통해 고객은 코드베이스에 대한 엄격한 보안 표준을 유지하면서 개발자 생산성을 향상시켜 소프트웨어 개발 프로세스를 가속화할 수 있습니다.

KARAKURI는 웹 기반 고객 지원의 효율성을 개선하고 고객 경험을 단순화하는 AI 도구를 구축합니다. 이러한 도구에는 생성형 AI 기능이 탑재된 AI 챗봇, FAQ 중앙 집중화 도구, 이메일 응답 도구가 포함되며, 이 모든 도구는 고객 지원의 효율성과 품질을 개선합니다. AWS Trainium을 활용하여 KARAKURI LM 8x7B Chat v0.1을 훈련하는 데 성공했습니다. 우리와 같은 스타트업의 경우 LLM 구축 시간과 훈련에 필요한 비용을 최적화해야 합니다. AWS Trainium과 AWS 팀의 지원으로 짧은 기간 내에 실용적인 수준의 LLM을 개발할 수 있었습니다. 또한 AWS Inferentia를 도입하여 빠르고 비용 효율적인 추론 서비스를 구축할 수 있었습니다. Trainium2가 훈련 프로세스를 혁신하여 훈련 시간을 절반으로 단축하고 효율성을 새로운 차원으로 끌어올릴 것이기 때문에 Trainium2에 대해 열광하고 있습니다!

Stockmark는 ‘가치 창출의 메커니즘을 재창조하고 인류를 발전시킨다’는 사명 아래 최첨단 자연어 처리 기술을 제공함으로써 혁신적인 비즈니스를 만드는 많은 기업을 돕습니다. Stockmark의 새로운 데이터 분석 및 수집 서비스인 Anews와 조직에 저장된 모든 형태의 정보를 체계화하여 생성형 AI 사용을 획기적으로 개선하는 데이터 구조화 서비스인 SAT를 사용하려면 이러한 제품을 지원하기 위한 모델을 구축하고 배포하는 방식을 재고해야 했습니다. 당사는 256개의 Trainium 액셀러레이터를 사용하여 2,200억 개 토큰으로 구성된 일본어 코퍼스 데이터세트를 기반으로 처음부터 사전 훈련된 130억 개 파라미터의 대규모 언어 모델인 stockmark-13b를 개발, 출시했습니다. Trn1 인스턴스는 훈련 비용을 20% 절감하는 데 도움이 되었습니다. Trainium을 활용하여 전례 없는 정확성과 속도로 전문가를 위한 비즈니스 크리티컬 질문에 답변할 수 있는 LLM을 성공적으로 개발할 수 있었습니다. 기업이 모델 개발을 위한 적절한 컴퓨팅 리소스를 확보하는 데 직면하고 있는 광범위한 문제를 고려할 때 이러한 성과는 특히 주목할 만합니다. Trn1 인스턴스의 속도와 비용 절감도 놀라웠지만 Trainium2가 워크플로와 고객에게 제공할 추가적인 이점을 보게 되어 매우 기쁩니다.

Brave는 사용자 개인 정보 보호 및 보안을 최우선으로 생각하는 독립형 브라우저 및 검색 엔진입니다. 7,000만 명 이상의 사용자를 보유한 당사는 웹을 더 안전하고 사용자 친화적으로 만드는 업계 최고의 보호 기능을 제공합니다. 사용자 중심 접근 방식에서 벗어난 다른 플랫폼과 달리 Brave는 개인 정보 보호, 보안, 편의성을 최우선으로 하는 데 최선을 다하고 있습니다. 주요 기능으로는 유해 스크립트 및 추적기 차단, LLM 기반 AI 지원 페이지 요약, 내장 VPN 서비스 등이 있습니다. 당사는 검색 서비스 및 AI 모델의 속도와 비용 효율성을 개선하기 위해 지속적으로 노력하고 있습니다. 이를 지원하기 위해 Trainium2를 비롯한 AWS AI 칩의 최신 기능을 활용하여 매달 수십억 건의 검색 쿼리를 처리하도록 확장하면서 사용자 경험을 개선하게 되어 매우 기쁘게 생각합니다.

Anyscale은 AI 워크로드를 효율적이고 경제적으로 확장할 수 있는 최고의 도구를 기업에 제공하기 위해 최선을 다하고 있습니다. 당사의 RayTurbo 런타임으로 구동되는 AWS Trainium 및 Inferentia 칩에 대한 기본 지원을 통해 고객은 모델 훈련 및 서비스를 위한 고성능의 비용 효율적인 옵션을 이용할 수 있습니다. 이제 Trainium2에서 AWS와 협력하여 고객이 신속하게 혁신하고 대규모로 고성능의 혁신적인 AI 경험을 제공할 수 있는 새로운 기회를 열게 되어 기쁩니다.

클라우드 애플리케이션을 위한 관찰성 및 보안 플랫폼인 Datadog은 고객이 모델 성능을 최적화하고 효율성을 개선하며 비용을 절감할 수 있도록 AWS Trainium 및 Inferentia Monitoring을 제공합니다. Datadog의 통합은 ML 운영 및 기본 칩 성능에 대한 완전한 가시성을 제공하여 선제적 문제 해결과 원활한 인프라 확장이 가능합니다. 사용자가 AI 인프라 비용을 최대 50% 절감하고 모델 훈련 및 배포 성능을 향상시키는 데 도움이 되는 AWS Trainium2 출시로 AWS와의 파트너십을 연장하게 되어 기쁩니다.

Hugging Face는 5백만 명 이상의 연구원, 데이터 과학자, 기계 학습 엔지니어, 소프트웨어 개발자로 구성된 커뮤니티에서 2백만 개 이상의 모델, 데이터세트 및 AI 애플리케이션을 공유하는 AI 빌더를 위한 선도적인 개방형 플랫폼입니다. 지난 몇 년 동안 AWS와 협력한 덕분에 개발자는 Optimum Neuron 오픈 소스 라이브러리를 통해 AWS Inferentia 및 Trainium의 성능 및 비용 이점을 더 쉽게 경험할 수 있습니다. Hugging Face 추론 엔드포인트에 통합된 Optimum Neuron 오픈 소스 라이브러리는 이제 AWS Marketplace에서 제공되는 새로운 HUGS 자체 배포 서비스에 최적화되어 있습니다. Trainium2의 출시로 사용자는 훨씬 강력한 성능을 활용하여 모델을 더 빠르게 개발하고 배포할 수 있습니다.

Lightning은 이제 Lightning 스튜디오와 PyTorch Lightning, Fabric, LitServe 같은 오픈 소스 도구에 통합된 AWS AI 칩 Trainium 및 Inferentia에 대한 지원을 기본적으로 제공합니다. 이를 통해 사용자는 전환 오버헤드 없이 비용, 가용성, 성능을 최적화하고, 저렴한 비용으로 더 높은 성능을 제공하는 최신 Trainium2 칩을 비롯한 AWS AI 칩의 성능 및 비용 이점을 활용하여 대규모 사전 훈련, 미세 조정, 배포를 원활하게 수행할 수 있습니다.

선도적인 기업은 경쟁 우위를 위한 광범위한 AI 옵션을 마스터하여 기술적 복잡성, 비용, 거버넌스의 균형을 유지해야 합니다. Domino는 고객이 첨단 기술을 이용할 수 있도록 최선을 다하고 있습니다. 획기적인 혁신으로 인해 컴퓨팅 병목 현상이 발생하고 있는 지금, 고객이 더 높은 성능, 더 낮은 비용, 더 나은 에너지 효율을 갖춘 모델을 훈련 및 배포할 수 있도록 Trainium2를 제공하게 된 것을 자랑스럽게 생각합니다.

Scale은 AI 애플리케이션 개발을 가속화하고 있습니다. Scale 생성형 AI 솔루션을 통해 고품질 데이터를 생성하고 고객이 최고의 AI 도구 및 애플리케이션을 구축, 배포, 평가할 수 있는 기술 솔루션을 제공함으로써 기업이 생성형 AI 채택을 가속화하고 ROI를 증대할 수 있도록 지원합니다. 올해 초 Scale은 AWS와 파트너십을 맺고 첫 번째 모델 사용자 지정 및 평가 파트너가 되었습니다. 고객이 생성형 AI 솔루션을 구축하기 위한 AI 로드맵을 가속화하도록 지원하는 과정에서 오픈 소스 모델의 훈련 및 배포 비용을 절감하도록 AWS Trainium 및 Inferentia를 제공할 것입니다. AWS Trainium 2를 통해 비용을 대폭 절감할 수 있어 기대가 매우 큽니다.

당사는 대규모 AI 챗봇 서비스를 Amazon EC2 Inf1 인스턴스에서 출시하여 추론 지연 시간을 비교 가능한 GPU 기반 인스턴스 대비 97% 단축하는 동시에 비용도 절감했습니다. 맞춤형 NLP 모델을 주기적으로 세부 조정하려면 모델 훈련 시간과 비용을 줄이는 것도 중요합니다. Inf1 인스턴스의 추론 워크로드를 성공적으로 마이그레이션한 경험과 AWS Trainium 기반 EC2 Trn1 인스턴스의 초기 작업을 비추어 볼 때 Trn1 인스턴스는 엔드 투 엔드 ML 성능과 비용을 개선하는 데 있어서 추가적인 가치를 제공해 줄 것으로 기대됩니다.

Mimecast에서는 매일 약 14억 개의 이메일을 처리하고 잠재적 위험을 분석합니다. 이는 매우 중요한 작업이며 위험 없이 또한 지연 없이 안전한 이메일을 전달하는 것이 매우 중요합니다. 우리의 고객은 100여 개국에 걸쳐 있으며, 각 조직은 평균적으로 4.9개의 Mimecast 서비스를 사용합니다. 이 플랫폼에는 고급 이메일 보안, 협업 보안, 이메일 아카이브, DMARC, 내부자 위험 보호, 인간 중심 접근 방식의 보안 인식이 포함됩니다. 정확도가 희생되는 것을 원치 않았기 때문에 90%를 훨씬 상회하는 정밀도 및 재현율 수준을 달성하기 위해 자체 모델을 구축했습니다. 이러한 요구 사항을 바탕으로 판단할 때 Inferentia 2 인스턴스가 가장 적합한 방법이었습니다. Inferentia 2의 뛰어난 효율성 덕분에 놀라운 지연 시간을 달성하고 고객에게 실시간 경험을 제공할 수 있습니다. AWS AI 칩과 SageMaker를 결합함으로써 매우 쉽게 수평적 스케일링을 통해 실시간 수요에 대응할 수 있으며, 사용자 지정 예약 조정 정책을 사용하여 피크 시간에 지연 시간 오버헤드 거의 없이 최대 100개의 인스턴스까지 스케일 업할 수 있습니다.

AWS Neuron은 코드 변경 및 공급업체별 솔루션 구속을 최소화하면서 JAX와 같은 인기 있는 프레임워크를 Trainium에서 쉽게 사용할 수 있도록 설계되었습니다. Google과 AWS는 고객이 네이티브 OpenXLA 통합을 통해 대규모 훈련 및 추론에 JAX를 사용하여 Trn2 인스턴스를 빠르게 시작할 수 있도록 협력하고 있습니다. Google은 광범위한 협업과 Trainium2 출시로 JAX의 채택이 증가할 것으로 예상하고 있습니다. Trainium2는 전체 ML 커뮤니티에 있어 중요한 이정표입니다.

저희는 대규모 언어 모델을 사용하여 유머를 통합하고 AI 서비스를 기반으로 고객에게 보다 연관성이 높은 대화형 경험을 제공합니다. 이를 위해서는 이러한 모델을 자주 사전 훈련하고 미세 조정해야 합니다. 텐서와 데이터 병렬 처리 기능을 활용하여 EC2 Trn1.32xlarge 인스턴스에서 GPT 기반 일본어 모델을 사전 훈련했습니다. 이전 GPU 기반 인프라에 비해 33% 절감된 비용으로 28일 내에 훈련이 완료되었습니다. 모델이 빠르게 복잡해지는 상황에서, Trn1보다 두 배 더 큰 네트워크 대역폭을 갖춘 Trn1n 인스턴스가 더 규모가 큰 모델의 훈련 속도를 높여줄 것으로 기대하고 있습니다.

당사에서 훈련하는 대규모 언어 모델(LLM)은 다중 모달(텍스트 + 이미지), 다중 언어, 다중 로캘로, 여러 태스크에서 미리 훈련을 받으며 여러 엔터티(제품, 쿼리, 브랜드, 후기 등)에 걸쳐 고객의 쇼핑 경험을 개선합니다. Trn1 인스턴스는 다른 가속화된 기계 학습 솔루션에 비해 최고의 성능/와트를 제공하여 저렴한 비용으로 높은 성능을 활용할 수 있도록 함으로써 LLM을 훈련할 수 있는 보다 지속 가능한 방법을 제공합니다. 당사는 구성 가능한 새로운 FP8 데이터 유형과 하드웨어 가속 확률 반올림을 활용하여 훈련 효율성을 추가로 개선하고 개발 속도를 높일 계획입니다.

AWS Neuron NxD Inference 라이브러리에서 가장 마음에 들었던 점은 PyTorch 모델과 원활하게 통합된다는 것입니다. NxD의 접근 방식은 간단하고 사용자 친화적입니다. 우리 팀은 짧은 시간 내에 최소한의 코드 변경으로 HuggingFace PyTorch 모델을 온보딩할 수 있었습니다. 연속 배칭, 추측 디코딩과 같은 고급 기능을 활성화하는 것은 간단했습니다. 이러한 사용 편의성은 개발자 생산성을 향상시켜 팀이 통합 문제보다는 혁신에 더 집중할 수 있습니다.