차세대 Amazon SageMaker 알아보기

Amazon SageMaker 데이터 및 AI 거버넌스

데이터 및 AI를 안전하게 검색, 관리 및 협업

개요

차세대 Amazon SageMaker는 레이크하우스, AI 모델, 애플리케이션 전반에서 데이터 및 AI에 대한 검색, 거버넌스, 협업을 간소화합니다. Amazon DataZone에 구축된 Amazon SageMaker Catalog를 사용하면 사용자는 생성형 AI가 생성한 메타데이터를 사용하는 시맨틱 검색으로 승인된 데이터 및 모델을 안전하게 검색하고 액세스할 수 있습니다. 아니면 그냥 자연어를 사용하여 Amazon Q Developer에게 데이터를 찾으라고 요청할 수도 있습니다. 사용자는 Amazon SageMaker Unified Studio(평가판)에서 중앙 집중식으로 세분화된 액세스 제어가 포함된 단일 권한 모델을 사용하여 액세스 정책을 일관되게 정의하고 적용할 수 있습니다. 간편한 게시/구독 워크플로를 통해 데이터 및 AI 자산을 원활하게 공유하고 협업합니다. SageMaker를 사용하면 Amazon Bedrock 가드레일을 사용하여 AI 모델을 보호하고 책임 있는 AI 정책을 구현할 수 있습니다. 데이터 품질 모니터링 및 자동화, 민감한 데이터 탐지, 데이터 및 기계 학습(ML) 계보를 통해 조직 전체에 신뢰를 구축합니다.

이점

Amazon DataZone에 구축된 SageMaker Catalog를 사용하여 대규모로 데이터 및 AI 자산을 검색합니다. 비즈니스 컨텍스트에 맞게 데이터 및 메타데이터를 자동으로 보강하도록 생성형 AI로 데이터 검색을 개선합니다. 그러면 모든 사용자가 데이터를 더 쉽게 찾고 이해하고 사용할 수 있습니다. 테이블 및 열 이름 또는 비즈니스 용어집 용어로 필터링하여 데이터, AI 모델, 프롬프트, 생성형 AI 자산을 공유할 수 있습니다. 각 데이터세트에 대해 중요한 열 및 관련 분석 애플리케이션을 자동으로 추천하므로 올바른 데이터를 사용하여 올바른 모델을 신속하게 구축할 수 있습니다. 프로젝트를 통해 단일 경험에서 게시/구독 워크플로를 통한 원활한 데이터 및 AI 공유로 중앙 집중식 및 분산형 거버넌스 모델이 모두 지원됩니다.

SageMaker의 데이터 품질, 데이터 계보, ML 계보에 대한 실시간 가시성을 통해 신뢰를 확보합니다. 데이터 프로파일링 및 데이터 품질 권장 사항을 자동화하고, 데이터 품질 규칙을 모니터링하고, 경고를 수신합니다. 규칙 기반 및 ML 접근 방식을 사용하여 엔터티를 조정함으로써 발견하기 어려운 데이터 품질 문제를 해결합니다. 그러면 고품질 데이터를 기반으로 자신 있는 비즈니스 의사 결정을 내릴 수 있습니다. 편향을 감지하거나 특성이 모델 예측에 어떻게 기여하는지 보고하는 내장된 모델 모니터링이 데이터 파이프라인 및 AI 프로젝트의 투명성을 향상합니다.
데이터, 분석, AI 모델이 적절하게 사용되도록 SageMaker에서 세분화된 액세스 제어, 데이터 분류, 가드레일을 통해 데이터 및 AI 보안을 중앙 집중화합니다. 권한을 한 번 정의하고 데이터 및 모델 전체에 적용합니다. Amazon Bedrock IDE(평가판)가 기본적으로 통합되어 있으므로 고객은 유해 콘텐츠를 차단하고 할루시네이션을 필터링하고 개인 정보 보호, 안전성, 정확성을 위해 사용자 지정 가능한 보호 조치를 활성화하여 생성형 AI 애플리케이션에서 Amazon Bedrock 가드레일을 사용할 수 있습니다. Amazon Comprehend를 사용하여 파이프라인 내에서 민감한 정보를 자동으로 식별합니다.
데이터 사용과 모델 로깅 및 모니터링을 통해 감사 및 규정 준수를 충족할 수 있습니다. 프로젝트 기반 격리를 통해 기업 전체에서 분석 및 AI 자산의 적절한 사용을 지원합니다. 레이크하우스 전반의 데이터 및 모델 사용을 이해하여 보안을 강화할 수 있습니다. Amazon SageMaker Clarify를 사용하여 책임 있는 AI 표준에 따라 모델의 편향, 정확성, 강건성을 모니터링할 수 있습니다. 비즈니스 이니셔티브에 맞게 비용을 조정하고 비즈니스 투자를 명확하게 파악합니다.

기능

컨텍스트 및 검색 가능성을 위해 큐레이션된 데이터

SageMaker Catalog는 기술 메타데이터로 비즈니스 컨텍스트를 가져와 사용자가 비즈니스 컨텍스트로 기술 메타데이터를 강화할 수 있도록 합니다. 모든 사용자가 빠르고 쉽게 데이터를 찾고, 이해하고, 신뢰할 수 있도록 비즈니스 컨텍스트로 데이터를 가시화할 수 있습니다.

자동 메타데이터 추천

데이터에 비즈니스 설명과 이름을 자동으로 추가하면 컨텍스트를 쉽게 파악할 수 있고 어려운 기술 명칭을 사용하지 않아도 됩니다. 이 자동화는 대규모 언어 모델(LLM)을 기반으로 하여 정확성과 일관성을 향상합니다.

모든 애플리케이션에 일관된 수준의 AI 안전 제공

Amazon Bedrock 가드레일은 사용 사례별 정책을 기반으로 사용자 입력 및 파운데이션 모델(FM) 응답을 평가하는 데 도움이 되며, 기본 FM과 관계없이 추가 계층의 보호를 제공합니다.

모델을 빠르게 감사 및 추적할 수 있습니다.

통합 보기를 통해 모든 모델, 엔드포인트 및 모델 모니터링 작업의 성능을 신속하게 감사하고 문제를 해결합니다. 자동화된 알림을 통해 예상되는 모델 동작과 누락되거나 비활성화된 모니터링 작업의 편차를 추적합니다.

데이터 품질

데이터 소비자는 데이터 품질 통계를 통해 AWS 또는 서드 파티 시스템의 데이터 품질 지표를 볼 수 있습니다. 데이터 소비자는 의사 결정에 사용하는 데이터 소스를 신뢰할 수 있고 자산을 검색할 때 데이터 품질 컨텍스트를 파악할 수 있습니다. 데이터 생산자와 IT 팀은 API를 사용하여 서드 파티 시스템의 데이터 품질 통계를 콘솔 외부의 통합 포털에 통합할 수도 있습니다.

데이터 및 ML 계보

시간 경과에 따른 데이터 및 모델의 이동을 이해합니다. 계보는 데이터 소비자가 데이터의 출처, 변경 사항, 사용을 파악하는 데 도움을 주어 조직의 데이터 및 AI 리터러시를 향상시키고 신뢰를 높일 수 있습니다. 데이터 및 AI 자산과 자산 관계 매핑, 파이프라인 문제 해결 및 개발, 데이터 및 AI 거버넌스 사례 적용에 소요되는 시간을 줄일 수 있습니다.