FAQ Amazon SageMaker AI

AI Amazon SageMaker (sebelumnya Amazon SageMaker) adalah layanan terkelola penuh yang menyatukan beragam set alat untuk memungkinkan machine learning (ML) beperforma tinggi dan berbiaya rendah untuk kasus penggunaan apa pun. Dengan AI SageMaker, Anda dapat membangun, melatih, dan melakukan deployment model ML dalam skala besar. SageMaker adalah platform terpadu untuk data, analitik, dan AI. Layanan ini memberikan pengalaman pengembangan terpadu yang ditenagai AI baru bagi pelanggan untuk membangun aplikasi dengan mudah dan cepat di AWS.

Di re:Invent 2024, kemampuan yang didukung termasuk titik akhir inferensi, JumpStart, Pelatihan, MLFlow, Registri Model, aplikasi AI partner, HyperPod, Pipelines, dan lainnya. Kami berusaha untuk menggabungkan semua fungsionalitas yang ada yang mendukung seluruh perjalanan pengembangan model, mulai dari pelatihan hingga deployment, di Unified Studio baru.

SageMaker memberikan pengalaman data dan AI terpadu untuk menemukan, mengakses, dan bertindak berdasarkan data Anda, yang mempercepat analitik dan inisiatif AI. AI SageMaker akan terus didukung, jadi Anda tidak perlu mengambil tindakan apa pun untuk memastikan alur kerja yang ada terus berfungsi. Misalnya, Anda dapat terus menggunakan klaster Amazon SageMaker HyperPod yang ada sebagaimana adanya. Jika Anda ingin menggunakannya di SageMaker Unified Studio baru, atur koneksi dengan klaster ini. Semua konfigurasi HyperPod Anda yang ada akan dimigrasikan ke proyek Anda secara otomatis di SageMaker, dan performa serta penghematan biaya akan tetap sama. Namun, pengalaman SageMaker Unified Studio dapat meningkatkan produktivitas dengan menyatukan semua alat ke satu tempat.

Kami sangat senang mengumumkan unified studio yang memungkinkan Anda untuk berkolaborasi dan membangun lebih cepat. Dari SageMaker Unified Studio, Anda dapat menemukan data, mengueri data, melatih model AI, dan membangun aplikasi AI generatif. Kami di sini untuk mendukung setiap langkah Anda. Kami akan memberikan panduan yang mudah digunakan untuk membawa proyek Anda yang ada ke unified studio pada Kuartal 1 2025. Jika Anda memiliki pertanyaan, jangan ragu untuk menghubungi tim akun Anda.

SageMaker Studio tetap menjadi pilihan tepat bagi pelanggan yang membutuhkan pengalaman pengembangan ML yang andal dan efisien. Organisasi yang ingin mengeksplorasi kemampuan data dan analitik akan menemukan tata kelola terintegrasi, analitik canggih, dan fitur AI generatif yang menarik dari platform terpadu baru. Dengan pengalaman terintegrasi SageMaker Unified Studio baru, Anda dapat menyiapkan dan mengintegrasikan data, menjelajahi data menggunakan SQL, dan menemukan serta mengatur data dengan katalog terpadu.

Ya, HyperPod, JumpStart, MLFlow, JupyterLab, dan Pipelines semuanya tersedia di SageMaker Unified Studio baru. Selain itu, titik akhir inferensi, Pelatihan, Registri Model, dan kemampuan SageMaker populer lainnya juga didukung di Unified Studio baru.

Perjalanan 1. Pilih, sesuaikan, dan lakukan deployment model fondasi (FM):

• Jelajahi dan pilih set data
• Pilih FM
• Evaluasi model (otomatis dan bantuan manusia)
• Sesuaikan, sempurnakan: Optimalkan harga, performa, dan kualitas FM
• Optimalkan dan lakukan deployment untuk inferensi
• Otomatiskan dengan FMOps dan pemantauan model

Perjalanan 2. Bangun, latih, dan lakukan deployment model ML dalam skala besar:

• Percepat dan skalakan persiapan data untuk ML
• Bangun model ML
• Melatih dan menyetel model ML
• Lakukan deployment dalam produksi
• Kelola dan pantau
• Otomatiskan siklus hidup ML

Perjalanan 3. Pilih model, bangun, dan lakukan deployment aplikasi AI generatif:

• Pilih model dan sempurnakan
• Impor model ke Amazon Bedrock
• Bangun dan lakukan deployment aplikasi AI generatif yang terintegrasi dengan titik akhir Anda

Perjalanan 4. Pilih dan lakukan deployment model ke titik akhir, dan hubungkan titik akhir ke aplikasi AI generatif:

• Pilih model
• Lakukan deployment model ke titik akhir SageMaker
• Hubungkan titik akhir ke aplikasi AI generatif Anda

Pengalaman pengembangan terpadu yang baru memiliki model penetapan harga berbasis penggunaan untuk Studio dan penetapan harga pass-through untuk semua layanan yang mendasarinya. Unified Studio akan mengenakan biaya untuk penyimpanan metadata, permintaan API, dan tata kelola. Untuk detail selengkapnya, kunjungi harga Amazon SageMaker.

SageMaker menyediakan alat tata kelola ML yang dibangun khusus di seluruh siklus hidup ML. Dengan menggunakan Amazon SageMaker Role Manager, administrator dapat menentukan izin minimum dalam hitungan menit. Kartu Model Amazon SageMaker memudahkan dalam menangkap, mengambil, serta berbagi informasi model penting dari pembuatan konsepsi hingga deployment, dan Dasbor Model Amazon SageMaker memberi Anda informasi tentang perilaku model produksi, semuanya di satu tempat. Untuk
informasi selengkapnya, lihat Tata Kelola ML dengan Amazon SageMaker.

Anda dapat menentukan izin minimum dalam hitungan menit dengan Manajer Peran SageMaker. Ini memberikan serangkaian izin dasar untuk aktivitas dan persona ML dengan katalog kebijakan IAM yang telah dibuat sebelumnya. Anda dapat menetapkan atau mengustomisasi izin dasar lebih lanjut berdasarkan kebutuhan tertentu Anda. Dengan beberapa petunjuk panduan mandiri, Anda dapat dengan cepat menginput konstruksi tata kelola umum seperti batasan akses jaringan dan kunci enkripsi. Kemudian, SageMaker Role Manager akan membuat kebijakan IAM secara otomatis. Anda dapat menemukan peran yang sudah dibuat dan kebijakan terkait melalui konsol AWS IAM. Selanjutnya, sesuaikan izin dengan kasus penggunaan Anda, lampirkan kebijakan IAM terkelola Anda ke IAM role yang Anda buat dengan SageMaker Role Manager. Anda juga dapat menambahkan tanda untuk membantu mengidentifikasi peran dan mengatur seluruh layanan AWS.

Kartu Model SageMaker membantu Anda memusatkan dan menstandardisasi dokumentasi model di seluruh siklus hidup ML dengan menciptakan satu sumber kebenaran untuk informasi model. Kartu Model SageMaker secara otomatis mengisi detail pelatihan untuk mempercepat proses dokumentasi. Anda juga dapat menambahkan detail seperti tujuan model dan sasaran performa. Anda dapat melampirkan hasil evaluasi model ke kartu model Anda dan memberikan visualisasi untuk mendapatkan wawasan penting tentang performa model. Kartu Model SageMaker dapat dengan mudah dibagikan kepada orang lain dengan mengekspor ke format PDF.

Dasbor Model SageMaker memberi Anda gambaran menyeluruh tentang model dan titik akhir yang di-deploy, memungkinkan Anda melacak sumber daya dan pelanggaran perilaku model melalui satu panel. Ini memungkinkan Anda memantau perilaku model dalam empat dimensi, termasuk kualitas data dan model, serta bias dan penyimpangan atribusi fitur melalui integrasinya dengan SageMaker Model Monitor dan SageMaker Clarify. Dasbor Model SageMaker juga memberikan pengalaman terintegrasi untuk menyiapkan dan menerima peringatan untuk tugas pemantauan model yang hilang dan tidak aktif, serta penyimpangan dalam perilaku model untuk kualitas model, kualitas data, penyimpangan bias, dan penyimpangan atribusi fitur. Selanjutnya, Anda dapat memeriksa tiap-tiap model dan menganalisis faktor yang memengaruhi performa model dari waktu ke waktu. Kemudian, Anda dapat melakukan tindak lanjut bersama para praktisi ML untuk mengambil tindakan korektif.

SageMaker JumpStart membantu Anda memulai menggunakan ML dengan cepat dan mudah. SageMaker JumpStart menyediakan serangkaian solusi untuk kasus penggunaan paling umum yang dapat di-deploy dengan mudah hanya dalam beberapa langkah. Solusi ini sepenuhnya dapat disesuaikan serta menampilkan penggunaan templat AWS CloudFormation dan arsitektur referensi sehingga Anda dapat mempercepat perjalanan ML Anda. SageMaker JumpStart juga menyediakan model fondasi dan mendukung deployment satu langkah dan penyesuaian lebih dari 150 model sumber terbuka populer, seperti transformator, deteksi objek, dan model klasifikasi gambar. 

SageMaker JumpStart menyediakan model eksklusif dan publik. Untuk daftar model fondasi yang tersedia, lihat Memulai Amazon SageMaker JumpStart.

Anda dapat mengakses model fondasi melalui SageMaker Studio, SageMaker SDK, dan Konsol Manajemen AWS. Untuk memulai menggunakan model fondasi eksklusif, Anda harus menerima ketentuan penjualan di AWS Marketplace.

Tidak. Data inferensi dan pelatihan Anda tidak akan digunakan atau dibagikan untuk memperbarui atau melatih model dasar yang SageMaker JumpStart tampilkan kepada pelanggan.

Tidak. Model eksklusif tidak mengizinkan pelanggan melihat bobot dan skrip model.

Model dapat ditemukan di semua Region  tempat SageMaker Studio tersedia, tetapi kemampuan untuk melakukan deployment model berbeda-beda berdasarkan ketersediaan model dan instans dari tipe instans yang diperlukan. Anda dapat merujuk ke ketersediaan AWS Region dan instans yang diperlukan dari halaman detail model di AWS Marketplace .

Untuk model eksklusif, Anda dikenakan biaya untuk harga perangkat lunak yang ditentukan oleh penyedia model dan biaya infrastruktur SageMaker berdasarkan instans yang digunakan. Untuk model yang tersedia untuk umum, Anda dikenakan biaya infrastruktur SageMaker berdasarkan instans yang digunakan. Untuk informasi selengkapnya, lihat Harga Amazon SageMaker dan AWS Marketplace.

Keamanan adalah prioritas utama di AWS, dan SageMaker JumpStart didesain agar aman. Itulah alasan SageMaker memberi Anda kepemilikan serta kontrol terhadap konten melalui alat canggih yang disederhanakan, yang memungkinkan Anda untuk menentukan lokasi penyimpanan konten, mengamankan konten yang sedang dalam kondisi bergerak atau diam, dan mengelola akses ke layanan serta sumber daya AWS bagi pengguna.

1. Kami tidak membagikan informasi pelatihan dan inferensi pelanggan dengan penjual model di AWS Marketplace. Demikian pula, artefak model penjual (misalnya, bobot model) tidak dibagikan dengan pembeli.
2. SageMaker JumpStart tidak menggunakan model pelanggan, data pelatihan, atau algoritma untuk meningkatkan layanannya dan tidak membagikan data pelatihan dan inferensi pelanggan dengan pihak ketiga.
3. Di SageMaker JumpStart, artefak model ML dienkripsi saat bergerak dan saat diam.
4. Di bawah Model Tanggung Jawab Bersama AWS, AWS bertanggung jawab untuk melindungi infrastruktur global yang menjalankan semua AWS. Anda bertanggung jawab untuk menjaga kontrol atas konten Anda yang di-hosting di infrastruktur ini.

Dengan menggunakan model dari AWS Marketplace atau SageMaker JumpStart, pengguna dianggap bertanggung jawab atas kualitas output model dan memahami kemampuan serta batasan yang dijelaskan dalam deskripsi model individual.

SageMaker JumpStart menyertakan lebih dari 150 model yang telah dilatih sebelumnya yang tersedia secara publik dari PyTorch Hub dan TensorFlow Hub. Untuk tugas penglihatan seperti klasifikasi citra dan deteksi objek, Anda dapat menggunakan model seperti RESNET, MobileNet, dan single-shot detector (SSD). Untuk tugas teks seperti klasifikasi kalimat, klasifikasi teks, dan menjawab pertanyaan, Anda dapat menggunakan model seperti BERT, RoBERTa, dan DistilBERT.

Dengan SageMaker JumpStart, ilmuwan data dan developer ML dapat dengan mudah berbagi artefak ML, termasuk notebook dan model, dalam organisasi mereka. Administrator dapat mengatur repositori yang dapat diakses oleh sekelompok pengguna tertentu. Semua pengguna yang memiliki izin untuk mengakses repositori dapat menelusuri, mencari, dan menggunakan model dan notebook serta konten publik di dalam SageMaker JumpStart. Pengguna dapat memilih artefak untuk melatih model, melakukan deployment titik akhir, dan menjalankan notebook di SageMaker JumpStart.

Dengan SageMaker JumpStart, Anda dapat mempercepat waktu pemasaran saat membangun aplikasi ML. Model dan notebook yang dibuat oleh satu tim dalam organisasi Anda dapat dibagikan dengan mudah kepada tim lain dalam organisasi Anda hanya dalam beberapa langkah. Berbagi pengetahuan internal dan penggunaan kembali aset dapat meningkatkan produktivitas organisasi Anda secara signifikan.

Amazon SageMaker Clarify kini mendukung evaluasi model fondasi. Anda dapat mengevaluasi, membandingkan, dan memilih model fondasi terbaik untuk kasus penggunaan spesifik Anda. Cukup pilih model yang ingin Anda evaluasi untuk tugas tertentu, seperti menjawab pertanyaan atau meringkas konten. Selanjutnya pilih kriteria evaluasi (misalnya, akurasi, keadilan, dan ketahanan) dan unggah set data perintah Anda sendiri atau pilih dari set data bawaan yang tersedia untuk umum. Untuk kriteria subjektif atau konten samar yang memerlukan penilaian manusia yang canggih, Anda dapat memilih untuk memanfaatkan tenaga kerja Anda sendiri atau menggunakan tenaga kerja terkelola yang disediakan AWS untuk meninjau responsnya. Setelah Anda menyelesaikan proses penyiapan, SageMaker Clarify menjalankan evaluasinya dan menghasilkan laporan, sehingga Anda dapat dengan mudah memahami bagaimana performa model di seluruh kriteria utama. Anda dapat mengevaluasi model fondasi di SageMaker JumpStart menggunakan wizard evaluasi atau model fondasi apa pun yang tidak di-hosting di AWS menggunakan pustaka sumber terbuka.

Ya. Admin dapat mengontrol model Amazon SageMaker JumpStart yang bisa dilihat dan digunakan oleh pengguna mereka di beberapa akun AWS serta pengguna utama pengguna. Untuk mempelajari selengkapnya, lihat dokumentasi.

Toolkit optimisasi inferensi memudahkan Anda menerapkan teknik optimisasi inferensi terbaru untuk mencapai performa biaya tercanggih (SOTA) di Amazon SageMaker, sekaligus menghemat waktu developer selama berbulan-bulan. Anda dapat memilih dari menu teknik optimisasi populer yang disediakan oleh SageMaker dan menjalankan tugas optimisasi terlebih dahulu, melakukan tolok ukur model untuk metrik performa dan akurasi, lalu melakukan deployment model yang dioptimalkan ke titik akhir SageMaker untuk inferensi. Toolkit menangani semua aspek optimisasi model, sehingga Anda dapat lebih fokus pada tujuan bisnis Anda.

Toolkit optimisasi inferensi membantu Anda meningkatkan performa biaya dan waktu pemasaran untuk aplikasi AI generatif. Toolkit optimisasi model yang dikelola penuh memberi Anda akses ke teknik optimisasi terbaru dengan alat yang mudah digunakan. Peningkatan ke solusi terbaik yang tersedia juga mudah dilakukan seiring berjalannya waktu karena toolkit ini terus beradaptasi dengan inovasi tercanggih, perangkat keras baru, dan fitur hosting.

Toolkit optimisasi inferensi mendukung teknik optimisasi, seperti Dekoding Spekulatif, Kuantisasi, dan Kompilasi. Anda dapat memilih optimisasi yang ingin ditambahkan ke model Anda dalam beberapa klik, dan Amazon SageMaker akan mengelola semua pekerjaan berat yang tidak terdiferensiasi dalam pengadaan perangkat keras, pemilihan kontainer deep learning, dan parameter penyetelan yang sesuai untuk menjalankan tugas optimisasi, lalu menyimpan artefak model yang dioptimalkan di lokasi S3 yang Anda berikan.

Untuk Dekode Spekulatif, Anda dapat memulai dengan model draf yang disediakan SageMaker, sehingga Anda tidak perlu membuat model draf Anda sendiri dari awal, dan meminta optimisasi tingkat sistem serta perutean. Dengan Kuantisasi, Anda cukup memilih tipe presisi yang ingin digunakan dan memulai pekerjaan pembandingan (benchmarking) untuk mengukur tradeoff akurasi versus performa. Amazon SageMaker akan menghasilkan laporan evaluasi yang komprehensif sehingga Anda dapat dengan mudah menganalisis tradeoff antara performa dan akurasi. Dengan Kompilasi, untuk model paling populer dan konfigurasinya, Amazon SageMaker akan otomatis mengambil artefak model yang dikompilasi selama pengaturan titik akhir dan penskalaan, ini akan menghilangkan kebutuhan Anda untuk menjalankan tugas kompilasi terlebih dahulu, sehingga menghemat biaya perangkat keras.

Toolkit optimisasi inferensi Amazon SageMaker membantu mengurangi biaya dan waktu Anda untuk mengoptimalkan model GenAI, sehingga Anda dapat fokus pada tujuan bisnis Anda.

SageMaker Canvas adalah layanan tanpa kode dengan antarmuka tunjuk dan klik yang intuitif yang memungkinkan Anda membuat prediksi berbasis ML yang sangat akurat dari data Anda. SageMaker Canvas memungkinkan Anda mengakses dan menggabungkan data dari berbagai sumber menggunakan antarmuka pengguna seret dan lepas, yang secara otomatis membersihkan dan menyiapkan data untuk meminimalkan pembersihan manual. SageMaker Canvas menerapkan berbagai algoritma ML canggih untuk menemukan model prediktif yang sangat akurat dan menyediakan antarmuka intuitif untuk membuat prediksi. Anda dapat menggunakan SageMaker Canvas untuk membuat prediksi yang jauh lebih tepat dalam berbagai aplikasi bisnis dan berkolaborasi dengan mudah dengan ilmuwan data dan analis di perusahaan Anda dengan berbagi model, data, dan laporan. Untuk selengkapnya tentang SageMaker Canvas, lihat FAQ Amazon SageMaker Canvas .

Dengan SageMaker Canvas, Anda membayar berdasarkan penggunaan. SageMaker Canvas memungkinkan Anda menyerap, menjelajahi, dan menyiapkan data secara interaktif dari berbagai sumber, melatih model ML yang sangat akurat dengan data Anda, dan menghasilkan prediksi. Ada dua komponen yang menentukan tagihan Anda: biaya sesi berdasarkan jumlah jam di mana SageMaker Canvas digunakan atau masuk, dan biaya untuk melatih model berdasarkan ukuran set data yang digunakan untuk membangun model. Untuk informasi selengkapnya, lihat Harga Amazon SageMaker Canvas .

Amazon SageMaker Pipelines  membantu Anda membuat alur kerja ML yang sepenuhnya otomatis mulai dari persiapan data hingga deployment model, sehingga Anda dapat menskalakan ribuan model ML dalam produksi. Anda dapat membuat Pipeline dengan SageMaker Python SDK dan melihat, mengeksekusi, mengauditnya dari antarmuka visual SageMaker Studio. SageMaker Pipelines menangani pengelolaan data antarlangkah, pengemasan resep kode, dan pengoordinasian eksekusinya, sehingga mengurangi waktu pengodean dari berbulan-bulan menjadi hanya beberapa jam. Setiap kali alur kerja dijalankan, catatan lengkap data yang diproses dan tindakan yang diambil disimpan, sehingga ilmuwan data dan developer ML dapat dengan cepat melakukan debug masalah.

Anda dapat menggunakan langkah pendaftaran model di SageMaker Pipeline Anda untuk menggabungkan semua model yang merupakan kandidat untuk deployment di satu tempat. Di kemudian hari, Anda atau orang lain di tim Anda dapat menemukan, meninjau, dan menyetujui model ini untuk dilakukan deployment di SageMaker Model Registry, baik melalui SageMaker Studio UI maupun Python SDK.

SageMaker Pipeline terdiri dari ‘langkah-langkah’. Anda dapat memilih salah satu tipe langkah yang didukung secara native untuk menyusun alur kerja yang menginvokasi berbagai fitur SageMaker (mis., pelatihan, evaluasi) atau layanan AWS lainnya (mis., EMR, Lambda). Anda juga dapat mengangkat dan menggeser kode ML Python yang ada ke dalam SageMaker Pipeline dengan menggunakan dekorator python ‘@step’ atau menambahkan seluruh Notebook python sebagai komponen Pipeline. Untuk detail tambahan, lihat panduan developer SageMaker Pipelines.

SageMaker Pipelines secara otomatis melacak semua konstituen model dan menyimpan jejak audit untuk semua perubahan, sehingga menghilangkan pelacakan manual, dan dapat membantu Anda mencapai sasaran kepatuhan. Anda dapat melacak data, kode, model terlatih, dan lainnya dengan SageMaker Pipelines.

Tidak ada biaya tambahan yang dikenakan untuk SageMaker Pipelines. Anda hanya membayar untuk komputasi dasar atau layanan AWS terpisah yang Anda gunakan dalam SageMaker Pipelines.

Ya. Komponen Amazon SageMaker untuk Kubeflow Pipelines merupakan plugin sumber terbuka yang memungkinkan Anda menggunakan Kubeflow Pipelines untuk menentukan alur kerja ML Anda dan menggunakan SageMaker untuk pelabelan data, pelatihan, dan langkah-langkah inferensi. Kubeflow Pipelines adalah add-on untuk Kubeflow yang memungkinkan Anda membangun dan melakukan deployment alur ML lengkap yang portabel dan mudah diskalakan. Namun, saat menggunakan Kubeflow Pipelines, tim operasional ML perlu mengelola klaster Kubernetes dengan instans CPU dan GPU, serta menjaga penggunaannya tetap optimal setiap saat untuk mengurangi biaya operasional. Memaksimalkan penggunaan klaster di seluruh tim data merupakan hal yang menantang dan menambah overhead operasional tambahan bagi tim operasional ML. Sebagai alternatif untuk klaster Kubernetes yang didukung ML, dengan Amazon SageMaker Components untuk Kubeflow Pipelines, Anda dapat memanfaatkan fitur-fitur SageMaker yang andal seperti pelabelan data, penyesuaian hiperparameter berskala besar yang terkelola sepenuhnya, dan tugas pelatihan terdistribusi, deployment model yang aman dan mudah diskalakan dalam satu kali klik, serta pelatihan yang hemat biaya dengan instans Spot Amazon Elastic Compute Cloud (Amazon EC2) tanpa perlu mengonfigurasi dan mengelola klaster Kubernetes secara khusus untuk menjalankan tugas-tugas ML.

Tidak ada biaya tambahan untuk menggunakan Komponen SageMaker untuk Kubeflow Pipelines. 

Human-in-the-loop adalah proses memanfaatkan input manusia di seluruh siklus hidup ML untuk meningkatkan akurasi dan relevansi model. Manusia dapat melakukan berbagai tugas, mulai dari pembuatan data dan anotasi, hingga peninjauan dan penyesuaian model. Intervensi manusia sangat penting terutama untuk aplikasi AI generatif, yang umumnya manusia berperan sebagai peminta dan konsumen konten. Oleh karena itu, sangat penting bahwa manusia melatih model fondasi (FM) untuk merespons dengan akurat, aman, dan relevan terhadap instruksi pengguna. Umpan balik manusia dapat diterapkan untuk membantu Anda menyelesaikan banyak tugas. Pertama, membuat set data pelatihan berlabel berkualitas tinggi untuk aplikasi AI generatif melalui pembelajaran yang diawasi (dengan manusia menyimulasikan gaya, panjang, dan akurasi tentang bagaimana model harus merespons permintaan pengguna) dan pembelajaran penguatan dengan umpan balik manusia (dengan manusia memberi peringkat dan mengklasifikasikan tanggapan model). Kedua, menggunakan data yang dihasilkan manusia untuk menyesuaikan FM pada tugas tertentu atau dengan data spesifik perusahaan dan domain Anda serta membuat output model relevan untuk Anda.

Kemampuan human-in-the-loop berperan penting dalam menciptakan dan meningkatkan aplikasi AI generatif yang didukung oleh FM. Tenaga kerja manusia yang sangat terampil yang dilatih berdasarkan pedoman tugas dapat memberikan umpan balik, panduan, input, dan penilaian dalam aktivitas seperti menghasilkan data demonstrasi untuk melatih FM, mengoreksi dan meningkatkan respons sampel, menyempurnakan model berdasarkan data perusahaan dan industri, bertindak sebagai perlindungan terhadap toksisitas dan bias serta banyak lagi. Oleh karena itu, kemampuan human-in-the-loop dapat meningkatkan akurasi dan performa model. 

Amazon SageMaker Ground Truth menawarkan serangkaian kemampuan human-in-the-loop yang paling komprehensif. Ada dua cara untuk menggunakan Amazon SageMaker Ground Truth, penawaran layanan mandiri dan penawaran yang dikelola AWS. Dalam penawaran layanan mandiri, anotator data, pembuat konten, dan teknisi perintah Anda (internal, yang dikelola vendor, atau memanfaatkan kerumunan publik) dapat menggunakan antarmuka pengguna kode rendah kami untuk mempercepat tugas yang bersifat human-in-the-loop, sekaligus memiliki fleksibilitas untuk membangun dan mengelola alur kerja kustom Anda sendiri. Dalam penawaran yang dikelola AWS (SageMaker Ground Truth Plus), kami menangani tugas berat untuk Anda, termasuk memilih dan mengelola tenaga kerja yang tepat untuk kasus penggunaan Anda. SageMaker Ground Truth Plus merancang dan menyesuaikan alur kerja menyeluruh (termasuk pelatihan tenaga kerja terperinci dan langkah-langkah jaminan kualitas) dan menyediakan tim terampil yang dikelola AWS yang dilatih mengenai tugas spesifik dan memenuhi persyaratan kualitas, keamanan, dan kepatuhan data Anda. 

SageMaker Data Wrangler mengurangi waktu yang diperlukan untuk mengumpulkan dan menyiapkan data untuk ML. Dari satu antarmuka di SageMaker Studio, Anda dapat menelusuri dan mengimpor data dari Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake, dan Databricks hanya dalam beberapa langkah. Anda juga dapat melakukan kueri dan mengimpor data yang ditransfer dari lebih dari 50 sumber data dan terdaftar di Katalog Data AWS Glue oleh Amazon AppFlow. SageMaker Data Wrangler akan secara otomatis memuat, menggabungkan, dan menampilkan data mentah. Setelah mengimpor data ke SageMaker Data Wrangler, Anda dapat melihat ringkasan kolom dan histogram yang dibuat secara otomatis. Anda selanjutnya dapat menggali lebih dalam untuk memahami data Anda dan mengidentifikasi potensi kesalahan dengan laporan Kualitas Data dan Wawasan SageMaker Data Wrangler, yang memberikan ringkasan statistik dan peringatan kualitas data. Anda juga dapat menjalankan analisis bias yang didukung oleh SageMaker Clarify langsung dari SageMaker Data Wrangler untuk mendeteksi potensi bias selama persiapan data. Dari sana, Anda dapat menggunakan transformasi bawaan SageMaker Data Wrangler untuk menyiapkan data Anda. Setelah data Anda siap, Anda dapat membangun alur kerja ML yang sepenuhnya otomatis dengan Amazon SageMaker Pipelines atau mengimpor data tersebut ke Amazon SageMaker Feature Store .

SageMaker Data Wrangler mendukung data tabular, deret waktu, dan gambar, menawarkan 300+ transformasi data yang telah dikonfigurasi sebelumnya untuk menyiapkan modalitas data yang berbeda ini. Untuk pelanggan yang ingin menyiapkan data teks di Data Wrangler untuk kasus penggunaan NLP, Data Wrangler mendukung pustaka NLTK sehingga pelanggan dapat menyiapkan data teks dengan membuat transformasi kustom mereka sendiri di Data Wrangler.

SageMaker Data Wrangler menawarkan pilihan lebih dari 300 transformasi data berbasis PySpark prabangun sehingga Anda dapat mentransformasikan data dan menskalakan alur kerja penyiapan data tanpa perlu menulis satu pun baris kode. Selain itu, Anda dapat mengubah data untuk model ML menggunakan antarmuka bahasa alami yang didukung FM atau membuat cuplikan kode kustom dari pustaka cuplikan SageMaker Data Wrangler.

SageMaker Data Wrangler membantu Anda memahami data dan mengidentifikasi potensi kesalahan serta nilai ekstrem dengan set templat visualisasi prakonfigurasi yang kuat. Histogram, plot acak, dan visualisasi khusus ML, seperti deteksi kebocoran target, semuanya tersedia tanpa menulis satu baris kode pun. Anda juga dapat membuat dan mengedit visualisasi Anda sendiri.

Anda membayar semua sumber daya komputasi, penyimpanan, dan pemrosesan data ML yang Anda gunakan untuk SageMaker Data Wrangler. Anda dapat meninjau semua detail harga SageMaker Data Wrangler di sini. Sebagai bagian dari AWS Tingkat Gratis , Anda juga dapat memulai SageMaker Data Wrangler secara gratis.

SageMaker Data Wrangler memberikan pengalaman terpadu yang memungkinkan Anda menyiapkan data dan melatih model machine learning dengan lancar di SageMaker Canvas. SageMaker Canvas secara otomatis membuat, melatih, dan menyempurnakan model ML terbaik berdasarkan data Anda. Anda juga dapat menggunakan fitur yang disiapkan di SageMaker Data Wrangler dengan model yang sudah ada. Anda dapat mengonfigurasikan tugas pemrosesan SageMaker Data Wrangler untuk dijalankan sebagai bagian dari alur pelatihan SageMaker Anda dengan mengonfigurasikan tugas di antarmuka pengguna (UI) atau mengekspor notebook dengan kode orkestrasi.

Anda dapat mengonfigurasi dan meluncurkan tugas pemrosesan SageMaker langsung dari UI SageMaker Data Wrangler, termasuk menjadwalkan tugas pemrosesan data Anda dan membuat parameter sumber data Anda untuk dengan mudah mengubah set data baru dalam skala besar.

Setelah Anda menyiapkan data, SageMaker Data Wrangler memberikan opsi berbeda untuk mempromosikan aliran SageMaker Data Wrangler Anda ke produksi dan berintegrasi secara lancar dengan kemampuan MLOps dan CI/CD. Anda dapat mengonfigurasi dan meluncurkan tugas pemrosesan SageMaker langsung dari UI SageMaker Data Wrangler, termasuk menjadwalkan tugas pemrosesan data Anda dan membuat parameter sumber data Anda untuk dengan mudah mengubah set data baru dalam skala besar. Atau, SageMaker Data Wrangler berintegrasi secara lancar dengan pemrosesan SageMaker dan kontainer SageMaker Spark, sehingga Anda dapat dengan mudah menggunakan SageMaker SDK untuk mengintegrasikan SageMaker Data Wrangler ke dalam alur kerja produksi Anda.

Dalam beberapa langkah, SageMaker Data Wrangler membagi dan melatih model XGBoost dengan hiperparameter default. Berdasarkan tipe masalahnya, SageMaker Data Wrangler menyediakan ringkasan model, ringkasan fitur, dan matriks kebingungan untuk memberi Anda wawasan dengan cepat, sehingga Anda dapat mengulangi alur persiapan data Anda.

SageMaker Data Wrangler mendukung berbagai teknik pengambilan sampel–seperti pengambilan sampel top-K, acak, dan bertingkat untuk mengimpor data—sehingga Anda dapat dengan cepat mengubah data menggunakan UI SageMaker Data Wrangler. Jika Anda menggunakan set data yang besar atau lebar, Anda dapat meningkatkan ukuran instans SageMaker Data Wrangler untuk meningkatkan performa. Setelah membuat alur, Anda dapat memproses set data lengkap menggunakan tugas pemrosesan SageMaker Data Wrangler.

Ya, Anda dapat mengonfigurasi SageMaker Feature Store sebagai tujuan untuk fitur Anda yang disiapkan di SageMaker Data Wrangler. Hal ini dapat dilakukan langsung di UI atau Anda dapat mengekspor notebook yang dibuat khusus untuk memproses data dengan SageMaker Feature Store sebagai tujuannya.

SageMaker Feature Store adalah platform yang dikelola sepenuhnya dan dibuat khusus untuk menyimpan, berbagi, dan mengelola fitur model machine learning (ML). Fitur dapat ditemukan dan dibagikan agar mudah digunakan kembali di seluruh model dan tim dengan akses dan kontrol yang aman, termasuk di seluruh akun AWS. SageMaker Feature Store mendukung fitur online dan offline untuk inferensi waktu nyata, inferensi batch, dan pelatihan. Ia juga mengelola alur rekayasa fitur batch dan streaming untuk mengurangi duplikasi dalam pembuatan fitur dan meningkatkan akurasi model.

Fitur offline biasanya berupa data historis dalam jumlah besar yang digunakan untuk pelatihan dan inferensi batch. Fitur offline dipertahankan dalam penyimpanan objek dengan ketersediaan tinggi dan daya tahan tinggi.

Fitur online digunakan dalam aplikasi untuk membuat prediksi secara waktu nyata. Fitur online disajikan dari penyimpanan throughput tinggi yang mendukung latensi milidetik satu digit dari aplikasi klien untuk prediksi cepat.

SageMaker Feature Store secara otomatis menjaga konsistensi antara fitur online dan offline tanpa manajemen atau kode tambahan, untuk konsistensi di seluruh lingkungan pelatihan dan inferensi.

SageMaker Feature Store menyimpan stempel waktu untuk semua fitur dan menyediakan metode bawaan yang membantu Anda mengambil fitur kapan saja, untuk kebutuhan bisnis atau kepatuhan. Daripada menulis kueri SQL yang rumit atau menulis banyak kode, Anda dapat memanggil metode bawaan untuk perjalanan waktu dan gabungan akurat titik waktu untuk menghasilkan set data untuk pelatihan dan inferensi batch untuk jangka waktu yang diinginkan

Anda dapat memulai SageMaker Feature Store secara gratis, sebagai bagian dari AWS Tingkat Gratis . Dengan SageMaker Feature Store, Anda membayar untuk menulis ke dalam penyimpanan fitur, serta membaca dan menyimpan dari penyimpanan fitur online. Untuk detail harga, lihat Harga Amazon SageMaker .

SageMaker menyediakan dua penawaran pelabelan data, Amazon SageMaker Ground Truth Plus dan Amazon SageMaker Ground Truth. Kedua opsi ini memungkinkan Anda untuk mengidentifikasi data mentah, seperti gambar, file teks, dan video, dan menambahkan label informatif untuk membuat set data pelatihan berkualitas tinggi untuk model ML Anda. Untuk mempelajari selengkapnya, lihat Pelabelan Data Amazon SageMaker .

Data geospasial merepresentasikan fitur atau objek di atas permukaan bumi. Tipe data geospasial yang pertama adalah data vektor yang menggunakan geometri dua dimensi seperti titik, garis, atau poligon untuk merepresentasikan objek seperti jalan dan batas tanah. Tipe data geospasial yang kedua adalah data raster seperti citra yang ditangkap oleh satelit, platform udara, atau data penginderaan jauh. Jenis data ini menggunakan matriks piksel untuk menentukan lokasi fitur. Anda dapat menggunakan format raster untuk menyimpan data yang bervariasi. Tipe data geospasial ketiga adalah data lokasi yang diberi geotag. Data ini mencakup lokasi penting—misalnya, Menara Eiffel—posting media sosial yang diberi tag lokasi, koordinat lintang dan bujur, atau beragam gaya dan format alamat lokasi.

Kemampuan geospasial SageMaker memudahkan ilmuwan data dan rekayasawan ML untuk membangun, melatih, dan melakukan deployment model ML guna membuat prediksi menggunakan data geospasial. Anda dapat membawa data Anda sendiri, misalnya, data satelit Planet Labs dari Amazon S3, atau memperoleh data dari Open Data di AWS, Amazon Location Service, dan sumber data geospasial SageMaker lainnya.

Anda dapat menggunakan kemampuan geospasial SageMaker untuk membuat prediksi pada data geospasial secara lebih cepat dibandingkan saat Anda menggunakan solusi milik Anda sendiri. Kemampuan geospasial SageMaker memudahkan mengakses data geospasial dari danau data pelanggan Anda yang ada, set data sumber terbuka, dan sumber data geospasial SageMaker lainnya. Kemampuan geospasial SageMaker meminimalkan kebutuhan untuk membangun infrastuktur kustom dan fungsi pemrosesan data dengan menawarkan algoritme khusus untuk persiapan data yang efisien, pelatihan model, dan inferensi. Anda juga dapat membuat serta berbagi visualisasi dan data khusus dengan organisasi Anda dari SageMaker Studio. Kemampuan geospasial SageMaker mencakup model yang telah dilatih sebelumnya untuk penggunaan umum dalam bidang pertanian, real estat, asuransi, dan jasa keuangan.

Anda dapat menggunakan notebook Jupyter yang terkelola sepenuhnya di SageMaker untuk seluruh pengembangan ML. Naikkan atau turunkan skalakan instans komputasi dengan pilihan instans komputasi yang dioptimalkan dan diakselerasi GPU di cloud.

Notebook SageMaker Studio adalah notebook Jupyter satu langkah yang dapat diputar dengan cepat. Sumber daya komputasi utamanya sepenuhnya elastis, sehingga Anda dapat dengan mudah menaikkan atau menurunkan sumber daya yang tersedia dan perubahan terjadi secara otomatis di latar belakang tanpa mengganggu kerja Anda. SageMaker juga memungkinkan berbagi notebook dalam satu langkah. Anda dapat dengan mudah berbagi notebook dengan orang lain dan mereka akan mendapatkan notebook yang persis sama, yang disimpan di tempat yang sama.

Dengan notebook SageMaker Studio, Anda dapat masuk dengan kredensial korporasi Anda menggunakan Pusat Identitas IAM. Berbagi notebook di dalam dan di antara tim menjadi mudah karena dependensi yang diperlukan untuk menjalankan notebook secara otomatis dilacak dalam citra kerja yang dienkapsulasi dengan notebook saat dibagikan.

Notebook di IDE SageMaker Studio menawarkan beberapa fitur penting yang membedakannya dari notebook berbasis instans. Pertama, Anda dapat meluncurkan notebook dengan cepat tanpa perlu menyediakan instans secara manual dan menunggu hingga dapat beroperasi. Waktu awal peluncuran UI untuk membaca dan mengeksekusi notebook lebih cepat dibandingkan notebook berbasis instans. Anda juga memiliki fleksibilitas untuk memilih dari berbagai koleksi tipe instans dari dalam UI kapan saja. Anda tidak perlu membuka Konsol Manajemen AWS untuk memulai instans baru dan melakukan porting ke notebook Anda. Setiap pengguna memiliki direktori utama terisolasi yang tidak bergantung pada instans tertentu. Direktori ini secara otomatis dipasang ke semua server dan kernel notebook saat dimulai, sehingga Anda dapat mengakses notebook dan file lainnya bahkan saat Anda berpindah instans untuk melihat dan menjalankan notebook Anda. Notebook SageMaker Studio terintegrasi dengan Pusat Identitas AWS IAM (penerus AWS SSO), sehingga memudahkan penggunaan kredensial organisasi Anda untuk mengakses notebook. Notebook ini juga terintegrasi dengan alat ML yang dibuat khusus di SageMaker dan layanan AWS lainnya untuk pengembangan ML Anda secara menyeluruh, mulai dari menyiapkan data dalam skala petabita menggunakan Spark di Amazon EMR, melatih dan melakukan debug model, hingga melakukan deployment dan memantau model serta mengelola pipeline.

Notebook SageMaker di Studio IDE memberi Anda akses ke semua fitur SageMaker, seperti pelatihan terdistribusi, transformasi batch, dan hosting. Anda juga dapat mengakses layanan lain seperti set data di Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR, atau AWS Lake Formation dari notebook SageMaker.

Anda membayar komputasi dan penyimpanan saat Anda menggunakan notebook SageMaker di Studio IDE. Lihat Harga Amazon SageMaker untuk mengetahui biaya berdasarkan tipe instans komputasi. Notebook Anda dan artefak terkait seperti file data dan skrip disimpan di Amazon Elastic File System (Amazon EFS). Lihat Harga Amazon EFS untuk biaya penyimpanan. Sebagai bagian dari AWS Tingkat Gratis, Anda dapat mulai menggunakan notebook di SageMaker Studio secara gratis.

Tidak. Anda dapat membuat dan menjalankan beberapa notebook pada instans komputasi yang sama. Anda hanya membayar untuk komputasi yang Anda gunakan, bukan untuk masing-masing item. Anda dapat membaca lebih lengkap tentang hal ini di panduan pengukuran kami .

Selain notebook, Anda juga dapat memulai dan menjalankan terminal dan shell interaktif di SageMaker Studio, semuanya pada instans komputasi yang sama. Setiap aplikasi berjalan dalam kontainer atau citra. SageMaker Studio menyediakan beberapa citra bawaan yang dibuat khusus dan dikonfigurasikan sebelumnya untuk ilmu data dan ML.

Anda dapat memantau dan mematikan sumber daya yang digunakan oleh notebook SageMaker Studio Anda melalui antarmuka visual SageMaker Studio dan Konsol Manajemen AWS. Lihat dokumentasi untuk detail selengkapnya.

Ya, Anda akan terus dikenakan biaya untuk komputasi tersebut. Hal ini mirip dengan memulai instans Amazon EC2 di Konsol Manajemen AWS, lalu menutup browser. Instans Amazon EC2 masih berjalan dan Anda masih dikenakan biaya, kecuali Anda mematikan instans tersebut secara eksplisit.

Tidak, Anda tidak dikenakan biaya untuk membuat atau mengonfigurasi domain SageMaker Studio, termasuk menambahkan, memperbarui, dan menghapus profil pengguna.

Sebagai admin, Anda dapat melihat daftar rincian biaya untuk SageMaker, termasuk SageMaker Studio, di konsol Penagihan AWS. Dari Konsol Manajemen AWS untuk SageMaker, pilih Layanan di menu atas, ketik "penagihan" di kotak pencarian dan pilih Penagihan dari dropdown, lalu pilih Tagihan di panel kiri. Di bagian Detail, Anda dapat memilih SageMaker untuk memperluas daftar Region dan menelusuri rincian biaya.

SageMaker Studio Lab adalah lingkungan pengembangan ML gratis yang menyediakan komputasi, penyimpanan (hingga 15 GB), dan keamanan—semuanya tanpa biaya—bagi siapa saja untuk belajar dan bereksperimen dengan ML. Yang Anda perlukan untuk memulai hanyalah ID email yang valid; Anda tidak perlu mengonfigurasi infrastruktur atau mengelola identitas dan akses atau bahkan mendaftar akun AWS. SageMaker Studio Lab mempercepat pembangunan model melalui integrasi GitHub, serta dilengkapi dengan alat, kerangka kerja, dan pustaka ML paling populer untuk membantu Anda memulai dengan segera. SageMaker Studio Lab menyimpan pekerjaan Anda secara otomatis sehingga Anda tidak perlu memulai ulang di antara sesi. Semudah menutup laptop Anda dan kembali lagi nanti.

SageMaker Studio Lab diperuntukkan bagi pelajar, peneliti, dan ilmuwan data yang membutuhkan lingkungan pengembangan notebook gratis tanpa memerlukan penyiapan untuk kelas dan eksperimen ML mereka. SageMaker Studio Lab sangat ideal bagi pengguna yang tidak memerlukan lingkungan produksi, tetapi tetap menginginkan subset fungsionalitas SageMaker untuk meningkatkan keterampilan ML mereka. Sesi SageMaker disimpan secara otomatis, membantu pengguna melanjutkan dari titik terakhir setiap sesi pengguna.

SageMaker Studio Lab adalah layanan yang dibangun di AWS dan menggunakan banyak layanan inti yang sama dengan Amazon SageMaker Studio, seperti Amazon S3 dan Amazon EC2. Berbeda dengan layanan lainnya, pelanggan tidak memerlukan akun AWS. Sebagai gantinya, mereka akan membuat akun khusus SageMaker Studio Lab dengan alamat email. Akun ini akan memberi pengguna akses ke lingkungan terbatas (penyimpanan sebesar 15 GB, dan sesi 12 jam) agar mereka dapat menjalankan notebook ML.

SageMaker HyperPod dibuat khusus untuk mengakselerasi pelatihan model fondasi (FM). Fitur ini menyediakan infrastruktur yang lebih tangguh yang dioptimalkan untuk pelatihan terdistribusi skala besar, sehingga Anda dapat berlatih dengan ribuan akselerator dengan lebih cepat. Fitur ini secara otomatis mendeteksi, mendiagnosis, dan memulihkan kesalahan, sehingga Anda dapat melatih FM selama berbulan-bulan tanpa gangguan. SageMaker HyperPod telah dikonfigurasi sebelumnya dengan pustaka pelatihan terdistribusi SageMaker untuk membantu Anda meningkatkan performa secara efisien dengan mendistribusikan data pelatihan model ke dalam bagian yang lebih kecil, sehingga dapat diproses secara paralel di seluruh akselerator.

Jika Anda memerlukan beban kerja pelatihan yang lebih lama dan lebih besar yang memerlukan instans komputasi dalam jumlah besar seperti GPU atau akselerator AWS, Anda dapat menggunakan SageMaker HyperPod untuk pengalaman yang lebih tangguh sehingga waktu pelatihan dapat berkurang.

Ya. SageMaker dapat secara otomatis mendistribusikan model deep learning dan serangkaian pelatihan besar di seluruh instans GPU AWS dalam waktu yang sangat singkat untuk membangun dan mengoptimalkan strategi distribusi ini secara manual. Dua teknik pelatihan terdistribusi yang diterapkan SageMaker adalah paralelisme data dan paralelisme model. Paralelisme data diterapkan untuk meningkatkan kecepatan pelatihan dengan membagi data secara merata ke beberapa instans GPU, sehingga setiap instans dapat dilatih secara bersamaan. Paralelisme model berguna untuk model yang terlalu besar untuk disimpan pada satu GPU dan mengharuskan model dipartisi menjadi bagian yang lebih kecil sebelum didistribusikan ke beberapa GPU. Dengan hanya beberapa baris kode tambahan dalam skrip pelatihan PyTorch dan TensorFlow, SageMaker akan secara otomatis menerapkan paralelisme data atau paralelisme model untuk Anda, sehingga Anda dapat mengembangkan dan melakukan deployment model lebih cepat. SageMaker akan menentukan pendekatan terbaik untuk membagi model Anda dengan menggunakan algoritma partisi grafik untuk menyeimbangkan komputasi setiap GPU sekaligus meminimalkan komunikasi di antara instans GPU. SageMaker juga mengoptimalkan tugas pelatihan terdistribusi Anda melalui algoritma yang sepenuhnya memanfaatkan komputasi dan jaringan AWS untuk mencapai efisiensi penskalaan mendekati linier, sehingga Anda dapat menyelesaikan pelatihan lebih cepat dibandingkan implementasi sumber terbuka manual.

SageMaker Experiments membantu Anda mengatur dan melacak iterasi ke model ML. SageMaker Experiments membantu Anda mengelola iterasi dengan menangkap secara otomatis parameter input, konfigurasi, dan hasil, serta menyimpannya sebagai "eksperimen". Anda dapat membuat eksperimen Amazon SageMaker untuk melacak alur kerja ML Anda dengan beberapa baris kode dari lingkungan pengembangan pilihan Anda. Anda juga dapat mengintegrasikan SageMaker Experiments ke dalam skrip pelatihan SageMaker Anda menggunakan SDK SageMaker Python.

SageMaker Debugger secara otomatis menangkap metrik waktu nyata selama pelatihan, seperti matriks kebingungan dan gradien pembelajaran, untuk membantu meningkatkan akurasi model. Metrik dari SageMaker Debugger dapat divisualisasikan dalam SageMaker Studio untuk pemahaman yang lebih mudah. SageMaker Debugger juga dapat membuat peringatan dan saran remediasi ketika masalah pelatihan umum terdeteksi. SageMaker Debugger juga secara otomatis memantau dan membuat profil sumber daya sistem seperti CPU, GPU, jaringan, dan memori secara waktu nyata, serta memberikan rekomendasi mengenai alokasi ulang sumber daya ini. Ini membantu Anda menggunakan sumber daya secara efisien selama pelatihan dan membantu mengurangi biaya dan sumber daya.

Pelatihan Spot Terkelola dengan SageMaker memungkinkan Anda melatih model ML Anda menggunakan Instans Spot Amazon EC2, sekaligus mengurangi biaya pelatihan model Anda hingga 90%.

Anda mengaktifkan opsi Pelatihan Spot Terkelola saat mengirimkan tugas pelatihan Anda dan Anda juga menentukan berapa lama Anda ingin menunggu kapasitas Spot. SageMaker kemudian akan menggunakan Instans Spot Amazon EC2 untuk menjalankan tugas Anda dan mengelola kapasitas Spot. Anda memiliki visibilitas penuh terhadap status tugas pelatihan Anda, baik saat tugas tersebut sedang berjalan maupun saat tugas tersebut menunggu kapasitasnya.

Pelatihan Spot Terkelola cocok ketika Anda memiliki fleksibilitas dalam menjalankan pelatihan dan ketika Anda ingin meminimalkan biaya tugas pelatihan Anda. Dengan Pelatihan Spot Terkelola, Anda dapat mengurangi biaya pelatihan model ML Anda hingga 90%.

Pelatihan Spot Terkelola menggunakan Instans Spot Amazon EC2 untuk pelatihan, dan instans ini dapat dipilih terlebih dahulu ketika AWS memerlukan kapasitas. Hasilnya, tugas Pelatihan Spot Terkelola dapat dijalankan sedikit demi sedikit seiring dengan tersedianya kapasitas. Tugas pelatihan tidak perlu dimulai ulang dari awal ketika ada gangguan, karena SageMaker dapat melanjutkan tugas pelatihan menggunakan titik pemeriksaan model terbaru. Kerangka kerja bawaan dan algoritma penglihatan komputer bawaan dengan SageMaker mengaktifkan titik pemeriksaan berkala, dan Anda dapat mengaktifkan titik pemeriksaan dengan model khusus.

Kami merekomendasikan titik pemeriksaan berkala sebagai praktik umum terbaik untuk tugas pelatihan jangka panjang. Hal ini mencegah tugas Pelatihan Spot Terkelola Anda dimulai ulang jika kapasitas sudah habis. Saat Anda mengaktifkan titik pemeriksaan, SageMaker melanjutkan tugas Pelatihan Spot Terkelola Anda dari titik pemeriksaan terakhir.

Setelah tugas Pelatihan Spot Terkelola selesai, Anda dapat melihat penghematan di Konsol Manajemen AWS dan juga menghitung penghematan biaya sebagai selisih persentase antara durasi tugas pelatihan yang berjalan dan durasi Anda yang ditagih. Terlepas dari berapa kali tugas Pelatihan Spot Terkelola Anda terganggu, Anda hanya dikenakan biaya satu kali selama durasi pengunduhan data.

Pelatihan Spot Terkelola dapat digunakan dengan semua instans yang didukung di SageMaker.

Pelatihan Spot Terkelola didukung di semua Region tempat SageMaker saat ini tersedia .

Tidak ada batasan tetap mengenai ukuran set data yang dapat Anda gunakan untuk model pelatihan dengan SageMaker.

SageMaker mencakup algoritma bawaan untuk regresi linier, regresi logistik, pengklasteran k-means, analisis komponen utama, mesin faktorisasi, pemodelan topik neural, alokasi dirichlet laten, pohon yang ditingkatkan gradien, sequence2sequence, perkiraan deret waktu, word2vec, dan klasifikasi gambar. SageMaker juga menyediakan kontainer Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn, dan Deep Graph Library yang dioptimalkan. Selain itu, SageMaker mendukung algoritma pelatihan khusus Anda yang disediakan melalui citra Docker yang mengikuti spesifikasi yang terdokumentasi.

Sebagian besar algoritma ML menampilkan berbagai parameter yang mengontrol cara kerja algoritma yang mendasarinya. Parameter tersebut umumnya disebut sebagai hiperparameter dan nilainya memengaruhi kualitas model yang dilatih. Penyesuaian model otomatis adalah proses menemukan sekumpulan hiperparameter untuk suatu algoritma yang dapat menghasilkan model yang optimal.

Anda dapat menjalankan penyesuaian model otomatis di SageMaker di atas algoritma apa pun selama hal tersebut memungkinkan secara ilmiah, termasuk algoritma SageMaker bawaan, jaringan neural dalam, atau algoritma arbitrer yang Anda bawa ke SageMaker dalam bentuk citra Docker.

Tidak pada saat ini. Performa dan pengalaman penyesuaian model terbaik ada dalam SageMaker.

Saat ini, algoritma untuk menyesuaikan hiperparameter merupakan implementasi khusus dari Bayesian Optimization. Hal ini bertujuan untuk mengoptimalkan metrik objektif yang ditentukan pelanggan selama proses penyesuaian. Secara khusus, ini memeriksa metrik objek dari tugas pelatihan yang telah diselesaikan, dan menggunakan pengetahuan tersebut untuk menyimpulkan kombinasi hiperparameter untuk tugas pelatihan berikutnya.

Tidak. Pengaruh hiperparameter tertentu terhadap performa model bergantung pada berbagai faktor, dan sulit untuk mengatakan secara pasti bahwa satu hiperparameter lebih penting daripada yang lain sehingga perlu disesuaikan. Untuk algoritma bawaan dalam SageMaker, kami menentukan apakah hiperparameter dapat diatur atau tidak.

Waktu yang diperlukan tugas penyesuaian hiperparameter bergantung pada beberapa faktor, termasuk ukuran data, algoritma yang mendasarinya, dan nilai hiperparameter. Selain itu, pelanggan dapat memilih jumlah tugas pelatihan simultan dan jumlah total tugas pelatihan. Semua pilihan ini memengaruhi berapa lama tugas penyesuaian hiperparameter dapat bertahan.

Tidak pada saat ini. Saat ini, Anda perlu menentukan satu metrik objektif untuk mengoptimalkan atau mengubah kode algoritma agar menghasilkan metrik baru, yang merupakan rata-rata tertimbang antara dua atau beberapa metrik yang berguna, dan mengoptimalkan proses penyesuaian terhadap metrik objektif tersebut.

Tidak ada biaya untuk tugas penyesuaian hiperparameter itu sendiri. Anda akan dikenakan biaya berdasarkan tugas pelatihan yang diluncurkan oleh tugas penyesuaian hiperparameter, berdasarkan harga pelatihan model .

SageMaker Autopilot mengotomatiskan segala sesuatu dalam alur kerja ML pada umumnya, termasuk prapemrosesan fitur, pemilihan algoritma, dan penyesuaian hyperparameter, sekaligus secara khusus berfokus pada kasus penggunaan klasifikasi dan regresi. Di sisi lain, Penyesuaian Model Otomatis dirancang untuk menyempurnakan model apa pun, tidak peduli apakah model tersebut didasarkan pada algoritma bawaan, kerangka deep learning, atau kontainer khusus. Sebagai gantinya, Anda harus secara manual memilih algoritma tertentu, mengatur hyperparameter, dan menentukan rentang pencarian yang sesuai.

Pembelajaran penguatan adalah teknik ML yang memungkinkan agen belajar dalam lingkungan interaktif melalui trial and error dengan menggunakan umpan balik dari tindakan dan pengalamannya sendiri.

Ya, Anda dapat melatih model pembelajaran penguatan di SageMaker selain model pembelajaran yang diawasi dan tanpa pengawasan.

Meskipun pembelajaran yang diawasi dan pembelajaran penguatan menggunakan pemetaan antara input dan output, tidak seperti pembelajaran yang diawasi saat umpan balik yang diberikan kepada agen adalah serangkaian tindakan yang benar untuk melakukan tugas, pembelajaran penguatan menggunakan umpan balik yang tertunda saat sinyal penghargaan dioptimalkan untuk memastikan tujuan jangka panjang melalui serangkaian tindakan.

Tujuan dari teknik pembelajaran yang diawasi adalah untuk menemukan jawaban yang benar berdasarkan pola dalam data pelatihan, sedangkan tujuan dari teknik pembelajaran tanpa pengawasan adalah untuk menemukan persamaan dan perbedaan di antara titik data. Sebaliknya, tujuan teknik pembelajaran penguatan (RL) adalah mempelajari cara mencapai hasil yang diinginkan meskipun tidak jelas bagaimana cara mencapai hasil tersebut. Hasilnya, RL lebih cocok untuk mengaktifkan aplikasi cerdas ketika agen dapat membuat keputusan otonom seperti robotika, kendaraan otonom, HVAC, kontrol industri, dan banyak lagi.

Amazon SageMaker RL mendukung sejumlah lingkungan berbeda untuk melatih model RL. Anda dapat menggunakan layanan AWS seperti AWS RoboMaker, lingkungan sumber terbuka atau lingkungan khusus yang dikembangkan menggunakan antarmuka Open AI Gym, atau lingkungan simulasi komersial seperti MATLAB dan SimuLink.

Tidak, RL SageMaker menyertakan toolkit RL seperti Coach dan Ray RLLib yang menawarkan implementasi algoritma agen RL seperti DQN, PPO, A3C, dan banyak lagi.

Ya, Anda dapat membawa pustaka RL dan implementasi algoritma Anda sendiri di Kontainer Docker, lalu menjalankannya di RL SageMaker.

Ya. Anda bahkan dapat memilih klaster heterogen tempat pelatihan dapat dijalankan pada instans GPU dan simulasi dapat dijalankan pada beberapa instans CPU.

Setelah Anda membangun dan melatih model, SageMaker menyediakan tiga opsi untuk melakukan deployment, sehingga Anda dapat mulai membuat prediksi. Inferensi waktu nyata cocok untuk beban kerja dengan persyaratan latensi milidetik, ukuran payload hingga 6 MB, dan waktu pemrosesan hingga 60 detik. Transformasi batch ideal untuk prediksi offline pada batch data besar yang tersedia sebelumnya. Inferensi asinkron dirancang untuk beban kerja yang tidak memiliki persyaratan latensi subdetik, ukuran payload hingga 1 GB, dan waktu pemrosesan hingga 15 menit.

Inferensi Asinkron Amazon SageMaker mengantrekan permintaan masuk dan memprosesnya secara asinkron. Opsi ini ideal untuk permintaan dengan ukuran muatan besar dan/atau waktu pemrosesan lama yang perlu diproses saat permintaan tiba. Secara opsional, Anda dapat mengonfigurasi pengaturan penskalaan otomatis untuk menurunkan skala jumlah instans menjadi nol saat tidak secara aktif memproses permintaan untuk menghemat biaya.

Anda dapat menurunkan skala jumlah instans titik akhir Inferensi Asinkron SageMaker menjadi nol untuk menghemat biaya saat Anda tidak secara aktif memproses permintaan. Anda perlu menentukan kebijakan penskalaan yang menskalakan metrik kustom "ApproximateBacklogPerInstance" dan menetapkan nilai "MinCapacity" ke nol. Untuk petunjuk langkah demi langkah, kunjungi bagian menskalakan otomatis titik akhir asinkron dalam panduan developer. 

SageMaker Serverless Inference adalah opsi penyajian model nirserver yang dibuat khusus untuk memudahkan deployment dan penskalaan model ML. Titik akhir Inferensi Nirserver SageMaker secara otomatis memulai sumber daya komputasi dan mengurangi dan menambahkan skalanya tergantung pada lalu lintas, sehingga Anda tidak perlu memilih tipe instans, menjalankan kapasitas yang disediakan, atau mengelola penskalaan. Anda juga dapat menentukan persyaratan memori untuk titik akhir inferensi nirserver Anda. Anda hanya membayar untuk durasi menjalankan kode inferensi dan jumlah data yang diproses, bukan untuk periode idle.

Inferensi Nirserver SageMaker menyederhanakan pengalaman developer dengan menghilangkan kebutuhan untuk menyediakan kapasitas di awal dan mengelola kebijakan penskalaan. Inferensi Nirserver SageMaker dapat menskalakan secara instan dari puluhan hingga ribuan inferensi dalam hitungan detik berdasarkan pola penggunaan, menjadikannya ideal untuk aplikasi ML dengan lalu lintas yang tidak tetap atau tidak dapat diprediksi. Misalnya, layanan chatbot yang digunakan oleh perusahaan pemrosesan gaji mengalami peningkatan permintaan pada akhir bulan sementara pada sisa bulan lalu lintasnya tidak tetap. Penyediaan instans untuk satu bulan penuh dalam skenario seperti ini tidak hemat biaya, karena Anda akhirnya harus membayar untuk periode tidak aktif. Inferensi Nirserver SageMaker membantu mengatasi tipe kasus penggunaan ini dengan memberi Anda penskalaan otomatis dan cepat tanpa perlu memperkirakan lalu lintas terlebih dahulu atau mengelola kebijakan penskalaan. Selain itu, Anda hanya membayar waktu komputasi untuk menjalankan kode inferensi (ditagih dalam milidetik) dan pemrosesan data, menjadikannya pilihan hemat biaya untuk beban kerja dengan lalu lintas tidak tetap.

Konkurensi yang Disediakan memungkinkan Anda melakukan deployment model pada titik akhir nirserver dengan performa yang dapat diprediksi, dan skalabilitas tinggi dengan menjaga titik akhir Anda tetap hangat untuk sejumlah permintaan bersamaan.

Dengan titik akhir nirserver sesuai permintaan, jika titik akhir Anda tidak menerima lalu lintas untuk sementara waktu, lalu titik akhir Anda tiba-tiba menerima permintaan baru, titik akhir Anda mungkin memerlukan waktu untuk memutar sumber daya komputasi untuk memproses permintaan tersebut. Ini disebut cold start. Cold start juga dapat terjadi jika permintaan konkuren Anda melebihi penggunaan permintaan konkuren saat ini. Waktu cold start bergantung pada ukuran model Anda, berapa lama waktu yang diperlukan untuk mengunduh model, dan waktu mulai kontainer Anda.

Untuk mengurangi variabilitas dalam profil latensi, Anda dapat mengaktifkan Konkurensi yang Disediakan untuk titik akhir nirserver secara opsional. Dengan Konkurensi yang Disediakan, titik akhir nirserver Anda selalu siap dan dapat langsung melayani lonjakan lalu lintas, tanpa cold start.

Seperti pada Inferensi Nirserver sesuai permintaan, saat Konkurensi yang Disediakan diaktifkan, Anda membayar kapasitas komputasi yang digunakan untuk memproses permintaan inferensi, ditagih per milidetik, dan jumlah data yang diproses. Anda juga membayar penggunaan Konkurensi yang Disediakan, berdasarkan memori yang dikonfigurasi, durasi yang disediakan, dan jumlah konkurensi yang diaktifkan. Untuk informasi selengkapnya, lihat Harga Amazon SageMaker.

SageMaker membantu Anda menjalankan pengujian bayangan untuk mengevaluasi model ML baru sebelum perilisan produk dengan menguji performanya melalui model yang dilakukan deployment baru-baru ini. SageMaker melakukan deployment model baru dalam mode bayangan bersama dengan model produksi saat ini dan mencerminkan sebagian lalu lintas produksi yang ditentukan pengguna ke model baru. Model inferensi dapat dicatat untuk perbandingan offline secara opsional. SageMaker juga menyediakan dasbor langsung dengan perbandingan metrik performa utama, seperti latensi dan tingkat kesalahan, antara model produksi dan model bayangan untuk membantu Anda memutuskan apakah akan mempromosikan model baru ke produksi.

SageMaker menyederhanakan proses penyiapan dan pemantauan varian bayangan, sehingga Anda dapat mengevaluasi performa model ML baru pada lalu lintas produksi langsung. SageMaker menghilangkan kebutuhan Anda untuk mengatur infrastruktur untuk pengujian bayangan. Ini memungkinkan Anda mengontrol parameter pengujian seperti persentase lalu lintas yang dicerminkan ke varian bayangan dan durasi pengujian. Hasilnya, Anda dapat memulai dari yang kecil dan meningkatkan permintaan inferensi ke model baru setelah Anda yakin dengan performa model. SageMaker membuat dasbor langsung yang menampilkan perbedaan performa di seluruh metrik utama, sehingga Anda dapat dengan mudah membandingkan performa model untuk mengevaluasi perbedaan model baru dari model produksi.

SageMaker Inference Recommender  mengurangi waktu yang diperlukan untuk memproduksi model ML dengan mengotomatiskan tolok ukur performa dan menyesuaikan performa model di seluruh instans ML SageMaker. Anda sekarang dapat menggunakan SageMaker Inference Recommender untuk melakukan deployment model Anda ke titik akhir yang memberikan performa terbaik dan meminimalkan biaya. Anda dapat memulai dengan SageMaker Inference Recommender dalam hitungan menit sambil memilih tipe instans dan mendapatkan rekomendasi untuk konfigurasi titik akhir yang optimal dalam hitungan jam, menghilangkan waktu pengujian manual dan waktu penyesuaian selama berminggu-minggu. Dengan SageMaker Inference Recommender, Anda hanya membayar untuk instans ML SageMaker yang digunakan selama pengujian beban, dan tidak ada biaya tambahan.

Anda sebaiknya menggunakan SageMaker Inference Recommender jika Anda memerlukan rekomendasi untuk konfigurasi titik akhir yang tepat untuk meningkatkan performa dan mengurangi biaya. Sebelumnya, ilmuwan data yang ingin melakukan deployment modelnya harus menjalankan benchmark manual untuk memilih konfigurasi titik akhir yang tepat. Mereka harus terlebih dahulu memilih tipe instans ML yang tepat dari 70 lebih tipe instans yang tersedia berdasarkan kebutuhan sumber daya model dan muatan sampel mereka, lalu mengoptimalkan model untuk memperhitungkan perangkat keras yang berbeda. Kemudian, mereka harus melakukan uji beban ekstensif untuk memvalidasi bahwa persyaratan latensi dan throughput terpenuhi dan biayanya rendah. SageMaker Inference Recommender menghilangkan kerumitan ini dengan memudahkan Anda untuk: 1) memulai dalam hitungan menit dengan rekomendasi instans; 2) melakukan uji beban di seluruh tipe instans untuk mendapatkan rekomendasi mengenai konfigurasi titik akhir Anda dalam beberapa jam; dan 3) secara otomatis menyesuaikan parameter kontainer dan server model serta melakukan optimisasi model untuk tipe instans tertentu.

Ilmuwan data dapat mengakses SageMaker Inference Recommender dari SageMaker Studio, AWS SDK for Python (Boto3), atau AWS CLI. Mereka bisa mendapatkan rekomendasi deployment dalam SageMaker Studio di registri model SageMaker untuk versi model terdaftar. Ilmuwan data dapat mencari dan memfilter rekomendasi melalui SageMaker Studio, AWS SDK, atau AWS CLI.

Tidak, saat ini kami hanya mendukung satu model per titik akhir.

Saat ini kami hanya mendukung titik akhir waktu nyata.

Kami mendukung semua Region yang didukung oleh Amazon SageMaker, kecuali Region AWS Tiongkok.

Ya, kami mendukung semua tipe kontainer. Amazon EC2 Inf1, berdasarkan chip AWS Inferentia, memerlukan artefak model yang dikompilasi menggunakan kompiler Neuron atau Amazon SageMaker Neo. Setelah Anda memiliki model yang dikompilasi untuk target Inferentia dan URI citra kontainer terkait, Anda dapat menggunakan SageMaker Inference Recommender untuk melakukan uji coba performa tipe instans Inferentia yang berbeda.

SageMaker Model Monitor memungkinkan developer mendeteksi dan meremediasi penyimpangan konsep. Amazon SageMaker Model Monitor secara otomatis mendeteksi penyimpangan konsep dalam model yang diterapkan dan menyediakan peringatan mendetail yang membantu mengidentifikasi sumber masalah. Semua model yang dilatih di SageMaker secara otomatis memancarkan metrik kunci yang dapat dikumpulkan dan dilihat di SageMaker Studio. Dari dalam SageMaker Studio, Anda dapat mengonfigurasi data yang akan dikumpulkan, cara melihatnya, dan kapan menerima peringatan.

Tidak. SageMaker mengoperasikan infrastruktur komputasi atas nama Anda, memungkinkannya melakukan pemeriksaan kondisi, menerapkan patch keamanan, dan melakukan perawatan rutin lainnya. Anda juga dapat melakukan deployment artefak model dari pelatihan dengan kode inferensi khusus di lingkungan hosting Anda sendiri.

Hosting SageMaker secara otomatis menskalakan performa yang diperlukan untuk aplikasi Anda menggunakan Penskalaan Otomatis Aplikasi. Selain itu, Anda dapat mengubah nomor dan tipe instans secara manual tanpa menimbulkan waktu henti dengan mengubah konfigurasi titik akhir.

SageMaker memancarkan metrik performa ke Metrik Amazon CloudWatch, sehingga Anda dapat melacak metrik, mengatur alarm, dan secara otomatis bereaksi terhadap perubahan lalu lintas produksi. Selain itu, SageMaker menulis log ke Log Amazon CloudWatch agar Anda dapat memantau dan memecahkan masalah lingkungan produksi Anda.

SageMaker dapat meng-host model apa pun yang mematuhi spesifikasi terdokumentasi untuk citra Docker inferensi. Ini termasuk model yang dibuat dari artefak model SageMaker dan kode inferensi.

SageMaker dirancang untuk menskalakan sejumlah besar transaksi per detik. Jumlah pastinya bervariasi berdasarkan model yang dilakukan deployment dan jumlah serta tipe instans tempat model tersebut dilakukan deployment.

Sebagai layanan yang terkelola penuh, Amazon SageMaker menangani penyiapan dan pengelolaan instans, kompatibilitas versi perangkat lunak, dan versi tambalan. Amazon SageMaker juga menyediakan metrik dan log bawaan untuk titik akhir yang dapat Anda gunakan guna memantau dan menerima peringatan. Dengan alat SageMaker dan alur kerja terpandu, seluruh proses pengemasan dan deployment model ML akan disederhanakan, sehingga memudahkan pengoptimalan titik akhir untuk mencapai performa yang diinginkan dan menghemat biaya. Anda dapat dengan mudah melakukan deployment model ML Anda termasuk model fondasi hanya dengan beberapa klik dalam SageMaker Studio atau menggunakan PySDK baru.

Transformasi Batch memungkinkan Anda menjalankan prediksi pada data batch besar atau kecil. Tidak perlu memecah set data menjadi beberapa bagian atau mengelola titik akhir waktu nyata. Dengan API sederhana, Anda dapat meminta prediksi untuk catatan data dalam jumlah besar dan mengubah data dengan cepat dan mudah.

SageMaker mendukung opsi titik akhir berikut: Titik akhir model tunggal - Satu model pada kontainer yang di-hosting pada instans khusus atau nirserver untuk latensi rendah dan throughput tinggi. Titik akhir multimodel - Meng-hosting beberapa model menggunakan infrastruktur bersama untuk efektivitas biaya dan memaksimalkan pemanfaatan. Anda dapat mengontrol jumlah komputasi dan memori yang dapat digunakan setiap model untuk memastikan setiap model memiliki akses ke sumber daya yang dibutuhkan agar berjalan secara efisien. Pipeline inferensi serial - Beberapa kontainer berbagi instans khusus dan mengeksekusi secara berurutan. Anda dapat menggunakan alur inferensi untuk menggabungkan tugas ilmu data prapemrosesan, prediksi, dan pascapemrosesan.

Anda dapat menggunakan kebijakan penskalaan untuk secara otomatis menskalakan sumber daya komputasi yang mendasarinya guna mengakomodasi fluktuasi permintaan inferensi. Anda dapat mengontrol kebijakan penskalaan untuk setiap model ML secara terpisah guna menangani perubahan dalam penggunaan model dengan mudah, sekaligus mengoptimalkan biaya infrastruktur.

SageMaker Edge Manager mempermudah pengoptimalan, mengamankan, memantau, dan memelihara model ML pada armada perangkat edge seperti kamera pintar, robot, komputer pribadi, dan perangkat seluler. SageMaker Edge Manager membantu developer ML mengoperasikan model ML di berbagai perangkat edge dalam skala besar.

Untuk memulai SageMaker Edge Manager, Anda perlu mengompilasi dan mengemas model ML terlatih Anda di cloud, mendaftarkan perangkat Anda, dan menyiapkan perangkat Anda dengan SageMaker Edge Manager SDK. Untuk mempersiapkan deployment model Anda, SageMaker Edge Manager menggunakan SageMaker Neo untuk mengompilasi model Anda untuk perangkat keras edge target Anda. Setelah model dikompilasi, SageMaker Edge Manager menandatangani model dengan kunci yang dihasilkan AWS, lalu mengemas model tersebut dengan runtime dan kredensial yang Anda perlukan agar siap untuk deployment. Di sisi perangkat, daftarkan perangkat Anda ke SageMaker Edge Manager, unduh SageMaker Edge Manager SDK, lalu ikuti petunjuk untuk menginstal agen SageMaker Edge Manager di perangkat Anda. Notebook tutorial memberikan contoh langkah demi langkah tentang cara Anda dapat menyiapkan model dan menghubungkan model Anda pada perangkat edge dengan SageMaker Edge Manager.

SageMaker Edge Manager mendukung perangkat umum berbasis CPU (ARM, x86) dan GPU (ARM, Nvidia) dengan sistem operasi Linux dan Windows. Seiring waktu, SageMaker Edge Manager akan berkembang untuk mendukung lebih banyak prosesor tertanam dan platform seluler yang juga didukung oleh SageMaker Neo.

Tidak, Anda tidak perlu menggunakannya. Anda dapat melatih model Anda di tempat lain atau menggunakan model terlatih dari sumber terbuka atau dari vendor model Anda.

Ya, Anda dapat melakukannya. SageMaker Neo mengonversi dan mengompilasi model Anda menjadi model yang dapat dieksekusi yang kemudian dapat Anda kemas dan deploy pada perangkat edge Anda. Setelah paket model dilakukan deployment, agen SageMaker Edge Manager akan membongkar paket model dan menjalankan model pada perangkat.

SageMaker Edge Manager menyimpan paket model di bucket Amazon S3 yang Anda tentukan. Anda dapat menggunakan fitur deployment lewat udara (OTA) yang disediakan oleh AWS IoT Greengrass atau mekanisme deployment lainnya dari pilihan Anda untuk melakukan deployment paket model dari bucket S3 Anda ke perangkat.

Neo dlr adalah runtime sumber terbuka yang hanya menjalankan model yang dikompilasi oleh layanan SageMaker Neo. Dibandingkan dengan dlr sumber terbuka, SageMaker Edge Manager SDK menyertakan agen pada perangkat tingkat perusahaan dengan keamanan tambahan, manajemen model, dan fitur penyajian model. SageMaker Edge Manager SDK cocok untuk deployment produksi dalam skala besar.

SageMaker Edge Manager dan AWS IoT Greengrass dapat bekerja sama dalam solusi IoT Anda. Setelah model ML Anda dikemas dengan SageMaker Edge Manager, Anda dapat menggunakan fitur pembaruan OTA AWS IoT Greengrass untuk melakukan deployment paket model ke perangkat Anda. AWS IoT Greengrass memungkinkan Anda memantau perangkat IoT Anda dari jarak jauh, sementara SageMaker Edge Manager membantu Anda memantau dan memelihara model ML pada perangkat.

AWS menawarkan kemampuan terluas dan mendalam untuk menjalankan model pada perangkat edge. Kami memiliki layanan untuk mendukung berbagai kasus penggunaan, termasuk penglihatan komputer, pengenalan suara, dan pemeliharaan prediktif.

Bagi perusahaan yang ingin menjalankan penglihatan komputer pada perangkat edge seperti kamera dan peralatan, Anda dapat menggunakan AWS Panorama. AWS Panorama menawarkan aplikasi penglihatan komputer yang siap dilakukan deployment untuk perangkat edge. Sangat mudah untuk memulai AWS Panorama dengan masuk ke konsol cloud, menentukan model yang ingin Anda gunakan di Amazon S3 atau SageMaker, lalu menulis logika bisnis sebagai skrip Python. AWS Panorama mengompilasi model untuk perangkat target dan membuat paket aplikasi, sehingga dapat dilakukan deployment ke perangkat Anda hanya dengan beberapa klik. Selain itu, vendor perangkat lunak independen yang ingin membangun aplikasi khusus mereka sendiri dapat menggunakan AWS Panorama SDK, dan produsen perangkat dapat menggunakan Device SDK untuk menyertifikasi perangkat mereka untuk AWS Panorama.

Pelanggan yang ingin membuat model mereka sendiri dan memiliki kontrol yang lebih terperinci atas fitur model dapat menggunakan SageMaker Edge Manager. SageMaker Edge Manager adalah layanan terkelola untuk mempersiapkan, menjalankan, memantau, dan memperbarui model ML di seluruh armada perangkat edge seperti kamera pintar, speaker pintar, dan robot untuk kasus penggunaan apa pun seperti pemrosesan bahasa alami, deteksi penipuan, dan pemeliharaan prediktif. SageMaker Edge Manager ditujukan untuk developer edge ML yang ingin mengontrol model mereka, termasuk merekayasa fitur model yang berbeda dan model pemantauan untuk drift. Developer edge ML mana pun dapat menggunakan SageMaker Edge Manager melalui konsol SageMaker dan API SageMaker. SageMaker Edge Manager menghadirkan kemampuan SageMaker untuk membangun, melatih, dan melakukan deployment model di cloud ke perangkat edge.

SageMaker Edge Manager tersedia di enam Wilayah: AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), UE (Irlandia), UE (Frankfurt), dan Asia Pasifik (Tokyo). Untuk detailnya, lihat daftar Layanan Regional AWS .

SageMaker Neo memungkinkan model ML dilatih sekali dan dijalankan di mana saja, baik di cloud maupun di edge. SageMaker Neo secara otomatis mengoptimalkan model yang dibangun dengan kerangka kerja DL populer yang dapat digunakan untuk dilakukan deployment pada berbagai platform perangkat keras. Model yang dioptimalkan berjalan hingga 25 kali lebih cepat dan menggunakan kurang dari sepersepuluh sumber daya model ML pada umumnya.

Untuk memulai SageMaker Neo, masuk ke konsol SageMaker, pilih model terlatih, ikuti contoh untuk mengompilasi model, dan lakukan deployment model yang dihasilkan ke platform perangkat keras target Anda.

SageMaker Neo berisi dua komponen utama: compiler dan runtime. Pertama, compiler SageMaker Neo membaca model yang diekspor oleh kerangka kerja berbeda. Ini kemudian mengubah fungsi dan operasi khusus kerangka kerja menjadi representasi perantara tanpa kerangka kerja. Selanjutnya, compiler melakukan serangkaian optimisasi. Kemudian, compiler menghasilkan kode biner untuk operasi yang dioptimalkan dan menulisnya ke pustaka objek bersama. Compiler juga menyimpan definisi model dan parameter ke dalam file terpisah. Selama eksekusi, runtime SageMaker Neo memuat artefak yang dihasilkan oleh compiler—definisi model, parameter, dan pustaka objek bersama untuk menjalankan model.

Tidak. Anda dapat melatih model di tempat lain dan menggunakan SageMaker Neo untuk mengoptimalkannya untuk instans ML SageMaker atau perangkat yang didukung AWS IoT Greengrass.

Saat ini, SageMaker Neo mendukung model DL terpopuler yang mendukung aplikasi penglihatan komputer dan model pohon keputusan terpopuler yang digunakan di SageMaker saat ini. SageMaker Neo mengoptimalkan performa model AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet, dan DenseNet yang dilatih di MXNet dan TensorFlow, serta model klasifikasi dan tebang hutan acak yang dilatih di XGBoost.

Anda dapat menemukan daftar instans cloud, perangkat edge, dan versi kerangka kerja yang didukung dalam dokumentasi SageMaker Neo.

Untuk melihat daftar Wilayah yang didukung, lihat daftar Layanan Wilayah AWS.

SageMaker Savings Plans menawarkan model harga berbasis penggunaan yang fleksibel untuk SageMaker dengan imbalan komitmen terhadap jumlah penggunaan yang konsisten (diukur dalam USD/jam) untuk jangka waktu satu atau tiga tahun. SageMaker Savings Plans memberikan fleksibilitas terbaik dan membantu mengurangi biaya Anda hingga 64%. Paket ini akan secara otomatis berlaku pada penggunaan instans ML SageMaker yang memenuhi syarat, termasuk notebook SageMaker Studio, notebook SageMaker On-Demand, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference, dan SageMaker Batch Transform, terlepas dari keluarga, ukuran, atau Wilayah instans. Misalnya, Anda dapat mengubah penggunaan dari instans CPU ml.c5.xlarge yang berjalan di AS Timur (Ohio) ke instans ml.Inf1 di AS Barat (Oregon) untuk beban kerja inferensi kapan saja dan secara otomatis terus membayar harga Savings Plans.

Jika Anda memiliki jumlah penggunaan instans SageMaker yang konsisten (diukur dalam USD/jam) dan menggunakan banyak komponen SageMaker atau menginginkan perubahan konfigurasi teknologi (seperti keluarga instans, atau Wilayah) seiring waktu, SageMaker Savings Plans memudahkan Anda dalam memaksimalkan penghematan sambil memberikan fleksibilitas untuk mengubah konfigurasi teknologi dasar berdasarkan kebutuhan aplikasi atau inovasi baru. Tarif Savings Plans berlaku secara otomatis untuk semua penggunaan instans ML yang memenuhi syarat tanpa perlu modifikasi manual.

Anda dapat memulai Savings Plans dari AWS Cost Explorer di Konsol Manajemen AWS atau dengan menggunakan API/CLI. Anda dapat membuat komitmen Savings Plans secara mudah dengan menggunakan rekomendasi yang ada di AWS Cost Explorer untuk merealisasikan penghematan yang lebih besar. Rekomendasi komitmen per jam didasarkan pada riwayat penggunaan Sesuai Permintaan dan pilihan tipe paket, jangka waktu, serta opsi pembayaran Anda. Setelah mendaftar Savings Plan, penggunaan komputasi Anda akan secara otomatis dikenai harga Savings Plans yang didiskon dan penggunaan apa pun di luar komitmen akan dikenai tarif Sesuai Permintaan reguler.

Perbedaan antara Savings Plans untuk SageMaker dan Savings Plans untuk Amazon EC2 ada pada layanan yang disertakan. SageMaker Savings Plans hanya berlaku untuk penggunaan Instans ML SageMaker.

Savings Plans dapat dibeli di akun apa pun dalam keluarga AWS Organization/Consolidated Billing. Secara default, keuntungan yang diberikan oleh Savings Plans berlaku untuk penggunaan di semua akun dalam keluarga AWS Organization/Consolidated Billing. Namun, Anda juga dapat memilih untuk membatasi keuntungan Savings Plans hanya pada akun yang membelinya.