Menyebarkan Model yang Dikompilasi Menggunakan Konsol - Amazon SageMaker AI

View a markdown version of this page

Menyebarkan Model yang Dikompilasi Menggunakan Konsol - Amazon SageMaker AI
Menyebarkan Model

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan Model yang Dikompilasi Menggunakan Konsol

Anda harus memenuhi bagian prasyarat jika model dikompilasi menggunakan AWS SDK untuk Python (Boto3), AWS CLI, atau konsol Amazon SageMaker AI. Ikuti langkah-langkah di bawah ini untuk membuat dan menerapkan Neo-compiled model SageMaker AI menggunakan SageMaker AI konsol https://console.aws.amazon.com/ SageMaker AI.

Menyebarkan Model

Setelah Anda memenuhi pras yarat, gunakan langkah-langkah berikut untuk menerapkan model yang dikompilasi dengan Neo:

  1. Pilih Model, lalu pilih Buat model dari grup Inferensi. Pada halaman Buat model, lengkapi bidang Nama model, peran IAM, dan VPC (opsional), jika diperlukan.

    Buat model Neo untuk inferensi.

  2. Untuk menambahkan informasi tentang wadah yang digunakan untuk menerapkan model Anda, pilih Tambahkan wadah kon tainer, lalu pilih Ber ikutnya. Lengkapi opsi input Kon tainer, Lokasi gambar kode inferensi, dan Lokasi artefak model, dan opsional, nama host kontainer, dan variabel lingkungan.

    Buat model Neo untuk inferensi.

  3. Untuk menerapkan Neo-compiled model, pilih yang berikut ini:

    • Opsi input kontainer: Pilih Men yediakan artefak model dan gambar inferensi.

    • Lokasi gambar kode inferensi: Pilih URI gambar inferensi dari Neo Inference Container Images, tergantung pada Wil AWS ayah dan jenis aplikasi.

    • Lokasi artefak model: Masukkan URI bucket Amazon S3 dari artefak model terkompilasi yang dihasilkan oleh API kompilasi Neo.

    • Variabel lingkungan:

      • Biarkan bidang ini kosong untuk SageMaker XGBoost.

      • Jika Anda melatih model menggunakan SageMaker AI, tentukan variabel lingkungan SAGEMAKER_SUBMIT_DIRECTORY sebagai URI bucket Amazon S3 yang berisi skrip pelatihan.

      • Jika Anda tidak melatih model Anda menggunakan SageMaker AI, tentukan variabel lingkungan berikut:

        Key Nilai untuk MXnet dan PyTorch Nilai-nilai TensorFlow
        SAGEMAKER_PROGRAM inference.py inference.py
        SAGEMAKER_SUBMIT_DIREKTORI /opt/ml/model/code /opt/ml/model/code
        TINGKAT LOG_KONTAINER_SAGEMAKER_CONTAINER_ 20 20
        SAGEMAKER_REGION <your region> <your region>
        MMS_DEFAULT_RESPONSE_TIMEOUT 500 Biarkan bidang ini kosong untuk TF

  4. Konfirmasikan bahwa informasi untuk wadah akurat, lalu pilih Buat model. Pada halaman arahan Buat model, pilih Buat titik akhir.

    Buat halaman arahan Model.

  5. Di Buat dan konfigurasikan diagram titik akhir, tentukan nama Endpoint. Untuk Lampirkan konfigurasi titik akhir, pilih Buat konfigurasi titik akhir baru.

    Konsol Neo membuat dan mengkonfigurasi UI titik akhir.

  6. Di halaman konfigurasi titik akhir baru, tentukan nama konfigurasi Endpoint.

    UI konfigurasi titik akhir baru konsol Neo.

  7. Pilih Edit di sebelah nama model dan tentukan jenis Instance yang benar pada halaman Edit Varian Produksi. Sangat penting bahwa nilai tipe Instance cocok dengan yang ditentukan dalam pekerjaan kompilasi Anda.

    UI konfigurasi titik akhir baru konsol Neo.

  8. Pilih Simpan.

  9. Pada halaman Konfigurasi titik akhir baru, pilih Buat konfigurasi titik akhir, lalu pilih Buat titik akhir.