Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# SFT
Diawasi mel Fine-Tuning atih model pada pasangan input-output berlabel untuk menyelaraskan perilakunya dengan contoh spesifik. Model belajar menghasilkan respons yang sesuai dengan data pelatihan Anda.
## Kapan harus digunakan
+ Anda memiliki pasangan respon cepat berkualitas tinggi untuk tugas target Anda
+ Anda ingin model mempelajari gaya, format, atau pengetahuan domain tertentu
+ Anda membutuhkan perilaku yang konsisten pada tugas yang terdefinisi dengan baik (ringkasan, klasifikasi, Tanya Jawab)
## Apa yang dicapai
Model belajar meniru pola dalam contoh pelatihan Anda, menghasilkan output yang sesuai dengan gaya, format, dan konten data berlabel Anda.
## Format kumpulan data
SFT mendukung dua format dataset. Semua dataset harus dalam format JSONL (satu objek JSON per baris). `system`Pesan bersifat opsional dalam kedua format.
### Format 1: `pesan`
Mewakili percakapan sebagai daftar pesan dengan tag peran. Jika disertakan, `system` pesan harus menjadi elemen pertama.
```
{
"messages": [
{"role": "system", "content": "..."},
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."}
]
}
```
### Format 2: `promp` t/ `penyelesaian`
Berikan input dan output yang diharapkan sebagai bidang terpisah, dengan `system` bidang tingkat atas opsional.
```
{
"system": "...",
"prompt": "...",
"completion": "..."
}
```
**catatan**
`system`Pesan itu opsional. Pastikan keragaman dalam petunjuk dan gaya respons.
## Hyperparameter
**catatan**
Tabel di bawah ini menunjukkan hyperparameter yang tersedia saat Anda menggunakan kustomisasi model [ tanpa server. ](customize-model.md) Hyperparameter lainnya telah ditetapkan oleh Amazon SageMaker AI menggunakan default yang dioptimalkan. Saat Anda menggunakan [ SageMaker Pekerjaan Pelatihan AI ](customizing-models-training-jobs.md) atau [ HyperPod](customizing-models-hyperpod.md), Anda dapat mengakses daftar lengkap hyperparameter yang tersedia di resep. Lihat repositori Resep [ SageMaker AI ](https://github.com/aws/sagemaker-hyperpod-recipes) untuk mendapatkan resep dan mengakses semua hyperparameter.
### SFT LoRa
| Parameter | Tipe | Diperlukan? | Rentang/Nilai | Deskripsi |
| --- | --- | --- | --- | --- |
| max\_epochs | Integer | Diperlukan | 1–100 | Jumlah lintasan lengkap melalui dataset pelatihan. |
| global\_batch\_size | integer | Diperlukan | 8, 16, 32, 64, 128, 256, 512, 1024 | Total sampel yang diproses per langkah pengoptimal di semua instance. |
| learning\_rate | float | Diperlukan | 5e-07—1e-04 | Ukuran langkah untuk pembaruan berat selama pengoptimalan. |
| lr\_scheduler | string | Diperlukan | kosinus, konstan | Jadwal penurunan tingkat pembelajaran selama pelatihan. |
| lr\_warmup\_steps\_ratio | float | Diperlukan | 0—1 | Fraksi dari total langkah yang dihabiskan untuk meningkatkan tingkat pembelajaran dari 0. |
| weight\_decay | float | Diperlukan | 0,0-1,0 | Koefisien regularisasi L2. Membantu mencegah overfit. |
| gradient\_clipping | boolean | Diperlukan | benar, salah | Turunkan gradien jika norma melebihi ambang batas. |
| gradient\_clipping\_threshold | float | Diperlukan | 0,0-5,0 | Norma gradien maksimum yang diizinkan. |
| dataset\_max\_len | integer | Diperlukan | 256—131072 | Panjang urutan maksimum dalam token. Urutan yang lebih panjang dipotong. |
| seed | integer | Diperlukan | 0–2147483647 | Benih acak untuk reproduktifitas. |
| logging\_steps | integer | Diperlukan | 1–100 | Frekuensi pencatatan metrik dalam langkah-langkah pengoptimal. |
| lora\_rank | integer | Diperlukan | 8, 16, 32, 64, 128 | Dimensi matriks peringkat rendah. Lebih rendah = lebih sedikit parameter yang dapat dilatih. |
| lora\_dropout | float | Diperlukan | 0,0-1,0 | Probabilitas putus untuk lapisan LoRA adaptor. |
| lora\_alpha | integer | Diperlukan | 16, 32, 64, 128, 256 | LoRAfaktor penskalaan. Timbangan LR yang efektif sebagai alpha/rank. |
| merge\_weights | boolean | Diperlukan | benar, salah | Gabungkan LoRA bobot ke dalam model dasar setelah pelatihan. |
| train\_val\_split\_ratio | float | Opsional | 0,0-1,0 | Fraksi dialokasikan untuk pelatihan vs validasi. |
| temperature | float | Diperlukan | 0,0-2,0 | Suhu pengambilan sampel untuk evaluasi. |
### SFT FFT
| Parameter | Tipe | Diperlukan? | Rentang/Nilai | Deskripsi |
| --- | --- | --- | --- | --- |
| max\_epochs | Integer | Diperlukan | 1–100 | Jumlah lintasan lengkap melalui dataset pelatihan. |
| global\_batch\_size | integer | Diperlukan | 8, 16, 32, 64, 128, 256, 512, 1024 | Total sampel yang diproses per langkah pengoptimal. |
| learning\_rate | float | Diperlukan | 5e-07—1e-04 | Ukuran langkah untuk pembaruan berat. |
| lr\_scheduler | string | Diperlukan | kosinus, konstan | Jadwal peluruhan tingkat pembelajaran. |
| lr\_warmup\_steps\_ratio | float | Diperlukan | 0—1 | Fraksi langkah untuk pemanasan LR. |
| weight\_decay | float | Diperlukan | 0,0-1,0 | Koefisien regularisasi L2. |
| gradient\_clipping | boolean | Diperlukan | benar, salah | Turunkan gradien jika norma melebihi ambang batas. |
| gradient\_clipping\_threshold | float | Diperlukan | 0,0-5,0 | Norma gradien maksimum yang diizinkan. |
| dataset\_max\_len | integer | Diperlukan | 256—131072 | Panjang urutan maksimum dalam token. |
| max\_response\_length | integer | Diperlukan | 100—200000 | Token maksimum untuk respons yang dihasilkan. |
| seed | integer | Diperlukan | 0–2147483647 | Benih acak untuk reproduktifitas. |
| logging\_steps | integer | Diperlukan | 1–100 | Frekuensi pencatatan metrik. |
| train\_val\_split\_ratio | float | Opsional | 0,0-1,0 | Fraksi dialokasikan untuk pelatihan vs validasi. |
| temperature | float | Diperlukan | 0,0-2,0 | Suhu pengambilan sampel untuk evaluasi. |