Optimasi Hyperparameter¶
Gambaran singkat¶
Apa ini? Cara mencari pengaturan model (hyperparameter) terbaik secara sistematis dengan GridSearchCV dan RandomizedSearchCV.
Analogi
Mengatur resep kue: berapa gula, berapa lama dipanggang. Pengaturan itu tidak dipelajari kuenya, tetapi Anda yang menentukan. Anda mencoba beberapa kombinasi dan memilih yang paling enak.
Mengapa penting? Pengaturan yang tepat sering meningkatkan kinerja, tetapi mencoba banyak kombinasi pada data yang sama membuat skor terbaik terlalu optimis. Kita perlu cara menguji yang jujur.
Yang akan dipelajari, berurutan:
- Beda parameter dan hyperparameter.
- Grid search dan random search di dalam
Pipeline. - Mengapa skor terbaik pencarian terlalu optimis, dan nested cross-validation sebagai perbaikannya.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Hyperparameter | Pengaturan yang kita tentukan sebelum pelatihan |
| Grid search | Mencoba semua kombinasi dalam daftar |
| Random search | Mencoba kombinasi acak |
scoring |
Metrik yang dipakai untuk memilih yang terbaik |
Tujuan pembelajaran¶
- Membedakan parameter (dipelajari) dan hyperparameter (ditetapkan sebelum pelatihan).
- Memakai
GridSearchCVdanRandomizedSearchCVdenganPipeline. - Menjelaskan mengapa skor terbaik dari pencarian bersifat optimis dan bagaimana nested cross-validation memperbaikinya.
Konsep dasar¶
Parameter (misalnya koefisien regresi logistik) dipelajari dari data. Hyperparameter (misalnya C, gamma, max_depth) ditetapkan sebelum pelatihan. Optimasi hyperparameter mencari kombinasi yang memberi skor validasi terbaik.
| Metode | Cara kerja | Kapan dipakai |
|---|---|---|
| Grid Search | Mencoba semua kombinasi pada kisi | Sedikit hyperparameter, ruang kecil |
| Random Search | Mencoba sampel acak kombinasi | Ruang besar; sering lebih efisien per percobaan |
| Pencarian lanjutan (Bayesian, successive halving) | Mengarahkan pencarian | Model mahal; di luar cakupan lesson ini |
Aturan penting:
- Pencarian hanya memakai data latih (validasi silang di dalamnya). Data uji tetap disimpan.
- Gunakan
Pipeline, sehingga praproses ikut dilatih ulang per lipatan. Nama parameter memakai format<nama_langkah>__<parameter>, misalnyasvc__C. - Tentukan
scoringsesuai tujuan (F1, recall, PR-AUC), bukan hanya accuracy. refit=True(bawaan) melatih ulang model terbaik pada seluruh data latih.
Implementasi langkah demi langkah¶
Dataset Breast Cancer; pemuatan dan pembagian data sama dengan pelajaran dasar. Program lengkap ada di akhir bagian ini.
Langkah 1: Grid Search untuk SVM¶
Tujuan. Mencari kombinasi C dan gamma terbaik dari kisi 4 × 4 = 16 kombinasi, dinilai dengan validasi silang pada data latih.
| Kode | Penjelasan |
|---|---|
Pipeline([("scale", StandardScaler()), ("svc", SVC())]) |
Pipeline dengan nama langkah scale dan svc. Nama dipakai untuk menunjuk parameter. |
param_grid={"svc__C": [...], "svc__gamma": [...]} |
Kisi parameter. Format <nama_langkah>__<parameter> (dua garis bawah) menunjuk parameter C milik langkah svc. Semua kombinasi (16) dicoba. |
scoring="f1" |
Metrik yang dioptimalkan. Pilih sesuai tujuan, bukan sekadar akurasi. |
cv=cv |
Validasi silang 5 lipatan berstrata untuk setiap kombinasi (16 × 5 = 80 pelatihan). |
grid.fit(X_train, y_train) |
Menjalankan pencarian. Hanya data latih yang dipakai; data uji tidak tersentuh. Setelah selesai, kombinasi terbaik dilatih ulang pada seluruh data latih (refit=True bawaan). |
Grid Search SVM
kombinasi dicoba : 16
parameter terbaik: {'svc__C': 10, 'svc__gamma': 0.01}
F1 CV terbaik : 0.981
Langkah 2: membaca hasil pencarian¶
grid.best_params_ = kombinasi terbaik; grid.best_score_ = skor validasi silang rata-rata kombinasi itu; grid.cv_results_ = tabel hasil semua kombinasi, yang diubah menjadi DataFrame lalu nsmallest(3, "rank_test_score") mengambil tiga peringkat teratas (peringkat 1 = terbaik). Baris terakhir menghitung skor SVM bawaan (tanpa penyetelan) sebagai pembanding.
param_svc__C param_svc__gamma mean_test_score std_test_score
10.0 0.01 0.981 0.012
10.0 0.001 0.978 0.015
1.0 0.01 0.978 0.012
F1 CV SVM default: 0.976
Interpretasi. Kombinasi terbaik C=10, gamma=0,01 dengan F1 CV 0,981, sedangkan SVM bawaan sudah memberi 0,976. Peningkatan 0,005 jauh lebih kecil daripada simpangan baku antar lipatan (0,012), jadi penyetelan di sini tidak memberi keuntungan yang meyakinkan. Tiga kombinasi teratas hanya berbeda 0,003.
Langkah 3: Random Search untuk Random Forest¶
Konsep. Bila ruang parameter besar, mencoba semua kombinasi tidak praktis. Random Search mengambil sejumlah kombinasi acak (n_iter) dari rentang yang ditentukan.
| Kode | Penjelasan |
|---|---|
randint(100, 400) |
Distribusi bilangan bulat acak antara 100 dan 399 (dari scipy.stats). Daftar seperti [None, 3, 5, 10] berarti pilih acak salah satu. |
n_iter=15 |
Hanya 15 kombinasi acak yang dicoba. |
random_state=SEED |
Membuat pengambilan acaknya dapat diulang. |
Random Search Random Forest (15 percobaan)
parameter terbaik: {'max_depth': 10, 'max_features': 'sqrt', 'min_samples_leaf': 1, 'n_estimators': 121}
F1 CV terbaik : 0.973
Interpretasi. Skor terbaik 0,973 dengan max_depth=10, n_estimators=121; di bawah SVM pada data ini.
Langkah 4: estimasi jujur dengan nested cross-validation¶
Konsep. best_score_ dipilih dari banyak kombinasi pada lipatan yang sama, sehingga cenderung optimis. Nested CV menilai prosedur pencarian itu sendiri: pencarian diulang di dalam tiap lipatan luar yang tidak dilihat pencarian.
cross_val_score(grid, ...) memperlakukan seluruh GridSearchCV sebagai satu model: untuk tiap lipatan luar, pencarian dijalankan pada lipatan latih luar, lalu hasilnya dinilai pada lipatan validasi luar. StratifiedKFold(..., random_state=1) memakai pembagian berbeda dari pencarian dalam.
Interpretasi. Estimasi F1 0,979 (± 0,007) untuk prosedur "Grid Search SVM", sedikit di bawah skor terbaik grid (0,981) karena skor terbaik cenderung optimis.
Langkah 5: data uji sekali¶
| tuning.py | |
|---|---|
grid.predict(X_test) otomatis memakai model terbaik (best_estimator_) yang sudah dilatih ulang pada seluruh data latih.
Interpretasi. Akurasi 0,982 dan F1 0,986 untuk model terpilih. Pesan utama: penyetelan berguna terutama bila model awal jauh dari optimal (seperti gamma ekstrem pada SVM); pada model yang sudah cukup baik, hasilnya sering marginal, dan waktu lebih baik dipakai memperbaiki data atau fitur.
Program lengkap (tuning.py)
Kesalahan umum¶
Hindari
- Menyetel hyperparameter dengan data uji.
- Melaporkan
best_score_sebagai estimasi performa akhir. - Melakukan scaling sebelum pencarian sehingga bocor ke lipatan validasi.
- Menyetel terlalu banyak kombinasi pada data kecil sehingga "overfit ke validasi".
- Membandingkan model yang disetel dengan model lain yang tidak disetel secara adil.
Latihan¶
- Perluas grid
Cke[0.01, 100, 1000]. Apakah kombinasi terbaik berubah? - Ganti
scoringmenjadirecalluntuk kelas ganas denganmake_scorer(recall_score, pos_label=0). - Jalankan
RandomizedSearchCVdengann_iter=5dann_iter=40. Seberapa jauh skor terbaiknya berbeda? - Jelaskan dengan kata-kata Anda mengapa
best_score_optimis.
Ringkasan¶
Hyperparameter disetel dengan pencarian bervalidasi silang pada data latih, di dalam Pipeline. Skor terbaik pencarian cenderung optimis; nested CV dan data uji (sekali) memberi gambaran lebih jujur. Peningkatan kecil dibanding ketidakpastian tidak perlu dianggap bermakna.
Berikutnya: Menyimpan Model, Deployment, dan Monitoring.