Menyimpan Model, Deployment, dan Monitoring Regresi¶
Gambaran singkat¶
Apa ini? Menyimpan model regresi, memakainya pada data baru, dan memantaunya, termasuk hal khas regresi seperti ekstrapolasi.
Analogi
Pedagang menaksir harga memakai tabel yang disusun bulan lalu. Jika barang yang datang jauh berbeda dari semua yang pernah ia lihat, taksirannya tidak bisa dipercaya.
Mengapa penting? Regresi bisa mengeluarkan angka untuk masukan apa pun, bahkan yang tidak masuk akal. Karena itu rentang masukan dan galat perlu dipantau.
Yang akan dipelajari, berurutan:
- Menyimpan pipeline dan rentang fitur.
- Mendeteksi masukan di luar rentang latih.
- Memantau galat dan bias setelah dipakai.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Bias | Rata-rata galat; menjauhi nol berarti taksiran selalu terlalu tinggi atau rendah |
| Pelatihan ulang | Melatih model lagi dengan data baru |
| Pergeseran | Data baru mulai berbeda dari data latih |
Tujuan pembelajaran¶
- Menyimpan pipeline regresi beserta metadata rentang fitur.
- Mendeteksi masukan di luar rentang latih (risiko ekstrapolasi).
- Memantau galat dan bias setelah model dipakai.
Prasyarat
Dasar joblib, keamanan berkas model, bentuk deployment, dan pemantauan pergeseran fitur dibahas di Klasifikasi: Simpan, Deploy, Monitor. Lesson ini hanya menambahkan hal yang khas bagi regresi.
Yang khas untuk regresi¶
- Ekstrapolasi: model linear tetap menghasilkan angka untuk masukan jauh di luar rentang latih (dan hasilnya bisa tidak masuk akal); model berbasis pohon justru tertahan pada nilai di tepi rentang. Simpan rentang fitur data latih dan beri peringatan bila masukan di luar rentang.
- Metrik pemantauan: begitu nilai sebenarnya diketahui, hitung MAE/RMSE per periode dan bias (rata-rata galat). Bias yang menjauhi nol berarti model secara sistematis terlalu rendah atau terlalu tinggi.
- Kapan melatih ulang: bila MAE atau bias melewati ambang yang disepakati, atau data masukan bergeser.
Implementasi langkah demi langkah¶
Model: pipeline StandardScaler + Ridge(alpha=10) pada Diabetes. Batch "bergeser" di langkah terakhir adalah simulasi sintetis (target ditambah 30), bukan data nyata. Program examples/estimation/saving.py; program lengkap ada di akhir bagian ini.
Langkah 1: menyimpan model dan rentang fitur¶
Tujuan. Selain model, kita menyimpan rentang nilai tiap fitur pada data latih supaya masukan di luar rentang itu dapat ditandai saat prediksi.
| Kode | Penjelasan |
|---|---|
make_pipeline(StandardScaler(), Ridge(alpha=10)).fit(...) |
Melatih pipeline regresi pada data latih. |
X_train.min().to_dict(), X_train.max().to_dict() |
Nilai minimum dan maksimum tiap kolom pada data latih, disimpan sebagai kamus {kolom: nilai}. |
float(mean_absolute_error(...)) |
MAE acuan; float(...) mengubah angka NumPy menjadi float biasa agar dapat ditulis ke JSON. |
joblib.dump(model, ...), json.dumps(meta) |
Menyimpan pipeline dan metadata. Dasar-dasar keduanya dibahas di pelajaran klasifikasi. |
Langkah 2: memuat ulang dan memverifikasi¶
| saving.py | |
|---|---|
np.allclose(a, b) memeriksa apakah dua array hampir sama dalam toleransi pembulatan (lebih tepat daripada kesamaan persis untuk angka desimal).
Hasil. True: prediksi model termuat sama dengan model asli.
Langkah 3: prediksi dengan pemeriksaan rentang masukan¶
Konsep. Model linear tetap menghasilkan angka untuk masukan yang jauh di luar data latih (ekstrapolasi linear), padahal hasilnya mungkin tidak masuk akal. Fungsi berikut mengembalikan prediksi dan penanda masukan di luar rentang.
| Kode | Penjelasan |
|---|---|
lo, hi = pd.Series(meta["train_min"]), pd.Series(meta["train_max"]) |
Batas bawah dan atas tiap fitur sebagai Series. |
(df < lo) \| (df > hi) |
Membandingkan tiap sel dengan batas kolomnya; \| berarti "atau". Hasilnya tabel True/False. |
.any(axis=1) |
Per baris: apakah ada satu fitur pun yang di luar rentang? (axis=1 = sepanjang kolom; lihat NumPy). |
sample.loc[sample.index[1], "bmi"] = ... * 2 |
Sengaja menjadikan bmi sampel kedua dua kali nilai maksimum latih (nilai ekstrem buatan). .copy() sebelumnya mencegah mengubah X_test asli. |
Interpretasi. Sampel pertama normal (False). Sampel kedua ditandai True, namun model tetap menghasilkan prediksi 334,8 (di atas sebagian besar nilai target latih): contoh model linear yang mengekstrapolasi tanpa peringatan bila tidak diperiksa.
Langkah 4: memantau galat dan bias¶
Konsep. Setelah label sebenarnya diketahui, hitung MAE dan bias (rata-rata galat). Bias yang menjauhi nol berarti model secara sistematis terlalu rendah atau terlalu tinggi.
shifted = y_test + 30 mensimulasikan perubahan: nilai sebenarnya naik 30 sementara model belum tahu. (shifted - prediksi).mean() adalah bias.
Interpretasi. MAE pada data uji 42,86; pada batch dengan target bergeser +30 MAE naik menjadi 51,49 dan bias +33,9 (rata-rata prediksi terlalu rendah sekitar 34). Bias yang tampak jelas seperti ini adalah sinyal untuk memeriksa data dan melatih ulang.
Program lengkap (saving.py)
Kesalahan umum¶
Hindari
- Menerima prediksi untuk masukan di luar rentang latih tanpa peringatan.
- Hanya memantau MAE total tanpa melihat bias dan rentang.
- Memuat berkas model dari sumber tidak tepercaya.
- Tidak menyimpan rentang fitur dan versi pustaka.
Latihan¶
- Tambahkan pemeriksaan nilai hilang pada
predict_checked. - Hitung MAE per bulan pada data simulasi dengan tanggal buatan sendiri.
- Tentukan ambang bias yang memicu pelatihan ulang dan alasannya.
Ringkasan¶
Simpan pipeline utuh dan rentang fitur, periksa masukan di luar rentang, dan pantau MAE serta bias saat label sebenarnya tersedia.
Berikutnya: Proyek Regresi End-to-End.