Lewati ke isi

Menyimpan Model, Deployment, dan Monitoring Regresi

Gambaran singkat

Apa ini? Menyimpan model regresi, memakainya pada data baru, dan memantaunya, termasuk hal khas regresi seperti ekstrapolasi.

Analogi

Pedagang menaksir harga memakai tabel yang disusun bulan lalu. Jika barang yang datang jauh berbeda dari semua yang pernah ia lihat, taksirannya tidak bisa dipercaya.

Mengapa penting? Regresi bisa mengeluarkan angka untuk masukan apa pun, bahkan yang tidak masuk akal. Karena itu rentang masukan dan galat perlu dipantau.

Yang akan dipelajari, berurutan:

  1. Menyimpan pipeline dan rentang fitur.
  2. Mendeteksi masukan di luar rentang latih.
  3. Memantau galat dan bias setelah dipakai.

Istilah awal:

Istilah Arti sederhana
Bias Rata-rata galat; menjauhi nol berarti taksiran selalu terlalu tinggi atau rendah
Pelatihan ulang Melatih model lagi dengan data baru
Pergeseran Data baru mulai berbeda dari data latih

Tujuan pembelajaran

  • Menyimpan pipeline regresi beserta metadata rentang fitur.
  • Mendeteksi masukan di luar rentang latih (risiko ekstrapolasi).
  • Memantau galat dan bias setelah model dipakai.

Prasyarat

Dasar joblib, keamanan berkas model, bentuk deployment, dan pemantauan pergeseran fitur dibahas di Klasifikasi: Simpan, Deploy, Monitor. Lesson ini hanya menambahkan hal yang khas bagi regresi.

Yang khas untuk regresi

  • Ekstrapolasi: model linear tetap menghasilkan angka untuk masukan jauh di luar rentang latih (dan hasilnya bisa tidak masuk akal); model berbasis pohon justru tertahan pada nilai di tepi rentang. Simpan rentang fitur data latih dan beri peringatan bila masukan di luar rentang.
  • Metrik pemantauan: begitu nilai sebenarnya diketahui, hitung MAE/RMSE per periode dan bias (rata-rata galat). Bias yang menjauhi nol berarti model secara sistematis terlalu rendah atau terlalu tinggi.
  • Kapan melatih ulang: bila MAE atau bias melewati ambang yang disepakati, atau data masukan bergeser.

Implementasi langkah demi langkah

Model: pipeline StandardScaler + Ridge(alpha=10) pada Diabetes. Batch "bergeser" di langkah terakhir adalah simulasi sintetis (target ditambah 30), bukan data nyata. Program examples/estimation/saving.py; program lengkap ada di akhir bagian ini.

Langkah 1: menyimpan model dan rentang fitur

Tujuan. Selain model, kita menyimpan rentang nilai tiap fitur pada data latih supaya masukan di luar rentang itu dapat ditandai saat prediksi.

saving.py
SEED = 42
X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
model = make_pipeline(StandardScaler(), Ridge(alpha=10)).fit(X_train, y_train)

# 1. Simpan pipeline + metadata, termasuk rentang fitur data latih untuk pemeriksaan masukan
out_dir = Path(tempfile.mkdtemp())
meta = {
    "sklearn_version": sklearn.__version__,
    "features": list(X.columns),
    "train_min": X_train.min().to_dict(),
    "train_max": X_train.max().to_dict(),
    "train_mae_reference": float(mean_absolute_error(y_test, model.predict(X_test))),
}
joblib.dump(model, out_dir / "diabetes_model.joblib")
(out_dir / "metadata.json").write_text(json.dumps(meta), encoding="utf-8")
Kode Penjelasan
make_pipeline(StandardScaler(), Ridge(alpha=10)).fit(...) Melatih pipeline regresi pada data latih.
X_train.min().to_dict(), X_train.max().to_dict() Nilai minimum dan maksimum tiap kolom pada data latih, disimpan sebagai kamus {kolom: nilai}.
float(mean_absolute_error(...)) MAE acuan; float(...) mengubah angka NumPy menjadi float biasa agar dapat ditulis ke JSON.
joblib.dump(model, ...), json.dumps(meta) Menyimpan pipeline dan metadata. Dasar-dasar keduanya dibahas di pelajaran klasifikasi.

Langkah 2: memuat ulang dan memverifikasi

saving.py
# 2. Muat ulang dan pastikan prediksi identik
loaded = joblib.load(out_dir / "diabetes_model.joblib")
print("prediksi identik setelah dimuat:", np.allclose(model.predict(X_test), loaded.predict(X_test)))

np.allclose(a, b) memeriksa apakah dua array hampir sama dalam toleransi pembulatan (lebih tepat daripada kesamaan persis untuk angka desimal).

prediksi identik setelah dimuat: True

Hasil. True: prediksi model termuat sama dengan model asli.

Langkah 3: prediksi dengan pemeriksaan rentang masukan

Konsep. Model linear tetap menghasilkan angka untuk masukan yang jauh di luar data latih (ekstrapolasi linear), padahal hasilnya mungkin tidak masuk akal. Fungsi berikut mengembalikan prediksi dan penanda masukan di luar rentang.

saving.py
# 3. Fungsi prediksi dengan pemeriksaan masukan di luar rentang latih (risiko ekstrapolasi)
def predict_checked(df):
    lo, hi = pd.Series(meta["train_min"]), pd.Series(meta["train_max"])
    out_of_range = ((df < lo) | (df > hi)).any(axis=1)
    return loaded.predict(df), out_of_range.to_numpy()


sample = X_test.iloc[[0, 1]].copy()
sample.loc[sample.index[1], "bmi"] = X_train["bmi"].max() * 2  # nilai ekstrem buatan
pred, flag = predict_checked(sample)
print("prediksi:", pred.round(1), "| di luar rentang latih:", flag)
Kode Penjelasan
lo, hi = pd.Series(meta["train_min"]), pd.Series(meta["train_max"]) Batas bawah dan atas tiap fitur sebagai Series.
(df < lo) \| (df > hi) Membandingkan tiap sel dengan batas kolomnya; \| berarti "atau". Hasilnya tabel True/False.
.any(axis=1) Per baris: apakah ada satu fitur pun yang di luar rentang? (axis=1 = sepanjang kolom; lihat NumPy).
sample.loc[sample.index[1], "bmi"] = ... * 2 Sengaja menjadikan bmi sampel kedua dua kali nilai maksimum latih (nilai ekstrem buatan). .copy() sebelumnya mencegah mengubah X_test asli.
prediksi: [141.2 334.8] | di luar rentang latih: [False  True]

Interpretasi. Sampel pertama normal (False). Sampel kedua ditandai True, namun model tetap menghasilkan prediksi 334,8 (di atas sebagian besar nilai target latih): contoh model linear yang mengekstrapolasi tanpa peringatan bila tidak diperiksa.

Langkah 4: memantau galat dan bias

Konsep. Setelah label sebenarnya diketahui, hitung MAE dan bias (rata-rata galat). Bias yang menjauhi nol berarti model secara sistematis terlalu rendah atau terlalu tinggi.

saving.py
# 4. Pemantauan galat saat label sebenarnya tersedia (batch SINTETIS: target digeser +30)
print("\nbatch               MAE")
print(f"data uji            {mean_absolute_error(y_test, loaded.predict(X_test)):.2f}")
shifted = y_test + 30
print(f"target bergeser +30 {mean_absolute_error(shifted, loaded.predict(X_test)):.2f}")
print("bias (rata-rata galat) batch bergeser: %.1f" % (shifted - loaded.predict(X_test)).mean())

shifted = y_test + 30 mensimulasikan perubahan: nilai sebenarnya naik 30 sementara model belum tahu. (shifted - prediksi).mean() adalah bias.

batch               MAE
data uji            42.86
target bergeser +30 51.49
bias (rata-rata galat) batch bergeser: 33.9

Interpretasi. MAE pada data uji 42,86; pada batch dengan target bergeser +30 MAE naik menjadi 51,49 dan bias +33,9 (rata-rata prediksi terlalu rendah sekitar 34). Bias yang tampak jelas seperti ini adalah sinyal untuk memeriksa data dan melatih ulang.

Program lengkap (saving.py)
saving.py
import json
import tempfile
from pathlib import Path

import joblib
import numpy as np
import pandas as pd
import sklearn
from sklearn.datasets import load_diabetes
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_absolute_error
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

SEED = 42
X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
model = make_pipeline(StandardScaler(), Ridge(alpha=10)).fit(X_train, y_train)

# 1. Simpan pipeline + metadata, termasuk rentang fitur data latih untuk pemeriksaan masukan
out_dir = Path(tempfile.mkdtemp())
meta = {
    "sklearn_version": sklearn.__version__,
    "features": list(X.columns),
    "train_min": X_train.min().to_dict(),
    "train_max": X_train.max().to_dict(),
    "train_mae_reference": float(mean_absolute_error(y_test, model.predict(X_test))),
}
joblib.dump(model, out_dir / "diabetes_model.joblib")
(out_dir / "metadata.json").write_text(json.dumps(meta), encoding="utf-8")

# 2. Muat ulang dan pastikan prediksi identik
loaded = joblib.load(out_dir / "diabetes_model.joblib")
print("prediksi identik setelah dimuat:", np.allclose(model.predict(X_test), loaded.predict(X_test)))


# 3. Fungsi prediksi dengan pemeriksaan masukan di luar rentang latih (risiko ekstrapolasi)
def predict_checked(df):
    lo, hi = pd.Series(meta["train_min"]), pd.Series(meta["train_max"])
    out_of_range = ((df < lo) | (df > hi)).any(axis=1)
    return loaded.predict(df), out_of_range.to_numpy()


sample = X_test.iloc[[0, 1]].copy()
sample.loc[sample.index[1], "bmi"] = X_train["bmi"].max() * 2  # nilai ekstrem buatan
pred, flag = predict_checked(sample)
print("prediksi:", pred.round(1), "| di luar rentang latih:", flag)

# 4. Pemantauan galat saat label sebenarnya tersedia (batch SINTETIS: target digeser +30)
print("\nbatch               MAE")
print(f"data uji            {mean_absolute_error(y_test, loaded.predict(X_test)):.2f}")
shifted = y_test + 30
print(f"target bergeser +30 {mean_absolute_error(shifted, loaded.predict(X_test)):.2f}")
print("bias (rata-rata galat) batch bergeser: %.1f" % (shifted - loaded.predict(X_test)).mean())

Kesalahan umum

Hindari

  • Menerima prediksi untuk masukan di luar rentang latih tanpa peringatan.
  • Hanya memantau MAE total tanpa melihat bias dan rentang.
  • Memuat berkas model dari sumber tidak tepercaya.
  • Tidak menyimpan rentang fitur dan versi pustaka.

Latihan

  1. Tambahkan pemeriksaan nilai hilang pada predict_checked.
  2. Hitung MAE per bulan pada data simulasi dengan tanggal buatan sendiri.
  3. Tentukan ambang bias yang memicu pelatihan ulang dan alasannya.

Ringkasan

Simpan pipeline utuh dan rentang fitur, periksa masukan di luar rentang, dan pantau MAE serta bias saat label sebenarnya tersedia.

Berikutnya: Proyek Regresi End-to-End.