Lewati ke isi

Menyimpan Model, Deployment, dan Monitoring Forecasting

Gambaran singkat

Apa ini? Menyimpan model peramalan dan memantaunya, termasuk menentukan kapan harus dilatih ulang.

Analogi

Prakiraan cuaca yang disusun tahun lalu makin tidak akurat jika iklim berubah. Karena itu perlu dicek terus dan diperbarui.

Mengapa penting? Model deret waktu "menua" karena pola berubah. Tanpa pemantauan, ramalan buruk bisa dipakai berbulan-bulan tanpa disadari.

Yang akan dipelajari, berurutan:

  1. Menyimpan dan memuat model deret waktu.
  2. Menentukan ambang peringatan dari galat acuan.
  3. Memantau galat dan memutuskan pelatihan ulang.

Istilah awal:

Istilah Arti sederhana
Ambang peringatan Batas galat yang memicu pemeriksaan
Pelatihan ulang Melatih model lagi dengan data terbaru
Galat acuan Galat saat model dikembangkan

Tujuan pembelajaran

  • Menyimpan dan memuat model deret waktu.
  • Menentukan ambang peringatan dari galat acuan.
  • Memantau galat setelah data baru tiba dan menentukan kapan melatih ulang.

Prasyarat

Dasar joblib, keamanan berkas model, dan bentuk deployment dibahas di Klasifikasi: Simpan, Deploy, Monitor.

Yang khas untuk forecasting

  • Model menua. Deret waktu berubah (tren, pola musiman, perubahan struktural), sehingga model harus dilatih ulang secara terjadwal atau saat galat melonjak.
  • Prediksi punya tanggal. Catat sampai kapan data latih dan mulai kapan prediksi.
  • Label datang terlambat tetapi pasti. Nilai sebenarnya akan diketahui pada waktunya, sehingga galat dapat dihitung terus-menerus.
  • Pembanding pemantauan: bandingkan galat dengan baseline seasonal naive dan dengan galat acuan saat pengembangan.

Implementasi langkah demi langkah

Model SARIMA dilatih sampai 1999-12; data 2000–2001 diperlakukan sebagai "data baru yang tiba kemudian". Ambang peringatan = 2 × MAE acuan dari rolling origin. Bagian akhir mensimulasikan perubahan struktural (aktual dinaikkan 3 ppm sejak 2000-07); data ini sintetis, bukan kejadian nyata. Program examples/forecasting/saving_monitoring.py; program lengkap ada di akhir bagian ini.

Langkah 1: melatih dan menyimpan model

saving_monitoring.py
y = load_co2_monthly()
train, new_data = y.iloc[:-24], y.iloc[-24:]  # 'new_data' = data yang datang SETELAH model dipasang

# 1. Latih dan simpan hasil model (objek hasil statsmodels dapat di-pickle dengan joblib)
res = SARIMAX(train, order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False)
path = Path(tempfile.mkdtemp()) / "co2_sarima.joblib"
joblib.dump(res, path)

train, new_data = y.iloc[:-24], y.iloc[-24:] memisahkan data yang diketahui saat model dipasang dari data yang "datang kemudian". SARIMAX(...).fit(disp=False) melatih model dan menghasilkan objek hasil res. joblib.dump(res, path) menyimpan objek hasil statsmodels ke berkas; objek ini sudah memuat parameter terestimasi dan keadaan model sehingga dapat memprediksi lagi.

Langkah 2: memuat ulang dan memverifikasi

saving_monitoring.py
# 2. Muat ulang dan pastikan prediksi identik
loaded = joblib.load(path)
f_orig, f_load = res.forecast(24), loaded.forecast(24)
print("prediksi identik setelah dimuat:", np.allclose(f_orig, f_load))
print("model dilatih sampai:", train.index[-1].strftime("%Y-%m"), "| prediksi mulai:", f_load.index[0].strftime("%Y-%m"))

loaded.forecast(24) memprediksi 24 bulan setelah akhir data latih; np.allclose membandingkan dengan prediksi model asli. Mencatat tanggal akhir data latih dan tanggal mulai prediksi penting agar prediksi tidak tertukar.

prediksi identik setelah dimuat: True
model dilatih sampai: 1999-12 | prediksi mulai: 2000-01

Hasil. Prediksi identik; model dilatih sampai 1999-12 dan prediksi dimulai 2000-01. Seperti model lain, hanya muat berkas dari sumber tepercaya dan dengan versi pustaka yang sama.

Langkah 3: galat acuan dan ambang peringatan

Konsep. Pemantauan memerlukan patokan: berapa galat yang normal? Patokan diambil dari MAE rolling origin (horizon 12 bulan) sebelum data baru, lalu ambang peringatan ditetapkan 2 kali patokan (aturan praktis yang dipilih di sini; sesuaikan dengan biaya keputusan nyata).

saving_monitoring.py
# 3. Nilai acuan galat dari periode pengembangan (rolling origin horizon 12 sebelum data baru)
ref_maes = []
for end in range(len(train) - 12 - 60, len(train) - 11, 12):
    r = SARIMAX(y.iloc[:end], order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False)
    ref_maes.append(mae(y.iloc[end:end + 12], r.forecast(12)))
ref = float(np.mean(ref_maes))
threshold = 2 * ref
print("\nMAE acuan (rolling origin, horizon 12): %.2f ppm | ambang peringatan (2x acuan): %.2f ppm" % (ref, threshold))

Perulangan melatih ulang SARIMA pada beberapa titik asal di dalam data latih dan menghitung MAE prediksi 12 bulan; np.mean(ref_maes) adalah patokan ref, dan threshold = 2 * ref ambangnya.

MAE acuan (rolling origin, horizon 12): 0.51 ppm | ambang peringatan (2x acuan): 1.03 ppm

Hasil. MAE acuan 0,51 ppm; ambang peringatan 1,03 ppm.

Langkah 4: memantau galat dengan jendela bergulir

saving_monitoring.py
# 4. Pemantauan: bandingkan prediksi dengan data aktual yang masuk (MAE 6 bulan bergulir)
def monitor(actual, forecast, label):
    err = (actual - forecast).abs()
    roll = err.rolling(6).mean().dropna()
    flag = roll > threshold
    print(f"{label:<22} MAE 6 bulan terakhir: {roll.iloc[-1]:.2f} | bulan pertama melewati ambang:",
          flag.idxmax().strftime("%Y-%m") if flag.any() else "tidak ada")


monitor(new_data, f_load, "data aktual")
Kode Penjelasan
err = (actual - forecast).abs() Galat mutlak tiap bulan: nilai aktual yang baru masuk dibandingkan dengan prediksi yang dibuat sebelumnya.
err.rolling(6).mean().dropna() MAE 6 bulan bergulir: rata-rata galat pada 6 bulan terakhir di tiap titik waktu (6 bulan pertama tidak lengkap sehingga dibuang).
flag = roll > threshold Penanda True bila MAE bergulir melewati ambang.
flag.idxmax() Tanggal pertama bernilai True (idxmax pada deret boolean mengembalikan indeks True pertama); hanya dipakai bila flag.any().
data aktual            MAE 6 bulan terakhir: 0.42 | bulan pertama melewati ambang: tidak ada

Hasil. Pada data aktual, MAE 6 bulan terakhir 0,42: di bawah ambang, tidak ada peringatan.

Langkah 5: simulasi perubahan struktural

saving_monitoring.py
# 5. Simulasi SINTETIS: perubahan struktural, aktual naik +3 ppm mulai 2000-07
shifted = new_data.copy()
shifted.loc["2000-07-01":] += 3
monitor(shifted, f_load, "aktual + pergeseran 3")
print("bias rata-rata galat (aktual - prediksi): data aktual %.2f | simulasi pergeseran %.2f" % (
    (new_data - f_load).mean(), (shifted - f_load).mean()))

shifted.loc["2000-07-01":] += 3 menaikkan semua nilai aktual sejak Juli 2000 sebesar 3 ppm (simulasi buatan), seolah terjadi perubahan struktural yang tidak diketahui model. Bias dihitung sebagai rata-rata (aktual − prediksi).

aktual + pergeseran 3  MAE 6 bulan terakhir: 2.58 | bulan pertama melewati ambang: 2000-08
bias rata-rata galat (aktual - prediksi): data aktual -0.35 | simulasi pergeseran 1.90

Interpretasi. Pada simulasi, MAE 6 bulan terakhir naik ke 2,58 dan ambang terlampaui pertama kali pada 2000-08 (setelah dua bulan bergeser masuk jendela 6 bulan); bias +1,90, dibanding −0,35 pada data aktual (model rata-rata sedikit terlalu tinggi). Tanda ini memicu pemeriksaan data dan pelatihan ulang. Ambang "2 × acuan" adalah aturan praktis; tentukan ambang sesuai biaya keputusan nyata.

Program lengkap (saving_monitoring.py)
saving_monitoring.py
import tempfile
import warnings
from pathlib import Path

import joblib
import numpy as np
import pandas as pd
from statsmodels.tsa.statespace.sarimax import SARIMAX

from forecast_utils import mae, load_co2_monthly

warnings.filterwarnings("ignore")

y = load_co2_monthly()
train, new_data = y.iloc[:-24], y.iloc[-24:]  # 'new_data' = data yang datang SETELAH model dipasang

# 1. Latih dan simpan hasil model (objek hasil statsmodels dapat di-pickle dengan joblib)
res = SARIMAX(train, order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False)
path = Path(tempfile.mkdtemp()) / "co2_sarima.joblib"
joblib.dump(res, path)

# 2. Muat ulang dan pastikan prediksi identik
loaded = joblib.load(path)
f_orig, f_load = res.forecast(24), loaded.forecast(24)
print("prediksi identik setelah dimuat:", np.allclose(f_orig, f_load))
print("model dilatih sampai:", train.index[-1].strftime("%Y-%m"), "| prediksi mulai:", f_load.index[0].strftime("%Y-%m"))

# 3. Nilai acuan galat dari periode pengembangan (rolling origin horizon 12 sebelum data baru)
ref_maes = []
for end in range(len(train) - 12 - 60, len(train) - 11, 12):
    r = SARIMAX(y.iloc[:end], order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False)
    ref_maes.append(mae(y.iloc[end:end + 12], r.forecast(12)))
ref = float(np.mean(ref_maes))
threshold = 2 * ref
print("\nMAE acuan (rolling origin, horizon 12): %.2f ppm | ambang peringatan (2x acuan): %.2f ppm" % (ref, threshold))


# 4. Pemantauan: bandingkan prediksi dengan data aktual yang masuk (MAE 6 bulan bergulir)
def monitor(actual, forecast, label):
    err = (actual - forecast).abs()
    roll = err.rolling(6).mean().dropna()
    flag = roll > threshold
    print(f"{label:<22} MAE 6 bulan terakhir: {roll.iloc[-1]:.2f} | bulan pertama melewati ambang:",
          flag.idxmax().strftime("%Y-%m") if flag.any() else "tidak ada")


monitor(new_data, f_load, "data aktual")

# 5. Simulasi SINTETIS: perubahan struktural, aktual naik +3 ppm mulai 2000-07
shifted = new_data.copy()
shifted.loc["2000-07-01":] += 3
monitor(shifted, f_load, "aktual + pergeseran 3")
print("bias rata-rata galat (aktual - prediksi): data aktual %.2f | simulasi pergeseran %.2f" % (
    (new_data - f_load).mean(), (shifted - f_load).mean()))

Praktik deployment

Aspek Saran
Bentuk Pekerjaan terjadwal (misalnya bulanan) yang memuat model, memprediksi, dan menyimpan hasil
Pelatihan ulang Terjadwal (tiap periode) dan berbasis pemicu (galat melewati ambang)
Pencatatan Versi model, rentang data latih, parameter, tanggal prediksi, galat per periode
Keamanan Hanya muat berkas model tepercaya
Pembanding Selalu laporkan juga seasonal naive

Kesalahan umum

Hindari

  • Memakai model bertahun-tahun tanpa pemantauan galat.
  • Melatih ulang tanpa evaluasi pembanding (model baru bisa lebih buruk).
  • Menetapkan ambang tanpa acuan dari periode pengembangan.
  • Lupa mencatat tanggal akhir data latih.

Latihan

  1. Ubah ambang menjadi 1,5 × acuan. Kapan peringatan pertama muncul pada simulasi?
  2. Tambahkan pemantauan relatif terhadap seasonal naive (rasio MAE model / MAE baseline).
  3. Rancang aturan pelatihan ulang untuk data bulanan yang berubah struktur (misalnya pandemi).

Ringkasan

Model forecasting perlu disimpan bersama metadata, dipantau terhadap galat acuan, dan dilatih ulang secara terjadwal atau saat galat melampaui ambang.

Berikutnya: Proyek Forecasting End-to-End.