Lewati ke isi

Validasi Kronologis dan Metrik Forecasting

Gambaran singkat

Apa ini? Cara membagi dan menguji data deret waktu dengan benar: kronologis, dan tidak boleh diacak.

Analogi

Anda tidak boleh "mengintip" skor besok untuk menebak skor kemarin. Latihan harus memakai masa lalu, ujian memakai masa depan.

Mengapa penting? Validasi silang acak membocorkan masa depan ke data latih sehingga skor tampak bagus tetapi palsu.

Yang akan dipelajari, berurutan:

  1. Pembagian kronologis: latih, validasi, uji.
  2. Mengapa validasi silang acak menyesatkan.
  3. Rolling-origin evaluation.
  4. Metrik MAE, RMSE, sMAPE, dan MASE.

Istilah awal:

Istilah Arti sederhana
Rolling origin Menguji berulang dengan titik awal prediksi yang bergeser maju
sMAPE Persentase galat simetris
MASE Galat dibanding galat metode naive; di bawah 1 berarti lebih baik
Kebocoran Data masa depan ikut dipakai saat belajar

Tujuan pembelajaran

  • Membagi deret waktu secara kronologis menjadi latih, validasi, dan uji.
  • Menjelaskan mengapa validasi silang acak menyesatkan pada deret waktu.
  • Memakai rolling-origin evaluation.
  • Menghitung dan menafsirkan MAE, RMSE, sMAPE, dan MASE.

Pembagian kronologis

Pada forecasting, model dilatih pada masa lalu dan diuji pada masa depan relatif terhadap data latih:

|----------- latih -----------|--- validasi ---|--- uji ---|
 awal                                                  akhir

Data tidak pernah diacak. Data uji adalah bagian paling akhir dan dipakai satu kali. Untuk model akhir, data latih dan validasi biasanya digabung lalu dilatih ulang sebelum memprediksi data uji.

Rolling-origin evaluation

Satu pembagian saja bisa kebetulan mudah atau sulit. Rolling origin mengulangi evaluasi dari beberapa titik asal: latih pada data sampai titik asal, prediksi horizon \(h\) langkah ke depan, lalu geser titik asal (jendela latih membesar, expanding window) dan ulangi. Hasilnya adalah beberapa skor yang dirata-rata beserta sebarannya.

flowchart LR
    A[Asal 1<br/>latih → prediksi] --> B[Asal 2<br/>latih lebih panjang → prediksi]
    B --> C[Asal 3 ...]

Metrik

Dengan nilai sebenarnya \(y_t\), prediksi \(\hat{y}_t\), dan \(n\) titik evaluasi:

\[ \text{MAE} = \frac{1}{n}\sum_t |y_t - \hat{y}_t|, \quad \text{RMSE} = \sqrt{\frac{1}{n}\sum_t (y_t - \hat{y}_t)^2}, \quad \text{sMAPE} = \frac{100}{n}\sum_t \frac{2\,|y_t - \hat{y}_t|}{|y_t| + |\hat{y}_t|} \]
\[ \text{MASE} = \frac{\text{MAE}}{\frac{1}{N-m}\sum_{t=m+1}^{N} |y_t - y_{t-m}|} \]

Penyebut MASE adalah MAE metode seasonal naive (periode \(m\)) pada data latih sepanjang \(N\) titik. MASE tanpa satuan, sehingga dapat dibandingkan antar deret; MASE di bawah 1 berarti galat lebih kecil daripada galat tipikal prediksi seasonal naive dalam sampel. MAPE biasa bermasalah bila nilai sebenarnya mendekati nol; MASE dan sMAPE lebih aman.

Implementasi langkah demi langkah

Memakai CO2 bulanan (Data dan EDA). Program examples/forecasting/splitting_eval.py; program lengkap ada di akhir bagian ini.

Langkah 1: pembagian kronologis

Tujuan. Membagi deret menjadi tiga bagian berurutan tanpa mengacak.

splitting_eval.py
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import KFold

from forecast_utils import mae, mase, rmse, seasonal_naive, smape, load_co2_monthly

y = load_co2_monthly()

# 1. Split kronologis: latih -> validasi -> uji, tanpa diacak
test, valid, train = y.iloc[-24:], y.iloc[-48:-24], y.iloc[:-48]
for name, part in [("latih", train), ("validasi", valid), ("uji", test)]:
    print(f"{name:<9}: {part.index[0].strftime('%Y-%m')} s.d. {part.index[-1].strftime('%Y-%m')} ({len(part)} bulan)")
Kode Penjelasan
y.iloc[-24:] 24 baris terakhir (indeks negatif menghitung dari belakang) = data uji.
y.iloc[-48:-24] 24 baris sebelumnya = data validasi.
y.iloc[:-48] Seluruh baris sebelum itu = data latih.
part.index[0].strftime('%Y-%m') Mengubah tanggal pertama bagian itu menjadi teks tahun-bulan.
latih    : 1958-03 s.d. 1997-12 (478 bulan)
validasi : 1998-01 s.d. 1999-12 (24 bulan)
uji      : 2000-01 s.d. 2001-12 (24 bulan)

Hasil. Latih 478 bulan (1958-03 s.d. 1997-12), validasi 24 bulan (1998–1999), uji 24 bulan (2000–2001): selalu "masa lalu → masa depan".

Langkah 2: mengapa tidak boleh diacak

Konsep. Untuk memperlihatkan efeknya, Random Forest dilatih pada fitur lag (nilai 1, 2, 3, dan 12 bulan lalu) dan dinilai dengan dua cara: validasi silang acak dan evaluasi kronologis.

splitting_eval.py
# 2. Mengapa tidak boleh diacak: model berbasis pohon pada fitur lag
lags = pd.DataFrame({f"lag_{k}": y.shift(k) for k in [1, 2, 3, 12]})
data = lags.assign(target=y).dropna()
X_all, y_all = data.drop(columns="target"), data["target"]


def rf():
    return RandomForestRegressor(n_estimators=200, random_state=42)


# (a) validasi silang acak (SALAH untuk deret waktu)
errs = []
for tr, te in KFold(5, shuffle=True, random_state=42).split(X_all):
    errs.append(rmse(y_all.iloc[te], rf().fit(X_all.iloc[tr], y_all.iloc[tr]).predict(X_all.iloc[te])))
print("\nRMSE Random Forest, KFold acak          : %.2f ppm" % np.mean(errs))

# (b) evaluasi kronologis: latih sebelum 1998, uji 24 bulan setelahnya (prediksi satu langkah)
cut = len(X_all) - 48
model = rf().fit(X_all.iloc[:cut], y_all.iloc[:cut])
pred = model.predict(X_all.iloc[cut:cut + 24])
print("RMSE Random Forest, kronologis (validasi): %.2f ppm" % rmse(y_all.iloc[cut:cut + 24], pred))
print("Rentang target latih: %.1f - %.1f | rentang target validasi: %.1f - %.1f" % (
    y_all.iloc[:cut].min(), y_all.iloc[:cut].max(), y_all.iloc[cut:cut + 24].min(), y_all.iloc[cut:cut + 24].max()))
Kode Penjelasan
pd.DataFrame({f"lag_{k}": y.shift(k) for k in [1, 2, 3, 12]}) Tabel fitur lag (shift(k) menggeser deret k bulan; lihat Fitur Waktu dan Lag). Dibuat dengan dictionary comprehension.
lags.assign(target=y).dropna() Menambahkan kolom target (level CO2) dan membuang baris awal yang kosong.
KFold(5, shuffle=True, ...).split(X_all) (a) Pembagian acak: baris dibagi acak ke 5 lipatan.
cut = len(X_all) - 48 lalu iloc[:cut] vs iloc[cut:cut + 24] (b) Pembagian kronologis: latih pada awal, uji pada 24 bulan setelahnya.
RMSE Random Forest, KFold acak          : 0.64 ppm
RMSE Random Forest, kronologis (validasi): 2.56 ppm
Rentang target latih: 313.4 - 366.7 | rentang target validasi: 363.9 - 371.0

Interpretasi. RMSE Random Forest 0,64 ppm pada KFold acak, tetapi 2,56 ppm pada evaluasi kronologis: selisih empat kali lipat. Pada KFold acak, tiap bulan yang diuji dikelilingi bulan latih yang bertetangga di kedua sisi (model "menginterpolasi"). Pada evaluasi kronologis, model harus meramal masa depan: rentang target validasi (363,9–371,0) sebagian di atas nilai terbesar data latih (366,7), padahal pohon tidak dapat memprediksi di luar rentang yang pernah dilihatnya. Validasi silang acak memberi gambaran yang terlalu optimis.

Langkah 3: metrik forecasting

Konsep. Berikut metrik standar forecasting yang dihitung oleh fungsi bantu di forecast_utils.py (rumusnya ada di bagian Metrik di atas). Contoh memakai prediksi seasonal naive: nilai tiap bulan diprediksi sama dengan bulan yang sama setahun lalu.

splitting_eval.py
# 3. Metrik pada prediksi seasonal naive untuk data validasi
pred_sn = seasonal_naive(train, 24)
print("\nSeasonal naive pada validasi -> MAE %.2f | RMSE %.2f | sMAPE %.3f%% | MASE %.2f" % (
    mae(valid, pred_sn), rmse(valid, pred_sn), smape(valid, pred_sn), mase(valid, pred_sn, train)))

seasonal_naive(train, 24) mengulang 12 nilai terakhir data latih untuk 24 bulan ke depan. Metrik dihitung terhadap valid (nilai sebenarnya).

Seasonal naive pada validasi -> MAE 3.72 | RMSE 3.83 | sMAPE 1.017% | MASE 2.98

Interpretasi. MAE 3,72; RMSE 3,83; sMAPE 1,017%; MASE 2,98. MASE ≈ 3 berarti galatnya sekitar tiga kali galat tahun-ke-tahun tipikal pada data latih (MAE tahun-ke-tahun data latih ≈ 1,25 ppm), karena tren terus naik dan prediksi hanya menyalin tahun lalu (pada tahun kedua horizon, prediksi tertinggal dua tahun).

Langkah 4: rolling-origin evaluation

Konsep. Satu pembagian bisa kebetulan mudah atau sulit. Evaluasi diulang dari beberapa titik asal dengan jendela latih yang membesar.

splitting_eval.py
# 4. Rolling-origin (expanding window): prediksi 12 bulan ke depan dari beberapa titik asal
print("\nRolling origin, seasonal naive, horizon 12 bulan")
print("asal (data latih s.d.)   MAE")
maes = []
for end in range(len(y) - 12 - 5 * 12, len(y) - 11, 12):  # 6 titik asal, mundur tiap 12 bulan
    tr, te = y.iloc[:end], y.iloc[end:end + 12]
    m = mae(te, seasonal_naive(tr, 12))
    maes.append(m)
    print(f"{tr.index[-1].strftime('%Y-%m')}                  {m:.2f}")
print("rata-rata MAE: %.2f (+/- %.2f)" % (np.mean(maes), np.std(maes)))
Kode Penjelasan
range(len(y) - 12 - 5 * 12, len(y) - 11, 12) Enam titik asal berjarak 12 bulan, yang terakhir menyisakan tepat 12 bulan untuk diuji. end adalah jumlah data latih.
tr, te = y.iloc[:end], y.iloc[end:end + 12] Latih pada awal sampai end; uji pada 12 bulan sesudahnya (horizon 12).
maes.append(m) Menyimpan MAE tiap titik asal.
Rolling origin, seasonal naive, horizon 12 bulan
asal (data latih s.d.)   MAE
1995-12                  1.76
1996-12                  1.11
1997-12                  2.91
1998-12                  1.61
1999-12                  1.14
2000-12                  1.49
rata-rata MAE: 1.67 (+/- 0.60)

Interpretasi. MAE per asal 1,76; 1,11; 2,91; 1,61; 1,14; 1,49; rata-rata 1,67 (± 0,60). Galat bergantung pada titik asal: asal 1997-12 (2,91) hampir tiga kali asal 1996-12 (1,11). Karena itu satu pembagian saja tidak cukup untuk menilai metode.

Program lengkap (splitting_eval.py)
splitting_eval.py
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import KFold

from forecast_utils import mae, mase, rmse, seasonal_naive, smape, load_co2_monthly

y = load_co2_monthly()

# 1. Split kronologis: latih -> validasi -> uji, tanpa diacak
test, valid, train = y.iloc[-24:], y.iloc[-48:-24], y.iloc[:-48]
for name, part in [("latih", train), ("validasi", valid), ("uji", test)]:
    print(f"{name:<9}: {part.index[0].strftime('%Y-%m')} s.d. {part.index[-1].strftime('%Y-%m')} ({len(part)} bulan)")

# 2. Mengapa tidak boleh diacak: model berbasis pohon pada fitur lag
lags = pd.DataFrame({f"lag_{k}": y.shift(k) for k in [1, 2, 3, 12]})
data = lags.assign(target=y).dropna()
X_all, y_all = data.drop(columns="target"), data["target"]


def rf():
    return RandomForestRegressor(n_estimators=200, random_state=42)


# (a) validasi silang acak (SALAH untuk deret waktu)
errs = []
for tr, te in KFold(5, shuffle=True, random_state=42).split(X_all):
    errs.append(rmse(y_all.iloc[te], rf().fit(X_all.iloc[tr], y_all.iloc[tr]).predict(X_all.iloc[te])))
print("\nRMSE Random Forest, KFold acak          : %.2f ppm" % np.mean(errs))

# (b) evaluasi kronologis: latih sebelum 1998, uji 24 bulan setelahnya (prediksi satu langkah)
cut = len(X_all) - 48
model = rf().fit(X_all.iloc[:cut], y_all.iloc[:cut])
pred = model.predict(X_all.iloc[cut:cut + 24])
print("RMSE Random Forest, kronologis (validasi): %.2f ppm" % rmse(y_all.iloc[cut:cut + 24], pred))
print("Rentang target latih: %.1f - %.1f | rentang target validasi: %.1f - %.1f" % (
    y_all.iloc[:cut].min(), y_all.iloc[:cut].max(), y_all.iloc[cut:cut + 24].min(), y_all.iloc[cut:cut + 24].max()))

# 3. Metrik pada prediksi seasonal naive untuk data validasi
pred_sn = seasonal_naive(train, 24)
print("\nSeasonal naive pada validasi -> MAE %.2f | RMSE %.2f | sMAPE %.3f%% | MASE %.2f" % (
    mae(valid, pred_sn), rmse(valid, pred_sn), smape(valid, pred_sn), mase(valid, pred_sn, train)))

# 4. Rolling-origin (expanding window): prediksi 12 bulan ke depan dari beberapa titik asal
print("\nRolling origin, seasonal naive, horizon 12 bulan")
print("asal (data latih s.d.)   MAE")
maes = []
for end in range(len(y) - 12 - 5 * 12, len(y) - 11, 12):  # 6 titik asal, mundur tiap 12 bulan
    tr, te = y.iloc[:end], y.iloc[end:end + 12]
    m = mae(te, seasonal_naive(tr, 12))
    maes.append(m)
    print(f"{tr.index[-1].strftime('%Y-%m')}                  {m:.2f}")
print("rata-rata MAE: %.2f (+/- %.2f)" % (np.mean(maes), np.std(maes)))

Kesalahan umum

Hindari

  • Memakai train_test_split atau KFold acak pada deret waktu.
  • Memilih model dengan data uji lalu melaporkan skor yang sama.
  • Membandingkan model pada horizon yang berbeda.
  • Memakai MAPE pada nilai yang dapat nol.
  • Tidak membandingkan dengan baseline naive/seasonal naive.

Latihan

  1. Ubah horizon rolling origin menjadi 6 dan 24 bulan. Bagaimana MAE seasonal naive berubah?
  2. Gunakan TimeSeriesSplit(n_splits=5) dari scikit-learn dan bandingkan skor.
  3. Ulangi demonstrasi KFold acak dengan model linear (bukan pohon). Apakah selisihnya masih besar?

Ringkasan

Bagi data secara kronologis, jangan mengacak, dan gunakan rolling origin untuk estimasi yang lebih andal. Gunakan MAE/RMSE bersama MASE (dan sMAPE) dibanding baseline musiman.

Berikutnya: Baseline, Moving Average, dan Exponential Smoothing.