Validasi Kronologis dan Metrik Forecasting¶
Gambaran singkat¶
Apa ini? Cara membagi dan menguji data deret waktu dengan benar: kronologis, dan tidak boleh diacak.
Analogi
Anda tidak boleh "mengintip" skor besok untuk menebak skor kemarin. Latihan harus memakai masa lalu, ujian memakai masa depan.
Mengapa penting? Validasi silang acak membocorkan masa depan ke data latih sehingga skor tampak bagus tetapi palsu.
Yang akan dipelajari, berurutan:
- Pembagian kronologis: latih, validasi, uji.
- Mengapa validasi silang acak menyesatkan.
- Rolling-origin evaluation.
- Metrik MAE, RMSE, sMAPE, dan MASE.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Rolling origin | Menguji berulang dengan titik awal prediksi yang bergeser maju |
| sMAPE | Persentase galat simetris |
| MASE | Galat dibanding galat metode naive; di bawah 1 berarti lebih baik |
| Kebocoran | Data masa depan ikut dipakai saat belajar |
Tujuan pembelajaran¶
- Membagi deret waktu secara kronologis menjadi latih, validasi, dan uji.
- Menjelaskan mengapa validasi silang acak menyesatkan pada deret waktu.
- Memakai rolling-origin evaluation.
- Menghitung dan menafsirkan MAE, RMSE, sMAPE, dan MASE.
Pembagian kronologis¶
Pada forecasting, model dilatih pada masa lalu dan diuji pada masa depan relatif terhadap data latih:
Data tidak pernah diacak. Data uji adalah bagian paling akhir dan dipakai satu kali. Untuk model akhir, data latih dan validasi biasanya digabung lalu dilatih ulang sebelum memprediksi data uji.
Rolling-origin evaluation¶
Satu pembagian saja bisa kebetulan mudah atau sulit. Rolling origin mengulangi evaluasi dari beberapa titik asal: latih pada data sampai titik asal, prediksi horizon \(h\) langkah ke depan, lalu geser titik asal (jendela latih membesar, expanding window) dan ulangi. Hasilnya adalah beberapa skor yang dirata-rata beserta sebarannya.
flowchart LR
A[Asal 1<br/>latih → prediksi] --> B[Asal 2<br/>latih lebih panjang → prediksi]
B --> C[Asal 3 ...]
Metrik¶
Dengan nilai sebenarnya \(y_t\), prediksi \(\hat{y}_t\), dan \(n\) titik evaluasi:
Penyebut MASE adalah MAE metode seasonal naive (periode \(m\)) pada data latih sepanjang \(N\) titik. MASE tanpa satuan, sehingga dapat dibandingkan antar deret; MASE di bawah 1 berarti galat lebih kecil daripada galat tipikal prediksi seasonal naive dalam sampel. MAPE biasa bermasalah bila nilai sebenarnya mendekati nol; MASE dan sMAPE lebih aman.
Implementasi langkah demi langkah¶
Memakai CO2 bulanan (Data dan EDA). Program examples/forecasting/splitting_eval.py; program lengkap ada di akhir bagian ini.
Langkah 1: pembagian kronologis¶
Tujuan. Membagi deret menjadi tiga bagian berurutan tanpa mengacak.
| Kode | Penjelasan |
|---|---|
y.iloc[-24:] |
24 baris terakhir (indeks negatif menghitung dari belakang) = data uji. |
y.iloc[-48:-24] |
24 baris sebelumnya = data validasi. |
y.iloc[:-48] |
Seluruh baris sebelum itu = data latih. |
part.index[0].strftime('%Y-%m') |
Mengubah tanggal pertama bagian itu menjadi teks tahun-bulan. |
latih : 1958-03 s.d. 1997-12 (478 bulan)
validasi : 1998-01 s.d. 1999-12 (24 bulan)
uji : 2000-01 s.d. 2001-12 (24 bulan)
Hasil. Latih 478 bulan (1958-03 s.d. 1997-12), validasi 24 bulan (1998–1999), uji 24 bulan (2000–2001): selalu "masa lalu → masa depan".
Langkah 2: mengapa tidak boleh diacak¶
Konsep. Untuk memperlihatkan efeknya, Random Forest dilatih pada fitur lag (nilai 1, 2, 3, dan 12 bulan lalu) dan dinilai dengan dua cara: validasi silang acak dan evaluasi kronologis.
| Kode | Penjelasan |
|---|---|
pd.DataFrame({f"lag_{k}": y.shift(k) for k in [1, 2, 3, 12]}) |
Tabel fitur lag (shift(k) menggeser deret k bulan; lihat Fitur Waktu dan Lag). Dibuat dengan dictionary comprehension. |
lags.assign(target=y).dropna() |
Menambahkan kolom target (level CO2) dan membuang baris awal yang kosong. |
KFold(5, shuffle=True, ...).split(X_all) |
(a) Pembagian acak: baris dibagi acak ke 5 lipatan. |
cut = len(X_all) - 48 lalu iloc[:cut] vs iloc[cut:cut + 24] |
(b) Pembagian kronologis: latih pada awal, uji pada 24 bulan setelahnya. |
RMSE Random Forest, KFold acak : 0.64 ppm
RMSE Random Forest, kronologis (validasi): 2.56 ppm
Rentang target latih: 313.4 - 366.7 | rentang target validasi: 363.9 - 371.0
Interpretasi. RMSE Random Forest 0,64 ppm pada KFold acak, tetapi 2,56 ppm pada evaluasi kronologis: selisih empat kali lipat. Pada KFold acak, tiap bulan yang diuji dikelilingi bulan latih yang bertetangga di kedua sisi (model "menginterpolasi"). Pada evaluasi kronologis, model harus meramal masa depan: rentang target validasi (363,9–371,0) sebagian di atas nilai terbesar data latih (366,7), padahal pohon tidak dapat memprediksi di luar rentang yang pernah dilihatnya. Validasi silang acak memberi gambaran yang terlalu optimis.
Langkah 3: metrik forecasting¶
Konsep. Berikut metrik standar forecasting yang dihitung oleh fungsi bantu di forecast_utils.py (rumusnya ada di bagian Metrik di atas). Contoh memakai prediksi seasonal naive: nilai tiap bulan diprediksi sama dengan bulan yang sama setahun lalu.
| splitting_eval.py | |
|---|---|
seasonal_naive(train, 24) mengulang 12 nilai terakhir data latih untuk 24 bulan ke depan. Metrik dihitung terhadap valid (nilai sebenarnya).
Interpretasi. MAE 3,72; RMSE 3,83; sMAPE 1,017%; MASE 2,98. MASE ≈ 3 berarti galatnya sekitar tiga kali galat tahun-ke-tahun tipikal pada data latih (MAE tahun-ke-tahun data latih ≈ 1,25 ppm), karena tren terus naik dan prediksi hanya menyalin tahun lalu (pada tahun kedua horizon, prediksi tertinggal dua tahun).
Langkah 4: rolling-origin evaluation¶
Konsep. Satu pembagian bisa kebetulan mudah atau sulit. Evaluasi diulang dari beberapa titik asal dengan jendela latih yang membesar.
| Kode | Penjelasan |
|---|---|
range(len(y) - 12 - 5 * 12, len(y) - 11, 12) |
Enam titik asal berjarak 12 bulan, yang terakhir menyisakan tepat 12 bulan untuk diuji. end adalah jumlah data latih. |
tr, te = y.iloc[:end], y.iloc[end:end + 12] |
Latih pada awal sampai end; uji pada 12 bulan sesudahnya (horizon 12). |
maes.append(m) |
Menyimpan MAE tiap titik asal. |
Rolling origin, seasonal naive, horizon 12 bulan
asal (data latih s.d.) MAE
1995-12 1.76
1996-12 1.11
1997-12 2.91
1998-12 1.61
1999-12 1.14
2000-12 1.49
rata-rata MAE: 1.67 (+/- 0.60)
Interpretasi. MAE per asal 1,76; 1,11; 2,91; 1,61; 1,14; 1,49; rata-rata 1,67 (± 0,60). Galat bergantung pada titik asal: asal 1997-12 (2,91) hampir tiga kali asal 1996-12 (1,11). Karena itu satu pembagian saja tidak cukup untuk menilai metode.
Program lengkap (splitting_eval.py)
Kesalahan umum¶
Hindari
- Memakai
train_test_splitatauKFoldacak pada deret waktu. - Memilih model dengan data uji lalu melaporkan skor yang sama.
- Membandingkan model pada horizon yang berbeda.
- Memakai MAPE pada nilai yang dapat nol.
- Tidak membandingkan dengan baseline naive/seasonal naive.
Latihan¶
- Ubah horizon rolling origin menjadi 6 dan 24 bulan. Bagaimana MAE seasonal naive berubah?
- Gunakan
TimeSeriesSplit(n_splits=5)dari scikit-learn dan bandingkan skor. - Ulangi demonstrasi
KFoldacak dengan model linear (bukan pohon). Apakah selisihnya masih besar?
Ringkasan¶
Bagi data secara kronologis, jangan mengacak, dan gunakan rolling origin untuk estimasi yang lebih andal. Gunakan MAE/RMSE bersama MASE (dan sMAPE) dibanding baseline musiman.
Berikutnya: Baseline, Moving Average, dan Exponential Smoothing.