Lewati ke isi

Horizon dan Interval Prediksi

Gambaran singkat

Apa ini? Menunjukkan bahwa ramalan makin tidak pasti saat makin jauh ke depan, dan cara menyatakan ketidakpastian itu.

Analogi

Ramalan cuaca besok lebih akurat daripada ramalan bulan depan. Prakiraan yang jujur juga menyebut rentangnya, bukan hanya satu angka.

Mengapa penting? Keputusan bisnis bergantung pada seberapa jauh ke depan kita meramal, dan rentang kemungkinan membantu menilai risiko.

Yang akan dipelajari, berurutan:

  1. Pengaruh horizon pada besar galat.
  2. Evaluasi dari banyak titik asal (rolling origin).
  3. Mengukur seberapa sering nilai nyata jatuh di dalam interval.

Istilah awal:

Istilah Arti sederhana
Horizon Berapa langkah ke depan yang diramal
Interval prediksi Rentang kemungkinan nilai masa depan
Cakupan empiris Persentase nilai nyata yang jatuh di dalam interval

Tujuan pembelajaran

  • Menjelaskan bagaimana galat bergantung pada horizon prediksi.
  • Mengevaluasi model dengan banyak titik asal (rolling origin).
  • Mengukur cakupan empiris interval prediksi.

Horizon

Horizon \(h\) adalah berapa langkah ke depan yang diprediksi. Semakin jauh, semakin tidak pasti. Kebutuhan bisnis menentukan horizon (stok bulan depan vs rencana tahun depan), dan model dapat unggul pada satu horizon namun tidak pada yang lain. Karena itu galat harus dilaporkan per horizon, bukan satu angka rata-rata saja.

Implementasi langkah demi langkah

Delapan titik asal (data latih berakhir 1993-12, 1994-12, ..., 2000-12), horizon 12 bulan, tiga metode: seasonal naive, Holt-Winters aditif, dan SARIMA(1,1,1)(0,1,1,12). Tiap prediksi hanya memakai data sampai titik asalnya. Program examples/forecasting/horizon_intervals.py; program lengkap ada di akhir bagian ini.

Langkah 1: menentukan titik asal

horizon_intervals.py
y = load_co2_monthly()
H = 12
# 8 titik asal (rolling origin, expanding window). Prediksi tiap asal TIDAK menyentuh data setelah asal itu.
origins = [len(y) - H - 12 * k for k in range(7, -1, -1)]  # asal paling awal -> paling akhir
print("titik asal (data latih s.d.):", y.index[origins[0] - 1].strftime("%Y-%m"), "...", y.index[origins[-1] - 1].strftime("%Y-%m"),
      "| jumlah:", len(origins))

origins adalah daftar jumlah data latih untuk tiap titik asal: len(y) - H - 12 * k dengan k dari 7 turun ke 0, sehingga titik asal pertama paling awal dan yang terakhir menyisakan tepat 12 bulan untuk dinilai. y.index[origins[0] - 1] adalah tanggal terakhir data latih pada titik asal pertama.

titik asal (data latih s.d.): 1993-12 ... 2000-12 | jumlah: 8

Hasil. Titik asal berentang dari 1993-12 sampai 2000-12, sebanyak 8.

Langkah 2: prediksi dari tiap titik asal

horizon_intervals.py
abs_err = {name: [] for name in ["Seasonal naive", "Holt-Winters", "SARIMA"]}
covered, width = [], []
for end in origins:
    train, actual = y.iloc[:end], y.iloc[end:end + H].to_numpy()
    abs_err["Seasonal naive"].append(np.abs(actual - seasonal_naive(train, H)))
    hw = ExponentialSmoothing(train, trend="add", seasonal="add", seasonal_periods=12,
                              initialization_method="estimated").fit().forecast(H).to_numpy()
    abs_err["Holt-Winters"].append(np.abs(actual - hw))
    fc = SARIMAX(train, order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False).get_forecast(H)
    abs_err["SARIMA"].append(np.abs(actual - fc.predicted_mean.to_numpy()))
    ci = fc.conf_int(alpha=0.05).to_numpy()
    covered.append((actual >= ci[:, 0]) & (actual <= ci[:, 1]))
    width.append(ci[:, 1] - ci[:, 0])
Kode Penjelasan
train, actual = y.iloc[:end], y.iloc[end:end + H] Latih sampai end; nilai sebenarnya 12 bulan berikutnya.
abs_err[...].append(np.abs(actual - prediksi)) Menyimpan galat mutlak per langkah (array 12 angka) untuk tiap metode.
.get_forecast(H) pada SARIMA Prediksi dengan interval; fc.predicted_mean titik, fc.conf_int(alpha=0.05) interval 95%.
covered.append((actual >= bawah) & (actual <= atas)) Array True/False per langkah: apakah nilai aktual berada di dalam interval.
width.append(atas - bawah) Lebar interval per langkah.

Langkah 3: galat menurut horizon

horizon_intervals.py
# 1. Galat menurut horizon (rata-rata atas titik asal)
print("\nMAE (ppm) menurut horizon, rata-rata %d titik asal" % len(origins))
table = pd.DataFrame({k: np.mean(v, axis=0) for k, v in abs_err.items()}, index=range(1, H + 1))
table.index.name = "horizon (bulan)"
print(table.loc[[1, 3, 6, 9, 12]].round(2).to_string())
print("rata-rata semua horizon:", table.mean().round(2).to_dict())

np.mean(v, axis=0) merata-ratakan galat atas titik asal (tiap langkah horizon dirata-ratakan sendiri), menghasilkan 12 angka per metode. Tabel ditampilkan hanya pada horizon 1, 3, 6, 9, 12 (table.loc[[...]]).

MAE (ppm) menurut horizon, rata-rata 8 titik asal
                 Seasonal naive  Holt-Winters  SARIMA
horizon (bulan)                                      
1                          1.69          0.25    0.25
3                          1.70          0.36    0.40
6                          1.70          0.52    0.47
9                          1.76          0.61    0.58
12                         1.78          0.68    0.57
rata-rata semua horizon: {'Seasonal naive': 1.73, 'Holt-Winters': 0.48, 'SARIMA': 0.46}

Interpretasi.

  • Seasonal naive: galat hampir konstan terhadap horizon (1,69 pada bulan ke-1; 1,78 pada bulan ke-12), karena ia tidak memanfaatkan data terbaru, hanya menyalin tahun lalu; galatnya lebih mencerminkan tren setahun yang terlewat.
  • Holt-Winters dan SARIMA: galat naik seiring horizon, dari 0,25 pada bulan ke-1 menjadi 0,68 (Holt-Winters) dan 0,57 (SARIMA) pada bulan ke-12. Rata-rata semua horizon: Holt-Winters 0,48; SARIMA 0,46; seasonal naive 1,73. Kedua metode terbaik sangat dekat; pada horizon pendek identik (0,25).

Langkah 4: lebar dan cakupan interval

horizon_intervals.py
# 2. Interval prediksi 95% SARIMA: lebar dan cakupan empiris
cov = np.mean(covered, axis=0)
print("\nInterval prediksi 95%% SARIMA: lebar rata-rata horizon 1: %.2f | horizon 12: %.2f ppm" % (
    np.mean(width, axis=0)[0], np.mean(width, axis=0)[-1]))
print("cakupan empiris (nominal 95%%): horizon 1-4: %.2f | 5-8: %.2f | 9-12: %.2f | keseluruhan: %.2f" % (
    cov[:4].mean(), cov[4:8].mean(), cov[8:].mean(), cov.mean()))

np.mean(covered, axis=0) memberi, untuk tiap langkah horizon, proporsi titik asal yang nilai aktualnya masuk interval. cov[:4].mean() merata-ratakan horizon 1–4, dan seterusnya. Cakupan empiris dibandingkan dengan target nominal 95%.

Interval prediksi 95% SARIMA: lebar rata-rata horizon 1: 1.20 | horizon 12: 2.47 ppm
cakupan empiris (nominal 95%): horizon 1-4: 1.00 | 5-8: 0.91 | 9-12: 0.88 | keseluruhan: 0.93

Interpretasi.

  • Interval 95% SARIMA melebar dari 1,20 ppm (bulan ke-1) ke 2,47 ppm (bulan ke-12).
  • Cakupan empiris (nominal 95%): 1,00 pada horizon 1–4, 0,91 pada 5–8, 0,88 pada 9–12, dan 0,93 keseluruhan (8 titik asal × 12 langkah = 96 prediksi). Pada horizon pendek intervalnya konservatif, pada horizon panjang agak terlalu sempit. Perhatikan bahwa 96 prediksi tidak independen (prediksi berurutan dari satu titik asal berkorelasi), sehingga ketidakpastian pada angka cakupan ini lebih besar daripada yang tampak.
  • Bandingkan dengan lesson sebelumnya: cakupan 54% pada satu titik asal dengan horizon 24 bulan jauh lebih rendah daripada 93% di sini (horizon 12, delapan asal). Dua temuan itu tidak bertentangan: horizon yang lebih panjang dan satu asal saja memang lebih sulit. Intinya, cakupan perlu dievaluasi pada horizon dan titik asal yang sesuai dengan kegunaan.
Program lengkap (horizon_intervals.py)
horizon_intervals.py
import warnings

import numpy as np
import pandas as pd
from statsmodels.tsa.holtwinters import ExponentialSmoothing
from statsmodels.tsa.statespace.sarimax import SARIMAX

from forecast_utils import seasonal_naive, load_co2_monthly

warnings.filterwarnings("ignore")

y = load_co2_monthly()
H = 12
# 8 titik asal (rolling origin, expanding window). Prediksi tiap asal TIDAK menyentuh data setelah asal itu.
origins = [len(y) - H - 12 * k for k in range(7, -1, -1)]  # asal paling awal -> paling akhir
print("titik asal (data latih s.d.):", y.index[origins[0] - 1].strftime("%Y-%m"), "...", y.index[origins[-1] - 1].strftime("%Y-%m"),
      "| jumlah:", len(origins))

abs_err = {name: [] for name in ["Seasonal naive", "Holt-Winters", "SARIMA"]}
covered, width = [], []
for end in origins:
    train, actual = y.iloc[:end], y.iloc[end:end + H].to_numpy()
    abs_err["Seasonal naive"].append(np.abs(actual - seasonal_naive(train, H)))
    hw = ExponentialSmoothing(train, trend="add", seasonal="add", seasonal_periods=12,
                              initialization_method="estimated").fit().forecast(H).to_numpy()
    abs_err["Holt-Winters"].append(np.abs(actual - hw))
    fc = SARIMAX(train, order=(1, 1, 1), seasonal_order=(0, 1, 1, 12)).fit(disp=False).get_forecast(H)
    abs_err["SARIMA"].append(np.abs(actual - fc.predicted_mean.to_numpy()))
    ci = fc.conf_int(alpha=0.05).to_numpy()
    covered.append((actual >= ci[:, 0]) & (actual <= ci[:, 1]))
    width.append(ci[:, 1] - ci[:, 0])

# 1. Galat menurut horizon (rata-rata atas titik asal)
print("\nMAE (ppm) menurut horizon, rata-rata %d titik asal" % len(origins))
table = pd.DataFrame({k: np.mean(v, axis=0) for k, v in abs_err.items()}, index=range(1, H + 1))
table.index.name = "horizon (bulan)"
print(table.loc[[1, 3, 6, 9, 12]].round(2).to_string())
print("rata-rata semua horizon:", table.mean().round(2).to_dict())

# 2. Interval prediksi 95% SARIMA: lebar dan cakupan empiris
cov = np.mean(covered, axis=0)
print("\nInterval prediksi 95%% SARIMA: lebar rata-rata horizon 1: %.2f | horizon 12: %.2f ppm" % (
    np.mean(width, axis=0)[0], np.mean(width, axis=0)[-1]))
print("cakupan empiris (nominal 95%%): horizon 1-4: %.2f | 5-8: %.2f | 9-12: %.2f | keseluruhan: %.2f" % (
    cov[:4].mean(), cov[4:8].mean(), cov[8:].mean(), cov.mean()))

Kesalahan umum

Hindari

  • Melaporkan satu MAE tanpa menyebut horizonnya.
  • Mengira interval 95% otomatis mencakup 95% kenyataan.
  • Mengevaluasi horizon panjang dengan data yang terlalu pendek.
  • Memakai prediksi 1-langkah untuk menilai kebutuhan peramalan 12 bulan.

Latihan

  1. Ubah H menjadi 6 dan 24. Bagaimana tabel galat dan cakupan berubah?
  2. Ganti interval menjadi 80% (alpha=0.2) dan hitung cakupannya.
  3. Tambahkan jumlah titik asal menjadi 12. Apakah kesimpulan Holt-Winters vs SARIMA berubah?

Ringkasan

Galat tumbuh dengan horizon, jadi laporkan per horizon. Gunakan banyak titik asal dan periksa cakupan interval prediksi secara empiris sebelum memakainya untuk keputusan.

Berikutnya: Perbandingan dan Optimasi Model.