Lewati ke isi

Data Deret Waktu dan EDA

Gambaran singkat

Apa ini? Cara memeriksa data deret waktu: indeks waktu, tanggal yang hilang, mengubah frekuensi, dan melihat pola awal.

Analogi

Sebelum membaca catatan harian suhu, Anda cek dulu apakah ada hari yang terlewat dan apakah tanggalnya urut.

Mengapa penting? Tanggal yang hilang atau berantakan merusak lag dan validasi. EDA yang tepat menjaga semua langkah berikutnya benar.

Yang akan dipelajari, berurutan:

  1. Memeriksa frekuensi dan rentang indeks waktu.
  2. Membedakan tanggal hilang dari nilai hilang (NaN).
  3. Mengubah frekuensi dengan resample.
  4. EDA khas deret waktu: tren, musiman, laju pertumbuhan.

Istilah awal:

Istilah Arti sederhana
Resample Mengubah frekuensi, misalnya mingguan menjadi bulanan
Indeks waktu Kolom tanggal yang menjadi penanda baris
NaN Nilai kosong

Tujuan pembelajaran

  • Memeriksa indeks waktu: frekuensi, rentang, dan timestamp yang hilang.
  • Membedakan timestamp hilang dari nilai hilang (NaN) dan menanganinya.
  • Mengagregasi (resample) deret ke frekuensi lain.
  • Melakukan EDA khas deret waktu: tren, pola musiman, dan laju pertumbuhan.

Dataset: CO2 Mauna Loa

  • Sumber dan akses: konsentrasi CO2 atmosfer mingguan di Mauna Loa, Hawaii (ppm), Maret 1958–Desember 2001, dibundel dengan statsmodels (statsmodels.datasets.co2), tanpa unduhan. Kutipan dari dokumentasi dataset: Keeling, C.D. dan T.P. Whorf (2004), Atmospheric CO2 concentrations derived from flask air samples at sites in the SIO network, Carbon Dioxide Information Analysis Center, Oak Ridge National Laboratory. Dokumentasi statsmodels menyatakan data ini domain publik.
  • Isi: 2284 baris mingguan satu variabel (co2), indeks tanggal.
  • Batasan: berhenti pada 2001; deret fisik yang halus dengan tren dan musiman yang sangat jelas, jadi lebih mudah diprediksi daripada banyak deret bisnis. Dipakai sebagai alat belajar.

Fungsi bantu forecast_utils.py (memuat data bulanan dan menghitung metrik) dipakai di seluruh bab ini.

Kode fungsi bantu (forecast_utils.py)
forecast_utils.py
"""Fungsi bantu untuk bab Forecasting: memuat data CO2 bulanan dan menghitung metrik.

Data: konsentrasi CO2 atmosfer mingguan di Mauna Loa (1958-2001), dibundel dengan
statsmodels (domain publik). Kutipan: Keeling, C.D. dan T.P. Whorf (2004).
"""
import numpy as np
import pandas as pd
from statsmodels.datasets import co2

SEASON = 12  # periode musiman data bulanan


def load_co2_monthly():
    """Rata-rata bulanan CO2 (ppm), indeks bulanan 'MS'.

    Ada 5 bulan tanpa data (semuanya sebelum 1965). Karena berada jauh di dalam
    data latih, bulan itu diisi dengan interpolasi berbasis waktu.
    """
    weekly = co2.load_pandas().data["co2"]
    monthly = weekly.resample("MS").mean()
    return monthly.interpolate(method="time").rename("co2")


def mae(y_true, y_pred):
    return float(np.mean(np.abs(np.asarray(y_true) - np.asarray(y_pred))))


def rmse(y_true, y_pred):
    return float(np.sqrt(np.mean((np.asarray(y_true) - np.asarray(y_pred)) ** 2)))


def smape(y_true, y_pred):
    y_true, y_pred = np.asarray(y_true), np.asarray(y_pred)
    return float(np.mean(2 * np.abs(y_true - y_pred) / (np.abs(y_true) + np.abs(y_pred))) * 100)


def mase(y_true, y_pred, y_train, m=SEASON):
    """MASE: MAE dibagi MAE seasonal-naive pada DATA LATIH (1.0 = sama dengan seasonal naive)."""
    y_train = np.asarray(y_train)
    scale = np.mean(np.abs(y_train[m:] - y_train[:-m]))
    return mae(y_true, y_pred) / float(scale)


def seasonal_naive(train, horizon, m=SEASON):
    """Prediksi = nilai pada musim yang sama tahun lalu (diulang bila horizon > m)."""
    last_season = np.asarray(train)[-m:]
    return np.resize(last_season, horizon)

Pemeriksaan data langkah demi langkah

Program examples/forecasting/co2_eda.py; program lengkap ada di akhir bagian ini.

Langkah 1: struktur waktu

Tujuan. Memastikan indeks berupa tanggal, urut, dan berjarak teratur.

co2_eda.py
from pathlib import Path

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from statsmodels.datasets import co2

OUT = Path("docs/assets/img/forecasting")
OUT.mkdir(parents=True, exist_ok=True)

weekly = co2.load_pandas().data["co2"]

# 1. Struktur waktu: indeks, frekuensi, rentang
print("rentang:", weekly.index.min().date(), "-", weekly.index.max().date(), "| jumlah baris:", len(weekly))
print("selisih antar-tanggal (hari):", weekly.index.to_series().diff().dt.days.dropna().unique().tolist())
Kode Penjelasan
co2.load_pandas().data["co2"] Memuat dataset bawaan statsmodels sebagai DataFrame dan mengambil kolom co2 sebagai Series berindeks tanggal.
weekly.index.min().date() Tanggal paling awal dan paling akhir pada indeks.
weekly.index.to_series().diff().dt.days.dropna().unique() Mengubah indeks menjadi Series, menghitung selisih antar-tanggal (diff()), mengambil jumlah hari (.dt.days), dan melihat nilai yang berbeda (unique()).
rentang: 1958-03-29 - 2001-12-29 | jumlah baris: 2284
selisih antar-tanggal (hari): [7.0]

Hasil. Data berawal 1958-03-29 dan berakhir 2001-12-29 dengan 2284 baris; setiap baris berjarak tepat 7 hari, jadi frekuensinya mingguan dan teratur.

Langkah 2: nilai hilang (NaN)

co2_eda.py
# 2. Nilai hilang (NaN) pada deret mingguan
print("\nnilai hilang mingguan:", int(weekly.isna().sum()))
print("per dekade:", weekly[weekly.isna()].groupby(weekly[weekly.isna()].index.year // 10 * 10).size().to_dict())

weekly.isna().sum() menghitung nilai kosong. Baris kedua mengelompokkan nilai kosong menurut dekade: index.year // 10 * 10 membulatkan tahun ke dekade (1958 → 1950), lalu .size() menghitung jumlah per kelompok.

nilai hilang mingguan: 59
per dekade: {1950: 19, 1960: 34, 1970: 1, 1980: 5}

Hasil. 59 nilai mingguan kosong, sebagian besar pada 1958–1964, satu pada 1970-an, dan lima pada 1980-an. Tanggalnya ada, hanya nilainya kosong.

Langkah 3: timestamp hilang berbeda dari nilai hilang

Konsep. Timestamp hilang berarti barisnya tidak ada sama sekali, sehingga lag "satu langkah sebelumnya" tidak lagi berarti satu minggu. Untuk memperagakannya, tiga baris dihapus secara sengaja (simulasi buatan).

co2_eda.py
# 3. Timestamp yang hilang berbeda dengan nilai NaN. Simulasi (BUATAN): hapus 3 baris, lalu deteksi.
gappy = weekly.drop(weekly.index[[100, 101, 500]])
full_index = pd.date_range(gappy.index.min(), gappy.index.max(), freq="7D")
missing_ts = full_index.difference(gappy.index)
print("\n[simulasi] timestamp hilang terdeteksi:", [d.date().isoformat() for d in missing_ts])
print("setelah asfreq -> baris:", len(gappy.asfreq("7D")), "| NaN baru:", int(gappy.asfreq("7D").isna().sum() - gappy.isna().sum()))
Kode Penjelasan
weekly.drop(weekly.index[[100, 101, 500]]) Menghapus tiga baris pada posisi 100, 101, dan 500.
pd.date_range(min, max, freq="7D") Membangun indeks lengkap tiap 7 hari dari tanggal awal ke akhir.
full_index.difference(gappy.index) Tanggal yang ada di indeks lengkap tetapi tidak di data = tanggal yang hilang.
gappy.asfreq("7D") Memaksa deret memiliki frekuensi 7 hari: baris yang hilang ditambahkan dengan nilai NaN.
[simulasi] timestamp hilang terdeteksi: ['1960-02-27', '1960-03-05', '1967-10-28']
setelah asfreq -> baris: 2284 | NaN baru: 3

Hasil. Ketiga tanggal hilang terdeteksi (1960-02-27, 1960-03-05, 1967-10-28), dan asfreq mengembalikan 2284 baris dengan 3 NaN baru. Selalu periksa timestamp dan nilai hilang sebelum memodelkan.

Langkah 4: agregasi bulanan dan mengisi bulan kosong

co2_eda.py
# 4. Agregasi ke bulanan dan penanganan bulan tanpa data
monthly_raw = weekly.resample("MS").mean()
print("\nbulan tanpa data:", [d.strftime("%Y-%m") for d in monthly_raw[monthly_raw.isna()].index])
linear = monthly_raw.interpolate(method="time")
ffill = monthly_raw.ffill()
gap = monthly_raw[monthly_raw.isna()].index[2:]  # tiga bulan beruntun 1964
print("bulan 1964 terisi -> interpolasi waktu:", linear[gap].round(2).tolist(), "| ffill:", ffill[gap].round(2).tolist())
Kode Penjelasan
weekly.resample("MS").mean() Mengelompokkan data mingguan per bulan (MS = awal bulan) dan merata-ratakannya. Bulan yang seluruh minggunya kosong menjadi NaN.
interpolate(method="time") Mengisi NaN dengan interpolasi linear menurut jarak waktu antara titik sebelum dan sesudahnya.
ffill() Forward fill: menyalin nilai valid terakhir ke depan.
bulan tanpa data: ['1958-06', '1958-10', '1964-02', '1964-03', '1964-04']
bulan 1964 terisi -> interpolasi waktu: [320.07, 320.69, 321.36] | ffill: [319.4, 319.4, 319.4]

Interpretasi. Terdapat 5 bulan tanpa data: 1958-06, 1958-10, dan 1964-02 sampai 1964-04. Interpolasi waktu mengisi tiga bulan 1964 dengan 320,07, 320,69, 321,36 ppm (mengikuti tren), sedangkan ffill menyalin 319,4 untuk ketiganya sehingga menghasilkan "datar buatan" yang mengabaikan tren dan musim. Interpolasi memakai nilai sebelum dan sesudah celah. Itu aman di sini karena semua celah berada jauh di dalam data latih; untuk celah di dekat data uji atau pada saat prediksi, hanya boleh memakai nilai masa lalu (ffill) atau metode yang tidak melihat ke depan.

Langkah 5: ringkasan pola (tren dan musiman)

co2_eda.py
# 5. Ringkasan pola
m = linear
annual = m.groupby(m.index.year).mean()
print("\nrata-rata 1960: %.1f | 1980: %.1f | 2000: %.1f ppm" % (annual[1960], annual[1980], annual[2000]))
print("kenaikan rata-rata per tahun 1960-1980: %.2f | 1980-2000: %.2f" % (
    (annual[1980] - annual[1960]) / 20, (annual[2000] - annual[1980]) / 20))
detr = m - m.groupby(m.index.year).transform("mean")
seasonal_profile = detr.groupby(detr.index.month).mean()
print("bulan puncak: %d (%.1f ppm) | bulan terendah: %d (%.1f ppm)" % (
    seasonal_profile.idxmax(), seasonal_profile.max(), seasonal_profile.idxmin(), seasonal_profile.min()))
Kode Penjelasan
m.groupby(m.index.year).mean() Rata-rata per tahun.
(annual[1980] - annual[1960]) / 20 Kenaikan rata-rata per tahun antara 1960 dan 1980.
m.groupby(m.index.year).transform("mean") Rata-rata tahunan dari tiap bulan, dijajarkan ke bentuk data bulanan; m - ... menghasilkan selisih terhadap rata-rata tahunnya (menghilangkan tren antar-tahun).
detr.groupby(detr.index.month).mean() Rata-rata selisih itu untuk tiap bulan kalender = pola musiman rata-rata.
rata-rata 1960: 316.9 | 1980: 338.6 | 2000: 369.4 ppm
kenaikan rata-rata per tahun 1960-1980: 1.09 | 1980-2000: 1.54
bulan puncak: 5 (2.7 ppm) | bulan terendah: 9 (-2.8 ppm)

Interpretasi. Rata-rata tahunan 316,9 ppm (1960), 338,6 (1980), 369,4 (2000); kenaikan rata-rata 1,09 ppm per tahun pada 1960–1980 dan 1,54 pada 1980–2000, yaitu tren yang menanjak. Pola musiman: puncak pada Mei (+2,7 ppm dari rata-rata tahunan) dan lembah pada September (-2,8 ppm).

Langkah 6: gambar

co2_eda.py
# 6. Gambar
fig, axes = plt.subplots(1, 2, figsize=(11, 3.8))
axes[0].plot(m, lw=1)
axes[0].set(title="CO2 bulanan di Mauna Loa", ylabel="ppm")
axes[1].bar(seasonal_profile.index, seasonal_profile.values)
axes[1].set(title="Pola musiman rata-rata (selisih terhadap rata-rata tahunan)", xlabel="bulan", ylabel="ppm")
fig.tight_layout()
fig.savefig(OUT / "co2-eda.png", dpi=130)
print("\nGambar tersimpan:", (OUT / "co2-eda.png").as_posix())

Dua grafik: CO2 bulanan naik dengan gelombang tahunan; batang pola musiman rata-rata dengan puncak sekitar bulan 5 dan lembah sekitar bulan 9 dan 10

Cara membaca. Kiri: sumbu-x tahun, sumbu-y konsentrasi CO2 (ppm); garis naik dengan gelombang kecil berulang tiap tahun (tren plus musiman). Kanan: sumbu-x bulan 1–12, sumbu-y selisih terhadap rata-rata tahunan; batang positif di musim semi (puncak sekitar Mei), negatif di akhir musim panas dan awal musim gugur (lembah sekitar September–Oktober).

Program lengkap (co2_eda.py)
co2_eda.py
from pathlib import Path

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from statsmodels.datasets import co2

OUT = Path("docs/assets/img/forecasting")
OUT.mkdir(parents=True, exist_ok=True)

weekly = co2.load_pandas().data["co2"]

# 1. Struktur waktu: indeks, frekuensi, rentang
print("rentang:", weekly.index.min().date(), "-", weekly.index.max().date(), "| jumlah baris:", len(weekly))
print("selisih antar-tanggal (hari):", weekly.index.to_series().diff().dt.days.dropna().unique().tolist())

# 2. Nilai hilang (NaN) pada deret mingguan
print("\nnilai hilang mingguan:", int(weekly.isna().sum()))
print("per dekade:", weekly[weekly.isna()].groupby(weekly[weekly.isna()].index.year // 10 * 10).size().to_dict())

# 3. Timestamp yang hilang berbeda dengan nilai NaN. Simulasi (BUATAN): hapus 3 baris, lalu deteksi.
gappy = weekly.drop(weekly.index[[100, 101, 500]])
full_index = pd.date_range(gappy.index.min(), gappy.index.max(), freq="7D")
missing_ts = full_index.difference(gappy.index)
print("\n[simulasi] timestamp hilang terdeteksi:", [d.date().isoformat() for d in missing_ts])
print("setelah asfreq -> baris:", len(gappy.asfreq("7D")), "| NaN baru:", int(gappy.asfreq("7D").isna().sum() - gappy.isna().sum()))

# 4. Agregasi ke bulanan dan penanganan bulan tanpa data
monthly_raw = weekly.resample("MS").mean()
print("\nbulan tanpa data:", [d.strftime("%Y-%m") for d in monthly_raw[monthly_raw.isna()].index])
linear = monthly_raw.interpolate(method="time")
ffill = monthly_raw.ffill()
gap = monthly_raw[monthly_raw.isna()].index[2:]  # tiga bulan beruntun 1964
print("bulan 1964 terisi -> interpolasi waktu:", linear[gap].round(2).tolist(), "| ffill:", ffill[gap].round(2).tolist())

# 5. Ringkasan pola
m = linear
annual = m.groupby(m.index.year).mean()
print("\nrata-rata 1960: %.1f | 1980: %.1f | 2000: %.1f ppm" % (annual[1960], annual[1980], annual[2000]))
print("kenaikan rata-rata per tahun 1960-1980: %.2f | 1980-2000: %.2f" % (
    (annual[1980] - annual[1960]) / 20, (annual[2000] - annual[1980]) / 20))
detr = m - m.groupby(m.index.year).transform("mean")
seasonal_profile = detr.groupby(detr.index.month).mean()
print("bulan puncak: %d (%.1f ppm) | bulan terendah: %d (%.1f ppm)" % (
    seasonal_profile.idxmax(), seasonal_profile.max(), seasonal_profile.idxmin(), seasonal_profile.min()))

# 6. Gambar
fig, axes = plt.subplots(1, 2, figsize=(11, 3.8))
axes[0].plot(m, lw=1)
axes[0].set(title="CO2 bulanan di Mauna Loa", ylabel="ppm")
axes[1].bar(seasonal_profile.index, seasonal_profile.values)
axes[1].set(title="Pola musiman rata-rata (selisih terhadap rata-rata tahunan)", xlabel="bulan", ylabel="ppm")
fig.tight_layout()
fig.savefig(OUT / "co2-eda.png", dpi=130)
print("\nGambar tersimpan:", (OUT / "co2-eda.png").as_posix())

Praproses deret waktu: aturan

  1. Pastikan indeks bertipe DatetimeIndex, terurut, tanpa duplikat, dan memiliki frekuensi tetap.
  2. Tangani nilai dan timestamp hilang dengan cara yang tidak memakai informasi masa depan relatif terhadap titik prediksi.
  3. Jangan imputasi acak atau memakai rata-rata global; gunakan interpolasi atau pengisian yang mempertimbangkan waktu.
  4. Agregasi ke frekuensi yang sesuai dengan keputusan bisnis (harian vs bulanan).
  5. Periksa outlier dan perubahan struktural (lonjakan, perubahan definisi data).

Kesalahan umum

Hindari

  • Mengisi nilai hilang memakai statistik seluruh deret (termasuk masa depan).
  • Mengacak urutan sebelum EDA atau pemodelan.
  • Membiarkan timestamp hilang sehingga lag tidak lagi berarti "bulan lalu".
  • Mengabaikan perubahan frekuensi atau zona waktu.

Latihan

  1. Hitung rata-rata CO2 per bulan untuk 1990-an dan bandingkan dengan 1960-an. Apakah amplitudo musimannya berubah?
  2. Isi bulan yang hilang dengan ffill lalu bandingkan MAE seasonal naive (lihat lesson validasi) terhadap interpolasi.
  3. Hitung weekly.resample("QS").mean() dan bandingkan dengan agregasi bulanan.

Ringkasan

EDA deret waktu memeriksa indeks, celah, pola tren, dan musiman. Tangani nilai hilang dengan metode yang sadar waktu dan tidak membocorkan masa depan.

Berikutnya: Fitur Waktu dan Lag.