Lewati ke isi

Overfitting, Underfitting, dan Kebocoran Data

Gambaran singkat

Apa ini? Memahami dua kegagalan utama model (underfitting dan overfitting) dan kebocoran data yang membuat skor tampak palsu.

Analogi

Murid yang menghafal kunci jawaban (overfitting) dapat nilai sempurna di latihan tetapi gagal di soal baru. Murid yang belajar sekadarnya (underfitting) gagal di keduanya. Kebocoran adalah murid yang melihat soal ujian sebelumnya.

Mengapa penting? Ini sumber kesalahan paling umum di machine learning. Mengenalinya dari selisih skor latih dan uji menyelamatkan dari model yang gagal di dunia nyata.

Yang akan dipelajari, berurutan:

  1. Underfitting, overfitting, dan generalisasi.
  2. Mendiagnosis dari selisih skor latih dan uji.
  3. Mendemonstrasikan kebocoran data dan mencegahnya.

Istilah awal:

Istilah Arti sederhana
Underfitting Model terlalu sederhana
Overfitting Model menghafal derau data latih
Data leakage Informasi di luar data latih ikut memengaruhi pelatihan
Derau (noise) Variasi acak yang tidak berpola

Tujuan pembelajaran

  • Membedakan underfitting, overfitting, dan model yang menggeneralisasi dengan baik.
  • Mendiagnosis keduanya dari selisih skor latih dan uji.
  • Mendemonstrasikan kebocoran data (data leakage) dan cara mencegahnya.

Konsep dasar

  • Underfitting: model terlalu sederhana; skor buruk baik pada data latih maupun uji.
  • Overfitting: model terlalu kompleks; skor latih sangat tinggi tetapi skor uji jauh lebih rendah, karena model menghafal derau (noise).
  • Generalisasi: performa pada data baru; inilah yang sebenarnya ingin dicapai.
  • Data leakage: informasi dari luar data latih (data uji, masa depan, atau target) ikut memengaruhi pelatihan, sehingga skor tampak lebih baik daripada kenyataan.
Gejala Skor latih Skor uji Tindakan umum
Underfitting rendah rendah model lebih fleksibel, tambah fitur informatif, kurangi regularisasi
Cocok tinggi tinggi, dekat latih pertahankan
Overfitting sangat tinggi jauh lebih rendah sederhanakan model, regularisasi, tambah data, validasi silang

Implementasi langkah demi langkah

Skrip memuat tiga percobaan: (1) kedalaman pohon pada Breast Cancer (data publik bawaan scikit-learn), (2) regresi polinomial pada data sintetis \(y = \sin(2\pi x) + \text{noise}\), dan (3) kebocoran data pada data acak sintetis. Program lengkap ada di akhir bagian ini.

Percobaan 1: overfitting pada pohon keputusan

Tujuan. Melihat bagaimana skor latih dan skor uji berpisah ketika model dibuat makin kompleks.

overfitting_leakage.py
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LinearRegression, LogisticRegression
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.tree import DecisionTreeClassifier

SEED = 42

# ---------- 1. Overfitting pada klasifikasi: kedalaman pohon ----------
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=SEED
)

print("max_depth  akurasi_latih  akurasi_uji")
for depth in [1, 2, 3, 5, 10, None]:
    tree = DecisionTreeClassifier(max_depth=depth, random_state=SEED).fit(X_train, y_train)
    print(f"{str(depth):<9}  {tree.score(X_train, y_train):.3f}          {tree.score(X_test, y_test):.3f}")
Kode Penjelasan
load_breast_cancer(return_X_y=True) Memuat data publik 569 sampel × 30 fitur; return_X_y=True langsung mengembalikan X dan y.
train_test_split(..., test_size=0.3, stratify=y, random_state=SEED) 70% latih, 30% uji (171 sampel), proporsi kelas terjaga.
for depth in [1, 2, 3, 5, 10, None] Mengulang untuk tiap nilai max_depth (kedalaman maksimum pohon); None = tanpa batas.
DecisionTreeClassifier(max_depth=depth, ...).fit(X_train, y_train) Menginisialisasi pohon dengan hyperparameter tertentu lalu melatihnya dalam satu baris (fit mengembalikan objek pohon itu sendiri).
tree.score(X_train, y_train) / tree.score(X_test, y_test) Akurasi pada data latih dan pada data uji. Membandingkan keduanya adalah cara mendiagnosis overfitting.
max_depth  akurasi_latih  akurasi_uji
1          0.927          0.912
2          0.965          0.918
3          0.980          0.924
5          0.995          0.930
10         1.000          0.918
None       1.000          0.918

Interpretasi. Akurasi latih naik terus sampai 1,000 pada max_depth 10 dan tanpa batas, sedangkan akurasi uji bertahan di kisaran 0,91–0,93 (tertinggi 0,930 pada kedalaman 5). Selisih latih–uji melebar (0,065 pada kedalaman 5 vs 0,082 tanpa batas), ciri awal overfitting. Karena data uji hanya 171 sampel, selisih uji 0,01–0,02 berada dalam kisaran ketidakpastian; jangan memilih kedalaman dari angka tunggal ini.

Percobaan 2: underfitting dan overfitting pada regresi

Konsep. Derajat polinomial menentukan kelenturan kurva: derajat 1 = garis lurus (terlalu kaku), derajat 15 = sangat lentur (menghafal derau).

overfitting_leakage.py
# ---------- 2. Underfitting vs overfitting pada regresi ----------
# Data SINTETIS: y = sin(2*pi*x) + noise, hanya 30 titik latih
rng = np.random.default_rng(SEED)
x_all = rng.uniform(0, 1, 130)
y_all = np.sin(2 * np.pi * x_all) + rng.normal(0, 0.3, 130)
x_tr, y_tr = x_all[:30].reshape(-1, 1), y_all[:30]
x_te, y_te = x_all[30:].reshape(-1, 1), y_all[30:]

print("\nderajat  R2_latih  R2_uji")
for degree in [1, 4, 15]:
    model = make_pipeline(PolynomialFeatures(degree), StandardScaler(), LinearRegression())
    model.fit(x_tr, y_tr)
    print(f"{degree:<7}  {model.score(x_tr, y_tr):.3f}     {model.score(x_te, y_te):.3f}")
Kode Penjelasan
np.sin(2 * np.pi * x_all) + rng.normal(0, 0.3, 130) Data sintetis: gelombang sinus ditambah derau acak (simpangan baku 0,3).
x_all[:30].reshape(-1, 1) 30 titik pertama menjadi data latih. reshape(-1, 1) mengubah array 1 dimensi menjadi kolom (30, 1), karena X harus 2 dimensi (-1 berarti "hitung otomatis").
x_all[30:] Sisanya (100 titik) menjadi data uji.
make_pipeline(PolynomialFeatures(degree), StandardScaler(), LinearRegression()) Pipeline: membuat fitur \(x, x^2, \dots, x^{d}\), menstandardisasinya, lalu regresi linear. make_pipeline memberi nama langkah otomatis.
model.score(X, y) Untuk regresi, score bawaan adalah \(R^2\).
derajat  R2_latih  R2_uji
1        0.560     0.615
4        0.862     0.823
15       0.912     0.750

Interpretasi.

  • Derajat 1: \(R^2\) latih 0,560 dan uji 0,615, underfitting: garis lurus tidak dapat menangkap gelombang sinus (skor buruk di kedua data).
  • Derajat 4: latih 0,862 dan uji 0,823, cukup baik.
  • Derajat 15: latih 0,912 tetapi uji turun ke 0,750, overfitting: kurva mengikuti derau 30 titik latih.

Percobaan 3: kebocoran data pada seleksi fitur

Konsep. Bila pemilihan fitur melihat label seluruh data sebelum validasi silang, informasi lipatan validasi bocor. Agar kebocoran terlihat jelas, datanya sengaja acak murni: tidak ada pola nyata sehingga akurasi yang wajar sekitar 0,50.

overfitting_leakage.py
# ---------- 3. Kebocoran data: seleksi fitur di luar validasi silang ----------
# Data SINTETIS: 100 sampel, 2000 fitur acak, label acak -> tidak ada pola nyata.
rng = np.random.default_rng(SEED)
X_noise = rng.normal(size=(100, 2000))
y_noise = rng.integers(0, 2, size=100)

# SALAH: memilih 20 fitur "terbaik" memakai SELURUH data, baru validasi silang
X_selected = SelectKBest(f_classif, k=20).fit_transform(X_noise, y_noise)
leaky = cross_val_score(LogisticRegression(max_iter=1000), X_selected, y_noise, cv=5).mean()

# BENAR: seleksi fitur di dalam Pipeline, sehingga dilatih ulang pada tiap lipatan
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=1000))
correct = cross_val_score(pipe, X_noise, y_noise, cv=5).mean()

print("\nAkurasi CV pada data acak murni (harapan teoretis: sekitar 0.50)")
print("seleksi di luar CV (bocor)   : %.3f" % leaky)
print("seleksi di dalam Pipeline    : %.3f" % correct)
Kode Penjelasan
rng.normal(size=(100, 2000)), rng.integers(0, 2, size=100) 100 sampel dengan 2000 fitur acak dan label 0/1 acak. Sintetis.
SelectKBest(f_classif, k=20).fit_transform(X_noise, y_noise) Memilih 20 fitur yang paling "berhubungan" dengan label, memakai seluruh data. Dari 2000 fitur acak, 20 terbaik pasti tampak berhubungan secara kebetulan.
cross_val_score(LogisticRegression(...), X_selected, y_noise, cv=5) Validasi silang setelah seleksi: salah, karena seleksi sudah melihat label data validasi.
make_pipeline(SelectKBest(...), LogisticRegression(...)) Seleksi fitur dijadikan bagian pipeline, sehingga dilatih ulang hanya pada data latih tiap lipatan: benar.
Akurasi CV pada data acak murni (harapan teoretis: sekitar 0.50)
seleksi di luar CV (bocor)   : 0.820
seleksi di dalam Pipeline    : 0.470

Interpretasi. Labelnya acak murni, jadi akurasi yang wajar sekitar 0,50. Seleksi di luar validasi silang memberi akurasi 0,820: angka palsu karena seleksi sudah melihat label data validasi. Seleksi yang sama di dalam Pipeline memberi 0,470, mendekati tebakan, yaitu gambaran jujur bahwa tidak ada pola nyata.

Pelajaran utama

Kebocoran membuat model tampak hebat di eksperimen dan gagal di dunia nyata. Semua langkah yang belajar dari data (imputasi, scaling, seleksi fitur, encoding) harus berada di dalam Pipeline sehingga hanya melihat data latih pada tiap lipatan. Skor yang "terlalu bagus" patut dicurigai.

Program lengkap (overfitting_leakage.py)
overfitting_leakage.py
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.linear_model import LinearRegression, LogisticRegression
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.tree import DecisionTreeClassifier

SEED = 42

# ---------- 1. Overfitting pada klasifikasi: kedalaman pohon ----------
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=SEED
)

print("max_depth  akurasi_latih  akurasi_uji")
for depth in [1, 2, 3, 5, 10, None]:
    tree = DecisionTreeClassifier(max_depth=depth, random_state=SEED).fit(X_train, y_train)
    print(f"{str(depth):<9}  {tree.score(X_train, y_train):.3f}          {tree.score(X_test, y_test):.3f}")

# ---------- 2. Underfitting vs overfitting pada regresi ----------
# Data SINTETIS: y = sin(2*pi*x) + noise, hanya 30 titik latih
rng = np.random.default_rng(SEED)
x_all = rng.uniform(0, 1, 130)
y_all = np.sin(2 * np.pi * x_all) + rng.normal(0, 0.3, 130)
x_tr, y_tr = x_all[:30].reshape(-1, 1), y_all[:30]
x_te, y_te = x_all[30:].reshape(-1, 1), y_all[30:]

print("\nderajat  R2_latih  R2_uji")
for degree in [1, 4, 15]:
    model = make_pipeline(PolynomialFeatures(degree), StandardScaler(), LinearRegression())
    model.fit(x_tr, y_tr)
    print(f"{degree:<7}  {model.score(x_tr, y_tr):.3f}     {model.score(x_te, y_te):.3f}")

# ---------- 3. Kebocoran data: seleksi fitur di luar validasi silang ----------
# Data SINTETIS: 100 sampel, 2000 fitur acak, label acak -> tidak ada pola nyata.
rng = np.random.default_rng(SEED)
X_noise = rng.normal(size=(100, 2000))
y_noise = rng.integers(0, 2, size=100)

# SALAH: memilih 20 fitur "terbaik" memakai SELURUH data, baru validasi silang
X_selected = SelectKBest(f_classif, k=20).fit_transform(X_noise, y_noise)
leaky = cross_val_score(LogisticRegression(max_iter=1000), X_selected, y_noise, cv=5).mean()

# BENAR: seleksi fitur di dalam Pipeline, sehingga dilatih ulang pada tiap lipatan
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression(max_iter=1000))
correct = cross_val_score(pipe, X_noise, y_noise, cv=5).mean()

print("\nAkurasi CV pada data acak murni (harapan teoretis: sekitar 0.50)")
print("seleksi di luar CV (bocor)   : %.3f" % leaky)
print("seleksi di dalam Pipeline    : %.3f" % correct)

Jenis kebocoran yang sering terjadi

Jenis Contoh Pencegahan
Praproses sebelum split Scaler di-fit pada seluruh data Pipeline
Seleksi fitur sebelum validasi Contoh di atas Pipeline
Fitur dari masa depan/target Kolom "tanggal berhenti" saat memprediksi churn Audit fitur: tersedia saat prediksi?
Duplikat lintas split Baris sama di latih dan uji Hapus duplikat sebelum split
Split acak pada deret waktu Latih memuat data setelah uji Split kronologis

Kesalahan umum

Hindari

  • Menyimpulkan model baik hanya dari skor latih.
  • Menyetel hyperparameter berdasarkan data uji.
  • Skor yang "terlalu bagus" tidak dicurigai; periksa kemungkinan kebocoran.
  • Mengatasi overfitting hanya dengan menambah kompleksitas.

Latihan

  1. Ubah k pada SelectKBest menjadi 5 dan 100. Bagaimana skor "bocor" berubah?
  2. Tambahkan derajat 2 dan 8 pada demonstrasi polinomial. Pada derajat berapa uji mulai turun?
  3. Ganti random_state pada split pohon. Apakah kedalaman terbaik tetap sama?
  4. Sebutkan satu fitur pada data pelanggan yang berpotensi bocor bila ditambahkan.

Ringkasan

Underfitting: buruk di mana-mana; overfitting: bagus di latih, buruk di uji. Diagnosis dengan membandingkan skor latih dan uji. Kebocoran data menghasilkan skor palsu; cegah dengan Pipeline dan split yang tepat.

Selesai dengan Fundamentals. Lanjut ke bab Klasifikasi.