Lewati ke isi

Metrik Regresi dan Analisis Residual

Gambaran singkat

Apa ini? Cara mengukur kesalahan model regresi (MAE, MSE, RMSE, R²) dan membaca pola kesalahannya lewat plot residual.

Analogi

Dua pemanah sama-sama rata-rata mengenai pusat, tetapi anak panah satu tersebar luas dan yang lain rapat. Satu angka tidak cukup; pola tembakan juga perlu dilihat.

Mengapa penting? Angka metrik bisa tampak bagus sementara model sistematis salah pada rentang tertentu. Plot residual membuka masalah yang tersembunyi di balik rata-rata.

Yang akan dipelajari, berurutan:

  1. Empat metrik dan kapan memakai masing-masing.
  2. Membuat dan membaca plot residual.
  3. Mengenali galat yang membesar pada rentang tertentu (heteroskedastisitas).

Istilah awal:

Istilah Arti sederhana
MAE Rata-rata besar selisih, satuan sama dengan target
RMSE Seperti MAE, tetapi lebih menghukum kesalahan besar
R² Seberapa banyak variasi target yang dijelaskan model
Residual Nilai sebenarnya dikurangi taksiran

Tujuan pembelajaran

  • Menghitung dan menafsirkan MAE, MSE, RMSE, dan R².
  • Membuat dan membaca plot residual.
  • Mengenali masalah seperti galat yang membesar pada rentang tertentu (heteroskedastisitas).

Metrik

Dengan nilai sebenarnya \(y_i\), prediksi \(\hat{y}_i\), residual \(e_i = y_i - \hat{y}_i\), dan \(n\) sampel:

\[ \text{MAE} = \frac{1}{n}\sum_i |e_i|, \quad \text{MSE} = \frac{1}{n}\sum_i e_i^2, \quad \text{RMSE} = \sqrt{\text{MSE}}, \quad R^2 = 1 - \frac{\sum_i e_i^2}{\sum_i (y_i - \bar{y})^2} \]
Metrik Satuan Sifat Kapan dipakai
MAE Sama dengan target Rata-rata galat; tahan outlier Galat tipikal mudah dijelaskan
MSE Kuadrat satuan target Menghukum galat besar Fungsi tujuan optimasi
RMSE Sama dengan target Menghukum galat besar; ≥ MAE Galat besar sangat merugikan
R² Tanpa satuan Proporsi variasi yang dijelaskan relatif terhadap rata-rata Perbandingan lintas skala; bukan satu-satunya ukuran

Metrik persentase seperti MAPE mudah dipahami tetapi bermasalah bila target bernilai nol atau mendekati nol. Rasio RMSE terhadap MAE yang jauh di atas 1 menandakan adanya galat besar sesekali.

Residual

Residual adalah selisih nilai sebenarnya dan prediksi. Model yang baik memiliki residual yang tampak acak: rata-rata mendekati nol, tanpa pola terhadap prediksi, dan sebaran kira-kira sama di semua rentang. Pola yang jelas berarti ada struktur yang belum ditangkap:

Pola pada plot residual vs prediksi Arti Tindakan
Lengkungan Hubungan non-linear terlewat Fitur polinomial, model non-linear
Corong (galat melebar) Varians tidak konstan Transformasi target (log), metrik relatif
Kelompok terpisah Variabel penting hilang Tambah fitur atau fitur kelompok

Implementasi langkah demi langkah

Model: regresi linear pada Diabetes (data uji 89 sampel). Program examples/estimation/residual_analysis.py; program lengkap ada di akhir bagian ini.

Langkah 1: melatih model dan menghitung residual

residual_analysis.py
X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
model = LinearRegression().fit(X_train, y_train)
pred = model.predict(X_test)
resid = y_test - pred  # residual = nilai sebenarnya - prediksi

pred = model.predict(X_test) adalah prediksi untuk data uji. resid = y_test - pred menghitung residual: nilai sebenarnya dikurangi prediksi. Residual positif berarti model memprediksi terlalu rendah; negatif berarti terlalu tinggi. Karena y_test dan pred sejajar, hasilnya satu angka per sampel uji.

Langkah 2: metrik ringkas

residual_analysis.py
# 1. Metrik ringkas
mse = mean_squared_error(y_test, pred)
print("MAE %.2f | MSE %.1f | RMSE %.2f | R2 %.3f" % (mean_absolute_error(y_test, pred), mse, np.sqrt(mse), r2_score(y_test, pred)))
MAE 42.79 | MSE 2900.2 | RMSE 53.85 | R2 0.453

Interpretasi. MAE 42,79; MSE 2900,2; RMSE 53,85; R² 0,453. RMSE/MAE = 1,26: ada beberapa galat yang lebih besar dari tipikal.

Langkah 3: ringkasan residual

Konsep. Residual model yang baik tampak acak: rata-rata mendekati nol, simetris, dan sebarannya tidak bergantung pada nilai prediksi.

residual_analysis.py
# 2. Ringkasan residual
print("\nResidual -> rata-rata %.2f | std %.2f | skew %.2f | min %.1f | maks %.1f"
      % (resid.mean(), resid.std(), resid.skew(), resid.min(), resid.max()))
print("Korelasi |residual| dengan nilai prediksi: %.2f" % np.corrcoef(np.abs(resid), pred)[0, 1])

resid.mean(), resid.std(), resid.skew() (kemiringan), resid.min(), resid.max() meringkas distribusi residual. np.corrcoef(np.abs(resid), pred)[0, 1] menghitung korelasi antara besar galat (np.abs) dan nilai prediksi: bila positif, galat membesar di prediksi tinggi.

Residual -> rata-rata 3.91 | std 54.02 | skew -0.18 | min -154.5 | maks 128.3
Korelasi |residual| dengan nilai prediksi: 0.28

Interpretasi. Rata-rata residual +3,91 (mendekati nol; sedikit positif karena sampel uji kecil), simpangan baku 54,02, skewness -0,18 (hampir simetris), rentang -154,5 sampai +128,3. Korelasi |residual| dengan prediksi 0,28 menunjukkan indikasi awal bahwa galat membesar pada prediksi yang lebih tinggi.

Langkah 4: galat per rentang prediksi

residual_analysis.py
# 3. Galat per rentang prediksi (apakah galat sama besar di semua rentang?)
bins = pd.qcut(pd.Series(pred, index=resid.index), 3, labels=["rendah", "sedang", "tinggi"])
print("\nMAE per tertil prediksi:\n", resid.abs().groupby(bins, observed=True).mean().round(1).to_string())
Kode Penjelasan
pd.qcut(pd.Series(pred, ...), 3, labels=[...]) Membagi prediksi menjadi 3 kelompok berukuran sama (tertil): rendah, sedang, tinggi.
resid.abs().groupby(bins, observed=True).mean() Rata-rata galat mutlak (MAE) di tiap kelompok.
MAE per tertil prediksi:
 rendah    26.9
sedang    48.8
tinggi    52.8

Interpretasi. MAE per tertil prediksi adalah 26,9 (rendah), 48,8 (sedang), dan 52,8 (tinggi): galat lebih besar pada prediksi tinggi, indikasi varians tidak konstan (heteroskedastisitas). Dengan 89 sampel ini hanya petunjuk, bukan bukti pasti.

Langkah 5: galat terbesar

residual_analysis.py
# 4. Tiga galat terbesar
worst = resid.abs().sort_values(ascending=False).head(3).index
print("\nTiga galat terbesar (aktual, prediksi, residual):")
for i in worst:
    print(f"  idx {i}: {y_test[i]:.0f}, {pred[list(y_test.index).index(i)]:.0f}, {resid[i]:+.0f}")

resid.abs().sort_values(ascending=False).head(3).index mengambil indeks tiga sampel dengan galat mutlak terbesar. Perulangan mencetak nilai aktual, prediksi, dan residual (:+.0f selalu menampilkan tanda + atau -).

Tiga galat terbesar (aktual, prediksi, residual):
  idx 56: 52, 206, -154
  idx 77: 200, 72, +128
  idx 211: 70, 180, -110

Interpretasi. Sampel 56 (aktual 52, prediksi 206, residual -154), sampel 77 (aktual 200, prediksi 72, +128), sampel 211 (aktual 70, prediksi 180, -110). Memeriksa kasus ekstrem seperti ini sering mengungkap data salah, fitur yang hilang, atau kelompok khusus.

Langkah 6: gambar diagnostik

residual_analysis.py
# 5. Gambar diagnostik
sns.set_theme(style="whitegrid")
fig, axes = plt.subplots(1, 3, figsize=(13, 3.8))
axes[0].scatter(pred, y_test, s=14, alpha=0.7)
lims = [min(pred.min(), y_test.min()), max(pred.max(), y_test.max())]
axes[0].plot(lims, lims, color="C3")
axes[0].set(title="Aktual vs prediksi", xlabel="prediksi", ylabel="aktual")
axes[1].scatter(pred, resid, s=14, alpha=0.7)
axes[1].axhline(0, color="C3")
axes[1].set(title="Residual vs prediksi", xlabel="prediksi", ylabel="residual")
sns.histplot(resid, bins=20, ax=axes[2])
axes[2].set(title="Distribusi residual", xlabel="residual")
fig.tight_layout()
fig.savefig(OUT / "residuals.png", dpi=130)
print("\nGambar tersimpan:", (OUT / "residuals.png").as_posix())

Tiga grafik berdampingan: (1) scatter prediksi vs aktual dengan garis diagonal lims sebagai "prediksi sempurna"; (2) scatter prediksi vs residual dengan garis horizontal di 0; (3) histogram residual.

Tiga panel: aktual vs prediksi dengan garis diagonal, residual vs prediksi tanpa pola jelas tetapi menyebar lebih lebar pada prediksi tinggi, dan histogram residual mendekati lonceng

Cara membaca.

  • Aktual vs prediksi (kiri): sumbu-x prediksi, sumbu-y nilai sebenarnya. Titik tersebar lebar di sekitar diagonal merah; model cenderung menyusutkan ke tengah (prediksi tidak menjangkau nilai target ekstrem rendah dan tinggi), ciri model dengan sinyal terbatas.
  • Residual vs prediksi (tengah): idealnya awan titik acak di sekitar garis 0 dengan lebar sama. Di sini terlihat melebar pada prediksi tinggi, konsisten dengan angka per tertil.
  • Histogram residual (kanan): mendekati lonceng simetris di sekitar 0, tanda tidak ada kemiringan besar.
Program lengkap (residual_analysis.py)
residual_analysis.py
from pathlib import Path

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
from sklearn.model_selection import train_test_split

SEED = 42
OUT = Path("docs/assets/img/estimation")
OUT.mkdir(parents=True, exist_ok=True)

X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
model = LinearRegression().fit(X_train, y_train)
pred = model.predict(X_test)
resid = y_test - pred  # residual = nilai sebenarnya - prediksi

# 1. Metrik ringkas
mse = mean_squared_error(y_test, pred)
print("MAE %.2f | MSE %.1f | RMSE %.2f | R2 %.3f" % (mean_absolute_error(y_test, pred), mse, np.sqrt(mse), r2_score(y_test, pred)))

# 2. Ringkasan residual
print("\nResidual -> rata-rata %.2f | std %.2f | skew %.2f | min %.1f | maks %.1f"
      % (resid.mean(), resid.std(), resid.skew(), resid.min(), resid.max()))
print("Korelasi |residual| dengan nilai prediksi: %.2f" % np.corrcoef(np.abs(resid), pred)[0, 1])

# 3. Galat per rentang prediksi (apakah galat sama besar di semua rentang?)
bins = pd.qcut(pd.Series(pred, index=resid.index), 3, labels=["rendah", "sedang", "tinggi"])
print("\nMAE per tertil prediksi:\n", resid.abs().groupby(bins, observed=True).mean().round(1).to_string())

# 4. Tiga galat terbesar
worst = resid.abs().sort_values(ascending=False).head(3).index
print("\nTiga galat terbesar (aktual, prediksi, residual):")
for i in worst:
    print(f"  idx {i}: {y_test[i]:.0f}, {pred[list(y_test.index).index(i)]:.0f}, {resid[i]:+.0f}")

# 5. Gambar diagnostik
sns.set_theme(style="whitegrid")
fig, axes = plt.subplots(1, 3, figsize=(13, 3.8))
axes[0].scatter(pred, y_test, s=14, alpha=0.7)
lims = [min(pred.min(), y_test.min()), max(pred.max(), y_test.max())]
axes[0].plot(lims, lims, color="C3")
axes[0].set(title="Aktual vs prediksi", xlabel="prediksi", ylabel="aktual")
axes[1].scatter(pred, resid, s=14, alpha=0.7)
axes[1].axhline(0, color="C3")
axes[1].set(title="Residual vs prediksi", xlabel="prediksi", ylabel="residual")
sns.histplot(resid, bins=20, ax=axes[2])
axes[2].set(title="Distribusi residual", xlabel="residual")
fig.tight_layout()
fig.savefig(OUT / "residuals.png", dpi=130)
print("\nGambar tersimpan:", (OUT / "residuals.png").as_posix())

Kesalahan umum

Hindari

  • Melaporkan R² saja tanpa melihat residual.
  • Membandingkan RMSE antar dataset dengan skala target berbeda.
  • Memakai MAPE pada target yang bisa bernilai nol.
  • Menganggap residual berpola sebagai "derau".
  • Mengevaluasi residual pada data latih saja.

Latihan

  1. Latih model pada log(target) dan hitung ulang metrik pada skala asli. Apakah MAE per tertil lebih merata?
  2. Hitung MAE untuk 10% prediksi tertinggi.
  3. Buat plot residual terhadap fitur bmi. Adakah pola?
  4. Mengapa RMSE selalu ≥ MAE?

Ringkasan

MAE dan RMSE memberi galat dalam satuan target, R² membandingkan dengan prediksi rata-rata. Metrik ringkas harus dilengkapi analisis residual untuk menemukan pola yang tidak tertangkap model.

Berikutnya: Validasi Silang dan Optimasi.