Lewati ke isi

Baseline dan Regresi Linear

Gambaran singkat

Apa ini? Membuat baseline regresi, lalu model regresi linear yang menarik garis (atau bidang) terbaik melalui data.

Analogi

Menarik garis lurus di antara titik-titik pada grafik luas rumah vs harga, sedekat mungkin ke semua titik. Garis itu dipakai untuk menaksir harga rumah baru.

Mengapa penting? Regresi linear sederhana, cepat, dan koefisiennya bisa dibaca (tiap fitur menambah atau mengurangi taksiran sebesar berapa). Ia menjadi titik awal sebelum model rumit.

Yang akan dipelajari, berurutan:

  1. Baseline: selalu menebak rata-rata.
  2. Model dan fungsi tujuan (kuadrat terkecil).
  3. Melatih model dan membaca koefisien dengan hati-hati.

Istilah awal:

Istilah Arti sederhana
Koefisien Pengaruh satu fitur terhadap taksiran
Intersep Nilai taksiran saat semua fitur nol
Residual Selisih nilai sebenarnya dan taksiran
OLS Metode memilih garis dengan jumlah kuadrat residual terkecil

Tujuan pembelajaran

  • Membuat baseline regresi dan membaca metriknya.
  • Menjelaskan model dan fungsi tujuan regresi linear (kuadrat terkecil).
  • Melatih regresi linear dan menafsirkan koefisiennya dengan hati-hati.

Baseline regresi

Baseline paling sederhana selalu memprediksi rata-rata target data latih. Model apa pun harus mengalahkannya. Perhatikan: \(R^2\) pada baseline ini ≈ 0 secara konstruksi, karena \(R^2\) membandingkan model dengan prediksi rata-rata.

Regresi linear

Model memprediksi target sebagai kombinasi linear fitur:

\[ \hat{y} = b + w_1 x_1 + w_2 x_2 + \dots + w_p x_p \]

\(\hat{y}\) prediksi, \(x_j\) fitur, \(w_j\) bobot (koefisien), dan \(b\) intersep. Bobot dipilih untuk meminimalkan jumlah kuadrat residual (ordinary least squares, OLS):

\[ \min_{b, \mathbf{w}} \sum_{i=1}^{n} \bigl(y_i - \hat{y}_i\bigr)^2 \]

Solusinya tertutup (persamaan normal): \(\mathbf{\beta} = (A^\top A)^{-1} A^\top \mathbf{y}\), dengan \(A\) matriks fitur yang diberi kolom 1 untuk intersep dan \(\mathbf{\beta}\) berisi intersep dan bobot.

Aspek Keterangan
Kelebihan Cepat, dapat ditafsirkan, tanpa hyperparameter, baseline yang kuat
Keterbatasan Hanya hubungan linear; sensitif terhadap outlier dan multikolinearitas
Asumsi Hubungan linear, residual kira-kira acak, tidak ada multikolinearitas ekstrem
Praproses Scaling tidak mengubah prediksi, tetapi memudahkan perbandingan koefisien

Implementasi langkah demi langkah

Program examples/estimation/linear_regression.py memakai dataset Diabetes. Program lengkap ada di akhir bagian ini.

Langkah 1: memuat data dan membagi data

Tujuan. Menyisihkan data uji sebelum modelling. Berbeda dari klasifikasi, tidak ada stratify karena targetnya angka kontinu.

linear_regression.py
import numpy as np
import pandas as pd
from sklearn.datasets import load_diabetes
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
from sklearn.model_selection import cross_val_score, train_test_split

SEED = 42
X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
print("latih:", X_train.shape, "| uji:", X_test.shape)
Kode Penjelasan
train_test_split(X, y, test_size=0.2, random_state=SEED) 80% latih (353), 20% uji (89); pembagian acak yang dapat diulang berkat random_state. Urutan keluaran: X_train, X_test, y_train, y_test.
X_train.shape (353, 10): 353 sampel × 10 fitur.
latih: (353, 10) | uji: (89, 10)

Langkah 2: fungsi bantu untuk melaporkan metrik

linear_regression.py
def report(name, model):
    pred = model.predict(X_test)
    rmse = np.sqrt(mean_squared_error(y_test, pred))
    print(f"{name:<22} MAE={mean_absolute_error(y_test, pred):6.2f}  RMSE={rmse:6.2f}  R2={r2_score(y_test, pred):6.3f}")

Fungsi report(name, model) menerima nama dan model terlatih, memprediksi data uji (model.predict(X_test)), lalu mencetak tiga metrik: MAE, RMSE (np.sqrt dari mean_squared_error), dan R². Urutan argumen setiap metrik: nilai sebenarnya (y_test) dulu, baru prediksi (pred). Dengan fungsi ini, model-model berikutnya dilaporkan dengan cara yang persis sama. Format {...:6.2f} berarti lebar 6 karakter dengan dua desimal.

Langkah 3: baseline, selalu memprediksi rata-rata

Konsep. Baseline regresi memprediksi rata-rata target data latih untuk setiap sampel. Model apa pun harus lebih baik.

linear_regression.py
# 1. Baseline: selalu memprediksi rata-rata target data latih
baseline = DummyRegressor(strategy="mean").fit(X_train, y_train)
report("Baseline (rata-rata)", baseline)

DummyRegressor(strategy="mean").fit(X_train, y_train) menginisialisasi lalu "melatih" (mencatat rata-rata y_train).

Baseline (rata-rata)   MAE= 64.01  RMSE= 73.22  R2=-0.012

Interpretasi. MAE 64,01, RMSE 73,22, R² -0,012. R² hampir nol memang diharapkan (R² membandingkan model dengan prediksi rata-rata); sedikit negatif karena rata-rata data latih tidak persis sama dengan rata-rata data uji.

Langkah 4: regresi linear

Konsep. Model memprediksi \(\hat{y} = b + w_1x_1 + \dots + w_{10}x_{10}\) dengan bobot yang meminimalkan jumlah kuadrat galat pada data latih.

linear_regression.py
# 2. Regresi linear
lin = LinearRegression().fit(X_train, y_train)
report("Linear Regression", lin)
cv_rmse = -cross_val_score(lin, X_train, y_train, cv=5, scoring="neg_root_mean_squared_error")
print("RMSE CV (5 lipatan): %.2f (+/- %.2f)" % (cv_rmse.mean(), cv_rmse.std()))
Kode Penjelasan
LinearRegression().fit(X_train, y_train) Melatih (mencari \(b\) dan \(w_j\)). Tidak ada hyperparameter penting.
-cross_val_score(..., scoring="neg_root_mean_squared_error") Scikit-learn mengasumsikan "skor lebih besar lebih baik", sehingga galat dinyatakan negatif. Tanda minus di depan mengembalikannya menjadi RMSE positif.
cv=5 Validasi silang 5 lipatan (pada regresi tanpa pengacakan: lipatan berurutan menurut baris).
Linear Regression      MAE= 42.79  RMSE= 53.85  R2= 0.453
RMSE CV (5 lipatan): 55.97 (+/- 3.18)

Interpretasi. Pada data uji MAE 42,79, RMSE 53,85, R² 0,453. Galat turun jelas dibanding baseline, dan model menjelaskan sekitar 45% variasi target relatif terhadap prediksi rata-rata. RMSE 53,85 masih besar dibanding simpangan baku target (77,1): prediksinya cukup berguna, bukan akurat. Validasi silang memberi RMSE 55,97 (± 3,18), sedikit di atas hasil uji; gunakan rentang ini, bukan satu angka, untuk mengira performa pada data baru.

Langkah 5: membaca koefisien

linear_regression.py
# 3. Koefisien (fitur sudah satu skala, sehingga dapat dibandingkan)
coef = pd.Series(lin.coef_, index=X.columns).sort_values()
print("\nintercept: %.1f" % lin.intercept_)
print(coef.round(1).to_string())

lin.coef_ adalah bobot \(w_j\) hasil pelatihan (berakhiran _), dan lin.intercept_ adalah \(b\). pd.Series(..., index=X.columns) memasangkan bobot dengan nama fitur.

intercept: 151.3
s1    -931.5
sex   -242.0
age     37.9
s6      48.7
s3     163.4
s4     275.3
bp     347.7
s2     518.1
bmi    542.4
s5     736.2

Interpretasi. Fitur satu skala sehingga besar koefisien dapat dibandingkan: s5 (736,2) dan bmi (542,4) paling positif, selaras dengan korelasinya terhadap target. Namun s1 (-931,5) dan s2 (+518,1) besar dan berlawanan tanda: tanda multikolinearitas (s1–s2 berkorelasi 0,90). Model membagi pengaruh keduanya secara tidak stabil, sehingga koefisien individualnya tidak boleh diartikan sebagai efek tiap fitur. sex berkoefisien -242 meski korelasi marginalnya hampir 0: koefisien menunjukkan efek dengan fitur lain tetap, bukan hubungan sederhana.

Langkah 6: pemeriksaan dengan persamaan normal

Konsep. Solusi kuadrat terkecil dapat dihitung langsung: \(\mathbf{\beta} = (A^\top A)^{-1} A^\top \mathbf{y}\), dengan \(A\) matriks fitur yang diberi kolom 1 untuk intersep. Langkah ini membuktikan bahwa LinearRegression benar-benar menyelesaikan masalah kuadrat terkecil.

linear_regression.py
# 4. Pemeriksaan: persamaan normal OLS memberi koefisien yang sama
A = np.column_stack([np.ones(len(X_train)), X_train.to_numpy()])
beta = np.linalg.solve(A.T @ A, A.T @ y_train.to_numpy())
print("\nselisih maks. dengan scikit-learn: %.2e" % np.abs(beta[1:] - lin.coef_).max())
Kode Penjelasan
np.column_stack([np.ones(n), X]) Menambahkan kolom berisi 1 di kiri X untuk intersep.
A.T @ A, A.T @ y .T = transpos; @ = perkalian matriks.
np.linalg.solve(M, v) Menyelesaikan sistem persamaan linear \(M\mathbf{\beta} = v\).
beta[1:] Koefisien (mengabaikan elemen pertama, yaitu intersep).
selisih maks. dengan scikit-learn: 1.46e-11

Hasil. Selisih maksimum hanya sekitar \(10^{-11}\) (galat pembulatan): hasilnya sama dengan scikit-learn.

Program lengkap (linear_regression.py)
linear_regression.py
import numpy as np
import pandas as pd
from sklearn.datasets import load_diabetes
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
from sklearn.model_selection import cross_val_score, train_test_split

SEED = 42
X, y = load_diabetes(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=SEED)
print("latih:", X_train.shape, "| uji:", X_test.shape)


def report(name, model):
    pred = model.predict(X_test)
    rmse = np.sqrt(mean_squared_error(y_test, pred))
    print(f"{name:<22} MAE={mean_absolute_error(y_test, pred):6.2f}  RMSE={rmse:6.2f}  R2={r2_score(y_test, pred):6.3f}")


# 1. Baseline: selalu memprediksi rata-rata target data latih
baseline = DummyRegressor(strategy="mean").fit(X_train, y_train)
report("Baseline (rata-rata)", baseline)

# 2. Regresi linear
lin = LinearRegression().fit(X_train, y_train)
report("Linear Regression", lin)
cv_rmse = -cross_val_score(lin, X_train, y_train, cv=5, scoring="neg_root_mean_squared_error")
print("RMSE CV (5 lipatan): %.2f (+/- %.2f)" % (cv_rmse.mean(), cv_rmse.std()))

# 3. Koefisien (fitur sudah satu skala, sehingga dapat dibandingkan)
coef = pd.Series(lin.coef_, index=X.columns).sort_values()
print("\nintercept: %.1f" % lin.intercept_)
print(coef.round(1).to_string())

# 4. Pemeriksaan: persamaan normal OLS memberi koefisien yang sama
A = np.column_stack([np.ones(len(X_train)), X_train.to_numpy()])
beta = np.linalg.solve(A.T @ A, A.T @ y_train.to_numpy())
print("\nselisih maks. dengan scikit-learn: %.2e" % np.abs(beta[1:] - lin.coef_).max())

Kesalahan umum

Hindari

  • Menafsirkan koefisien individual pada fitur yang berkorelasi tinggi.
  • Menganggap R² tinggi pasti berarti model baik, atau R² rendah berarti tidak berguna.
  • Mengekstrapolasi jauh di luar rentang data latih.
  • Melewatkan baseline sehingga tidak tahu seberapa jauh model lebih baik dari rata-rata.

Latihan

  1. Hapus s2 dari fitur dan latih ulang. Bagaimana koefisien s1 berubah?
  2. Hitung RMSE CV dengan KFold(shuffle=True). Apakah mirip 55,97?
  3. Tambahkan fitur bmi**2. Apakah RMSE CV membaik?

Ringkasan

Regresi linear meminimalkan jumlah kuadrat galat dan menjadi baseline yang kuat dan mudah dibaca. Bandingkan dengan baseline rata-rata, waspadai multikolinearitas, dan tafsirkan koefisien dengan hati-hati.

Berikutnya: Ridge dan Lasso.