Baseline dan Regresi Linear¶
Gambaran singkat¶
Apa ini? Membuat baseline regresi, lalu model regresi linear yang menarik garis (atau bidang) terbaik melalui data.
Analogi
Menarik garis lurus di antara titik-titik pada grafik luas rumah vs harga, sedekat mungkin ke semua titik. Garis itu dipakai untuk menaksir harga rumah baru.
Mengapa penting? Regresi linear sederhana, cepat, dan koefisiennya bisa dibaca (tiap fitur menambah atau mengurangi taksiran sebesar berapa). Ia menjadi titik awal sebelum model rumit.
Yang akan dipelajari, berurutan:
- Baseline: selalu menebak rata-rata.
- Model dan fungsi tujuan (kuadrat terkecil).
- Melatih model dan membaca koefisien dengan hati-hati.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Koefisien | Pengaruh satu fitur terhadap taksiran |
| Intersep | Nilai taksiran saat semua fitur nol |
| Residual | Selisih nilai sebenarnya dan taksiran |
| OLS | Metode memilih garis dengan jumlah kuadrat residual terkecil |
Tujuan pembelajaran¶
- Membuat baseline regresi dan membaca metriknya.
- Menjelaskan model dan fungsi tujuan regresi linear (kuadrat terkecil).
- Melatih regresi linear dan menafsirkan koefisiennya dengan hati-hati.
Baseline regresi¶
Baseline paling sederhana selalu memprediksi rata-rata target data latih. Model apa pun harus mengalahkannya. Perhatikan: \(R^2\) pada baseline ini ≈ 0 secara konstruksi, karena \(R^2\) membandingkan model dengan prediksi rata-rata.
Regresi linear¶
Model memprediksi target sebagai kombinasi linear fitur:
\(\hat{y}\) prediksi, \(x_j\) fitur, \(w_j\) bobot (koefisien), dan \(b\) intersep. Bobot dipilih untuk meminimalkan jumlah kuadrat residual (ordinary least squares, OLS):
Solusinya tertutup (persamaan normal): \(\mathbf{\beta} = (A^\top A)^{-1} A^\top \mathbf{y}\), dengan \(A\) matriks fitur yang diberi kolom 1 untuk intersep dan \(\mathbf{\beta}\) berisi intersep dan bobot.
| Aspek | Keterangan |
|---|---|
| Kelebihan | Cepat, dapat ditafsirkan, tanpa hyperparameter, baseline yang kuat |
| Keterbatasan | Hanya hubungan linear; sensitif terhadap outlier dan multikolinearitas |
| Asumsi | Hubungan linear, residual kira-kira acak, tidak ada multikolinearitas ekstrem |
| Praproses | Scaling tidak mengubah prediksi, tetapi memudahkan perbandingan koefisien |
Implementasi langkah demi langkah¶
Program examples/estimation/linear_regression.py memakai dataset Diabetes. Program lengkap ada di akhir bagian ini.
Langkah 1: memuat data dan membagi data¶
Tujuan. Menyisihkan data uji sebelum modelling. Berbeda dari klasifikasi, tidak ada stratify karena targetnya angka kontinu.
| Kode | Penjelasan |
|---|---|
train_test_split(X, y, test_size=0.2, random_state=SEED) |
80% latih (353), 20% uji (89); pembagian acak yang dapat diulang berkat random_state. Urutan keluaran: X_train, X_test, y_train, y_test. |
X_train.shape |
(353, 10): 353 sampel × 10 fitur. |
Langkah 2: fungsi bantu untuk melaporkan metrik¶
| linear_regression.py | |
|---|---|
Fungsi report(name, model) menerima nama dan model terlatih, memprediksi data uji (model.predict(X_test)), lalu mencetak tiga metrik: MAE, RMSE (np.sqrt dari mean_squared_error), dan R². Urutan argumen setiap metrik: nilai sebenarnya (y_test) dulu, baru prediksi (pred). Dengan fungsi ini, model-model berikutnya dilaporkan dengan cara yang persis sama. Format {...:6.2f} berarti lebar 6 karakter dengan dua desimal.
Langkah 3: baseline, selalu memprediksi rata-rata¶
Konsep. Baseline regresi memprediksi rata-rata target data latih untuk setiap sampel. Model apa pun harus lebih baik.
| linear_regression.py | |
|---|---|
DummyRegressor(strategy="mean").fit(X_train, y_train) menginisialisasi lalu "melatih" (mencatat rata-rata y_train).
Interpretasi. MAE 64,01, RMSE 73,22, R² -0,012. R² hampir nol memang diharapkan (R² membandingkan model dengan prediksi rata-rata); sedikit negatif karena rata-rata data latih tidak persis sama dengan rata-rata data uji.
Langkah 4: regresi linear¶
Konsep. Model memprediksi \(\hat{y} = b + w_1x_1 + \dots + w_{10}x_{10}\) dengan bobot yang meminimalkan jumlah kuadrat galat pada data latih.
| linear_regression.py | |
|---|---|
| Kode | Penjelasan |
|---|---|
LinearRegression().fit(X_train, y_train) |
Melatih (mencari \(b\) dan \(w_j\)). Tidak ada hyperparameter penting. |
-cross_val_score(..., scoring="neg_root_mean_squared_error") |
Scikit-learn mengasumsikan "skor lebih besar lebih baik", sehingga galat dinyatakan negatif. Tanda minus di depan mengembalikannya menjadi RMSE positif. |
cv=5 |
Validasi silang 5 lipatan (pada regresi tanpa pengacakan: lipatan berurutan menurut baris). |
Interpretasi. Pada data uji MAE 42,79, RMSE 53,85, R² 0,453. Galat turun jelas dibanding baseline, dan model menjelaskan sekitar 45% variasi target relatif terhadap prediksi rata-rata. RMSE 53,85 masih besar dibanding simpangan baku target (77,1): prediksinya cukup berguna, bukan akurat. Validasi silang memberi RMSE 55,97 (± 3,18), sedikit di atas hasil uji; gunakan rentang ini, bukan satu angka, untuk mengira performa pada data baru.
Langkah 5: membaca koefisien¶
| linear_regression.py | |
|---|---|
lin.coef_ adalah bobot \(w_j\) hasil pelatihan (berakhiran _), dan lin.intercept_ adalah \(b\). pd.Series(..., index=X.columns) memasangkan bobot dengan nama fitur.
intercept: 151.3
s1 -931.5
sex -242.0
age 37.9
s6 48.7
s3 163.4
s4 275.3
bp 347.7
s2 518.1
bmi 542.4
s5 736.2
Interpretasi. Fitur satu skala sehingga besar koefisien dapat dibandingkan: s5 (736,2) dan bmi (542,4) paling positif, selaras dengan korelasinya terhadap target. Namun s1 (-931,5) dan s2 (+518,1) besar dan berlawanan tanda: tanda multikolinearitas (s1–s2 berkorelasi 0,90). Model membagi pengaruh keduanya secara tidak stabil, sehingga koefisien individualnya tidak boleh diartikan sebagai efek tiap fitur. sex berkoefisien -242 meski korelasi marginalnya hampir 0: koefisien menunjukkan efek dengan fitur lain tetap, bukan hubungan sederhana.
Langkah 6: pemeriksaan dengan persamaan normal¶
Konsep. Solusi kuadrat terkecil dapat dihitung langsung: \(\mathbf{\beta} = (A^\top A)^{-1} A^\top \mathbf{y}\), dengan \(A\) matriks fitur yang diberi kolom 1 untuk intersep. Langkah ini membuktikan bahwa LinearRegression benar-benar menyelesaikan masalah kuadrat terkecil.
| linear_regression.py | |
|---|---|
| Kode | Penjelasan |
|---|---|
np.column_stack([np.ones(n), X]) |
Menambahkan kolom berisi 1 di kiri X untuk intersep. |
A.T @ A, A.T @ y |
.T = transpos; @ = perkalian matriks. |
np.linalg.solve(M, v) |
Menyelesaikan sistem persamaan linear \(M\mathbf{\beta} = v\). |
beta[1:] |
Koefisien (mengabaikan elemen pertama, yaitu intersep). |
Hasil. Selisih maksimum hanya sekitar \(10^{-11}\) (galat pembulatan): hasilnya sama dengan scikit-learn.
Program lengkap (linear_regression.py)
Kesalahan umum¶
Hindari
- Menafsirkan koefisien individual pada fitur yang berkorelasi tinggi.
- Menganggap R² tinggi pasti berarti model baik, atau R² rendah berarti tidak berguna.
- Mengekstrapolasi jauh di luar rentang data latih.
- Melewatkan baseline sehingga tidak tahu seberapa jauh model lebih baik dari rata-rata.
Latihan¶
- Hapus
s2dari fitur dan latih ulang. Bagaimana koefisiens1berubah? - Hitung RMSE CV dengan
KFold(shuffle=True). Apakah mirip 55,97? - Tambahkan fitur
bmi**2. Apakah RMSE CV membaik?
Ringkasan¶
Regresi linear meminimalkan jumlah kuadrat galat dan menjadi baseline yang kuat dan mudah dibaca. Bandingkan dengan baseline rata-rata, waspadai multikolinearitas, dan tafsirkan koefisien dengan hati-hati.
Berikutnya: Ridge dan Lasso.