Logistic Regression¶
Gambaran singkat¶
Apa ini? Model yang menghitung skor dari fitur, lalu mengubahnya menjadi probabilitas (0 sampai 1) bahwa data termasuk kelas tertentu.
Analogi
Dokter menjumlahkan poin risiko: umur, tekanan darah, kebiasaan merokok. Makin tinggi total poin, makin besar kemungkinan sakit, lalu poin diubah menjadi persentase. Itulah logistic regression; meski bernama "regresi", ia dipakai untuk klasifikasi.
Mengapa penting? Model ini cepat, stabil, memberi probabilitas, dan bobotnya bisa dibaca. Ia sering menjadi model pertama yang dicoba.
Yang akan dipelajari, berurutan:
- Dari skor linear menjadi probabilitas (fungsi sigmoid).
- Regularisasi dan parameter
Cagar model tidak terlalu rumit. - Melatih, memprediksi, dan membaca koefisien dengan hati-hati.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Sigmoid | Fungsi yang mengubah skor apa pun menjadi angka 0 sampai 1 |
| Koefisien / bobot | Seberapa besar tiap fitur memengaruhi skor |
| Regularisasi | Penalti agar model tidak terlalu rumit |
C |
Pengatur regularisasi; kecil = lebih kuat |
Tujuan pembelajaran¶
- Menjelaskan bagaimana Logistic Regression mengubah skor linear menjadi probabilitas.
- Memahami peran regularisasi dan parameter
C. - Melatih, memprediksi, dan menafsirkan koefisien dengan hati-hati.
Intuisi¶
Logistic Regression menghitung skor linear dari fitur, lalu memetakannya ke probabilitas 0–1 dengan fungsi sigmoid. Meskipun bernama "regresi", model ini untuk klasifikasi.
\(x_j\) adalah fitur, \(w_j\) bobot, \(b\) bias. Skor \(z\) positif berarti peluang kelas 1 di atas 0,5. Bobot dipelajari dengan meminimalkan log loss ditambah penalti regularisasi (L2 secara bawaan):
\(\ell_i\) adalah log loss sampel ke-\(i\). C kecil = regularisasi kuat (bobot ditekan, model lebih sederhana); C besar = regularisasi lemah.
Ringkasan model¶
| Aspek | Keterangan |
|---|---|
| Kelebihan | Cepat, stabil, menghasilkan probabilitas, koefisien dapat ditafsirkan |
| Keterbatasan | Batas keputusan linear; koefisien tidak stabil bila fitur sangat berkorelasi |
| Hyperparameter penting | C, penalty, class_weight, max_iter |
| Praproses | Scaling sangat dianjurkan |
| Cocok untuk | Baseline pertama, kebutuhan probabilitas dan penjelasan |
Implementasi langkah demi langkah¶
Program examples/classification/logistic_regression.py memakai data Breast Cancer. Langkah memuat data dan membagi data sama dengan pelajaran sebelumnya, jadi tidak dijelaskan ulang.
Langkah 1: melatih model dan membaca laporan klasifikasi¶
Tujuan. Melatih regresi logistik pada data latih dan menilainya pada data uji.
| Kode | Penjelasan |
|---|---|
make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)) |
Pipeline: standardisasi lalu regresi logistik (max_iter = batas iterasi optimisasi). |
model.fit(X_train, y_train) |
Melatih: scaler menghitung rata-rata/simpangan baku, regresi logistik mempelajari bobot \(w\) dan bias \(b\). Dilakukan hanya pada data latih. |
model.predict(X_test) |
Memprediksi kelas (0 atau 1) untuk data uji. Scaler yang sama (parameter dari data latih) otomatis dipakai dulu. |
classification_report(y_test, y_pred, digits=3) |
Tabel metrik per kelas: precision, recall, f1-score, dan support (jumlah sampel sebenarnya tiap kelas pada data uji). |
precision recall f1-score support
0 0.976 0.976 0.976 42
1 0.986 0.986 0.986 72
accuracy 0.982 114
macro avg 0.981 0.981 0.981 114
weighted avg 0.982 0.982 0.982 114
Cara membaca laporan. Baris 0 dan 1 adalah metrik tiap kelas (0 = ganas, 1 = jinak). accuracy adalah proporsi prediksi benar keseluruhan. macro avg merata-ratakan metrik antar-kelas dengan bobot sama; weighted avg memberi bobot menurut support.
Interpretasi. Accuracy 0,982: dari 114 data uji hanya 2 yang salah. Precision dan recall kelas ganas (0) 0,976 dan kelas jinak (1) 0,986. Dengan data uji sekecil ini, selisih satu atau dua sampel mengubah angka cukup besar.
Langkah 2: probabilitas, bukan hanya kelas¶
Konsep. Regresi logistik menghitung skor linear \(z = b + w_1x_1 + \dots\), lalu mengubahnya menjadi probabilitas \(\sigma(z) = 1/(1+e^{-z})\). Contoh: \(z=0\) memberi 0,5; \(z=2\) memberi sekitar 0,88; \(z=-2\) sekitar 0,12. predict memilih kelas dengan ambang 0,5, sedangkan predict_proba menunjukkan probabilitasnya.
| logistic_regression.py | |
|---|---|
model.predict_proba(X_test.iloc[:3]) mengembalikan tabel dengan satu kolom per kelas (kolom 0 = P(kelas 0), kolom 1 = P(kelas 1)); [:, 1] mengambil semua baris kolom kedua, yaitu probabilitas kelas 1. X_test.iloc[:3] memilih tiga baris pertama berdasarkan posisi (lihat loc vs iloc).
Interpretasi. Probabilitas jinak untuk tiga sampel adalah ≈ 0, 1, dan 0,006, sesuai label asli (0, 1, 0). Model sangat yakin pada contoh ini. Probabilitas berguna karena ambang 0,5 dapat digeser sesuai biaya kesalahan (lihat Evaluasi Model).
Langkah 3: membaca koefisien¶
| Kode | Penjelasan |
|---|---|
model[-1] |
Mengambil langkah terakhir pipeline (regresi logistik); model[0] adalah scaler. |
.coef_[0] |
Bobot \(w\) yang dipelajari (atribut berakhiran _ = hasil pelatihan); [0] karena klasifikasi biner hanya memiliki satu baris bobot. |
pd.Series(..., index=X.columns) |
Memasangkan tiap bobot dengan nama fiturnya. |
.sort_values(), .head(3), .tail(3) |
Mengurutkan naik; tiga terkecil (paling negatif) dan tiga terbesar. |
Koefisien paling negatif (mendorong ke kelas 0 = ganas):
worst texture -1.26
radius error -1.08
worst concave points -0.95
Koefisien paling positif (mendorong ke kelas 1 = jinak):
fractal dimension error 0.44
compactness error 0.65
mean compactness 0.65
Interpretasi. Karena fitur sudah distandardisasi, besar koefisien dapat dibandingkan. worst texture (-1,26), radius error (-1,08), dan worst concave points (-0,95) mendorong prediksi ke kelas ganas (0). Bobot positif mendorong ke kelas jinak (1).
Hati-hati menafsirkan koefisien
Koefisien mean compactness bertanda positif (+0,65), padahal tumor ganas umumnya lebih kompak. Ini efek fitur yang saling berkorelasi (multikolinearitas): bobot dibagi di antara fitur serupa dan tanda individual bisa menyesatkan. Tafsirkan koefisien sebagai bagian dari model keseluruhan, bukan sebagai pengaruh sebab-akibat satu fitur.
Langkah 4: hyperparameter C (kekuatan regularisasi)¶
Konsep. C adalah hyperparameter: ditetapkan sebelum pelatihan, berbeda dari koefisien (parameter yang dipelajari). C kecil = regularisasi kuat (bobot ditekan, model sederhana); C besar = regularisasi lemah.
for C in [...] mengulang untuk tiap nilai; di dalamnya dibuat pipeline baru dengan C tersebut, lalu cross_val_score(..., scoring="f1") menilainya pada data latih dengan 5 lipatan. Format {C:<8} meratakan teks ke kiri selebar 8 karakter.
Interpretasi. F1 validasi silang 0,912 pada C=0,001 (terlalu teregularisasi: underfitting), naik ke 0,985 pada C=0,1, 0,984 pada C=1, lalu turun ke 0,965 pada C=100 (regularisasi terlalu lemah). Nilai terbaik di tengah; C=0,1 hingga 1 hampir setara. Pemilihan C dilakukan dengan validasi silang pada data latih, bukan dengan data uji.
Program lengkap (logistic_regression.py)
Kesalahan umum¶
Hindari
- Tidak melakukan scaling lalu membandingkan koefisien antar fitur.
- Menafsirkan koefisien individual pada fitur yang sangat berkorelasi.
- Menganggap probabilitas model selalu terkalibrasi.
- Menggunakan ambang 0,5 tanpa mempertimbangkan biaya kesalahan.
Latihan¶
- Coba
penalty="l1"dengansolver="liblinear". Berapa koefisien yang menjadi nol? - Latih hanya dengan fitur
mean. Bagaimana F1 validasi silangnya? - Hitung
predict_probauntuk seluruh data uji dan temukan sampel dengan probabilitas paling mendekati 0,5.
Ringkasan¶
Logistic Regression memodelkan peluang kelas dengan sigmoid dari skor linear. C mengatur kekuatan regularisasi. Ia cepat dan menjadi baseline yang kuat, tetapi koefisiennya perlu ditafsirkan hati-hati.
Berikutnya: K-Nearest Neighbors (KNN).