Lewati ke isi

Logistic Regression

Gambaran singkat

Apa ini? Model yang menghitung skor dari fitur, lalu mengubahnya menjadi probabilitas (0 sampai 1) bahwa data termasuk kelas tertentu.

Analogi

Dokter menjumlahkan poin risiko: umur, tekanan darah, kebiasaan merokok. Makin tinggi total poin, makin besar kemungkinan sakit, lalu poin diubah menjadi persentase. Itulah logistic regression; meski bernama "regresi", ia dipakai untuk klasifikasi.

Mengapa penting? Model ini cepat, stabil, memberi probabilitas, dan bobotnya bisa dibaca. Ia sering menjadi model pertama yang dicoba.

Yang akan dipelajari, berurutan:

  1. Dari skor linear menjadi probabilitas (fungsi sigmoid).
  2. Regularisasi dan parameter C agar model tidak terlalu rumit.
  3. Melatih, memprediksi, dan membaca koefisien dengan hati-hati.

Istilah awal:

Istilah Arti sederhana
Sigmoid Fungsi yang mengubah skor apa pun menjadi angka 0 sampai 1
Koefisien / bobot Seberapa besar tiap fitur memengaruhi skor
Regularisasi Penalti agar model tidak terlalu rumit
C Pengatur regularisasi; kecil = lebih kuat

Tujuan pembelajaran

  • Menjelaskan bagaimana Logistic Regression mengubah skor linear menjadi probabilitas.
  • Memahami peran regularisasi dan parameter C.
  • Melatih, memprediksi, dan menafsirkan koefisien dengan hati-hati.

Intuisi

Logistic Regression menghitung skor linear dari fitur, lalu memetakannya ke probabilitas 0–1 dengan fungsi sigmoid. Meskipun bernama "regresi", model ini untuk klasifikasi.

\[ z = b + w_1 x_1 + \dots + w_p x_p, \qquad P(y=1 \mid \mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}} \]

\(x_j\) adalah fitur, \(w_j\) bobot, \(b\) bias. Skor \(z\) positif berarti peluang kelas 1 di atas 0,5. Bobot dipelajari dengan meminimalkan log loss ditambah penalti regularisasi (L2 secara bawaan):

\[ \min_{\mathbf{w}, b}\; \frac{1}{2}\lVert \mathbf{w} \rVert^2 + C \sum_{i=1}^{n} \ell_i \]

\(\ell_i\) adalah log loss sampel ke-\(i\). C kecil = regularisasi kuat (bobot ditekan, model lebih sederhana); C besar = regularisasi lemah.

Ringkasan model

Aspek Keterangan
Kelebihan Cepat, stabil, menghasilkan probabilitas, koefisien dapat ditafsirkan
Keterbatasan Batas keputusan linear; koefisien tidak stabil bila fitur sangat berkorelasi
Hyperparameter penting C, penalty, class_weight, max_iter
Praproses Scaling sangat dianjurkan
Cocok untuk Baseline pertama, kebutuhan probabilitas dan penjelasan

Implementasi langkah demi langkah

Program examples/classification/logistic_regression.py memakai data Breast Cancer. Langkah memuat data dan membagi data sama dengan pelajaran sebelumnya, jadi tidak dijelaskan ulang.

Langkah 1: melatih model dan membaca laporan klasifikasi

Tujuan. Melatih regresi logistik pada data latih dan menilainya pada data uji.

logistic_regression.py
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

SEED = 42
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=SEED
)

# 1. Latih dan evaluasi
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
model.fit(X_train, y_train)
print(classification_report(y_test, model.predict(X_test), digits=3))
Kode Penjelasan
make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)) Pipeline: standardisasi lalu regresi logistik (max_iter = batas iterasi optimisasi).
model.fit(X_train, y_train) Melatih: scaler menghitung rata-rata/simpangan baku, regresi logistik mempelajari bobot \(w\) dan bias \(b\). Dilakukan hanya pada data latih.
model.predict(X_test) Memprediksi kelas (0 atau 1) untuk data uji. Scaler yang sama (parameter dari data latih) otomatis dipakai dulu.
classification_report(y_test, y_pred, digits=3) Tabel metrik per kelas: precision, recall, f1-score, dan support (jumlah sampel sebenarnya tiap kelas pada data uji).
              precision    recall  f1-score   support

           0      0.976     0.976     0.976        42
           1      0.986     0.986     0.986        72

    accuracy                          0.982       114
   macro avg      0.981     0.981     0.981       114
weighted avg      0.982     0.982     0.982       114

Cara membaca laporan. Baris 0 dan 1 adalah metrik tiap kelas (0 = ganas, 1 = jinak). accuracy adalah proporsi prediksi benar keseluruhan. macro avg merata-ratakan metrik antar-kelas dengan bobot sama; weighted avg memberi bobot menurut support.

Interpretasi. Accuracy 0,982: dari 114 data uji hanya 2 yang salah. Precision dan recall kelas ganas (0) 0,976 dan kelas jinak (1) 0,986. Dengan data uji sekecil ini, selisih satu atau dua sampel mengubah angka cukup besar.

Langkah 2: probabilitas, bukan hanya kelas

Konsep. Regresi logistik menghitung skor linear \(z = b + w_1x_1 + \dots\), lalu mengubahnya menjadi probabilitas \(\sigma(z) = 1/(1+e^{-z})\). Contoh: \(z=0\) memberi 0,5; \(z=2\) memberi sekitar 0,88; \(z=-2\) sekitar 0,12. predict memilih kelas dengan ambang 0,5, sedangkan predict_proba menunjukkan probabilitasnya.

logistic_regression.py
# 2. Probabilitas untuk 3 sampel uji
proba = model.predict_proba(X_test.iloc[:3])[:, 1]
print("P(kelas 1) 3 sampel pertama:", proba.round(3), "| label asli:", y_test.iloc[:3].tolist())

model.predict_proba(X_test.iloc[:3]) mengembalikan tabel dengan satu kolom per kelas (kolom 0 = P(kelas 0), kolom 1 = P(kelas 1)); [:, 1] mengambil semua baris kolom kedua, yaitu probabilitas kelas 1. X_test.iloc[:3] memilih tiga baris pertama berdasarkan posisi (lihat loc vs iloc).

P(kelas 1) 3 sampel pertama: [0.    1.    0.006] | label asli: [0, 1, 0]

Interpretasi. Probabilitas jinak untuk tiga sampel adalah ≈ 0, 1, dan 0,006, sesuai label asli (0, 1, 0). Model sangat yakin pada contoh ini. Probabilitas berguna karena ambang 0,5 dapat digeser sesuai biaya kesalahan (lihat Evaluasi Model).

Langkah 3: membaca koefisien

logistic_regression.py
# 3. Koefisien (fitur sudah distandardisasi, sehingga dapat dibandingkan)
coef = pd.Series(model[-1].coef_[0], index=X.columns).sort_values()
print("\nKoefisien paling negatif (mendorong ke kelas 0 = ganas):")
print(coef.head(3).round(2).to_string())
print("Koefisien paling positif (mendorong ke kelas 1 = jinak):")
print(coef.tail(3).round(2).to_string())
Kode Penjelasan
model[-1] Mengambil langkah terakhir pipeline (regresi logistik); model[0] adalah scaler.
.coef_[0] Bobot \(w\) yang dipelajari (atribut berakhiran _ = hasil pelatihan); [0] karena klasifikasi biner hanya memiliki satu baris bobot.
pd.Series(..., index=X.columns) Memasangkan tiap bobot dengan nama fiturnya.
.sort_values(), .head(3), .tail(3) Mengurutkan naik; tiga terkecil (paling negatif) dan tiga terbesar.
Koefisien paling negatif (mendorong ke kelas 0 = ganas):
worst texture          -1.26
radius error           -1.08
worst concave points   -0.95
Koefisien paling positif (mendorong ke kelas 1 = jinak):
fractal dimension error    0.44
compactness error          0.65
mean compactness           0.65

Interpretasi. Karena fitur sudah distandardisasi, besar koefisien dapat dibandingkan. worst texture (-1,26), radius error (-1,08), dan worst concave points (-0,95) mendorong prediksi ke kelas ganas (0). Bobot positif mendorong ke kelas jinak (1).

Hati-hati menafsirkan koefisien

Koefisien mean compactness bertanda positif (+0,65), padahal tumor ganas umumnya lebih kompak. Ini efek fitur yang saling berkorelasi (multikolinearitas): bobot dibagi di antara fitur serupa dan tanda individual bisa menyesatkan. Tafsirkan koefisien sebagai bagian dari model keseluruhan, bukan sebagai pengaruh sebab-akibat satu fitur.

Langkah 4: hyperparameter C (kekuatan regularisasi)

Konsep. C adalah hyperparameter: ditetapkan sebelum pelatihan, berbeda dari koefisien (parameter yang dipelajari). C kecil = regularisasi kuat (bobot ditekan, model sederhana); C besar = regularisasi lemah.

logistic_regression.py
# 4. Pengaruh kekuatan regularisasi C (kecil = regularisasi kuat)
print("\nC        F1 (CV 5 lipatan)")
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
    m = make_pipeline(StandardScaler(), LogisticRegression(C=C, max_iter=1000))
    print(f"{C:<8} {cross_val_score(m, X_train, y_train, cv=5, scoring='f1').mean():.3f}")

for C in [...] mengulang untuk tiap nilai; di dalamnya dibuat pipeline baru dengan C tersebut, lalu cross_val_score(..., scoring="f1") menilainya pada data latih dengan 5 lipatan. Format {C:<8} meratakan teks ke kiri selebar 8 karakter.

C        F1 (CV 5 lipatan)
0.001    0.912
0.01     0.963
0.1      0.985
1        0.984
10       0.975
100      0.965

Interpretasi. F1 validasi silang 0,912 pada C=0,001 (terlalu teregularisasi: underfitting), naik ke 0,985 pada C=0,1, 0,984 pada C=1, lalu turun ke 0,965 pada C=100 (regularisasi terlalu lemah). Nilai terbaik di tengah; C=0,1 hingga 1 hampir setara. Pemilihan C dilakukan dengan validasi silang pada data latih, bukan dengan data uji.

Program lengkap (logistic_regression.py)
logistic_regression.py
import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

SEED = 42
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=SEED
)

# 1. Latih dan evaluasi
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
model.fit(X_train, y_train)
print(classification_report(y_test, model.predict(X_test), digits=3))

# 2. Probabilitas untuk 3 sampel uji
proba = model.predict_proba(X_test.iloc[:3])[:, 1]
print("P(kelas 1) 3 sampel pertama:", proba.round(3), "| label asli:", y_test.iloc[:3].tolist())

# 3. Koefisien (fitur sudah distandardisasi, sehingga dapat dibandingkan)
coef = pd.Series(model[-1].coef_[0], index=X.columns).sort_values()
print("\nKoefisien paling negatif (mendorong ke kelas 0 = ganas):")
print(coef.head(3).round(2).to_string())
print("Koefisien paling positif (mendorong ke kelas 1 = jinak):")
print(coef.tail(3).round(2).to_string())

# 4. Pengaruh kekuatan regularisasi C (kecil = regularisasi kuat)
print("\nC        F1 (CV 5 lipatan)")
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
    m = make_pipeline(StandardScaler(), LogisticRegression(C=C, max_iter=1000))
    print(f"{C:<8} {cross_val_score(m, X_train, y_train, cv=5, scoring='f1').mean():.3f}")

Kesalahan umum

Hindari

  • Tidak melakukan scaling lalu membandingkan koefisien antar fitur.
  • Menafsirkan koefisien individual pada fitur yang sangat berkorelasi.
  • Menganggap probabilitas model selalu terkalibrasi.
  • Menggunakan ambang 0,5 tanpa mempertimbangkan biaya kesalahan.

Latihan

  1. Coba penalty="l1" dengan solver="liblinear". Berapa koefisien yang menjadi nol?
  2. Latih hanya dengan fitur mean. Bagaimana F1 validasi silangnya?
  3. Hitung predict_proba untuk seluruh data uji dan temukan sampel dengan probabilitas paling mendekati 0,5.

Ringkasan

Logistic Regression memodelkan peluang kelas dengan sigmoid dari skor linear. C mengatur kekuatan regularisasi. Ia cepat dan menjadi baseline yang kuat, tetapi koefisiennya perlu ditafsirkan hati-hati.

Berikutnya: K-Nearest Neighbors (KNN).