Lewati ke isi

Naive Bayes

Gambaran singkat

Apa ini? Naive Bayes menghitung peluang tiap kelas dari fitur-fiturnya dengan teorema Bayes, dengan anggapan "naif" bahwa fitur saling bebas.

Analogi

Menebak email spam dari kata di dalamnya. Kata "gratis" dan "hadiah" lebih sering muncul di spam. Anda mengalikan peluang tiap kata seolah kata-kata itu tidak saling memengaruhi. Anggapan itu kasar, tetapi sering cukup berhasil.

Mengapa penting? Model ini sangat cepat, bekerja baik pada data kecil, dan populer untuk klasifikasi teks. Ia juga baseline yang bagus.

Yang akan dipelajari, berurutan:

  1. Teorema Bayes dan asumsi independensi fitur.
  2. GaussianNB untuk angka dan MultinomialNB untuk cacah kata.
  3. Mengapa model tetap berguna walau asumsinya tidak sepenuhnya benar.

Istilah awal:

Istilah Arti sederhana
Prior Peluang awal suatu kelas sebelum melihat fitur
Independen Tidak saling memengaruhi
Laplace smoothing Cara mencegah peluang nol untuk kata yang belum pernah muncul
Probabilitas Angka 0 sampai 1 yang menyatakan kemungkinan

Tujuan pembelajaran

  • Menjelaskan teorema Bayes dan asumsi "naif" independensi fitur.
  • Membedakan GaussianNB (fitur numerik) dan MultinomialNB (cacah kata).
  • Memahami mengapa Naive Bayes tetap berguna meskipun asumsinya tidak terpenuhi.

Intuisi

Naive Bayes menghitung peluang tiap kelas berdasarkan teorema Bayes:

\[ P(c \mid x_1, \dots, x_p) \;\propto\; P(c)\,\prod_{j=1}^{p} P(x_j \mid c) \]

\(P(c)\) adalah peluang awal (prior) kelas \(c\), dan \(P(x_j \mid c)\) peluang fitur \(x_j\) pada kelas tersebut. Bagian "naif" adalah asumsi bahwa fitur saling independen jika kelasnya diketahui, yang membuat peluang gabungan cukup berupa perkalian. Kelas dengan hasil tertinggi dipilih.

  • GaussianNB: tiap fitur numerik per kelas dimodelkan dengan distribusi normal.
  • MultinomialNB: untuk cacah (misalnya frekuensi kata pada teks); parameter alpha (Laplace smoothing) mencegah peluang nol bagi kata yang tidak pernah muncul pada suatu kelas.

Ringkasan model

Aspek Keterangan
Kelebihan Sangat cepat, bekerja pada data kecil, baik untuk teks berdimensi tinggi
Keterbatasan Asumsi independensi jarang benar; probabilitas cenderung terlalu ekstrem
Hyperparameter penting var_smoothing (Gaussian), alpha (Multinomial)
Praproses Tidak perlu scaling untuk GaussianNB; teks perlu diubah menjadi cacah kata
Cocok untuk Baseline cepat, klasifikasi teks (spam, topik)

Implementasi langkah demi langkah

Program examples/classification/naive_bayes.py terdiri atas dua bagian: Bagian 1 memakai Breast Cancer (data publik, fitur numerik); Bagian 2 memakai 8 kalimat sintetis buatan sendiri, hanya untuk ilustrasi mekanisme teks, bukan data nyata.

Langkah 1: GaussianNB pada fitur numerik

Tujuan. Melatih Naive Bayes untuk fitur numerik; asumsi tiap fitur berdistribusi normal di dalam tiap kelas.

naive_bayes.py
# ---------- Bagian 1: GaussianNB pada fitur numerik (Breast Cancer) ----------
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=SEED
)
gnb = GaussianNB()
print("GaussianNB akurasi CV: %.3f" % cross_val_score(gnb, X_train, y_train, cv=5).mean())
gnb.fit(X_train, y_train)
print("prior kelas [ganas, jinak]:", gnb.class_prior_.round(3))
print(classification_report(y_test, gnb.predict(X_test), digits=3))
Kode Penjelasan
GaussianNB() Menginisialisasi model. Tidak ada hyperparameter penting yang harus disetel; tidak perlu scaling.
cross_val_score(gnb, X_train, y_train, cv=5).mean() Akurasi validasi silang pada data latih.
gnb.fit(X_train, y_train) Melatih: untuk tiap kelas, menghitung rata-rata dan varians tiap fitur, serta proporsi kelas.
gnb.class_prior_ Prior kelas: peluang tiap kelas sebelum melihat fitur; hasil pelatihan (berakhiran _), sama dengan proporsi kelas di data latih.
GaussianNB akurasi CV: 0.936
prior kelas [ganas, jinak]: [0.374 0.626]
              precision    recall  f1-score   support

           0      0.927     0.905     0.916        42
           1      0.945     0.958     0.952        72

    accuracy                          0.939       114
   macro avg      0.936     0.932     0.934       114
weighted avg      0.938     0.939     0.938       114

Interpretasi. Akurasi validasi silang 0,936 dan akurasi uji 0,939, lebih rendah daripada regresi logistik dan SVM. Prior kelas ganas 0,374 dan jinak 0,626 hanya proporsi kelas pada data latih. Hasil uji ini kebetulan sama persis dengan pohon berkedalaman 3 (sama-sama 7 kesalahan dari 114), bukan karena kedua model sama.

Langkah 2: memeriksa asumsi independensi

naive_bayes.py
# Asumsi independensi: banyak fitur sangat berkorelasi
corr = X_train[["mean radius", "mean perimeter", "mean area"]].corr().round(3)
print("Korelasi antar fitur ukuran tumor:\n", corr)

X_train[[...]].corr() menghitung korelasi antar-tiga fitur ukuran tumor pada data latih; .round(3) membulatkannya.

Korelasi antar fitur ukuran tumor:
                 mean radius  mean perimeter  mean area
mean radius           1.000           0.998      0.989
mean perimeter        0.998           1.000      0.988
mean area             0.989           0.988      1.000

Interpretasi. Korelasi mean radius–mean perimeter 0,998 dan mean radius–mean area 0,989. Fitur-fitur ini membawa informasi yang hampir sama, tetapi Naive Bayes memperlakukannya sebagai bukti independen sehingga bukti "dihitung berulang" dan model menjadi terlalu yakin. Akurasinya masih wajar karena keputusan kelas tidak sepenuhnya bergantung pada kalibrasi probabilitas.

Langkah 3: MultinomialNB pada teks

Konsep. Model hanya menerima angka, jadi teks diubah menjadi cacah kata (bag of words): tiap kalimat menjadi vektor jumlah kemunculan tiap kata. CountVectorizer melakukannya; MultinomialNB lalu menghitung peluang tiap kata pada tiap kelas. Parameter alpha (Laplace smoothing) menambahkan hitungan kecil agar kata yang tidak pernah muncul pada satu kelas tidak memberi peluang nol.

naive_bayes.py
# ---------- Bagian 2: MultinomialNB pada teks (contoh SINTETIS kecil) ----------
docs = [
    "diskon besar gratis hadiah klik sekarang", "menang hadiah gratis hubungi segera",
    "promo gratis ongkir diskon besar", "klik tautan hadiah menang uang",
    "rapat proyek dijadwalkan besok pagi", "mohon kirim laporan proyek hari ini",
    "jadwal kuliah berubah mohon cek", "laporan keuangan rapat besok",
]
labels = np.array([1, 1, 1, 1, 0, 0, 0, 0])  # 1 = spam, 0 = bukan spam

text_model = make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0))
text_model.fit(docs, labels)
tests = ["hadiah gratis klik", "laporan rapat proyek", "diskon laporan"]
for t, p in zip(tests, text_model.predict_proba(tests)[:, 1]):
    print(f"P(spam | '{t}') = {p:.3f}")
Kode Penjelasan
docs = [...] Daftar 8 kalimat latih (4 bergaya spam, 4 bukan spam). Sintetis, sangat kecil.
labels = np.array([1, 1, 1, 1, 0, 0, 0, 0]) Label tiap kalimat: 1 = spam, 0 = bukan spam, sejajar urutannya dengan docs.
make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0)) Merangkai pengubah teks dan model. CountVectorizer belajar daftar kata (kosakata) dari data latih.
text_model.fit(docs, labels) Latih: membangun kosakata dan menghitung peluang kata per kelas.
predict_proba(tests)[:, 1] Probabilitas spam (kolom kelas 1) untuk tiga kalimat baru; pipeline otomatis mengubah teks baru dengan kosakata yang sama.
for t, p in zip(tests, ...) zip memasangkan tiap kalimat dengan probabilitasnya; f-string f"{p:.3f}" menampilkannya dengan tiga desimal.
P(spam | 'hadiah gratis klik') = 0.978
P(spam | 'laporan rapat proyek') = 0.034
P(spam | 'diskon laporan') = 0.490

Interpretasi. "hadiah gratis klik" mendapat \(P(\text{spam}) = 0{,}978\) karena ketiga katanya khas spam; "laporan rapat proyek" 0,034; "diskon laporan" 0,490 karena satu kata khas spam dan satu kata khas bukan-spam saling mengimbangi. Dengan hanya 8 kalimat, angka ini hanya ilustrasi mekanisme dan tidak menunjukkan kualitas model pada data teks nyata.

Program lengkap (naive_bayes.py)
naive_bayes.py
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics import classification_report
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.naive_bayes import GaussianNB, MultinomialNB
from sklearn.pipeline import make_pipeline

SEED = 42

# ---------- Bagian 1: GaussianNB pada fitur numerik (Breast Cancer) ----------
X, y = load_breast_cancer(return_X_y=True, as_frame=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=SEED
)
gnb = GaussianNB()
print("GaussianNB akurasi CV: %.3f" % cross_val_score(gnb, X_train, y_train, cv=5).mean())
gnb.fit(X_train, y_train)
print("prior kelas [ganas, jinak]:", gnb.class_prior_.round(3))
print(classification_report(y_test, gnb.predict(X_test), digits=3))

# Asumsi independensi: banyak fitur sangat berkorelasi
corr = X_train[["mean radius", "mean perimeter", "mean area"]].corr().round(3)
print("Korelasi antar fitur ukuran tumor:\n", corr)

# ---------- Bagian 2: MultinomialNB pada teks (contoh SINTETIS kecil) ----------
docs = [
    "diskon besar gratis hadiah klik sekarang", "menang hadiah gratis hubungi segera",
    "promo gratis ongkir diskon besar", "klik tautan hadiah menang uang",
    "rapat proyek dijadwalkan besok pagi", "mohon kirim laporan proyek hari ini",
    "jadwal kuliah berubah mohon cek", "laporan keuangan rapat besok",
]
labels = np.array([1, 1, 1, 1, 0, 0, 0, 0])  # 1 = spam, 0 = bukan spam

text_model = make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0))
text_model.fit(docs, labels)
tests = ["hadiah gratis klik", "laporan rapat proyek", "diskon laporan"]
for t, p in zip(tests, text_model.predict_proba(tests)[:, 1]):
    print(f"P(spam | '{t}') = {p:.3f}")

Kesalahan umum

Hindari

  • Memakai probabilitas Naive Bayes sebagai estimasi terkalibrasi.
  • Memakai MultinomialNB pada fitur bernilai negatif (misalnya hasil scaling).
  • Mengabaikan alpha; alpha=0 menyebabkan peluang nol bagi kata baru.
  • Menyimpulkan kualitas model dari contoh teks kecil.

Latihan

  1. Ubah alpha pada MultinomialNB menjadi 0,01 dan 10. Bagaimana probabilitas "diskon laporan" berubah?
  2. Naikkan var_smoothing pada GaussianNB (mis. 1e-5, 1e-2). Apakah akurasi CV berubah?
  3. Hapus dua fitur ukuran yang berkorelasi tinggi. Apakah akurasi Naive Bayes naik?

Ringkasan

Naive Bayes mengalikan peluang fitur per kelas dengan asumsi independensi. Cepat dan efektif untuk teks, tetapi asumsinya sering dilanggar sehingga probabilitasnya tidak boleh dipercaya begitu saja.

Berikutnya: Perbandingan dan Pemilihan Model.