Naive Bayes¶
Gambaran singkat¶
Apa ini? Naive Bayes menghitung peluang tiap kelas dari fitur-fiturnya dengan teorema Bayes, dengan anggapan "naif" bahwa fitur saling bebas.
Analogi
Menebak email spam dari kata di dalamnya. Kata "gratis" dan "hadiah" lebih sering muncul di spam. Anda mengalikan peluang tiap kata seolah kata-kata itu tidak saling memengaruhi. Anggapan itu kasar, tetapi sering cukup berhasil.
Mengapa penting? Model ini sangat cepat, bekerja baik pada data kecil, dan populer untuk klasifikasi teks. Ia juga baseline yang bagus.
Yang akan dipelajari, berurutan:
- Teorema Bayes dan asumsi independensi fitur.
GaussianNBuntuk angka danMultinomialNBuntuk cacah kata.- Mengapa model tetap berguna walau asumsinya tidak sepenuhnya benar.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
| Prior | Peluang awal suatu kelas sebelum melihat fitur |
| Independen | Tidak saling memengaruhi |
| Laplace smoothing | Cara mencegah peluang nol untuk kata yang belum pernah muncul |
| Probabilitas | Angka 0 sampai 1 yang menyatakan kemungkinan |
Tujuan pembelajaran¶
- Menjelaskan teorema Bayes dan asumsi "naif" independensi fitur.
- Membedakan
GaussianNB(fitur numerik) danMultinomialNB(cacah kata). - Memahami mengapa Naive Bayes tetap berguna meskipun asumsinya tidak terpenuhi.
Intuisi¶
Naive Bayes menghitung peluang tiap kelas berdasarkan teorema Bayes:
\(P(c)\) adalah peluang awal (prior) kelas \(c\), dan \(P(x_j \mid c)\) peluang fitur \(x_j\) pada kelas tersebut. Bagian "naif" adalah asumsi bahwa fitur saling independen jika kelasnya diketahui, yang membuat peluang gabungan cukup berupa perkalian. Kelas dengan hasil tertinggi dipilih.
GaussianNB: tiap fitur numerik per kelas dimodelkan dengan distribusi normal.MultinomialNB: untuk cacah (misalnya frekuensi kata pada teks); parameteralpha(Laplace smoothing) mencegah peluang nol bagi kata yang tidak pernah muncul pada suatu kelas.
Ringkasan model¶
| Aspek | Keterangan |
|---|---|
| Kelebihan | Sangat cepat, bekerja pada data kecil, baik untuk teks berdimensi tinggi |
| Keterbatasan | Asumsi independensi jarang benar; probabilitas cenderung terlalu ekstrem |
| Hyperparameter penting | var_smoothing (Gaussian), alpha (Multinomial) |
| Praproses | Tidak perlu scaling untuk GaussianNB; teks perlu diubah menjadi cacah kata |
| Cocok untuk | Baseline cepat, klasifikasi teks (spam, topik) |
Implementasi langkah demi langkah¶
Program examples/classification/naive_bayes.py terdiri atas dua bagian: Bagian 1 memakai Breast Cancer (data publik, fitur numerik); Bagian 2 memakai 8 kalimat sintetis buatan sendiri, hanya untuk ilustrasi mekanisme teks, bukan data nyata.
Langkah 1: GaussianNB pada fitur numerik¶
Tujuan. Melatih Naive Bayes untuk fitur numerik; asumsi tiap fitur berdistribusi normal di dalam tiap kelas.
| Kode | Penjelasan |
|---|---|
GaussianNB() |
Menginisialisasi model. Tidak ada hyperparameter penting yang harus disetel; tidak perlu scaling. |
cross_val_score(gnb, X_train, y_train, cv=5).mean() |
Akurasi validasi silang pada data latih. |
gnb.fit(X_train, y_train) |
Melatih: untuk tiap kelas, menghitung rata-rata dan varians tiap fitur, serta proporsi kelas. |
gnb.class_prior_ |
Prior kelas: peluang tiap kelas sebelum melihat fitur; hasil pelatihan (berakhiran _), sama dengan proporsi kelas di data latih. |
GaussianNB akurasi CV: 0.936
prior kelas [ganas, jinak]: [0.374 0.626]
precision recall f1-score support
0 0.927 0.905 0.916 42
1 0.945 0.958 0.952 72
accuracy 0.939 114
macro avg 0.936 0.932 0.934 114
weighted avg 0.938 0.939 0.938 114
Interpretasi. Akurasi validasi silang 0,936 dan akurasi uji 0,939, lebih rendah daripada regresi logistik dan SVM. Prior kelas ganas 0,374 dan jinak 0,626 hanya proporsi kelas pada data latih. Hasil uji ini kebetulan sama persis dengan pohon berkedalaman 3 (sama-sama 7 kesalahan dari 114), bukan karena kedua model sama.
Langkah 2: memeriksa asumsi independensi¶
| naive_bayes.py | |
|---|---|
X_train[[...]].corr() menghitung korelasi antar-tiga fitur ukuran tumor pada data latih; .round(3) membulatkannya.
Korelasi antar fitur ukuran tumor:
mean radius mean perimeter mean area
mean radius 1.000 0.998 0.989
mean perimeter 0.998 1.000 0.988
mean area 0.989 0.988 1.000
Interpretasi. Korelasi mean radius–mean perimeter 0,998 dan mean radius–mean area 0,989. Fitur-fitur ini membawa informasi yang hampir sama, tetapi Naive Bayes memperlakukannya sebagai bukti independen sehingga bukti "dihitung berulang" dan model menjadi terlalu yakin. Akurasinya masih wajar karena keputusan kelas tidak sepenuhnya bergantung pada kalibrasi probabilitas.
Langkah 3: MultinomialNB pada teks¶
Konsep. Model hanya menerima angka, jadi teks diubah menjadi cacah kata (bag of words): tiap kalimat menjadi vektor jumlah kemunculan tiap kata. CountVectorizer melakukannya; MultinomialNB lalu menghitung peluang tiap kata pada tiap kelas. Parameter alpha (Laplace smoothing) menambahkan hitungan kecil agar kata yang tidak pernah muncul pada satu kelas tidak memberi peluang nol.
| Kode | Penjelasan |
|---|---|
docs = [...] |
Daftar 8 kalimat latih (4 bergaya spam, 4 bukan spam). Sintetis, sangat kecil. |
labels = np.array([1, 1, 1, 1, 0, 0, 0, 0]) |
Label tiap kalimat: 1 = spam, 0 = bukan spam, sejajar urutannya dengan docs. |
make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0)) |
Merangkai pengubah teks dan model. CountVectorizer belajar daftar kata (kosakata) dari data latih. |
text_model.fit(docs, labels) |
Latih: membangun kosakata dan menghitung peluang kata per kelas. |
predict_proba(tests)[:, 1] |
Probabilitas spam (kolom kelas 1) untuk tiga kalimat baru; pipeline otomatis mengubah teks baru dengan kosakata yang sama. |
for t, p in zip(tests, ...) |
zip memasangkan tiap kalimat dengan probabilitasnya; f-string f"{p:.3f}" menampilkannya dengan tiga desimal. |
P(spam | 'hadiah gratis klik') = 0.978
P(spam | 'laporan rapat proyek') = 0.034
P(spam | 'diskon laporan') = 0.490
Interpretasi. "hadiah gratis klik" mendapat \(P(\text{spam}) = 0{,}978\) karena ketiga katanya khas spam; "laporan rapat proyek" 0,034; "diskon laporan" 0,490 karena satu kata khas spam dan satu kata khas bukan-spam saling mengimbangi. Dengan hanya 8 kalimat, angka ini hanya ilustrasi mekanisme dan tidak menunjukkan kualitas model pada data teks nyata.
Program lengkap (naive_bayes.py)
Kesalahan umum¶
Hindari
- Memakai probabilitas Naive Bayes sebagai estimasi terkalibrasi.
- Memakai
MultinomialNBpada fitur bernilai negatif (misalnya hasil scaling). - Mengabaikan
alpha;alpha=0menyebabkan peluang nol bagi kata baru. - Menyimpulkan kualitas model dari contoh teks kecil.
Latihan¶
- Ubah
alphapadaMultinomialNBmenjadi 0,01 dan 10. Bagaimana probabilitas "diskon laporan" berubah? - Naikkan
var_smoothingpadaGaussianNB(mis.1e-5,1e-2). Apakah akurasi CV berubah? - Hapus dua fitur ukuran yang berkorelasi tinggi. Apakah akurasi Naive Bayes naik?
Ringkasan¶
Naive Bayes mengalikan peluang fitur per kelas dengan asumsi independensi. Cepat dan efektif untuk teks, tetapi asumsinya sering dilanggar sehingga probabilitasnya tidak boleh dipercaya begitu saja.
Berikutnya: Perbandingan dan Pemilihan Model.