Lewati ke isi

Exploratory Data Analysis (EDA)

Gambaran singkat

Apa ini? EDA (Exploratory Data Analysis) adalah tahap mengenal data sebelum membuat model.

Analogi

Sebelum membeli rumah, Anda mengecek kondisinya, lingkungan, dan masalah tersembunyi. Anda tidak langsung tanda tangan.

Mengapa penting? Banyak kegagalan model berasal dari data yang tidak dikenali, misalnya nilai hilang atau skala yang berbeda. EDA mengubah temuan menjadi keputusan praproses.

Yang akan dipelajari, berurutan:

  1. Daftar periksa EDA yang sistematis.
  2. Mengenali masalah kualitas data.
  3. Memeriksa sebaran target dan hubungan fitur dengan target.
  4. Menerjemahkan temuan menjadi keputusan praproses.

Istilah awal:

Istilah Arti sederhana
EDA Memeriksa dan merangkum data sebelum memodelkan
Distribusi Pola sebaran nilai
Outlier Nilai yang sangat jauh dari kebanyakan data

Tujuan pembelajaran

  • Menjalankan alur EDA sistematis pada dataset baru.
  • Mengenali masalah kualitas data: nilai hilang, duplikat, outlier.
  • Memeriksa distribusi target dan hubungan fitur dengan target.
  • Menerjemahkan temuan EDA menjadi keputusan praproses.

Konsep dasar

EDA adalah tahap mengenal data sebelum memodelkan. Tujuannya bukan membuat model, tetapi menjawab: Data apa ini? Seberapa bersih? Bagaimana targetnya? Fitur mana yang tampak informatif? Keputusan praproses dan pemilihan metrik bergantung pada jawabannya.

Daftar periksa EDA

  1. Ukuran dan tipe: jumlah baris/kolom, tipe tiap kolom sesuai maknanya?
  2. Data hilang: kolom mana, berapa persen?
  3. Duplikat.
  4. Ringkasan statistik numerik dan kategorik: rentang masuk akal?
  5. Distribusi target: seimbang atau tidak? (menentukan metrik dan strategi split)
  6. Hubungan fitur–target dan antar fitur.
  7. Catat keputusan untuk tahap praproses.

Hati-hati dengan data uji

Lakukan EDA yang memengaruhi keputusan modelling pada data latih. Jika Anda mengintip data uji lalu memilih fitur atau transformasi berdasarkan itu, informasi uji ikut "bocor" ke model.

Implementasi langkah demi langkah

Memakai data pelanggan sintetis (penjelasan kolom). Demi ringkas, contoh ini menganalisis seluruh data; pada proyek nyata, lakukan setelah memisahkan data uji. Program lengkap ada di akhir bagian ini.

Langkah 1: ukuran dan tipe data

Tujuan. Memastikan data terbaca benar dan tiap kolom bertipe sesuai maknanya (angka sebagai angka, teks sebagai teks).

eda.py
1
2
3
4
5
6
7
from customer_data import make_customer_data

df = make_customer_data()

# 1. Ukuran, tipe, dan contoh data
print("Ukuran:", df.shape)
print(df.dtypes.to_string())

df.shape memberi (baris, kolom); df.dtypes memberi tipe tiap kolom, dan .to_string() mencetaknya penuh tanpa dipotong.

Ukuran: (605, 8)
age                int64
city                 str
plan                 str
tenure_months      int64
income           float64
n_orders           int64
avg_spend        float64
churn              int64

Interpretasi. 605 baris dan 8 kolom. age, tenure_months, n_orders, dan churn bertipe int64; income dan avg_spend float64; city dan plan teks (str). Tipe sudah wajar. Waspadai kolom seperti ID atau kode kota yang tersimpan sebagai angka padahal sebenarnya kategori.

Langkah 2: data hilang

eda.py
# 2. Data hilang (jumlah dan persentase)
missing = df.isna().sum()
summary = missing[missing > 0].to_frame("n_missing")
summary["pct"] = (summary["n_missing"] / len(df) * 100).round(1)
print(summary)
Kode Penjelasan
df.isna().sum() Jumlah sel kosong per kolom.
missing[missing > 0] Menyaring: hanya kolom yang punya nilai hilang.
.to_frame("n_missing") Mengubah Series hasil saringan menjadi DataFrame satu kolom bernama n_missing.
summary["pct"] = ... / len(df) * 100 Kolom baru: persentase hilang terhadap jumlah baris.
        n_missing  pct
city           18  3.0
income         48  7.9

Interpretasi. city hilang 18 baris (3,0%) dan income 48 baris (7,9%). Persentase membantu menentukan penanganan: sedikit hilang dapat diimputasi; jika hilang sangat banyak, pertimbangkan membuang kolom.

Langkah 3: duplikat dan ringkasan statistik

eda.py
# 3. Duplikat
print("Baris duplikat:", df.duplicated().sum())

# 4. Ringkasan statistik numerik
numeric = ["age", "tenure_months", "income", "n_orders", "avg_spend"]
print(df[numeric].describe().T[["count", "mean", "50%", "max"]].round(0).to_string())

df.duplicated().sum() menghitung baris yang persis sama dengan baris sebelumnya. df[numeric].describe() meringkas kolom numerik (jumlah, rata-rata, simpangan baku, min, kuartil, maks); .T memutar tabel (transpose) agar tiap kolom data menjadi satu baris, lalu [["count", "mean", "50%", "max"]] memilih empat statistik. 50% adalah median.

Baris duplikat: 5
               count       mean        50%          max
age            605.0       43.0       43.0         69.0
tenure_months  605.0       30.0       29.0         60.0
income         557.0  7445776.0  6050000.0  229140000.0
n_orders       605.0        8.0        8.0         23.0
avg_spend      605.0   200317.0   180300.0     902000.0

Interpretasi. Ada 5 baris duplikat. Pada income, count 557 (bukan 605) mengonfirmasi nilai hilang; rata-rata 7.445.776 jauh di atas median 6.050.000 dan maksimum 229.140.000 sangat jauh dari keduanya: tanda outlier dan kemiringan ke kanan. n_orders berkisar sampai 23 dengan median 8, wajar.

Langkah 4: distribusi target

eda.py
# 5. Distribusi target: seimbang atau tidak?
print(df["churn"].value_counts(normalize=True).round(3))

value_counts(normalize=True) menghitung proporsi tiap nilai (bukan jumlah).

churn
0    0.661
1    0.339
Name: proportion, dtype: float64

Interpretasi. 66,1% pelanggan bertahan (0) dan 33,9% churn (1): kelas tidak terlalu timpang, tetapi cukup tidak seimbang sehingga stratified split dan metrik selain akurasi tetap dianjurkan. Proporsi ini juga menjadi baseline: model yang menebak "bertahan" untuk semua orang sudah akurat 66,1%.

Langkah 5: hubungan fitur dengan target

eda.py
# 6. Hubungan fitur dengan target
print(df.groupby("plan")["churn"].mean().round(3))
print(df.groupby(df["tenure_months"] // 12 * 12)["churn"].mean().round(3).rename("churn per 12 bulan"))
print(df[["tenure_months", "n_orders", "age", "avg_spend", "churn"]].corr()["churn"].round(2))
Kode Penjelasan
df.groupby("plan")["churn"].mean() Tingkat churn per paket.
df["tenure_months"] // 12 * 12 // pembagian bulat: mengelompokkan lama berlangganan per 12 bulan (0–11 → 0, 12–23 → 12, dst.). Hasilnya dipakai sebagai kunci groupby.
.rename("churn per 12 bulan") Memberi nama pada hasil agar keluarannya terbaca.
df[[...]].corr()["churn"] Korelasi tiap kolom numerik dengan churn.
plan
basic      0.391
premium    0.219
Name: churn, dtype: float64
tenure_months
0     0.559
12    0.439
24    0.319
36    0.250
48    0.149
60    0.214
Name: churn per 12 bulan, dtype: float64
tenure_months   -0.30
n_orders        -0.17
age             -0.06
avg_spend       -0.03
churn            1.00
Name: churn, dtype: float64

Interpretasi. Paket basic churn 39,1% vs premium 21,9%. Churn turun dari 55,9% (lama berlangganan 0–11 bulan) menjadi 14,9% (48–59 bulan); kelompok 60 hanya berisi pelanggan dengan tepat 60 bulan (sampel kecil), sehingga angka 21,4% pada baris itu tidak dapat diandalkan. Korelasi dengan churn: tenure_months -0,30 dan n_orders -0,17 (makin lama dan makin sering bertransaksi, makin kecil kemungkinan churn); age -0,06 dan avg_spend -0,03 hampir nol. Korelasi bukan sebab-akibat.

Program lengkap (eda.py)
eda.py
from customer_data import make_customer_data

df = make_customer_data()

# 1. Ukuran, tipe, dan contoh data
print("Ukuran:", df.shape)
print(df.dtypes.to_string())

# 2. Data hilang (jumlah dan persentase)
missing = df.isna().sum()
summary = missing[missing > 0].to_frame("n_missing")
summary["pct"] = (summary["n_missing"] / len(df) * 100).round(1)
print(summary)

# 3. Duplikat
print("Baris duplikat:", df.duplicated().sum())

# 4. Ringkasan statistik numerik
numeric = ["age", "tenure_months", "income", "n_orders", "avg_spend"]
print(df[numeric].describe().T[["count", "mean", "50%", "max"]].round(0).to_string())

# 5. Distribusi target: seimbang atau tidak?
print(df["churn"].value_counts(normalize=True).round(3))

# 6. Hubungan fitur dengan target
print(df.groupby("plan")["churn"].mean().round(3))
print(df.groupby(df["tenure_months"] // 12 * 12)["churn"].mean().round(3).rename("churn per 12 bulan"))
print(df[["tenure_months", "n_orders", "age", "avg_spend", "churn"]].corr()["churn"].round(2))

Interpretasi dan keputusan

Temuan Keputusan praproses
city hilang 3,0%, income hilang 7,9% Imputasi: median untuk income, modus untuk city
5 baris duplikat Hapus duplikat
Rata-rata income (7,45 juta) jauh di atas median (6,05 juta); maksimum 229 juta Selidiki outlier; pertimbangkan capping atau transformasi log
churn: 66,1% kelas 0 vs 33,9% kelas 1 Tidak terlalu timpang; tetap pakai stratified split dan jangan hanya melihat accuracy
Churn turun dari 55,9% (lama berlangganan 0–11 bulan) ke 14,9% (48–59 bulan) tenure_months kemungkinan prediktor penting
Korelasi dengan churn: tenure_months -0,30, n_orders -0,17, age -0,06, avg_spend -0,03 Dua fitur pertama tampak lebih informatif secara linear; korelasi ≠ kausal

Catatan: kelompok tenure_months = 60 hanya berisi pelanggan dengan tepat 60 bulan (sampel kecil), sehingga angka 21,4% pada baris itu tidak dapat diandalkan. Selalu cek ukuran kelompok.

Kesalahan umum

Hindari

  • Melompat ke pemodelan tanpa memeriksa kualitas data.
  • Menafsirkan tipe int sebagai numerik padahal sebenarnya kode kategori (mis. ID kota).
  • Memeriksa distribusi target setelah resampling, bukan sebelumnya.
  • Memilih fitur berdasarkan seluruh data termasuk data uji.
  • Menyimpulkan dari kelompok yang sangat kecil.

Latihan

  1. Tambahkan pengecekan nilai unik pada kolom kategorik city dan plan.
  2. Hitung persentase churn per city. Apakah ada kota yang menonjol?
  3. Buat daftar keputusan praproses untuk dataset load_wine dari hasil describe().
  4. Mengapa EDA yang memengaruhi keputusan sebaiknya memakai data latih saja?

Ringkasan

EDA mengenali ukuran, kualitas, target, dan hubungan data. Hasilnya adalah daftar keputusan praproses dan pemilihan metrik. Lakukan dengan disiplin agar data uji tidak ikut memengaruhi keputusan.

Berikutnya: Pembersihan dan Praproses Data.