pandas¶
Gambaran singkat¶
Apa ini? pandas adalah pustaka untuk mengolah data berbentuk tabel, seperti lembar Excel yang bisa diprogram.
Analogi
Bayangkan Excel dengan kemampuan menyaring, mengelompokkan, dan menghitung jutaan baris lewat beberapa baris kode.
Mengapa penting? Hampir semua proyek data mining dimulai dengan memuat dan membersihkan tabel. Menguasai pandas menghemat banyak waktu.
Yang akan dipelajari, berurutan:
DataFramedanSeries.- Memilih kolom dan baris, dengan syarat.
- Meringkas per kelompok dengan
groupby. - Mendeteksi data hilang dan duplikat, membuat kolom baru.
Istilah awal:
| Istilah | Arti sederhana |
|---|---|
DataFrame |
Tabel: baris = sampel, kolom = variabel |
Series |
Satu kolom |
groupby |
Mengelompokkan baris lalu meringkasnya |
NaN |
Nilai kosong |
Tujuan pembelajaran¶
- Memahami
DataFramedanSeries. - Memilih kolom dan baris, termasuk dengan syarat.
- Meringkas data per kelompok dengan
groupby. - Mendeteksi data hilang dan duplikat, serta membuat kolom baru.
Konsep dasar¶
pandas mengelola data tabular. DataFrame adalah tabel (baris = sampel, kolom = variabel); satu kolom adalah Series. Hampir semua pekerjaan data mining diawali dengan memuat tabel ke DataFrame, lalu memeriksa dan merapikannya.
Dataset yang dipakai¶
Banyak lesson di bab Fundamentals memakai data pelanggan sintetis (dibangkitkan program dengan seed tetap, bukan data nyata). Tiap baris adalah pelanggan sebuah layanan berlangganan. Targetnya churn (1 = berhenti berlangganan).
| Kolom | Arti | Tipe |
|---|---|---|
age |
usia (tahun) | numerik |
city |
kota | kategorik |
plan |
paket (basic/premium) |
kategorik |
tenure_months |
lama berlangganan (bulan) | numerik |
income |
pendapatan (Rp/bulan) | numerik |
n_orders |
jumlah transaksi | numerik (cacah) |
avg_spend |
rata-rata belanja per transaksi (Rp) | numerik |
churn |
target: 1 = berhenti | biner |
Data sengaja dibuat "kotor": ada nilai hilang, outlier, dan baris duplikat, agar bisa dilatih menanganinya. Karena sintetis, hubungan di dalamnya hanya benar untuk data ini dan tidak boleh dianggap temuan tentang pelanggan nyata.
Kode pembangkit data (customer_data.py)
"""Data pelanggan SINTETIS (dibangkitkan dengan seed tetap) untuk latihan.
Target `churn`: 1 = pelanggan berhenti berlangganan. Data sengaja dibuat
"kotor": ada nilai hilang, outlier, dan baris duplikat.
"""
import numpy as np
import pandas as pd
def make_customer_data(n=600, seed=42):
rng = np.random.default_rng(seed)
age = rng.integers(18, 70, n)
city = rng.choice(["Jakarta", "Bandung", "Surabaya", "Medan"], n, p=[0.4, 0.2, 0.25, 0.15])
plan = rng.choice(["basic", "premium"], n, p=[0.7, 0.3])
tenure_months = rng.integers(1, 61, n)
income = rng.lognormal(mean=15.6, sigma=0.5, size=n).round(-3) # rupiah/bulan
n_orders = rng.poisson(8, n)
avg_spend = rng.gamma(shape=4, scale=50_000, size=n).round(-2)
# Peluang churn lebih tinggi: langganan baru, paket basic, jarang bertransaksi
logit = (-1.2 - 0.04 * (tenure_months - 30) + 0.7 * (plan == "basic")
- 0.12 * (n_orders - 8))
churn = (rng.random(n) < 1 / (1 + np.exp(-logit))).astype(int)
df = pd.DataFrame({"age": age, "city": city, "plan": plan,
"tenure_months": tenure_months, "income": income,
"n_orders": n_orders, "avg_spend": avg_spend, "churn": churn})
# Kotorkan data
df.loc[rng.choice(n, int(0.08 * n), replace=False), "income"] = np.nan
df.loc[rng.choice(n, int(0.03 * n), replace=False), "city"] = np.nan
df.loc[rng.choice(n, 3, replace=False), "income"] *= 20 # outlier
df = pd.concat([df, df.sample(5, random_state=seed)], ignore_index=True) # duplikat
return df
Implementasi langkah demi langkah¶
Simpan customer_data.py dan pandas_basics.py dalam folder yang sama. Program dipecah menjadi enam langkah; program lengkap ada di akhir bagian ini.
Langkah 1: memuat dan mengenal data¶
Tujuan. Sebelum melakukan apa pun, lihat dulu ukuran, isi, dan tipe data.
| pandas_basics.py | |
|---|---|
| Kode | Penjelasan |
|---|---|
from customer_data import make_customer_data |
Mengimpor fungsi pembangkit data sintetis dari berkas customer_data.py di folder yang sama. |
df = make_customer_data() |
Menghasilkan sebuah DataFrame dan menyimpannya di variabel df (nama umum untuk DataFrame). Pada data nyata, baris ini diganti pd.read_csv("data.csv"), yang membaca berkas CSV menjadi DataFrame. |
df.shape |
Tuple (jumlah_baris, jumlah_kolom); tanpa tanda kurung karena ia atribut, bukan fungsi. |
df.head(3) |
Menampilkan 3 baris pertama untuk memastikan data terbaca benar. |
df.info() |
Ringkasan: jumlah baris, nama kolom, jumlah nilai terisi (non-null) dan tipe tiap kolom. |
(605, 8)
age city plan tenure_months income n_orders avg_spend churn
0 22 Surabaya basic 47 NaN 9 142700.0 0
1 58 Jakarta basic 41 3558000.0 6 246400.0 0
2 52 Bandung basic 56 6170000.0 14 154600.0 0
<class 'pandas.DataFrame'>
RangeIndex: 605 entries, 0 to 604
Data columns (total 8 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 age 605 non-null int64
1 city 587 non-null str
2 plan 605 non-null str
3 tenure_months 605 non-null int64
4 income 557 non-null float64
5 n_orders 605 non-null int64
6 avg_spend 605 non-null float64
7 churn 605 non-null int64
dtypes: float64(2), int64(4), str(2)
memory usage: 37.9 KB
Interpretasi. Data memiliki 605 baris dan 8 kolom. Pada info(), city memiliki 587 nilai terisi dan income 557, sedangkan kolom lain 605: berarti ada data hilang pada dua kolom itu. NaN pada baris pertama kolom income adalah penanda nilai hilang. Tipe int64 dan float64 adalah angka; str adalah teks.
Catatan versi
Pada pandas 3, kolom teks bertipe str; pada pandas lama biasanya tampil sebagai object. Tampilan df.info() dapat berbeda antar versi.
Langkah 2: Series versus DataFrame¶
Konsep. DataFrame adalah tabel (baris = sampel, kolom = variabel). Satu kolom dari tabel itu disebut Series: daftar nilai berindeks dengan satu dimensi. Perbedaan kecil dalam sintaks menghasilkan tipe berbeda, dan banyak fungsi (termasuk scikit-learn) membedakannya.
| pandas_basics.py | |
|---|---|
df["age"] (satu kurung siku) menghasilkan Series berbentuk (605,); df[["age"]] (dua kurung siku, yaitu list berisi nama kolom) menghasilkan DataFrame berbentuk (605, 1). Ingat ini nanti: fitur X harus 2 dimensi (DataFrame), sedangkan target y boleh 1 dimensi (Series).
Langkah 3: memilih baris dengan syarat, loc, dan iloc¶
| Kode | Penjelasan |
|---|---|
df["plan"].value_counts() |
Menghitung berapa kali tiap nilai muncul pada kolom (frekuensi). |
(df["plan"] == "premium") & (df["age"] >= 50) |
Dua syarat menghasilkan deret True/False per baris; & berarti "dan". Tiap syarat wajib dalam kurung. Gunakan \| untuk "atau". |
df[syarat] |
Menyaring: hanya baris bernilai True yang diambil. len() menghitung jumlah barisnya. |
df.loc[0:2, ["age", "city"]] |
Memilih menurut label baris dan nama kolom. Irisan label termasuk ujung akhirnya (0, 1, 2). |
df.iloc[0:2, [0, 1]] |
Memilih menurut posisi (nomor urut mulai 0). Irisan posisi tidak termasuk ujung akhirnya (0, 1). |
plan
basic 422
premium 183
Name: count, dtype: int64
premium & usia>=50: 70
age city
0 22 Surabaya
1 58 Jakarta
2 52 Bandung
age city
0 22 Surabaya
1 58 Jakarta
Interpretasi. Terdapat 422 pelanggan basic dan 183 premium; 70 pelanggan premium berusia ≥ 50. loc[0:2] mengembalikan tiga baris (0, 1, 2) sedangkan iloc[0:2] hanya dua (0, 1): kebiasaan loc vs iloc ini sering menjadi sumber kesalahan satu baris.
Langkah 4: agregasi per kelompok dengan groupby¶
Konsep. groupby membagi data menjadi kelompok menurut nilai sebuah kolom, lalu menghitung ringkasan untuk tiap kelompok ("pecah, hitung, gabungkan").
| pandas_basics.py | |
|---|---|
df.groupby("plan")["churn"].mean() membagi menurut paket, mengambil kolom churn, dan merata-ratakan. Karena churn bernilai 0/1, rata-ratanya adalah proporsi churn. Pada baris kedua, .agg(n=("churn", "size"), churn_rate=("churn", "mean")) menghitung dua ringkasan sekaligus dan memberi nama kolom hasilnya; .round(3) membulatkan ke tiga desimal.
plan
basic 0.391
premium 0.219
Name: churn, dtype: float64
n churn_rate
city
Bandung 114 0.307
Jakarta 232 0.349
Medan 92 0.304
Surabaya 149 0.369
Interpretasi. Tingkat churn paket basic 39,1% dan premium 21,9%. Per kota berkisar 30,4% (Medan) sampai 36,9% (Surabaya). Perhatikan juga jumlah per kelompok (n): rata-rata dari kelompok kecil kurang dapat diandalkan. Perbedaan yang tampak ini hanyalah gambaran; menyimpulkan sebab-akibat memerlukan analisis lain.
Langkah 5: data hilang dan duplikat¶
| pandas_basics.py | |
|---|---|
df.isna() menghasilkan tabel True/False (apakah sel kosong); .sum() menjumlahkan True per kolom (True dihitung 1). df.duplicated() menandai baris yang identik dengan baris sebelumnya, dan .sum() menghitungnya.
age 0
city 18
plan 0
tenure_months 0
income 48
n_orders 0
avg_spend 0
churn 0
dtype: int64
duplikat: 5
Interpretasi. city kehilangan 18 nilai dan income 48; ada 5 baris duplikat. Cara menanganinya dibahas di Praproses Data; langkah pertama selalu mendeteksi masalahnya.
Langkah 6: kolom baru dan pengurutan¶
| pandas_basics.py | |
|---|---|
df["spend_total"] = ... membuat kolom baru dari perkalian dua kolom, dihitung per baris. sort_values("spend_total", ascending=False) mengurutkan menurun, [[...]] memilih tiga kolom, dan .head(3) mengambil tiga teratas.
n_orders avg_spend spend_total
284 11 902000.0 9922000.0
75 12 697400.0 8368800.0
5 10 672900.0 6729000.0
Angka paling kiri (284, 75, 5) adalah indeks baris asli; indeks ikut terbawa saat diurutkan. Pelanggan pada indeks 284 memiliki 11 transaksi dengan rata-rata 902.000 sehingga total 9.922.000.
Program lengkap (pandas_basics.py)
Kesalahan umum¶
Hindari
- Memakai
and/orpada syarat; gunakan&/|dengan tanda kurung:(a > 1) & (b < 2). - Mengubah potongan
DataFramelalu heran data asli tidak berubah (atau sebaliknya); gunakan.copy()dan.locsecara sadar. - Mengabaikan
isna()danduplicated()sebelum memodelkan. - Menganggap rata-rata
groupbypada kelompok kecil sebagai fakta; periksa jumlah sampel tiap kelompok.
Latihan¶
- Hitung rata-rata
avg_spendpercity. - Tampilkan pelanggan
premiumdengantenure_months≥ 24 danchurn= 1. - Hitung persentase data hilang tiap kolom.
- Buat kolom
orders_per_month = n_orders / tenure_months, lalu urutkan dan lihat 5 teratas.
Petunjuk
df.groupby("city")["avg_spend"].mean()df.isna().mean() * 100
Ringkasan¶
DataFrame adalah struktur utama data tabular. Alur dasarnya: periksa (shape, info), pilih (loc, syarat), ringkas (groupby), dan periksa kualitas (isna, duplicated).
Berikutnya: Visualisasi Data.