Lewati ke isi

pandas

Gambaran singkat

Apa ini? pandas adalah pustaka untuk mengolah data berbentuk tabel, seperti lembar Excel yang bisa diprogram.

Analogi

Bayangkan Excel dengan kemampuan menyaring, mengelompokkan, dan menghitung jutaan baris lewat beberapa baris kode.

Mengapa penting? Hampir semua proyek data mining dimulai dengan memuat dan membersihkan tabel. Menguasai pandas menghemat banyak waktu.

Yang akan dipelajari, berurutan:

  1. DataFrame dan Series.
  2. Memilih kolom dan baris, dengan syarat.
  3. Meringkas per kelompok dengan groupby.
  4. Mendeteksi data hilang dan duplikat, membuat kolom baru.

Istilah awal:

Istilah Arti sederhana
DataFrame Tabel: baris = sampel, kolom = variabel
Series Satu kolom
groupby Mengelompokkan baris lalu meringkasnya
NaN Nilai kosong

Tujuan pembelajaran

  • Memahami DataFrame dan Series.
  • Memilih kolom dan baris, termasuk dengan syarat.
  • Meringkas data per kelompok dengan groupby.
  • Mendeteksi data hilang dan duplikat, serta membuat kolom baru.

Konsep dasar

pandas mengelola data tabular. DataFrame adalah tabel (baris = sampel, kolom = variabel); satu kolom adalah Series. Hampir semua pekerjaan data mining diawali dengan memuat tabel ke DataFrame, lalu memeriksa dan merapikannya.

Dataset yang dipakai

Banyak lesson di bab Fundamentals memakai data pelanggan sintetis (dibangkitkan program dengan seed tetap, bukan data nyata). Tiap baris adalah pelanggan sebuah layanan berlangganan. Targetnya churn (1 = berhenti berlangganan).

Kolom Arti Tipe
age usia (tahun) numerik
city kota kategorik
plan paket (basic/premium) kategorik
tenure_months lama berlangganan (bulan) numerik
income pendapatan (Rp/bulan) numerik
n_orders jumlah transaksi numerik (cacah)
avg_spend rata-rata belanja per transaksi (Rp) numerik
churn target: 1 = berhenti biner

Data sengaja dibuat "kotor": ada nilai hilang, outlier, dan baris duplikat, agar bisa dilatih menanganinya. Karena sintetis, hubungan di dalamnya hanya benar untuk data ini dan tidak boleh dianggap temuan tentang pelanggan nyata.

Kode pembangkit data (customer_data.py)
customer_data.py
"""Data pelanggan SINTETIS (dibangkitkan dengan seed tetap) untuk latihan.

Target `churn`: 1 = pelanggan berhenti berlangganan. Data sengaja dibuat
"kotor": ada nilai hilang, outlier, dan baris duplikat.
"""
import numpy as np
import pandas as pd


def make_customer_data(n=600, seed=42):
    rng = np.random.default_rng(seed)
    age = rng.integers(18, 70, n)
    city = rng.choice(["Jakarta", "Bandung", "Surabaya", "Medan"], n, p=[0.4, 0.2, 0.25, 0.15])
    plan = rng.choice(["basic", "premium"], n, p=[0.7, 0.3])
    tenure_months = rng.integers(1, 61, n)
    income = rng.lognormal(mean=15.6, sigma=0.5, size=n).round(-3)  # rupiah/bulan
    n_orders = rng.poisson(8, n)
    avg_spend = rng.gamma(shape=4, scale=50_000, size=n).round(-2)

    # Peluang churn lebih tinggi: langganan baru, paket basic, jarang bertransaksi
    logit = (-1.2 - 0.04 * (tenure_months - 30) + 0.7 * (plan == "basic")
             - 0.12 * (n_orders - 8))
    churn = (rng.random(n) < 1 / (1 + np.exp(-logit))).astype(int)

    df = pd.DataFrame({"age": age, "city": city, "plan": plan,
                       "tenure_months": tenure_months, "income": income,
                       "n_orders": n_orders, "avg_spend": avg_spend, "churn": churn})

    # Kotorkan data
    df.loc[rng.choice(n, int(0.08 * n), replace=False), "income"] = np.nan
    df.loc[rng.choice(n, int(0.03 * n), replace=False), "city"] = np.nan
    df.loc[rng.choice(n, 3, replace=False), "income"] *= 20  # outlier
    df = pd.concat([df, df.sample(5, random_state=seed)], ignore_index=True)  # duplikat
    return df

Implementasi langkah demi langkah

Simpan customer_data.py dan pandas_basics.py dalam folder yang sama. Program dipecah menjadi enam langkah; program lengkap ada di akhir bagian ini.

Langkah 1: memuat dan mengenal data

Tujuan. Sebelum melakukan apa pun, lihat dulu ukuran, isi, dan tipe data.

pandas_basics.py
1
2
3
4
5
6
7
8
9
from customer_data import make_customer_data

# Pada proyek nyata data dibaca dari berkas, misalnya: df = pd.read_csv("data.csv")
df = make_customer_data()

# 1. Mengenal data
print(df.shape)
print(df.head(3))
df.info()
Kode Penjelasan
from customer_data import make_customer_data Mengimpor fungsi pembangkit data sintetis dari berkas customer_data.py di folder yang sama.
df = make_customer_data() Menghasilkan sebuah DataFrame dan menyimpannya di variabel df (nama umum untuk DataFrame). Pada data nyata, baris ini diganti pd.read_csv("data.csv"), yang membaca berkas CSV menjadi DataFrame.
df.shape Tuple (jumlah_baris, jumlah_kolom); tanpa tanda kurung karena ia atribut, bukan fungsi.
df.head(3) Menampilkan 3 baris pertama untuk memastikan data terbaca benar.
df.info() Ringkasan: jumlah baris, nama kolom, jumlah nilai terisi (non-null) dan tipe tiap kolom.
(605, 8)
   age      city   plan  tenure_months     income  n_orders  avg_spend  churn
0   22  Surabaya  basic             47        NaN         9   142700.0      0
1   58   Jakarta  basic             41  3558000.0         6   246400.0      0
2   52   Bandung  basic             56  6170000.0        14   154600.0      0
<class 'pandas.DataFrame'>
RangeIndex: 605 entries, 0 to 604
Data columns (total 8 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   age            605 non-null    int64  
 1   city           587 non-null    str    
 2   plan           605 non-null    str    
 3   tenure_months  605 non-null    int64  
 4   income         557 non-null    float64
 5   n_orders       605 non-null    int64  
 6   avg_spend      605 non-null    float64
 7   churn          605 non-null    int64  
dtypes: float64(2), int64(4), str(2)
memory usage: 37.9 KB

Interpretasi. Data memiliki 605 baris dan 8 kolom. Pada info(), city memiliki 587 nilai terisi dan income 557, sedangkan kolom lain 605: berarti ada data hilang pada dua kolom itu. NaN pada baris pertama kolom income adalah penanda nilai hilang. Tipe int64 dan float64 adalah angka; str adalah teks.

Catatan versi

Pada pandas 3, kolom teks bertipe str; pada pandas lama biasanya tampil sebagai object. Tampilan df.info() dapat berbeda antar versi.

Langkah 2: Series versus DataFrame

Konsep. DataFrame adalah tabel (baris = sampel, kolom = variabel). Satu kolom dari tabel itu disebut Series: daftar nilai berindeks dengan satu dimensi. Perbedaan kecil dalam sintaks menghasilkan tipe berbeda, dan banyak fungsi (termasuk scikit-learn) membedakannya.

pandas_basics.py
# 2. Series vs DataFrame
age = df["age"]            # satu kurung siku -> Series (satu kolom)
age_frame = df[["age"]]    # dua kurung siku  -> DataFrame (tabel berisi satu kolom)
print(type(age).__name__, age.shape, "|", type(age_frame).__name__, age_frame.shape)
Series (605,) | DataFrame (605, 1)

df["age"] (satu kurung siku) menghasilkan Series berbentuk (605,); df[["age"]] (dua kurung siku, yaitu list berisi nama kolom) menghasilkan DataFrame berbentuk (605, 1). Ingat ini nanti: fitur X harus 2 dimensi (DataFrame), sedangkan target y boleh 1 dimensi (Series).

Langkah 3: memilih baris dengan syarat, loc, dan iloc

pandas_basics.py
# 3. Memilih baris: syarat boolean, loc (label), iloc (posisi)
print(df["plan"].value_counts())
premium_senior = df[(df["plan"] == "premium") & (df["age"] >= 50)]
print("premium & usia>=50:", len(premium_senior))
print(df.loc[0:2, ["age", "city"]])   # loc: 0:2 TERMASUK baris berlabel 2
print(df.iloc[0:2, [0, 1]])           # iloc: 0:2 TIDAK termasuk posisi 2
Kode Penjelasan
df["plan"].value_counts() Menghitung berapa kali tiap nilai muncul pada kolom (frekuensi).
(df["plan"] == "premium") & (df["age"] >= 50) Dua syarat menghasilkan deret True/False per baris; & berarti "dan". Tiap syarat wajib dalam kurung. Gunakan \| untuk "atau".
df[syarat] Menyaring: hanya baris bernilai True yang diambil. len() menghitung jumlah barisnya.
df.loc[0:2, ["age", "city"]] Memilih menurut label baris dan nama kolom. Irisan label termasuk ujung akhirnya (0, 1, 2).
df.iloc[0:2, [0, 1]] Memilih menurut posisi (nomor urut mulai 0). Irisan posisi tidak termasuk ujung akhirnya (0, 1).
plan
basic      422
premium    183
Name: count, dtype: int64
premium & usia>=50: 70
   age      city
0   22  Surabaya
1   58   Jakarta
2   52   Bandung
   age      city
0   22  Surabaya
1   58   Jakarta

Interpretasi. Terdapat 422 pelanggan basic dan 183 premium; 70 pelanggan premium berusia ≥ 50. loc[0:2] mengembalikan tiga baris (0, 1, 2) sedangkan iloc[0:2] hanya dua (0, 1): kebiasaan loc vs iloc ini sering menjadi sumber kesalahan satu baris.

Langkah 4: agregasi per kelompok dengan groupby

Konsep. groupby membagi data menjadi kelompok menurut nilai sebuah kolom, lalu menghitung ringkasan untuk tiap kelompok ("pecah, hitung, gabungkan").

pandas_basics.py
# 4. Agregasi per kelompok
print(df.groupby("plan")["churn"].mean().round(3))
print(df.groupby("city").agg(n=("churn", "size"), churn_rate=("churn", "mean")).round(3))

df.groupby("plan")["churn"].mean() membagi menurut paket, mengambil kolom churn, dan merata-ratakan. Karena churn bernilai 0/1, rata-ratanya adalah proporsi churn. Pada baris kedua, .agg(n=("churn", "size"), churn_rate=("churn", "mean")) menghitung dua ringkasan sekaligus dan memberi nama kolom hasilnya; .round(3) membulatkan ke tiga desimal.

plan
basic      0.391
premium    0.219
Name: churn, dtype: float64
            n  churn_rate
city                     
Bandung   114       0.307
Jakarta   232       0.349
Medan      92       0.304
Surabaya  149       0.369

Interpretasi. Tingkat churn paket basic 39,1% dan premium 21,9%. Per kota berkisar 30,4% (Medan) sampai 36,9% (Surabaya). Perhatikan juga jumlah per kelompok (n): rata-rata dari kelompok kecil kurang dapat diandalkan. Perbedaan yang tampak ini hanyalah gambaran; menyimpulkan sebab-akibat memerlukan analisis lain.

Langkah 5: data hilang dan duplikat

pandas_basics.py
# 5. Data hilang dan duplikat
print(df.isna().sum())
print("duplikat:", df.duplicated().sum())

df.isna() menghasilkan tabel True/False (apakah sel kosong); .sum() menjumlahkan True per kolom (True dihitung 1). df.duplicated() menandai baris yang identik dengan baris sebelumnya, dan .sum() menghitungnya.

age               0
city             18
plan              0
tenure_months     0
income           48
n_orders          0
avg_spend         0
churn             0
dtype: int64
duplikat: 5

Interpretasi. city kehilangan 18 nilai dan income 48; ada 5 baris duplikat. Cara menanganinya dibahas di Praproses Data; langkah pertama selalu mendeteksi masalahnya.

Langkah 6: kolom baru dan pengurutan

pandas_basics.py
# 6. Kolom baru dan pengurutan
df["spend_total"] = df["n_orders"] * df["avg_spend"]
print(df.sort_values("spend_total", ascending=False)[["n_orders", "avg_spend", "spend_total"]].head(3))

df["spend_total"] = ... membuat kolom baru dari perkalian dua kolom, dihitung per baris. sort_values("spend_total", ascending=False) mengurutkan menurun, [[...]] memilih tiga kolom, dan .head(3) mengambil tiga teratas.

     n_orders  avg_spend  spend_total
284        11   902000.0    9922000.0
75         12   697400.0    8368800.0
5          10   672900.0    6729000.0

Angka paling kiri (284, 75, 5) adalah indeks baris asli; indeks ikut terbawa saat diurutkan. Pelanggan pada indeks 284 memiliki 11 transaksi dengan rata-rata 902.000 sehingga total 9.922.000.

Program lengkap (pandas_basics.py)
pandas_basics.py
from customer_data import make_customer_data

# Pada proyek nyata data dibaca dari berkas, misalnya: df = pd.read_csv("data.csv")
df = make_customer_data()

# 1. Mengenal data
print(df.shape)
print(df.head(3))
df.info()

# 2. Series vs DataFrame
age = df["age"]            # satu kurung siku -> Series (satu kolom)
age_frame = df[["age"]]    # dua kurung siku  -> DataFrame (tabel berisi satu kolom)
print(type(age).__name__, age.shape, "|", type(age_frame).__name__, age_frame.shape)

# 3. Memilih baris: syarat boolean, loc (label), iloc (posisi)
print(df["plan"].value_counts())
premium_senior = df[(df["plan"] == "premium") & (df["age"] >= 50)]
print("premium & usia>=50:", len(premium_senior))
print(df.loc[0:2, ["age", "city"]])   # loc: 0:2 TERMASUK baris berlabel 2
print(df.iloc[0:2, [0, 1]])           # iloc: 0:2 TIDAK termasuk posisi 2

# 4. Agregasi per kelompok
print(df.groupby("plan")["churn"].mean().round(3))
print(df.groupby("city").agg(n=("churn", "size"), churn_rate=("churn", "mean")).round(3))

# 5. Data hilang dan duplikat
print(df.isna().sum())
print("duplikat:", df.duplicated().sum())

# 6. Kolom baru dan pengurutan
df["spend_total"] = df["n_orders"] * df["avg_spend"]
print(df.sort_values("spend_total", ascending=False)[["n_orders", "avg_spend", "spend_total"]].head(3))

Kesalahan umum

Hindari

  • Memakai and/or pada syarat; gunakan &/| dengan tanda kurung: (a > 1) & (b < 2).
  • Mengubah potongan DataFrame lalu heran data asli tidak berubah (atau sebaliknya); gunakan .copy() dan .loc secara sadar.
  • Mengabaikan isna() dan duplicated() sebelum memodelkan.
  • Menganggap rata-rata groupby pada kelompok kecil sebagai fakta; periksa jumlah sampel tiap kelompok.

Latihan

  1. Hitung rata-rata avg_spend per city.
  2. Tampilkan pelanggan premium dengan tenure_months ≥ 24 dan churn = 1.
  3. Hitung persentase data hilang tiap kolom.
  4. Buat kolom orders_per_month = n_orders / tenure_months, lalu urutkan dan lihat 5 teratas.
Petunjuk
  1. df.groupby("city")["avg_spend"].mean()
  2. df.isna().mean() * 100

Ringkasan

DataFrame adalah struktur utama data tabular. Alur dasarnya: periksa (shape, info), pilih (loc, syarat), ringkas (groupby), dan periksa kualitas (isna, duplicated).

Berikutnya: Visualisasi Data.