Pertemuan 10: Feature Engineering, Encoding & Integrasi Data
Penerapan Unit Kompetensi SKKNI J.62DMI00.009.1 (Mengkonstruksi Data) dan J.62DMI00.010.1 (Menentukan Label Data), didukung J.62DMI00.011.1 (Mengintegrasikan Data): pengkodean kategorikal (Label, One-Hot, Dummy, Target Encoding), integrasi tabel (Merge & Join relasional), ekstraksi fitur dengan PCA, Pseudo-Labelling semi-supervisi, fitur siklis, seleksi fitur, serta penanganan ketimpangan kelas.
Penyusun Modul & Portal: Mahendar Dwi Payana
Penulis Materi Pelatihan DTS 2021: Tim Universitas Gunadarma — Thematic Academy Digital Talent Scholarship 2021
Penyelenggara & Kurikulum: Kementerian Komunikasi dan Informatika RI (Kominfo) & Sekolah Teknik Elektro dan Informatika (STEI) ITB
Standar Rujukan: Standar Kompetensi Kerja Nasional Indonesia (SKKNI) No. 299 Tahun 2020 — Skema Associate Data Scientist
1. Landasan Standar Kompetensi Kerja (SKKNI)
Modul ini adalah kelanjutan langsung dari Pertemuan 09. Jika Pertemuan 09 bertransformasi pada nilai numerik (imputasi, binning, scaling), maka Pertemuan 10 merekayasa struktur fitur dan integrasi antar-tabel. Materi menyentuh tiga unit kompetensi:
| Kode Unit | Elemen Kompetensi | Kriteria Unjuk Kerja (KUK) Inti |
|---|---|---|
| J.62DMI00.009.1 Mengkonstruksi Data | 1. Menganalisis teknik transformasi data | 1.1 Analisis data untuk menentukan representasi fitur data awal. 1.2 Analisis representasi fitur data awal untuk menentukan teknik rekayasa fitur (feature engineering) yang diperlukan bagi pembangunan model. |
| 2. Melakukan transformasi data | 2.1 Transformasi dilakukan untuk mendapatkan fitur data awal. 2.2 Rekayasa fitur data dilakukan untuk mendapatkan fitur baru yang diperlukan bagi pembangunan model. | |
| 3. Membuat dokumentasi konstruksi data | 3.1 Teknis transformasi data dijabarkan secara tertulis. 3.2 Hasil transformasi data dan rekomendasinya dituangkan secara tertulis. | |
| J.62DMI00.010.1 Menentukan Label Data | 1. Melakukan pelabelan data | 1.1 Analisis hasil pelabelan data sejenis yang sudah ada diuraikan kesesuaiannya dengan Standard Operating Procedure (SOP) pelabelan. 1.2 Pelabelan data dilakukan sesuai dengan SOP pelabelan. |
| 2. Membuat laporan hasil pelabelan data | 2.1 Statistik hasil pelabelan diuraikan pada laporan. 2.2 Evaluasi proses pelabelan diuraikan pada laporan. | |
| J.62DMI00.011.1 Mengintegrasikan Data | Pelengkap praktik integrasi tabel | Unit ini mencakup pemetaan sumber ke target data, pemilihan model interaksi antar-data, serta pemeriksaan integritas hasil penggabungan (join/merge). |
Cakupan Praktikum Modul 10
Modul 10 (Feature Engineering dan Integrasi Data) melatih lima laboratorium:
- Lab 10-1 — One-Hot Encoding & pelabelan data (
creditApprovalUCI.csv) - Lab 10-2 — Pseudo-Labelling semi-supervisi
- Lab 10-3 — Segmentasi (threshold & K-Means pada citra)
- Lab 10-4 — Merge & Join relasional (Python Data Science Handbook)
- Lab 10-5 — Studi kasus aktuaria: PCA, Clustering & XGBoost (cross-selling asuransi)
2. Filosofi: "Data & Features Determine the Upper Bound"
Pakar kecerdasan buatan Andrew Ng menegaskan:
"Menerapkan machine learning pada dasarnya adalah rekayasa fitur (Feature Engineering). Model-model canggih hanya berusaha mendekati batas atas performa yang ditentukan oleh kualitas representasi fitur Anda."
Implikasinya: menambah data berkualitas dan merekayasa fitur yang tepat jauh lebih berdampak daripada sekadar mengganti algoritma yang lebih kompleks. Feature engineering adalah seni mengubah data mentah menjadi representasi yang membuat pola tersembunyi lebih mudah dipelajari model.
3. Pengkodean Data Kategorikal (Categorical Encoding)
Model matematika (regresi, SVM, neural network) hanya menerima bilangan numerik. Data kategorik berupa teks harus dikonversi terlebih dahulu. Kualitas konversi ini sangat menentukan performa model.
A. Nominal vs. Ordinal
| Jenis | Definisi | Contoh | Urutan? |
|---|---|---|---|
| Nominal | Kategori tanpa urutan tertentu | Jenis kelamin, Warna, Kota | Tidak |
| Ordinal | Kategori dengan urutan/tingkatan jelas | Pendidikan (SD < SMP < SMA < S1), Rating bintang | Ya |
B. Delapan Teknik Encoding
| No | Teknik | Cara Kerja | Ideal Untuk | Kelemahan |
|---|---|---|---|---|
| 1 | Label / Ordinal Encoding | Setiap label unik → satu integer | Data ordinal | Menciptakan urutan palsu pada nominal |
| 2 | One-Hot Encoding | Setiap kategori → vektor biner kolom | Nominal kardinalitas rendah | Ledakan dimensi (curse of dimensionality) |
| 3 | Dummy Encoding | One-Hot dengan kolom | Model linier (hindari kolinearitas) | Referensi kategori harus konsisten |
| 4 | Effect Encoding | Seperti dummy tetapi basis (bukan 0) | Analisis ANOVA / kontras | Interpretasi lebih rumit |
| 5 | Binary Encoding | Ordinal → biner, lalu dipecah per bit | Kardinalitas tinggi | Kombinasi bit tidak semuanya valid |
| 6 | BaseN Encoding | Generalisasi biner dengan basis | Kardinalitas sangat tinggi | Lebih sulit diinterpretasi |
| 7 | Hash Encoding | Kategori → hash tetap, kolom | Fitur berdimensi sangat besar (streaming) | Potensi hash collision |
| 8 | Target Encoding | Kategori → rata-rata target (dengan smoothing) | Kardinalitas tinggi | Rawan Target Leakage |
3.1 Label Encoding (Ordinal Encoding)
Setiap kategori diurutkan alfabetis dan dipetakan ke bilangan bulat. Cocok hanya untuk data yang benar-benar berurutan.
import pandas as pd
df = pd.DataFrame({
'country': ['India', 'US', 'Japan', 'US', 'Japan'],
'age': [44, 34, 46, 35, 23],
'salary': [72000, 65000, 98000, 45000, 34000]
})
from sklearn.preprocessing import LabelEncoder
label_encoder = LabelEncoder()
df['country'] = label_encoder.fit_transform(df['country'])
print(df)
# country age salary
# 0 44 72000 -> India
# 2 34 65000 -> US
# 1 46 98000 -> Japan
# Memeriksa urutan pemetaan hasil pengurutan alfabetis
print(label_encoder.classes_)
# array(['India', 'Japan', 'US'], dtype=object)
# India -> 0, Japan -> 1, US -> 2[!CAUTION] Bahaya Label Encoding untuk Data Nominal: Model akan menganggap
US (2) > Japan (1) > India (0), seolah-olah ada jarak numerik yang bermakna. Untuk variabel nominal (tanpa urutan), gunakan One-Hot Encoding.
3.2 One-Hot Encoding
Setiap kategori direpresentasikan sebagai vektor biner. Untuk variabel dengan kategori unik, dihasilkan kolom biner; nilai 1 menandakan kehadiran kategori tersebut.
Tiga cara implementasi:
import pandas as pd
df = pd.DataFrame({'country': ['India', 'US', 'Japan', 'US', 'Japan']})
# dummy_na=True menyertakan kolom penanda nilai NaN
df_encoded = pd.get_dummies(df, columns=['country'], drop_first=True)
print(df_encoded)
# country_Japan country_US
# 0 False False
# 1 False True
# 2 True FalseKeunggulan
feature_engine: (1) dapat memilih variabel yang di-encode langsung di transformator, (2) mengembalikan DataFrame Pandas dengan nama kolom deskriptif, dan (3) menjaga jumlah kolom tetap konsisten antara data latih dan uji — mengatasi keterbatasanpd.get_dummies()danOneHotEncodermentah.
3.3 Dummy Encoding & Dummy Variable Trap
Dummy Encoding adalah One-Hot Encoding dengan aturan kolom (satu kategori dijadikan referensi/basis dan dibuang). Tujuannya menghindari multikolinearitas sempurna pada model linier.
- Jika kolom one-hot dijumlahkan, hasilnya selalu 1 (redundan) → determinan matriks menjadi nol → invers tidak terdefinisi.
- Dengan membuang satu kolom (
drop='first'/drop_first=True), informasi tetap utuh dan kolinearitas hilang.
| Encoding | Jumlah Kolom | Multikolinearitas | Cocok Untuk |
|---|---|---|---|
| One-Hot ( kolom) | Berpotensi | Model berbasis pohon (RF, XGBoost) | |
| Dummy ( kolom) | Tidak | Regresi linier, regresi logistik |
# Pandas: drop_first=True membuang kategori referensi pertama
X_train_enc = pd.get_dummies(X_train[vars_categorical], drop_first=True)
# Scikit-learn: drop='first'
encoder = OneHotEncoder(categories='auto', drop='first', sparse_output=False)
encoder.fit(X_train[vars_categorical])
X_train_enc = encoder.transform(X_train[vars_categorical])
X_test_enc = encoder.transform(X_test[vars_categorical])3.4 Target Encoding dengan Smoothing (M-Estimate)
Untuk kategori berkardinalitas tinggi (kota, kode pos, ID produk), One-Hot Encoding membuang dimensi. Target Encoding mengganti kategori dengan statistik target-nya, dihaluskan (smoothed) agar tidak menimpa kategori langka:
Di mana = frekuensi kategori , = rata-rata target kategori , = rata-rata target keseluruhan, dan = bobot smoothing (m-estimate).
Anti-Kebocoran pada Target Encoding
Target Encoding wajib dihitung hanya dari data latih dan sebaiknya menggunakan out-of-fold (K-Fold) scheme. Jika tidak, fitur akan "melihat" target barisnya sendiri dan menyebabkan target leakage yang membuat validasi terlalu optimistis.
4. Praktikum Lab 10-1: Pembersihan & Encoding creditApprovalUCI.csv
Dataset Credit Approval (UCI) tidak memiliki judul kolom dan memakai simbol ? sebagai penanda nilai kosong.
import pandas as pd
import numpy as np
# ============================================================
# TAHAP 1: Pemuatan & Penamaan Kolom (cleaning ala Modul 9)
# ============================================================
data = pd.read_csv('https://mahendartea.github.io/Learn-AI/data/crx.data', header=None)
varnames = ['A' + str(s) for s in range(1, 17)]
data.columns = varnames
# Simbol '?' -> NaN
data = data.replace('?', np.nan)
# Konversi tipe data kolom numerik yang salah tangkap
data['A2'] = data['A2'].astype('float')
data['A14'] = data['A14'].astype('float')
# Mapping target A16: '+' -> 1, '-' -> 0
data['A16'] = data['A16'].map({'+': 1, '-': 0})
# ============================================================
# TAHAP 2: Pemisahan Kolom & Imputasi
# ============================================================
cat_cols = [c for c in data.columns if data[c].dtypes == 'O']
num_cols = [c for c in data.columns if data[c].dtypes != 'O']
# Numerik -> 0, Kategorik -> 'Missing' (strategi imputasi bermakna)
data[num_cols] = data[num_cols].fillna(0)
data[cat_cols] = data[cat_cols].fillna('Missing')
# ============================================================
# TAHAP 3: Train-Test Split & Encoding
# ============================================================
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
data.drop(labels=['A16'], axis=1),
data['A16'],
test_size=0.3,
random_state=0
)
vars_categorical = ['A1', 'A4', 'A5', 'A6', 'A7', 'A9', 'A10', 'A12', 'A13']
X_train_enc = pd.get_dummies(X_train[vars_categorical], drop_first=True)
X_test_enc = pd.get_dummies(X_test[vars_categorical], drop_first=True)
print(X_train_enc.head())Pembahasan:
get_dummies()menangkap nama variabel (misalA1) dan menambahkan garis bawah + nama kategori untuk mengidentifikasi kolom biner hasil. Parameterdrop_first=Truemembuang variabel biner pertama sehingga diperoleh representasi dan menghindari dummy variable trap. Untuk Scikit-learn, gunakanhandle_unknown='ignore'agar kategori baru pada data uji tidak memicu error.
5. Integrasi Data: Merge & Join Relasional (J.62DMI00.011.1)
Fitur terbaik sering kali tidak berada dalam satu tabel, melainkan tersebar di beberapa sumber. pd.merge() mengimplementasikan operasi aljabar relasional — fondasi yang sama yang dipakai basis data SQL.
A. Tiga Kategori Join
| Tipe Join | Kondisi Kunci | Contoh Dunia Nyata |
|---|---|---|
| One-to-One | Unik ↔ Unik | DataKaryawan ↔ DataGaji (per NIK) |
| Many-to-One | Duplikat ↔ Unik | Transaksi ↔ MasterPelanggan (banyak transaksi satu pelanggan) |
| Many-to-Many | Duplikat ↔ Duplikat | Karyawan ↔ Skill (banyak karyawan, banyak skill) |
B. Menentukan Kunci Merge
import pandas as pd
df1 = pd.DataFrame({'employee': ['Bob', 'Jake', 'Lisa', 'Sue'],
'group': ['Accounting', 'Engineering', 'Engineering', 'HR']})
df2 = pd.DataFrame({'employee': ['Lisa', 'Bob', 'Jake', 'Sue'],
'hire_date': [2004, 2008, 2012, 2014]})
# 1. Kunci bernama sama -> pd.merge otomatis mendeteksi
print(pd.merge(df1, df2))
# 2. Kunci eksplisit
print(pd.merge(df1, df2, on='employee'))
# 3. Nama kolom kunci berbeda -> left_on / right_on
df3 = pd.DataFrame({'name': ['Bob', 'Jake', 'Lisa', 'Sue'],
'salary': [70000, 80000, 120000, 90000]})
print(pd.merge(df1, df3, left_on='employee', right_on='name').drop('name', axis=1))
# 4. Merge berbasis indeks
df1a = df1.set_index('employee')
df2a = df2.set_index('employee')
print(pd.merge(df1a, df2a, left_index=True, right_index=True))
print(df1a.join(df2a)) # join() = merge default pada indeksC. Aritmetika Himpunan: Kata Kunci how
df6 = pd.DataFrame({'name': ['Peter', 'Paul', 'Mary'],
'food': ['fish', 'beans', 'bread']})
df7 = pd.DataFrame({'name': ['Mary', 'Joseph'],
'drink': ['wine', 'beer']})
print(pd.merge(df6, df7, how='inner')) # hanya Mary
print(pd.merge(df6, df7, how='outer')) # semua, NaN di sisi yang kosong
print(pd.merge(df6, df7, how='left')) # semua baris df6
print(pd.merge(df6, df7, how='right')) # semua baris df7D. Mengatasi Nama Kolom Bertabrakan (suffixes)
df8 = pd.DataFrame({'name': ['Bob', 'Jake', 'Lisa', 'Sue'], 'rank': [1, 2, 3, 4]})
df9 = pd.DataFrame({'name': ['Bob', 'Jake', 'Lisa', 'Sue'], 'rank': [3, 1, 4, 2]})
# Default memberi sufiks _x dan _y
print(pd.merge(df8, df9, on="name"))
# Sufiks kustom
print(pd.merge(df8, df9, on="name", suffixes=["_L", "_R"]))E. Studi Kasus: Menyelaraskan Data Dapodik dengan Data PMP
Pada studi kasus nyata (data sekolah Kabupaten Bogor), data profil sekolah dari Dapodik harus diselaraskan dengan data pelaporan PMP karena tidak semua sekolah melaporkan PMP. Prosesnya:
# 1. Memuat kedua sumber data
df_sekolah = pd.read_csv("sekolah_smp_kb_bogor.csv") # profil sekolah (Dapodik)
df_pmp = pd.read_csv("preparasi_tahap_2_data_pmp_smp_2019.csv") # capaian PMP
# 2. Menyeragamkan tipe kunci join (NPSN harus string!)
df_sekolah['npsn'] = df_sekolah['npsn'].astype(str)
df_pmp['npsn'] = df_pmp['npsn'].astype(str)
# 3. Menambahkan kolom tahun (dibentuk manual)
df_pmp['tahun'] = '2019'
# 4. Merge LEFT: pertahankan semua sekolah PMP, lengkapi dengan profil Dapodik
df_sek_2019_pmp = df_pmp.merge(df_sekolah, on='npsn', how='left')
# 5. Identifikasi nilai kosong pasca-merge (representasi visual)
import missingno as mno
mno.matrix(df_sek_2019_pmp, figsize=(20, 6))
# 6. Drop kolom yang mayoritas kosong (mis. 'yayasan')
df_sek_2019_pmp.drop('yayasan', axis=1, inplace=True)Pelajaran Kunci Integrasi Data:
- Samakan tipe kunci sebelum merge — NPSN
12345(integer) ≠"12345"(string) akan menghasilkan join gagal.- Pilih
howyang tepat — gunakanleftbila tabel referensi utama adalah tabel kiri,outerbila ingin mendeteksi semua ketidakcocokan.- Periksa integritas pasca-merge dengan memeriksa nilai
NaNper kolom; gunakanpd.merge(..., validate='one_to_one'|'many_to_one')untuk memverifikasi kardinalitas.
Validasi Kardinalitas Merge
Pandas menyediakan parameter validate untuk mendeteksi pelanggaran relasi:
# Akan error jika relasi bukan one-to-one
pd.merge(df1, df2, on='id', validate='one_to_one')Gunakan ini untuk mencegah ledakan baris tak terduga (Cartesian explosion) pada join many-to-many yang tidak disengaja.
6. Ekstraksi Fitur & Reduksi Dimensi dengan PCA
Principal Component Analysis (PCA) memproyeksikan data ke sumbu baru (komponen utama) yang saling ortogonal dan memaksimalkan varians terjelaskan. PCA membuat fitur baru yang tidak berkorelasi, berguna saat fitur asli redundant.
A. Varians Terjelaskan Kumulatif (Cumulative Explained Variance)
Jumlah komponen yang dipertahankan ditentukan dengan mencari titik ketika varians kumulatif melewati ambang (umumnya 90%).
import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
# Fit PCA pada fitur (tanpa target)
pca = PCA().fit(df_final[VariablesNoTarget])
fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 5))
ax0, ax1 = axes.flatten()
ax0.plot(np.cumsum(pca.explained_variance_ratio_), marker='o')
ax0.set_xlabel('Number of components')
ax0.set_ylabel('Cumulative explained variance')
ax1.bar(range(df_final[VariablesNoTarget].shape[1]), pca.explained_variance_)
ax1.set_xlabel('Number of components')
ax1.set_ylabel('Explained variance')
plt.tight_layout()
plt.show()
# Menghitung jumlah komponen untuk menutup 90% varians
cum = np.cumsum(pca.explained_variance_ratio_)
n_PCA_90 = np.size(cum) - np.count_nonzero(cum > 0.9)
print("Komponen yang menutup 90% varians:", n_PCA_90)B. Interpretasi Komponen
Setelah jumlah komponen ditetapkan (misal 4), pca.components_ menunjukkan bobot kontribusi setiap fitur asli terhadap tiap komponen utama. Fitur dengan bobot absolut besar (misal ) adalah kontributor dominan dan dapat digunakan untuk menamai komponen secara bisnis.
| Fitur Asli | Kontribusi Komponen | Interpretasi |
|---|---|---|
Age & Vehicle_Age | Komponen 1 & 2 | Semakin muda pemegang polis, semakin muda usia mobil |
Previously_Insured | 3 komponen | Riwayat pernah diasuransikan |
Vintage | Komponen 4 | Loyalitas/usia keanggotaan (pola unik) |
Kelebihan & Kekurangan PCA:
- Kelebihan: menghilangkan multikolinearitas, mereduksi dimensi, mempercepat pelatihan.
- Kekurangan: mengasumsikan relasi linier dan interpretasi komponen sulit. Untuk relasi non-linier, gunakan Kernel PCA (transformasi ruang Hilbert) atau autoencoder.
7. Pseudo-Labelling: Pelabelan Semisupervisi (J.62DMI00.010.1)
Pseudo-Labelling adalah teknik semi-supervisi: model dilatih pada data berlabel, lalu memprediksi label data tak berlabel (samar) dan menggabungkannya kembali sebagai data latih tambahan. Berguna ketika data berlabel mahal tetapi data mentah melimpah.
from sklearn.utils import shuffle
from sklearn.base import BaseEstimator, RegressorMixin
class PseudoLabeler(BaseEstimator, RegressorMixin):
"""Wrapper scikit-learn untuk pelabelan semu."""
def __init__(self, model, unlabled_data, features, target,
sample_rate=0.2, seed=42):
self.sample_rate = sample_rate
self.seed = seed
self.model = model
self.model.seed = seed
self.unlabled_data = unlabled_data
self.features = features
self.target = target
def fit(self, X, y):
self.model.fit(X, y)
# Prediksi data tak berlabel sebagai label semu
pseudo_labels = self.model.predict(self.unlabled_data[self.features])
temp = self.unlabled_data.copy()
temp[self.target] = pseudo_labels
# Ambil sebagian (sample_rate) untuk mencegah overfitting
temp = shuffle(temp, random_state=self.seed)
temp = temp.sample(frac=self.sample_rate, random_state=self.seed)
X_aug = pd.concat([X, temp[self.features]])
y_aug = pd.concat([y, temp[self.target]])
self.model.fit(X_aug, y_aug)
return self
def predict(self, X):
return self.model.predict(X)Hasil pada Kasus Big Mart Sales: RMSE turun dari 1152,73 (XGBoost biasa) menjadi 1151,38 (XGBoost + Pseudo-Labelling pada
sample_rate=0.3). Perbaikan tipikal bersifat marginal, tetapi konsisten: teknik ini efektif ketika data tak berlabel berasal dari distribusi yang sama dengan data latih.[!CAUTION] Risiko Confirmation Bias: Jika model awal salah memprediksi, galat tersebut akan diperkuat (reinforced) saat dilatih ulang. Batasi
sample_rate(mis. 0.2–0.3) dan hanya pakai bila prediksi model awal cukup andal.
8. Rekayasa Fitur Berbasis Siklus Waktu (Cyclical Feature Encoding)
Variabel waktu seperti jam (0-23) atau bulan (1-12) bersifat melingkar. Jam 23:59 berjarak sangat dekat dengan jam 00:01, namun secara numerik . Untuk mempertahankan sifat siklis, fitur dipetakan ke koordinat trigonometri:
import numpy as np
import pandas as pd
df = pd.DataFrame({'jam': [0, 6, 12, 18, 23]})
df['jam_sin'] = np.sin(2 * np.pi * df['jam'] / 24)
df['jam_cos'] = np.cos(2 * np.pi * df['jam'] / 24)
print(df)
# pasangan (sin, cos) merepresentasikan satu titik pada lingkaran unit9. Teknik Seleksi Fitur (Feature Selection)
Mengeliminasi fitur tidak relevan (noise) untuk mencegah Curse of Dimensionality dan mempercepat inferensi model:
- Filter Methods:
VarianceThreshold: menghapus fitur dengan variasi konstan atau mendekati nol.SelectKBestdengan uji statistik: ANOVA F-Test (fitur kontinu vs target kategori), Chi-Square (kategorik vs kategorik), atau Mutual Information (relasi non-linier umum).
- Wrapper Methods:
RFE (Recursive Feature Elimination): melatih model berulang dan mengeliminasi fitur berbobot terlemah secara berkala.
- Embedded Methods:
- Penalti (Lasso): memaksa koefisien fitur tidak signifikan menjadi nol.
- Feature Importance bawaan algoritma pohon (Random Forest / LightGBM).
from sklearn.feature_selection import SelectKBest, mutual_info_classif
from sklearn.ensemble import ExtraTreesClassifier
import pandas as pd
# Embedded: Feature Importance dari Extra Trees
model = ExtraTreesClassifier(n_estimators=100, random_state=42).fit(X, y)
importances = pd.Series(model.feature_importances_, index=X.columns)
print(importances.nlargest(10).plot(kind='barh'))
# Filter: Mutual Information
selector = SelectKBest(score_func=mutual_info_classif, k=5).fit(X, y)
print("Fitur terpilih:", X.columns[selector.get_support()])10. Menentukan Label Data & Penanganan Ketimpangan Kelas (J.62DMI00.010.1)
Penentuan label target harus memenuhi prinsip objektivitas tanpa ambiguitas, dengan mempertimbangkan SOP pelabelan yang berlaku.
A. Tantangan Ketimpangan Kelas (Class Imbalance)
Pada kasus fraud, diagnosis penyakit langka, atau respon cross-selling asuransi, kelas positif sering hanya 1%–5% dari dataset. Model yang dilatih langsung akan bias menebak seluruh data sebagai kelas mayoritas (Majority Guessing Paradox).
B. Solusi Modern
- Algorithmic Weighting: parameter
class_weight='balanced'pada Scikit-learn memberi penalti lebih tinggi saat salah memprediksi kelas minoritas. - Resampling:
RandomOverSampler,RandomUnderSampler, atau SMOTE (interpolasi tetangga terdekat). - Metrik evaluasi asimetris: gunakan Recall, Precision, F1-Score, atau ROC-AUC — bukan akurasi.
from sklearn.utils import resample
import pandas as pd
# Oversampling manual kelas minoritas
df_majority = df_final[df_final['Response'] == 0]
df_minority = df_final[df_final['Response'] == 1]
df_minority_upsampled = resample(
df_minority, replace=True, n_samples=len(df_majority), random_state=0
)
balanced_df = pd.concat([df_minority_upsampled, df_majority]).sample(
frac=1, random_state=0
)
print(balanced_df['Response'].value_counts()) # seimbang 50:50Catatan: Implementasi SMOTE secara matematis telah dibahas tuntas pada Pertemuan 08 (§5). Aturan emas tetap berlaku: SMOTE hanya diterapkan pada data latih setelah train-test split.
11. Praktikum Terpadu: Pipeline Feature Engineering
"""
Pipeline Feature Engineering End-to-End
Sumber praktikum: Modul 10 - Feature Engineering & Integrasi Data (DTS 2021)
Disusun ulang oleh: Mahendar Dwi Payana
"""
import pandas as pd
import numpy as np
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.feature_selection import SelectKBest, mutual_info_classif
from sklearn.ensemble import RandomForestClassifier
BASE = "https://mahendartea.github.io/Learn-AI/data"
# 1. Pemuatan & Pembersihan
data = pd.read_csv(f"{BASE}/crx.data", header=None)
data.columns = ['A' + str(s) for s in range(1, 17)]
data = data.replace('?', np.nan)
data['A2'] = data['A2'].astype(float)
data['A14'] = data['A14'].astype(float)
data['A16'] = data['A16'].map({'+': 1, '-': 0})
cat_cols = [c for c in data.columns if data[c].dtypes == 'O']
num_cols = [c for c in data.columns if data[c].dtypes != 'O']
data[num_cols] = data[num_cols].fillna(0)
data[cat_cols] = data[cat_cols].fillna('Missing')
X = data.drop('A16', axis=1)
y = data['A16']
# 2. Pipeline Encoding + Scaling + Selection + Model
numeric_pipe = Pipeline([('scaler', StandardScaler())])
categorical_pipe = Pipeline([
('onehot', OneHotEncoder(handle_unknown='ignore', drop='first'))
])
preprocessor = ColumnTransformer([
('num', numeric_pipe, num_cols[:-1] if 'A16' in num_cols else num_cols),
('cat', categorical_pipe, cat_cols)
])
pipeline = Pipeline([
('preprocessor', preprocessor),
('selector', SelectKBest(score_func=mutual_info_classif, k=10)),
('classifier', RandomForestClassifier(
n_estimators=100, class_weight='balanced', random_state=42))
])
pipeline.fit(X, y)
print("Pipeline Feature Engineering berhasil dilatih tanpa kebocoran data!")12. Lembar Evaluasi & Tugas Praktikum Mandiri
Bandingkan performa model LogisticRegression menggunakan tiga strategi encoding pada kolom kategorikal: (a) Label Encoding, (b) One-Hot penuh ( kolom), dan (c) Dummy Encoding ( kolom). Laporkan metrik akurasi, F1-Score, dan jumlah fitur yang dihasilkan. Jelaskan mengapa One-Hot penuh dapat menyebabkan masalah pada regresi logistik!
Diberikan dua tabel: orders (order_id, customer_id, amount) dan customers (customer_id, city, segment). Lakukan: (a) inner join, (b) left join, dan (c) outer join. Untuk masing-masing, laporkan jumlah baris hasil dan jumlah nilai NaN. Lalu gunakan parameter validate='many_to_one' dan jelaskan pelanggaran kardinalitas yang terdeteksi!
Gunakan dataset numerik (misal diabetes.csv dari Pertemuan 09). Terapkan StandardScaler lalu PCA. Tentukan jumlah komponen minimum yang menutup 90% varians. Bandingkan akurasi RandomForestClassifier menggunakan (a) seluruh fitur asli dan (b) komponen PCA terpilih. Sertakan grafik scree plot!
Bagi dataset menjadi tiga bagian: latih berlabel (60%), tak berlabel (20%), dan uji (20%). Latih model XGBoost/Random Forest tanpa pseudo-label, lalu kombinasikan dengan pseudo-label pada sample_rate 0.1 hingga 0.5. Plot kurva RMSE terhadap sample_rate dan simpulkan sample rate optimum serta risikonya!
Susun laporan konstruksi fitur untuk dataset Capstone Anda yang memuat: (1) representasi fitur awal, (2) teknik encoding & integrasi yang dipilih beserta justifikasinya, (3) tabel hasil transformasi (jumlah fitur & tipe), dan (4) evaluasi dampak terhadap performa model baseline. Dokumentasikan sesuai standar SKKNI!
13. Referensi Pustaka & Tautan Resmi
- Tim Universitas Gunadarma (2021). Modul 10 — Feature Engineering dan Integrasi Data. Thematic Academy Digital Talent Scholarship 2021, Kementerian Komunikasi dan Informatika RI.
- Kementerian Ketenagakerjaan RI (2020). SKKNI No. 299 Tahun 2020 Bidang Artificial Intelligence Subbidang Data Science (Unit
J.62DMI00.009.1Mengkonstruksi Data,J.62DMI00.010.1Menentukan Label Data,J.62DMI00.011.1Mengintegrasikan Data). - Alice Zheng & Amanda Casari (2018). Feature Engineering for Machine Learning: Principles and Techniques for Data Scientists. O'Reilly Media.
- Jake VanderPlas (2016). Python Data Science Handbook: Combining Datasets — Merge and Join. O'Reilly Media. jakevdp.github.io.
- Sinno Jialin Pan & Qiang Yang (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10). (Konsep pseudo-labelling / self-training).
- Scikit-learn Developers. Preprocessing: Encoding Categorical Features & Principal Component Analysis. scikit-learn.org.
- Feature-engine Documentation. Categorical Encoders. feature-engine.trainindata.com.
- Analytics Vidhya (2020). Types of Categorical Data Encoding. analyticsvidhya.com.
Pertemuan 09: Konstruksi & Transformasi Data Numerik
Penerapan Unit Kompetensi SKKNI J.62DMI00.009.1 (Mengkonstruksi Data): Strategi imputasi nilai hilang (Mean, Median, Arbitrary, End of Tail, Modus, Random Sample, Regresi Deterministik & Stokastik), penanganan pencilan (Trimming vs Winsorizing), diskretisasi (Binning dengan cut, qcut, interval_range), serta penskalaan fitur (Normalizer L2, Normalisasi, Standardisasi, Robust Scaling) dan transformasi distribusi (Log, Box-Cox, Yeo-Johnson).
Pertemuan 11: Skenario Pemodelan & Algoritma Klasifikasi Terawasi
Penerapan Unit Kompetensi SKKNI J.62DMI00.012.1 (Membangun Skenario Model) dan J.62DMI00.013.1 (Membangun Model): Train-Validation-Test Split, Model Selection vs Assessment, K-Fold Cross-Validation, strategi pencarian parameter (Best Guess, OFAT, Grid Search), pencegahan Data Leakage via Pipeline, serta komparasi algoritma klasifikasi (k-NN, Decision Tree, Naive Bayes, SVM, Logistic Regression, Random Forest, AdaBoost, XGBoost) lengkap dengan kelebihan/kekurangan dan parameter tuning pada dataset Iris.