Pertemuan 13: Pembelajaran Tak Terawasi & Analisis Klastering
Penerapan Unit Kompetensi SKKNI J.62DMI00.013.1 (Membangun Model) untuk klastering: taksonomi Partition/Hierarchical/Density-based, algoritma K-Means (WCSS, Elbow Method, K-Means++), Hierarchical Clustering (Agglomerative vs Divisive, Dendrogram), DBSCAN (eps, minPts, Core/Border/Noise, Density Reachability), serta metrik evaluasi Silhouette, Homogeneity, Completeness, V-measure, ARI, dan AMI pada studi kasus pelanggan department store.
Penyusun Modul & Portal: Mahendar Dwi Payana
Penulis Materi Pelatihan DTS 2021: Dr. Berlian Al Kindhi, S.ST., MT. — Thematic Academy Digital Talent Scholarship 2021
Penyelenggara & Kurikulum: Kementerian Komunikasi dan Informatika RI (Kominfo) & Sekolah Teknik Elektro dan Informatika (STEI) ITB
Standar Rujukan: Standar Kompetensi Kerja Nasional Indonesia (SKKNI) No. 299 Tahun 2020 — Skema Associate Data Scientist
1. Landasan Standar Kompetensi Kerja (SKKNI)
Modul ini melanjutkan pemodelan ke ranah pembelajaran tak terawasi (unsupervised learning) dengan unit kompetensi yang sama seperti pertemuan pemodelan sebelumnya:
| Kode Unit | Elemen Kompetensi | Kriteria Unjuk Kerja (KUK) Inti |
|---|---|---|
| J.62DMI00.013.1 Membangun Model | 1. Menyiapkan parameter model | 1.1 Parameter yang sesuai dengan model diidentifikasi. 1.2 Nilai toleransi parameter evaluasi pengujian ditetapkan sesuai tujuan teknis. |
| 2. Menggunakan tools pemodelan | 2.1 Tools untuk membuat model diidentifikasi. 2.2 Algoritma pemodelan dibangun menggunakan tools yang dipilih. 2.3 Algoritma pemodelan dieksekusi sesuai skenario pengujian. 2.4 Parameter model dioptimasi untuk menghasilkan nilai evaluasi yang sesuai skenario. |
Tujuan Pembelajaran:
- Melakukan pemilahan data untuk digunakan sebagai input feature.
- Mempelajari algoritma K-Means, Hierarchical Clustering, dan DBSCAN.
- Optimasi K-Means dengan Elbow Method (menentukan yang tepat).
- Optimasi Hierarchical Clustering dengan Dendrogram.
- Optimasi clustering berbasis density dengan DBSCAN.
- Praktik coding dengan Python.
2. Klastering & Taksonominya
Klastering adalah teknik machine learning tanpa supervisi (tanpa label target). Tujuannya mengelompokkan data sehingga titik dalam satu klaster (intra-cluster) sangat mirip, sedangkan titik antar-klaster (inter-cluster) sangat berbeda. Ukuran kemiripan ditentukan oleh posisi centroid dan jarak antar titik.
Kasus penggunaan klastering:
- Segmentasi pelanggan (customer profiling) untuk strategi pemasaran.
- Deteksi anomali jaringan (paket data yang tidak termasuk kelompok normal).
- Kompresi citra (kuantisasi warna berbasis centroid).
Dataset Praktikum Modul 13
Lab modul memakai Customer.csv (200 pelanggan department store): IDPelanggan, Kelamin, Usia, Rating_belanja (1-100), Pendapatan (juta Rp).
Unduh di sini
3. K-Means Clustering (Partition-based)
K-Means adalah algoritma iteratif yang mempartisi dataset menjadi subkelompok non-overlapping; setiap titik data hanya milik satu klaster. K-Means menempatkan titik ke klaster sedemikian sehingga jumlah kuadrat jarak titik ke pusat massanya minimal.
A. Fungsi Objektif (WCSS / Inertia)
Semakin kecil variasi di dalam klaster, semakin homogen (serupa) titik-titiknya. Tujuan K-Means adalah meminimalkan WCSS.
B. Langkah-Langkah K-Means
- Pilih jumlah klaster yang diinginkan.
- Pilih titik acak sebagai centroid awal (posisi bebas; akan diperbaiki iteratif).
- Tugaskan tiap titik ke centroid terdekat, membentuk klaster.
- Hitung ulang centroid tiap klaster = rata-rata anggotanya (jarak umumnya Euclidean).
- Ulangi langkah 3–4 hingga tidak ada lagi perpindahan klaster (konvergen).
C. Optimasi Jumlah Klaster: Metode Elbow
Memilih adalah faktor paling krusial:
- terlalu sedikit (mis. 2) → informasi tersembunyi tidak terungkap.
- terlalu banyak (mis. 8) → sulit diinterpretasi dan dijadikan dasar keputusan.
Elbow Method memplot WCSS terhadap jumlah klaster. Nilai yang dipilih adalah titik ketika penurunan WCSS mulai melambat signifikan — membentuk siku (elbow).
D. K-Means++
Inisialisasi centroid murni acak dapat menjebak algoritma pada optimum lokal yang buruk. K-Means++ memilih centroid awal yang tersebar sejauh mungkin satu sama lain menggunakan distribusi probabilitas sebanding kuadrat jarak .
E. Lab: Studi Kasus Pelanggan Customer.csv
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.cluster import KMeans
BASE = "https://mahendartea.github.io/Learn-AI/data"
dataset = pd.read_csv(f"{BASE}/Customer.csv")
# Input features: Rating_belanja (kolom 4) & Pendapatan (kolom 5)
X = dataset.iloc[:, [3, 4]].values
# ---- Optimasi K-Means dengan metode Elbow (WCSS) ----
wcss = []
for i in range(1, 11):
kmeans = KMeans(n_clusters=i, init='k-means++', random_state=42)
kmeans.fit(X)
wcss.append(kmeans.inertia_)
plt.plot(range(1, 11), wcss, marker='o')
plt.title('Elbow Method')
plt.xlabel('Cluster Number')
plt.ylabel('WCSS')
plt.show()
# ---- Menjalankan K-Means ----
kmeans = KMeans(n_clusters=5, init='k-means++', random_state=42)
y_kmeans = kmeans.fit_predict(X)
plt.scatter(X[y_kmeans == 0, 0], X[y_kmeans == 0, 1], s=100, c='blue', label='Cluster 1')
plt.scatter(X[y_kmeans == 1, 0], X[y_kmeans == 1, 1], s=100, c='red', label='Cluster 2')
plt.scatter(X[y_kmeans == 2, 0], X[y_kmeans == 2, 1], s=100, c='magenta', label='Cluster 3')
plt.scatter(X[y_kmeans == 3, 0], X[y_kmeans == 3, 1], s=100, c='cyan', label='Cluster 4')
plt.scatter(X[y_kmeans == 4, 0], X[y_kmeans == 4, 1], s=100, c='green', label='Cluster 5')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1],
s=300, c='yellow', label='Centroids')
plt.title('Consumers Cluster')
plt.xlabel('Yearly expense rating (1-100)')
plt.ylabel('Yearly Salary')
plt.legend()
plt.show()Temuan: Grafik siku WCSS muncul pada klaster 3 dan 5, sehingga jumlah klaster paling optimum adalah 3 atau 5. Hasil pengelompokan dapat menjadi dasar strategi pemasaran toko terhadap tiap segmen pelanggan.
4. Hierarchical Clustering
Pengelompokan hierarki memisahkan data ke dalam kelompok berdasarkan ukuran kesamaan, lalu mempersempitnya bertahap. Ilustrasi: dari beberapa mobil, kelompokkan menjadi sedan dan SUV, lalu gabungkan keduanya, hingga akhirnya semua berada dalam satu klaster.
A. Dua Pendekatan
| Pendekatan | Arah | Cara Kerja |
|---|---|---|
| Divisive | Top-down | Mulai dari satu klaster besar, dipecah menjadi dua, tiga, empat, … |
| Agglomerative | Bottom-up | Mulai dari klaster kecil (tiap titik = 1 klaster), digabung hingga satu klaster besar |
B. Langkah Agglomerative
- Setiap titik data menjadi satu klaster → data = klaster.
- Cari 2 titik/klaster terdekat (jarak Euclidean) dan gabungkan.
- Ulangi pencarian 2 klaster terdekat (boleh melibatkan klaster hasil gabungan).
- Ulangi hingga tersisa satu klaster besar. Ukuran klaster tidak harus sama.
C. Optimasi dengan Dendrogram
Untuk K-Means kita memakai Elbow; untuk Hierarchical Clustering kita memakai Dendrogram — diagram yang menunjukkan proses penggabungan klaster. Sumbu- = data/klaster, sumbu- = jarak Euclidean.
Cara menentukan : pilih garis vertikal terpanjang yang tidak terpotong oleh garis threshold, atau tentukan nilai threshold pada sumbu jarak.
D. Lab: Hierarchical pada Customer.csv
import scipy.cluster.hierarchy as sch
from sklearn.cluster import AgglomerativeClustering
# ---- Dendrogram untuk menentukan jumlah cluster ----
dendrogram = sch.dendrogram(sch.linkage(X, method='ward'))
plt.title('Dendrogram')
plt.xlabel('Consumer')
plt.ylabel('Euclidean Distance')
plt.show()
# ---- Menjalankan Hierarchical Clustering ----
hc = AgglomerativeClustering(n_clusters=5, linkage='ward')
y_hc = hc.fit_predict(X)
plt.scatter(X[y_hc == 0, 0], X[y_hc == 0, 1], s=100, c='red', label='Cluster 1')
plt.scatter(X[y_hc == 1, 0], X[y_hc == 1, 1], s=100, c='blue', label='Cluster 2')
plt.scatter(X[y_hc == 2, 0], X[y_hc == 2, 1], s=100, c='green', label='Cluster 3')
plt.scatter(X[y_hc == 3, 0], X[y_hc == 3, 1], s=100, c='cyan', label='Cluster 4')
plt.scatter(X[y_hc == 4, 0], X[y_hc == 4, 1], s=100, c='magenta', label='Cluster 5')
plt.title('Consumers Cluster')
plt.xlabel('Yearly expense rating (1-100)')
plt.ylabel('Yearly Salary')
plt.legend()
plt.show()Temuan: Jumlah klaster paling sesuai adalah 5 (dari jumlah garis vertikal yang terpotong threshold). Hasil hierarchical clustering hampir sama dengan K-Means — keduanya efektif untuk data yang menyerupai bentuk normal/sferis.
5. DBSCAN (Density-based)
K-Means dan Hierarchical efisien bila klaster berbentuk normal/sferis. Namun bila klaster berbentuk arbitrer (cincin, bulan sabit) atau ingin mendeteksi outlier, gunakan DBSCAN.
DBSCAN (Density-Based Spatial Clustering of Applications with Noise) adalah algoritma pengelompokan berbasis kerapatan yang dapat menemukan klaster dengan berbagai bentuk/ukuran dari data besar yang mengandung noise dan outlier.
A. Dua Parameter Utama
| Parameter | Keterangan |
|---|---|
minPts | Jumlah minimum titik (ambang) dalam suatu wilayah agar dianggap padat (dense) |
eps () | Ukuran radius jarak untuk menemukan titik-titik di sekitar suatu titik |
Dua konsep pendukung:
- Density Reachability — titik dapat "dijangkau" dari jika berada dalam jarak
epsdari . - Density Connectivity — pendekatan chaining berbasis transitivitas: dan terhubung jika (relasi neighborhood).
B. Langkah-Langkah DBSCAN
- Ambil titik dalam dataset secara acak (sampai semua titik dikunjungi).
- Jika terdapat setidaknya
minPtstitik dalam radiusepsdari titik tersebut, semua titik itu dianggap satu klaster. - Perluas klaster dengan mengulang perhitungan lingkungan secara rekursif untuk setiap titik tetangga.
C. Tiga Jenis Titik
D. Lab 1: DBSCAN pada Data Spherical (make_blobs)
import numpy as np
from sklearn.cluster import DBSCAN
from sklearn import metrics
from sklearn.datasets import make_blobs
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
# Generate data spherical (3 pusat)
centers = [[1, 1], [-1, -1], [1, -1]]
X, labels_true = make_blobs(n_samples=750, centers=centers, cluster_std=0.4, random_state=0)
X = StandardScaler().fit_transform(X)
# DBSCAN
db = DBSCAN(eps=0.3, min_samples=10).fit(X)
core_samples_mask = np.zeros_like(db.labels_, dtype=bool)
core_samples_mask[db.core_sample_indices_] = True
labels = db.labels_
n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)
n_noise_ = list(labels).count(-1)
print('Estimated number of clusters: %d' % n_clusters_)
print('Estimated number of noise points: %d' % n_noise_)
print("Homogeneity: %0.3f" % metrics.homogeneity_score(labels_true, labels))
print("Completeness: %0.3f" % metrics.completeness_score(labels_true, labels))
print("V-measure: %0.3f" % metrics.v_measure_score(labels_true, labels))
print("Adjusted Rand Index: %0.3f" % metrics.adjusted_rand_score(labels_true, labels))
print("Adjusted Mutual Information: %0.3f" % metrics.adjusted_mutual_info_score(labels_true, labels))
print("Silhouette Coefficient: %0.3f" % metrics.silhouette_score(X, labels))Hasil referensi (data spherical):
clusters = 3,noise = 18, Homogeneity = 0.953, Completeness = 0.883, V-measure = 0.917, ARI = 0.952, AMI = 0.916, Silhouette = 0.626.
E. Lab 2: DBSCAN pada Data Non-Spherical (make_circles)
from sklearn.datasets import make_circles
from sklearn.cluster import KMeans
# Data non-spherical: dua cincin konsentris
X, y = make_circles(n_samples=750, factor=0.3, noise=0.1)
X = StandardScaler().fit_transform(X)
# DBSCAN
y_pred = DBSCAN(eps=0.3, min_samples=10).fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
print('Number of clusters: {}'.format(len(set(y_pred[np.where(y_pred != -1)]))))
print('Homogeneity: {}'.format(metrics.homogeneity_score(y, y_pred)))
print('Completeness: {}'.format(metrics.completeness_score(y, y_pred)))
print("Silhouette Coefficient: %0.3f" % metrics.silhouette_score(X, y_pred))Perbandingan DBSCAN vs K-Means (non-spherical):
Metrik DBSCAN K-Means Jumlah klaster 2 2 Homogeneity 1.000 0.0017 Completeness 0.937 0.0016 Silhouette -0.061 -0.057 DBSCAN berhasil memisahkan dua cincin dengan sempurna (Homogeneity ≈ 1.0), sedangkan K-Means gagal karena mempartisi berdasarkan jarak ke centroid — titik pada cincin dalam dan luar yang berdekatan secara spasial justru dimasukkan ke klaster yang sama.
6. Metrik Evaluasi Klastering
Karena klastering tak terawasi, evaluasi membandingkan struktur klaster yang dihasilkan dengan label asli (external) atau mengukur kohesi/pemisahan (internal).
A. Koefisien Siluet (Silhouette Coefficient — internal)
- : rata-rata jarak titik ke titik lain dalam klaster yang sama (kohesi).
- : rata-rata jarak titik ke titik klaster terdekat lain (pemisahan).
- : klaster rapat dan terpisah sempurna; : kemungkinan salah klaster.
B. Metrik Eksternal (bila label asli tersedia)
| Metrik | Makna |
|---|---|
| Homogeneity | Setiap klaster hanya memuat anggota dari satu kelas |
| Completeness | Semua anggota satu kelas berada dalam satu klaster |
| V-measure | Rata-rata harmonik Homogeneity & Completeness |
| Adjusted Rand Index (ARI) | Kesamaan pasangan titik, disesuaikan terhadap peluang acak |
| Adjusted Mutual Information (AMI) | Informasi bersama, disesuaikan terhadap peluang acak |
| Davies-Bouldin Index | Rasio sebaran dalam-klaster terhadap pemisahan antar-klaster (semakin kecil semakin baik) |
from sklearn import metrics
# Contoh penggunaan berbagai metrik eksternal
print("Homogeneity :", metrics.homogeneity_score(y, y_pred))
print("Completeness :", metrics.completeness_score(y, y_pred))
print("V-measure :", metrics.v_measure_score(y, y_pred))
print("Adjusted Rand Index:", metrics.adjusted_rand_score(y, y_pred))
print("AMI :", metrics.adjusted_mutual_info_score(y, y_pred))7. Ringkasan Komparasi Algoritma Klastering
| Aspek | K-Means | Hierarchical (Agglomerative) | DBSCAN |
|---|---|---|---|
| Basis | Partisi (centroid) | Hirarki jarak | Kerapatan (density) |
| Jumlah | Harus ditentukan a priori | Ditentukan dari Dendrogram | Otomatis dari eps & minPts |
| Bentuk klaster | Sferis / konveks | Beragam (tergantung linkage) | Arbitrer (cincin, sabit) |
| Menangani noise | Tidak | Tidak | Ya (label -1) |
| Skalabilitas | Tinggi (cepat) | Rendah () | Sedang (bergantung indeks) |
| Sensitivitas skala | Tinggi | Tinggi | Tinggi |
8. Lembar Evaluasi & Tugas Praktikum Mandiri
Sebuah department store ingin menganalisis kelompok perilaku belanja pelanggannya menggunakan Customer.csv. Gunakan kolom ke-2 hingga ke-4 sebagai input features. Dengan metode elbow, analisis jumlah cluster yang tepat (plot WCSS untuk ), lalu jalankan K-Means dan analisis hasilnya (interpretasi tiap segmen pelanggan)!
Dengan dataset & fitur yang sama, buat dendrogram untuk menentukan jumlah cluster yang tepat, lalu jalankan Hierarchical Clustering. Bandingkan hasilnya dengan K-Means dari Tugas 1 (misal via tabel kontingensi atau metrik Adjusted Rand Index). Apakah kedua metode menghasilkan segmentasi yang konsisten? Jelaskan!
Bangkitkan dataset pelatihan sebanyak 500 titik dengan label yang sesuai. Lakukan normalisasi fitur, lalu terapkan DBSCAN dari sklearn. Buat dua kasus: spherical (make_blobs) dan non-spherical (make_circles). Pada kasus non-spherical, uji juga dengan K-Means dan bandingkan hasilnya. Sertakan metrik Homogeneity, Completeness, dan Silhouette!
Pada dataset non-spherical, lakukan grid nilai eps (0,1; 0,2; 0,3; 0,5) dan min_samples (3, 5, 10, 15). Catat jumlah klaster, jumlah noise, dan Silhouette Score tiap kombinasi. Simpulkan pengaruh eps dan min_samples terhadap pembentukan klaster dan deteksi noise!
9. Referensi Pustaka & Tautan Resmi
- Dr. Berlian Al Kindhi, S.ST., MT. (2021). Modul 13 — Clustering. Thematic Academy Digital Talent Scholarship 2021, Kementerian Komunikasi dan Informatika RI.
- Kementerian Ketenagakerjaan RI (2020). SKKNI No. 299 Tahun 2020 Bidang Artificial Intelligence Subbidang Data Science (Unit
J.62DMI00.013.1— Membangun Model). - Ethem Alpaydin (2020). Introduction to Machine Learning (4th ed.). MIT Press.
- Zhi-Hua Zhou (2021). Machine Learning. Springer.
- Charu C. Aggarwal & Chandan K. Reddy (2013). Data Clustering: Algorithms and Applications. Chapman and Hall/CRC.
- Anil K. Jain & Richard C. Dubes (1988). Algorithms for Clustering Data. Prentice Hall.
- Martin Ester, Hans-Peter Kriegel, Jörg Sander, & Xiaowei Xu (1996). A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Proceedings of KDD-96. (Algoritma DBSCAN).
- Scikit-learn Developers. Clustering & Clustering Performance Evaluation. scikit-learn.org.
Pertemuan 12: Pemodelan Regresi Numerik & Diagnostik Residual
Penerapan Unit Kompetensi SKKNI J.62DMI00.013.1 (Membangun Model) untuk target kontinu: Regresi Linier Sederhana & Variabel Jamak (OLS, Gradient Descent), Regresi Polinomial dan Non-Linier (China GDP, curve_fit), Support Vector Regression (ε-tube, efek C), Decision Tree Regression, Random Forest Regression, asumsi klasik Gauss-Markov, regularisasi Ridge/Lasso/ElasticNet, serta metrik evaluasi MAE, MSE, RMSE, dan R².
Pertemuan 14: Deep Learning & Artificial Neural Networks (ANN, CNN, RNN)
Penerapan Unit Kompetensi SKKNI J.62DMI00.013.1 (Membangun Model): dari neuron biologis & perceptron (McCulloch-Pitts) hingga Multi-layer Perceptron, fungsi aktivasi (Sigmoid, Tanh, ReLU, Softmax), forward/backpropagation, gradient descent & SGD mini-batch, adaptive learning rate (Adam), regularisasi (L1/L2, Dropout, Early Stopping, Augmentasi), implementasi dengan Scikit-learn MLPClassifier & Keras/TensorFlow (Iris, MNIST), serta Convolutional Neural Network (Conv/Pooling/FC) dan Recurrent Neural Network (LSTM/GRU).