Pertemuan 15: Evaluasi Model & Review Diagnostik Pemodelan
Penerapan Unit Kompetensi SKKNI J.62DMI00.014.1 (Mengevaluasi Hasil Pemodelan) dan J.62DMI00.015.1 (Melakukan Proses Review Pemodelan): Akurasi & keterbatasannya, Confusion Matrix, metrik biner (Precision, Recall, Specificity, NPV, F1), ROC-AUC & PR-Curve, Log Loss, evaluasi segmentasi (Jaccard/Dice), evaluasi regresi (MAE, MSE, RMSE, MAPE, R²), evaluasi clustering (Silhouette, Davies-Bouldin, Dunn), perbandingan model dengan McNemar's Test, Explainable AI (SHAP), dan Google ML Test Score.
Penyusun Modul & Portal: Mahendar Dwi Payana
Penulis Materi Pelatihan DTS 2021: Ir. Agus Pratondo, S.T., M.T., Ph.D. — Thematic Academy Digital Talent Scholarship 2021
Penyelenggara & Kurikulum: Kementerian Komunikasi dan Informatika RI (Kominfo) & Sekolah Teknik Elektro dan Informatika (STEI) ITB
Standar Rujukan: Standar Kompetensi Kerja Nasional Indonesia (SKKNI) No. 299 Tahun 2020 — Skema Associate Data Scientist
1. Landasan Standar Kompetensi Kerja (SKKNI)
Evaluasi menentukan apakah model layak digunakan atau tidak. Sesi ini mengintegrasikan dua unit kompetensi:
| Kode Unit | Elemen Kompetensi | Kriteria Unjuk Kerja (KUK) Inti |
|---|---|---|
| J.62DMI00.014.1 Mengevaluasi Hasil Pemodelan | 1. Menggunakan model dengan data riil | 1.1 Data baru untuk evaluasi dikumpulkan sesuai parameter evaluasi. 1.2 Model diuji dengan data riil yang telah dikumpulkan. |
| 2. Menilai hasil pemodelan | 2.1 Keluaran pengujian model dinilai berdasarkan metrik kesuksesan. 2.2 Hasil penilaian didokumentasikan sesuai standar. | |
| J.62DMI00.015.1 Melakukan Proses Review Pemodelan | 1. Menilai kesesuaian proses | 1.1 Proses pemodelan diperiksa kesesuaiannya dengan tahapan yang ditentukan. 1.2 Tindak lanjut ditentukan berdasarkan hasil pemeriksaan. |
| 2. Menilai kualitas proses | 2.1 Proses pemodelan dinilai berdasarkan rencana pelaksanaan. 2.2 Hasil penilaian didokumentasikan sesuai standar. |
Tujuan Pembelajaran: peserta mampu menghitung berbagai pengukuran performansi model machine learning dan mengimplementasikannya pada bahasa pemrograman.
Model yang diukur:
| Jenis | Tipe |
|---|---|
| Supervised Learning | Klasifikasi, Regresi |
| Unsupervised Learning | Clustering |
Prinsip Dasar: Evaluasi dilakukan setelah training selesai, memakai data evaluasi yang tidak boleh sama dengan data training.
2. Akurasi & Keterbatasannya
Akurasi menunjukkan persentase klasifikasi valid terhadap total klasifikasi:
Di mana = akurasi (%), = jumlah percobaan valid, = jumlah percobaan.
Contoh sederhana: Dari 5 percobaan, hanya 2 yang valid → akurasi = .
[!CAUTION] Akurasi Sering Menipu. Contoh kasus detektor Covid-19 X: dari 100 sampel (90 negatif, 10 positif), detektor mendeteksi 90 negatif dengan benar, tetapi hanya 5 dari 10 positif yang terdeteksi. Akurasi = . Angka ini tampak tinggi, namun 5 kesalahan False Negative pada penyakit menular bisa berakibat fatal. Akurasi saja tidak cukup — perlu metrik yang menghitung performa per kelas.
3. Confusion Matrix
Confusion Matrix bukan metrik, melainkan tabulasi yang memetakan hasil prediksi terhadap data aktual per kelas.
Karakteristik:
- Memiliki sumbu data aktual dan sumbu data prediksi (ikut konvensi).
- Setiap kelas terpetakan satu sama lain.
- Percobaan valid berada pada diagonal utama.
- Matriks berbentuk bujur sangkar.
Contoh klasifikasi 4 kelas buah (25 citra uji per kelas, total 100):
| Kelas Aktual \ Prediksi | mangga | apel | jambu | pear |
|---|---|---|---|---|
| mangga | 19 | 3 | 2 | 1 |
| apel | 1 | 22 | 1 | 1 |
| jambu | 2 | 2 | 21 | 0 |
| pear | 0 | 1 | 1 | 23 |
- Akurasi kelas mangga = .
- Akurasi total = .
Visualisasi heat map confusion matrix memudahkan perbandingan antar-epoch training secara cepat (sebelum membaca angkanya).
4. Klasifikasi Biner
Klasifikasi biner hanya memiliki dua kelas — satu ditetapkan sebagai positif (fokus) dan lainnya negatif. Contoh: Covid/non-Covid, spam/bukan spam, hoax/bukan hoax, tsunami/bukan tsunami.
Empat parameter dasar:
| Parameter | Definisi |
|---|---|
| True Positive (TP) | Aktual positif, diprediksi positif |
| False Positive (FP) | Aktual negatif, diprediksi positif |
| True Negative (TN) | Aktual negatif, diprediksi negatif |
| False Negative (FN) | Aktual positif, diprediksi negatif |
| Nilai Aktual \ Prediksi | Positive | Negative |
|---|---|---|
| Positive | True Positive (TP) | False Negative (FN) |
| Negative | False Positive (FP) | True Negative (TN) |
FN vs. FP: Bergantung Kasus
| Domain | Kasus | Yang Paling Berbahaya |
|---|---|---|
| Kebencanaan (tsunami) | FN: diprediksi tidak tsunami, ternyata tsunami | FN (korban jiwa) |
| Filter spam | FP: email penting masuk folder spam | FP (gagal kerja/proyek) |
| Medis (penyakit menular) | FN: pasien sakit dinyatakan negatif | FN (penularan/fatal) |
Setiap permasalahan memiliki titik tekan parameter berbeda. Tidak ada satu metrik terbaik untuk semua kasus.
5. Metrik Klasifikasi Biner
Berdasarkan confusion matrix, dapat diturunkan berbagai metrik:
| Metrik | Formula | Makna |
|---|---|---|
| Accuracy | Proporsi prediksi benar keseluruhan | |
| Precision | Dari yang diprediksi positif, berapa yang benar positif | |
| Recall / Sensitivity / TPR | Dari aktual positif, berapa yang berhasil dikenali | |
| Specificity / TNR | Dari aktual negatif, berapa yang benar dikenali negatif | |
| False Positive Rate | Kebalikan dari Specificity | |
| Negative Predictive Value | Dari yang diprediksi negatif, berapa yang benar negatif | |
| F1-Score | Keseimbangan Precision–Recall |
F- Score (bila Recall lebih diutamakan):
Interpretasi Kombinasi Recall–Precision
| Kondisi | FALSE Negatif | FALSE Positif | Kinerja |
|---|---|---|---|
| Low Recall, Low Precision | Besar | Besar | ❌ Buruk |
| High Recall, Low Precision | Rendah | Tinggi | Positif dikenali baik, tapi banyak negatif salah jadi positif |
| Low Recall, High Precision | Tinggi | Rendah | Yang diprediksi positif hampir selalu benar, tapi banyak positif terlewat |
| High Recall, High Precision | Rendah | Rendah | ✅ Kinerja terbaik |
6. Evaluasi Model Probabilistik
Model dapat menghasilkan nilai probabilitas untuk tiap label sebelum dipetakan ke kelas melalui threshold. Evaluasi probabilistik mempertimbangkan semua threshold yang mungkin.
A. ROC-AUC
ROC (Receiver Operating Characteristic) mem-plot Recall (TPR) pada sumbu- melawan False Positive Rate pada sumbu- untuk setiap threshold . Luas area di bawah kurva = AUC.
- AUC = 1,0 → pemilah sempurna.
- AUC = 0,5 (garis putus-putus) → setara menebak acak (random guess).
Mengapa ROC-AUC, bukan hanya akurasi? Akurasi hanya merepresentasikan performa pada satu nilai threshold, sedangkan ROC-AUC menggambarkan performa pada semua threshold.
B. Precision-Recall Curve (PR-AUC)
Mem-plot Precision (sumbu-) vs Recall (sumbu-). Lebih tepat untuk kelas minoritas pada data sangat timpang (imbalanced), karena tidak terpengaruh dominasi True Negative yang masif.
C. Logarithmic Loss (Log Loss)
Menunjukkan seberapa yakin pemberian label terhadap data yang diuji:
Dengan = jumlah sampel, = jumlah kelas, = indikator sampel kelas , dan = probabilitas sampel kelas . Nilai berada pada — semakin kecil semakin baik.
7. Evaluasi Segmentasi Citra
Untuk klasifikasi per piksel (segmentasi foreground vs background), dengan = hasil segmentasi dan = ground truth:
Dengan menyatakan jumlah elemen (piksel).
8. Evaluasi Model Regresi
Model regresi memprediksi nilai kontinu (bilangan real), misalnya harga rumah, suhu, kekuatan gempa, harga saham. Error = selisih nilai aktual dengan nilai prediksi.
| Metrik | Formula | Catatan |
|---|---|---|
| MAE | Rata-rata error absolut (mudah dipahami) | |
| MSE | Memberi penalti lebih pada error besar | |
| RMSE | MSE dalam satuan variabel target | |
| RAE / RSE | — | Error relatif terhadap baseline |
| MAPE / MPE | — | Error dalam persentase |
| R-squared | Kecocokan model; terbaik = 1,0 |
Mengapa nilai mutlak pada MAE? Agar error positif dan negatif tidak saling menegasikan.
Mengapa RMSE lebih sensitif terhadap outlier? Karena error dikuadratkan, error besar berdampak jauh lebih besar. Fungsi kuadratik RMSE juga kontinu dan dapat diturunkan (differensiable) sehingga menguntungkan untuk optimasi gradient-based.
9. Evaluasi Clustering (Unsupervised)
Clustering tidak memiliki label kelas. Tujuannya: mengelompokkan data mirip sedekat mungkin dan memisahkan data tidak mirip sejauh mungkin. Metrik yang umum:
- Silhouette Coefficient
- Rand Index
- Mutual Information
- Calinski-Harabasz Index (C-H Index)
- Davies-Bouldin Index
- Dunn Index
Silhouette Coefficient
- : rata-rata jarak sampel ke sampel lain dalam cluster yang sama.
- : rata-rata jarak sampel ke sampel lain di cluster tetangga terdekat.
- : cluster padat & terpisah baik; : overlapping; : clustering tidak tepat.
10. Membandingkan Dua Model: McNemar's Test
Akurasi lebih tinggi belum cukup untuk mengklaim satu model lebih baik secara statistik. Perlu uji hipotesis:
- H₀: Kedua model memiliki akurasi (peluang error) yang sama.
- H₁: Kedua model berbeda secara signifikan.
McNemar's Test memakai tabel kontingensi pasangan prediksi kedua model:
| Model 2 benar | Model 2 salah | |
|---|---|---|
| Model 1 benar | 4 | 2 |
| Model 1 salah | 1 | 3 |
Statistik uji:
Dengan = sel-sel yang berbeda antar-model. Untuk tabel bernilai kecil digunakan distribusi Binomial (koreksi exact). Contoh Python:
from statsmodels.stats.contingency_tables import mcnemar
conti = [[4, 2],
[1, 3]]
retVal = mcnemar(conti, exact=True)
print('Nilai statistic =%.3f, \nNilai p-value =%.3f' % (retVal.statistic, retVal.pvalue))
alpha = 0.01
if retVal.pvalue > alpha:
print('H0 gagal ditolak: kedua model memiliki peluang error yang sama')
else:
print('H0 ditolak: kedua model memiliki peluang error yang berbeda')
# Output: Nilai statistic =1.000, Nilai p-value =1.000 -> H0 gagal ditolakKaidah keputusan:
- → H₀ gagal ditolak (tidak ada perbedaan signifikan).
- → H₀ ditolak (ada perbedaan signifikan).
McNemar's Test adalah pengujian sederhana; pengembangan lebih lanjut mencakup 5×2cv paired t-test (Dietterich, 1998).
11. Review Pemodelan & Explainable AI (SHAP)
Unit J.62DMI00.015.1 menuntut penilaian kesesuaian dan kualitas proses pemodelan. Model modern (XGBoost, Deep Neural Networks) sering dianggap kotak hitam (black box); regulator menuntut transparansi: "Mengapa model menolak pengajuan kredit nasabah ini?"
SHAP (SHapley Additive exPlanations) — berbasis teori permainan kooperatif (Shapley) — mengalokasikan kontribusi adil tiap fitur terhadap deviasi prediksi dari nilai dasar:
- : prediksi aktual untuk observasi .
- : nilai ekspektasi dasar (base value).
- : nilai Shapley fitur ke- (kontribusi terhadap prediksi); positif menaikkan, negatif menurunkan.
import shap
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression(max_iter=1000).fit(X, Y)
explainer = shap.LinearExplainer(clf, data=X)
shap_values = explainer.shap_values(X)
# Bar plot: kepentingan fitur global
shap.summary_plot(shap_values, X, plot_type="bar")
# Beeswarm: arah & sebaran pengaruh tiap fitur
shap.summary_plot(shap_values, X)12. Implementasi Python: Evaluasi Komprehensif
"""
Evaluasi Diagnostik Klasifikasi (Akurasi, Confusion Matrix, ROC, Metrik Biner)
Disusun ulang oleh: Mahendar Dwi Payana
"""
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (
accuracy_score, precision_score, recall_score, f1_score,
confusion_matrix, classification_report, roc_auc_score, roc_curve, log_loss
)
X, y = make_classification(n_samples=2000, n_features=12, weights=[0.9, 0.1], random_state=42)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)
clf = RandomForestClassifier(n_estimators=100, random_state=42).fit(X_tr, y_tr)
y_pred = clf.predict(X_te)
y_prob = clf.predict_proba(X_te)[:, 1]
print("Accuracy :", round(accuracy_score(y_te, y_pred), 4))
print("Precision:", round(precision_score(y_te, y_pred), 4))
print("Recall :", round(recall_score(y_te, y_pred), 4))
print("F1-Score :", round(f1_score(y_te, y_pred), 4))
print("ROC-AUC :", round(roc_auc_score(y_te, y_prob), 4))
print("Log Loss :", round(log_loss(y_te, y_prob), 4))
print("\nConfusion Matrix:\n", confusion_matrix(y_te, y_pred))
print("\n", classification_report(y_te, y_pred, digits=4))13. Google ML Test Score (Kesiapan Produksi)
Untuk menilai kualitas proses pemodelan secara menyeluruh, Google mengusulkan ML Test Score melalui 28 kriteria yang dikelompokkan menjadi 4 aspek:
| Aspek | Fokus | Contoh Kriteria |
|---|---|---|
| Data | Fitur & pipeline data | Semua fitur tercatat dalam skema; fitur penting & tidak rumit; kode fitur diuji; kontrol privasi |
| Model | Spesifikasi & tuning model | Setiap spesifikasi model di-code review; metrik offline berkorelasi dengan dampak online; hyperparameter di-tuning; model lebih sederhana tidak lebih baik |
| Infra | Keandalan pipeline | Training reprodusibel; pipeline terintegrasi diuji; kualitas model divalidasi sebelum dilayani; rollback cepat |
| Monitor | Pemantauan produksi | Perubahan dependency dinotifikasi; invarian data terjaga; fitur training & serving identik; model tidak usang; stabilitas numerik |
Keunikan sistem berbasis ML: dipengaruhi data dinamis dan konfigurasi model, sehingga pemantauan berkelanjutan (MLOps) merupakan kewajiban.
14. Lembar Evaluasi & Tugas Praktikum Mandiri
Latih model klasifikasi 4 kelas (mis. dataset Iris atau buah-buahan). Buat confusion matrix heat map dengan seaborn. Hitung akurasi per kelas dan akurasi total. Identifikasi kelas mana yang paling sering tertukar dan jelaskan kemungkinan penyebabnya!
Gunakan dataset dengan ketimpangan kelas (mis. fraud/diagnosis). Latih model, lalu buat kurva ROC-AUC dan PR-AUC. Bandingkan kedua kurva dan simpulkan mana yang lebih informatif. Tunjukkan bagaimana perubahan threshold menggeser nilai Precision dan Recall!
Latih dua model berbeda (mis. Logistic Regression vs Random Forest) pada dataset yang sama. Susun tabel kontingensi pasangan prediksi, lalu jalankan mcnemar(T, exact=True). Simpulkan apakah perbedaan performa kedua model signifikan secara statistik pada !
(a) Pada dataset regresi (mis. FuelConsumption.csv), hitung MAE, MSE, RMSE, dan R² lalu bandingkan dua model. (b) Pada dataset clustering (mis. Customer.csv), hitung Silhouette Coefficient, Davies-Bouldin, dan Calinski-Harabasz Index untuk , lalu tentukan terbaik berdasarkan ketiga metrik!
Pilih model terbaik dari proyek akhir (Capstone) Anda. Buat SHAP Summary Plot dan SHAP Waterfall Plot untuk satu prediksi individu. Susun laporan review pemodelan yang memuat: (1) kesesuaian tahapan proses, (2) metrik evaluasi kunci, (3) interpretasi fitur terpenting, dan (4) rekomendasi tindak lanjut. Dokumentasikan sesuai standar SKKNI J.62DMI00.015.1!
15. Referensi Pustaka & Tautan Resmi
- Ir. Agus Pratondo, S.T., M.T., Ph.D. (2021). Modul Model Evaluasi (Pertemuan 15). Thematic Academy Digital Talent Scholarship 2021, Kementerian Komunikasi dan Informatika RI.
- Kementerian Ketenagakerjaan RI (2020). SKKNI No. 299 Tahun 2020 Bidang Artificial Intelligence Subbidang Data Science (Unit
J.62DMI00.014.1Mengevaluasi Hasil Pemodelan &J.62DMI00.015.1Melakukan Proses Review Pemodelan). - Thomas G. Dietterich (1998). Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Computation, 10(7), 1895–1923. (McNemar's Test & 5×2cv).
- Scott M. Lundberg & Su-In Lee (2017). A Unified Approach to Interpreting Model Predictions. NeurIPS 2017. (SHAP).
- Alberto Fernández, Salvador García, Mikel Galar, Ronaldo C. Prati, Bartosz Krawczyk, & Francisco Herrera (2018). Learning from Imbalanced Data Sets. Springer.
- E. T. Whittaker, G. F. R. Ellis, et al. — Jaccard Index & Dice Coefficient (metrik kesamaan himpunan).
- Google Research (2019). The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction. Google.
- Scikit-learn Developers. Model Evaluation & Metrics. scikit-learn.org.
- Analytics Vidhya (2020). Quick Guide to Evaluation Metrics for Supervised and Unsupervised Machine Learning.
Pertemuan 14: Deep Learning & Artificial Neural Networks (ANN, CNN, RNN)
Penerapan Unit Kompetensi SKKNI J.62DMI00.013.1 (Membangun Model): dari neuron biologis & perceptron (McCulloch-Pitts) hingga Multi-layer Perceptron, fungsi aktivasi (Sigmoid, Tanh, ReLU, Softmax), forward/backpropagation, gradient descent & SGD mini-batch, adaptive learning rate (Adam), regularisasi (L1/L2, Dropout, Early Stopping, Augmentasi), implementasi dengan Scikit-learn MLPClassifier & Keras/TensorFlow (Iris, MNIST), serta Convolutional Neural Network (Conv/Pooling/FC) dan Recurrent Neural Network (LSTM/GRU).
Pertemuan 16: Deployment Model Web & Fondasi MLOps
Penerapan Unit Kompetensi SKKNI J.62DMI00.016.1 (Membuat Rencana Deployment Model) dan J.62DMI00.017.1 (Melakukan Deployment Model): konsep & tantangan deployment, pola static vs dynamic (on devices/server: VM, container, serverless, streaming), strategi Single/Silent/Canary, reproducibility, serialisasi model (pickle/H5), deployment Regresi Linier & ANN berbasis Flask, persiapan Anaconda/VSCode/Heroku, serta alternatif modern FastAPI + Streamlit dan pemantauan model drift.