Pertemuan 15: Evaluasi Model & Review Diagnostik Pemodelan

Penerapan Unit Kompetensi SKKNI J.62DMI00.014.1 (Mengevaluasi Hasil Pemodelan) dan J.62DMI00.015.1 (Melakukan Proses Review Pemodelan): Akurasi & keterbatasannya, Confusion Matrix, metrik biner (Precision, Recall, Specificity, NPV, F1), ROC-AUC & PR-Curve, Log Loss, evaluasi segmentasi (Jaccard/Dice), evaluasi regresi (MAE, MSE, RMSE, MAPE, R²), evaluasi clustering (Silhouette, Davies-Bouldin, Dunn), perbandingan model dengan McNemar's Test, Explainable AI (SHAP), dan Google ML Test Score.

Penyusun Modul & Portal: Mahendar Dwi Payana
Penulis Materi Pelatihan DTS 2021: Ir. Agus Pratondo, S.T., M.T., Ph.D. — Thematic Academy Digital Talent Scholarship 2021
Penyelenggara & Kurikulum: Kementerian Komunikasi dan Informatika RI (Kominfo) & Sekolah Teknik Elektro dan Informatika (STEI) ITB
Standar Rujukan: Standar Kompetensi Kerja Nasional Indonesia (SKKNI) No. 299 Tahun 2020 — Skema Associate Data Scientist


1. Landasan Standar Kompetensi Kerja (SKKNI)

Evaluasi menentukan apakah model layak digunakan atau tidak. Sesi ini mengintegrasikan dua unit kompetensi:

Kode UnitElemen KompetensiKriteria Unjuk Kerja (KUK) Inti
J.62DMI00.014.1
Mengevaluasi Hasil Pemodelan
1. Menggunakan model dengan data riil1.1 Data baru untuk evaluasi dikumpulkan sesuai parameter evaluasi.
1.2 Model diuji dengan data riil yang telah dikumpulkan.
2. Menilai hasil pemodelan2.1 Keluaran pengujian model dinilai berdasarkan metrik kesuksesan.
2.2 Hasil penilaian didokumentasikan sesuai standar.
J.62DMI00.015.1
Melakukan Proses Review Pemodelan
1. Menilai kesesuaian proses1.1 Proses pemodelan diperiksa kesesuaiannya dengan tahapan yang ditentukan.
1.2 Tindak lanjut ditentukan berdasarkan hasil pemeriksaan.
2. Menilai kualitas proses2.1 Proses pemodelan dinilai berdasarkan rencana pelaksanaan.
2.2 Hasil penilaian didokumentasikan sesuai standar.

Tujuan Pembelajaran: peserta mampu menghitung berbagai pengukuran performansi model machine learning dan mengimplementasikannya pada bahasa pemrograman.

Model yang diukur:

JenisTipe
Supervised LearningKlasifikasi, Regresi
Unsupervised LearningClustering

Prinsip Dasar: Evaluasi dilakukan setelah training selesai, memakai data evaluasi yang tidak boleh sama dengan data training.


2. Akurasi & Keterbatasannya

Akurasi menunjukkan persentase klasifikasi valid terhadap total klasifikasi:

a=tn×100%a = \frac{t}{n} \times 100\%

Di mana aa = akurasi (%), tt = jumlah percobaan valid, nn = jumlah percobaan.

Contoh sederhana: Dari 5 percobaan, hanya 2 yang valid → akurasi = 2/5×100%=40%2/5 \times 100\% = 40\%.

[!CAUTION] Akurasi Sering Menipu. Contoh kasus detektor Covid-19 X: dari 100 sampel (90 negatif, 10 positif), detektor mendeteksi 90 negatif dengan benar, tetapi hanya 5 dari 10 positif yang terdeteksi. Akurasi = (90+5)/(90+10)=95%(90+5)/(90+10) = 95\%. Angka ini tampak tinggi, namun 5 kesalahan False Negative pada penyakit menular bisa berakibat fatal. Akurasi saja tidak cukup — perlu metrik yang menghitung performa per kelas.


3. Confusion Matrix

Confusion Matrix bukan metrik, melainkan tabulasi yang memetakan hasil prediksi terhadap data aktual per kelas.

Karakteristik:

  • Memiliki sumbu data aktual dan sumbu data prediksi (ikut konvensi).
  • Setiap kelas terpetakan satu sama lain.
  • Percobaan valid berada pada diagonal utama.
  • Matriks berbentuk bujur sangkar.

Contoh klasifikasi 4 kelas buah (25 citra uji per kelas, total 100):

Kelas Aktual \ Prediksimanggaapeljambupear
mangga19321
apel12211
jambu22210
pear01123
  • Akurasi kelas mangga = 19/25×100%=76%19/25 \times 100\% = 76\%.
  • Akurasi total = (19+22+21+23)/(25×4)×100%=85%(19+22+21+23)/(25\times4) \times 100\% = 85\%.

Visualisasi heat map confusion matrix memudahkan perbandingan antar-epoch training secara cepat (sebelum membaca angkanya).


4. Klasifikasi Biner

Klasifikasi biner hanya memiliki dua kelas — satu ditetapkan sebagai positif (fokus) dan lainnya negatif. Contoh: Covid/non-Covid, spam/bukan spam, hoax/bukan hoax, tsunami/bukan tsunami.

Empat parameter dasar:

ParameterDefinisi
True Positive (TP)Aktual positif, diprediksi positif
False Positive (FP)Aktual negatif, diprediksi positif
True Negative (TN)Aktual negatif, diprediksi negatif
False Negative (FN)Aktual positif, diprediksi negatif
Nilai Aktual \ PrediksiPositiveNegative
PositiveTrue Positive (TP)False Negative (FN)
NegativeFalse Positive (FP)True Negative (TN)

FN vs. FP: Bergantung Kasus

DomainKasusYang Paling Berbahaya
Kebencanaan (tsunami)FN: diprediksi tidak tsunami, ternyata tsunamiFN (korban jiwa)
Filter spamFP: email penting masuk folder spamFP (gagal kerja/proyek)
Medis (penyakit menular)FN: pasien sakit dinyatakan negatifFN (penularan/fatal)

Setiap permasalahan memiliki titik tekan parameter berbeda. Tidak ada satu metrik terbaik untuk semua kasus.


5. Metrik Klasifikasi Biner

Berdasarkan confusion matrix, dapat diturunkan berbagai metrik:

MetrikFormulaMakna
AccuracyTP+TNTP+TN+FP+FN\dfrac{TP + TN}{TP + TN + FP + FN}Proporsi prediksi benar keseluruhan
PrecisionTPTP+FP\dfrac{TP}{TP + FP}Dari yang diprediksi positif, berapa yang benar positif
Recall / Sensitivity / TPRTPTP+FN\dfrac{TP}{TP + FN}Dari aktual positif, berapa yang berhasil dikenali
Specificity / TNRTNFP+TN\dfrac{TN}{FP + TN}Dari aktual negatif, berapa yang benar dikenali negatif
False Positive RateFPFP+TN\dfrac{FP}{FP + TN}Kebalikan dari Specificity
Negative Predictive ValueTNTN+FN\dfrac{TN}{TN + FN}Dari yang diprediksi negatif, berapa yang benar negatif
F1-Score2⋅Precision⋅RecallPrecision+Recall2 \cdot \dfrac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}Keseimbangan Precision–Recall

F-β\beta Score (bila Recall k×k\times lebih diutamakan):

Fβ=(1+β2)⋅Precision⋅Recallβ2⋅Precision+RecallF_\beta = (1 + \beta^2) \cdot \frac{\text{Precision} \cdot \text{Recall}}{\beta^2 \cdot \text{Precision} + \text{Recall}}

Interpretasi Kombinasi Recall–Precision

KondisiFALSE NegatifFALSE PositifKinerja
Low Recall, Low PrecisionBesarBesar❌ Buruk
High Recall, Low PrecisionRendahTinggiPositif dikenali baik, tapi banyak negatif salah jadi positif
Low Recall, High PrecisionTinggiRendahYang diprediksi positif hampir selalu benar, tapi banyak positif terlewat
High Recall, High PrecisionRendahRendah✅ Kinerja terbaik

6. Evaluasi Model Probabilistik

Model dapat menghasilkan nilai probabilitas [0,1][0,1] untuk tiap label sebelum dipetakan ke kelas melalui threshold. Evaluasi probabilistik mempertimbangkan semua threshold yang mungkin.

A. ROC-AUC

ROC (Receiver Operating Characteristic) mem-plot Recall (TPR) pada sumbu-yy melawan False Positive Rate pada sumbu-xx untuk setiap threshold [0,1][0,1]. Luas area di bawah kurva = AUC.

  • AUC = 1,0 → pemilah sempurna.
  • AUC = 0,5 (garis putus-putus) → setara menebak acak (random guess).

Mengapa ROC-AUC, bukan hanya akurasi? Akurasi hanya merepresentasikan performa pada satu nilai threshold, sedangkan ROC-AUC menggambarkan performa pada semua threshold.

B. Precision-Recall Curve (PR-AUC)

Mem-plot Precision (sumbu-yy) vs Recall (sumbu-xx). Lebih tepat untuk kelas minoritas pada data sangat timpang (imbalanced), karena tidak terpengaruh dominasi True Negative yang masif.

C. Logarithmic Loss (Log Loss)

Menunjukkan seberapa yakin pemberian label terhadap data yang diuji:

LogLoss=−1N∑i=1N∑j=1Myijlog⁡(pij)\text{LogLoss} = -\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{M} y_{ij} \log(p_{ij})

Dengan NN = jumlah sampel, MM = jumlah kelas, yijy_{ij} = indikator sampel ii kelas jj, dan pijp_{ij} = probabilitas sampel ii kelas jj. Nilai berada pada [0,∞)[0, \infty) — semakin kecil semakin baik.


7. Evaluasi Segmentasi Citra

Untuk klasifikasi per piksel (segmentasi foreground vs background), dengan AA = hasil segmentasi dan BB = ground truth:

Jaccard Index (JI)=∣A∩B∣∣A∪B∣\text{Jaccard Index (JI)} = \frac{|A \cap B|}{|A \cup B|} Dice / Similarity Index (SI)=2 ∣A∩B∣∣A∣+∣B∣\text{Dice / Similarity Index (SI)} = \frac{2\,|A \cap B|}{|A| + |B|}

Dengan ∣.∣|.| menyatakan jumlah elemen (piksel).


8. Evaluasi Model Regresi

Model regresi memprediksi nilai kontinu (bilangan real), misalnya harga rumah, suhu, kekuatan gempa, harga saham. Error = selisih nilai aktual dengan nilai prediksi.

MetrikFormulaCatatan
MAE1n∑j=1n∣yj−y^j∣\dfrac{1}{n}\sum_{j=1}^{n} \lvert y_j - \hat{y}_j \rvertRata-rata error absolut (mudah dipahami)
MSE1n∑j=1n(yj−y^j)2\dfrac{1}{n}\sum_{j=1}^{n} (y_j - \hat{y}_j)^2Memberi penalti lebih pada error besar
RMSE1n∑j=1n(yj−y^j)2\sqrt{\dfrac{1}{n}\sum_{j=1}^{n} (y_j - \hat{y}_j)^2}MSE dalam satuan variabel target
RAE / RSE—Error relatif terhadap baseline
MAPE / MPE—Error dalam persentase
R-squared1−SSresSStot1 - \dfrac{SS_{\text{res}}}{SS_{\text{tot}}}Kecocokan model; terbaik = 1,0

Mengapa nilai mutlak pada MAE? Agar error positif dan negatif tidak saling menegasikan.

Mengapa RMSE lebih sensitif terhadap outlier? Karena error dikuadratkan, error besar berdampak jauh lebih besar. Fungsi kuadratik RMSE juga kontinu dan dapat diturunkan (differensiable) sehingga menguntungkan untuk optimasi gradient-based.


9. Evaluasi Clustering (Unsupervised)

Clustering tidak memiliki label kelas. Tujuannya: mengelompokkan data mirip sedekat mungkin dan memisahkan data tidak mirip sejauh mungkin. Metrik yang umum:

  1. Silhouette Coefficient
  2. Rand Index
  3. Mutual Information
  4. Calinski-Harabasz Index (C-H Index)
  5. Davies-Bouldin Index
  6. Dunn Index

Silhouette Coefficient

s=b−amax⁡(a,b),−1≤s≤1s = \frac{b - a}{\max(a, b)}, \qquad -1 \le s \le 1
  • aa: rata-rata jarak sampel ke sampel lain dalam cluster yang sama.
  • bb: rata-rata jarak sampel ke sampel lain di cluster tetangga terdekat.
  • s→+1s \to +1: cluster padat & terpisah baik; s≈0s \approx 0: overlapping; s→−1s \to -1: clustering tidak tepat.

10. Membandingkan Dua Model: McNemar's Test

Akurasi lebih tinggi belum cukup untuk mengklaim satu model lebih baik secara statistik. Perlu uji hipotesis:

  • H₀: Kedua model memiliki akurasi (peluang error) yang sama.
  • H₁: Kedua model berbeda secara signifikan.

McNemar's Test memakai tabel kontingensi pasangan prediksi kedua model:

Model 2 benarModel 2 salah
Model 1 benar42
Model 1 salah13

Statistik uji:

S=(b−c)2b+cS = \frac{(b - c)^2}{b + c}

Dengan b,cb, c = sel-sel yang berbeda antar-model. Untuk tabel bernilai kecil digunakan distribusi Binomial (koreksi exact). Contoh Python:

from statsmodels.stats.contingency_tables import mcnemar

conti = [[4, 2],
         [1, 3]]
retVal = mcnemar(conti, exact=True)
print('Nilai statistic =%.3f, \nNilai p-value =%.3f' % (retVal.statistic, retVal.pvalue))

alpha = 0.01
if retVal.pvalue > alpha:
    print('H0 gagal ditolak: kedua model memiliki peluang error yang sama')
else:
    print('H0 ditolak: kedua model memiliki peluang error yang berbeda')
# Output: Nilai statistic =1.000, Nilai p-value =1.000 -> H0 gagal ditolak

Kaidah keputusan:

  • p>αp > \alpha → H₀ gagal ditolak (tidak ada perbedaan signifikan).
  • p<αp < \alpha → H₀ ditolak (ada perbedaan signifikan).

McNemar's Test adalah pengujian sederhana; pengembangan lebih lanjut mencakup 5×2cv paired t-test (Dietterich, 1998).


11. Review Pemodelan & Explainable AI (SHAP)

Unit J.62DMI00.015.1 menuntut penilaian kesesuaian dan kualitas proses pemodelan. Model modern (XGBoost, Deep Neural Networks) sering dianggap kotak hitam (black box); regulator menuntut transparansi: "Mengapa model menolak pengajuan kredit nasabah ini?"

SHAP (SHapley Additive exPlanations) — berbasis teori permainan kooperatif (Shapley) — mengalokasikan kontribusi adil tiap fitur terhadap deviasi prediksi dari nilai dasar:

f(x)=ϕ0+∑j=1Mϕj(x)f(x) = \phi_0 + \sum_{j=1}^{M} \phi_j(x)
  • f(x)f(x): prediksi aktual untuk observasi xx.
  • ϕ0=E[f(z)]\phi_0 = \mathbb{E}[f(z)]: nilai ekspektasi dasar (base value).
  • ϕj(x)\phi_j(x): nilai Shapley fitur ke-jj (kontribusi terhadap prediksi); positif menaikkan, negatif menurunkan.
import shap
from sklearn.linear_model import LogisticRegression

clf = LogisticRegression(max_iter=1000).fit(X, Y)
explainer = shap.LinearExplainer(clf, data=X)
shap_values = explainer.shap_values(X)

# Bar plot: kepentingan fitur global
shap.summary_plot(shap_values, X, plot_type="bar")

# Beeswarm: arah & sebaran pengaruh tiap fitur
shap.summary_plot(shap_values, X)

12. Implementasi Python: Evaluasi Komprehensif

"""
Evaluasi Diagnostik Klasifikasi (Akurasi, Confusion Matrix, ROC, Metrik Biner)
Disusun ulang oleh: Mahendar Dwi Payana
"""
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    confusion_matrix, classification_report, roc_auc_score, roc_curve, log_loss
)

X, y = make_classification(n_samples=2000, n_features=12, weights=[0.9, 0.1], random_state=42)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)

clf = RandomForestClassifier(n_estimators=100, random_state=42).fit(X_tr, y_tr)
y_pred = clf.predict(X_te)
y_prob = clf.predict_proba(X_te)[:, 1]

print("Accuracy :", round(accuracy_score(y_te, y_pred), 4))
print("Precision:", round(precision_score(y_te, y_pred), 4))
print("Recall   :", round(recall_score(y_te, y_pred), 4))
print("F1-Score :", round(f1_score(y_te, y_pred), 4))
print("ROC-AUC  :", round(roc_auc_score(y_te, y_prob), 4))
print("Log Loss :", round(log_loss(y_te, y_prob), 4))
print("\nConfusion Matrix:\n", confusion_matrix(y_te, y_pred))
print("\n", classification_report(y_te, y_pred, digits=4))

13. Google ML Test Score (Kesiapan Produksi)

Untuk menilai kualitas proses pemodelan secara menyeluruh, Google mengusulkan ML Test Score melalui 28 kriteria yang dikelompokkan menjadi 4 aspek:

AspekFokusContoh Kriteria
DataFitur & pipeline dataSemua fitur tercatat dalam skema; fitur penting & tidak rumit; kode fitur diuji; kontrol privasi
ModelSpesifikasi & tuning modelSetiap spesifikasi model di-code review; metrik offline berkorelasi dengan dampak online; hyperparameter di-tuning; model lebih sederhana tidak lebih baik
InfraKeandalan pipelineTraining reprodusibel; pipeline terintegrasi diuji; kualitas model divalidasi sebelum dilayani; rollback cepat
MonitorPemantauan produksiPerubahan dependency dinotifikasi; invarian data terjaga; fitur training & serving identik; model tidak usang; stabilitas numerik
Memuat diagram visual...

Keunikan sistem berbasis ML: dipengaruhi data dinamis dan konfigurasi model, sehingga pemantauan berkelanjutan (MLOps) merupakan kewajiban.


14. Lembar Evaluasi & Tugas Praktikum Mandiri


15. Referensi Pustaka & Tautan Resmi

  1. Ir. Agus Pratondo, S.T., M.T., Ph.D. (2021). Modul Model Evaluasi (Pertemuan 15). Thematic Academy Digital Talent Scholarship 2021, Kementerian Komunikasi dan Informatika RI.
  2. Kementerian Ketenagakerjaan RI (2020). SKKNI No. 299 Tahun 2020 Bidang Artificial Intelligence Subbidang Data Science (Unit J.62DMI00.014.1 Mengevaluasi Hasil Pemodelan & J.62DMI00.015.1 Melakukan Proses Review Pemodelan).
  3. Thomas G. Dietterich (1998). Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Computation, 10(7), 1895–1923. (McNemar's Test & 5×2cv).
  4. Scott M. Lundberg & Su-In Lee (2017). A Unified Approach to Interpreting Model Predictions. NeurIPS 2017. (SHAP).
  5. Alberto Fernández, Salvador García, Mikel Galar, Ronaldo C. Prati, Bartosz Krawczyk, & Francisco Herrera (2018). Learning from Imbalanced Data Sets. Springer.
  6. E. T. Whittaker, G. F. R. Ellis, et al. — Jaccard Index & Dice Coefficient (metrik kesamaan himpunan).
  7. Google Research (2019). The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction. Google.
  8. Scikit-learn Developers. Model Evaluation & Metrics. scikit-learn.org.
  9. Analytics Vidhya (2020). Quick Guide to Evaluation Metrics for Supervised and Unsupervised Machine Learning.

On this page