Lompat ke konten

Tips dan trik

Cara memilih metrik klasifikasi agar model tidak tampak bagus secara semu

Redaksi ARSTEMA · · 3 menit baca

Pelajari cara mencocokkan akurasi, recall, presisi, dan F1 dengan biaya kesalahan serta keseimbangan set data, supaya angka evaluasi model klasifikasi tidak menyesatkan.

Model klasifikasi, misalnya penyaring spam, mudah tampak bagus bila hanya dinilai dari satu angka. Menurut Machine Learning Crash Course dari Google for Developers, metrik yang paling bermakna bergantung pada tugas model, biaya tiap jenis salah klasifikasi, serta keseimbangan set data.

Istilah dasarnya: TP atau positif benar dan TN atau negatif benar adalah prediksi yang tepat. FP atau positif palsu adalah data negatif yang dilabeli positif. FN atau negatif palsu adalah data positif yang terlewat.

Langkah

  1. Tentukan kesalahan mana yang lebih mahal. Google menyarankan recall atau laju positif benar (TPR) bila FN lebih mahal daripada FP, laju positif palsu (FPR) bila FP lebih mahal daripada FN, dan presisi (precision) bila prediksi positif harus akurat. Dalam contoh Google tentang pendeteksi spesies invasif berbahaya dari foto perangkap serangga, alarm palsu murah, sedangkan spesies yang lolos sangat mahal. Karena itu, recall menjadi metrik yang dimaksimalkan.

  2. Periksa keseimbangan set data sebelum memakai akurasi. Menurut Google, akurasi adalah (TP+TN)/(TP+TN+FP+FN). Pada set data seimbang, dengan jumlah contoh yang mirip di kedua kelas, akurasi dapat menjadi ukuran kasar kualitas model. Pada set data yang sangat tidak seimbang, Google menunjukkan bahwa model yang memprediksi semua kasus sebagai negatif dapat memperoleh akurasi tinggi meskipun tidak berguna.

  3. Hitung metrik dan cocokkan dengan tugas. Menurut Google, recall = TP/(TP+FN), yaitu bagian dari data positif aktual yang berhasil ditemukan. Dalam penyaringan spam, recall menunjukkan fraksi email spam yang dikenali dengan benar. Presisi = TP/(TP+FP), yaitu proporsi prediksi positif yang benar-benar positif. Adapun FPR = FP/(FP+TN), yaitu bagian dari data negatif aktual yang salah diprediksi sebagai positif.

  4. Lihat jumlah data yang mendasari metrik. Google menyatakan bahwa presisi kurang bermakna bila positif aktual sangat sedikit, sekitar 1 sampai 2 contoh. Perhatikan juga penyebut presisi, yaitu TP+FP atau jumlah prediksi positif. Untuk FPR, Google mengingatkan bahwa sedikitnya negatif aktual dapat membuat nilainya tidak stabil: satu kesalahan saja dapat mengubah hasilnya secara besar.

  5. Catat ambang klasifikasi bersama setiap angka. Menurut Google, metrik tersebut dihitung pada suatu ambang tetap dan berubah ketika ambang berubah. Ambang adalah batas yang digunakan untuk menentukan klasifikasi positif atau negatif. Menaikkan ambang cenderung menurunkan FP dan menaikkan FN, sedangkan menurunkannya cenderung memberi efek sebaliknya. Presisi dan recall karena itu sering bergerak berlawanan, sehingga angkanya perlu dibaca bersama ambang yang digunakan.

  6. Pakai F1 bila perlu menyeimbangkan presisi dan recall. Google menjelaskan F1 sebagai metrik yang menyeimbangkan keduanya dan lebih baik daripada akurasi untuk set data tidak seimbang. Bila presisi dan recall berjauhan, F1 mendekati nilai yang lebih buruk. Dokumentasi scikit-learn menyebut F1 sebagai rata-rata harmonik presisi dan recall. F-beta dapat memberi bobot lebih besar kepada recall melalui pilihan beta.

  7. Waspadai hasil NaN atau tidak terdefinisi. Menurut Google, NaN dapat muncul karena pembagian dengan nol. Hasil itu bisa menunjukkan kinerja sempurna, tetapi juga bisa berasal dari model yang praktis tidak berguna. Contohnya, model yang tidak memprediksi positif memiliki TP+FP sama dengan nol sehingga presisinya tidak terdefinisi. Dokumentasi scikit-learn juga menyatakan bahwa recall tidak terdefinisi bila TP+FN sama dengan nol.

Kesalahan yang sering terjadi

  • Memuji model karena akurasi tinggi pada set data tidak seimbang. Google mencatat bahwa satu jenis kesalahan sering lebih mahal daripada yang lain dalam aplikasi nyata. Dalam kondisi itu, pilih metrik yang mencerminkan biaya kesalahan tersebut.
  • Menganggap NaN pasti berarti model sempurna. Menurut Google, hasil yang sama juga dapat muncul dari model yang praktis tidak berguna.
  • Melaporkan metrik tanpa ambang. Google menjelaskan bahwa presisi dan recall berubah saat ambang berubah, sehingga ambang yang dipakai perlu disertakan.
  • Memercayai presisi atau FPR pada jumlah contoh yang sangat kecil. Periksa TP+FP sebagai penyebut presisi dan FP+TN sebagai penyebut FPR. Perhatikan pula peringatan Google tentang sedikitnya positif aktual ketika menafsirkan presisi.
  • Mengabaikan hasil per kelas pada tugas multikelas. Dokumentasi scikit-learn menjelaskan bahwa fungsi precision_recall_fscore_support menghitung presisi, recall, ukuran F, dan support untuk tiap kelas. Support adalah jumlah contoh aktual tiap label. Rata-rata berbobot memakai support tersebut, sehingga hasil per kelas tetap perlu dibaca di samping rata-ratanya.

Sumber

  1. Classification: Accuracy, recall, precision, and related metricsGoogle for Developers
  2. precision_recall_fscore_supportscikit-learn

Pelajari lebih dalam di ARSTEMA Academy