Lompat ke konten

Tips dan trik

Cara memeriksa kepentingan fitur model dengan permutasi

Redaksi ARSTEMA · · 3 menit baca

Pelajari cara mengacak fitur, membandingkan skor model, dan membaca kepentingan permutasi dengan mempertimbangkan kualitas model serta korelasi fitur.

Ketika model prediksi sudah dilatih, kepentingan fitur melalui permutasi membantu memeriksa seberapa besar model bergantung pada masing-masing kolom masukan. Fitur adalah variabel masukan yang dipakai model, sedangkan permutasi berarti mengacak urutan nilainya. Panduan scikit-learn menjelaskan bahwa metode ini dapat digunakan untuk model terlatih dengan data berbentuk tabel.

Langkah

  1. Periksa kemampuan prediksi model. Menurut scikit-learn, evaluasi dahulu model menggunakan data yang disisihkan atau validasi silang, yaitu evaluasi melalui beberapa pembagian data. Fitur yang tampak kurang penting bagi model dengan kemampuan prediksi buruk bisa saja penting bagi model yang baik. Karena itu, baca hasil permutasi bersama hasil evaluasi model.

  2. Siapkan data dan skor rujukan. Gunakan model yang sudah dilatih serta data tabel untuk pemeriksaan. Panduan scikit-learn menyebut bahwa data latih maupun data validasi atau uji yang disisihkan dapat dipakai. Data terpisah membantu menunjukkan fitur yang berkontribusi pada kemampuan model melakukan generalisasi, yaitu bekerja pada data yang tidak dipakai untuk melatihnya. Hitung kepentingan pada data latih dan data yang disisihkan, lalu bandingkan hasilnya. Menurut scikit-learn, fitur yang penting pada data latih tetapi tidak pada data yang disisihkan dapat membuat model terlalu menyesuaikan diri dengan data latih. Untuk masing-masing data, hitung skor model sebelum pengacakan sebagai rujukan. Contoh skor yang disebut scikit-learn adalah akurasi untuk klasifikasi.

  3. Acak sebuah kolom dan nilai kembali model. Ikuti urutan dalam panduan scikit-learn: pilih sebuah fitur, acak nilai pada kolomnya, lalu hitung kembali skor model pada data yang telah diubah. Pengacakan ini memutus hubungan antara fitur tersebut dan target, yaitu nilai yang hendak diprediksi. Ulangi pengacakan dengan susunan acak lain dan hitung skor untuk setiap pengulangan.

  4. Hitung dan bandingkan kepentingannya. Menurut scikit-learn, kurangi skor rujukan dengan rata-rata skor setelah pengacakan untuk memperoleh kepentingan fitur. Ulangi prosedur itu untuk setiap fitur. Penurunan skor yang lebih besar menunjukkan ketergantungan model yang lebih besar pada fitur tersebut, untuk data dan skor yang digunakan.

  5. Gunakan fungsi scikit-learn jika bekerja dengan pustaka itu. Panduannya menyediakan fungsi permutation_importance untuk model dan set data yang diberikan. Parameter n_repeats mengatur jumlah pengacakan, sedangkan scoring memilih fungsi skor. Hasilnya mencakup rata-rata dan simpangan baku kepentingan dari pengulangan, sehingga pembaca dapat melihat variasi hasil akibat pengacakan. Dalam contoh scikit-learn, hasil disaring dengan melaporkan hanya fitur yang rata-rata kepentingannya dikurangi dua kali simpangan baku masih di atas nol.

  6. Periksa metrik dan fitur yang saling berkaitan. Scikit-learn mengingatkan bahwa metrik berbeda dapat menghasilkan nilai kepentingan yang berbeda, terutama pada persoalan klasifikasi dengan kelas tidak seimbang. Jika fitur berkorelasi kuat, model mungkin masih memperoleh informasi melalui fitur lain saat sebuah kolom diacak. Dokumentasi menyarankan salah satu pilihan penanganan berupa pengelompokan fitur berkorelasi dan mempertahankan sebuah fitur dari setiap kelompok.

Kesalahan yang sering terjadi

Jangan mengartikan nilai rendah sebagai bukti bahwa sebuah fitur tidak berguna untuk semua model. Menurut scikit-learn, ukuran ini menerangkan kepentingan bagi model tertentu. Korelasi antarfitur juga dapat membuat nilai yang dilaporkan rendah meskipun fitur-fitur tersebut sebenarnya penting.

Jangan pula menyamakan seluruh ukuran kepentingan. Google for Developers menjelaskan bahwa ukuran yang berbeda memberi informasi berbeda tentang model, data, dan proses pelatihan. Pada pohon keputusan, fitur yang sering muncul dalam simpul tetapi memiliki kepentingan permutasi rendah mungkin sulit digeneralisasi dan dapat merugikan mutu model.

Scikit-learn mengingatkan bahwa kepentingan berbasis impuritas pada model pohon dihitung dari data latih dan condong mengutamakan fitur dengan banyak nilai berbeda, biasanya fitur numerik, dibanding fitur biner atau kategorikal dengan sedikit kategori. Impuritas adalah ukuran yang dipakai dalam kriteria pemisahan pohon. Sebaliknya, kepentingan permutasi dapat dihitung pada data yang tidak dipakai untuk melatih model.

Sumber

  1. Permutation feature importancescikit-learn developers
  2. Variable importancesGoogle for Developers

Pelajari lebih dalam di ARSTEMA Academy