Lompat ke konten

Tips dan trik

Cara mendeteksi overfitting dan underfitting lewat kurva loss, kurva validasi, dan kurva pembelajaran

Redaksi ARSTEMA · · 5 menit baca

Pelajari cara membaca kurva loss, kurva validasi, dan kurva pembelajaran untuk menilai model Anda terlalu sederhana, terlalu hafal data latih, atau sudah pas, lalu memilih langkah perbaikan berikutnya.

Skor pelatihan yang bagus belum menjamin model bekerja baik pada data baru. Panduan ini membantu Anda membaca tiga jenis grafik, yaitu kurva loss (loss curve), kurva validasi (validation curve), dan kurva pembelajaran (learning curve), untuk menilai apakah model terlalu sederhana (underfitting), terlalu hafal data latih (overfitting), atau sudah pas. Pakai setiap kali Anda melatih model sendiri dan perlu memutuskan langkah berikutnya: menambah data, menyederhanakan model, atau mengubah hiperparameter (pengaturan model yang ditetapkan sebelum pelatihan).

Menurut Machine Learning Crash Course dari Google, overfitting terjadi ketika model mencocokkan set latih begitu ketat sehingga gagal memprediksi data baru dengan benar. Model overfit memprediksi set latih sangat baik tetapi data baru buruk. Model underfit bahkan tidak memprediksi data latih dengan baik. Kebalikan dari overfitting adalah generalisasi: model membuat prediksi yang baik pada data baru.

Langkah

  1. Pastikan pembagian datanya memenuhi syarat. Google menyebut syarat agar generalisasi baik: contoh data saling bebas dan terdistribusi identik, dataset stasioner (tidak berubah signifikan seiring waktu), dan partisi latih, validasi, uji, serta data dunia nyata punya distribusi yang sama secara statistik. Salah satu contoh pembagian di panduan Google adalah 70% latih, 15% validasi, dan 15% uji. Agar distribusi antarpartisi mirip, acak contoh secara menyeluruh sebelum membagi. Mengurutkan data dari yang terlama ke terbaru membuat partisi kurang mirip bila datanya tidak stasioner. Untuk data musiman, misalnya cuaca setahun, bagi secara merata agar data keempat musim tersebar sama rata ke setiap partisi.

  2. Plot kurva loss untuk set latih dan set validasi. Kurva loss (loss adalah ukuran seberapa meleset prediksi model) memplot loss model terhadap jumlah iterasi pelatihan. Grafik dengan dua kurva atau lebih, misalnya loss latih dan loss validasi, disebut kurva generalisasi (generalization curve).

  3. Baca bentuk kedua kurva. Pada overfitting, kedua kurva mula-mula berperilaku mirip, lalu menyimpang. Setelah sejumlah iterasi tertentu, loss set latih turun atau stabil (konvergen), tetapi loss set validasi naik. Itulah isyarat overfitting menurut Google. Pada model yang cocok (well-fit), kedua kurva loss memiliki bentuk yang mirip. Model underfit bahkan tidak memprediksi data latih dengan baik, jadi cermati juga kurva latihnya, bukan hanya kurva validasi.

  4. Gunakan kurva validasi untuk menguji satu hiperparameter. Menurut dokumentasi scikit-learn, kurva validasi memplot pengaruh satu hiperparameter terhadap skor latih dan skor validasi, sehingga terlihat apakah estimator overfit atau underfit pada nilai hiperparameter tertentu. Fungsinya validation_curve, dan untuk langsung memplot tersedia ValidationCurveDisplay.from_estimator.

  5. Gunakan kurva pembelajaran untuk menimbang perlu tidaknya data tambahan. Kurva pembelajaran menampilkan skor latih dan skor validasi pada jumlah sampel latih yang bervariasi. Fungsinya learning_curve, dan untuk memplot tersedia LearningCurveDisplay.from_estimator. Dokumentasi scikit-learn menyebut gunanya: mengetahui seberapa besar manfaat menambah data latih dan apakah estimator lebih menderita galat varians atau galat bias.

  6. Ukur hasil akhir pada set uji terpisah. Scikit-learn menganjurkan menghitung skor pada set uji terpisah untuk mendapat estimasi generalisasi yang benar.

Cara membaca pola grafik

Pola yang terlihat Tafsir Rujukan
Skor latih dan skor validasi sama-sama rendah Underfitting scikit-learn
Skor latih tinggi, skor validasi rendah Overfitting scikit-learn
Di luar dua pola di atas Model bekerja sangat baik scikit-learn
Loss latih turun atau stabil, loss validasi naik Isyarat overfitting Google
Kedua kurva loss berbentuk mirip Model cocok Google

Dokumentasi scikit-learn juga menyatakan bahwa skor latih rendah dengan skor validasi tinggi biasanya tidak mungkin terjadi.

Membaca kurva pembelajaran

Dokumentasi scikit-learn memberi dua contoh. Pada naive Bayes, skor latih dan skor validasi konvergen ke nilai yang cukup rendah seiring bertambahnya data. Dalam kasus seperti itu, kemungkinan besar tidak banyak untung dari data tambahan. Pada SVM (support vector machine), skor latih jauh lebih besar daripada skor validasi saat data masih sedikit, sehingga menambah sampel latih kemungkinan besar meningkatkan generalisasi.

Dokumentasi yang sama menjelaskan bias dan varians dengan contoh regresi linear berfitur polinomial. Pada derajat 1, estimator terlalu sederhana sehingga hanya memberi fit yang buruk (bias tinggi). Pada derajat 4, fungsi sebenarnya hampir terpenuhi. Pada derajat 15, estimator mencocokkan data latih dengan sempurna tetapi tidak cocok dengan fungsi sebenarnya, artinya sangat sensitif terhadap data latih (varians tinggi). Menambah data latih memang salah satu cara menurunkan varians, tetapi dokumentasi menganjurkan mengumpulkannya hanya bila fungsi sebenarnya terlalu kompleks untuk didekati estimator dengan varians lebih rendah.

Pada data berdimensi tinggi, model sulit divisualisasikan langsung. Di situ kurva validasi dan kurva pembelajaran berguna sebagai alat bantu.

Dua arah penyebab overfitting

Google merangkum penyebab overfitting menjadi satu atau keduanya: set latih tidak mewakili data dunia nyata (atau set validasi dan uji), dan/atau model terlalu kompleks. Jadi saat kurva menunjukkan overfitting, kedua kemungkinan itu perlu dipertimbangkan.

Kesalahan yang sering terjadi

  • Menyetel hiperparameter dengan skor validasi lalu memercayai skor itu sebagai estimasi akhir. Scikit-learn memperingatkan bahwa bila hiperparameter dioptimalkan berdasarkan skor validasi, skor tersebut menjadi bias dan bukan lagi estimasi generalisasi yang baik. Untuk estimasi yang benar, hitung skor pada set uji terpisah.
  • Menganggap loss rendah di set validasi dan uji berarti aman di lapangan. Selama pengembangan, set uji hanya berperan sebagai proksi data dunia nyata. Google memberi contoh harga tiket kereta, yang dipengaruhi jumlah kursi tersisa. Model bisa saja punya loss rendah di set validasi dan uji, tetapi prediksinya kadang buruk di dunia nyata.
  • Membagi data tanpa diacak. Pada data yang tidak stasioner, mengurutkan data dari terlama ke terbaru membuat partisi kurang mirip. Contoh kode di dokumentasi scikit-learn pun mengacak data iris (shuffle) sebelum membuat kurva.
  • Langsung menambah data ketika model underfit tanpa melihat kurva pembelajaran. Bila skor latih dan skor validasi konvergen ke nilai yang cukup rendah seiring bertambahnya data, seperti pada contoh naive Bayes di dokumentasi scikit-learn, tambahan data kemungkinan besar tidak banyak membantu. Lihat dulu bentuk kurvanya sebelum mengumpulkan data.
  • Membaca satu grafik saja. Kurva loss menunjukkan perkembangan sepanjang iterasi, kurva validasi menunjukkan pengaruh satu hiperparameter, dan kurva pembelajaran menunjukkan pengaruh jumlah data. Gabungkan ketiganya sebelum memutuskan.

Panduan lengkapnya ada di halaman overfitting Google dan dokumentasi kurva validasi scikit-learn.

Sumber

  1. Overfitting | Machine Learning | Google for DevelopersGoogle for Developers (Machine Learning Crash Course) · 3 Desember 2025
  2. 3.5. Validation curves: plotting scores to evaluate modelsscikit-learn developers (dokumentasi resmi scikit-learn)

Pelajari lebih dalam di ARSTEMA Academy