Lompat ke konten

Tinjauan ilmiah

Prediksi Konformal: Cakupan, Lebar Interval, dan Batas saat Distribusi Data Berubah

Redaksi ARSTEMA · · 9 menit baca

Abstrak

Prediksi model pembelajaran mesin sering digunakan ketika hasil sebenarnya belum diketahui, sehingga pengguna memerlukan cara untuk menyatakan ketidakpastian prediksi. Prediksi konformal menawarkan interval atau himpunan keluaran yang dirancang untuk memenuhi sasaran cakupan statistik dengan asumsi tertentu. Tinjauan ini membahas ukuran ketidaksesuaian, perbedaan cakupan marginal dan bersyarat, serta beberapa pendekatan untuk interval regresi dan data yang distribusinya berubah. Sumber mencakup tinjauan ukuran ketidaksesuaian, makalah metode regresi kuantil konformal, jaminan untuk kelompok, pembobotan di bawah pergeseran kovariat, deret waktu, dan adaptasi klasifikasi tanpa label uji. Cakupan marginal menggambarkan kinerja keseluruhan, sedangkan cakupan bersyarat dan cakupan kelompok menjawab pertanyaan yang lebih khusus. Regresi kuantil konformal dapat menyesuaikan lebar interval terhadap perubahan keragaman respons. Pendekatan untuk pergeseran memerlukan syarat atau bukti empiris yang berbeda. EnbPI memberikan hasil teoretis yang mendekati valid untuk kelas deret waktu dengan kondisi tertentu, sedangkan metode adaptasi tanpa label menunjukkan perbaikan dalam percobaan yang dilaporkan. Pemilihan metode perlu mempertimbangkan cakupan yang dibutuhkan, kegunaan ukuran keluaran, ketersediaan label, dan kesesuaian asumsi dengan data penerapan.

Kata kunci: prediksi konformal; ketidakpastian prediksi; cakupan marginal; pergeseran distribusi; regresi kuantil

Pendahuluan

Model pembelajaran mesin dapat memberikan prediksi berupa angka atau kelas, tetapi satu keluaran saja tidak memperlihatkan seberapa besar ketidakpastian di sekitarnya. Pada regresi, pengguna mungkin memerlukan rentang nilai yang masuk akal untuk respons yang belum diketahui. Pada klasifikasi, pengguna mungkin lebih terbantu oleh himpunan label kandidat daripada satu label pilihan model. Prediksi konformal menyediakan kerangka untuk membentuk keluaran semacam itu dan mengaitkannya dengan sasaran cakupan statistik (Kato dkk., 2023; Gibbs dkk., 2023).

Cakupan adalah peristiwa ketika interval atau himpunan prediksi memuat hasil sebenarnya. Kegunaannya terletak pada hubungan antara prosedur prediksi dan frekuensi keberhasilan yang dijelaskan oleh jaminan metode. Jaminan cakupan secara keseluruhan berbeda dari jaminan untuk setiap masukan atau untuk kelompok pengguna tertentu. Perbedaan tersebut menjadi penting ketika model dipakai untuk keputusan yang konsekuensinya tidak tersebar merata (Gibbs dkk., 2023).

Persoalan lain adalah kegunaan ukuran keluaran. Interval yang lebar dapat menampung banyak nilai, tetapi memberikan informasi yang terbatas untuk membedakan kemungkinan hasil. Sebaliknya, interval yang lebih pendek dapat lebih berguna jika tetap memenuhi sasaran cakupan yang relevan. Romano dan rekan membahas masalah ini dalam regresi dan mengusulkan interval yang lebarnya menyesuaikan perubahan keragaman respons terhadap masukan (Romano dkk., 2019).

Pembahasan berikut menempatkan prediksi konformal sebagai perangkat untuk menyatakan ketidakpastian, lalu membandingkan pilihan berdasarkan apa yang dijamin dan kondisi penerapannya. Fokusnya adalah hubungan antara sasaran cakupan, bentuk keluaran, dan perubahan data.

Cakupan dan ukuran ketidaksesuaian

Prediksi konformal dapat digunakan untuk membangun interval pada tugas regresi atau himpunan kandidat pada klasifikasi. Pada regresi, hasil sebenarnya tercakup apabila berada dalam interval yang dikeluarkan prosedur. Pada klasifikasi, hasil tercakup apabila label sebenarnya termasuk dalam himpunan kandidat. Dalam kedua kasus, objek yang dinilai adalah prosedur pembentukan keluaran beserta data yang menjadi dasar kalibrasinya (Romano dkk., 2019; Kasa dkk., 2024).

Salah satu bahan penting prosedur tersebut adalah ukuran ketidaksesuaian, yaitu cara mengukur seberapa berbeda suatu contoh terhadap data lainnya. Kato dan rekan meninjau berbagai ukuran yang digunakan pada regresi dan menjelaskan bahwa pilihan ukuran berkaitan dengan faktor yang memengaruhi kinerja. Rancangan prediksi konformal karena itu mencakup pilihan model dasar dan ukuran yang menentukan aspek perbedaan yang diperhatikan oleh prosedur (Kato dkk., 2023).

Pada pendekatan konformal terpisah, sebagian data digunakan untuk melatih model dan sebagian lain disisihkan untuk kalibrasi. Data kalibrasi menyediakan contoh berlabel untuk menilai ketidaksesuaian. Informasi itu kemudian digunakan ketika membentuk himpunan untuk masukan baru. Pemisahan peran tersebut membedakan pekerjaan model dasar, yaitu menghasilkan prediksi, dari kalibrasi konformal yang membentuk keluaran dengan sasaran cakupan tertentu (Gibbs dkk., 2023).

Asumsi keterpertukaran menjadi dasar penting untuk banyak metode konformal. Secara intuitif, asumsi ini menyatakan bahwa urutan contoh yang dipertimbangkan dapat dipertukarkan tanpa mengubah distribusi bersama yang relevan. Perubahan antara data kalibrasi dan data penerapan dapat melanggar asumsi tersebut. Tibshirani dan rekan serta Xu dan Xie membahas cara berbeda untuk menangani keadaan di luar kerangka keterpertukaran biasa (Tibshirani dkk., 2019; Xu dan Xie, 2021).

Istilah bebas distribusi menjelaskan sifat jaminan di bawah asumsi yang ditetapkan metode. Metode berbobot untuk pergeseran kovariat, misalnya, memerlukan informasi tentang hubungan distribusi kovariat, sedangkan EnbPI menggunakan syarat teoretis yang berbeda untuk deret waktu. Dengan demikian, arti jaminan harus dibaca bersama rumusan masalah setiap metode (Tibshirani dkk., 2019; Xu dan Xie, 2021).

Cakupan marginal dan kebutuhan kelompok

Cakupan marginal merangkum perilaku prosedur terhadap distribusi masukan dan hasil yang ditinjau. Pernyataan itu berguna untuk menilai apakah prosedur mencapai sasaran secara keseluruhan, tetapi tidak merinci kinerjanya pada masing-masing bagian populasi. Penerapan yang memperhatikan kelompok tertentu karena itu memerlukan sasaran yang sesuai dengan kelompok tersebut (Gibbs dkk., 2023).

Sebagai perbandingan, cakupan bersyarat mengajukan pertanyaan yang lebih khusus: bagaimana cakupan berlaku setelah suatu kondisi tentang masukan ditetapkan? Kondisi tersebut dapat berupa keanggotaan dalam kelompok yang telah ditentukan. Pertanyaan yang lebih rinci ini berbeda dari pertanyaan marginal. Oleh sebab itu, laporan tentang cakupan perlu menjelaskan tingkat pengondisian yang dimaksud (Gibbs dkk., 2023).

Gibbs dan rekan merujuk karya terdahulu yang menunjukkan bahwa cakupan bersyarat yang tepat secara universal tidak dapat diperoleh dalam sampel berhingga. Mereka kemudian merumuskan sasaran antara cakupan marginal dan bersyarat penuh melalui kelas pergeseran kovariat. Untuk kelas sasaran berdimensi berhingga, metode mereka memberikan cakupan tepat dalam sampel berhingga secara simultan atas pergeseran dalam kelas itu. Contohnya mencakup jaminan untuk kelompok yang ditentukan (Gibbs dkk., 2023).

Hasil tersebut menunjukkan bahwa pertanyaan tentang kelompok harus dirumuskan bersama kelas kondisi yang relevan. Jaminan yang dibahas berlaku untuk kelompok dalam rancangan metode. Pada kelas yang lebih fleksibel dan berdimensi tak berhingga, Gibbs dan rekan membahas prosedur untuk mengukur galat cakupan dan mengendalikannya melalui hiperparameter, yaitu parameter yang ditetapkan untuk mengatur prosedur (Gibbs dkk., 2023).

Dalam penerapan, perbedaan ini memengaruhi cara hasil disampaikan. Interval dengan cakupan marginal menjelaskan sasaran yang berbeda dari peluang cakupan untuk setiap kasus individual. Bila kebutuhan keputusan berkaitan dengan suatu kelompok, rancangan dan pemeriksaan dapat diarahkan pada kelompok tersebut. Langkah itu mengikuti pembedaan sasaran dalam sumber dan bergantung pada asumsi serta metode yang dipakai (Gibbs dkk., 2023).

Lebar interval dan regresi kuantil konformal

Pada regresi, cakupan perlu dipertimbangkan bersama lebar interval. Romano dan rekan mencatat bahwa beberapa metode konformal membentuk interval dengan panjang tetap atau hanya sedikit berubah di seluruh ruang masukan. Bentuk demikian dapat menjadi terlalu konservatif ketika keragaman respons berbeda menurut nilai masukan. Keadaan ketika keragaman tersebut berubah disebut heteroskedastisitas (Romano dkk., 2019).

Regresi kuantil merupakan cara memperkirakan kuantil respons berdasarkan masukan. Dalam regresi kuantil konformal, perkiraan kuantil digabungkan dengan kalibrasi konformal untuk membentuk interval yang dapat menyesuaikan diri terhadap heteroskedastisitas. Bentuk awal interval memanfaatkan informasi tentang variasi respons, sedangkan langkah konformal menyediakan kerangka jaminan cakupan yang dijelaskan oleh metode tersebut (Romano dkk., 2019).

Dalam percobaan pada set data regresi yang dilaporkan oleh Romano dan rekan, interval metode ini cenderung lebih pendek daripada interval metode konformal pembanding. Temuan itu mendukung kegunaan menggabungkan regresi kuantil dan kalibrasi konformal dalam kondisi yang dipelajari. Hasil perbandingannya dinyatakan sebagai kecenderungan pada percobaan yang dilaporkan (Romano dkk., 2019).

Perbandingan tersebut juga memperlihatkan mengapa ukuran ketidaksesuaian dan rancangan model dasar patut dipertimbangkan bersama. Kato dan rekan menekankan hubungan pilihan ukuran dengan faktor yang memengaruhi kinerja, sedangkan Romano dan rekan menunjukkan pendekatan yang secara khusus menanggapi variasi panjang interval. Keduanya mengarah pada persoalan yang sama: keluaran yang memenuhi sasaran cakupan juga harus dinilai kegunaannya untuk tugas yang dikerjakan (Kato dkk., 2023; Romano dkk., 2019).

Sebagai implikasi praktis dari pembedaan antara validitas cakupan dan efisiensi interval, pembandingan pada penerapan baru dapat menyatakan data dan sasaran cakupan yang digunakan, lalu memeriksa lebar interval beserta cakupannya. Interval yang sempit berguna bila cakupannya sesuai dengan sasaran, sedangkan interval yang sangat lebar dapat mencakup banyak nilai tetapi memberikan informasi yang lebih terbatas bagi keputusan (Romano dkk., 2019).

Pergeseran kovariat dan data tanpa label

Pergeseran distribusi terjadi ketika keadaan data yang dihadapi saat penerapan berbeda dari keadaan data yang digunakan sebelumnya. Salah satu bentuk yang dibahas dalam sumber adalah pergeseran kovariat, yaitu perubahan distribusi variabel masukan. Perubahan semacam itu menjadi persoalan bagi prosedur konformal biasa karena landasan keterpertukaran yang menghubungkan data yang tersedia dan data baru dapat tidak lagi sesuai (Tibshirani dkk., 2019).

Tibshirani dan rekan mengembangkan versi berbobot untuk keadaan ketika distribusi kovariat pelatihan dan pengujian berbeda. Bobot didasarkan pada rasio kemungkinan (likelihood ratio), yaitu perbandingan yang menggambarkan hubungan antara distribusi kovariat tersebut. Rasio itu perlu diketahui atau, dalam praktik, ditaksir secara akurat menggunakan kovariat uji tanpa label. Hasilnya adalah cara membentuk interval prediksi bebas distribusi dalam kerangka pergeseran yang dibahas (Tibshirani dkk., 2019).

Ketersediaan masukan tanpa label memberi bahan untuk menaksir rasio yang dibutuhkan. Tibshirani dan rekan menyebut ketepatan penaksiran sebagai kondisi praktis, sehingga mutu penaksiran menjadi bagian dari persoalan penerapan. Peran data tanpa label di sini adalah menyediakan informasi tentang kovariat uji, sementara jaminan dibahas dalam kerangka pembobotan yang dirumuskan penulis (Tibshirani dkk., 2019).

Kasa dan rekan membahas persoalan yang berdekatan dari arah berbeda: klasifikasi ketika domain uji telah bergeser dan label sebenarnya tidak tersedia pada saat pengujian. Metode ECP dan EACP yang mereka usulkan menyesuaikan fungsi skor prediksi konformal berdasarkan penilaian ketidakpastian model dasar. Penulis melaporkan peningkatan yang konsisten terhadap metode pembanding (baseline) pada sejumlah set data skala besar dan arsitektur jaringan saraf yang digunakan dalam percobaan (Kasa dkk., 2024).

Hasil itu berbeda dari jaminan teoretis untuk pembobotan di bawah syarat rasio yang dinyatakan Tibshirani dan rekan. Percobaan Kasa dan rekan menunjukkan kinerja pada kondisi yang diuji, sedangkan pembobotan bertumpu pada perumusan pergeseran dan informasi rasio yang spesifik. Keduanya memperlihatkan peran data tanpa label dalam pendekatan yang memiliki tujuan dan dasar pembuktian berbeda (Tibshirani dkk., 2019; Kasa dkk., 2024).

Perbedaan bentuk keluaran juga membatasi pembandingan langsung. Pembobotan dalam sumber Tibshirani dan rekan dibahas untuk interval prediksi, sedangkan ECP dan EACP dalam sumber Kasa dan rekan difokuskan pada himpunan prediksi klasifikasi. Pertanyaan penerapan dapat dimulai dari apakah hasil yang dicari berupa nilai kontinu atau label, kemudian dilanjutkan dengan bentuk perubahan data dan informasi yang tersedia untuk adaptasi (Tibshirani dkk., 2019; Kasa dkk., 2024).

Deret waktu dan prediksi berurutan

Deret waktu menghadirkan persoalan tambahan karena prediksi dibuat mengikuti urutan pengamatan. Xu dan Xie mengusulkan EnbPI untuk membentuk interval prediksi berurutan dengan menggunakan estimator ansambel bootstrap. Ansambel bootstrap adalah gabungan estimator yang dibangun menggunakan pengambilan ulang sampel. Metode mereka berkaitan erat dengan kerangka konformal dan tidak mensyaratkan keterpertukaran data (Xu dan Xie, 2021).

Xu dan Xie menyatakan cakupan marginal yang mendekati valid dalam sampel berhingga untuk kelas fungsi regresi yang luas dan deret waktu dengan galat stokastik yang memenuhi kondisi pencampuran kuat. Sifat mendekati dan kondisi pada galat merupakan bagian dari hasil yang harus ikut dilaporkan ketika metode itu dibandingkan dengan metode lain (Xu dan Xie, 2021).

Xu dan Xie juga menyatakan bahwa EnbPI menggunakan estimator bootstrap yang telah dilatih dan tidak memerlukan pemisahan data seperti pada pendekatan konformal terpisah. Ini menjadikannya pilihan rancangan yang berbeda dari kalibrasi terpisah biasa. Sasaran yang mereka jelaskan adalah cakupan marginal, sedangkan Gibbs dan rekan membahas sasaran bersyarat dan kelompok dengan perumusan tersendiri (Xu dan Xie, 2021; Gibbs dkk., 2023).

Pilihan antara metode untuk deret waktu dan metode berbobot karena pergeseran kovariat mengikuti bentuk masalahnya. EnbPI dirancang untuk interval berurutan dengan kondisi teoretis pada galat deret waktu. Metode Tibshirani dan rekan menyoroti perubahan distribusi kovariat dan rasio yang menghubungkan distribusi tersebut. Keduanya menjawab keterbatasan asumsi konformal biasa melalui syarat dan sasaran penerapan yang berbeda (Xu dan Xie, 2021; Tibshirani dkk., 2019).

Keterbatasan tinjauan

Sumber mencakup tinjauan ukuran ketidaksesuaian dan makalah metode tentang regresi, jaminan bersyarat, pergeseran kovariat, klasifikasi tanpa label, serta deret waktu. Halaman yang digunakan terutama menyajikan abstrak dan rumusan hasil utama. Sumber-sumber tersebut tidak menyediakan pembandingan langsung seluruh metode pada data, sasaran cakupan, dan kondisi pergeseran yang sama. Karena itu, besarnya perbedaan kinerja antarmetode tidak dapat disimpulkan secara umum.

Kesimpulan

Prediksi konformal menyediakan cara membentuk interval atau himpunan prediksi dengan sasaran cakupan yang dirumuskan secara statistik. Makna jaminannya bergantung pada asumsi data dan sasaran yang dinyatakan. Cakupan marginal, cakupan kelompok, dan cakupan bersyarat untuk setiap masukan harus dibedakan ketika hasil dipakai untuk keputusan.

Regresi kuantil konformal menawarkan interval yang dapat menyesuaikan keragaman respons dan dalam percobaan yang dilaporkan cenderung lebih pendek daripada pembandingnya. Pergeseran kovariat, klasifikasi tanpa label, dan deret waktu ditangani oleh pendekatan dengan syarat atau bukti yang berbeda. Penilaian penerapan perlu memeriksa cakupan yang relevan bersama ukuran keluaran dan kecocokan asumsi terhadap data yang dihadapi.

Daftar pustaka

  1. Kato dkk. (2023). A Review of Nonconformity Measures for Conformal Prediction in Regression. Proceedings of Machine Learning Research. https://proceedings.mlr.press/v204/kato23a.html
  2. Romano dkk. (2019). Conformalized Quantile Regression. Advances in Neural Information Processing Systems. https://proceedings.neurips.cc/paper/2019/hash/5103c3584b063c431bd1268e9b5e76fb-Abstract.html
  3. Gibbs dkk. (2023). Conformal Prediction With Conditional Guarantees. arXiv. https://arxiv.org/abs/2305.12616
  4. Tibshirani dkk. (2019). Conformal Prediction Under Covariate Shift. Advances in Neural Information Processing Systems. https://proceedings.neurips.cc/paper/2019/hash/8fb21ee7a2207526da55a679f0332de2-Abstract.html
  5. Xu dan Xie (2021). Conformal prediction interval for dynamic time-series. Proceedings of Machine Learning Research. https://proceedings.mlr.press/v139/xu21h.html
  6. Kasa dkk. (2024). Adapting Prediction Sets to Distribution Shifts Without Labels. arXiv. https://arxiv.org/abs/2406.01416

Pelajari lebih dalam di ARSTEMA Academy