Kebocoran Data dalam Pembelajaran Mesin: Prapemrosesan, Kelompok, Waktu, dan Label
Abstrak
Kebocoran data dapat membuat evaluasi pembelajaran mesin memberikan gambaran yang keliru tentang kemampuan model menghadapi data baru. Tinjauan ini membahas bagaimana informasi yang tidak semestinya masuk ke proses pengembangan atau penilaian, serta bagaimana rancangan evaluasi dapat membatasi masalah tersebut. Cakupannya meliputi tinjauan tentang alur pembelajaran mesin dan pembelajaran transfer, kerangka kebocoran label dalam prediksi klinis, serta pracetak studi peramalan deret waktu. Prapemrosesan dan pemilihan fitur yang menggunakan seluruh data dapat memengaruhi pelatihan dengan informasi dari set uji. Ketergantungan antarrekaman, urutan waktu, dan fitur yang mencerminkan hasil juga menuntut perhatian sesuai tujuan penggunaan model. Pemisahan kelompok, evaluasi yang mempertahankan urutan waktu, dan validasi silang bersarang menjawab risiko yang berbeda dan tidak saling menggantikan. Studi peramalan yang ditelaah memperlihatkan bahwa dampak pembentukan urutan sebelum pembagian bergantung pada konfigurasi pengujian. Sumber juga membedakan kebocoran dari penyebab lain bias evaluasi. Penilaian yang dapat dipercaya memerlukan perumusan sasaran penggunaan, pembatasan informasi pada setiap tahap, dan pemeriksaan implementasi, bukan hanya skor akhir yang tinggi.
Kata kunci: kebocoran data; pembelajaran mesin; validasi silang; deret waktu; kebocoran label
Pendahuluan
Model pembelajaran mesin sering dinilai berdasarkan kemampuannya menghasilkan prediksi pada data yang tidak digunakan untuk melatihnya. Penilaian ini menjadi bermasalah apabila informasi dari data yang dianggap baru telah memengaruhi pengembangan model. Keadaan tersebut disebut kebocoran data. Akibatnya, skor evaluasi dapat menggambarkan situasi yang lebih mudah daripada penggunaan yang dimaksudkan (Sasse dkk., 2025).
Kebocoran tidak terbatas pada tindakan memasukkan baris uji secara langsung ke algoritma pelatihan. Informasi juga dapat berpindah melalui pemilihan fitur, perhitungan parameter prapemrosesan, keputusan pemilihan model, atau hubungan antarrekaman yang berasal dari objek yang sama. Pada data yang memiliki urutan waktu, persoalan tambahan muncul apabila informasi yang baru tersedia kemudian digunakan untuk meniru prediksi pada waktu sebelumnya (Sasse dkk., 2025; Apicella dkk., 2025).
Masalah tersebut relevan bagi berpikir komputasional karena rancangan pemecahannya dimulai dengan mendefinisikan persoalan dan batas informasi. Pengembang perlu menentukan apa yang hendak diprediksi, kapan prediksi dilakukan, dan data seperti apa yang akan dihadapi model. Pilihan pembagian data kemudian harus mengikuti sasaran itu. Pembagian yang masuk akal untuk menilai prediksi pada rekaman baru dari objek yang sudah dikenal belum tentu menjawab pertanyaan tentang objek yang sama sekali baru (Davis dkk., 2023; Apicella dkk., 2025).
Tinjauan ini membahas hubungan antara kebocoran, rancangan evaluasi, dan konteks penggunaan. Fokusnya adalah pembelajaran terawasi, dengan contoh dari data klinis dan deret waktu. Pembahasan juga membedakan kebocoran informasi dari masalah evaluasi lain yang dapat menghasilkan kesimpulan menyesatkan.
Prapemrosesan dan pemilihan model
Prapemrosesan mencakup langkah yang mengubah data sebelum model dilatih. Contohnya ialah normalisasi, penanganan nilai hilang, pengurangan dimensi, dan pemilihan fitur. Sebagian langkah memerlukan parameter yang diperkirakan dari sejumlah pengamatan. Bila parameter tersebut dihitung memakai seluruh set data sebelum pembagian, informasi dari set uji ikut menentukan representasi yang digunakan dalam pelatihan (Sasse dkk., 2025).
Pembagian setelah prapemrosesan tidak menghapus pengaruh tersebut. Walaupun algoritma hanya dilatih pada bagian yang diberi nama set pelatihan, data yang diterimanya sudah dibentuk menggunakan informasi dari bagian uji. Pemisahan yang berarti harus meliputi langkah pembelajaran parameter prapemrosesan, bukan hanya pemanggilan algoritma utama. Parameter diperkirakan dari bagian pelatihan, kemudian transformasi yang dihasilkan diterapkan pada bagian pelatihan dan bagian uji (Sasse dkk., 2025).
Pemilihan fitur memperlihatkan persoalan ini dengan jelas. Jika hubungan antara setiap fitur dan hasil diperiksa pada seluruh set data, fitur yang terpilih dapat mencerminkan pula hubungan yang muncul pada data uji. Skor selanjutnya tidak lagi merupakan pemeriksaan yang sepenuhnya terpisah dari keputusan pemilihan fitur. Dalam validasi silang, yaitu pengujian berulang dengan bagian data yang berbeda sebagai data penilaian, pemilihan fitur perlu diulangi menggunakan bagian pelatihan pada setiap lipatan. Fitur yang terpilih dapat berbeda antarulangan (Sasse dkk., 2025).
Aturan tersebut berkaitan dengan operasi yang bergantung pada informasi lintas sampel. Sasse dkk. juga membedakan persiapan yang dilakukan pada satu sampel secara mandiri dari transformasi yang mempelajari parameter dari beberapa sampel. Pembedaan ini berguna ketika menelaah alur yang panjang: pertanyaannya bukan semata apakah suatu operasi dilakukan sebelum pembagian, melainkan informasi apa yang dipakai oleh operasi itu dan apakah hasilnya menghubungkan data pelatihan dengan data penilaian (Sasse dkk., 2025).
Pilihan hiperparameter, yaitu pengaturan yang ditentukan untuk proses pembelajaran, menimbulkan persoalan serupa. Apabila skor validasi dipakai untuk memilih pengaturan terbaik dan skor yang sama kemudian dilaporkan sebagai perkiraan akhir, keputusan pengembangan dan penilaian tidak lagi terpisah. Sasse dkk. menjelaskan validasi silang bersarang sebagai pendekatan yang menempatkan pemilihan pada putaran dalam dan penilaian pada putaran luar. Data penilaian pada putaran luar tidak digunakan untuk membuat pilihan dalam putaran dalam (Sasse dkk., 2025).
Prinsip yang sama berlaku pada pemilihan jenis algoritma atau transformasi berdasarkan hasil data. Mengganti nama suatu bagian menjadi set uji tidak membuatnya independen jika hasilnya berulang kali dipakai untuk menentukan perubahan. Dalam praktik, pengembang perlu dapat menelusuri keputusan mana yang dibuat menggunakan setiap bagian data dan bagian mana yang masih disisihkan untuk menilai keseluruhan prosedur pemilihan (Sasse dkk., 2025; Apicella dkk., 2025).
Tidak semua sumber memakai batas istilah yang sama. Sasse dkk. memandang penggunaan hasil validasi untuk memilih sekaligus menilai model sebagai bentuk kebocoran dari uji ke pelatihan. Apicella dkk. membahas perbandingan berulang pada data evaluasi sebagai masalah bias penilaian dan membedakannya dari kebocoran informasi dalam pengertian yang lebih sempit. Perbedaan istilah ini tidak mengubah kebutuhan praktis untuk memisahkan pemilihan dari penilaian akhir (Sasse dkk., 2025; Apicella dkk., 2025).
Kelompok, ketergantungan, dan pembelajaran transfer
Satu objek dapat menghasilkan banyak rekaman. Dalam data klinis, misalnya, pasien yang sama dapat muncul pada lebih dari satu pengamatan. Bila rekaman dibagi tanpa memperhatikan asalnya, data pelatihan dan validasi dapat memuat informasi dari pasien yang sama. Model mungkin memanfaatkan ciri yang terkait dengan pasien tersebut, sehingga hasilnya tidak menjawab dengan baik pertanyaan tentang pasien yang belum pernah ditemui (Davis dkk., 2023).
Untuk sasaran prediksi pada pasien baru, pembagian berdasarkan identitas pasien mengarahkan evaluasi ke pertanyaan yang lebih sesuai. Seluruh rekaman dari pasien yang ditempatkan pada bagian penilaian dijaga agar tidak sekaligus digunakan sebagai data pelatihan. Akan tetapi, penilaian harus tetap ditafsirkan menurut populasi dan kondisi data yang tersedia. Pembagian kelompok membatasi satu jalur ketergantungan, tetapi tidak dengan sendirinya membuktikan kesesuaian setiap fitur atau keterwakilan seluruh lingkungan penggunaan (Davis dkk., 2023; Apicella dkk., 2025).
Sumber ketergantungan juga dapat berada pada tingkat lokasi. Davis dkk. menjelaskan bahwa data dari beberapa tempat dapat membuat model mengaitkan karakteristik tempat dengan hasil yang lebih sering muncul di sana. Karena itu, identitas tempat dan cara data dikumpulkan perlu dipertimbangkan ketika sasaran penggunaan mencakup tempat lain. Pertanyaan tentang pasien baru dan pertanyaan tentang tempat baru adalah persoalan evaluasi yang berbeda, walaupun keduanya menyangkut pemindahan model ke keadaan yang belum dinilai secara langsung (Davis dkk., 2023).
Pada data sensor, satu sinyal dapat dipecah menjadi beberapa jendela yang saling bertumpang tindih. Apicella dkk. menjelaskan bahwa jendela berurutan tidak independen dan bagian sinyal yang sama dapat muncul dalam lebih dari satu jendela. Jika jendela yang berkaitan ditempatkan pada bagian pelatihan dan penilaian, kesamaan itu perlu diperhitungkan sebelum skor ditafsirkan sebagai kemampuan menghadapi sinyal baru (Apicella dkk., 2025).
Pembelajaran transfer, yaitu penggunaan pengetahuan model yang dikembangkan pada sumber data untuk tugas atau ranah lain, menambah tahap yang harus diperiksa. Apicella dkk. membahas kasus ketika subjek yang digunakan pada pelatihan awal juga muncul pada data untuk menilai tugas tujuan. Pemisahan yang hanya diperiksa pada tahap akhir dapat melewatkan hubungan dengan data yang digunakan sebelumnya. Karena itu, asal data pelatihan awal dan hubungan dengan data evaluasi relevan bagi klaim tentang objek baru (Apicella dkk., 2025).
Tidak setiap kesamaan antarbagian otomatis menjawab pertanyaan yang sama. Jika penggunaan yang dimaksud memang melibatkan objek yang sudah dikenal, evaluasinya perlu dirancang untuk situasi tersebut. Sebaliknya, bila klaimnya menyangkut objek baru, pembagian berdasarkan rekaman saja dapat memberikan bukti yang tidak sesuai dengan klaim. Hubungan antara unit pembagian dan unit penerapan merupakan bagian dari definisi masalah, bukan sekadar pilihan teknis setelah model dibuat (Apicella dkk., 2025; Davis dkk., 2023).
Urutan waktu dan ketersediaan label
Pada peramalan, urutan data menentukan informasi yang tersedia ketika prediksi dibuat. Jika data yang lebih akhir dipakai untuk melatih model yang dinilai pada waktu sebelumnya, pengujian dapat memberikan model akses pada informasi dari masa depan relatif terhadap titik prediksi. Pemisahan temporal berusaha menyesuaikan evaluasi dengan urutan penggunaan tersebut (Apicella dkk., 2025).
Pembentukan sampel deret waktu juga perlu diperiksa. Albelali dan Ahmed membandingkan pengaturan yang membentuk urutan masukan dan keluaran sebelum data dipisah dengan pengaturan yang memisahkan data secara temporal sebelum membentuk urutan. Studi pracetak tersebut menggunakan jaringan memori jangka pendek-panjang, atau LSTM, untuk peramalan dan membandingkan beberapa rancangan validasi. Urutan pengerjaan pada tahap persiapan menjadi bagian dari rancangan evaluasi, bukan hanya detail pengolahan data (Albelali dan Ahmed, 2025).
Pada konfigurasi yang diteliti, validasi silang 10 lipatan menunjukkan RMSE Gain sampai 20,5% pada langkah jeda yang panjang. Pembagian dua dan tiga bagian biasanya menghasilkan RMSE Gain di bawah 5% pada berbagai konfigurasi. Ukuran ini menyatakan selisih relatif galat akar rata-rata kuadrat, atau RMSE, antara pengaturan yang dibandingkan menurut definisi penulis. Nilainya bukan tingkat kebocoran yang berlaku umum: penulis juga melaporkan pengaruh ukuran jendela dan langkah jeda terhadap kepekaan hasil (Albelali dan Ahmed, 2025).
Temuan tersebut memperlihatkan bahwa nama metode pembagian saja tidak cukup untuk menilai keamanan alur. Perlu diketahui kapan jendela dibentuk, bagian mana yang saling berbagi informasi, dan urutan waktu apa yang dipertahankan. Sebaliknya, angka dari percobaan tersebut tidak membuktikan bahwa satu rancangan pembagian akan menghasilkan selisih yang sama untuk semua deret, algoritma, atau tujuan prediksi (Albelali dan Ahmed, 2025).
Waktu juga menentukan kelayakan fitur. Dalam prediksi klinis, Davis dkk. mencontohkan bahwa kode diagnosis dapat difinalisasi setelah pasien pulang dan hasil kultur darah dapat tersedia setelah sampel diambil. Tanggal suatu peristiwa dalam catatan karena itu perlu dibedakan dari waktu ketika informasi tersebut benar-benar tersedia bagi pengguna model. Memasukkan hasil yang belum tersedia pada saat prediksi dapat membuat evaluasi menggunakan keadaan yang tidak dapat ditiru saat penerapan (Davis dkk., 2023).
Kebocoran label terjadi ketika informasi tentang hasil yang hendak diprediksi mencemari fitur. Davis dkk. mengelompokkan persoalan ini menurut agregasi, waktu, dan asosiasi. Kategori asosiasi menuntut perhatian khusus karena suatu fitur dapat berkaitan erat dengan hasil tanpa secara sederhana berupa data dari masa depan. Penilaian kelayakannya perlu mempertimbangkan perspektif prediksi dan keputusan yang hendak dibantu (Davis dkk., 2023).
Kerangka tersebut juga menekankan frekuensi prediksi dan kegunaannya. Prediksi yang secara statistik menggunakan data yang sudah tersedia belum tentu memberi manfaat pada saat pengguna menerimanya. Misalnya, ketika proses diagnosis sudah berjalan jauh, informasi yang sangat berkaitan dengan hasil mungkin mencerminkan pengetahuan yang telah dimiliki pihak yang mengambil keputusan. Dalam keadaan demikian, pertanyaan evaluasi tidak berhenti pada apakah fitur tersedia, tetapi juga apakah prediksi masih relevan untuk tindakan yang dimaksud (Davis dkk., 2023).
Menyusun evaluasi yang sesuai dengan klaim
Langkah pertama ialah menetapkan unit dan waktu prediksi. Deskripsi tugas perlu menyatakan apakah model diharapkan menangani pasien baru, rekaman baru dari pasien yang sudah dikenal, lokasi baru, atau pengamatan pada waktu mendatang. Pilihan tersebut menentukan hubungan antarbagian data yang perlu dijaga dan informasi yang boleh tersedia pada saat prediksi (Davis dkk., 2023; Apicella dkk., 2025).
Selanjutnya, alur data dapat ditelusuri dari sumber awal sampai penilaian. Setiap operasi yang mempelajari sesuatu dari beberapa sampel, termasuk pemilihan fitur dan penaksiran parameter transformasi, perlu ditempatkan pada bagian pelatihan yang sesuai. Pada validasi silang, pembatasan itu berlaku pada setiap lipatan. Jika model dan hiperparameter dipilih berdasarkan data, penilaian akhir harus mempertimbangkan seluruh proses pemilihan tersebut (Sasse dkk., 2025).
Pemeriksaan kemudian perlu mencakup identitas dan hubungan antarrekaman, termasuk kemungkinan pengulangan, jendela sinyal yang beririsan, serta data yang digunakan dalam pelatihan awal model transfer. Untuk tugas temporal, pemeriksaan diperluas ke saat informasi tersedia dan cara urutan dibentuk. Langkah-langkah ini menangani jalur yang berlainan: pembagian berdasarkan kelompok tidak otomatis memperbaiki penggunaan fitur masa depan, sedangkan pembagian temporal tidak otomatis memeriksa riwayat data pelatihan awal (Apicella dkk., 2025; Davis dkk., 2023; Albelali dan Ahmed, 2025).
Dokumentasi rancangan perlu disertai pemeriksaan implementasi. Sasse dkk. menunjukkan contoh ketika uraian metode menyatakan pemilihan fitur dan penyetelan dilakukan dalam validasi silang, tetapi penerapan dalam putaran yang terpisah tetap memungkinkan seluruh data memengaruhi pilihan fitur. Contoh itu menunjukkan bahwa istilah yang benar dalam laporan belum cukup untuk memastikan aliran informasi di dalam kode sudah sesuai (Sasse dkk., 2025).
Skor yang berubah setelah alur diperbaiki perlu dibaca dalam konteksnya. Sasse dkk. menyatakan kebocoran sering menghasilkan estimasi yang terlalu optimistis, tetapi juga dapat menurunkan kinerja yang terukur. Selain itu, Apicella dkk. mengingatkan bahwa bias evaluasi dapat muncul tanpa kebocoran informasi. Dengan demikian, tidak tepat menggunakan arah perubahan skor sebagai satu-satunya bukti ada atau tidaknya kebocoran (Sasse dkk., 2025; Apicella dkk., 2025).
Keterbatasan tinjauan
Sumber mencakup tinjauan metodologis, kerangka konseptual untuk prediksi klinis, dan pracetak eksperimen peramalan. Contoh dari kesehatan dan deret waktu membantu menjelaskan mekanisme, tetapi tidak menetapkan besarnya dampak pada seluruh penerapan pembelajaran mesin. Studi peramalan yang dibahas terbatas pada rancangan, model, dan konfigurasi yang diteliti. Kerangka klinis menekankan kesesuaian dengan keputusan, bukan memberikan ukuran universal untuk setiap bentuk kebocoran.
Kesimpulan
Kebocoran data dapat muncul pada tahap yang berbeda, mulai dari prapemrosesan dan pemilihan model hingga pembagian rekaman serta penentuan fitur yang tersedia pada saat prediksi. Pemisahan data yang memadai harus mengikuti sasaran penggunaan dan mencakup seluruh keputusan yang dipengaruhi data. Validasi bersarang, pemisahan berdasarkan kelompok, dan pemisahan temporal menjawab risiko yang berbeda sehingga pemilihannya perlu disesuaikan dengan tugas. Hasil evaluasi juga perlu dibaca bersama dokumentasi dan implementasinya, dengan mengakui bahwa bias penilaian dapat mempunyai penyebab selain kebocoran.
Daftar pustaka
- Sasse dkk. (2025). Overview of leakage scenarios in supervised machine learning. Journal of Big Data. https://link.springer.com/article/10.1186/s40537-025-01193-8
- Apicella dkk. (2025). Don’t push the button! Exploring data leakage risks in machine learning and transfer learning. Artificial Intelligence Review. https://link.springer.com/article/10.1007/s10462-025-11326-3
- Davis dkk. (2023). A framework for understanding label leakage in machine learning for health care. Journal of the American Medical Informatics Association. https://pmc.ncbi.nlm.nih.gov/articles/PMC10746313/
- Albelali dan Ahmed (2025). Hidden Leaks in Time Series Forecasting: How Data Leakage Affects LSTM Evaluation Across Configurations and Validation Strategies. arXiv. https://arxiv.org/abs/2512.06932