Kuantisasi Pascapelatihan pada LLM: Akurasi, Memori, dan Kecepatan LLM.int8(), GPTQ, SmoothQuant, dan AWQ
Abstrak
Model bahasa besar berukuran ratusan miliar parameter dapat membutuhkan memori yang melampaui kapasitas satu GPU. Karena itu, kuantisasi pascapelatihan (post-training quantization, PTQ) banyak dipakai untuk menekan biaya inferensi tanpa pelatihan ulang. Tinjauan ini membandingkan empat metode PTQ yang banyak dirujuk, yaitu LLM.int8(), SmoothQuant, GPTQ, dan AWQ, dari sisi penghematan memori, percepatan inferensi, dan kehilangan akurasi. Tinjauan ini juga menelusuri apakah klaim penulis metode bertahan dalam uji banding pihak ketiga. Sumber yang ditelaah terdiri atas empat makalah metode dan dua studi uji banding. Studi pertama mengevaluasi model berukuran 1B sampai 405B parameter, sedangkan studi kedua memakai perangkat LLMC yang menyamakan data kalibrasi antarmetode. Makalah metode melaporkan pengurangan memori sekitar separuh pada 8 bit dan percepatan sekitar 3,25x sampai 4,5x dibanding FP16. Angka percepatan tersebut bergantung pada pembanding, kernel, dan fase inferensi. Uji independen dengan TensorRT-LLM menunjukkan bahwa kuantisasi bobot-saja 4 bit mempercepat tahap decode 40%-60%, tetapi memperlambat tahap prefill 10%. Keunggulan AWQ atas GPTQ tidak seragam: urutannya dapat berbalik menurut model, lebar bit, implementasi pustaka, dan data kalibrasi. SmoothQuant kehilangan banyak akurasi pada Llama-3.1-405B, sedangkan model kecil seperti Llama-3.2-1B rentan terhadap kuantisasi 4 bit. Tinjauan ini menyimpulkan bahwa pemilihan metode sebaiknya bertumpu pada uji tugas hilir dengan model, perangkat keras, dan data kalibrasi yang akan benar-benar dipakai, bukan pada perplexity atau klaim penulis semata.
Kata kunci: kuantisasi pascapelatihan; model bahasa besar; GPTQ; AWQ; SmoothQuant; efisiensi inferensi
Pendahuluan
Model bahasa besar (large language model, LLM) menuntut memori yang jauh melampaui kapasitas satu akselerator. Dalam format float16, parameter GPT3-175B menempati 326GB bila satuan dihitung dengan kelipatan 1024. Ukuran ini melebihi GPU tunggal kelas tertinggi, sehingga inferensinya harus dibagi ke beberapa GPU (Frantar dkk., 2023). Makalah AWQ menyebut 350GB dalam FP16 untuk model yang sama dan menyandingkannya dengan GPU B200 yang bermemori 192GB (Lin dkk., 2024). Selisih kedua angka itu tampaknya berasal dari basis satuan. Untuk BLOOM berparameter 176 miliar, bobot FP16 membutuhkan ruang minimal 350 GB, dan inferensinya memerlukan 5×80GB A100 atau 9×40GB A800 (Gong dkk., 2024).
Kuantisasi adalah pemetaan bilangan titik-mengambang (floating point) ke format dengan jumlah bit lebih sedikit, biasanya bilangan bulat. Tujuannya memperkecil jejak memori dan mempercepat inferensi (Lin dkk., 2024; Gong dkk., 2024). Ada dua jalur utama. Pelatihan sadar kuantisasi (quantization-aware training, QAT) memperbarui bobot terkuantisasi melalui propagasi balik. Biayanya mendekati pelatihan ulang, sehingga jalur ini sulit diterapkan pada model sebesar LLM (Lin dkk., 2024). Kuantisasi pascapelatihan (post-training quantization, PTQ) mengompresi model yang sudah dilatih dalam satu langkah, cukup dengan sejumlah kecil sampel data dan beberapa jam komputasi (Frantar dkk., 2023). Sampel tersebut disebut data kalibrasi: potongan teks yang dilewatkan ke model untuk mengumpulkan statistik aktivasi atau galat tiap lapisan. Menurut makalah GPTQ, metode pascapelatihan sebelumnya hanya mempertahankan akurasi pada 8 bit untuk model berukuran ratusan miliar parameter (Frantar dkk., 2023).
Sejak 2022, empat metode PTQ menjadi rujukan utama: LLM.int8() (Dettmers dkk., 2022), SmoothQuant (Xiao dkk., 2023), GPTQ (Frantar dkk., 2023), dan AWQ (Lin dkk., 2024). Klaim masing-masing diukur oleh penulisnya sendiri dengan model, data kalibrasi, perangkat keras, dan pembanding yang berbeda, sehingga membandingkan angka antarmakalah secara langsung mudah menyesatkan.
Tinjauan ini menjawab tiga pertanyaan: berapa memori yang dihemat dan percepatan yang dapat diharapkan pada 8, 4, dan 3 bit; seberapa besar akurasi yang hilang; dan apakah klaim penulis bertahan dalam uji banding independen. Sumbernya enam: empat makalah metode di atas, evaluasi model berukuran 1B sampai 405B parameter (Lee dkk., 2025), dan uji banding dengan perangkat LLMC yang menyamakan kondisi kalibrasi antarmetode (Gong dkk., 2024).
Notasi, metrik, dan karakter beban inferensi
Notasi WxAy menyatakan lebar bit bobot (W, weight) dan aktivasi (A, activation). W8A8 berarti bobot dan aktivasi sama-sama 8 bit. W4A16 berarti hanya bobot yang diturunkan ke 4 bit, sedangkan aktivasi tetap 16 bit (Lin dkk., 2024). Akhiran seperti g128 menandai kuantisasi per grup dengan ukuran grup 128, yaitu setiap kelompok bobot memiliki faktor skala kuantisasinya sendiri (Lin dkk., 2024). Pembanding paling sederhana adalah pembulatan ke level terdekat (round-to-nearest, RTN), yang memadai pada bobot 8 bit tetapi gagal menjaga akurasi pada kompresi yang lebih agresif (Frantar dkk., 2023).
Akurasi diukur dengan dua keluarga metrik. Perplexity (PPL) mengukur seberapa baik model menebak token berikutnya pada teks uji seperti WikiText-2 atau C4; makin rendah, makin baik. Akurasi tugas hilir mengukur proporsi jawaban benar pada tolok ukur seperti GSM8K (matematika), MBPP dan Human-Eval (pemrograman), IFEval (kepatuhan terhadap instruksi), dan TruthfulQA (pengujian halusinasi). Kedua keluarga metrik ini dapat memberi gambaran berbeda (Lee dkk., 2025).
Inferensi LLM berlangsung dalam dua fase. Fase prefill memproses seluruh teks masukan (prompt) sekaligus, sedangkan fase decode menghasilkan token satu per satu (Gong dkk., 2024). Makalah AWQ menyebut fase kedua sebagai tahap generasi dan menjelaskan konsekuensinya dengan intensitas aritmetika, yaitu rasio jumlah operasi titik-mengambang terhadap jumlah akses memori (Lin dkk., 2024). GPU RTX 4090 memiliki puncak komputasi 165 TFLOPS dan lebar pita memori 1TB/s, sehingga beban dengan intensitas aritmetika di bawah 165 dibatasi oleh memori. Tahap generasi LLM di perangkat dalam FP16 hanya berintensitas sekitar 1 (Lin dkk., 2024). Dari analisis ini dapat diduga bahwa kuantisasi bobot-saja paling menguntungkan pada fase decode dengan jumlah pengguna sedikit, karena yang dikurangi adalah volume bobot yang harus dibaca. Pada fase prefill, manfaatnya mungkin bergantung pada apakah perkalian matriks itu sendiri ikut dipercepat.
Mekanisme dan klaim keempat metode
LLM.int8(): dekomposisi presisi campuran
LLM.int8() adalah prosedur perkalian matriks Int8 untuk lapisan feed-forward dan proyeksi atensi pada transformer (Dettmers dkk., 2022). Prosedurnya terdiri atas dua bagian. Bagian pertama adalah kuantisasi per vektor dengan konstanta normalisasi tersendiri untuk setiap hasil kali dalam. Bagian kedua menangani fitur pencilan, yaitu segelintir dimensi fitur bernilai sangat besar yang muncul secara sistematis dan mendominasi atensi. Dimensi pencilan itu dipisahkan ke perkalian matriks 16-bit, sementara hampir seluruh nilai lainnya tetap dikalikan dalam 8-bit. Penulis melaporkan bahwa memori inferensi berkurang menjadi separuh tanpa penurunan kinerja. Titik simpan (checkpoint) model 175B dapat langsung dikonversi ke Int8, dan OPT-175B atau BLOOM dapat dijalankan pada satu server berisi GPU konsumen (Dettmers dkk., 2022). Ringkasan makalah ini tidak memuat angka percepatan, sehingga LLM.int8() lebih tepat dipandang sebagai metode penghemat memori.
SmoothQuant: memindahkan kesulitan dari aktivasi ke bobot
SmoothQuant menyasar kuantisasi W8A8 tanpa pelatihan (Xiao dkk., 2023). Titik tolaknya adalah pengamatan bahwa bobot relatif mudah dikuantisasi, sedangkan aktivasi sulit karena mengandung pencilan. Metode berbasis penskalaan semacam ini mencari vektor skala yang mengecilkan pencilan aktivasi dan memindahkan besaran itu ke bobot (Gong dkk., 2024). Transformasinya ekuivalen secara matematis dan dihitung secara luring, sehingga keluaran lapisan tidak berubah sebelum kuantisasi, tetapi aktivasi menjadi lebih halus. Akibatnya, seluruh perkalian matriks dapat dijalankan dalam INT8. Penulis menguji keluarga OPT, BLOOM, GLM, MT-NLG, dan LLaMA. Mereka melaporkan percepatan hingga 1,56× dan pengurangan memori 2× dengan kehilangan akurasi yang dapat diabaikan, serta kemampuan melayani LLM 530B dalam satu node (Xiao dkk., 2023).
GPTQ: rekonstruksi lapis demi lapis berbasis informasi orde kedua
GPTQ mengkuantisasi bobot lapis demi lapis. Untuk setiap lapisan, metode ini menyelesaikan masalah rekonstruksi, yaitu mencari bobot terkuantisasi yang keluarannya paling dekat dengan keluaran lapisan asli pada data kalibrasi (Frantar dkk., 2023). Informasi orde kedua berupa invers Hessian dipakai untuk mengompensasi galat: sebagian bobot dibulatkan, lalu bobot yang tersisa disesuaikan (Frantar dkk., 2023; Lee dkk., 2025; Lin dkk., 2024). Menurut penulisnya, model GPT berparameter 175 miliar dapat dikuantisasi dalam sekitar empat jam GPU ke 3 atau 4 bit per bobot dengan penurunan akurasi yang dapat diabaikan (Frantar dkk., 2023).
Di sisi sistem, OPT-175B terkompresi dapat dijalankan pada satu GPU NVIDIA A100 atau dua GPU A6000. Percepatan ujung ke ujung yang dilaporkan sekitar 3,25x pada A100 dan 4,5x pada A6000 dibanding FP16. Percepatan itu berasal dari kernel GPU khusus yang memanfaatkan kompresi untuk mempercepat pemuatan bobot dari memori. Penulis mengakui dua batasan. Pertama, perkalian matriksnya sendiri belum dipercepat karena arsitektur arus utama belum mendukung operan presisi campuran seperti FP16 x INT4. Kedua, hasilnya belum mencakup kuantisasi aktivasi (Frantar dkk., 2023).
AWQ: melindungi bobot penting melalui penskalaan per kanal
AWQ berangkat dari pengamatan bahwa bobot LLM tidak sama penting. Sebagian kecil bobot, sekitar 0,1%-1%, bersifat salient atau menonjol pengaruhnya (Lin dkk., 2024). Kanal bobot penting dikenali dari besarnya aktivasi yang melewatinya, bukan dari besar bobot itu sendiri. Pada OPT-6.7B dengan INT3-g128, mempertahankan 1% bobot penting dalam FP16 menurunkan perplexity dari 43,2 ke 13,0. Namun, format presisi campuran semacam itu tidak efisien bagi perangkat keras. AWQ menggantinya dengan penskalaan: kanal penting dikalikan faktor lebih besar dari 1 sebelum kuantisasi, dan masukan yang bersesuaian dibagi dengan faktor yang sama. Dalam percobaan dengan faktor tetap, perplexity OPT-6.7B membaik dari 23,54 (setara RTN) menjadi 11,92 pada faktor 2. Faktor yang lebih besar justru memperbesar galat kanal yang tidak penting, sehingga AWQ mencari faktor optimal per kanal secara otomatis. Karena tidak memakai propagasi balik maupun rekonstruksi, penulis berpendapat AWQ lebih kecil kemungkinannya menjadi terlalu pas terhadap set kalibrasi dibanding GPTQ (Lin dkk., 2024).
Untuk mengubah penghematan memori menjadi percepatan nyata, penulis membangun TinyChat dengan fusi kernel dan pengemasan bobot 4 bit. Mereka melaporkan jejak memori sekitar 4× lebih rendah dan percepatan rata-rata 3,2-3,3× dibanding implementasi FP16 Huggingface pada GPU desktop, laptop, dan seluler. Pada GPU laptop RTX 4070 bermemori 8GB, Llama-2-13B berjalan 33 token/s, sedangkan implementasi FP16 bahkan tidak dapat memuat model 7B (Lin dkk., 2024).
Tabel 1 merangkum klaim keempat makalah. Semua angkanya berasal dari penulis metode masing-masing, dengan pembanding yang tidak seragam.
| Metode | Sasaran kuantisasi | Klaim memori | Klaim kecepatan | Pembanding kecepatan |
|---|---|---|---|---|
| LLM.int8() | Perkalian matriks Int8, dimensi pencilan 16-bit | Memori inferensi menjadi separuh | Tidak disebut di ringkasan makalah | Tidak tersedia |
| SmoothQuant | W8A8 | Pengurangan 2× | Hingga 1,56× | Ditetapkan penulis |
| GPTQ | Bobot 3 atau 4 bit | OPT-175B muat di satu A100 | Sekitar 3,25x (A100) dan 4,5x (A6000) | FP16, ujung ke ujung |
| AWQ | Bobot 4 bit (W4A16), juga diuji INT3 | Jejak memori sekitar 4× lebih rendah | Rata-rata 3,2-3,3× | FP16 Huggingface |
Akurasi menurut makalah metode
GPTQ dan SmoothQuant sama-sama menyatakan bahwa kehilangan akurasinya dapat diabaikan (Frantar dkk., 2023; Xiao dkk., 2023). Pembandingan langsung dengan metode lain paling rinci tersaji di makalah AWQ. Pada Llama-2-7B dengan INT4-g128, perplexity WikiText-2 tercatat 5,47 untuk FP16, 5,73 untuk RTN, 5,69 untuk GPTQ, 5,63 untuk GPTQ-R (GPTQ dengan trik pengurutan ulang), dan 5,60 untuk AWQ. Pada INT3-g128, model yang sama menghasilkan 6,66 untuk RTN, 6,43 untuk GPTQ, 6,42 untuk GPTQ-R, dan 6,24 untuk AWQ (Lin dkk., 2024). Jarak antarmetode tampak lebih lebar pada 3 bit daripada pada 4 bit. Hal ini menunjukkan kemungkinan bahwa pilihan algoritma makin menentukan ketika lebar bit sudah sangat rendah.
Pada tugas hilir dengan INT4-g128, pass@1 MBPP untuk model 7B adalah 38,53 (FP16), 37,51 (RTN), 31,97 (GPTQ), dan 40,64 (AWQ). Skor GSM8K model 70B adalah 56,41 (FP16), 53,98 (RTN), 56,03 (GPTQ), dan 56,40 (AWQ) (Lin dkk., 2024). Skor AWQ pada MBPP yang melampaui FP16 mungkin mencerminkan variasi pengukuran, bukan peningkatan kemampuan yang sesungguhnya.
Makalah AWQ juga menguji ketahanan terhadap data kalibrasi. Pada OPT-6.7B dengan INT3-g128, bila domain kalibrasi berbeda dari domain evaluasi (PubMed-Enron dan Enron-PubMed), perplexity AWQ hanya naik 0,5 sampai 0,6, sedangkan GPTQ memburuk 2,3 sampai 4,9. AWQ disebut mencapai perplexity lebih baik dengan set kalibrasi 10× lebih kecil, yaitu 16 sekuens dibanding 192 sekuens untuk GPTQ (Lin dkk., 2024). Semua perbandingan ini dirancang dan dijalankan oleh tim AWQ, sehingga perlu diuji silang dengan evaluasi pihak ketiga.
Uji banding independen
Evaluasi lintas skala oleh Lee dkk.
Studi ini mengevaluasi model yang disetel dengan instruksi (instruction-tuned) berukuran 1B sampai 405B parameter dengan empat metode: GPTQ, AWQ, SmoothQuant, dan FP8 (format titik-mengambang 8 bit untuk bobot dan aktivasi). Evaluasi mencakup 13 set data dan dijalankan dengan vLLM pada kluster empat server: H100-80Gx8, A100-80Gx4, RTX 6000-48Gx4, dan A6000-48Gx4 (Lee dkk., 2025). LLM.int8() tidak termasuk dalam evaluasi ini. Ringkasan penulis berisi beberapa temuan pokok. FP8 konsisten menjadi pilihan paling tangguh. AWQ cenderung mengungguli GPTQ pada kuantisasi bobot-saja. Model kecil dapat kehilangan akurasi secara drastis pada 4 bit, sedangkan model skala 70B relatif stabil.
Temuan tentang model kecil cukup tajam. Pada Llama-3.2-1B, kuantisasi 4 bit dilaporkan menurunkan akurasi 25,32% pada GSM8k dan 16,01% pada IFEval. Tabel studi tersebut menunjukkan bahwa kedua angka itu berasal dari varian GPTQ yang dibuat dengan AutoRound. Pada tabel yang sama, penurunan AWQ untuk model ini tercatat 15,39 pada GSM8k dan 10,40 pada IFEval, lebih kecil tetapi tetap besar (Lee dkk., 2025). Untuk perbandingan lintas ukuran, Llama-2-13B 4 bit (6,5 GB) mengungguli Llama-2-7B FP16 (14 GB) pada sebagian besar tugas. Pada TruthfulQA dan IFEval, Llama-2-7B FP16 tetap lebih baik. Penulis menafsirkan hal ini sebagai tanda bahwa kuantisasi dapat mengganggu penyelarasan dan kepatuhan terhadap instruksi.
Klaim akurasi SmoothQuant tidak bertahan pada skala terbesar. Pada Llama-3.1-405B, akurasinya turun rata-rata hingga 10,86% dibanding FP8 pada set data OpenLLM Leaderboard-v2. Penurunan terbesar terlihat pada MMLU-PRO, yang turun menjadi 18,24 dari 60,01 pada FP16 (Lee dkk., 2025). Penulis menduga penyebabnya adalah rancangan SmoothQuant yang semula disesuaikan dengan rentang aktivasi model hingga ukuran OPT-175B. Dugaan ini belum dibuktikan secara langsung. Pada Llama-3.1-70B, SmoothQuant justru mencatat rata-rata Leaderboard-v1 78,82, setara dengan FP16 yang mencatat 78,76.
Studi ini juga memperlihatkan pengaruh implementasi. Pada Llama-3.1-8B, rata-rata Leaderboard-v1 GPTQ versi AutoGPTQ adalah 67,97, sedangkan versi llmcompressor 66,91. Pada Llama-3.1-70B, GPTQ 8 bit versi llmcompressor turun 13,67 pada GPQA dan 8,82 pada IFEval, sehingga rata-rata Leaderboard-v2-nya (36,88) lebih rendah daripada GPTQ 4 bit versi AutoGPTQ (39,95) (Lee dkk., 2025). Penulis juga menegaskan dua keterbatasan metrik. Penurunan akurasi GPTQ pada 4 bit tidak tampak bila evaluasi hanya memakai perplexity. Selain itu, penilai berbasis GPT4 kadang menganggap jawaban salah sebagai benar, terutama pada soal matematika dan penalaran.
Uji banding terkendali LLMC
LLMC menyamakan kondisi yang biasanya berbeda antarmakalah. Sebagian besar percobaan memakai subset yang sama dari set validasi Pile, dengan 128 sampel kalibrasi dan panjang sekuens 512 (Gong dkk., 2024). Dengan kondisi setara ini, pada LLaMA-3-8B w3a16g128, GPTQ mencatat rata-rata PPL 10,67 dan AWQ 10,98, sedangkan gabungan AWQ dengan GPTQ mencatat 10,55. Rata-rata akurasinya masing-masing 71,96, 70,72, dan 72,72. Pada Mixtral-8x7B dengan w4a16g128, rata-rata PPL WikiText2 dan C4 sama untuk AWQ dan GPTQ, yaitu 5,82. Pada w3a16g128, AWQ unggul tipis dengan 7,07 dibanding GPTQ 7,18. SmoothQuant w8a8 pada model yang sama mencatat 5,68 (Gong dkk., 2024).
LLMC juga mengukur kepekaan terhadap data kalibrasi. Data kalibrasi WikiText2, yang divergensi KL-nya terhadap data uji 1,97 lebih rendah, menurunkan PPL sekitar 0,2 dibanding Pile (val) pada data uji WikiText2 dengan GPTQ. Bila urutan token di dalam data kalibrasi diacak, metode berbasis rekonstruksi seperti GPTQ dan OmniQuant mengalami kenaikan PPL ×3,3 dibanding AWQ. Pada LLaMA-2-7B w3a16g128, kenaikannya +0,568 untuk GPTQ dan +0,156 untuk AWQ (Gong dkk., 2024). Hasil ini sejalan dengan klaim makalah AWQ bahwa metode tanpa rekonstruksi lebih tahan terhadap perubahan data kalibrasi.
Dari sisi kecepatan, LLMC mengukur dengan TensorRT-LLM pada A100. Kuantisasi bobot dan aktivasi 8 bit mempercepat tahap prefill 20%-30% dan tahap decode 40%-60%. Kuantisasi bobot-saja 4 bit memperlambat prefill 10%, tetapi mempercepat decode 40%-60%. Laju percepatan ini cenderung mengecil pada model yang lebih besar (Gong dkk., 2024). LLMC juga menguji KV cache, yaitu penyimpanan kunci dan nilai atensi selama generasi. Kuantisasi naif int8 dan int4 hampir tidak menurunkan akurasi pada Human-Eval dan MBPP, tetapi KV cache 2 bit naif membuat generasi gagal total. Untuk kuantisasi bobot-saja, format titik-mengambang berkinerja lebih buruk pada lebar bit ultra-rendah (≤ 3-bit) atau ukuran grup kecil.
Sintesis: memori, kecepatan, dan akurasi
Memori
Penghematan memori adalah dimensi yang paling konsisten antarsumber karena terutama ditentukan oleh lebar bit. Kolom ukuran penyimpanan dalam evaluasi Lee dkk. memperlihatkan pola itu secara konkret (Tabel 2).
| Model | FP16 (GB) | 8 bit, FP8 atau SmoothQuant (GB) | 4 bit, GPTQ atau AWQ (GB) |
|---|---|---|---|
| Llama-2-7B-Chat | 14 | tidak diuji | 3,5 |
| Llama-2-13B-Chat | 26 | tidak diuji | 6,5 |
| Llama-3.1-8B-it | 16 | 8 | 4 |
| Llama-3.1-70B-it | 140 | 70 | 35 |
| Llama-3.1-405B-it | 810 | 405 | 202,5 |
Sumber: (Lee dkk., 2025).
Angka ini selaras dengan klaim pengurangan memori separuh pada LLM.int8() (Dettmers dkk., 2022), 2× pada SmoothQuant (Xiao dkk., 2023), dan sekitar 4× pada AWQ (Lin dkk., 2024). Karena memori bobot mengikuti lebar bit secara langsung, perbedaan antarmetode pada lebar bit yang sama tampaknya kecil. Perbedaan yang lebih menentukan terletak pada akurasi dan kecepatan.
Kecepatan
Angka percepatan jauh lebih bergantung pada konteks. GPTQ melaporkan sekitar 3,25x pada A100 dan 4,5x pada A6000 dengan kernel buatan sendiri (Frantar dkk., 2023). AWQ melaporkan 3,2-3,3× terhadap implementasi FP16 Huggingface (Lin dkk., 2024). SmoothQuant melaporkan hingga 1,56× (Xiao dkk., 2023). Pengukuran LLMC dengan TensorRT-LLM memberi gambaran yang lebih bernuansa. Bobot-saja 4 bit menguntungkan decode tetapi merugikan prefill, sedangkan W8A8 mempercepat kedua fase, dan percepatan mengecil pada model besar (Gong dkk., 2024). Perbedaan ini mungkin muncul karena pembanding FP16 dalam makalah metode berbeda dari pembanding dalam pengukuran TensorRT-LLM. Penjelasan lain yang mungkin adalah GPTQ dan AWQ terutama mempercepat pembacaan bobot pada fase decode yang dibatasi memori, sebagaimana tersirat dari analisis intensitas aritmetika (Lin dkk., 2024). Di antara sumber yang ditelaah, belum ada pengukuran yang membandingkan keempat metode pada perangkat keras, pustaka, dan ukuran batch yang sama.
Akurasi: pertentangan antara AWQ dan GPTQ
Klaim bahwa AWQ lebih unggul daripada GPTQ didukung oleh makalah AWQ dan oleh ringkasan Lee dkk., tetapi tabel rinci kedua uji banding memuat sejumlah pengecualian (Tabel 3).
| Sumber | Model dan konfigurasi | Metrik | GPTQ | AWQ |
|---|---|---|---|---|
| (Lin dkk., 2024) | Llama-2-7B, INT4-g128 | PPL WikiText-2 (lebih rendah lebih baik) | 5,69 | 5,60 |
| (Lin dkk., 2024) | Llama-2-7B, INT3-g128 | PPL WikiText-2 | 6,43 | 6,24 |
| (Gong dkk., 2024) | LLaMA-3-8B, w3a16g128 | Rata-rata PPL | 10,67 | 10,98 |
| (Gong dkk., 2024) | LLaMA-3-8B, w3a16g128 | Rata-rata akurasi (lebih tinggi lebih baik) | 71,96 | 70,72 |
| (Gong dkk., 2024) | Mixtral-8x7B, w4a16g128 | Rata-rata PPL | 5,82 | 5,82 |
| (Gong dkk., 2024) | Mixtral-8x7B, w3a16g128 | Rata-rata PPL | 7,18 | 7,07 |
| (Lee dkk., 2025) | Llama-2-7B-Chat, 4 bit | Rata-rata Leaderboard-v1 | 49,30 (AutoGPTQ) | 51,84 |
| (Lee dkk., 2025) | Llama-3.1-8B-it, 4 bit | Rata-rata Leaderboard-v1 | 67,97 (AutoGPTQ) | 67,42 |
| (Lee dkk., 2025) | Llama-3.1-405B-it, 4 bit | IFEval | 72,90 (llmcompressor) | 47,52 |
Pola dalam tabel menunjukkan bahwa urutan kedua metode dapat berbalik menurut model, lebar bit, dan pustaka. Pada Llama-3.1-405B, AWQ turun 28,66 poin pada IFEval, sementara rata-rata Leaderboard-v1-nya justru sedikit melampaui FP16 (Lee dkk., 2025). Kesimpulan yang lebih hati-hati adalah bahwa AWQ sering unggul, terutama pada 3 bit dan pada kondisi kalibrasi yang tidak cocok dengan data uji, tetapi keunggulannya tidak universal.
Faktor di luar algoritma
Tiga faktor non-algoritmik muncul berulang kali. Faktor pertama adalah data kalibrasi. Dalam evaluasi Lee dkk., GPTQ versi AutoGPTQ dikalibrasi dengan Wikitext2 sebanyak 128 sampel × 2.048 token, sedangkan AWQ memakai mit-han-lab/pile-val-backup sebanyak 128 sampel × 512 token (Lee dkk., 2025). Hasil LLMC tentang kecocokan distribusi dan urutan token menunjukkan bahwa perbedaan semacam ini dapat menggeser PPL (Gong dkk., 2024). Karena itu, sebagian selisih antarmetode dalam studi Lee dkk. mungkin berasal dari kalibrasi, bukan dari algoritma. Faktor kedua adalah implementasi pustaka, yang dalam kasus GPTQ menghasilkan selisih yang sebanding dengan selisih antarmetode. Faktor ketiga adalah metrik: perplexity dapat menyembunyikan penurunan pada tugas kepatuhan instruksi dan matematika, sedangkan penilai berbasis LLM memiliki galat penilaian sendiri (Lee dkk., 2025).
Ada pula potensi bias kepengarangan. SmoothQuant dan AWQ berbagi penulis, antara lain Ji Lin, Guangxuan Xiao, dan Song Han (Xiao dkk., 2023; Lin dkk., 2024), dan keduanya terutama dievaluasi oleh tim pengembangnya. Hal ini tidak berarti hasilnya keliru, tetapi menegaskan perlunya uji pihak ketiga.
Implikasi bagi praktisi
Inferensi praktis berikut perlu diverifikasi pada kasus masing-masing.
- Untuk penggunaan interaktif dengan sedikit pengguna, ketika fase decode mendominasi waktu, kuantisasi bobot-saja 4 bit seperti AWQ atau GPTQ tampaknya memberi manfaat memori dan kecepatan terbesar (Lin dkk., 2024; Gong dkk., 2024).
- Untuk beban dengan teks masukan panjang yang didominasi prefill, W8A8 atau FP8 mungkin lebih seimbang, mengingat bobot-saja 4 bit memperlambat prefill dalam pengukuran LLMC (Gong dkk., 2024). Hasil Lee dkk. juga menunjukkan bahwa FP8 paling tangguh dari sisi akurasi (Lee dkk., 2025).
- Model berukuran sekitar 1B parameter tampaknya kurang cocok untuk kuantisasi 4 bit tanpa pengujian tugas yang ketat (Lee dkk., 2025).
- Hasil SmoothQuant pada model hingga 70B tidak dapat begitu saja diperluas ke skala 405B (Lee dkk., 2025).
- Data kalibrasi sebaiknya berasal dari domain yang mirip dengan penggunaan nyata dan berupa teks yang runtut, bukan token acak (Gong dkk., 2024).
- Validasi sebaiknya memakai tolok ukur tugas yang relevan, misalnya kepatuhan instruksi, matematika, atau pemrograman, karena perplexity saja dapat menyesatkan (Lee dkk., 2025).
Keterbatasan tinjauan
Tinjauan ini hanya bertumpu pada enam sumber. Dua di antaranya, yaitu makalah GPTQ versi arXiv dan studi Lee dkk., berupa pracetak. Hanya dua sumber yang merupakan uji banding pihak ketiga, dan keduanya tidak dirancang sebagai studi replikasi formal. LLM.int8() tidak dievaluasi bersama ketiga metode lain dalam satu uji yang sama, sehingga posisinya dalam perbandingan akurasi dan kecepatan masih bertumpu pada klaim penulisnya (Dettmers dkk., 2022).
Sejumlah pertanyaan belum terjawab oleh sumber yang ditelaah. Belum ada data konsumsi energi per token setelah kuantisasi. Belum ada evaluasi pada bahasa selain Inggris dan Tionghoa, termasuk bahasa Indonesia, sehingga belum diketahui apakah kehilangan akurasi pada teks berbahasa Indonesia serupa. Metode yang lebih baru, seperti transformasi berbasis rotasi dan format titik-mengambang 4 bit, hanya tersentuh sebagian dalam LLMC dan tidak ditelaah dari sumber primernya.
Kesimpulan
Keempat metode PTQ yang ditinjau menurunkan kebutuhan memori sejalan dengan lebar bit. Format 8 bit kira-kira memangkas memori menjadi separuh, dan bobot 4 bit menurunkan jejak memori sekitar 4× dibanding FP16, seperti terlihat pada model Llama 8B sampai 405B. Klaim percepatan sekitar 3,25x sampai 4,5x untuk GPTQ dan 3,2-3,3× untuk AWQ bergantung pada pembanding dan fase inferensi. Dalam uji LLMC dengan TensorRT-LLM pada A100, bobot-saja 4 bit mempercepat decode 40%-60% tetapi memperlambat prefill 10%, sedangkan W8A8 mempercepat kedua fase dengan laju yang mengecil pada model besar.
Dari sisi akurasi, klaim kehilangan yang dapat diabaikan umumnya bertahan pada model sekitar 70B dengan kuantisasi 4 atau 8 bit. Klaim itu melemah pada model kecil, pada SmoothQuant di skala 405B, dan pada tugas kepatuhan instruksi. Keunggulan AWQ atas GPTQ tidak seragam: urutannya bergeser menurut model, lebar bit, pustaka, dan data kalibrasi. Pilihan metode karena itu sebaiknya ditetapkan melalui uji tugas hilir pada model, perangkat keras, data kalibrasi, dan mesin inferensi yang akan dipakai, bukan pada satu angka perplexity atau klaim makalah metode.
Daftar pustaka
- Frantar dkk. (2023). GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers. arXiv. https://arxiv.org/html/arXiv:2210.17323
- Dettmers dkk. (2022). GPT3.int8(): 8-bit Matrix Multiplication for Transformers at Scale. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). https://proceedings.neurips.cc/paper_files/paper/2022/hash/c3ba4962c05c49636d4c6206a97e9c8a-Abstract-Conference.html
- Xiao dkk. (2023). SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models. Proceedings of the 40th International Conference on Machine Learning, PMLR 202. https://proceedings.mlr.press/v202/xiao23c.html
- Lin dkk. (2024). AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration. Proceedings of Machine Learning and Systems (MLSys) 2024. https://arxiv.org/pdf/2306.00978
- Lee dkk. (2025). Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size in Large Language Models From Edge to Giant. arXiv. https://arxiv.org/pdf/2409.11055
- Gong dkk. (2024). LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track, Association for Computational Linguistics. https://aclanthology.org/2024.emnlp-industry.12.pdf