Perbandingan Tingkat Akurasi Algoritma Naïve Bayes, Decision Tree dan Random Forest dalam Analisis Sentimen Pengguna Aplikasi Samsat Digital Nasional

Hilmi Ammar, Ade Davy Wiranata

Abstract

Abstrak : 

Penelitian ini menganalisis sentimen pengguna terhadap aplikasi Signal – Samsat Digital Nasional. Dari total 2.000 ulasan yang terkumpul, setelah melalui tahapan filter data diperoleh 1.743 data yang digunakan untuk analisis. Data tersebut kemudian dipecah menjadi 1.394 data pelatihan (alokasi 80%) dan 349 data pengujian (alokasi 20%). Tiga model klasifikasi yang digunakan dalam penelitian ini meliputi Naïve Bayes, Decision Tree, dan Random Forest. Hasil penelitian menunjukkan bahwa Random Forest memiliki performa terbaik dengan akurasi 92,9% serta keseimbangan tinggi dalam mengenali sentimen positif (f1-score  95,9%) dan negatif (f1-score  73,1%). Naïve Bayes mencapai akurasi 89,4% namun kurang seimbang, sedangkan Decision Tree memperoleh akurasi 86,8% dengan hasil yang lebih stabil dibandingkan Naïve Bayes. Secara keseluruhan, visualisasi data berdasarkan analisis menggunakan kamus lexicon menunjukkan bahwa 82,9% ulasan bersentimen positif dan didominasi oleh rating bintang lima, yang mengindikasikan bahwa pengalaman pengguna terhadap aplikasi Signal – Samsat Digital Nasional tergolong sangat baik.

=====================================================

Abstract :

This research analyzes user sentiment towards the Signal – National Digital Samsat application. From a total of 2,000 collected reviews, after going through the data filtering stage, 1,743 data were obtained for analysis. The data was then split into 1,394 training data (80% allocation) and 349 testing data (20% allocation). Three classification models used in this study were Naïve Bayes, Decision Tree, and Random Forest. The results showed that Random Forest had the best performance with 92.9% accuracy and high balance in recognizing positive (f1-score 95.9%) and negative (f1-score 73.1%) sentiment. Naïve Bayes achieved 89.4% accuracy but was less balanced, while Decision Tree achieved 86.8% accuracy with more stable results than Naïve Bayes. Overall, data visualization based on analysis using the lexicon dictionary shows that 82.9% of reviews are positive and dominated by five-star ratings, which indicates that the user experience of the Signal – Samsat Digital Nasional application is classified as very good.

Keywords

Sentiment Analysis, Naïve Bayes, Decision Tree, Random Forest, National Digital Samsat

Full Text:

PDF

References

[1] M. S. J. Sangaji and J. Irianto, “Transformasi Inovasi Pelayanan Publik menuju Pemerintahan Digital,” Jejaring Administrasi Publik, vol. 17, no. 1, pp. 54–70, Jun. 2025, doi: 10.20473/jap.v17i1.72708.

[2] S. N. Ulfa and A. Frinaldi, “Inovasi Pemerintah Daerah Dalam Penerapan Kebijakan Publik Dan Pelayanan Publik,” SOCIAL : Jurnal Inovasi Pendidikan IPS, vol. 5, no. 2, pp. 610–621, Jun. 2025, doi: 10.51878/social.v5i2.5965.

[3] D. Wijaya, R. A. Saputra, and F. Irwiensyah, “Analisis Sentimen Ulasan Aplikasi Samsat Digital Nasional Pada Google Playstore Menggunakan Algoritma Naïve Bayes,” KLIK: Kajian Ilmiah Informatika dan Komputer, vol. 4, no. 4, pp. 2369–2380, Feb. 2024, doi: 10.30865/klik.v4i4.1738.

[4] A. Afifudin, A. Kadir, and I. Isnaini, “Implementasi Kebijakan Sistem Administrasi Manunggal Satu Atap di Kabupaten Mandailing Natal,” Strukturasi: Jurnal Ilmiah Magister Administrasi Publik, vol. 2, no. 1, pp. 59–69, Apr. 2020, doi: 10.31289/strukturasi.v2i1.43.

[5] Suriyani BB, La Ode Agus Said, and Astriana Syaqira, “Digitalisasi Layanan Samsat: Peningkatan Kepatuhan Pajak Kendaraan Bermotor Melalui e-Samsat di Kabupaten Muna,” Journal Publicuho, vol. 7, no. 4, pp. 2111–2126, Dec. 2024, doi: 10.35817/publicuho.v7i4.573.

[6] Afandi Afandi, Zainal fatah, Sri Roekminiati, and Ika Devy Pramudiana, “Inovasi Layanan Publik dalam Era Digital: Tinjauan Persepsi Generasi Muda pada Samsat Digital di Lumajang,” SOSIAL : Jurnal Ilmiah Pendidikan IPS, vol. 3, no. 3, pp. 265–289, Jun. 2025, doi: 10.62383/sosial.v3i3.1064.

[7] C. Triyosanti, D. F. Mufarokhah, S. N. Angelina, A. S. Cahyono, and D. I. Margayaningsih, “Dampak Penerapan Aplikasi Layanan Signal (Samsat Digital Nasional) Terhadap Pelayanan Pajak Kendaraan Bermotor di Tulungagung,” JSPH : Jurnal Sosial Politik Humaniora, vol. 1, no. 3, pp. 42–49, Dec. 2024, doi: 10.59966/jsph.v1i3.1426.

[8] F. F. Irfani, “Analisis Sentimen Review Aplikasi Ruangguru Menggunakan Algoritma Support Vector Machine,” JBMI (Jurnal Bisnis, Manajemen, dan Informatika), vol. 16, no. 3, pp. 258–266, Feb. 2020, doi: 10.26487/jbmi.v16i3.8607.

[9] R. Chandra and E. M. Sipayung, “Analisis Sentimen Ulasan Aplikasi Samsat Digital Nasional Menggunakan Algoritma Naive Bayes Classifier,” Jurnal Nasional Teknologi dan Sistem Informasi, vol. 10, no. 3, pp. 156–164, Jan. 2025, doi: 10.25077/TEKNOSI.v10i3.2024.156-164.

[10] A. Musthafa, T. Harmini, A. Rafiq, and N. Marantika, “Pemanfaatan Machine Learning dalam Menganalisis Sentimen Terhadap Program TAPERA di Platform Digital X,” MALCOM: Indonesian Journal of Machine Learning and Computer Science, vol. 5, no. 2, pp. 587–597, Mar. 2025, doi: 10.57152/malcom.v5i2.1801.

[11] I. F. Rahman, A. N. Hasanah, and N. Heryana, “Analisis Sentimen Ulasan Pengguna Aplikasi Samsat Digiital Nasional (Signal) Dengan Menggunakan Metode Naïve Bayes Classifier,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 12, no. 2, Apr. 2024, doi: 10.23960/jitet.v12i2.4073.

[12] I. F. Rahman, A. N. Hasanah, and N. Heryana, “Analisis Sentimen Ulasan Pengguna Aplikasi Samsat Digiital Nasional (Signal) Dengan Menggunakan Metode Naïve Bayes Classifier,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 12, no. 2, Apr. 2024, doi: 10.23960/jitet.v12i2.4073.

[13] S. Kacung, C. Pamungkas Putra Bagyana, and D. Cahyono, “Analisis Sentimen Terhadap Layanan Samsat Digital Nasional (Signal) Menggunakan Metode SVM,” Jurnal Mnemonic, vol. 7, no. 1, pp. 118–122, Apr. 2024, doi: 10.36040/mnemonic.v7i1.9557.

[14] S. A. R. Rizaldi, S. Alam, and I. Kurniawan, “Analisis Sentimen Pengguna Aplikasi JMO (Jamsostek Mobile) Pada Google Play Store Menggunakan Metode Naive Bayes,” STORAGE: Jurnal Ilmiah Teknik dan Ilmu Komputer, vol. 2, no. 3, pp. 109–117, Aug. 2023, doi: 10.55123/storage.v2i3.2334.

[15] Trisnaeni Faradaningsih and Anisa Lutfiyani, “Perbandingan Analisis Sentimen Pengguna Aplikasi Shopee dan Lazada pada Situs Google Play Store Menggunakan Algoritma K-Nearst Neighbor dan Naive Bayes,” INSOLOGI: Jurnal Sains dan Teknologi, vol. 4, no. 3, pp. 563–578, Jun. 2025, doi: 10.55123/insologi.v4i3.5646.

[16] Fornigulo, “Kamus Slang.” Accessed: Mar. 05, 2025. [Online]. Available: https://kaggle.com/datasets/fornigulo/kamus-slag

[17] F. Koto and G. Y. Rahmaningtyas, “Inset lexicon: Evaluation of a word list for Indonesian sentiment analysis in microblogs,” in 2017 International Conference on Asian Language Processing (IALP), IEEE, Dec. 2017, pp. 391–394. doi: 10.1109/IALP.2017.8300625.

[18] A. S. Pamungkas and N. Cahyono, “Analisis Sentimen Review ChatGPT di Play Store menggunakan Support Vector Machine dan K-Nearest Neighbor,” Edumatic: Jurnal Pendidikan Informatika, vol. 8, no. 1, pp. 1–10, Jun. 2024, doi: 10.29408/edumatic.v8i1.24114.

[19] Gilbert, Syariful Alam, and M. Imam Sulistyo, “Analisis Sentimen Berdasarkan Ulasan Pengguna Aplikasi Mypertamina Pada Google Playstore Menggunakan Metode Naïve Bayes,” STORAGE: Jurnal Ilmiah Teknik dan Ilmu Komputer, vol. 2, no. 3, pp. 100–108, Aug. 2023, doi: 10.55123/storage.v2i3.2333.

[20] I. N. Sari, M. K. L. F. Lidimilah, and M. K. A. Lutfi, “Analisis Perbandingan Algoritma Decision Tree, Random Forest, dan Naive Bayes dalam Klasifikasi Gangguan Tidur,” Proceedings National Conference Sinesia, vol. 1, no. 1, pp. 192–209, Jun. 2025, doi: 10.69836/ncrcs-sinesia.v1i1.41.

[21] M. Tirta Nugraha, N. Nina Sulistiyowati, and U. Ultach Enri, “Analisis Sentimen Ulasan Aplikasi Satu Sehat Pada Google Play Store Menggunakan Naïve Bayes Classifier,” JATI (Jurnal Mahasiswa Teknik Informatika), vol. 7, no. 5, pp. 3593–3601, Jan. 2024, doi: 10.36040/jati.v7i5.7753.

[22] N. Cahyono and Anggista Oktavia Praneswara, “Analisis Sentimen Ulasan Aplikasi TikTok Shop Seller Center di Google Playstore Menggunakan Algoritma Naive Bayes,” Indonesian Journal of Computer Science, vol. 12, no. 6, Dec. 2023, doi: 10.33022/ijcs.v12i6.3473.

DOI: https://doi.org/10.20961/ijai.v10i1.111010

Refbacks

  • There are currently no refbacks.