Sistem Klasifikasi Feedback Pelanggan Dan Rekomendasi Solusi Atas Keluhan Di UPT Puskom UNS Dengan Algoritma Naive Bayes Classifier Dan Cosine Similiarity

Abstract

Saat ini, konsumen dapat menyampaikan keluhan terhadap UPT Puskom UNS melalui mentions terhadap akun Twitter. Mentions yang diberikan oleh konsumen kemudian diklasifikasikan apakah mentions tersebut termasuk keluhan, berita atau spam. Klasifikasi mentions dilakukan menggunakan algoritma Naïve Bayes Classifier berdasarkan supervised learning. Peningkatan akurasi untuk algoritma Naïve Bayes Classifier dilakukan dengan menggunakan teknik Laplacian Smoothing. Algoritma Cosine Similarity digunakan untuk mengelompokkan mentions keluhan yang memiliki term yang sama. Dari kelompok mentions tersebut, administrator akan memberikan solusi yang relevan terhadap keluhan. Hasil penelitian menunjukkan bahwa proses klasifikasi dengan algoritma Naïve Bayes Classifier untuk proses pelatihan memiliki tingkat akurasi terendah 86.67% dengan data pelatihan sebanyak 30 mentions dan tingkat akurasi tertinggi 100% dengan data pelatihan sebanyak 20 mentions. Proses pengujian dilakukan secara bertahap dengan tingkat akurasi terendah adalah 60% yang dicapai pada pengujian pertama dan kedua, sedangkan tingkat akurasi tertinggi dicapai pada pengujian kelima dan keenam yakni 90%. Mentions keluhan tidak dapat terkelompokkan dengan algoritma Cosine Similarity karena jumlah data yang sangat terbatas yakni 29 data dan tidak ada mentions yang memiliki term sama. Namun setelah dilakukan self-test, mentions keluhan yang memiliki term sama dapat terkelompokkan dengan baik.