Sentiment Analysis of ShopeePay Aplication Reviews on Google Play Store Using the Naïve Bayes Algorithm with the SMOTE Technique
Analisis Sentimen Ulasan Aplikasi ShopeePay pada Google Play Store Menggunakan Algoritma Naïve Bayes dengan Teknik SMOTE
DOI:
https://doi.org/10.21070/ups.12368Keywords:
Analysis Sentiment, shopeepay, Multinomial Naive Bayes, SMOTE, Google Play StoreAbstract
Objective This study aims to analyze the sentiment of ShopeePay user reviews on the Google Play Store and to evaluate the performance of Multinomial Naive Bayes on balanced and imbalanced data distributions with the application of SMOTE. Method The data were collected through web scraping using Python and processed through cleaning, case folding, normalization, stopword removal, tokenization, stemming, and feature extraction using CountVectorizer with a Bag-of-Words approach. Two scenarios were used, each consisting of 30,032 reviews, namely a balanced dataset with 15,016 positive and 15,016 negative reviews, and an imbalanced dataset with 20,016 positive and 10,016 negative reviews. The data were split into 85% training and 15% testing data, while SMOTE was applied only to the imbalanced training data. Conclusion The balanced dataset achieved 91.03% accuracy and an F1-score of 0.91 for both classes, while the imbalanced dataset with SMOTE achieved 88.15% accuracy. These findings indicate that class distribution affects model performance, and SMOTE did not outperform data that were already balanced.
Downloads
References
T. H. Rachmatsyah, “Pemberdayaan Masyarakat Berbasis Teknologi untuk Optimalisasi UMKM sebagai Pilar Utama Ekonomi Indonesia,” J. Abdi MOESTOPO, vol. 08, no. 01, pp. 164–173, 2025, doi: https://doi.org/10.32509/abdimoestopo.v8i1.4733.
I. Faizah, “Peran Dompet Digital (E-Wallet) Dalam Mendorong Inovasi Dan Pertumbuhan Usaha Mikro Kecil Dan Menengah (UMKM) Di Era Ekonomi Digital Di Kecamatan Sragi Kabupaten Pekalongan,” Etheses UIN K. H. Abdurrahman Wahid Pekalongan, 2025.
F. Mawardani, R. Dwijayanti, and P. Cashback, “Pengaruh Persepsi Kemudahan Penggunaan Dan Promosi Cashback Terhadap Minat Mahasiswa Dalam Menggunakan Dompet Digital Shopeepay,” vol. 9, no. 3, 2021.
E. SHALSABILLA, Analisis Pengaruh Kualitas Pelayanan, Harga Dan Keamanan Terhadap Kepuasan Pengguna Layanan Shopeepay. 2025.
A. Muzaki, V. Febriana, and W. N. Cholifah, “Analisis Sentimen Pada Ulasan Produk Di E-Commerce Dengan Metode Naive Bayes,” vol. 05, no. 04, pp. 758–765, 2024.
M. Maldini and S. Andryana, “Analisis Sentimen Ulasan Pengguna Aplikasi Perbankan Menggunakan Algoritma Support Vector Machine Dan Naive Bayes,” JATI (Jurnal Mhs. Tek. Inform., vol. 9, no. 3, pp. 4098–4105, 2025.
D. Y. Praptiwi, “Analisis Sentimen Online Review Pengguna E-Commerce Menggunakan Metode Support Vector Machine Dan Maximum Entropy,” 2018.
C. Cantika, M. Sitompul, and A. Wijaya, “Analisis Ulasan Aplikasi Dalam Google Play Store Menggunakan Model Naive Bayes,” J. Ris. Multidisiplin Edukasi, vol. 3, pp. 1–17, 2026.
A. A. Hisyam and A. T. Ayunda, “Analisis Sentimen Persepsi Publik Terhadap Bank Dki Pada Twitter Menggunakan Metode Naive Bayes Classifier,” JITET (Jurnal Inform. dan Tek. Elektro Ter., vol. 14, no. 1.
D. Rahayu, K. Umam, and M. R. Handayani, “Performance of Machine Learning Algorithms on Imbalanced Sentiment Datasets Without Balancing Techniques,” vol. 9, no. 3, pp. 998–1005, 2025.
J. Husna and M. Widirahayu, “Pemodelan Topik dan Analisis Sentimen pada ‘Voices of History: 50 Iconic Speeches’ Menggunakan Pendekatan Natural Language Processing,” J. Ilm. Manaj. Inf. dan Komun., vol. 8, no. 1, 2024.
J. P. Yoman, C. Cok, K. Laigusten, and G. Zovintho, “Analisis Sentimen Ulasan Perbedaan Aplikasi BCA Mobile dengan MyBCA di Playstore Menggunakan Metode Lexicon,” JDMIS J. Data Min. Inf. Syst., vol. 3, no. 2, pp. 64–76, 2025, doi: 10.54259/jdmis.v3i2.4236.
D. F. Zahra and Carkiman, “Pengalaman Pelanggan Membeli Tiket Konser Coldplay: Menambang Ulasan Online Berdasarkan Pemodelan Topik Dan Analisis Sentimen,” J. Inf. Syst. Applied, Manag. Account. Res., vol. 8, no. 2, pp. 243–260, 2024, doi: 10.52362/jisamar.v8i2.1426.
Sutriawan, S. Mutmainnah, T. A. Lorosae, and S. Ramadhan, “Model Text Embedding dan TF-IDF + Ngram untuk Meningkatkan Kinerja Algoritma Binary Classifier pada Klasifikasi SMS Palsu,” J. Sist. Inf. TGD, vol. 4, no. 1, pp. 55–64, 2025.
M. Fazri and A. Voutama, “Analisis Sentimen Publik Terhadap Danantara Di Media Sosial X Menggunakan Nlp Dan Pembelajaran Mesin,” JOISIE (Journal Inf. Syst. Informatics Eng., vol. 9, no. 1, pp. 197–206, 2025.
Z. Gumilang, “Implementasi Naïve Bayes Classifier Dan Asosiasi Untuk Analisis Sentimen Data Ulasan Aplikasi E-Commerce Shopee Pada Situs Google Play,” 2018.
R. A. Rahman, V. H. Pranatawijaya, and N. N. K. Sari, “Analisis Sentimen Berbasis Aspek pada Ulasan Aplikasi Gojek,” KONSTELASI Konvergensi Teknol. dan Sist. Inf., vol. 4, no. 1, pp. 70–82, 2024.
D. Vernanda, Z. Nurizati, and A. Hidayat, “Klasifikasi Nanas Layak Jual Menggunakan Metode Naïve Bayes,” Melek IT Inf. Technol. J., vol. 10, no. 2, pp. 111–120, 2024.
B. Siswoyo, N. Azka, and P. Utomo, “Pemanfaatan Machine learning untuk Klasifikasi Sentimen Pelanggan pada Media Sosial,” J. Teknol. Inf. Digit., vol. 1, no. 1, pp. 29–34, 2025.
M. R. Fadhillah, “Analisis Sentimen Berbasis Aspek pada Review Aplikasi ChatGPT Menggunakan Multinomial Naive Bayes,” Fak. Sains dan Teknol. UIN Syarif HIdayatullah Jakarta, 2024, [Online]. Available: https://repository.uinjkt.ac.id/dspace/handle/123456789/80712
B. Abdul, “Perbandingan Naïve Bayes Dan Logistic Regression Dalam Sentiment Analysis Pada Review Marketplace Menggunakan Rating- Based Labeling,” 2023, [Online]. Available: https://dspace.uii.ac.id/handle/123456789/dspace.uii.ac.id/123456789/46497
B. A. Maulana, M. J. Fahmi, A. M. Imran, and N. Hidayati, “Analisis Sentimen Terhadap Aplikasi Pluang Menggunakan Algoritma Naive Bayes dan Support Vector Machine (SVM),” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 4, no. April, pp. 375–384, 2024.
Masseni, Rokhimah, F. Jitmau, P. Leiwakabessy, and A. F. Ramadhani, “Peran Dompet Digital Dalam Mempermudah Proses Transaksi Di Kalangan Mahasiswa Saint Paul Kota Sorong,” Asy-Syarikah J. Lemb. Keuangan, Ekon. dan Bisnis Islam, vol. 7, no. 1, pp. 34–51, 2025.
L. O. Anto, A. M. Ramadhan, and R. H. Hustia, “Pengaruh Persepsi Manfaat, Kemudahan Penggunaan Dan Kepercayaan Terhadap Minat Menggunakan Layanan E-Wallet,” J. Akunt. dan Keuang., vol. 9, no. 02, pp. 472–485, 2024.
F. A. Syaharani, A. Wahyudi, C. Firela, A. D. Julianti, A. B. Prakuso, and Muhammad, “Strategi pengelolaan operasional shopee dalam meningkatkan loyalitas konsumen di era digital,” J. Sains Student Res., vol. 3, no. 5, pp. 779–786, 2025, doi: https://doi.org/10.61722/jssr.v3i5.5750.
K. Harianto, Pengaruh Persepsi Kemudahan, Persepsi Keamanan Dan Inovasi Fitur Terhadap Intensitas Penggunaan E-Wallet Dengan Behavioral Intention Sebagai Variabel Intervening. 2025.
D. A. Fauzi, P. R. Nurajijah, and Engkus, “Analisis Sentimen Masyarakat Terhadap Aplikasi Digital Korlantas Polri Pada Ulasan Google Play Store Menggunakan Model Indobert,” Pediaqu J. Pendidik. Sos. dan Hum., vol. 5, no. 1, pp. 1181–1204, 2026.
A. R. Firdaus, F. M. Ayudewi, and A. Firdonsyah, “Analisis Sentimen Multi-Platform Digital Menggunakan BERT Dengan Pendekatan Penyeimbangan Distribusi Kelas,” JATI (Jurnal Mhs. Tek. Inform., vol. 10, no. 1, pp. 1220–1226, 2026.
Chandra, K. W. Chandra, and H. Irsyad, “Efektifitas SMOTE dalam Mengatasi Imbalanced Class Algoritma K-Nearest Neighbors pada Analisis Sentimen terhadap Starlink,” J. Ilmu Komput. dan Inform., vol. 4, no. 1, pp. 31–42, 2024.
A. Farhan, Istiadi, and A. Y. Rahman, “Analisis Sentimen Ulasan Aplikasi Identitas Kependudukan Digital Di Google Play Store Dengan BERT,” JATI (Jurnal Mhs. Tek. Inform., vol. 9, no. 3, pp. 3776–3783, 2025.
E. R. Yulindasari and K. Fikriyah, “Pengaruh e-WoM (Electronic Word of Mouth) terhadap Keputusan Pembelian Kosmetik Halal di Shopee,” J. Islam. Econ. Financ. Stud. Vol., vol. 3, no. 1, pp. 55–69, 2022.
D. C. Saputra, M. Fauzan, and G. C. Aldosion, “Pengaruh Rating Dan Komentar Pengguna Di Google Playstore Terhadap Keputusan Pengguna Dalam Mengunduh Aplikasi,” Spectr. Multidiscip. J., vol. 2, no. 1, pp. 22–29, 2025.
H. Mulyono, R. Hartanti, and B. Rolando, “Suara Konsumen Di Era Digital: Bagaimana Review Online Membentuk Perilaku Konsumen Digital,” JUMDER J. Bisnis Digit. dan Ekon. Kreat., vol. 1, no. 1, pp. 1–20, 2024.
I. S. F. Pratama, “Analisis Produk Kendaraan Listrik Berbasis Circular Economy Dan Online Big Data Menggunakan Pemodelan Topik Dan Analisis Sentimen,” 2025.
R. C. Abimanyu, I. K. Almanfaluti, B. H. Prasojo, and M. R. Yulianto, “Sentiment Analysis of Consumer Satisfaction with Steak Hut Manyar Kertoarjo Restaurant Services Using the Naïve Bayes Method and Algorithma Tf-idf Analisis Sentimen Kepuasan Konsumen Layanan Restoran Steak Hut Manyar Menggunakan Metode TF-Idf Terhadap Kertoarjo,” pp. 1–17.
F. R. Maulana et al., “Analisis Sentimen Publik di Media Sosial TikTok terhadap Penghentian Layanan J & T Express pada Shopee Menggunakan Metode Support Vector Machine ( SVM ) Public Sentiment Analysis on TikTok Social Media Regarding the Termination of J & T Express Services on Shopee Using the Support Vector Machine ( SVM ) Method,” pp. 1–12.
A. S. Perdana, I. K. Almanfaluti, A. Pebrianggara, and M. R. Yulianto, “Customer Review Classification on the MitraShopee Application Using Support Vector Machine and Naïve Bayes Methods,” pp. 1–13, 2025.
Downloads
Additional Files
Posted
Categories
License
Copyright (c) 2026 UMSIDA Preprints Server
This work is licensed under a Creative Commons Attribution 4.0 International License.
