Pendekatan hybrid lexicon-based labeling dengan lapisan validasi machine learning, diterapkan pada data media sosial dan berita daring Bahasa Indonesia.
Empat tahap berurutan: data mentah diproses menjadi token bersih, token dilabeli sentimen & emosi berdasarkan leksikon, lalu label tersebut divalidasi konsistensinya lewat enam algoritma klasifikasi.
Diagram alur kerja end-to-end — dari pengumpulan data hingga evaluasi model — mengikuti format diagram framework yang lazim dipakai pada publikasi ilmiah sejenis.
Gambar 1. Kerangka kerja (framework) pipeline Riset Sentimen. Format diagram mengikuti konvensi Figure 1 pada studi pembanding (Hadwan et al., 2022) — dengan penyesuaian isi: leksikon InSet menggantikan Bing Liu/AFINN/MPQA, tanpa tahap penerjemahan karena data sudah berbahasa Indonesia, TF-IDF tunggal menggantikan gabungan BoW+TF-IDF+Word2Vec, dan ditambah jalur klasifikasi emosi Plutchik yang tidak ada pada studi rujukan.
Sebelum dianalisis, tiap teks (judul + isi postingan/komentar) melewati enam langkah pembersihan linguistik standar, dirancang khusus untuk menangani karakteristik teks media sosial Bahasa Indonesia yang informal.
Setiap token hasil pra-pemrosesan dicocokkan terhadap kamus InSet (Indonesian Sentiment Lexicon) (Koto & Rahmaningtyas, 2017) — leksikon akademis berisi 3.609 kata berkonotasi positif dan 6.609 kata berkonotasi negatif, masing-masing dengan bobot skor numerik berkisar −5 hingga +5 (bukan sekadar daftar biner ada/tidak).
Skor total kemudian dipetakan ke tiga kelas berdasarkan tanda (bukan besarannya):
Karena leksikon menyimpan bobot per kata (bukan cuma keanggotaan himpunan), pendekatan ini menangkap intensitas sentimen — dua kata sama-sama "negatif" dapat menyumbang skor yang berbeda.
Selain sentimen tiga-kelas, tiap dokumen juga diklasifikasi ke salah satu dari delapan emosi dasar menurut model psikoevolusioner Robert Plutchik (Plutchik, 1980), menggunakan leksikon kata kunci Bahasa Indonesia per kategori. Emosi dengan jumlah kata kunci paling banyak cocok pada dokumen itulah yang dipilih; dokumen tanpa kecocokan kata mana pun diberi label Neutral.
Tahap ini bukan metode pelabelan alternatif — tujuannya menguji apakah label sentimen hasil leksikon (Tahap 02) memiliki pola linguistik yang cukup konsisten untuk dipelajari dari fitur teks. Label leksikon diperlakukan sebagai ground truth, lalu enam algoritma klasifikasi dilatih untuk mereplikasinya.
Teks hasil stemming diubah menjadi representasi numerik TF-IDF (Term Frequency–Inverse Document Frequency), lalu dibagi menjadi data latih dan data uji dengan rasio 80:20 secara stratified (proporsi kelas terjaga di kedua subset). Ekstraksi fitur maupun keenam algoritma klasifikasi di bawah diimplementasikan lewat scikit-learn (Pedregosa et al., 2011).
| Algoritma | Keluarga pendekatan | Karakteristik |
|---|---|---|
| Logistic Regression | Linear | Batas keputusan linear pada ruang fitur |
| Decision Tree | Berbasis pohon | Aturan pemisahan bertingkat, mudah diinterpretasi |
| Random Forest | Berbasis pohon (ensemble) | Kumpulan pohon keputusan, tahan overfitting |
| Support Vector Machine | Berbasis margin | Memaksimalkan jarak antar-kelas |
| K-Nearest Neighbors | Berbasis instansi | Klasifikasi dari tetangga terdekat di ruang fitur |
| Naive Bayes | Probabilistik | Asumsi independensi fitur, Bayes theorem |
Pendekatan gabungan leksikon + validasi ML + SMOTE ini sejalan dengan studi sejenis terhadap opini publik layanan pemerintah di media sosial (Hadwan et al., 2022) — meski algoritma yang diuji tidak identik: studi tersebut membandingkan lima model (Random Forest, Bagging, SVM, Logistic Regression, Naive Bayes), beririsan sebagian (4 dari 6) dengan algoritma pada modul ini.
Distribusi label leksikon umumnya timpang (mis. dominan Netral). Untuk itu, SMOTE (Synthetic Minority Over-sampling Technique) (Chawla et al., 2002) diterapkan pada data latih — membangkitkan sampel sintetis kelas minoritas lewat interpolasi antar-tetangga, sehingga tiap kelas memiliki jumlah setara. Keenam model dievaluasi dua kali: sebelum dan sesudah SMOTE, untuk mengukur sejauh mana ketimpangan kelas memengaruhi performa.
Akurasi dan confusion matrix dihitung dari data uji untuk tiap model pada kedua kondisi (sebelum/sesudah SMOTE).
Akurasi tinggi pada satu atau lebih model (mis. Logistic Regression) mengindikasikan bahwa label sentimen hasil leksikon memiliki pola linguistik yang konsisten dan dapat dipelajari dari representasi teks — bukan hasil pelabelan acak. Sebaliknya, akurasi rendah pada algoritma tertentu (mis. KNN pada data berdimensi tinggi) umumnya mencerminkan keterbatasan algoritma itu pada ruang fitur TF-IDF yang jarang (sparse), bukan cacat pada label itu sendiri.
Akurasi model ML pada tahap ini mengukur "seberapa baik model mereplikasi label leksikon dari fitur teks" — bukan dibandingkan terhadap data ter-anotasi manusia secara independen. Ini konsekuensi metodologis yang lazim pada pendekatan hybrid lexicon+ML tanpa anotasi manual, dan sebaiknya dinyatakan eksplisit sebagai batasan penelitian, khususnya bila hasil ini digunakan untuk klaim validitas eksternal.
Keterbatasan lain yang relevan disebutkan: (1) leksikon InSet tidak mencakup slang/istilah baru di luar kamusnya; (2) klasifikasi emosi berbasis kata kunci tidak menangkap sarkasme atau negasi kompleks; (3) sampel data dibatasi jumlah maksimum per topik untuk menjaga waktu komputasi wajar.