Ensemble Learning adalah proses di mana beberapa model, seperti pengklasifikasi atau ahli, secara strategis dihasilkan dan digabungkan untuk memecahkan kecerdasan komputasi tertentu.masalah. Ensemble Learning utamanya digunakan untuk meningkatkan (klasifikasi, prediksi, perkiraan fungsi, dll.) kinerja model, atau mengurangi kemungkinan pemilihan model yang buruk.

Twitter

Twitter adalah situs berita dan jejaring sosial online tempat orang berkomunikasi dalam pesan singkat yang disebut tweet. Tweeting adalah memposting pesan singkat untuk siapa saja yang mengikuti kita di Twitter, dengan harapan kata-kata kita dapat bermanfaat dan menarik bagi orang lain.

Instalasi Library Python

Pada tahap ini dilakukan instalasi library-library yang nantinya dibutuhkan untuk menjalankan program, berikut adalah library yang dibutuhkan :

Snscrape

Snscrape merupakan perpustakaan / library sumber terbuka (open source) yang ditulis dengan bahasa pemrograman python dan berguna untuk melakukan scraping atau ekstraksi dari jejaring sosial. Pada program ini kita akan menggunakan Snscrape untuk mengambil/mengekstrak data Tweets dari Twitter.

Pandas

Pandas merupakan perpustakaan / library sumber terbuka (Open Source) yang ditulis dengan bahasa pemrograman python dan berguna untuk melakukan analisis dan manipulasi data, khususnya untuk memanipulasi tabel numerik dan deret waktu. Pada program ini kita akan memanfaatkan Pandas DataFrame untuk menempatkan data hasil crawling.

Sastrawi

Sastrawi merupakan perpustakaan / library sumber terbuka yang ditulis dengan bahasa pemrograman python dan berguna untuk melakukan pengurangan kata-kata yang ter- infleksi dalam bahasa Indonesia ke bentuk baku-nya atau sesuai dengan standar kamus.

Scikit-learn

Scikit-learn adalah library machine learning open source untuk bahasa pemrograman Python. Ini fitur berbagai klasifikasi, regresi, algoritma pengelompokan, dan alat yang efisien untuk data mining dan analisis data. Ini dibangun di atas NumPy, SciPy, dan Matplotlib.

 %%capture !pip install snscrape !pip install pandas !pip install Sastrawi !pip install scikit-learn

Menulis Script Konfigurasi Snscrape

Pada tahap ini akan dibuat script kofigurasi Snscrape, script ini sendiri berupa modul yang berisi fungsi-fungsi untuk melakukan crawling dan scraping data tweet yang berada pada Twitter. Berikut adalah penjelasan singkat mengenai script tersebut.

 search_query = "Jokowi" jumlah_tweets = 100 tweets = []

Variable tersebut merupakan variable yang berguna untuk mendefinisikan “search query” yang akan digunakan untuk mencari topik spesifik di twitter, “jumlah tweet” yang nantinya akan diambil, serta sebuah wadah berupa “list” yang nantinya akan digunakan untuk menyimpan data hasil scrape.

 for tweet in sntwitter.TwitterSearchScraper(search_query).get_items(): if len(tweets) == jumlah_tweets: break else: tweets.append([tweet.date, tweet.username, tweet.content, 'None'])

Loop ini berfungsi untuk mengambil tiap data tweet yang berhasil diambil dari twitter berdasarkan query yang telah kita definisikan sebelumnya. Pada loop tersebut terdapat pengecekan kondisi yang akan mengecek jumlah tweet yang berhasil diambil, selama loop ini belum mencapai batas jumlah tweet yang kita tentukan sebelumnya, maka loop ini akan terus melakukan penambahan data tweet ke wadah(list) yang telah dibuat sebelumnya.

 df = pd.DataFrame(tweets, columns=['Date', 'User', 'Tweet', 'Label'])

Variable diatas berfungsi untuk mendefinisikan data tweet yang sebelumnya telah ditempatkan di wadah(list), dalam bentuk Pandas Dataframe.

 import snscrape.modules.twitter as sntwitter import pandas as pd # from google.colab import data_table # data_table.enable_dataframe_formatter() search_query = "Jokowi" jumlah_tweets = 100 tweets = [] for tweet in sntwitter.TwitterSearchScraper(search_query).get_items(): iflen(tweets) == jumlah_tweets: break else: tweets.append([tweet.date, tweet.username, tweet.content, 'None']) df = pd.DataFrame(tweets, columns=['Date', 'User', 'Tweet', 'Label']) print(df)

Hasil

 Date User 0 2022-11-15 17:07:01+00:00 henryhrose 1 2022-11-15 17:06:54+00:00 AmelAzkia 2 2022-11-15 17:06:44+00:00 Ahmad_hendars 3 2022-11-15 17:06:43+00:00 slavehaterx 4 2022-11-15 17:06:41+00:00 Batman_Monyok .. ... ... 95 2022-11-15 16:55:26+00:00 makgadigmbk 96 2022-11-15 16:55:14+00:00 sbu_rikiman 97 2022-11-15 16:55:01+00:00 WartaEkonomi 98 2022-11-15 16:55:01+00:00 MieraMaira 99 2022-11-15 16:54:38+00:00 iyan732 Tweet Label 0 @sambitswaraj @narendramodi @JoeBiden @Emmanue... None 1 @lutfan_mohamad @Rizmaya__ @jokowi https://t.c... None 2 Dalam sambutan pengantarnya pada sesi pertama ... None 3 pak jokowi lg mode🥶🥶 None 4 Dibalut busana Bali, Presiden Jokowi didamping... None .. ... ... 95 @supriantoharto @kamujugaok @BocahUdik4 @nusan... None 96 @Steven__Pegel @tempodotco Dasar Rezim Ablahu ... None 97 Momen Megawati dan SBY Serta Anies Baswedan Ba... None 98 Kestabilan ekonomi amat penting demi memacu ke... None 99 @projectm_org Goblok, hitung bisnis aja ga bec... None [100 rows x 4 columns]

Melakukan Pengecekan Berkas Hasil Scrape Lama

Karena setelah melakukan scraping data tweet kita perlu memberikan label secara manual, maka untuk menghindari berkas lama tertimpa oleh berkas baru, disini kita akan melakukan pengecekan berkas hasil scrape lama, apakah ada pada direktori atau tidak. Jika berkas hasil scrape lama tidak ditemukan pada direktori, maka hasil scrape sebelumnya (yang ada pada Pandas Dataframe) akan diespor menjadi berkas csv.

 %%capture import os !wget https://raw.githubusercontent.com/smilesense/datasets/master/ppw/19_121_tweets_labeled.csv -O 19_121_tweets_labeled.csv output_stream = os.popen('cat 19_121_tweets_labeled.csv') res = output_stream.read() if res == '': df.to_csv('19_121_tweets_labeled.csv')