Text categorization based on semantic similarity with word2vector

Abstract

With an increase in online information, which is mostly in the form of a text document, there was a need to organize it so that management and retrieval by the search engine became easier. It is difficult to manually organize these documents, therefore, machine-learning algorithms can be used to classify and organize them. Mostly, they are faster, more accurate and less expensive than manual classification. Most traditional approaches of machine learning algorithms depend on the term frequency in determining the importance of the term within a document and neglect semantically similar words. For this reason, we proposed to build a classifier based on semantically similar words in text classification by using the Word2Vector model as a tool to compute the similarity between documents and capture the correct topic. So we built two models by applying three phases: the first phase, we applied preprocessing steps and the second phase, we created a dictionary for top ten categories of Reuters 21578 datasets and the final phase we trained Word2Vector model on the Wikipedia English dataset and use it to compute similarity v between documents. Depending on the results of our study, we found that the second model (the most similar predicted topic) is better than the first model (average based predicted topic) in all categories. When we compare the results of our study with other studies, we found that result of our study is a parallel to the results of other studies, but not overcome them, although these studies use feature selection in the improvement of their results while we use feature extraction in explaining of our results.

Çoğunlukla bir metin belgesi biçiminde olan çevrimiçi bilginin artmasıyla birlikte, belge erişimi ve yönetimi kolay hale gelmesi için bir organizasyona ihtiyaç duyulmaktadır. Bu belgelerin el ile organize edilmesi zordur, bu nedenle makine öğrenme algoritmaları, belgeleri sınıflandırmak ve organize etmek için kullanılabilir. Çoğunlukla, manuel sınıflandırmadan daha hızlı, daha doğru ve daha az maliyetlidir. Makine öğrenme algoritmalarının geleneksel yaklaşımlarının çoğu, terimlerin bir belgedeki önemini belirlerken kullanılan terim sıklığına ve anlamsal olarak benzer kelimeleri ihmal etmesine bağlıdır. Bu nedenle, belgeler arasındaki benzerliği hesaplamak ve doğru konuyu yakalamak için bir araç olarak Word2Vector modelini kullanarak, metin sınıflandırmasında anlambilimsel olarak benzer kelimelere dayalı bir sınıflandırıcı oluşturmayı önerdik. Bu nedenle, üç aşamalı yaklaşım uygulayarak iki model oluşturduk: Birinci aşama, ön işleme adımlarını uyguladık ve ikinci aşama, Reuters 21578 derleminin ilk on kategorisi için bir sözlük hazırladık ve Wikipedia İngilizce veri setinde Word2Vector modelini eğittiğimiz son aşama ile sınıflayıcı oluşturarak belgeler vii arasındaki benzerliği hesapladık. Çalışmamızın sonuçlarına bağlı olarak, ikinci modeli (en benzer belgenin categorilerini tahmin edilen kategoriler olark belirledik), ikincisinde ise tüm kategorilerdeki ilk modelden (ortalama bazlı) daha iyi bulduk. Çalışmamızın sonuçlarını diğer çalışmalarla karşılaştırdığımızda, sonuçlarımızın diğer çalışmaların sonuçlarına paralel olduğunu ancak kategorilerin bazılarında iyi sonuçlar alırken bazılarında daha kötü sonuçlar alındığını tespit ettik.