Open domain factoid question answering system

Abstract

Mankind has recently produced a vast amount of data. According to IBM, every day we create 2.5 quintillion bytes of data. To find the relevant information in this huge body of data, we use search engines. These search engines locate the relevant data according to a user's query and return a list of results to the user, after which the user finds what he is seeking in this list. However, users may not wish to read a list of results and may prefer short, relevant answers to their query. For this reason, there is much research on Question Answering Systems. The task of these systems is the acquisition of relevant information to questions asked by users. In this thesis, we developed a question answering system called Prime and describe how it works. Prime is a factoid question answering system. The term factoid is defined as "an item of unreliable information that is reported and repeated so often that it becomes accepted as fact." Therefore, it gives only an answer to a user's factoid question. We also describe how we extract question triples (subject-predicate-object) based on dependency graphs and build SPARQL queries to query DBpedia v based on extracted triples in addition to describing how we map entities in questions to DBpedia entities. We evaluated our system with QALD-5 Question answering challenge questions and show that our system promises worthy results. In the QALD-5 training test questions after excluding any unnecessary questions, our system answered 43% of the questions. In the test questions, our system answered 41% of the questions. Furthermore, we describe the evaluation results and evaluation metrics and compared our system with other QALD-5 participant systems.

İnsanoğlu son zamanlarda çok fazla veri üretti ve IBM'e göre hergün 2.5 kentilyon byte veri üretiyoruz. Bu veriler içinde ilgili bilgileri bulmak için arama motorlarını kullanıyoruz. Bu arama motorları ilgili sonuçları kullanıcıların sorgularına göre bulup kullanıcılara sonuçları liste olarak göstermektedir bundan sonra ise kullanıcılar istedikleri bilgileri bu liste içerisinden kendilerinin bulması gerekmektedir. Fakat kullanıcılar, bu sonuç listesini okumak istemeyebilir ve sorgularına kısa cevaplar isteyebilirler. Bu nedenle Soru Cevaplama Sistemleri üzerinden çok fazla araştırma yapılmaktadır. Bu sistemlerin görevi kullanıcılar tarafından sorulan sorulara ilgili cevapları vermektir. Bu tezde, Prime olarak adlandırılan bir soru cevaplama sistemi geliştirdik ve sistemin nasıl çalıştığını anlattık. Prime tekil yanıtlı soru cevaplama sistemidir, bu nedenle sadece kullanıcıların tekil yanıtlı cevap isteyen sorularına cevap verir. vii Ayrıca, bağımlılık grafiklerinden nasıl soru üçlüsü (özne-yüklem-obje) çıkartılacağını, DBpedia'yı sorgulamak için soru üçlülerinden nasıl SPARQL sorguları oluşturulacağını, ve sorular içerisindeki varlıkları nasıl DBpedia varlıkları ile ilişkilendirdiğimizi açıkladık. Sistemimizi QALD-5 soru cevaplama sistemleri yarışması sorularıyla test ettik ve sistemimizin iyi sonuçlar verdiğini gösterdik. QALD-5 eğitim setindeki sorulardan gereksiz soruları çıkarttıkdan sonra sistemimiz %43 oranında soruları doğru cevapladı. Test setindeki sorularda ise sistemimiz %41 oranında soruları doğru olarak cevapladı. Ayrıca test sonuçlarını ve ölçütlerini açıkladık ve sistemimizin sonuçlarını diğer QALD-5 katılımcılarının sonuçları ile karşılaştırdık.