Analysis of answering questions using AI by categorization methods for text

Abstract

Soru Cevaplama (QA); Yapay Zeka (AI), Bilgi Erişimi (IR) ve Doğal Dil İşleme (NLP) gibi çok disiplinli alanlardan oluşan bir Bilgisayar Mühendisliği alanıdır. Bu soru cevaplama sistemlerinin temel amacı, insanlar tarafından sorulan sorulara, verilen pasaja göre doğal bir dilde cevap verebilecek sistemler oluşturmaktır. Soru Cevaplama, donanım sınırlamaları ve tamamlanması çok uzun zaman alan görevleri tamamlamak için gereken yazılım modellerinin eksikliği nedeniyle önceki dönemlerde bilgisayarlar için zor bir görevdi. Günümüzde Bilgisayar Donanımı'nın hızlanması, özellikle de GPU birimlerindeki gelişmeler, paralel olarak görevleri çok daha hızlı tamamlamayı mümkün kılmıştır, ayrıca AI modellerinde ve yazılımlarında son zamanlarda yapılan iyileştirmeler ve araştırmalar, bu hedefe daha hızlı ulaşmak için önceden eğitimli modellerin kullanılmasını mümkün kılmıştır. Bu tezde en popüler modellerden biri olan Google'in geliştirdiği BERT'in İnce Ayarları üzerinde analizler yapılarak sınırları anlamaya çalışıldı ve bu ince ayarlı modelin insanlara verilen herhangi bir alanda nasıl yardımcı olabileceğini anlamak için bir vaka çalışması yaptık. Yapılan çalışma sonucunda, eğitim parçaları için büyük modeller ve veri kümeleriyle çalışmanın hala uzun zaman aldığını ve İnce Ayarlı BERT modelinin tasarlandığı belirli görev için daha iyi performans gösterdiği sonucunu edindik.

Question Answering (QA) is a Computer Engineering area which consists of multi-disciplinary fields Artificial Intelligence (AI), Information Retrieval (IR), and Natural Language Processing (NLP). The main aim of these QA systems is to build systems that can answer questions asked by humans in a natural language according to the given passage. This process was challenging for earlier computers because of the hardware limitations and lack of software models needed to complete the tasks, which took a very long time to complete. Today, Computer Hardware advancements, especially in GPU units, made it possible to complete tasks in parallel much faster. Also, the recent improvements and research in AI models and software made it possible to use Pre-Trained models to achieve this goal much faster. In this thesis, one of the most popular models by Google, BERT (Bidirectional encoder representations from transformers), is Fine-Tuned, and the limitations are explored. A case study is made to understand how this Fine-Tuned model can help people in any area given. The results showed that working with large models and data sets still takes longer times for the training parts, and the Fine-Tuned Bert model performs better for the specific task it was designed.