Developing Arabic Sign Language Recognition System

Abstract

Bu çalışma, hem geleneksel makine öğrenimi hem de derin öğrenme tekniklerini kullanarak Arap İşaret Dili (ArSL) tanımlaması için eksiksiz bir çözüm önermektedir. 31 sınıfı kapsayan 7.857 ArSL resminden oluşan bir veri kümesinde, geleneksel sınıflandırıcıları (SVM, Random Forest) kullanarak çeşitli özellik çıkarma yöntemlerini (HOG, SIFT, SURF, LBP) derin öğrenme modelleri CNN, MobileNet+Transformer ile karşılaştırdık. Araştırmalarımız, SVM-RBF ile HOG özelliklerinin diğer çıkarma tekniklerinden SIFT, SURF ve buna bağlı olarak büyük ölçüde daha iyi performans gösterdiğini buldu. Bu, uygun özellik mühendisliğinin geleneksel model performansını ne kadar önemli ölçüde artırabileceğini göstermektedir. Google Colab'ın donanım kısıtlamaları olmasına rağmen, MobileNet+Transformer modelimiz yalnızca 20 epoch'un ardından %76 doğruluk elde etti ve şaşırtıcı bir şekilde 100 epoch'un daha uzun bir eğitimden sonra %98'e ulaştı. Amerikan (%99,22), İrlanda (%99'dan fazla) ve Alman (%97,5) gibi çeşitli işaret dilleri için performansı son teknoloji sistemleri geride bırakıyor. Bellek sınırlarının ötesine geçmek için diğer teknolojik ince ayarlar arasında etkin bellek yönetimi, çözünürlük ölçekleme ve toplu boyut azaltma kullandık. Sonuçlarımız, derin öğrenme modellerinin hiyerarşik gösterimleri otomatik olarak öğrendiğini, dolayısıyla olay içinde bile insan mühendisliğini ortadan kaldırdığını, geleneksel yaklaşımların karmaşık özellik çıkarımına ihtiyaç duyduğunu göstermektedir. Bu çalışma, ArSL tanıma konusunda içgörülü bir analiz sunar ve uygun yaklaşımlarla, kısıtlı işlem kapasitesiyle bile uluslararası standartlarla aynı seviyede performansın mümkün olduğunu gösterir.

This work proposes a complete solution for Arabic Sign Language (ArSL) identification using both conventional machine learning, and deep learning techniques. on a dataset regarding 7,857 ArSL pictures covering 31 classes, we assessed several feature extraction methods (HOG, SIFT, SURF, LBP) using conventional classifiers (SVM, Random Forest) versus deep learning models CNN, MobileNet+Transformer. with SVM-RBF, our investigations found, that HOG features greatly outperformed other extraction techniques, SIFT, SURF, and correspondingly. this shows how well appropriate feature engineering may significantly enhance conventional model performance. Although Google Colab has hardware restrictions, our MobileNet+Transformer model attained 76% accuracy subsequent to only 20 epochs, and astonishingly reached 98% subsequent to longer training to 100 epochs. for various sign languages as American (99.22%), Irish (>99%), and German (97.5%), its performance beats state-of- the-modern systems. We used active memory management, resolution scaling, and batch size reduction among other technological tweaks to go beyond memory limits. Our results demonstrate, that deep learning models automatically learn hierarchical representations, hence removing human engineering even within the event, that conventional approaches need complex feature extraction. This work provides insightful analysis regarding ArSL recognition, and shows that, with suitable approaches, performance on par with international standards happens to be possible even with constrained processing capacity.