Derin Öğrenme ve Çok Boyutlu İndeksleme Kullanılarak İçerik Tabanlı Görüntü Alma

Abstract

Son yıllarda yaşanan teknolojik gelişmeler ile donanım ve yazılım maliyetlerindeki düşüş, görsel arama uygulamalarını hem popüler hem de vazgeçilmez bir hale getirdi. Dolayısıyla, görsel sorgular aracılığıyla görüntülerin geniş veri tabanlarından hızlı ve hassas bir şekilde alınması kritik bir görev haline geldi. Video karesi düzeyinde veri tabanı aramaları yürütülen sistemlerle karşılaştırıldığında, arama performansını önemli ölçüde artıran yeni bir system sunuyoruz. Önceden eğitilmiş bir Evrişimli Sinir Ağı (CNN) modelinden yararlanarak, verimli indeksleme için düşük seviyeli özellikleri çıkarmak ve depolamak amacıyla denetimsiz görüntü alma süreçlerini kullanıyoruz. Hızlı ve etkili erişimi kolaylaştırmak için, Bakış Noktası Ağacı (VP Tree) olarak bilinen düşük seviyeli özelliklerden yararlanan bir indeksleme yapısı uyguluyoruz. Bu özelliklerden faydalanabilmek için, onları daha düşük boyutlu bir alanda temsil edecek boyut küçültme tekniklerini kullanıyoruz. Karşılaştırmalı görüntü veri kümesi üzerinde gerçekleştirilen deneylerimiz, bu yaklaşımın, K-En Yakın Komşu (KNN) araması olarak bilinen bir arama yöntemiyle karşılaştırıldığında daha hızlı ve doğru erişime yol açtığını göstermektedir. Ayrıca, önerilen tekniği iki gerçek video veri kümesini kullanarak KNN'e karşı değerlendiriyoruz ve bu teknik, sürekli olarak KNN'den daha iyi performans gösteriyor.

Recent technological advancements and reductions in hardware and software costs have propelled visual search applications into the spotlight, making them both popular and indispensable. Consequently, the rapid and precise retrieval of images from vast databases through image queries has become a critical task. We introduce a novel end-to-end retrieval architecture that significantly enhances retrieval performance compared to a baseline system conducting database searches at the video frame level. Leveraging a pre-trained Convolutional Neural Network (CNN) model, we employ unsupervised image retrieval processes to extract and store low-level features for efficient indexing. To facilitate fast and efficient retrieval, we implement a tree-based indexing structure that leverages low-level features known as the Vantage Point Tree (VP Tree). To make these features compatible with our system, we employ dimension-reduction techniques to represent them in a lower-dimensional space. Our experiments, conducted on a benchmark image dataset, demonstrate that this approach leads to faster and more accurate retrieval when compared to a state-of-the-art search method known as K-Nearest Neighbor (KNN) search. Furthermore, we assess the proposed technique against KNN using two real-world video datasets, and it consistently outperforms KNN by a significant margin.