Matching composite drawings and mugshot photographs to determine the identity of the person

Abstract

In this thesis, a new photo-sketch generation and recognition technique is proposed using residual convolutional neural network architecture. For this, the proposed architecture is trained with face photos and sketches. Sketches are applied to the proposed Region-based Convolutional Neural Networks (RCNN) architecture and, face photos are obtained at network output. Then, the obtained face photographs are compared with the images in the database. It is associated with the highest similarity photograph. Structural Similarity Index (SSIM) is used to measure similarity. It is very useful for law enforcement for image processing applications. 188 images are used for training and testing. Of these, 148 are used for training. 20 are used for validation and 20 are used for testing. Data augmentation is applied to 148 images used for training. As a result of the data augmentation process, 444 face images are obtained and used for network training. As a result of network training, the success of the training curve is 90.55% and the validation success is 91.1%. True face recognition success from generated face images with SSIM is 93.89% for CUHK database and 84.55% AR database.

Bu tezde, residual konvolüsyonel sinir ağ mimarisi kullanılarak yeni bir fotoğraf taslak oluşturma ve tanıma tekniği önerilmiştir. Bunun için önerilen mimari yüz fotoğrafları ve el cizimleri ile eğitilmiştir. El çizim görüntüleri, önerilen Region-based Convolutional Neural Networks (RCNN) mimarisine girdi olarak uygulanır. Daha sonra, elde edilen yüz fotoğrafları very tabanındaki görüntüler ile karşılaştırılmıştır. En yüksek benzerlik oranına göre görüntüler ilişkilendirilmiştir. Benzerliği ölçmek için Yapısal Benzerlik Endeksi (Structural Similarity Index-SSIM) kullanılmıştır. Görüntü işleme uygulamaları kapsamında önerilen yöntem güvenlik güçleri için oldukça yararlı olabilir. Eğitim ve test için 188 resim kullanılmıştır. Bu görüntülerden 148 tanesi eğitim, 20 tanesi doğrulama, 20 tanesi ise test için kullanılmıştır. Veri artırma yöntemleri, eğitim aşaması için kullanılan 148 görüntüye uygulanmıştır. Veri artırma sürecinin bir sonucu olarak, 444 yüz resmi elde edilmiş ve ağ eğitimi için kullanılmıştır. Ağ eğitimi tamamlandıktan sonra, eğitim eğrisinin başarısı % 90.55 ve doğrulama başarısı % 91,1'dir. SSIM ile oluşturulan yüz görüntülerinden elde edilen gerçek yüz tanıma CUHK veri seti başarısı % 93.89 ve AR veri seti başarısı % 84.55'dur.