Evrişimli sinir ağı özelliklerine dayanan korelasyon filtreleme ve veri ilişkilendirme ile çoklu nesne takibi

Abstract

Nesne takibi art arda görüntüler içerisinde nesne tespitine ihtiyaç duyulmaksızın nesne konumlarının belirlenmesini sağlar. Çekirdek korelasyon filtresi Fourier uzayında hızlı ve etkili nesne takibini gerçekleştirmektedir. Evrişimli sinir ağlarının ürettiği derin özelliklerin korelasyon filtresi ile kullanımı takip başarısını arttırmaktadır. Bu tez kapsamında üç farklı deney çalışması yapılmıştır. İlk çalışmada OTB-100 veri seti üzerinde farklı nesne takibi yöntemlerinin performans karşılaştırması gerçekleştirilmiştir. İkinci çalışmada çekirdek korelasyon filtresi için farklı görünüm modellerinin takip başarısına etkisi analiz edilmiştir. Üçüncü çalışmada ise 2D MOT 15 veri seti üzerinde yayaların tespit edilmesi, takip edilmesi, takip ve tespit edilen yayaların ilişkilendirilmesi denenmiştir. Yayaların tespit edilmesi için Yolo kullanılmıştır. Tespit edilen yayaların takip edilmesi için ise yönelimli eğimlerin histogramı (histogram of oriented gradients - HOG) tabanlı çekirdek korelasyon filtresi çalıştırılmıştır. Yayaların ilişkilendirilmesi için derin özellikler, renk histogramı ve çevreleyici kutulardan faydalanılmıştır. Yöntemlerin tekli nesne takip performansı başarı, kesinlik ve saniye başına düşen çerçeve ölçütleri ile çoklu nesne takip performansı ise tespitlerin hata oranı birleşimi ve kimlik değişim sayısı gibi ölçütler ile hesaplanmıştır. Sonuçlar göstermiştir ki çekirdek korelasyon filtresi derin özellikler ile birlikte kullanıldığında nesne takibi başarısı artmaktadır. Evrişimli sinir ağlarının daha çok son katmanlarından oluşturulan görünüm modelleri nesne takibini etkin kılmaktadır. Çekirdek korelasyon filtresi HOG özellikleri ile kullanıldığında gerçek zamanlı nesne takibi mümkün olmaktadır. Çoklu nesne takibinde derin özellikler ile yayaların ilişkilendirilmesi kimlik bilgilerinin değişim miktarını azaltmaktadır.Object tracking allows determination of object positions in successive images without object detection. The kernelized correlation filter performs fast and efficient object tracking in Fourier space. Using deep features that are produced by convolutional neural networks with correlation filter increases tracking success. Three experimental studies were carried out in this thesis. In the first study, performance comparison of different object tracking methods was performed using OTB-100 dataset. In the second study, the effect of different appearance models on tracking success was analyzed for kernelized correlation filter. In the third study, detecting and tracking pedestrians, and associating the tracked and detected pedestrians using 2D MOT 15 dataset were tried. Yolo was used to detect pedestrians. In order to track the detected pedestrians, histogram of oriented gradients (HOG) based kernelized correlation filter was run. Deep features, color histogram, and bounding boxes were used to associate pedestrians. Single object tracking performances of the methods were computed with success, precision, and frames per second metrics, while multi-object tracking performances were computed with metrics such as a combined error rate of detections and number of identity changes. The results showed that the success of object tracking increases when the kernelized correlation filter is used with deep features. Appearance models, which are mostly retrieved from the last layers of convolutional neural networks, enable effective object tracking. Real-time object tracking is possible when the kernelized correlation filter is used with HOG features. Associating pedestrians with deep features in multi-object tracking reduces number of identity switches.