KR101943433B1 - 몽타주 인식을 통한 실시간 수배자 검출 시스템 - Google Patents

Abstract

본 발명은 몽타주 인식을 통한 수배자 검출 시스템에 관한 것으로, 감시카메라로부터 입력되는 영상데이터로부터 얼굴영상을 추출하고, 상기 추출한 얼굴영상을 몽타주로 변환한 후, 인공지능 기법을 통해 상기 추출한 얼굴영상과 상기 변환한 몽타주를 각각 학습하여, 상기 얼굴영상 및 몽타주에 대한 얼굴 전체의 형태와 얼굴의 각 부분에 대한 특징값을 각각 추출하고, 상기 추출한 얼굴 전체의 형태 및 얼굴 각 부분에 대한 특징값을 병합하여 상기 얼굴영상과 몽타주를 상기 특징값의 조합으로 각각 표현함으로써, 상기 특징값의 조합으로 표현한 얼굴영상과 몽타주를 활용하여 특정 범죄 사건에 연루된 용의자나 수배자를 실시간으로 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템에 관한 것이다.

Description

몽타주 인식을 통한 실시간 수배자 검출 시스템{SYSTEM FOR DETECTING SUSPECTS IN REAL-TIME THROUGH FACE SKETCH RECOGNITION}

본 발명은 몽타주 인식을 통한 실시간 수배자 검출 시스템에 관한 것으로, 더욱 상세하게는 감시카메라로부터 입력되는 영상데이터로부터 얼굴영상을 추출하고, 상기 추출한 얼굴영상을 몽타주로 변환한 후, 인공지능 기법을 통해 상기 추출한 얼굴영상과 상기 변환한 몽타주를 각각 학습하여, 상기 얼굴영상 및 몽타주에 대한 얼굴 전체의 형태와 얼굴의 각 부분에 대한 특징값을 각각 추출하고, 상기 추출한 얼굴 전체의 형태 및 얼굴 각 부분에 대한 특징값을 배치 및 병합하여 상기 얼굴영상과 몽타주를 상기 특징값의 조합으로 각각 표현하고, 상기 특징값의 조합으로 표현한 얼굴영상과 몽타주를 활용하여 특정 범죄 사건에 연루된 용의자나 수배자를 실시간으로 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템에 관한 것이다.

최근 CCTV 등과 같은 감시카메라 네트워크의 구축과 확대로 인해 감시카메라를 활용하여 특정 범죄에 연루된 용의자나 수배자를 검출하기 위한 수배자 검출 시스템에 대한 대충의 관심이 급격하게 증가하고 있다.

일반적으로 수배자 검출 시스템은 감시카메라 네트워크를 통해 실시간으로 촬영되는 복수의 영상데이터와 수배자(또는 용의자)에 대한 몽타주를 상호 비교하여 유사도가 높은 영상데이터를 추출함으로써, 상기 수배자를 검출하는 시스템을 의미한다.

한편 몽타주는 몽타주 작성자에 의해 제작되는 수배자의 얼굴그림을 의미하는 것으로, 범죄에 연루된 수배자를 검거하기 위한 용도로 많이 사용된다.

즉, 몽타주는 수배자에 대한 극히 제한된 정보만 있거나, 카메라로 수배자의 얼굴영상이 촬영된 경우라도 상기 얼굴영상의 품질이 매우 낮아 알아보기 힘들 때, 상기 수배자를 검거하기 위해 주로 사용되는 것이다.

종래의 수배자 검출 시스템은, 인공지능 기법을 토대로 얼굴영상(즉, 사진)으로부터 사람의 전체 얼굴에 대한 특징을 추출하고, 상기 추출한 얼굴영상에 대한 특징과 몽타주로부터 추출되는 특징을 직접적으로 비교하여 특정 수배자를 검출하였다.

그러나 얼굴영상은 카메라를 통해 촬영되고, 몽타주는 몽타주 작성자에 의해 스케치(sketch)되므로, 상기 얼굴영상과 상기 몽타주는 모달리티 갭(modality gap)으로 인해 상기 얼굴영상과 몽타주 사이에는 텍스처(texture) 차이(discrepancy)가 필연적으로 나타나게 된다.

따라서 얼굴영상과 몽타주 간의 직접적인 비교는 수배자를 정확하게 검출하지 못하는 문제점이 있다.

또한 종래의 수배자 검출 시스템은, 이마, 눈썹, 눈, 코, 입 등과 같은 얼굴의 부위별 특징을 고려하지 않고 전체적인 얼굴형태에 대한 특징만을 고려하여 수배자를 인식하기 때문에 인식정확도가 현저하게 떨어지는 문제점이 있다.

이에 본 발명은 감시카메라로부터 촬영되는 영상데이터로부터 얼굴영상을 추출한 후, 상기 추출한 얼굴영상을 몽타주로 변환하여 상기 얼굴영상과 상기 몽타주에 대한 얼굴형태에 대한 특징값과 얼굴 부위별 특징값을 각각 추출하고, 상기 얼굴영상 및 몽타주로부터 추출한 특징값을 각각 배치 및 병합하여 상기 얼굴영상과 몽타주에 포함되는 얼굴을 특징값의 조합으로 표현함으로써, 수배자를 정확하고 실시간으로 검출할 수 있도록 하는 새로운 수배자 검출 시스템을 제안한다.

즉, 본 발명은 얼굴영상과 해당 얼굴영상으로부터 변화되는 몽타주를 각각 학습하여 상기 영굴영상 및 몽타주에 대한 얼굴의 형태와 얼굴 부위별 특징을 각각 파악함으로써, 특정 수배자 검출을 위한 쿼리데이터가 얼굴영상이나 몽타주 형태로 입력되는 경우, 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주 간의 비교를 통해 상기 특정 수배자를 정확하고 신속하게 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템을 제공하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1754995호(2017.06.30.)는 범죄자 추적 CCTV 장치에 관한 것으로, 위치정보를 포함하는 CCTV 장치를 통해 촬영되는 CCTV 영상과 미리 수집된 범죄자의 얼굴이미지를 비교함으로서, 범죄자를 검색하여 검색결과와 함께 상기 위치정보를 범죄자 추적을 위한 중앙서버로 전송하는 범죄자 추적 CCTV 장치에 관한 것이다.

또한 한국공개특허 제2002-0079083호(2002.10.19.)는 얼굴 촬영 데이터를 이용한 경비시스템 및 그 방법에 관한 것으로, 요주의 인물이나 수배 범죄자의 인물 사진을 미리 분석한 분석데이터를 데이터베이스에 저장하고 있으면서 감시카메라로 촬영한 사진 영상을 상기 저장한 분석데이터와 비교하여 상기 요주의 인물이나 수배 범죄자를 실시간으로 찾을 수 있도록 하는 얼굴 촬영 데이터를 이용한 경비 시스템 및 그 방법에 관한 것이다.

이상에서 선행기술들을 검토한 결과 대부분의 선행기술들은 단순히 촬영장치(CCTV 또는 사진촬영용 카메라)를 통해 촬영한 얼굴영상 간의 비교를 통해 특정 범죄자를 검출할 수 있도록 하는 것으로, 상기 얼굴영상 대신에 몽타주를 이용하는 경우, 상기 특정 범죄자를 정확하게 검출하지 못하는 문제점이 있다.

즉, 상기 선행기술들은 얼굴영상과 몽타주 사이의 모달리티 갭으로 인해, 상기 얼굴영상과 몽타주를 직접적으로 비교하는 경우 특정 범죄자를 정확하게 인식하지 못하는 종래의 수배자 검출 시스템의 한계점을 여전히 극복하지 못하고 있는 것이다.

반면에 본원발명은 감시카메라에 의해 촬영되는 영상데이터로부터 얼굴영상을 추출하고, 상기 추출한 얼굴영상을 몽타주로 변환한 후, 상기 얼굴영상과 몽타주를 각각 학습하여 상기 얼굴영상과 몽타주에 대한 얼굴의 전체 형상에 대한 특징과 얼굴 부분에 대한 특징을 각각 파악함으로써, 특정 용의자 또는 수배자를 검출하기 위한 쿼리가 얼굴영상 또는 몽타주의 형태로 입력되는 경우에도 상기 특정 용의자 또는 수배자를 정확하게 검출할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.

즉, 본 발명은 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주 간의 매칭을 통해 특정 용의자 또는 수배자를 정확하고 실시간으로 검출할 수 있도록 하는 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 실시간으로 입력되는 영상데이터로부터 얼굴영상을 추출하고, 상기 추출한 얼굴영상을 몽타주로 변환하여, 수배자의 얼굴영상과 상기 추출한 얼굴영상을 상호 매칭하거나, 수배자의 몽타주와 상기 변환한 몽타주를 상호 매칭함으로써, 상기 수배자를 정확하고 실시간으로 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 상기 추출한 얼굴영상을 학습하여, 해당 얼굴영상의 얼굴 전체에 대한 특징값과 얼굴 부분별 특징값을 추출하고, 상기 추출한 각각의 특징값을 병합하여 얼굴영상 특징데이터를 생성함으로서, 특정 수배자에 대한 얼굴영상이 입력되는 경우, 상기 생성한 얼굴영상 특징데이터를 토대로 특정 수배자를 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 상기 변환한 몽타주를 학습하여, 해당 몽타주의 얼굴 전체에 대한 특징값과 얼굴 부분별 특징값을 추출하고, 상기 추출한 각각의 특징값을 병합하여 몽타주 특징데이터를 생성함으로서, 특정 수배자에 대한 몽타주가 입력되는 경우, 상기 생성한 몽타주 특징데이터를 토대로 특정 수배자를 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 특정 수배자에 대한 쿼리가 입력되는 경우, 기존에 학습된 얼굴영상 및 몽타주에 대한 얼굴 전체 특징값과 부위별 특징값을 각각 이용하여, 상기 쿼리의 형태가 얼굴영상이거나 몽타주인 경우에도, 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주 매칭을 통해 상기 특정 수배자를 신속하게 검출할 수 있도록 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 시스템은, 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델에 수배자의 몽타주를 쿼리데이터로 입력하여 몽타주를 인식하는 몽타주 특징값 추출부 및 상기 추출한 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 몽타주 특징데이터를 생성하는 몽타주 특징데이터 생성부를 포함하며, 상기 생성한 몽타주 특징데이터를 미리 저장된 몽타주 특징데이터와 유사도를 비교하여 몽타주를 인식함으로써 상기 수배자를 검출하는 것을 특징으로 한다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템은, 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부, 상기 입력받은 영상데이터로부터 얼굴영상을 추출하는 얼굴영상 추출부, 상기 추출한 얼굴영상을 미리 설정한 크기로 정규화하는 전처리부, 상기 정규화한 얼굴영상을 몽타주로 변환하는 몽타주 변환부를 더 포함하며, 상기 몽타주 인식용 학습모델은, 상기 변환한 몽타주를 몽타주 인식 네트워크를 통해 학습하는 것을 특징으로 한다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템은, 상기 정규화한 얼굴영상을 얼굴영상 인식 네트워크를 통해 학습하여, 상기 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델에 수배자의 얼굴영상을 쿼리데이터로 입력하여 얼굴영상을 인식하는 얼굴영상 특징값 추출부 및 상기 추출한 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 얼굴영상 특징데이터를 생성하는 얼굴영상 특징데이터 생성부를 더 포함하며, 상기 생성한 얼굴영상 특징데이터를 미리 저장된 얼굴영상 특징데이터와 유사도를 비교하여 얼굴영상을 인식함으로써 상기 수배자를 검출하는 것을 특징으로 한다.

또한 상기 얼굴영상 인식 네트워크는, 상기 정규화한 얼굴영상으로부터 얼굴윤곽에 대한 에지(edge) 및 코너(corner)를 추출함으로써 상기 얼굴영상의 얼굴형태 특징값을 추출하고, 상기 얼굴영상으로부터 이마, 눈썹, 눈, 코 및 입을 포함하는 얼굴 부위를 각각 분류하여, 상기 분류한 얼굴 부위의 그라디언트 크기 및 방향을 각각 추출함으로써, 얼굴영상의 얼굴 부위별 특징값을 추출하는 것을 특징으로 한다.

또한 상기 몽타주 인식 네트워크는, 상기 변환한 몽타주로부터 얼굴윤곽에 대한 에지 및 코너를 추출함으로써 상기 몽타주의 얼굴형태 특징값을 추출하고, 상기 몽타주로부터 이마, 눈썹, 눈, 코 및 입을 포함하는 얼굴 부위를 각각 분류하여, 상기 분류한 얼굴 부위의 그라디언트 크기 및 방향을 추출함으로써, 상기 몽타주의 얼굴 부위별 특징값을 추출하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 방법은, 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델에 수배자의 몽타주를 쿼리데이터로 입력하여 몽타주를 인식하는 몽타주 특징값 추출 단계 및 상기 추출한 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 몽타주 특징데이터를 생성하는 몽타주 특징데이터 생성 단계를 포함하며, 상기 생성한 몽타주 특징데이터를 미리 저장된 몽타주 특징데이터와 유사도를 비교하여 몽타주를 인식함으로써 상기 수배자를 검출하는 것을 특징으로 한다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 방법은, 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계, 상기 입력받은 영상데이터로부터 얼굴영상을 추출하는 얼굴영상 추출 단계, 상기 추출한 얼굴영상을 미리 설정한 크기로 정규화하는 전처리 단계, 상기 정규화한 얼굴영상을 몽타주로 변환하는 몽타주 변환 단계를 더 포함하며, 상기 몽타주 인식용 학습모델은, 상기 변환한 몽타주를 몽타주 인식 네트워크를 통해 학습하는 것을 특징으로 한다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 방법은, 상기 정규화한 얼굴영상을 얼굴영상 인식 네트워크를 통해 학습하여, 상기 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델에 수배자의 얼굴영상을 쿼리데이터로 입력하여 얼굴영상을 인식하는 얼굴영상 특징값 추출 단계 및 상기 추출한 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 얼굴영상 특징데이터를 생성하는 얼굴영상 특징데이터 생성 단계를 더 포함하며, 상기 생성한 얼굴영상 특징데이터를 미리 저장된 얼굴영상 특징데이터와 유사도를 비교하여 얼굴영상을 인식함으로써 상기 수배자를 검출하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 몽타주 인식을 통한 실시간 수배자 검출 시스템은, 복수의 감시카메라로부터 입력되는 영상데이터로부터 얼굴영상을 추출하여 상기 추출한 얼굴영상을 몽타주로 변환함으로써, 특정 수배자를 검출하기 쿼리가 얼굴영상 또는 몽타주로 입력되는 경우, 상기 추출한 얼굴영상과 상기 쿼리로 입력되는 얼굴영상을 상호 매칭하거나, 또는 상기 변환한 몽타주와 상기 쿼리로 입력되는 몽타주를 상호 매칭하여 상기 특정 수배자를 정확하게 검출할 수 있도록 하는 효과가 있다.

또한 상기 추출한 얼굴영상과 상기 변환한 몽타주를 각각 학습하여, 상기 얼굴영상 또는 몽타주에 대한 전체적인 얼굴형태에 대한 특징값과 얼굴 부위별 특징값을 추출함으로써, 수배자의 얼굴형태 뿐만 아니라 얼굴 부위별 특징을 모두 고려하여 상기 수배자를 정확하고 실시간으로 검출할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 몽타주 인식을 통한 실시간 수배자 검출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 시스템의 구성을 나타낸 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 얼굴영상 인식용 학습모델을 생성하기 위한 얼굴영상 인식 네트워크를 설명하기 위해 나타낸 도면이다.
도 3b는 본 발명의 일 실시예에 따른 몽타주 인식용 학습모델을 생성하기 위한 몽타주 인식 네트워크를 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 수배자 검출부의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 토대로 얼굴영상과 몽타주를 각각 학습하는 과정을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 특정 수배자를 검출하는 절차를 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 본 발명의 명세서 또는 출원에 개시되어 있는 일 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의 되어 있지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 아니한다.

도 1은 본 발명의 일 실시예에 몽타주 인식을 통한 실시간 수배자 검출 시스템을 개략적으로 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 CCTV 등과 같이 특정 구역에 설치되어 카메라 네트워크를 구성하는 복수의 감시카메라(200)로부터 입력되는 영상데이터를 기반으로 특정 수배자를 검출하여, 검출결과를 사용자 단말(300)로 제공한다.

상기 사용자 단말(300)은 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)에 특정 범죄에 연루된 수배자(또는 용의자)에 대한 얼굴영상이나 몽타주를 제공하고, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)으로부터 수배자 검출결과를 제공받아 상기 검출한 수배자를 검거할 수 있도록 하는 것으로, 경찰 등과 같이 상기 수배자를 검거하기 위한 사용자가 사용하는 유무선 통신 단말을 의미한다.

또한 상기 복수의 감시카메라(200)는 거리, 건물 등과 같이 다양한 장소에 설치되어 카메라 네트워크를 형성하고 있으면서, 일정영역을 촬영하기 위한 다양한 형태의 촬영 장치를 의미한다.

즉, 상기 복수의 감시카메라(200)는 24시간 구동되어 상기 일정영역을 촬영한 영상데이터를 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)으로 실시간 전송하는 기능을 수행한다.

또한 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 전처리과정을 통해, 상기 입력되는 영상데이터에서 배경을 제거하고, 상기 영상데이터에 포함된 복수의 사람에 대한 얼굴영상을 추출한다.

또한 상기 추출한 얼굴영상은 상기 영상데이터에 포함된 사람의 위치에 따라 크기와 촬영 각도가 다를 수 있으므로, 상기 전처리과정을 통해 상기 얼굴영상의 촬영 각도를 보정하고, 상기 얼굴영상의 크기를 미리 설정한 크기로 보정할 수 있다.

또한 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 추출한 얼굴영상을 몽타주로 변환한다.

또한 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 전처리한 얼굴영상을 학습하여, 상기 얼굴영상으로부터 얼굴형태 특징값과 이마, 눈썹, 눈, 코, 입 등을 포함하는 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델을 생성한다.

즉, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 영상데이터로부터 추출되는 얼굴영상을 학습하여, 상기 영상데이터에 포함되는 복수의 사람에 대한 얼굴의 전체적인 형태와 얼굴의 부위별 특징값을 추출하기 위한 학습모델을 생성하여 학습모델 데이터베이스(430)에 저장하는 것이다.

또한 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 변환한 몽타주를 학습하여, 상기 몽타주로부터 전체적인 얼굴형태에 대한 특징값과 얼굴 부위별(즉, 이마, 눈썹, 눈, 코, 입 등) 특징값을 추출하기 위한 몽타주 인식용 학습모델 생성한다.

즉, 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 추출한 얼굴영상과 해당 얼굴영상으로부터 변환된 몽타주를 각각 학습하여, 상기 얼굴영상에 대한 얼굴형태 특징값과 얼굴 부위별 특징값 및 상기 몽타주에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 학습모델을 각각 생성한다.

이를 통해 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 특정 수배자를 검출하기 위한 쿼리데이터가 얼굴영상 또는 몽타주 형태로 입력되는 경우, 상기 입력되는 얼굴영상 또는 몽타주와 상기 추출한 얼굴영상과 상기 변환한 몽타주끼리 각각 매칭하여 상기 특정 수배자를 정확하고 효과적으로 검출할 수 있다.

한편 상기 영상데이터는 24시간 구동되어 감시카메라(200)에 의해 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)으로 실시간으로 전송되고, 수집되므로 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 얼굴영상 및 몽타주를 학습함으로써, 생성되는 얼굴영상 인식용 학습모델과 몽타주 인식용 학습모델을 지속적으로 업데이트하게 된다.

또한 상기 몽타주 인식을 통한 실시간 검출 시스템(100)은 상기 얼굴영상을 학습하는 과정에서, 상기 얼굴영상으로부터 추출되는 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합함으로서, 상기 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값의 조합으로 표현되는 상기 얼굴영상의 전체적인 얼굴영상 특징데이터를 생성하고, 상기 생성한 얼굴영상 특징데이터와 해당 얼굴영상을 매핑하여 저장한다.

이때, 상기 몽타주 인식을 통한 실시간 검출 시스템(100)은 상기 얼굴영상특징데이터, 상기 얼굴영상, 해당 얼굴영상이 촬영된 시간 및 장소를 상호 매핑하여 저장할 수 있다.

또한 상기 몽타주 인식을 통한 실시간 검출 시스템(100)은 상기 얼굴영상으로부터 변환되는 몽타주를 학습하는 과정에서, 상기 몽타주로부터 추출되는 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합함으로써, 상기 몽타주의 얼굴형태값과 얼굴 부위별 특징값의 조합으로 표현되는 몽타주 특징데이터를 생성하고, 상기 생성한 몽타주 특징데이터와 상기 몽타주 및 해당 몽타주로 변환된 얼굴영상을 매핑하여 저장한다.

이때, 상기 몽타주 인식을 통한 실시간 검출 시스템(100)은 상기 몽타주 특징데이터, 상기 몽타주 및 해당 몽타주로 변환된 얼굴영상 이외에, 상기 몽타주로 변환된 얼굴영상의 촬영시간 및 장소를 상호 매핑하여 저장할 수 있다.

또한 특정 수배자를 검출하기 위한 쿼리데이터가 입력되는 경우, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 쿼리데이터를 상술한 전처리 과정을 통해 전처리한다.

또한 입력되는 쿼리데이터의 형태(즉, 얼굴영상 또는 몽타주)에 따라 상기 생성한 얼굴영상 인식용 학습모델 또는 몽타주 인식용 학습모델을 이용하여 상기 얼굴영상 또는 몽타주로부터 얼굴형태 특징값과 얼굴 부위별 특징값을 추출한다.

즉, 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 쿼리데이터가 수배자 얼굴영상으로 입력되는 경우, 상기 얼굴영상 인식용 학습모델에 상기 얼굴영상을 입력하여 상기 수배자 얼굴영상에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출한다. 또한 상기 쿼리데이터가 수배자 몽타주로 입력되는 경우, 상기 몽타주 인식용 학습모델에 상기 수배자 몽타주를 입력하여 상기 수배자 몽타주에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하게 되는 것이다.

이때, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 쿼리데이터로부터 추출한 얼굴형태 특징값과 얼굴 부위별 특징값을 얼굴형태에 따라 상기 얼굴 부위에 해당하는 위치에 병합 및 배치하여, 특정 수배자에 대한 수배자 얼굴영상 특징데이터 또는 수배자 몽타주 특징데이터를 생성한다.

또한 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 생성한 수배자 얼굴영상 특징데이터 또는 수배자 몽타주 특징데이터를, 상기 학습을 통해 기 저장된 얼굴영상 특징데이터 또는 몽타주 특징데이터 간의 유사도를 계산하여 적어도 하나 이상의 얼굴영상 또는 몽타주에 대한 순위를 결정하여 유사도가 높은 얼굴영상 또는 유사도가 높은 몽타주와 매핑된 얼굴영상을 상기 데이터베이스(400)로부터 추출함으로서, 상기 특정 수배자를 실시간으로 검출할 수 있도록 한다.

즉, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 쿼리데이터가 수배자 얼굴영상으로 입력되는 경우, 기 저장된 얼굴영상과 상기 입력되는 수배자 얼굴영상을 상호 매칭하여 유사도를 계산하고, 유사도 계산결과에 따라 유사도가 높은 얼굴영상을 추출하거나, 또는 상기 쿼리데이터가 수배자 몽타주로 입력되는 경우, 기 저장된 몽타주와 상기 입력되는 수배자 몽타주를 상호 매칭하여 유사도를 계산하고, 유사도가 높은 몽타주와 매핑된 얼굴영상을 추출함으로서, 상기 복수의 감시카메라(200)로부터 촬영된 영상데이터로부터 상기 특정 수배자를 검출하게 되는 것이다.

상기에서 설명한 것과 같이, 본 발명은 얼굴영상과 몽타주를 상호 매칭하는 것이 아니라, 얼굴영상과 얼굴영상, 몽타주와 몽타주 간의 매칭을 통해 정확하고 효과적으로 특정 수배자를 검출할 수 있도록 한다.

이하에서는 도 2를 참조하여 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)을 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 시스템의 구성을 나타낸 블록도이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 복수의 감시카메라(200)로부터 영상데이터를 입력받아 저장하는 영상데이터 입력부(110), 상기 입력되는 영상데이터로부터 얼굴영상을 추출하는 얼굴영상 추출부(120), 상기 추출한 얼굴영상을 전처리하는 전처리부(130), 상기 전처리한 얼굴영상을 몽타주로 변환하는 몽타주 변환부(140), 상기 추출한 얼굴영상을 학습하여 전체적인 얼굴형태에 대한 특징값과 얼굴부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델을 생성하는 얼굴영상 인식용 학습모델 생성부(150), 상기 변환한 몽타주로부터 전체적인 얼굴형태에 대한 특징값과 얼굴부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델을 생성하는 몽타주 인식용 학습모델 생성부(160), 특정 수배자를 검출하기 위한 쿼리데이터를 입력받는 쿼리데이터 입력부(170), 상기 입력받은 쿼리데이터를 이용하여 특정 수배자를 검출하는 수배자 검출부(180)를 포함하여 구성된다.

영상데이터 입력부(110)는 카메라 네트워크를 구성하는 복수의 감시카메라(200)로부터 각각 촬영된 영상데이터를 실시간으로 입력받아 영상데이터 데이터베이스(420)에 저장함으로써, 상기 영상데이터를 수집하는 기능을 수행한다.

상기 감시카메라(200)는 복수의 장소에 설치되어 24시간 구동되면서 미리 설정한 일정범위를 촬영하는 CCTV 등과 같은 촬영 장치를 의미함은 상술한 바와 같다.

얼굴영상 추출부(120)는 상기 입력되는 영상데이터에 포함된 복수의 사람(즉, 보행자)으로부터 다중 얼굴 영역을 탐지하여 복수의 얼굴영상을 추출한다.

또한 전처리부(130)는 상기 추출한 얼굴영상을 전처리한다. 즉, 상기 추출한 얼굴영상은 상기 영상데이터의 포함되는 보행자의 위치에 따라 크기와 촬영각도가 다를 수 있기 때문에 상기 얼굴영상의 촬영각도를 보정하고, 상기 학습에 적합한 크기로 리사이징한다.

즉, 상기 전처리부(130)는 상기 영상데이터로부터 추출한 얼굴영상을 미리 설정한 크기로 정규화하여 상기 얼굴영상 인식용 학습모델 생성부(150)로 제공한다.

또한 몽타주 변환부(140)는 상기 추출한 얼굴영상을 몽타주로 변환하는 기능을 수행한다.

상기 추출한 얼굴영상을 몽타주 형식으로 변환하는 것은, 상기 얼굴영상과 해당 얼굴영상으로부터 변환되는 몽타주를 각각 학습하여 얼굴영상 및 몽타주로부터 전체 얼굴형태에 대한 특징값과 얼굴 부위별 특징값을 각각 추출할 수 있도록 함으로써, 특정 수배자를 검출하기 위한 쿼리데이터의 형식에 따라 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주 매칭을 통해 상기 특정 수배자를 정확하게 검출하기 위함이다.

한편 상기 몽타주 변환부(140)는 얼굴형태, 눈썹, 눈, 코, 입 등과 같은 얼굴 부위별 몽타주 데이터를 미리 구축하고 있으면서, 상기 추출한 얼굴영상으로부터 얼굴형태 및 상기 얼굴영상의 얼굴부위와 상기 몽타주 데이터 간의 유사도 계산을 통해 유사도가 높은 상기 몽타주 데이터의 얼굴형태 및 얼굴부위를 선택함으로써, 상기 얼굴영상을 몽타주로 변환할 수 있다. 다만, 본 발명은 몽타주 변환 방법에 대해서는 그 제한을 두지 아니하며, 얼굴영상으로부터 몽타주를 변환하는 다양한 주지의 방법을 통해 수행될 수 있음은 당연하다.

또한 얼굴영상 인식용 학습모델 생성부(150)는 얼굴영상 인식용 네트워크를 통해 상기 영상데이터로부터 추출되고 전처리된 얼굴영상을 학습하여, 얼굴영상을 인식하기 위한 얼굴영상 인식용 학습모델을 생성하며, 상기 생성한 얼굴영상 인식용 학습모델을 학습모델 데이터베이스(430)에 저장한다.

즉, 상기 얼굴영상 인식용 학습모델 생성부(150)는 상기 얼굴영상을 학습하여, 얼굴전체에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출함으로써, 상기 얼굴영상을 인식하기 위한 얼굴영상 인식용 학습모델을 생성하는 것이다.

한편 상기 얼굴영상 인식용 네트워크는 도 3a를 통해 상세히 설명하도록 한다.

또한 몽타주 인식용 학습모델 생성부(160)는 몽타주 인식용 네트워크를 통해 상기 변환한 몽타주를 학습하여, 몽타주를 인식하기 위한 몽타주 인식용 학습모델을 생성하며, 상기 생성한 몽타주 인식용 학습모델을 학습모델 데이터베이스(430)에 저장한다.

즉, 상기 몽타주 인식용 학습모델 생성부(160)는 상기 얼굴영상으로부터 변환된 몽타주를 학습하여, 몽타주 얼굴의 전체형상에 대한 특징값과 얼굴 부위별 특징값을 추출함으로서, 몽타주를 인식할 수 있도록 하는 몽타주 인식용 학습모델을 생성하는 것이다.

또한 상기 얼굴의 전체형상은 얼굴의 윤곽을 의미하며, 상기 얼굴 부위는 이마, 눈썹, 눈, 코, 입 등을 포함한다.

한편 상기 몽타주 인식용 네트워크는 도 3b를 통해 상세히 설명하도록 한다.

또한 쿼리데이터 입력부(170)는 특정 수배자를 검출하기 위한 쿼리데이터를 입력받는 기능을 수행한다.

또한 상기 입력된 쿼리데이터는 상기 전처리부(130)를 통해 상기에서 설명한 전처리 과정과 동일한 과정으로 전처리된다.

또한 수배자 검출부(180)는 쿼리데이터가 입력되는 경우, 상기 입력되는 쿼리데이터에 따라 상기 영상데이터로부터 특정 수배자를 검출하는 기능을 수행한다.

한편 상기 쿼리데이터는 특정 수배자에 대한 얼굴영상 또는 몽타주로 입력될 수 있으며, 수배자 데이터베이스(410)로부터 직접 추출되거나 사용자 단말(300)로부터 제공될 수 있다.

또한 수배자 검출부(180)는 상기 쿼리데이터의 형식에 따라 상기 얼굴영상 인식용 학습모델 또는 몽타주 인식용 학습모델을 학습모델 데이터베이스(420)로부터 로딩하여, 상기 전처리한 쿼리데이터로부터 해당 수배자의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하고, 상기 특징값 배치부(170)를 통해 상기 추출한 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합하여 수배자의 얼굴영상 특징데이터 또는 수배자의 몽타주 특징데이터를 각각 생성한다.

이후, 상기 수배자 검출부(180)는 상기 생성한 수배자의 얼굴영상 특징데이터 또는 몽타주 특징데이터와 상기 영상데이터 데이터베이스(420)에 저장된 얼굴영상 특징데이터 또는 몽타주 특징데이터와의 유사도를 계산하여 유사도가 높은 얼굴영상 또는 몽타주를 선택한 후, 상기 선택한 얼굴영상 또는 상기 선택한 몽타주와 매핑된 얼굴영상을 상기 영상데이터 데이터베이스(420)로부터 추출하여 출력한다.

예를 들어, 상기 쿼리데이터가 수배자의 얼굴영상인 경우, 상기 수배자 검출부(180)는 얼굴영상 인식용 학습모델을 통해 수배자의 얼굴영상에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하고, 상기 추출한 수배자의 얼굴영상에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 얼굴형태에 따른 얼굴 부위별에 해당하는 위치에 배치 및 병합하여 전체적인 수배자의 얼굴영상 특징데이터를 생성한다. 이후, 상기 생성한 수배자의 얼굴영상 특징데이터와 미리 저장된 얼굴영상 특징데이터 간의 유사도를 계산하여 비교함으로써, 수배자의 얼굴영상을 인식하여 상기 특정 수배자를 검출하게 된다.

또한 상기 쿼리데이터가 몽타주인 경우, 상기 수배자 검출부(180)는 상기 몽타주 인식용 학습모델을 통해 수배자 몽타주에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하고, 상기 추출한 수배자의 몽타주에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 얼굴형태에 따른 얼굴 부위별에 해당하는 위치에 배치 및 병합하여 전체적인 수배자의 몽타주 특징데이터를 생성한다. 이후, 상기 생성한 수배자의 몽타주 특징데이터와 미리 저장된 몽타주 특징데이터 간의 유사도를 계산하여 비교함으로써, 수배자의 몽타주를 인식하여 상기 특정 수배자를 검출하게 된다.

한편 상기 수배자 검출부(180)는 도 4를 참조하여 상세히 설명하도록 한다.

이하에서는 얼굴영상 인식 네트워크 및 몽타주 인식 네트워크를 상세히 설명하도록 한다.

도 3a는 본 발명의 일 실시예에 따른 얼굴영상 인식용 학습모델을 생성하기 위한 얼굴영상 인식 네트워크를 설명하기 위해 나타낸 도면이다.

도 3a에 도시한 바와 같이, 본 발명의 일 실시예에 따른 얼굴영상 인식용 학습모델을 생성하기 위한 얼굴영상 인식 네트워크는 두 개의 계층으로 형성된다.

하나의 계층은 상기 얼굴영상으로부터 얼굴형태 특징값을 추출하기 위한 제1 얼굴형태 특징값 추출 네트워크로 구성되며, 또 다른 하나의 계층은 상기 얼굴영상으로부터 얼굴 부위별 특징값을 추출하기 제1 얼굴 부위별 특징값 추출 네트워크로 구성된다.

즉 상기 얼굴영상 인식 네트워크는, 독립적으로 구성되는 상기 제1 얼굴형태 특징값 추출 네트워크 및 상기 제1 얼굴 부위별 특징값 추출 네트워크를 포함하여 구성된다.

또한 상기 제1 얼굴형태 특징값 추출 네트워크는 복수의 컨볼루션 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 미리 설정된 가중치를 가지를 가지는 상기 컨볼루션 레이어의 컨볼루션 연산과, 상기 풀링 레이어의 서브샘플링 및 ReLU 함수를 통해 상기 얼굴영상의 차원을 축소해가며, 상기 얼굴영상으로부터 얼굴윤곽에 대한 에지(edge) 및 코너(corner)를 추출함으로써, 상기 얼굴영상의 얼굴형태 특징값을 추출 할 수 있도록 구성된다.

또한 상기 제1 얼굴 부위별 특징값 추출 네트워크는 상기 얼굴영상으로부터 이미, 눈썹, 눈, 코, 입 등을 포함하는 얼굴 부위를 각각 분류하고, 상기 분류한 얼굴 부위별로 그라디언트의 크기 및 방향을 추출함으로써, 상기 얼굴영상에 대한 얼굴부위별 특징값을 추출할 수 있도록 구성된다.

이후, 상기 추출되는 얼굴영상의 얼굴형태 특징값 및 얼굴부위별 특징값은 병합되어, 특정 수배자를 검출하기 위한 유사도 계산에 사용됨은 상술한 바와 같다.

도 3b는 본 발명의 일 실시예에 따른 얼굴영상 인식용 학습모델을 생성하기 위한 얼굴영상 인식 네트워크를 설명하기 위해 나타낸 도면이다.

도 3b에 도시한 바와 같이, 본 발명의 일 실시예에 따른 몽타주 인식용 학습모델을 생성하기 위한 몽타주 인식 네트워크는 도 3a의 얼굴영상 인식 네트워크와 같이 두 개의 계층으로 형성된다.

즉, 상기 몽타주 인식 네트워크는 독립적으로 구성되는 제2 얼굴형태 특징값 추출 네트워크 및 제2 얼굴 부위별 특징값 추출 네트워크를 포함하여 구성된다.

또한 상기 제2 얼굴형태 특징 추출 네트워크는, 상기 제1 얼굴형태 특징 추출 네트워크와 동일한 구조로 형성되며, 상기 몽타주의 얼굴윤곽에 대한 에지 및 코너를 추출함으로써, 상기 얼굴영상의 전체형태에 대한 특징값을 추출한다.

또한 제2 얼굴 부위별 특징값 추출 네트워크는 상기 제1 얼굴 부위별 특징값 추출 네트워크와 동일한 구조로 형성되며, 상기 몽타주로부터 이마, 눈썹, 눈, 코, 입 등을 포함하는 얼굴 부위를 분류하고, 상기 분류한 각각의 얼굴 부위별로 그라디언트의 크기 및 방향을 추출함으로써, 상기 몽타주로부터 얼굴 부위별 특징값을 추출하게 된다.

도 3a 및 도 3b를 참조하여 설명한 것과 같이, 제1 얼굴형태 특징값 추출 네트워크와 제2 얼굴형태 특징값 추출 네트워크 및 제1 얼굴 부위별 특징값 추출 네트워크와 제2 얼굴 부위별 추출 네트워크가 동일한 구조로 구성되어 있으나, 학습의 대상이 서로 다르다.

즉, 얼굴영상 인식용 네트워크와 몽타주 인식용 네트워크는, 몽타주와 사진 간의 매칭을 통해 수배자를 검출하는 경우 모달리티 갭으로 인해 정확하게 수배자를 검출하지 못하는 종래의 기술에 대한 문제점을 극복하기 위한 것이다.

다시 말해, 본 발명의 상기 얼굴영상 인식용 네트워크와 몽타주 인식용 네트워크를 통해, 얼굴영상과 몽타주를 각각 개별적으로 학습하여, 얼굴영상 및 몽타주에 대한 얼굴형태 특징값 및 얼굴부위별 특징값을 각각 추출할 수 있도록 함으로써, 수배자를 검출하기 위한 쿼리데이터에 따라 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주를 상호 매칭하여 상기 수배자를 정확하고 신속하게 검출할 수 있도록 하는 것이다.

도 4는 본 발명의 일 실시예에 따른 수배자 검출부의 구성을 나타낸 블록도이다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 수배자 검출부(180)는 사용자 단말(300)이나 수배자 데이터베이스(410)로부터 추출되어 입력되는 쿼리데이터를 이용하여, 상기 감시카메라(200) 네트워크상에서 특정 수배자를 실시간으로 검출하는 기능을 수행하게 된다.

한편 쿼리데이터는 수배자의 얼굴영상 또는 수배자의 몽타주로 입력될 수 있으며, 상기 쿼리데이터는 상기 전처리부(130)에 의해 전처리되어 상기 수배자 검출부(180)로 입력된다.

또한 수배자 검출부(180)는 상기 쿼리데이터가 수배자의 얼굴영상인 경우, 해당 수배자의 얼굴영상을 인식하는 얼굴영상 인식부(181), 상기 쿼리데이터가 수배자의 몽타주인 경우, 해당 수배자의 몽타주를 인식하는 몽타주 인식부(182), 유사도 계산부(183) 및 수배자 검출결과를 제공하는 수배자 검출결과 제공부(184)를 포함하여 구성된다.

또한 얼굴영상 인식부(181)는 수배자의 얼굴영상이 쿼리데이터로 입력되는 경우에 해당 수배자의 얼굴영상을 얼굴영상 인식용 학습모델에 입력하여 해당 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하는 얼굴영상 특징값 추출부(181a) 및 상기 얼굴영상 특징값 추출부(181a)를 통해 추출한 수배자 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합하여 수배자의 전체적인 얼굴영상 특징데이터를 생성하는 얼굴영상 특징데이터 생성부(181b)를 포함하여 구성된다.

상기 얼굴형태에 대한 특징값은 얼굴 윤곽에 대한 특징값을 의미하며, 상기 얼굴 부위별 특징값은 이마, 눈썹, 눈, 코, 입 등과 같은 각 얼굴 부위에 대한 특징값을 의미하는 것으로, 상기 얼굴영상 인식부(181)는 상기 특정 수배자의 얼굴영상에 대한 얼굴형태 및 얼굴 부위별 특징값을 추출하여, 이에 대한 수배자의 특징데이터를 생성함으로서, 상기 특정 수배자에 대한 얼굴영상을 인식하게 된다.

또한 상기 얼굴영상 특징데이터는 상기 얼굴영상을 상기 추출한 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값의 조합으로 표현되는 것으로, 상기 수배자의 얼굴영상 특징데이터는 기 저장된 얼굴영상 특징데이터와의 유사도 계산을 위해 사용됨은 상술한 바와 같다.

또한 유사도 계산부(183)는 상기 생성한 수배자의 얼굴영상 특징데이터와 기 저장된 얼굴영상의 얼굴영상 특징데이터 간의 유사도를 계산하는 기능을 수행한다.

상기 유사도는 코사인 거리(cosine distance)를 이용하여 계산되는 것이 바람직 하지만, 유클리드 거리(euclidean distance), 해밍 거리(hamming distance) 등과 같은 다양한 유사도 계산 방법을 통해 계산될 수 있다.

또한 상기 몽타주 인식부(182)는 수배자의 몽타주가 쿼리데이터로 입력되는 경우에 해당 수배자의 몽타주를 몽타주 인식용 학습모델에 입력하여 해당 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하는 몽타주 특징값 추출부(182a) 및 상기 추출한 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합하여 수배자의 전체적인 몽타주 특징데이터를 생성하는 몽타주 특징데이터 생성부(182b)를 포함하여 구성된다.

즉, 상기 몽타주 인식부(182)는 상기 몽타주로부터 특정 수배자의 얼굴형태 및 얼굴 부위별 특징값을 추출하고 이에 대한 몽타주 특징데이터를 생성함으로써, 상기 특정 수배자에 대한 몽타주를 인식하게 된다.

이후, 유사도 계산부(183)는 상기 생성한 수배자 몽타주 특징데이터와 기 저장된 몽타주 특징데이터 간의 유사도를 계산하는 기능을 수행한다.

또한 수배자 검출결과 제공부(184)는 상기 유사도 계산부(183)의 계산 결과에 따라 미리 설정한 값 이상의 유사도를 가지는 적어도 하나 이상의 얼굴영상을 선택하여, 상기 영상데이터 데이터베이스(420)로부터 추출하며, 상기 추출한 얼굴영상을 포함한 수배자 검출결과를 디스플레이(미도시)에 출력하거나, 사용자 단말(300)로 제공한다.

즉, 수배자 검출결과 제공부(184)는 상기 수배자의 얼굴영상을 인식하여 수배자 검출결과를 출력하는 경우, 상기 유사도 계산 결과에 따라 적어도 하나 이상의 얼굴영상을 추출하며, 상기 수배자의 몽타주를 인식하여 수배자 검출 결과를 출력하는 경우, 상기 유사도 계산 결과에 따라 유사도가 높은 몽타주에 매핑된 얼굴영상을 추출하게 된다.

또한 상기 추적결과는 상기 추출되는 얼굴영상, 해당 수배자의 몽타주 얼굴특징데이터 또는 얼굴영상 특징데이터, 상기 얼굴영상이 촬영된 시간정보 및 장소정보 또는 이들의 조합을 포함한다.

상기에서 설명한 것과 같이, 수배자 검출부(184)는 입력되는 쿼리데이터에 따라 수배자의 얼굴영상이나 몽타주를 인식하고, 상기 인식한 수배자의 얼굴영상과 기 저장된 얼굴영상 또는 상기 인식한 수배자의 몽타주와 기 저장된 몽타주 간의 유사도 계산을 통해 감시카메라(200)의 네트워크에서 특정 수배자를 실시간으로 정확하게 검출할 수 있다.

도 5는 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 토대로 얼굴영상과 몽타주를 인식하기 위한 학습과정을 나타낸 흐름도이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 복수의 감시카메라로부터 입력되는 영상데이터를 토대로 얼굴영상과 몽타주를 인식하기 위한 학습과정은 우선, 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 복수의 감시카메라(200)통해 입력되는 영상데이터로부터 얼굴영상을 추출한다(S110).

상기 추출은 상기 영상데이터로부터 배경을 제거한 후, 상기 영상데이터에 포함된 복수의 보행자에 대한 얼굴영역을 탐지함으로써, 수행된다.

다음으로 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 추출한 얼굴영상을 전처리한다(S120).

상기 전처리는 상기 얼굴영상이나 몽타주를 상기 학습에 적합한 크기로 정규화하기 위한 것으로, 촬영각도에 대한 보정을 포함함은 상술한 바와 같다.

다음으로 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 전처리한 얼굴영상을 몽타주로 변환한다(S130).

상기 몽타주로 변환하는 것은, 특정 수배자를 검출하기 위한 쿼리데이터가 몽타주로 입력되는 경우에 상기 변환한 몽타주와 상기 특정 수배자에 대한 몽타주 간의 매칭을 통해 상기 특정 수배자를 검출하기 위해 수행된다.

다음으로 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 전처리한 얼굴영상을 학습하여, 상기 얼굴영상에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델을 생성한다(S140).

이와 동시에 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 변환한 몽타주를 학습하여, 상기 몽타주로부터 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델을 생성한다(S150).

한편 상기 얼굴영상을 학습하는 것은, 얼굴영상 인식 네트워크를 통해 수행되며, 상기 몽타주를 학습하는 것은, 몽타주 인식 네트워크를 통해 수행된다.

또한 상기 얼굴영상 인식 네트워크 및 몽타주 인식 네트워크는 얼굴영상 및 몽타주로부터 얼굴윤곽에 대한 에지 및 코너를 각각 추출함으로써, 얼굴형태 특징값을 추출하며, 또한 상기 얼굴영상 및 몽타주를 얼굴부위별로 분류하여 상기 분류한 각각의 얼굴부위에 대한 그라디언트 크기 및 방향을 추출함으로써, 얼굴부위별 특징값을 추출함을 상술한 바와 같다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 얼굴영상을 학습하는 과정에서, 추출되는 얼굴영상에 대한 얼굴형태 및 얼굴 부위별 특징값을 배치 및 병합함으로써, 상기 얼굴영상에 대한 얼굴영상 특징데이터를 생성하여, 상기 생성한 얼굴특징데이터와 상기 얼굴영상을 매핑하여 저장한다.

또한 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 몽타주를 학습하는 과정에서, 상기 추출되는 몽타주에 대한 얼굴형태 및 얼굴 부위별 특징값을 배치 및 병합함으로써, 상기 몽타주에 대한 몽타주특징데이터를 생성하여 상기 생성한 몽타주 특징데이터와 상기 몽타주 및 해당 몽타주로 변환된 얼굴영상을 상호 매핑하여 저장한다.

즉, 상기 얼굴영상 특징데이터는 상기 얼굴영상 인식용 학습모델을 통해 추출되는 얼굴영상에 대한 얼굴형태 및 얼굴 부위별 특징값을 포함하며, 상기 몽타주 특징데이터는 상기 몽타주 인식용 학습모델을 통해 추출되는 몽타주에 대한 얼굴형태 및 얼굴 부위별 특징값을 포함한다.

이후, 상기 얼굴영상 특징데이터와 상기 몽타주 특징데이터는 특정 수배자를 검출하기 위해 사용된다.

또한 도 5에 도시한 것과 같이, 얼굴영상을 학습하는 단계와 몽타주를 학습하는 단계를 S140 단계 및 S150 단계로 나누어 설명하고 있으나, 상기 S140 단계 및 S150 단계는 동시에 수행됨은 당연하다.

또한 상기 생성되는 얼굴영상 인식용 학습모델과 몽타주 인식용 학습모델은 감시카메라(200)로부터 실시간으로 입력되는 영상데이터를 토대로 지속적으로 업데이트됨은 상술한 바와 같다.

이하에서는 특정 수배자를 검출하기 위한 쿼리데이터가 입력되는 경우, 상기 쿼리데이터를 토대로 특정 수배자를 검출하는 과정에 대해서 상세히 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 특정 수배자를 검출하는 절차를 나타낸 흐름도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특정 수배자를 검출하는 절차는 우선, 특정 수배자를 검출하기 위해 상기 특정 수배자에 대한 쿼리데이터가 입력되는 경우, 우선적으로 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 입력되는 쿼리데이터를 전처리한다(S210).

또한 상기 수배자의 쿼리데이터가 얼굴영상인 경우(S220), 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 학습모델 데이터베이스(430)로부터 얼굴영상 인식용 학습모델을 로딩하여, 상기 로딩한 얼굴영상 인식용 학습모델에 상기 전처리한 수배자의 얼굴영상을 입력함으로써, 해당 수배자의 얼굴영상에 대한 얼굴형태에 대한 특징값과 얼굴부위별 특징값을 추출한다(S230).

다음으로 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 추출한 수배자 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합하여 수배자의 얼굴영상에 대한 얼굴영상 특징데이터를 생성한다(S240).

상기 수배자의 얼굴영상 특징데이터는 상기 얼굴영상 인식용 학습모델을 통해 추출되는 수배자 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값의 조합으로 표현되는 데이터를 의미한다.

다음으로 상기 생성한 수배자의 얼굴영상 특징데이터와 기 저장된 얼굴영상 특징데이터에 대한 유사도 계산을 수행하여(S250), 상기 유사도 계산 결과 유사도가 높은 적어도 하나 이상의 얼굴영상을 영상데이터 데이터베이스(420)로부터 추출하여 디스플레이로 출력하거나, 사용자 단말(300)로 제공함으로서, 특정 수배자를 검출한 검출결과를 상기 사용자에게 제공하게 된다(S260).

한편 상기 입력되는 쿼리데이터가 수배자의 몽타주인 경우, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 학습모델 데이터베이스(430)로부터 몽타주 인식용 학습모델을 로딩한다.

이후, 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 로딩한 몽타주 인식용 학습모델에 상기 입력되는 수배자의 몽타주를 입력함으로써, 해당 수배자의 몽타주에 대한 얼굴형태 특징값과 얼굴 부위별 특징값을 추출한다(S231).

다음으로 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 추출한 수배자 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 배치 및 병합하여 수배자의 몽타주 특징데이터를 생성한다(S241).

상기 수배자의 몽타주 특징데이터는, 상기 추출되는 수배자 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값에 대한 조합으로 표현되는 데이터를 의미함은 상술한 바와 같다.

다음으로 상기 몽타주 인식을 통한 실시간 수배자 검출 시스템(100)은 상기 생성한 수배자의 몽타주 특징데이터와 기 저장된 몽타주 특징데이터에 대한 유사도를 계산(S251)하여, 상기 유사도 계산 결과 유사도가 높은 적어도 하나 이상의 몽타주를 선택하고, 상기 선택한 몽타주와 매핑된 얼굴영상을 상기 영상데이터 데이터베이스(420)로부터 추출하여 디스플레이로 출력하거나, 사용자 단말(300)로 제공함으로써, 특정 수배자를 검출한 검출결과를 상기 사용자에게 제공하게 된다(S260).

한편 상기 검출결과는 상기 생성한 수배자의 얼굴영상 특징데이터 혹은 수배자의 몽타주 특징데이터, 상기 추출한 얼굴영상, 해당 얼굴영상이 촬영된 시간정보 및 장소정보를 포함하여 구성된다.

이상에서 설명한 바와 같이, 본 발명의 몽타주 인식을 통한 실시간 수배자 검출 시스템은 얼굴영상과 몽타주를 동시에 인식함으로써, 특정 수배자에 대한 쿼리데이터가 얼굴영상 또는 몽타주로 입력되는 경우에도, 얼굴영상 대 얼굴영상 또는 몽타주 대 몽타주 매칭을 통해 상기 특정 수배자를 정확하고 신속하게 검출할 수 있도록 하는 효과가 있다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 몽타주 인식을 통한 실시간 수배자 검출 시스템
110: 영상데이터 입력부 120: 얼굴영상 추출부
130: 전처리부 140: 몽타주 변환부
150: 얼굴영상 인식용 학습모델 생성부160: 몽타주 인식용 학습모델 생성부
170: 쿼리데이터 입력부 180: 수배자 검출부
181: 얼굴영상 인식부 181a: 얼굴영상 특징값 추출부
181b: 얼굴영상 특징데이터 생성부 182: 몽타주 인식부
182a: 몽타주 특징값 추출부 182b: 몽타주 특징데이터 생성부
183: 유사도 계산부 184: 수배자 검출결과 제공부
200: 감시카메라 300: 사용자 단말
400: 데이터베이스 410: 수배자 데이터베이스
420: 영상데이터 데이터베이스 430: 학습모델 데이터베이스

Claims (10)

1. 몽타주 인식을 통한 실시간 수배자 검출 시스템에 있어서,
   상기 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델에 수배자의 몽타주를 쿼리데이터로 입력하여 몽타주를 인식하는 몽타주 특징값 추출부; 및
   상기 추출한 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 몽타주 특징데이터를 생성하는 몽타주 특징데이터 생성부;를 포함하며,
   상기 몽타주 인식용 학습모델은, 상기 몽타주를 몽타주 인식 네트워크를 통해 학습하며,
   상기 몽타주 인식을 통한 실시간 수배자 검출 시스템은,
   복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부;
   상기 입력받은 영상데이터로부터 얼굴영상을 추출하는 얼굴영상 추출부;
   상기 추출한 얼굴영상을 미리 설정한 크기로 정규화하는 전처리부; 및
   상기 정규화한 얼굴영상을 몽타주로 변환하는 몽타주 변환부;를 더 포함하며,
   상기 몽타주 인식용 학습모델은, 상기 변환한 몽타주를 몽타주 인식 네트워크를 통해 학습하는 것을 더 포함하고,
   상기 몽타주 인식 네트워크는,
   상기 몽타주의 얼굴형태 특징값을 추출하기 위한 제2 얼굴형태 특징값 추출 네트워크 및 상기 몽타주의 얼굴 부위별 특징값을 추출하기 제2 얼굴 부위별 특징값 추출 네트워크를 포함하는 두 개의 독립적인 계층으로 구성되며,
   상기 제2 얼굴형태 특징값 추출 네트워크는, 복수의 컨볼루션 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 미리 설정된 가중치를 가지를 가지는 상기 컨볼루션 레이어의 컨볼루션 연산과, 상기 풀링 레이어의 서브샘플링 및 ReLU 함수를 통해 상기 몽타주의 차원을 축소해가며, 상기 몽타주로부터 얼굴윤곽에 대한 에지 및 코너를 추출함으로써, 상기 몽타주의 얼굴형태 특징값을 추출하도록 구성되고
   상기 제2 얼굴 부위별 특징값 추출 네트워크는, 상기 몽타주로부터 이마, 눈썹, 눈, 코 및 입을 포함하는 얼굴 부위를 각각 분류하여, 상기 분류한 얼굴 부위의 그라디언트 크기 및 방향을 추출함으로써, 상기 몽타주의 얼굴 부위별 특징값을 추출하도록 구성되는 것을 포함하며,
   상기 생성한 몽타주 특징데이터를 미리 저장된 몽타주 특징데이터와 유사도를 비교하여 몽타주를 인식함으로써 상기 수배자를 검출하는 것을 특징으로 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템.
2. 삭제
3. 청구항 1에 있어서,
   상기 몽타주 인식을 통한 실시간 수배자 검출 시스템은,
   상기 정규화한 얼굴영상을 얼굴영상 인식 네트워크를 통해 학습하여, 상기 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델에 수배자의 얼굴영상을 쿼리데이터로 입력하여 얼굴영상을 인식하는 얼굴영상 특징값 추출부; 및
   상기 추출한 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 얼굴영상 특징데이터를 생성하는 얼굴영상 특징데이터 생성부;를 더 포함하며,
   상기 얼굴영상 인식 네트워크는,
   상기 얼굴영상으로부터 얼굴형태 특징값을 추출하기 위한 제1 얼굴형태 특징값 추출 네트워크 및 상기 얼굴영상으로부터 얼굴 부위별 특징값을 추출하기 제1 얼굴 부위별 특징값 추출 네트워크를 포함하는 두 개의 독립적인 계층으로 구성되며,
   상기 제1 얼굴형태 특징값 추출 네트워크는, 복수의 컨볼루션 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 미리 설정된 가중치를 가지를 가지는 상기 컨볼루션 레이어의 컨볼루션 연산과, 상기 풀링 레이어의 서브샘플링 및 ReLU 함수를 통해 상기 얼굴영상의 차원을 축소해가며, 상기 얼굴영상으로부터 얼굴윤곽에 대한 에지(edge) 및 코너(corner)를 추출함으로써, 상기 얼굴영상의 얼굴형태 특징값을 추출하도록 구성되고,
   상기 제1 얼굴 부위별 특징값 추출 네트워크는 상기 얼굴영상으로부터 이마, 눈썹, 눈, 코, 입 등을 포함하는 얼굴 부위를 각각 분류하고, 상기 분류한 얼굴 부위별로 그라디언트의 크기 및 방향을 추출함으로써, 상기 얼굴영상의 얼굴 부위별 특징값을 추출하도록 구성되는 것을 포함하며,
   상기 생성한 얼굴영상 특징데이터를 미리 저장된 얼굴영상 특징데이터와 유사도를 비교하여 얼굴영상을 인식함으로써 상기 수배자를 검출하는 것을 특징으로 하는 몽타주 인식을 통한 실시간 수배자 검출 시스템.
4. 삭제
5. 삭제
6. 몽타주 인식을 통한 실시간 수배자 검출 방법에 있어서,
   몽타주 인식을 통한 실시간 수배자 검출 시스템에서, 상기 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 몽타주 인식용 학습모델에 수배자의 몽타주를 쿼리데이터로 입력하여 몽타주를 인식하는 몽타주 특징값 추출 단계; 및
   상기 추출한 몽타주의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 몽타주 특징데이터를 생성하는 몽타주 특징데이터 생성 단계;를 포함하며,
   상기 몽타주 인식용 학습모델은, 상기 몽타주를 몽타주 인식 네트워크를 통해 학습하며,
   상기 몽타주 인식을 통한 실시간 수배자 검출 방법은,
   상기 몽타주 인식을 통한 실시간 수배자 검출 시스템에서,
   복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계;
   상기 입력받은 영상데이터로부터 얼굴영상을 추출하는 얼굴영상 추출 단계;
   상기 추출한 얼굴영상을 미리 설정한 크기로 정규화하는 전처리 단계; 및
   상기 정규화한 얼굴영상을 몽타주로 변환하는 몽타주 변환 단계;를 더 포함하며,
   상기 몽타주 인식용 학습모델은, 상기 변환한 몽타주를 몽타주 인식 네트워크를 통해 학습하는 것을 더 포함하고,
   상기 몽타주 인식 네트워크는,
   상기 몽타주의 얼굴형태 특징값을 추출하기 위한 제2 얼굴형태 특징값 추출 네트워크 및 상기 몽타주의 얼굴 부위별 특징값을 추출하기 제2 얼굴 부위별 특징값 추출 네트워크를 포함하는 두 개의 독립적인 계층으로 구성되며,
   상기 제2 얼굴형태 특징값 추출 네트워크는, 복수의 컨볼루션 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 미리 설정된 가중치를 가지를 가지는 상기 컨볼루션 레이어의 컨볼루션 연산과, 상기 풀링 레이어의 서브샘플링 및 ReLU 함수를 통해 상기 몽타주의 차원을 축소해가며, 상기 몽타주로부터 얼굴윤곽에 대한 에지 및 코너를 추출함으로써, 상기 몽타주의 얼굴형태 특징값을 추출하도록 구성되고
   상기 제2 얼굴 부위별 특징값 추출 네트워크는, 상기 몽타주로부터 이마, 눈썹, 눈, 코 및 입을 포함하는 얼굴 부위를 각각 분류하여, 상기 분류한 얼굴 부위의 그라디언트 크기 및 방향을 추출함으로써, 상기 몽타주의 얼굴 부위별 특징값을 추출하도록 구성되는 것을 포함하며,
   상기 생성한 몽타주 특징데이터를 미리 저장된 몽타주 특징데이터와 유사도를 비교하여 몽타주를 인식함으로써 상기 수배자를 검출하는 것을 특징으로 하는 몽타주 인식을 통한 실시간 수배자 검출 방법.
7. 삭제
8. 청구항 6에 있어서,
   상기 몽타주 인식을 통한 실시간 수배자 검출 방법은,
   상기 몽타주 인식을 통한 실시간 수배자 검출 시스템에서, 상기 정규화한 얼굴영상을 얼굴영상 인식 네트워크를 통해 학습하여, 상기 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 추출하기 위한 얼굴영상 인식용 학습모델에 수배자의 얼굴영상을 쿼리데이터로 입력하여 얼굴영상을 인식하는 얼굴영상 특징값 추출 단계; 및
   상기 추출한 얼굴영상의 얼굴형태 특징값과 얼굴 부위별 특징값을 해당 위치에 배치 및 병합하여 전체적인 얼굴영상 특징데이터를 생성하는 얼굴영상 특징데이터 생성 단계;를 더 포함하며,
   상기 얼굴영상 인식 네트워크는,
   상기 얼굴영상으로부터 얼굴형태 특징값을 추출하기 위한 제1 얼굴형태 특징값 추출 네트워크 및 상기 얼굴영상으로부터 얼굴 부위별 특징값을 추출하기 제1 얼굴 부위별 특징값 추출 네트워크를 포함하는 두 개의 독립적인 계층으로 구성되며,
   상기 제1 얼굴형태 특징값 추출 네트워크는, 복수의 컨볼루션 레이어(convolutional layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하여 구성되며, 미리 설정된 가중치를 가지를 가지는 상기 컨볼루션 레이어의 컨볼루션 연산과, 상기 풀링 레이어의 서브샘플링 및 ReLU 함수를 통해 상기 얼굴영상의 차원을 축소해가며, 상기 얼굴영상으로부터 얼굴윤곽에 대한 에지(edge) 및 코너(corner)를 추출함으로써, 상기 얼굴영상의 얼굴형태 특징값을 추출하도록 구성되고,
   상기 제1 얼굴 부위별 특징값 추출 네트워크는, 상기 얼굴영상으로부터 이마, 눈썹, 눈, 코, 입 등을 포함하는 얼굴 부위를 각각 분류하고, 상기 분류한 얼굴 부위별로 그라디언트의 크기 및 방향을 추출함으로써, 상기 얼굴영상의 얼굴 부위별 특징값을 추출하도록 구성되는 것을 포함하며,
   상기 생성한 얼굴영상 특징데이터를 미리 저장된 얼굴영상 특징데이터와 유사도를 비교하여 얼굴영상을 인식함으로써 상기 수배자를 검출하는 것을 특징으로 하는 몽타주 인식을 통한 실시간 수배자 검출 방법.
9. 삭제
10. 삭제

Images