KR20190093799A - Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 CCTV를 통한 실시간 실종자 얼굴 인식 시스템 및 방법에 관한 것으로서 입력된 영상 또는 사진에서 얼굴을 검출하고 벡터화된 특징을 추출하여 얻은 얼굴 정보와 실종자 DB의 얼굴 정보를 비교 분석하여 일치율을 계산하는 서버, 상기 서버에 영상 또는 사진을 포함한 실종자의 정보를 입력하는 사용자 단말 및 상기 서버로 실시간 영상을 전송하는 CCTV를 포함한다.

Description

CCTV를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 { REAL-TIME MISSING PERSON RECOGNITION SYSTEM USING CCTV AND METHOD THEREOF }

본 발명은 실종자의 사진이나 영상을 학습하여 CCTV 영상으로부터 실종자를 인식하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템 및 방법에 관한 것이다.

얼굴인식기술이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다.

얼굴인식의 일반적인 단계는 다음과 같다. 얼굴 영상이 입력으로 주어지면, 복잡한 배경으로부터 얼굴 영역만을 분리해내고, 분리된 얼굴영역으로부터 특징을 추출한다. 추출된 특징에 기반 하여 얼굴인식을 수행한다. 마지막 단계인 얼굴인식은 다시 식별(identification)과 검증(verification)으로 나눌 수 있다.

식별은 시스템에 알려 지지 않은 영상이 입력으로 주어지면 시스템은 데이터베이스에 저장된 개인 중 가장 일치되는 사람을 출력해 준 다. 반면, 검증은 영상뿐 아니라 개인 식별 정보를 함께 입력하여, 시스템이 이를 검증하여 개인확인 또는 거절을 결정한다.

얼굴검출은 얼굴을 포함하는 최소영역을 찾아내는 것을 말하며, 응용에 따라 얼굴의 정확한 경계영역을 찾는 것을 포함할 수 있다. 최근에는 피부색 컬러 모델링을 통해 얼굴의 후보 영역을 찾고, 얼굴의 지형적 특징에 근거 한 단계적 분석을 통해 얼굴영역을 확정 짓는다.

인식단계에서는 매칭성능을 높이기 위해서는 얼굴영상을 효과적으로 표현하고 정규화 하는 과정이 필요하다. 얼굴영상을 표현하기 위해서 얼굴의 모양정보 및 텍스춰 정보를 벡터화 한다. 모양정보는 얼굴 요소 즉, 눈, 코, 입 등과 같은 얼굴요소 간의 지형적 특징으로, 거리, 비율 등의 정보가 이에 해당한다. 텍스춰 정보로는 얼굴 영 역내의 밝기 정보 자체로써 표현한다. 모양정보를 이용한 얼굴인식은 먼저, 눈, 코, 입과 같은 얼굴요소를 정확히 추출하는 것이 선행되어야 하는데, 이는 실제로 매우 어려운 문제로서 얼굴 인식 기술에는 거의 적용되지 않고 있다. 대표적인 모양정보를 이용한 얼굴인식 기법에는 그래프 매칭 방법이 있다. 이를 제외하고는 대부분 얼굴영역 전체를 텍스춰 정보로 사용하는 기법의 인식률이 높은 것으로 보고되고 있으며, 특히, 최근에는 얼굴요소 영역 기반 방식이 높은 인식률을 보고되고 있다.

얼굴의 벡터표현 하는 방법은 2차원의 얼굴영상을 1차원 벡터로 표현하는 것으로서, 각 픽셀 값을 차례대로 나열 하는 방법이다. 이러한 방법은 위치변환 및 포즈변화에 매우 민감하며, 저장 공간이 많이 요구된다. 128*128영상의 경우에는 2의14승의 바이트가 필요하며, 무엇보다도 벡터의 차원이 매우 커짐에 따라 학습을 효과적으로 수행할 수 없다. 따라서 고차원의 얼굴영상 벡터를 효과적으로 표현하기 위한 특징추출이 반드시 요구되어 진다.

또한, 정규화 과정이 필요한데 정규화 과정은 다음과 같다.

첫째, 어파인(affine)변환을 수행한다. 둘째, 영상의 밝기 정보를 조정하고 셋째, 배경 및 머리카락의 영향을 줄이기 위해 타원 매스크를 적용한다. 어파인 변환 에는 이동, 크기조정, 회전 변환을 포함한다. 두 눈을 기준으로 얼굴영상이 수직이 되도록 회전하고, 다시 일정 한 크기로 변환한 후, 두 눈이 항상 일정한 위치에 오도록 이동한다.

영상의 밝기 정보는 비선형 변환인 히스토그램 평활화를 적용하여 조정한다. 히스토그램 평활화를 통해 어느 정도 영상의 밝기에 무관한 얼굴영상을 얻을 수 있다. 그러나, 조명변화에 따른 그림자 효과는 제거할 수 없다. 포즈변화 등에 강인하게 인식을 수행하고, 용량을 줄이기 위하여 특징을 추출하는 기법이 사용된다.

PCA(Principal Component Analysis)기법은 기저벡터로써 공분산 행렬의 고유벡터를 찾는 문제이고, LDA(Linear Discriminant Analysis)는 클래스내의 분산은 작아지고 각 클래스의 평균간 거리는 멀어지도록 하는 기저벡터를 찾는 문제이다. LDA기법에서는 일반적으로 얼굴 벡터의 차원이 매우 크기 때문에 PCA를 적용한 후 다시 LDA를 적용한다. 얼굴 인식을 위한 인식기로는 NNC(nearest neighbor classifier), NN(neural network)등이 주로 사용되며, 최근에는 SVM(support vector machine)을 이용하고 있다. 평가방법론으로는 FERET과 XM2VTS가 사용되고 있다.

한편, 영상 기기 중의 하나인 CCTV(Closed Circuit Television)는 특정 건축물이나 시설물에서 특정 수신자를 대상으로 유선 또는 특수 무선 전송로를 이용해 화상을 전송하는 장치이다. 이는 산업용, 교육용, 의료용, 교통관제용, 감시용 등 다양한 용도로 사용되고 있지만, 대부분 우범지대에 무인 감시용으로 사용되는 경우가 많다.

이를 통해 대부분 범죄 예방 및 범인 발견 등으로 응용되어 사용되고 있지만, 이는 촬영된 영상을 통해 사람의 직관으로 이상 상황의 발생을 판단해야 한다. 인력을 필요로 하는 이러한 한계점을 시스템으로 대체하는 것이 지능형 영상분석이다.

만약 기존의 시스템에서 CCTV를 이용하여 실종자를 찾고자 한다면, 해당 구역 내의 촬영된 영상을 직접 사람이 보면서 수색해야 한다. 우리나라는 수사 전담팀이 존재하여 영상분석을 담당하고 실종자를 수사하게 되는데, 대부분의 인력이 실종사건 외 타 업무와 병행하고 있다. 따라서 영상분석에 투입되는 인력의 한계로 인해 수사시기를 놓치는 경우도 많아 매번 문제점이 제기되고 있다.

또한, 시간이 오래 소요되며, 실종·납치사건을 해결할 수 있는 평균적인 시간을 의미하는 크리티컬 아워인 7시간을 초과할 우려가 있다.

본 발명은 실종자 추적을 위한 CCTV 영상 분석에 있어서 전술한 얼굴 인식 기술을 접목하여 실종사건의 초동수사에 도움을 주고 실종사건 CCTV 영상분석의 노동력을 절감하기 위한 CCTV를 통한 실시간 실종자 얼굴 인식 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템은 네트워크에 연결된 CCTV, 상기 네트워크에 연결되어 영상 또는 사진을 포함한 실종자의 정보를 입력하는 사용자 단말; 및 상기 네트워크에 연결되어 상기 실종자의 정보로부터 얼굴을 검출하고 벡터화된 특징을 추출하여 얻은 얼굴 정보를 이용하여 실종자 데이터를 저장하고 상기 얼굴 정보를 토대로 상기 CCTV의 실시간 영상에서 얻은 얼굴 정보와 비교 분석하여 해당 실종자와 동일인의 얼굴을 인식한 것으로 판단한 경우 상기 사용자 단말에 실종자 발견 정보를 전송하는 것을 특징으로 하는 서버를 포함한다.

상기 서버는 상기 실시간 영상이나 상기 실종자의 정보에서 이미지를 추출한 뒤 상기 이미지에서 얼굴을 검출하는 얼굴검출부, 얼굴이 검출된 이미지에서 벡터화된 특징을 추출하고 상기 얼굴 정보가 상기 실종자의 정보에서 얻은 경우 실종자 데이터를 생성하여 실종자 DB에 저장하고 상기 얼굴 정보가 상기 실시간 영상에서 얻은 경우 상기 실종자 DB에 저장된 얼굴 정보와 일치율을 계산하여 그 값이 기 설정된 임계치 이상인경우 실종자와 동일인의 얼굴을 인식한 것으로 판단하는 얼굴인식부, 상기 실종자의 정보 및 상기 얼굴 정보를 포함하는 상기 실종자 데이터를 저장하는 실종자 DB 및 상기 얼굴인식부가 실종자와 동일인의 얼굴을 인식한 것으로 판단한 경우 해당 실종자의 얼굴이 검출된 이미지와 이를 포함하는 영상을 상기 실시간 영상으로부터 추출하여 해당 실종자의 정보와 함께 상기 실종자 발견 정보로 저장 후 상기 사용자 단말에 상기 실종자 발견 정보를 전송하는 출력부를 포함한다.

상기 실종자의 정보는 실종자의 이름, 성별, 나이, 주소, 실종 시간, 실종 장소, 실종자 관할 기관 연락처 및 사용자의 이름, 사용자의 연락처를 포함할 수 있다.

상기 실시간 영상은 촬영 장소, 촬영 시간에 관한 메타데이터를 포함하며 상기 서버는 상기 실시간 영상으로부터 얼굴이 검출된 경우 상기 CCTV에 고화질 영상을 요청할 수 있다.

상기 서버가 상기 사용자 단말에 상기 실종자 발견 정보를 전송하는 경우에 있어서,

상기 사용자 단말은 해당 실종자의 정보를 입력한 상기 사용자 단말의 사용자와 해당 실종자 관할 기관을 포함할 수 있고 상기 실종자 발견 정보에는 상기 실시간 영상에서 추출된 파일로서 실종자의 얼굴 정보와 일치된 인물이 촬영된 영상과 이미지 파일, 상기 실시간 영상의 촬영 장소 및 촬영 시간을 포함할 수 있다.

본 발명의 다른 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 방법은 CCTV, 사용자 단말, 서버를 포함하는 CCTV를 통한 실시간 실종자 인식 시스템을 이용한 CCTV를 통한 실종자 얼굴 인식 방법에 있어서, 상기 서버가 상기 CCTV의 실시간 영상에서 얼굴을 검출하는 얼굴 검출 단계, 상기 검출된 얼굴에서 상기 서버가 벡터화된 특징을 추출한 후 기 저장된 복수의 실종자의 얼굴 정보와 비교한 결과 일치율이 기 설정된 임계값 이상인 경우 어느 하나의 특정 실종자와 동일인의 얼굴을 인식한 것으로 판단하는 얼굴 인식 단계 및 상기 서버가 상기 특정 실종자의 얼굴을 포함하는 이미지와 영상을 상기 실시간 영상으로부터 추출하여 생성한 실종자 발견 정보를 상기 사용자 단말에 전송하는 실종자 발견 정보 전송 단계를 포함한다.

상기 얼굴 검출 단계 이전에 상기 서버가 사용자의 이름과 연락처, 실종자의 이름, 성별, 나이, 주소, 실종 시간, 실종 장소 및 실종자의 영상이나 사진을 포함한 실종자 정보를 상기 사용자 단말로부터 입력 받는 실종자 등록 단계 및 상기 서버가 상기 실종자 정보에서 얼굴을 검출하고 상기 검출된 얼굴에서 벡터화된 특징을 추출하여 실종자 데이터를 생성하여 저장하는 실종자 데이터 저장 단계를 포함하는 것을 특징으로 한다.

상기 서버가 벡터화된 특징을 추출함에 있어서 기 학습된 DNN(Deep Neural Network) 모델을 이용하여 벡터화된 특징을 추출하는 것을 특징으로 한다.

상기 실종자 발견 정보는 상기 실시간 영상의 촬영 장소, 촬영 시간을 포함하는 것을 특징으로 한다.

본 발명은 실종자의 사진 혹은 영상을 학습한 후, CCTV의 실시간 영상 분석을 통해 실종자 인식 시 알람을 주어 실종사건의 초동수사에 도움을 준다.

또한 실종자 추적을 위한 CCTV 영상 분석이 시스템에 의해 이루어지므로 부족한 인력을 대체하여 CCTV 영상 분석에 소요되는 시간을 최소화 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템의 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템에 포함되는 서버의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 얼굴을 인식하는 과정을 예시적으로 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 방법을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템이 실종자의 얼굴을 인식하는 과정을 설명하기 위한 다이어그램이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템 및 방법을 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템의 구조를 나타낸 도면이다.

도 1을 참조하면 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템은 네크워크(400)에 연결된 사용자 단말(100), CCTV(200) 및 서버(300)를 포함할 수 있다.

사용자 단말(100)은 서버(300)에 실종자 정보를 입력할 수 있는 통신 장치이다. 스마트 폰, 노트북, 데스크톱 및 태블릿 PC 등 데이터 통신이 가능한 일련의 전자기기를 모두 포함한다. 또한 복수로 존재할 수 있다.

사용자 단말(100)은 서버(300)에 실종자의 정보를 입력한다. 사용자 단말(100)의 사용자는 일반적으로 실종자의 가족, 지인 및 실종자 관할 기관(예를 들면 실종자 거주지 관할 경찰서)이 될 것이다. 따라서 상기 사용자는 상기 실종자의 정보를 입력하면서 자신의 정보 또한 입력하게 된다. 사용자 단말(100)에 의해 서버(300)에 입력되는 정보는 이름, 성별, 나이, 주소, 연락처를 포함한다. 이에 더불어 실종자의 정보인 경우에는 실종자의 사진이나 영상이 필수적이며 실종 시간, 실종 장소, 실종자 관할 기관 연락처를 더 포함할 수 있다.

CCTV(200)는 설치된 지역의 현장을 실시간으로 촬영하여 실시간 영상을 제공한다. 상기 실시간 영상은 네트워크(400)를 통해 서버(300)에 전송된다. 상기 실시간 영상은 촬영 장소, 촬영 시간에 관한 메타 데이터를 포함할 수 있다.

CCTV(200)는 적어도 하나 이상 존재 할 수 있다. 하나의 CCTV(200)가 촬영할 수 있는 범위에는 한계가 있기 때문에 복수로 존재하는 것이 바람직하다. 서버(300)에 연결된 CCTV(200)가 더 많이 존재할 수록 더 많은 지역을 포괄하여 실시간 영상을 제공할 수 있기에 실종자 추적에 유리하다.

서버(300)는 실종자 DB의 정보와 CCTV로부터 입력된 영상 정보를 비교 분석한다. 서버(300)는 입력된 영상 또는 사진에서 얼굴을 검출하고 벡터화된 특징을 추출하여 얼굴 정보를 얻는다. 서버(300)는 상기 얼굴 정보와 실종자 DB의 얼굴 정보를 비교 분석하여 일치율을 계산한다.

구체적으로 서버(300)는 사용자 단말(100)이 입력한 실종자 정보를 이용하여 실종자 데이터를 생성한다. 실종자 데이터에는 입력된 실종자 정보뿐만 아니라 실종자의 영상 또는 사진에서 얼굴을 검출하고 벡터화된 특징을 추출하여 얻어진 얼굴 정보를 포함하고 있다. 상기 실종자 데이터는 실종자 DB에 저장된다.

또한 서버는(300)는 CCTV(200)가 전송한 실시간 영상을 분석하여 상기 실시간 영상에서 얼굴을 검출하고 벡터화된 특징을 추출하여 얼굴 정보를 얻는다. 상기 실종자 DB에 저장된 얼굴 정보와 상기 실시간 영상의 얼굴 정보를 비교 분석하여 일치율을 계산하게 된다. 상기 일치율에 따라 서버(300)가 실종자와 동일인의 얼굴을 인식한 것으로 판단한 경우 해당 실종자 정보를 입력한 사용자 단말(100)에 실종자 발견 정보를 전송한다.

상기 실종자 발견 정보에는 상기 실시간 영상에서 추출된 파일로서 실종자의 얼굴 정보와 일치된 인물이 촬영된 영상과 이미지 파일, 상기 실시간 영상의 촬영 장소 및 촬영 시간을 포함할 수 있다.

본 발명의 다른 실시예에 따르면 서버(300)는 CCTV(200)의 실시간 영상에서 얼굴이 검출된 경우 CCTV(200)에 고화질 영상을 요청한다. 이를 통해 얼굴 인식의 정확도를 높일 수 있고 실종자 식별에 필요한 상황이 아니라면 화질을 높이지 않아 통신 트래픽을 줄여서 용량과 속도를 최적화 할 수 있다.

네트워크(400)는 유선 및 무선으로 연결된 네트워크를 포함하는 의미이다. CCTV를 포함하는 시스템의 경우 다른 네트워크와 분리되는 것을 선호한다. 보안상 이유도 있지만 네트워크 트래픽이 주 이유인데, 비디오 스트리밍은 다른 네트워크에서 사용하는 패킷들보다 더 많은 성능이 요구되기 때문이다.

다수의 CCTV(200)를 포함하는 대규모 네트워크(400)의 경우 채널당 100Mbps 포트를 사용하는 스위치에 연결되고 이런 스위치들은 기가비트 이더넷으로 서로 연결된다.　CCTV(200)와 네트워크 스위치 사이는 UTP 케이블을 사용하고 메인 스위치들은 광 케이블로 연결된다. 광 케이블을 사용하는 것은 기가비트의 대역폭 보장뿐만 아니라 100m보다 더 긴 전송 구간에 사용될 수 있는 전송 방식이 필요하기 때문이다.

운용자가 많거나 모니터가 많은 경우 멀티캐스팅을 고려해야 한다. 멀티캐스팅은 필요한 비디오 대역폭을 최소화하는 조건으로 사용하는데 적합한 방식으로, 개별적인 스트리밍 대신에 CCTV(200)에서 하나의 멀티캐스팅 스트림만 제공하고 특정 CCTV(200)를 관찰하려는 모든 운용자에 의해 접속되도록 하는 것이다.

또한 무선 방식을 이용하여 네트워크(400)와 CCTV(200)를 연결할 수 있다. 가장 일반적으로 사용되는 무선 표준은 IEEE 802.11 이다.

무선으로 CCTV(200)와 네트워크(400)를 연결하는 경우 주차장이나 도심지 같은 넓은 영역에 유연성 있고 비용 효율적이며 신속하게 카메라를 배치할 수 있다. 또한 지하에 케이블을 매설할 필요가 없다. 보존이 필요한 오래된 건물의 경우 표준 이더넷 케이블 설치가 불가능하다면 무선 방식을 통해 연결해야 한다.

도 2는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템에 포함되는 서버(300)의 내부 구성을 나타낸 도면이다.

도 2를 참조하면, 서버(300)는 실종자 DB(301), 얼굴검출부(302), 얼굴인식부(303) 및 출력부(304)를 포함할 수 있다.

실종자 DB(301)는 상기 실종자 데이터가 저장되는 데이터 베이스를 의미한다. HDD(Hard Disk Drive), SSD(Solid　State　Drive)와 같이 데이터를 저장할 수 있는 메모리나 기타 그 밖의 장치를 모두 포함한다. 본 발명의 다른 실시예에 따르면 실종자 DB(301)는 서버(300) 외부에 별도로 존재할 수 있다.

얼굴검출부(302)는 입력된 영상에서 이미지를 추출한 뒤 상기 이미지에서 얼굴을 검출한다. 본 발명의 다른 실시예에 따르면 얼굴검출부(302)는 상기 이미지에서 얼굴이 검출된 경우 CCTV(200)에 고화질 영상을 요청하여 다시 입력된 고화질 영상에서 이미지를 추출한 뒤 상기 이미지에서 얼굴을 검출한다. 이를 통해 얼굴 인식의 정확도를 높일 수 있고 실종자 식별에 필요한 상황이 아니라면 화질을 높이지 않아 통신 트래픽을 줄여서 용량과 속도를 최적화 할 수 있다.

상기 입력된 영상은 CCTV의 실시간 영상과 실종자 DB용 실종자의 영상을 포함한다. 입력된 정보가 이미지인 경우 이미지 추출을 할 필요 없이 바로 얼굴을 검출하게 된다.

본 발명의 일 실시예에 따른 얼굴 검출은 Viola Jones 알고리즘을 활용한다. Viola Jones 알고리즘은 유사 하르 특징(Haar-like feature)을 기반으로 한다.

Viola Jones 알고리즘의 핵심은 다음과 같다. 첫 번째로 적분 영상(Integral Image)을 계산하여 특징을 추출한다. 두 번째, AdaBoost 학습 알고리즘을 사용하여 단순하고 효율적인 분류기(classifier)를 만든다. 세 번째로 상기 분류기(classifier)를 조합한 케스케이드 분류기(cascade classifier)를 이용하여 얼굴이 아닌 배경 영역은 빠르게 탐색 영역에서 제외시킨다. 상기한 세 가지 내용을 이하 순서대로 설명한다.

입력된 영상에 대해 특징을 추출하기 위해 전체 영상에 대해 적분 영상(Integral image)을 계산한다. 이는 하기 수학식 1과 같이 표현된다.

는 적분 영상(Integral image)이며, 좌표 x의 좌측부, 좌표 y의 상단부에 의해 만들어지는 사각형에 포함된 픽셀의 합을 말한다. 이는 상기 수학식 1에서 x보다 작은 영역, y보다 작은 영역의 픽셀

를 모두 더하여 얻어진다.

유사 하르 특징(Haar-like feature)이란 사람의 얼굴에는 특별한 패턴이 있다는 것인데, 구체적으로 사람의 얼굴 이미지에 흑백의 사각형을 겹쳐 놓고 밝은 영역의 속한 픽셀 값들의 평균에서 어두운 영역에 속한 픽셀 값들의 평균의 차이를 구한다. 그 차이가 문턱값(threshold)을 넘으면 유사 하르 특징(Haar-like feature)이 있게 된다.

유사 하르 특징(Haar-like feature)의 경우 24*24 픽셀 기준으로 윈도우에 162336개의 특성이 있을 수 있다. 따라서 모든 특성을 고려하는 것은 훈련과 수행 속도를 늦추기 때문에 AdaBoost 학습 알고리즘을 사용한다. AdaBoost 훈련 과정은 모델의 예측 능력을 향상시킬 것으로 생각되는 특성들만 선택한다. 예를 들면 첫째, 눈의 영역은 코와 턱의 영역에 비해 어둡다는 특징과 둘째, 눈은 콧대보다 어둡다는 특징을 고려하는 것이다. 이는 차원수를 줄이는 동시에 필요 없는 특성들을 고려하지 않음으로써 잠재적으로 수행 시간을 개선시킨다. 이러한 특성들은 많은 표본 사진을 학습하여 얻어진다. 표본 사진은 Labeled Data로서 얼굴이 있는 사진과 얼굴이 없는 사진을 포함한다.

케스케이디드 분류기(Cascaded classifier)는 단순화된 분류기를 조합하여 얼굴을 포함하지 않은 영역을 제외시킨다. 더 단순하고 그래서 더욱 효율적인 분류기를 구축함으로써 얼굴을 포함할 것으로 예상되는 서브 윈도우를 탐지하는 동시에 얼굴을 포함하고 있지 않을 것으로 예상되는 서브 윈도우를 대다수 제거할 수 있다. 여기서 서브 윈도우란 얼굴을 검출하기 위해 감지하는 원본 이미지의 일부 영역을 말한다. 케스케이디드 분류기(Cascaded classifier)의 동작에 관하여 예를 들면, 첫 번째 분류기는 얼굴에서 100%에 가까운 확률로 감지되는 1개의 특징을 사용한다. 첫 번째 분류기는 전체 서브 윈도우 중 약 50%의 얼굴을 포함하지 않은 서브 윈도우를 제외시킨다.

두 번째 분류기는 얼굴에서 100%에 가까운 확률로 감지되는 5개의 특징을 사용한다. 첫 번째 분류기를 통과한 나머지 서브 윈도우 중 약 40% 가량의 얼굴을 포함하지 않은 서브 윈도우를 제외시킨다. 얼굴을 포함하지 않은 서브 윈도우를 포함하는 비율은 전체 서브 윈도우에 비해 20%로 감소한다.

세 번째 분류기는 얼굴에서 100%에 가까운 확률로 감지되는 20개의 특징을 사용한다. 두 번째 분류기를 통과한 서브 윈도우 중 얼굴을 포함하지 않은 약 10%가량의 서브 윈도우들을 제외시킨다. 얼굴을 포함하지 않은 서브 윈도우를 포함하는 비율은 전체 서브 윈도우에 비해 2%로 감소한다.

본 발명의 다른 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템에 있어서, 얼굴검출부(302)는 HOG(Histogram Of Gradient)를 사용하여 얼굴을 검출한다. HOG(Histogram Of Gradient)는 이미지의 지역적 기울기(gradient)를 해당 영상의 특징으로 사용하는 방법이다. HOG(Histogram Of Gradient)를 계산하는 순서는 다음과 같다.

첫째, 이미지에서 기울기(gradient)를 계산한다. 인접한 픽셀간 밝기 차이, 즉 밝기의 변화율이 기울기(gradient)에 해당한다. 이를 위해 이미지의 엣지(edge)를 검출한다. 엣지(edge) 검출에는 다양한 커널(kernel)이 사용된다. 소벨 커널(Sobel kernel), 프리윗 커널(Prewitt kernel), 컴퍼스 커널(Compass kernel) 등이 있으며 소벨 커널(Sobel kernel)이 많이 사용된다. 엣지(edge) 검출을 통해 이미지 내 각 영역의 모든 기울기(gradient) 값을 구할 수 있다.

둘째, 계산한 기울기(gradient)를 이용하여 로컬 히스토그램(Local Histogram)을 생성한다. 모든 셀(cell)에 대한 히스토그램(Histogram)을 생성한다.

셋째, 로컬 히스토그램(Local Histogram)을 블록(block) 단위로 이어 붙여 1D vector(HOG feature)를 생성한다.

여기서 셀(cell)이란 픽셀의 집합을 의미하고, 블록(block)이란 셀(cell)의 집합을 의미한다.

얼굴인식부(303)는 얼굴검출부(302)가 앞서 설명한 과정을 통해 얼굴을 검출하면 얼굴이 검출된 이미지에서 벡터화된 특징을 추출하여 얼굴 정보를 얻는다. 상기 얼굴 정보가 실종자의 정보에서 얻은 것인 경우 실종자 데이터를 생성하여 실종자 DB(301)에 저장한다. 상기 얼굴 정보가 CCTV(200)의 실시간 영상에서 얻은 경우 실종자 DB(301)에 저장된 얼굴 정보와 일치율을 계산하여 그 값이 기 설정된 임계치 이상인 경우 실종자와 동일인의 얼굴을 인식한 것으로 판단한다.

상기 벡터화된 특징이란 얼굴의 특징들을 수치화하여 다차원의 벡터 값으로 나타낸 것을 말한다. 이를 임베딩(embedding)이라고 한다. 본 발명의 일 실시예에 따르면 상기 벡터화된 특징을 얻기 위해 DNN(Deep Neural Network)이 사용된다. 얼굴 사진을 통해 기 학습된 DNN(Deep Neural Network) 모델을 사용하여 얼굴이 검출된 이미지로부터 수치화된 값들을 얻는다. 그 값들이 곧 상기 벡터화된 특징에 해당한다. 상기 벡터화 특징을 얼굴 정보로서 사용한다.

상기 실종자 데이터란 CCTV(200)의 실시간 영상에서 최종적으로 얻어진 얼굴 정보로부터 서버(300)에 입력된 실종자 중 어떤 실종자에 해당하는 지 구분하기 위한 것으로서, 얼굴인식부(303)가 사용자 단말(100)에서 입력된 실종자의 정보와 해당 얼굴 정보를 함께 학습하여 생성된 데이터를 의미한다. 학습 및 인식 시 얼굴인식부(303)는 지도 학습 모델 알고리즘을 사용한다.

본 발명의 일 실시예에 따르면 서포트 벡터 머신(support vector machine, SVM)을 사용한다. 서포트 벡터 머신(support vector machine, SVM)은　기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한　지도 학습　모델분류와 회귀 분석을 위해 사용된다.

분류에 해당하는 것이 실종자의 얼굴 정보를 실종자의 정보와 함께 학습하는 것이고, 회귀는 기 학습된 분류 모델을 이용하여 입력된 얼굴 정보가 어떠한 실종자에 해당하는 지 인식을 하는 것에 해당한다.

상기 일치율이란 실종자 데이터의 얼굴 정보와 CCTV(100)의 실시간 영상에서 얻어진 얼굴 정보가 일치하는 정도를 말한다.

상기 기 설정된 임계치라 함은 가장 높은 인식율을 얻기 위해 실험적으로 설정되는 값이다.

출력부(304)는 얼굴인식부(303)가 CCTV(100)의 실시간 영상으로부터 실종자와 동일인의 얼굴을 인식한 것으로 판단하는 경우 실종자 발견 정보를 사용자 단말(100)에 전송한다. 상기 실종자 발견 정보에는 상기 실시간 영상에서 추출된 파일로서 실종자의 얼굴 정보와 일치된 인물이 촬영된 영상과 이미지 파일, 상기 실시간 영상의 촬영 장소 및 촬영 시간을 포함할 수 있다.

본 발명의 다른 실시예에 따르면 출력부(304)는 사용자 단말(100)에 상기 실종자 발견 정보를 전송할 뿐만 아니라 해당 실종자의 정보와 함께 입력된 사용자, 실종자 관할 기관의 연락처로 메시지를 전송하거나 알람을 줄 수 있다.

상기와 같이 본 발명은 실종자의 사진 혹은 영상을 학습한 후 CCTV(200)의 실시간 영상 분석을 통해 실종자 인식시 실종자 발견 정보를 전송하거나 알람을 주므로 실종사건의 초동수사에 도움이 된다. 또한 실종자 추적을 위한 CCTV 분석에 있어 부족한 인력을 대체하여 분석에 소요되는 시간을 최소화 할 수 있다.

한편, 상기 장치의 각각의 구성요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.

그리고 본 명세서에서 각 기능부(또는 모듈)라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부는 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 또한, 본 명세서에서 '~부'라 함은, 각각 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다.

도 3은 본 발명의 일 실시예에 따라 얼굴을 인식하는 과정을 예시적으로 나타낸 흐름도이다.

도 3을 참조하면, 서버(300)로 이미지가 입력된다(R1). 얼굴검출부(302)는 이미지가 입력되면 기 학습된 모델에 따라 상기 이미지에서 얼굴을 검출한다(R2). 상기 기 학습된 모델이란 얼굴검출부(302)가 얼굴을 검출하기 위해 사용하는 케스케이디드 분류기(cascaded classifier)와 같은 모델을 포함하는 의미이다. 청색으로 표시된 점은 검출된 얼굴의 특징점이며 흑색으로 표시된 점은 상기 특징점의 평균을 구하여 표시한 점이다.

얼굴검출부(302)가 얼굴을 검출하게 되면 얼굴인식부(303)는 해당 이미지를 변환한다(R3). 상기 변환이란 각 이미지에서 얼굴의 특징점(예를 들면 눈, 입)이 동일한 위치에 오도록 변환(Transform)하는 것을 의미한다. 얼굴인식부(303)는 변환을 완료한 후 전체 이미지에서 해당 얼굴 부분만을 잘라낸다(R4). 변환(Transform) 및 자르기(Crop)가 완료된 얼굴 이미지는 DNN(Deep Neural Network) 모델을 통과하여 128차원의 값으로 수치화되어 표현된다(R5). 수치화되어 표현된 128차원의 벡터 값은 동일한 특징들을 모아서(clustering) 그 에 따른 유사 정도를 판단(similarity detection)하기 위해 사용된다. 얼굴을 인식하기 위해서는 기 학습된 분류기가 필요하다. 얼굴인식부(303)는 입력된 이미지가 인식을 위한 이미지(실종자)인 경우 이를 학습한다(classification). 얼굴인식부(303)는 입력된 이미지가 기 학습된 얼굴(실종자)에 해당하는 지 인식을 위한 이미지인 경우 기 학습된 얼굴의 특징과 입력된 얼굴의 특징 간의 일치율을 계산하여 얼굴을 인식하게 된다.

도 4는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 방법을 보여주는 흐름도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 방법은 서버가 사용자의 이름과 연락처, 실종자의 이름, 성별, 나이, 주소, 실종 시간, 실종 장소 및 실종자의 영상이나 사진을 포함한 실종자 정보를 사용자 단말로부터 입력받는 실종자 등록 단계(S401), 상기 실종자 정보에서 얼굴을 검출한 뒤 벡터화된 특징을 추출하여 얻은 얼굴 정보를 실종자 정보와 함께 저장하는 실종자 데이터 저장 단계(S402), CCTV(200)의 실시간 영상에서 얼굴을 검출하는 얼굴 검출 단계(S403), 상기 검출된 얼굴에서 상기 서버가 벡터화된 특징을 추출한 후 기 저장된 복수의 실종자의 얼굴 정보와 비교한 결과 일치율이 기 설정된 임계값 이상인 경우 어느 하나의 특정 실종자와 동일인의 얼굴을 인식한 것으로 판단하는 얼굴 인식 단계(S404) 및 상기 서버가 상기 특정 실종자의 얼굴을 포함하는 이미지와 영상을 상기 실시간 영상으로부터 추출하여 생성한 실종자 발견 정보를 상기 사용자 단말에 전송하는 실종자 발견 정보 전송 단계 (S405)를 포함한다.

S401단계에서 서버(300)에 입력된 정보는 실종자의 영상 정보로부터 얻어진 얼굴 정보와 함께 실종자 데이터를 생성한 뒤 실종자 DB(301)에 저장된다(S402). 실종자 데이터 생성과 관련한 구체적인 내용은 도 2에서 설명한 바와 동일하다.

S403 단계에서는 얼굴검출부(302)가 CCTV(200)의 실시간 영상에서 얼굴을 검출한다.

S404 단계에서는 얼굴검출부(302)가 얼굴을 상기 실시간 영상에서 얼굴을 검출하면 얼굴인식부(303)는 검출된 얼굴에서 벡터화된 특징을 추출한다. 얼굴인식부(303)는 상기 실시간 영상에서 추출된 벡터화된 특징을 실종자 DB(301)에 저장된 복수의 실종자의 얼굴 정보와 비교 분석하여 실종자에 해당하는 지 얼굴 인식을 수행한다. 얼굴 인식 결과 일치율이 기 설정된 임계값이 이상인 경우 어느 하나의 특정 실종자의 얼굴을 인식한 것으로 판단한다.일치율을 계산하여 얼굴 인식을 수행하는 구체적인 내용은 도 3에서 설명한 바와 동일하다.

S405 단계에서 얼굴인식부(303)가 어느 하나의 특정 실종자와 동일인의 얼굴을 인식한 것으로 판단한 경우, 출력부(304)가 실종자 발견 정보를 사용자 단말(100)에 전송한다.

상기 실종자 발견 정보에는 출력부(304)가 상기 실시간 영상에서 추출한 것으로서 특정 실종자의 얼굴을 포함하는 이미지와 영상이 포함된다. 상기 실종자 발견 정보는 상기 실시간 영상의 촬영 장소, 촬영 시간을 더 포함할 수 있다.

도 5는 본 발명의 일 실시예에 따른 CCTV를 통한 실시간 실종자 얼굴 인식 시스템이 실종자의 얼굴을 인식하는 과정을 설명하기 위한 다이어그램이다.

도 5를 참조하면 CCTV(200)는 B장소에 위치한 CCTV 2(B)(200-2)와 A장소에 위치한 CCTV 1(A)(200-1)이 있고, 사용자 단말(100)로는 사용자 단말1과 사용자 단말2가 있다. CCTV 2(B)(200-2)가 서버(300)에 실시간 영상2를 전송한다(S501). 그 다음 CCTV 1(A)(200-1)가 서버(300)에 실시간 영상1을 전송한다(S502). S501과 S502 단계에서 영상의 전송은 한번으로 끝나는 것이 아니라 실시간 영상1 및 2의 전송이 각각 개시된 것을 의미한다.

사용자 단말1(100-1)이 실종자 1의 정보를 입력한다(S503).

서버(300)는 실종자 1의 정보가 입력되면 실종자의 영상 또는 사진으로부터 얼굴을 검출하여 학습 후 실종자 데이터를 생성한 뒤 실종자 DB(301)에 저장한다. 그 다음 CCTV(200)로부터 제공받고 있는 실시간 영상 1, 2로부터 얼굴 정보를 얻은 후 실종자 DB(301)에 저장된 실종자 1의 얼굴 정보와 각각 비교한다.

서버(300)는 실시간 영상2에서 실종자 1의 얼굴을 인식하였기에 사용자 단말1(100-1)에 실종자 1 발견 정보를 전송한다(S504).

상기 실종자 1 발견 정보에는 실종자 1이 인식된 실시간 영상2의 파일, 해당 실시간 영상이 촬영된 장소(B), 해당 실시간 영상이 촬영된 시간(12시)이 포함되어 있다.

사용자 단말2(100-2)가 실종자 2의 정보를 입력한다(S505). 서버(300)는 실종자 2의 정보가 입력되면 상기와 같은 방식으로 실종자 DB(301)에 실종자 2의 실종자 데이터를 저장한다. 서버(300)는 실시간 영상1에서 실종자 2의 얼굴을 인식하였기에 사용자 단말2(100-2)에 실종자 2 발견 정보를 전송한다(S506).

상기 실종자 2 발견 정보에는 실종자 2가 인식된 실시간 영상1의 파일, 해당 실시간 영상이 촬영된 장소(A), 해당 실시간 영상이 촬영된 시간(16시30분)이 포함되어 있다.

상기와 같이 본 발명은 실종자의 사진 혹은 영상을 학습한 후 CCTV(200)의 실시간 영상 분석을 통해 실종자 인식 시 실종자 발견 정보를 전송해주므로 실종사건의 초동 수사에 도움이 된다. 또한 실종자 추적을 위한 CCTV 분석에 있어 부족한 인력을 대체하여 분석에 소요되는 시간을 최소화 할 수 있다.

본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다.

상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다.

추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다.

확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다.

본 발명은 또한 하나 이상의 실시 예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시 예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시 예는 여기에 설명된 하나 이상의 실시 예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다.

더구나, 전체 도면에서, 실시 예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 사용자 단말
200 : CCTV
300 : 서버
301 : 실종자 DB
302 : 얼굴검출부
303 : 얼굴인식부
304 : 출력부
400 : 네트워크

Claims (10)

1. 네트워크에 연결된 CCTV;
   상기 네트워크에 연결되어 영상 또는 사진을 포함한 실종자의 정보를 입력하는 사용자 단말; 및
   상기 네트워크에 연결되어 상기 실종자의 정보로부터 얼굴을 검출하고 벡터화된 특징을 추출하여 얻은 얼굴 정보를 이용하여 실종자 데이터를 생성 및 저장하고 상기 얼굴 정보를 토대로 상기 CCTV의 실시간 영상에서 얻은 얼굴 정보와 비교 분석하여 해당 실종자와 동일인의 얼굴을 인식한 것으로 판단한 경우 상기 사용자 단말에 실종자 발견 정보를 전송하는 것을 특징으로 하는 서버를 포함하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
2. 제1 항에 있어서,
   상기 서버는,
   상기 실종자 데이터를 저장하는 실종자 DB;
   상기 실시간 영상에서 추출된 이미지에서 얼굴을 검출하는 얼굴검출부;
   상기 검출된 얼굴에서 벡터화된 특징을 추출하고, 상기 추출된 특징을 상기 실종자 데이터와 비교하여 기 설정된 임계치 이상의 일치율인 경우 해당 실종자와 동일인인 것으로 판단하는 얼굴인식부; 및
   상기 해당 실종자의 얼굴이 검출된 이미지와 이를 포함하는 영상을 상기 실시간 영상으로부터 추출하여 상기 실종자 발견 정보로서 상기 사용자 단말에 전송하는 출력부를 포함하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
3. 제2 항에 있어서,
   상기 얼굴검출부는 상기 입력된 실종자 정보에서 이미지를 추출하여 얼굴을 검출하고,
   상기 얼굴인식부는 상기 실종자 정보로부터 검출된 얼굴로부터 벡터화된 특징을 추출하고 상기 실종자 데이터로 생성하여 상기 실종자 DB로 전송하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
4. 제1 항에 있어서,
   상기 실종자의 정보는 실종자의 이름, 성별, 나이, 주소, 실종 시간, 실종 장소, 실종자 관할 기관 연락처 및 사용자의 이름, 사용자의 연락처를 포함하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
5. 제1 항에 있어서,
   상기 실시간 영상은 촬영 장소, 촬영 시간에 관한 메타데이터를 포함하며,
   상기 서버는 상기 실시간 영상으로부터 얼굴이 검출된 경우 상기 CCTV에 고화질 영상을 요청하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
6. 제5 항에 있어서,
   상기 서버가 상기 사용자 단말에 상기 실종자 발견 정보를 전송하는 경우에 있어서,
   상기 사용자 단말은 해당 실종자의 정보를 입력한 상기 사용자 단말의 사용자와 해당 실종자 관할 기관을 포함하며,
   상기 실종자 발견 정보에는 상기 실시간 영상에서 추출된 파일로서 실종자의 얼굴 정보와 일치된 인물이 촬영된 영상과 이미지 파일, 상기 실시간 영상의 촬영 장소 및 촬영 시간을 포함하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 시스템.
7. CCTV, 사용자 단말, 서버를 포함하는 CCTV를 통한 실시간 실종자 인식 시스템을 이용한 CCTV를 통한 실종자 얼굴 인식 방법에 있어서,
   상기 서버가 상기 CCTV의 실시간 영상에서 얼굴을 검출하는 얼굴 검출 단계;
   상기 검출된 얼굴에서 상기 서버가 벡터화된 특징을 추출한 후 기 저장된 복수의 실종자의 얼굴 정보와 비교한 결과 일치율이 기 설정된 임계값 이상인 경우 어느 하나의 특정 실종자와 동일인의 얼굴을 인식한 것으로 판단하는 얼굴 인식 단계; 및
   상기 서버가 상기 특정 실종자의 얼굴을 포함하는 이미지와 영상을 상기 실시간 영상으로부터 추출하여 생성한 실종자 발견 정보를 상기 사용자 단말에 전송하는 실종자 발견 정보 전송 단계를 포함하는 CCTV를 통한 실시간 실종자 얼굴 인식 방법.
8. 제7 항에 있어서,
   상기 얼굴 검출 단계 이전에,
   상기 서버가 사용자의 이름과 연락처, 실종자의 이름, 성별, 나이, 주소, 실종 시간, 실종 장소 및 실종자의 영상이나 사진을 포함한 실종자 정보를 상기 사용자 단말로부터 입력 받는 실종자 등록 단계; 및
   상기 서버가 상기 실종자 정보에서 얼굴을 검출하고 상기 검출된 얼굴에서 벡터화된 특징을 추출하여 실종자 데이터를 생성하여 저장하는 실종자 데이터 저장 단계를 포함하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 방법.
9. 제7 항에 있어서,
   상기 서버가 벡터화된 특징을 추출함에 있어서,
   기 학습된 DNN(Deep Neural Network) 모델을 이용하여 벡터화된 특징을 추출하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 방법.
10. 제7 항에 있어서,
    상기 실종자 발견 정보는 상기 실시간 영상의 촬영 장소, 촬영 시간을 포함하는 것을 특징으로 하는 CCTV를 통한 실시간 실종자 얼굴 인식 방법.
    

Images