KR20170015639A - 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 - Google Patents

Abstract

본 발명은 제어부(301)에 의하여 제어되며 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 입력부(303)와, 제어부(301)와, 상기 제어부(301)에 의하여 제어되는 표시부(305)와, 제어부(301)에 연결되며 사용자로부터 명령을 입력받는 입력부(307)와, 제어부(301)에 연결된 메모리 장치인 저장부(309)를 포함하며; 상기 저장부(309)에는 얼굴 데이터베이스를 포함하는 정보 DB(310)와 얼굴 인식 프로그램(320)이 저장되며; 입력부(307)를 통하여 상기 얼굴 인식 프로그램(320)의 실행명령이 입력되면 화상 입력부(303)를 통하여 입력되어 저장부에 저장된 화상 데이터에서 적어도 하나 이상의 얼굴 영역을 검출하여 저장부(309)에 저장하고, 각 얼굴 영역의 특징값을 추출하며, 그 특징값을 정보 DB(310)에 포함된 얼굴 데이터베이스의 얼굴 사진들의 특징값과 비교하며 개인이 식별되며, 화상 데이터에 포함된 EXIF 데이터를 추출하여 식별된 개인 사진이 화상 데이터의 촬영 시각과 함께 표시부(305)에 디스플레이되도록 제어부(301)에 의하여 제어되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 그 방법에 관한 것이다.

Description

디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법{Personal Identification System And Method By Face Recognition In Digital Image}

본 발명은 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법에 관한 것으로, 보다 상세하게는 CCTV, 블랙박스, 스마트폰, 디지털 카메라 등의 영상 저장장치에 저장된 화상 데이터에서 얼굴을 인식하는 단계에서부터 인식된 얼굴을 얼굴 데이터베이스인 정보 DB에 포함된 얼굴의 특징값을 비교하여 개인을 식별하고 식별된 개인에 대한 얼굴 이미지 등 정보는 데이터베이스화하여 정보 DB로 저장부에 저장하여 개인을 식별하는 자료로 사용하며, 검출된 얼굴 사진은 화상 데이터에 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각과 촬영 시각별 위치 정보를 추출하여 얼굴이 인식된 개인의 타임라인과 타임라인에 따른 동선 정보를 제공하는, 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 에 관한 것이다.

얼굴 인식과 관련된 선행 기술로는 특허등록번호 10-1381439에 "얼굴 인식 장치 및 얼굴 인식 방법"이 공개되어 있다. 도 1은 종래의 얼굴인식 장치의 블록 구성을 도시한 것이다.

얼굴 인식 장치(100)는 화상입력부(101), 얼굴 영역 검출부(102), 방법 유지부(103), 방법 선택부(104), 특징점 검출부(105), 특징 추출부(106), 인물 정보 관리부(107), 인식부(108) 및 표시부(109)를 구비한다. 또한 얼굴 인식 장치(100)는 카메라(150)로부터 촬영된 영상인 화상 데이타로부터 얼굴 부분(이하에서 '얼굴'이라 한다)을 검출하여 미리 저장되어 있는 얼굴의 특징값에 기초하여 얼굴 인식을 통해 얼굴을 인증한다. 상기 화상 데이터가 동영상인 경우 동영상은 exe, avi, mp4 등과 같은 다양한 포멧일 수 있다.

도 2는 카메라(150)로부터 입력된 화상 데이터의 예를 나타낸 도면이다.

화상 데이터는 여러 크기의 얼굴 영역이 포함되는 경우가 있다(예를들면, 영역 211, 212, 213). 화상 데이터에서 얼굴 크기가 작게 비치는 경우(영역 211), 얼굴 영역에 상당하는 화상의 해상도는 매우 낮아진다. 이로 인해, 얼굴 크기가 작고 해상도가 낮은 화상에 대하여, 종래부터의 고해상도에 적합한 방법으로 얼굴 인식 처리를 행하면, 얼굴 특징점 검출에 의해 올바른 위치를 검출할 수 있어, 특징점의 위치가 어긋나기 쉽다는 문제가 발생하고 있었다. 또한, 특징점을 추출하는 처리를 행할 때에, 해상도에 따라서는 필요한 특징 정보를 취득할 수 없어, 식별 대상의 얼굴이 모두 유사한 특징 정보가 되어 버려 식별 정밀도가 저하되고 있었다.

얼굴 영역 검출부(102)는 화상 입력부(101)에 의해 입력된 화상 데이터로부터 인물의 얼굴 영역을 검출한다. 상기 얼굴 영역 검출부(102)는 입력된 화상 데이터 내에서, 당해 화상 데이타 상의 휘도 정보를 이용하여 얼굴의 영역을 나타내는 좌표를 구한다. 얼굴의 영역을 검출하는 방법으로는 종래 여러 가지 방법이 알려져 있다. 예로서, 문헌(미타 유우지 외: 「얼굴 검출에 적합한 공기(공기(共起))에 기초하는 Joint Haar-like 특징」전자 정보 통신 학회 논문지(D), vol.J89-D, 8, pp1791-1801(2006))에 나타난 방법을 사용하여 얼굴 영역을 검출한다. 다른 검출 방법의 예로서는, 미리 준비된 템플릿을 입력된 화상 데이터 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 영역으로서 검출하는 방법이나 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등을 사용하는 방법이 있다.

도 2에 도시된 바와 같이 검출하는 얼굴 영역의 형상은 직사각형 형상의 형상으로 검출한다. 그리고, 직사각형 형상의 정점을 나타낸 좌표를, 얼굴 영역으로 한다.

방법 유지부(103)는 얼굴 영역 검출부(102)로부터 검출된 얼굴 영역으로부터 얼굴의 특징을 검출 처리하는 검출 방법을 검출 처리의 거칠기 차이에 기초하여 복수 유지한다. 상기 방법 유지부(103)는 3종의 얼굴의 특징점의 검출 방법을 유지ㅎ하며, 4종 이상의 검출 방법이나 2종의 검출 방법으로도 한다.

특징 추출부(106)는 동일 인물로서 대응시켜진 복수 프레임의 얼굴 영역 중, 인물을 인식하기 위해 적절한 화상을 1매 선택하고, 선택된 얼굴 영역으로부터 얼굴의 특징 정보인 특징값을 추출한다. 또한, 특징 추출부(106)는 얼굴 영역의 크기가 커질 때마다, 특징값을 추출하는 처리를 행함으로써, 최대의 크기의 얼굴 영역이 검출될 때까지 임의의 매수의 화상 데이터가 이용된다.

도 3은 방법 유지부가 유지하는 얼굴 특징점 검출 방법의 특징을 도시한 도면이다.

상기 방법 유지부(103)는 제1 얼굴 특징점 검출 방법과, 제2 얼굴 특징점 검출 방법, 제3 얼굴 특징점 검출 방법을 구비한다. 그리고, 각종 얼굴 특징점 검출 방법은 도 3에 도시된 바와 같이 각각 다른 특징을 갖춘다.

제1 얼굴 특징점 검출 방법은 3종의 검출 방법 중, 검출 처리가 가장 거칠기 때문에, 저해상도에 강하지만, 인식 정밀도가 낮게 된다. 제2 얼굴 특징점 검출 방법은 3종의 검출 방법 중, 2번째로 검출 처리가 거칠고, 저해상도에 2번째로 강하고, 인식 정밀도는 2번째로 높다. 제3 얼굴 특징점 검출 방법은 3종의 검출 방법 중, 검출 처리가 가장 세밀하기 때문에, 저해상도에 약하지만, 해상도가 높은 경우에는 인식 정밀도가 가장 높다. 검출된 얼굴 영역의 크기에 맞추어, 이들 3종의 얼굴 특징점 검출 방법 중, 최적의 얼굴 특징점 검출 방법을 사용한다.

방법 선택부(104)는 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역의 화상 크기에 기초하여, 방법 유지부(103)가 유지하는 얼굴 특징점 검출 방법으로부터 후술하는 특징점 검출부(105)에서 사용하는 얼굴 특징점 검출 방법을 선택한다. 얼굴 소수가 소정의 임계값 이상인지 여부에 기초하여 얼굴 특징점 검출 방법을 선택한다.

3종의 얼굴 특징점 검출 방법을 유지하는 경우, 방법 선택부(104)는 2종류의 해상도의 임계값을 사용하여 얼굴 특징점 검출 방법을 선택한다. 2종류의 해상도 임계값을 A 및 B(B＜A)로 한다. 그리고, 방법 선택부(104)는 산출된 가로 폭(또는 세로 폭)이 B미만인 경우, 제1 얼굴 특징점 검출 방법을 선택한다. 또한, 방법 선택부(104)가 산출된 가로 폭(또는 세로 폭)이 B이상이면서 A미만인 경우, 제2 얼굴 특징점 검출 방법을 선택하고, A이상인 경우, 제3 얼굴 특징점 검출 방법을 선택한다.

특징점 검출부(105)는 방법 선택부(104)에 의해 선택된 얼굴 특징점 검출 방법을 사용하여 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역으로부터 눈, 코 등의 얼굴 부위의 위치를 얼굴의 특징점으로 추출한다.

제1 얼굴 특징점 검출, 제2 얼굴 특징점 검출 방법 및 제3 얼굴 특징점 검출 방법은 각각 검출 처리의 대략 정도는 상이하기는 하지만, 검출 대상으로 되는 특징점의 개소(예를 들어, 눈시울, 눈꼬리 등) 및 특징점의 수는 변함없다.

도 4는 특징점 검출부(105)에 의해, 각종 얼굴 특징점 검출 방법으로 검출된 눈, 코, 입, 이마의 특징점의 예이다. 도 4의 "X"로 나타낸 개소가 특징점의 예라고 하면. 도 4에 도시되 바와 같이, 상기 특징점 검출부(105)는 15개의 특징점을 검출한다.

이에 의해, 제1 얼굴 특징점 검출 방법, 제2 얼굴 특징점 검출 방법 및 제3 얼굴 특징점 검출 방법 중, 어느 검출 방법을 사용하여 얼굴의 특징 정보인 특징값을 추출한 경우에도, 인식부(108)가 인물 정보 관리부(107)에 저장된 각 인물의 얼굴의 특징 정보인 특징값과 비교하여, 인물의 인증을 행할 수 있다. 다음에 각 얼굴 특징점 검출 방법에 대하여 구체적으로 설명한다.

제1 얼굴 특징점 검출 방법은 얼굴의 세밀한 구조 정보가 보이지 않을 정도로 얼굴 영역이 저해상도가 되는 경우에 사용된다. 제1 얼굴 특징점 검출 방법은 검출하고 싶은 얼굴 특징점 좌표의 평균적인 모델(와이어 프레임)을 얼굴 방향에 따라 복수 종류로 미리 구비해 둔다. 그리고 특징점 검출부(105)가 검출 처리를 행할 때, 얼굴 영역에 포함되어 있는 휘도값, 미리 구비해 둔 평균적인 모델(와이어 프레임)을 비교하여 가장 일치도가 높은 와이어 프레임을 적용한다. 그 때에, 얼굴의 방향 등도 고려하여, 가장 얼굴 다운 부위에 와이어 프레임을 적용한다. 그리고, 특징점 검출부(105)는 적용한 와이어 프레임에 따라 얼굴의 특징점을 검출한다.

제2 얼굴 특징점 검출 방법은 제1 얼굴 특징점 검출 방법에 비하여 얼굴 특징점의 검출 위치 정밀도가 좋지만 제3 얼굴 특징점 검출 방법에 비하여, 얼굴의 부위마다 미세한 위치 정밀도를 갖고 있지 않다. 제2 얼굴 특징점 검출 방법은 문헌(Cootes.T.F, Walker.K,, TaylorC.J, "View-based active appearance models", Image and Vision Computing 20, pp 227-232, 2002)을 참고로 한, 소위 AAM(Active Appearance model)에 의한 얼굴의 표정의 트래킹을 생각할 수 있다. 특징점 검출부(105)에서는 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 표정의 트래킹을 행함으로써, 얼굴의 특징점이 되는 위치가 검출된다.

제3 얼굴 특징점 검출 방법은 얼굴 영역의 해상도가 충분히 큰 경우에 이용이 가능하며, 얼굴 특징점의 형상 정보나 휘도 분포 정보를 이용함으로써 얼굴의 특징점을 검출하는 방법이다. 이 제3 얼굴 특징점 검출 방법은 얼굴 영역의 해상도가 충분히 큰 경우, 3종의 얼굴 특징점 검출 방법 중, 가장 검출 위치 정밀도가 높은 검출 방법이다.

제3 얼굴 특징점 검출 방법으로는 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, .전자 정보 통신 학회 논문지(D), vol. J80-D-II, No.8, pp2170-2177(1997))에 나타난 방법이 적용된다. 이에 의해 눈이나, 코, 입가 등의 특징점이 검출된다. 또한, 입의 영역을 나타내는 특징점의 검출에는, 문헌(유아사 마유미, 나카지마 아키코: 「고정밀도 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」제10회 화상 센싱 심포지엄 예고집, pp219-224(2004))에 나타난 방법이 사용될 수 있다. 제3 얼굴 특징점 검출 방법으로서 어떤 방법을 사용한 경우든, 2차원 배열 형상의 화상으로서 취급할 수 있는 정보를 취득하여, 상기 정보로부터 얼굴의 특징점을 검출할 수 있다.

복수의 얼굴이 화상 데이터 내에 존재한 경우, 특징점 검출부(105)는 마찬가지의 처리를 각각의 얼굴 영역에 얼굴의 대하여 실행함으로써 대응 가능하게 한다.

특징 추출부(106)는 특징점 검출부(105)가 검출한 얼굴의 특징점으로부터 얻어지는 얼굴의 개인을 식별 가능한 얼굴의 특징을 나타내는 특징 정보(이하, "특징값"이라고 한다)를 추출한다. 이에 의해, 복수 종류의 얼굴 특징점 검출 방법의 어느 하나를 사용한 특징값을 추출할 수 있다. 특징 추출부(106)는 특징값으로서, 얼굴의 각 특징을 나타내는 수열을 출력한다. 상기 특징 추출부(106)는 특징 검출부(106)에 의해 검출된 얼굴의 특징점의 좌표에 기초하여, 얼굴의 영역을 일정한 크기, 형상으로 분할하고, 그 농담 정보를, 얼굴의 특징을 나타내는 특징량으로 추출한다. m픽셀 × n픽셀의 영역의 농담값을 그대로 정보로서 이용하여 m×n 차원의 정보를 특징량 벡터로서 추출한다.

특징 추출부(106)에서는 특징량 벡터와, 특징량 벡터의 길이를 단순 유사도법에 의해 각각 1로 하도록 정규화하고, 내적을 산출함으로써 특징 벡터간의 유사성을 나타내는 유사도를 구한다. 상기 방법은, 문헌(엘키 오야저, 오가와 히데미쯔, 사토 마코트 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년)에 나타난 부분 공간법을 이용함으로써 실현할 수 있다. 또한, 문헌(도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」특허 공보 일본 특허 공개 제2007-4767)에 나타난 1매의 얼굴 화상 정보에 대하여 모델을 이용하여 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상 데이터를 생성함으로써, 정밀도를 향상시킨다. 이들 방법을 사용함으로써 1매의 화상 데이터로부터 특징값을 추출할 수 있다. 상기 특징 추출부(106)는 특징점 검출부(105)에 의해 특징점을 검출한 후에, 상기 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 행한다. 방향 보정은, 예를 들면 검출되 얼굴의 방향이 좌향인 경우, 미리 구비한 인물의 얼굴의 3차원 모델을 좌향의 얼굴을 적용하여 정면으로 방향을 변경하는 보정으로 한다. 크기 보정은 미리 기준으로 한 얼굴 크기에 맞추기 위해 축소, 확대를 행하는 보정이다. 이들 보정을 행한 후, 특징값을 추출한다. 이에 의해, 검출된 얼굴의 방향 및 얼굴 크기에 관계없이, 특징 추출부(106)가 추출하는 특징값을 통일시킬 수 있다. 이에 의해, 인물 정보 관리부(107)가 관리하는 있는 인물의 특징값의 비교가 용이하게 된다.

상기 인물 정보 관리부(107)는 인물마다, 미리 등록된 특징값을 관리한다. 인물 정보 관리부(107)는 인식부(108)가 인물의 인식 처리를 행할 때에 사용되는 데이터베이스이다. 본 실시 형태에 관한 인물 정보 관리부(107)는 검색 대상으로 되는 개인마다, 특징 추출부(106)에 의해 추출된 특징값, 상기 개인의 성별, 연령 및 신장 등의 속성 정보 외에, 상기 인물을 나타내는 인물 ID나 이름 등도 대응되도록 하여 관리한다.

관리 대상으로 되는 특징 추출부(106)에 의해 추출된 특징값을 m x n의 특징량 벡터나, 부분 공간이나 KL 전개를 행하기 직전의 상관 행렬이어도 좋다. 또한, 특징 추출부(106)에 의해 추출된 특징값을 화상 입력부(101)에 의해 입력된 화상 데이터와 함께 관리함으로써 개인의 검색이나 검색의 표시가 용이하게 된다.

인식부(108)는 특징 추출부(106)에 의해 추출된 특징값과, 인물 정보 관리부(107)에 의해 기억된 특징값에 인물에 관한 정보에 기초하여, 화상 입력부(101)에 의해 입력된 화상 데이터에 포함되어 있던 인물을 인식한다. 본 실시 형태에 관한 인식부(108)는 특징 추출부(106)에 의해 추출된 특징값에 유사한 인물 정보 관리부(107)에 기억된 특징값을 추출하고, 추출한 특징값으로 나타난 인물을 카메라(150)로 촬영된 후보자로서 인식한다.

상기 인식부(108)는 특징 추출부(106)에 의해 추출된 특징값과, 인물 정보 관리부(107)에 기억된 특징값 사이에 유사성을 산출하고, 유사성이 높은 특징값의 순서대로, 상기 특징값으로 표현된 정보를 표시부(109)(예, LCD 화면)에 출력한다. 인식부(108)는 처리 결과 유사성이 높은 얼굴 식별 정보부터 순서대로, 인물 정보 관리부(107)에 의해 상기 얼굴 식별 정보와 대응시켜진 인물 ID나 산출된 유사성을 나타내는 정보를 출력한다. 그 밖에 상기 인물 ID에 대응시켜지고 있는 인물에 관한 여러 가지 정보가 될 수도 있다.

또한, 인식부(108)는 특징 추출부(106)에서 추출된 특징값과 대응되도록 하여, 특징점 검출부(105)가 검출에 사용한 얼굴 특징점 검출 방법을 특징 추출부(106)를 통하여 특징점 검출부(105)로부터 취득한다. 그리고, 인식부(108)는 취득한 얼굴 특징점 검출 방법을 식별하는 상기 방법으로 검출된 특징값과 대응지어 표시부(109)에 출력한다.

유사성을 나타내는 정보는 특징값으로서 관리되는 부분 공간끼리의 유사도로 한다.

유사도 산출 방법은 부분 공간법이나 복합 유사도법 등의 산출 방법을 사용해도 좋다. 이들 산출 방법에서는 인물 정보 관리부(107)에 기억된 특징값 및 특징 추출부(106)에 의해 추출된 특징값이 부분 공간으로서 표현된다. 그리고, 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 그리고, 인식부(108)는 이들 2개의 부분 공간에 기초하여 상관 행렬 Cin을 구한 후, Cin = φinAinφinT와 대각화하여, 고유벡터 φin을 구한다. 그 후, 인식부(108)는 2개의 φin, φinT로 표시되는 부분 공간의 부분 공간 간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다. 또한, 구체적인 산출 방법에 대해서는, 예를 들어 상술한 문헌(엘키 오야 저, 오가와 히데미쯔, 사토 마코토 번역, 「패턴 인식과 부분 공간법」, 산업도서, 1986년)에 나타난 방법을 사용해도 좋다. 또한, 미리 동일 인물이라고 아는 복수의 얼굴 화상을 통합하여 부분 공간에의 사영에 의해 본인인지 여부를 식별함으로써 정밀도를 향상시켜도 좋다. 또한, 고속으로 검색하기 위해 TREE 구조를 이용한 검색 방법 등을 이용해도 좋다.

도 5는 표시부에 표시된 디스플레이의 예를 도시한 도면이다. 표시부(109)는 화상 입력부(101)에 의해 입력된 화상 데이터군과, 상기 화상 데이터에 포함되어 있던 얼굴 영역에 기초한 인식에서 유사도가 높다고 판정된 후보자에 관한 정보를 표시한다. 도 5의 우측 란에 도시한 바와 같이, 표시부(109)는 유사도 높은 순서대로 5번째까지의 후보자에 관한 정보를 표시하고 있다. 또한, 좌측란에서는 카메라(150)로 촬영한 화상 데이터 중, 인물의 얼굴이 포함되어 있던 화상 데이터를 표시한다.

또한, 표시부(109)는 인물의 인증 결과를 표시할 때에 얼굴의 특징점 검출 방법에 기초한 검출 신뢰도를 나타내는 기호를 표시한다. 본 실시 형태에서는 화상 데이터에 얼굴이 크게 비치는 경우에는, 제3 얼굴 특징점 검출 방법을 이용할 수 있기 때문에, 검출된 특징점의 좌표에 대해서도 높은 정밀도를 기대할 수 있다. 이로 인해 검출 정밀도가 높은 것을 나타내는 '○'(503)표시한다. 또한, 화상 데이터에 얼굴이 어느 정도의 크기로 비춰지는 경우에는, 제2 얼굴 특징점 검출 방법을 이용할 수 있기 때문에, 검출 정밀도가 보통 정도인 것을 나타내는 '△'(502,501)을 표시한다. 또한, 화상 데이터에 얼굴이 작게 비춰지는 경우에는, 제1 얼굴 특징점 검출 방법을 이용하기 때문에, 검출된 특징점 좌표에 대해서, 검출 정밀도가 다른 2개보다 낮은 것을 나타내는 '-'을 표시한다.

도 6은 표시부에 표시된 디스플레이의 다른 예를 도시한 도면이다.

화면의 예에서는, 각 인물의 얼굴마다 얼굴 영역만 표시하고, 특징점 좌표를 표시하지 않고 있다. 이것은 얼굴의 부위를 파악하기 쉽도록 하기 위함이다. 표시부(109)는 입력된 화상 데이터 중, 검출된 얼굴 영역에 대하여 사용한 얼굴 특징점 검출에 기초하는 검출 신뢰도, 예를 들면, '○'(601), '△'(602)를 표시한다. 이에 의해, 사용자는 얼굴 영역마다 검출된 얼굴의 특징점의 검출 정밀도에 대해 신뢰성이 높은지 여부를 인식할 수 있다.

도 7은 얼굴 인식 장치에 있어서, 인물의 얼굴의 인식 처리의 순서를 나타내는 흐름도이다.

화상 입력부(101)가 카메라(150)로부터 화상 데이터를 얼굴 인식 장치(100)로 입력 처리한다(S701). 이어서, 얼굴 영역 검출부(102)가 입력 처리된 화상 데이터로부터 얼굴 영역의 검출을 행한다(S702).

이어서, 방법 선택부(104)가 검출된 얼굴 영역의 크기가 소정의 임계값 B 이상인지 여부를 판정한다(S703). 그리고, 소정의 임계값 B 미만이라고 판정되는 경우(S703: "아니오"), 방법 선택부(104)가 제2 얼굴 특징점 검출 방법을 선택한다(S707). 그리고 특징점 검출부(105)가 검출된 얼굴 영역에 대하여, 선택된 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(S708).

또한, 방법 선택부(104)가 검출된 얼굴 영역의 크기가 소정의 임계값 A 이상이라고 판정된 경우(S706: "예") 방법 선택부(104)가 제3 얼굴 특징점 검출 방법을 선택한다(S709). 그리고 특징점 검출부(105)가 검출된 얼굴 영역에 대하여 선택된 제3 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(S710).

그리고, 특징 추출부(106)가 검출된 얼굴의 특징점에 기초하여 얼굴의 특징 정보인 특징값을 추출한다(S711). 그때, 특징 추출부(106)는 검출한 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 한다. 이에 의해 화상 데이터의 얼굴 영역 마다 다른 크기, 밝기, 얼굴의 방향이 수정된다.

그 후, 인식부(108)가 특징 추출부(106)에 의해 추출된 특징값과, 인물 정보 관리부(107)에 의해 저장된 특징값에 기초하여 얼굴 인식 처리를 행하여 화상 데이터에 비친 인물의 후보를 추출한다(S712). 그리고, 표시부(109)가 추출된 후보자의 일람과, 얼굴 특징점 검출 방법에 기초하는 신뢰도를 표시한다(S713)

상기와 같은 종래의 얼굴 인식 방법은 영상에 포함된 개인의 얼굴들 인식하고 얼굴의 특징점을 추출하여 대비할 뿐이고, 인식된 개인에 대한 구체적인 정보가 제공되지 못하며, CCTV, 차량용 블랙박스, 스마트폰 등과 같은 영상 촬영기기가 대중화됨에 따라 증거로 수집되는 영상물의 양은 방대하고, 이러한 방대한 영상물에 촬영된 개인들에 요약은 상당한 노력과 시간이 필요하며, 인력으로 처리하기엔 시간이 많이 소요되고 피로해지며, 누락될 염려도 있으며, 따라서 중요한 단서를 놓칠 수 있는 문제점이 있었다.

대한민국 공개 제10-2004-0028210호 공개특허공보 대한민국 특허 제10-0723417호 등록특허공보 대한민국 특허 제10-0863882호 등록특허공보 대한민국 특허 제10-0828411호 등록특허공보 대한민국 특허 제10-0847142호 등록특허공보 대한민국 특허 제10-1117549호 등록특허공보 대한민국 특허 제10-1381439호 등록특허공보

본 발명은 상기와 같은 종래 기술이 가지는 문제점을 해결하기 위하여 제안된 것으로 CCTV, 블랙박스, 캠코더, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 저장된 영상 또는 사진에서 한 명 또는 다수가 나오는 경우에 인식이 가능한 모든 얼굴을 인식하여 인식된 특징값을 기존에 구축된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 비교하여 개인 정보를 식별하며, 영상에 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각과 촬영 시각별 위치를 추출하여 얼굴이 인식된 개인의 타임라인과 타임라인에 따른 동선 정보를 제공하며, 특정 장소에 검출된 인물의 나타낸 횟수를 표시하여 실종자 찾기, 용의자 검거 및 범죄 예방을 위한, 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템을 제공하는 것이다.

상기와 같은 목적을 위하여 본 발명은 제어부에 의하여 제어되며 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 입력부와, 제어부와, 상기 제어부에 의하여 제어되는 표시부와, 제어부에 연결되며 사용자로부터 명령을 입력받는 입력부와, 제어부에 연결된 메모리 장치인 저장부를 포함하며; 상기 저장부에는 얼굴 데이터베이스를 포함하는 정보 DB와 얼굴 인식 프로그램이 저장되며; 입력부를 통하여 상기 얼굴 인식 프로그램의 실행명령이 입력되면 화상 입력부를 통하여 입력되어 저장부에 저장된 화상 데이터에서 적어도 하나 이상의 얼굴 영역을 검출하여 저장부에 저장하고, 각 얼굴 영역의 특징값을 추출하며, 그 특징값을 정보 DB에 포함된 얼굴 데이터베이스의 얼굴 사진들의 특징값과 비교하며 개인이 식별되며, 화상 데이터에 포함된 EXIF 데이터를 추출하여 식별된 개인 사진이 화상 데이터의 촬영 시각과 함께 표시부에 디스플레이되도록 제어부에 의하여 제어되는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템을 제공한다.

상기에서, 얼굴 인식 프로그램은 영상 촬영 장치에 의해 촬영된 화상 데이터를 입력하는 파일 입력 모듈과; 상기 파일 입력 모듈에 의해 입력된 화상 데이터에 포함된 하나 이상의 얼굴 영역을 검출하며 검출된 얼굴 그림 파일을 저장부에 저장하는 얼굴 영역 검출 모듈과; 상기 얼굴 영역 검출 모듈에서 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징값을 연산하는 특징 검출 모듈과; 검출된 하나 이상의 얼굴 사진들에 대한 특징값과 정보 DB에 포함된 얼굴 데이터베이스의 특징값을 비교 연산하여 개인 정보를 식별하는 인식 모듈과; 검출된 얼굴 사진에 포함된 화상 데이터의 EXIF 데이터를 추출하는 EXIF 데이터 추출 모듈과; 상기 검출된 얼굴 사진과 얼굴 인식 결과및 화상 데이터 촬영 시각이 표시부에 디스플레이되도록 하는 디스플레이 모듈을 포함하는 것을 특징으로 한다.

상기에서, 영상 촬영 장치의 위치 정보가 EXIF 데이터로부터 추출되거나 사용자의 입력에 의하여 화상 데이터와 함께 저장부에 저장되며; 상기 표시부에는 식별된 개인에 대한 촬영 시각에 따른 위치정보가 GIS 지도상에 디스플레이되는 것을 특징으로 한다.

상기에서, 화상 데이터로부터 추출된 EXIF 데이터가 얼굴영역의 이미지와 함께 저장부에 저장되는 것을 특징으로 한다.

상기에서, 얼굴 인식 프로그램의 실행에 의하여 식별된 개인이 촬영된 장소에 출현한 횟수가 그래프로 도시되어 표시부에 디스플레이되는 것을 특징으로 한다.

한편, 본 발명은 제어부에 의하여 제어되며 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 입력부와, 제어부와, 상기 제어부에 의하여 제어되는 표시부와, 제어부에 연결되며 사용자로부터 명령을 입력받는 입력부와, 제어부에 연결된 메모리 장치인 저장부를 포함하며; 상기 저장부에는 얼굴 데이터베이스를 포함하는 정보 DB와 얼굴 인식 프로그램이 저장되며; 입력부를 통하여 상기 얼굴 인식 프로그램의 실행명령이 입력되면 실행되는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법에 있어서; 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 데이터 입력 단계; EXIF 데이터 추출 모듈에 의해 화상 데이터의 EXIF 데이터를 추출하여 저장부 저장하는 EXIF 데이터 추출 단계; 화상 데이터에 포함된 한 명 이상의 얼굴을 인식하도록 얼굴 영역 검출 모듈에 의해 화상 데이터에 대해 얼굴 영역을 검출하는 단계; 검출된 얼굴 영역에 대하여 특징 검출 모듈에 의해 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징값을 추출하여 특징값을 저장하는 단계; 검출된 하나 이상의 얼굴 사진들의 화상 데이터에 대한 얼굴 특징값과 정보 DB(310)에 포함된 얼굴 데이터베이스의 특징값이 비교되어 얼굴이 인식되는 얼굴 인식 단계; 및 디스플레이 모듈에 의해 촬영된 사진과 얼굴 인식 결과가 표시부(305)에 디스플레이되는 디스플레이 단계를 포함하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법을 제공한다.

상기에서, 검출된 얼굴 영역은 그림 파일로 저장되며, 특징값이 도출되고 정보 DB에 포함된 얼굴 데이터베이스의 특징값과 대비되어 개인 식별 정보가 도출되고, 화상 데이터로부터 추출된 EXIF 데이터로부터 촬영 시각이 저장부에 저장되어, 촬영 시각이 표시부에 디스플레이되는 것을 특징으로 한다.

상기에서, 얼굴 인식 프로그램에서 타임라인에 따른 빈도 출력 모듈에 의해 한 영상 또는 사진에서 얼굴 인식에 의해 곳곳에 설치된 CCTV 설치 지점마다 검출된 인물의 출현 시점이 확인되면, 시간에 따라 해당 사람이 특정 장소 인근에 얼마나 자주, 언제 출현하였는지 횟수를 그래프로 도시되어 표시부(305)에 디스플레이되는 것을 특징으로 한다.

상기에서, 영상 촬영 장치의 위치 정보가 EXIF 데이터로부터 추출되거나 사용자의 입력에 의하여 화상 데이터와 함께 저장부에 저장되며; 상기 표시부(305)에는 식별된 개인에 대한 촬영 시각에 따른 위치정보가 GIS 지도상에 디스플레이되는 것을 특징으로 한다.

본 발명에서 제안하는 기법은 CCTV나 블랙박스, 스마트폰, 디지털 카메라 등의 영상 촬영 장치에 저장된 동영상 파일 또는 실시간 영상인 화상 데이터에서 나타나는 얼굴을 인식하여 기존에 구축된 얼굴 데이터베이스의 특징값과 비교하여 인식된 얼굴에 대한 개인 정보를 제공하여 누구인지 식별할 수 있다. 기본적으로 한 영상에서의 다중 얼굴 인식을 통해 영상에서 확인되는 적어도 하나 이상의 얼굴을 추출하며, 이후에 추출된 얼굴은 구축되어 있는 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 특징값을 비교하여 개인을 식별하고, 검출된 얼굴 사진은 화상 데이터에 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각 및 촬영 시각별 위치를 추출하여 지도상에 얼굴이 인식된 개인의 타임라인에 따른 동선 정보를 제공하게 된다.

얼굴 데이터베이스에서 얼굴이 발견되지 않을 경우에는 인터넷을 통한 이미지 검색을 통해 인터넷상에 공개된 개인 정보를 추출하여 개인을 식별한다. 또한, 동영상 파일 또는 실시간 영상에서 나타난 얼굴에 대해서는 타임라인 형태로 언제 그 사람이 영상에서 발견되었는지를 기록해두어 출현 시점을 확인할 수 있게 한다. 출현 시점이 확인되면, 해당 사람이 얼마나 자주, 언제 출현하였는지 분석을 할 수 있고, 범죄 분석 및 예방에 도움을 줄 수 있다.

상기와 같은 본 발명에 의하면, CCTV, 블랙박스, 스마트폰, 디지털 카메라 등의 영상 저장 장치에 저장된 영상에서 실시간 또는 저장된 동영상인 화상 데이터에서 얼굴을 인식하여 미리 설정한 얼굴 데이터베이스에서 가장 유사한 얼굴을 검색하여 개인 식별 정보를 확인할 수 있다. 제안한 시스템은 개인 얼굴 데이터베이스와 연결한다면 CCTV 관제 센터 또는 다수의 영상 증거물에서 용의자, 범죄자, 실종자가 있는지, 있다면 누구인지 실시간으로 확인할 수 있다.

본 발명에서 제안된 얼굴 인식 시스템은 실시간 영상에서 얼굴을 인식하여 개인 식별 정보를 추출하게 되면, 범죄 예방은 물론, 용의자, 범죄자, 실종자 등 발견시 실시간 알림 서비스를 제공하게 되어 디지털 증거로써 용의자의 알리바이를 파악하고 수사의 효율성과 범죄 예방 효과를 제공한다.

이상과 같은 본 발명의 해결하고자 하는 과제, 과제 해결 수단, 효과 외에 구체적인 사항들은 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 후술하는 실시예들을 참조하면 명백해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1은 종래의 얼굴인식 장치의 블록 구성을 도시한 것이며,
도 2는 카메라로부터 입력된 화상 데이터의 예를 도시한 도면이며,
도 3은 방법 유지부가 유지하는 얼굴 특징점 검출 방법의 특징을 도시한 것이며,
도 4는 특징점 검출부에 의해, 각종 얼굴 특징점 검출 방법으로 검출된 특징점의 예를 나타낸 도면이며,
도 5는 표시부에 표시된 화면의 예를 도시한 것이며,
도 6은 표시부에 표시된 다른 화면의 예를 도시한 것이며,
도 7은 종래 얼굴 인식 장치에 있어서, 인물의 얼굴의 인식 처리의 순서를 나타내는 흐름도이며,
도 8은 본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 프로그램이 실행되는 시스템을 도식적으로 도시한 구성도이며,
도 9는 본 발명의 일 실시예에 따른 얼굴 인식 프로그램의 구성도이며,
도 10은 본 발명의 일 실시예에 따른 얼굴 인식을 사용한 개인 식별을 하는 얼굴 인식 프로그램의 실행 화면을 개략적으로 도시한 것이며,
도 11은 얼굴이 인식된 사람의 동선 정보를 타임 라인에 따라 GIS 지도상에 시간에 따른 위치 정보가 디스플레이되는 화면을 개략적으로 도시한 것이며,
도 12는 본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법을 도시한 순서도 이며,
도 13은 얼굴 인식 프로그램에서 제1 디스플레이 화면에서 인식된 특정 얼굴이 선택되면 제2 디스플레이 화면에 개인 정보, 타임 라인에 따른 시간 대별 위치 정보를 나타내는 과정을 도시한 순서도 이며,
도 14는 특정 장소에 대하여 시간 대별 얼굴 인식된 개인의 방문 횟수가 표시부에 디스플레이되는 예를 도시한 것이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 8은 본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 프로그램이 실행되는 시스템을 도식적으로 도시한 구성도이며, 도 9는 본 발명의 일 실시예에 따른 얼굴 인식 프로그램의 구성도이며, 도 10은 본 발명의 일 실시예에 따른 얼굴 인식을 사용한 개인 식별을 하는 얼굴 인식 프로그램의 실행 화면을 개략적으로 도시한 것이며, 도 11은 얼굴이 인식된 사람의 동선 정보를 타임 라인에 따라 GIS 지도상에 시간에 따른 위치 정보가 디스플레이되는 화면을 개략적으로 도시한 것이며, 도 12는 본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법을 도시한 순서도이며, 도 13은 얼굴 인식 프로그램에서 제1 디스플레이 화면에서 인식된 특정 얼굴이 선택되면 제2 디스플레이 화면에 개인 정보, 타임 라인에 따른 시간 대별 위치 정보를 나타내는 과정을 도시한 순서도이며, 도 14는 특정 장소에 대하여 시간 대별 얼굴 인식된 개인의 방문 횟수가 표시부에 디스플레이되는 예를 도시한 것이다.

본 발명은 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템에 관한 것으로, 도 3에 도시된 바와 같이 본 발명에 따르는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템(300)은 화상 입력부(303), 제어부(301), 입력부(307), 표시부(305), 저장부(309)를 포함한다. 상기 저장부(309)에 디지털 영상 내의 얼굴 인식을 통한 개인 식별 프로그램(320)과, 얼굴 정보를 기반으로 구축된 개인 정보인 얼굴 데이터베이스가 포함된 정보 DB(310)가 저장된다. 입력부(307)를 통한 사용자의 실행 명령에 의하여 개인 식별 프로그램(320)이 실행된다. 상기 저장부(309)는 통신망으로 제어부(301)와 연결된 서버일 수도 있다.

상기 시스템은 CCTV, 블랙박스, 캠코더, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 저장된 영상 또는 사진에서 한 명 또는 다수가 나오는 경우에 인식이 가능한 모든 얼굴을 인식하여 인식된 얼굴에 대한 개인 정보를 기존에 구축된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 비교하여 개인 정보를 식별하며, 검출된 얼굴 사진의 화상 데이터에 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각별 위치를 추출하여 얼굴이 인식된 용의자, 범죄자 실종자 타임라인에 따른 동선 정보를 제공하며, 여러 지점 또는 특정 장소에 얼굴인식을 통해 검출된 인물의 나타낸 횟수를 표시하여 실종자 찾기, 용의자 검거 및 범죄 예방을 위한 것이다.

본 발명의 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템(300)은 제어부(301)에 연결되며 TV, 블랙박스, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 의해 저장된 영상 또는 사진을 입력받는 화상 입력부(303); 영상 촬영 장치에 저장된 영상 또는 사진에서 한 명 또는 다수가 나오는 경우에 인식이 가능한 모든 얼굴을 인식하도록 각 얼굴 사진에 대해 얼굴 영역을 검출하고 눈, 코, 입, 턱선의 특징점을 구하며, 특징점들로부터 얼굴의 특징값이 연산되며, 저장부에 저장된 정보 DB(310)에 포함된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 대비항 유사도가 높은 사진들을 비교하여 개인 정보를 식별하며, 검출된 얼굴 사진은 화상 데이터에 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각과 촬영 시각별 위치를 추출하여 얼굴이 인식된 개인(예, 용의자, 범죄자, 실종자 등)의 타임라인과 타임라인에 따른 동선 정보를 추출하도록 제어하는 제어부(301); 상기 제어부(301)에 연결되며 얼굴 데이터베이스의 사진들의 눈, 코, 입의 특징점의 특징값을 비교하여 설정된 오차 한도 범위 내에서 유사도가 있는 얼굴 인식 결과와, 타임라인과, 타임라인에 따른 동선정보가 지도와 함께 디스플레이되는 표시부(305); 상기 제어부(301)에 연결되며, 키보드나 마우스와 같이 사용자의 명령을 입력받는 입력부(307); 및 영상 촬영 장치에 의해 저장된 영상 또는 사진이 저장되며, 얼굴 인식 프로그램(320)과 얼굴 데이터베이스인 정보 DB가 저장되는 저장부(309)를 포함한다.

상기 저장부(309)에는 얼굴 인식 프로그램(320), 및 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등의 얼굴 데이터베이스인 정보 DB(310)가 저장된다.

얼굴 데이터 베이스는 필요에 따라 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등일 수 있다.

얼굴 인식 프로그램(320)이 실행되면 입력된 영상에서 하나 이상의 얼굴 영역을 검출되어 저장부(309)저장되고, 각 얼굴 영역의 눈, 코, 입, 턱선의 특징점을 추출하여 그 특징값이 비교되어 얼굴 데이터베이스의 얼굴 사진들의 특징값이 비교되며, 입력된 영상에 포함된 EXIF 데이터를 추출하여 해당 영상의 촬영 시각과 촬영 시각별 위치가 추출되어 얼굴이 인식된 개인의 타임라인과 타임라인에 따른 동선 정보가 표시부(305)에 디스플레이된다.

얼굴 인식 프로그램(320)은 많은 얼굴 인식 알고리즘 중 어느 하나 방식으로 적용 가능하며, 종래 기술인 템플릿 매칭(Template Matching) 방법, PCA(Principal Component Analysis) 기반 Eigen Vector를 추출하는 방법, ANN(Artificial Neural Network)을 이용하는 방법 등이 적용 가능하다.

템플릿 매칭 방법은 얼굴 인식시에 눈, 코, 입의 특징점을 구하고, 눈, 코, 입 등의 특징값을 구한 후 특징 벡터(vector) 주위의 일정 영역을 템플릿으로 정하여 얼굴 인식을 하게 되는데 조명이나, 얼굴 이미지의 크기, 기울기 등에 민감하므로 구현이 간단한 특징이 있다. K-L Transform을 이용한 PCA는 eigen vector를 추출하는데 효율적인 방법이다. ANN 방법은 얼굴 이미지에서 특징값들을 추출하지 않고 픽셀 영상을 신경망(Neural Network)에 입력 시켜 얼굴을 인식하는 방법이다.

도 9는 본 발명의 일 실시예에 따른 얼굴 인식 프로그램의 구성도이다.

얼굴 인식 프로그램(320)은 CCTV, 블랙박스, 캠코더, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 의해 저장된 동영상 또는 사진인 화상 데이터를 입력받는 파일 입력 모듈(321); 상기 파일 입력 모듈(321)에서 입력된 화상 데이터에 포함된 하나 이상의 얼굴을 인식하도록 각 화상 데이터에 대해 얼굴 영역을 검출하는 얼굴 영역 검출 모듈(322); 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징점을 구하며 특징점으로부터 특징값이 연산되는 특징 검출 모듈(323); 상기 연산된 특징값으로부터 기존에 구축된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)의 유사도가 높은 사진들을 비교하여 개인 정보를 식별하는 인식 모듈(324); 검출된 얼굴 사진의 화상 데이터에 포함된 EXIF 데이터를 추출하는 EXIF 데이터 추출 모듈(325); 및 화상 데이터와 얼굴 인식 결과를 디스플레이하는 디스플레이 모듈(326)을 포함한다.

상기 얼굴 인식 프로그램(320)은 화상 데이터에서 적어도 하나 이상의 얼굴 영역이 검출되면, 1차적으로 적어도 하나 이상의 얼굴 영역에 대한 데이터가 각각 그림 파일로 저장되며, 각각 저장된 그림 파일은 각각 일정 크기의 사진으로 크기 보정, 각도 보정을 하고 해당 데이터의 특징값을 추출하여 저장하며, 이 데이터의 특징값과 기 구축된 얼굴 데이터베이스의 얼굴들의 특징점(이마, 눈, 코, 입, 턱선 등)들의 특징값의 유사도를 검색하여 유사도가 높은 얼굴에 대한 개인 식별 정보를 도출하고, 개인 식별 정보가 확인된 화상 데이터로 추출된 EXIF 데이터로부터 촬영 시각과 위치 정보가 데이터베이스에 저장되며, 얼굴이 인식된 개인의 타임라인이 표시부(305)에 디스플레이되도록 실행된다.

디스플레이 모듈(326)은 개인의 타임라인에 더하여 동선 정보를 타임 라인에 따라 GIS 지도상에 촬영 시각에 따른 위치 정보(도 11의 ①, ②, ③, ④)가 표시부(305)에 디스플레이되도록 이루어질 수 있다.

디스플레이 모듈(326)은 영상 입력장치로부터 입력된 영상 또는 사진에서 얼굴 인식에 의해 곳곳에 설치된 CCTV 설치 지점마다 검출된 인물의 출현 시점인 촬영시각에 따라 해당 사람이 특정 장소에 얼마나 자주, 언제 출현하였는지를 나타내는 횟수인 빈도 그래프가 표시부(305)에 디스플레이되도록 이루어질 수 있다.

EXIF 포맷은 디지털 카메라에 사용되는 JPEG과 TIFF 6.0, 이 외에 WAV 등의 파일 포맷에 적용된다.

화상 데이터에는 EXIF 데이터 정보가 포함되어 저장된다. EXIF 데이터는 사용 카메라 기종, 렌즈, 촬영날짜, 촬영조건뿐 아니라 CCTV나 블랙박스처럼 GPS 수신기를 구비하는 카메라 모델은 GPS 정보도 포함될 수 있다. GPS 정보는 카메라 바디에서 GPS 정보를 읽는 장치가 구비되어 있어야 한다. CCTV나 블랙박스의 카메라에 GPS 수신기가 있는 영상 촬영 장치들은 디지털 사진에 GPS 정보를 포함하여 저장될 수 있다, 예를들면, GPS 수신기가 내장된 카메라에 사진에 위치 데이터를 저장하라고 프로그램되어 설정을 한 경우, 촬영된 영상 또는 디지털 사진에 포함되는 EXIF 데이터에 GPS 정보가 포함된다. 그러므로 영상 저장 장치에 저장된 화상 데이터에 포함된 EXIF 데이터로부터 검출된 개인의 시각에 따른 위치 정보 등의 정보를 얻을 수 있다. EXIF 데이터에 GPS정보가 포함되지 않은 경우 입력부(307)를 통하여 촬영된 장소의 GPS가 입력되어 화상 데이터에 포함되어 저장부(309)에 저장될 수도 있다. 고정식 CCTV의 경우에는 CCTV가 설치되어 있는 위치를 알기 때문에 CCTV의 위치를 영상 입력시 함께 입력해줌으로써 위치 정보를 EXIF 정보 대신 활용할 수 있다.

저장부(309)에는 주소정보와 주소정보에 따른 GPS 정보가 저장되어, EXIF 데이터가 입력부(307)를 통하여 입력될 때, 주소정보가 입력되면 GPS 정보로 자동 변환하여 등록되도록 할 수 있다.

얼굴 인식 알고리즘은 통상의 여러 가지 얼굴 인식 알고리즘이 적용될 수 있으며, 이에 한정하지 않는다.

예를 들면, 특징 기반 화상 데이터의 얼굴 인식은 특징값은 스마트폰에서 haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform) 영상을 이용한 검출 방법이 있다. 예를 들면, 모바일 기기의 카메라의 입력 영상에서 Haar-like feature로 학습된 얼굴 및 눈 검출기를 사용하여 얼굴 영역의 윤곽선과 눈 영역을 검출하고, 눈동자를 검출하기 위해 전 처리 과정을 거치며, 관심 영역(ROI, Region of Interest)으로 설정된 눈 영역을 grayscale로 변환하며, 밝은 조명 상태와 어두운 조명 상태에서 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 실험에 의한 임계값(threshold)을 사용하여 눈 이미지의 히스토그램(histogram)[x축 각 픽셀의 화소값, y축 해당 화소 값의 갯수]을 구하고 눈의 이미지를 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 눈 영역의 영상의 전처리를 수행하며, 검출된 얼굴 영역의 눈, 코, 입의 윤곽선을 검출하고, 텍스처 특징(Texture Faetures)과 형상 특징(Shape Features)을 추출한다.

검출된 얼굴 영역의 눈, 코, 입의 특징값은 Haar-like feature의 흰 영역에서 포함되는 픽셀들의 합에서 검은 영역에서 포함되는 픽셀의 합의 차로 표현된다. 일예로 검출된 얼굴 사진에서 검출된 눈 영역에서 오른쪽과 왼쪽 눈의 양쪽 끝점 까지의 거리, 허프 원 변환(hough circle transform) 알고리즘을 사용한 눈동자(iris)의 크기 값이 특징값에 적용될 수 있다.

본 발명의 얼굴 인식 시스템 및 방법은 CCTV나 블랙박스, 스마트폰, 디지털 카메라 등의 영상 촬영 장치에 저장된 동영상 파일 또는 실시간 영상에서 나타나는 얼굴을 인식하여 기존에 구축된 얼굴 데이터베이스와 비교하여 인식된 얼굴에 대한 개인 정보를 제공하여 누구인지 식별할 수 있다. 기본적으로 영상에서의 얼굴 인식을 통해 영상에서 확인되는 얼굴을 검출한다. 이후에 검출된 얼굴 사진은 기존에 구축되어 있는 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 얼굴 특징점을 비교하여 동일인이라 판단되면 저장되어 있는 정보를 통해 개인을 식별하고, 검출된 얼굴 사진은 포함된 EXIF 데이터를 추출하여 해당 얼굴 사진의 촬영 시각과 촬영 시각별 위치를 추출하여 타임라인에 따른 동선 정보를 제공한다.

만일 기 구축된 얼굴 데이터베이스에서 얼굴이 발견되지 않을 경우, 다른 얼굴 정보 시스템(예 주민 정보 시스템)에 접속하거나 인터넷을 통한 이미지 검색을 통해 인터넷상에 공개된 개인 정보를 추출하여 개인을 식별한다. 또한, 동영상 파일 또는 실시간 영상 또는 사진에서 나타난 얼굴에 대해서는 얼굴 인식 프로그램이 타임라인 형태로 언제 그 사람이 영상에서 발견되었는지를 기록해두고 출현 시점을 확인하며 타임 라인에 따른 동선 정보를 제공한다.

범죄자의 경우, 범죄 현장을 사전에 답사하거나 다시 나타나는 특징이 있으며, 출현 시점이 확인되면, 해당 사람이 얼마나 자주, 언제 출현하였는지 횟수를 분석할 수 있고, 용의자 검거, 실종자 찾기, 또는 범죄 예방에 도움을 주게 된다.

도 10은 본 발명의 일 실시예에 따른 얼굴 인식을 사용한 개인 식별을 하는 얼굴 인식 프로그램의 실행 화면(표시부)을 개략적으로 도시한 것이다.

파일 입력 모듈(321)이 실행되면 CCTV의 실시간 영상 또는 저장된 영상인 화상 데이터가 화상입력부(303)를 통하여 입력되어 저장부(309)에 저장된다. 실시간으로 촬영되는 영상의 경우, CCTV, 블랙박스 등의 영상 촬영 장치로부터 영상을 전송받는다.

얼굴 영역 검출 모듈(322)이 실행되면 얼굴의 특징점(눈, 코, 입, 턱선 등)을 인식하여 전송받은 영상 또는 재생되는 영상 내에서 얼굴 영역들을 검출된다. 동영상 파일은 파일을 재생하면서 동영상을 이루는 각 프레임에 대해 얼굴이 인식된다. 한 영상 내에서 여러 명의 얼굴이 있을 경우, 각각의 얼굴 영역이 따로 검출된다.

특징 검출 모듈(323)이 실행되어 검출된 얼굴 영역의 얼굴 데이터로부터 얼굴의 특징점이 검출되고 특징값이 연산되어, 인식 모듈(324)이 실행되어 정보 DB(310)에 포함된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)에 저장된 얼굴 특징점의 특징값에 대한 유사도를 비교하여 실시간으로 전송된 영상 또는 동영상 파일의 얼굴과 얼굴 데이터베이스에 저장된 유사도 높은 개인 정보가 도출된다. 상기에서 특징값에 대한 유사도에 따라 색상이 달리하여 표시부(305)에 디스플레이 되도록 하는 것도 가능하다. 예를 들면, 유사도가 90％ 이상이면 붉은색으로, 80％∼90％ 범위이면 청색으로, 70％∼80％ 범위이면 녹색으로, 60％∼70％ 범위이면 노랑색의 막대가 표시부(305)에 디스플레이된다.

만일 정보 DB(310)에 인식되는 얼굴 데이터가 없을 경우, 인터넷 이미지 서치, 얼굴 태킹, 얼굴 검색 서비스를 통해 정보를 추가적으로 검색이 실행된다. 그리고 인터넷에서도 검색되지 않는 경우 임의의 ID가 부여된 후 그룹핑되어 저장부에 저장된다.

도 10에서 도면부호 333은 전송받은 실시간 영상 또는 재생 중인 동영상 파일 영상인 화상 데이터가 출력되어 실제 영상이 디스플레이되는 영역이다.

332는 타임라인이 디스플레이되는 영역이다. 타임라인은 332 영역에 표시되는 인식된 개인이 촬영된 시각이다. 실시간 영상 또는 재생 중의 영상에는 동일한 인물이 2회 이상 나타날 수 있다. 예를 들면, A라는 인물이 범죄를 탐색한 후 30분 후에 다시 나타났다고 가정하였을 때, 332 영역에서 30분 전과 사고 발생 시점에 화상 데이터에서 인식되었음을 타임라인에서 확인할 수 있으며, 얼마나 오랫동안 영상에서 나오는 지도 확인이 가능하며, 검출된 여러 명의 인물에 대한 타임라인을 동시에 확인할 수 있다.

335는 정보 DB(310)에 포함된 얼굴 데이터 베이스가 디스플레이되는 영역이다. 실시간 영상을 받을 카메라 설정 또는 재생할 동영상을 설정할 수 있으며, 수사기관 또는 관제 센터에서 사용하고 싶은 얼굴 데이터베이스를 선택할 수 있다. 예를 들면, 수사기관의 경우에는 용의자 데이터베이스를 선택하여 운영하고자 할 것이고, 타 기관에서는 실종자 데이터베이스를 선택할 수도 있을 것이다. 복수 개의 데이터베이스를 선택하는 것도 가능하지만, 얼굴 데이터베이스의 개인 정보 보호 측면과 남용의 측면을 방지하기 위해 선택할 수 있도록 한다.

337 영역은 333 영역에 출력된 얼굴이 설정된 얼굴 데이터베이스에 있는 경우에 검색된 개인 식별 정보가 디스플레이되는 영역이다. 337 영역에 검색된 개인 식별 정보가 디스플레이되면서 339 영역에는 검출된 인물이 나타난 타임라인 전체를 표시되어 확인할 수 있도록 한다.

도 11은 얼굴이 인식된 사람의 동선 정보를 타임 라인에 따라 GIS 지도상에 시간에 따른 위치 정보가 디스플레이되는 화면을 개략적으로 도시한 것이다.

얼굴 부분이 인식되고, 영상 저장 장치에 입력된 한 영상에서 적어도 하나 이상의 얼굴 부분이 검출되면, 1차적으로 적어도 하나 이상의 얼굴 영역을 각각 그림 파일로 저장한다. 각각 저장된 파일은 각각 일정 크기의 사진으로 크기 보정, 각도 보정을 하고 데이터베이스의 얼굴들의 특징점(이마, 눈, 코, 입, 턱선 등)들의 특징값의 유사도를 검색하여 유사도가 높은 얼굴에 대한 개인 식별 정보를 도출한다. 그리고 개인 식별 정보가 확인된 얼굴 사진으로부터 추출된 EXIF 데이터로부터 추출된 촬영 시각과 위치 정보가 데이터베이스에 저장되고, 데이터베이스에 인식된 인물의 시각과 위치 정보가 업데이트되어 타임라인에 따른 위치 정보가 함께 표시되어 검출된 개인의 이동 동선을 추적할 수 있다. 그리고 타임라인에 따른 위치 정보와 함께, 표시부(305)의 분할된 일부 영역에 인식된 개인의 해당 화상 데이터가 디스플레이되도록 할 수도 있고, 인식된 개인에 대한 타임라인 상의 촬영기기에서 취득된 영상물 전체가 해당 개인이 출현한 구간만 스크랩되어 재생될 수 있다. 그리고 이동 시간도 함께 표시부(305)에 디스플레이된다.

얼굴 인식 프로그램은 한 영상에서 적어도 하나 이상의 얼굴 부분이 검출되면, 1차적으로 적어도 하나 이상의 얼굴 영역이 각각 그림 파일로 저장한다. 각각 저장된 파일에서 얼굴들의 특징점(이마, 눈, 코, 입, 턱선 등)들의 특징값의 유사도를 검색하여 유사도가 높은 얼굴에 대한 개인 식별 정보를 도출하고, 개인 식별 정보가 확인된 얼굴 사진으로부터 추출된 EXIF 데이터로부터 추출된 시각과 위치 정보를 데이터베이스에 저장하고, 얼굴이 인식된 사람의 동선 정보를 타임 라인에 따라 GIS 지도상에 시간에 따른 위치 정보(도 11의 ①, ②, ③, ④)를 도시한다.

만일 얼굴 인식시에 가상 유사도가 높은 얼굴이라고 하더라도, Threshold 미만(유사도가 예를 들면 35% 미만-실험적인 결과를 통해 설정)인 경우에는 페이스북, 구글 등의 이미지 검색, 얼굴 검색을 사용하여 검색된 웹 페이지와 인터넷에 게재된 정보를 조합하여 개인 식별 정보를 수집하여 개인 식별 정보를 추출한다.

도 12는 본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법을 도시한 순서도이다.

본 발명에 따른 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법은 얼굴 인식 프로그램에서 파일 입력 모듈(321)을 통해 CCTV, 블랙박스, 캠코더, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 의해 저장된 영상 또는 사진 등의 화상 데이터를 입력받는 화상 데이터 입력 단계; EXIF 데이터 추출 모듈(325)에 의해 검출된 얼굴 사진에 포함된 화상 데이터의 EXIF 데이터를 추출하여 저장부 저장하는 EXIF 데이터 추출 단계; 상기 파일 입력 모듈(321)로부터 입력된 영상에 포함된 하나 이상의 얼굴에 대한 이미지 또는 사진에서 한 명 또는 다수의 얼굴이 보이는 경우에 모든 얼굴을 인식하도록 얼굴 영역 검출 모듈(322)에 의해 각 화상 데이터에 대해 얼굴 영역을 검출하는 단계; 특징 검출 모듈(323)에 의해 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징점을 구하여 위치, 좌표 그 특징값을 저장하는 단계; 인식 모듈(324)에 의해 검출된 하나 이상의 얼굴 사진들의 화상 데이터에 대하여 각각 일정 사진 크기로 맞추는 크기 보정(얼굴 이미지의 축소, 확대), 각도 보정(얼굴의 두 눈의 눈동자의 원의 중심점이 일치되도록 이미지의 이동, 회전)의 기하학적 처리를 통해 표준 크기의 인식된 얼굴 사진에 대한 개인 정보를 기존에 구축된 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)의 유사도가 높은 사진들을 비교하여 개인 정보를 식별하는 얼굴 인식 단계; 디스플레이 모듈(325)에 의해 촬영된 사진과 얼굴 인식 결과를 디스플레이하도록 상기 유사도 높은 사진들의 유사도(신뢰도) 및 얼굴 사진을 화면에 표시하는 디스플레이 단계; 각각의 화상 데이터 별로 얼굴 인식 결과를 저장하는 저장 단계를 포함한다.

상기 방법에서 화상 데이터에서 적어도 하나 이상의 얼굴 영역이 검출되면, 각 얼굴 영역이 그림 파일(jpg, tiff 등)로 저장되며, 얼굴 영역에서 얼굴의 특징이 검출되고 얼굴들의 특징점(이마, 눈, 코, 입, 턱선 등)들의 특징값의 유사도에 따라 정보 DB(310)에서 검색되어 유사도가 높은 얼굴에 대한 개인 식별 정보가 도출되고, 개인 식별 정보가 확인된 화상 데이터로부터 추출된 EXIF 데이터로부터 추출된 촬영 시각과 위치 정보가 정보 DB(310)에 저장되며, 디스플레이 모듈(325)에 의해 얼굴이 인식된 개인의 타임라인과 함께 GIS 지도상에 위치 정보(도 11의 ①, ②, ③, ④)가 디스플레이된다.

상기 방법에서 기 얼굴 인식 프로그램의 타임라인에 따른 화상 데이터에서 얼굴 인식에 의해 곳곳에 설치된 CCTV 설치 지점마다 검출된 인물의 출현 시점이 확인되며, 디스플레이 모듈(325)에 의해 도 14에 도시된 바와 같이 시간에 따라 해당 개인이 특정 장소에 출현된 횟수를 그래프로 표시부(305)에 디스플레이된다. 표시부(305)에 디스플레이될 때, 출현 횟수 범위에 따라 색상을 달리하여 디스플레이되도록 하는 것도 가능하다. 예를 들면, 빈도가 높을수록 빨강색 계통으로 그리고 빈도가 낮을을수록 청색계통으로 디스플레이된다.

본 발명은 컴퓨터 또는 스마트 기기에, 얼굴 인식 프로그램에서 파일 입력 모듈을 통해 CCTV, 블랙박스, 캠코더, 디지털 카메라, 스마트폰의 카메라 등의 영상 촬영 장치에 의해 저장된 영상 또는 사진 등의 화상 데이터를 입력받는 화상 데이터 입력 기능; EXIF 데이터 추출 모듈에 의해 검출된 얼굴 사진에 포함된 화상 데이터의 EXIF 데이터를 추출하여 저장부 저장하는 EXIF 데이터 추출 기능; 상기 파일 입력 모듈로부터 입력된 영상에 포함된 하나 이상의 얼굴에 대한 이미지 또는 사진에서 한 명 또는 다수의 얼굴이 보이는 경우에 모든 얼굴을 인식하도록 얼굴 영역 검출 모듈에 의해 각 화상 데이터에 대해 얼굴 영역을 검출하는 기능; 특징 검출 모듈에 의해 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징점을 구하여 위치, 좌표 그 특징값을 저장하는 단계; 검출된 하나 이상의 얼굴 사진들의 화상 데이터에 대하여 각각 일정 사진 크기로 맞추는 크기 보정(얼굴 이미지의 축소, 확대), 각도 보정(얼굴의 두 눈의 눈동자의 원의 중심점이 일치되도록 이미지의 이동, 회전)의 기하학적 처리를 통해 표준 크기의 인식된 얼굴 사진에 대한 개인 정보를 기존에 구축된 얼굴 데이터베이스(용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)의 특징값 유사도가 개인 정보를 식별하는 얼굴 인식 기능; 디스플레이 모듈에 의해 촬영된 사진과 얼굴 인식 결과를 디스플레이하도록 상기 유사도 높은 사진들의 유사도(신뢰도) 및 얼굴 사진을 화면에 표시하는 디스플레이 단계; 각각의 화상 데이터 별로 얼굴 인식 결과를 저장하는 저장 기능; 상기 얼굴 인식 프로그램에서 한 영상(이미지 또는 동영상을 이루는 프레임)에서 적어도 하나 이상의 얼굴 영역이 검출되면, 1차적으로 각각의 얼굴 영역을 각각 그림 파일(jpg, tiff 등)로 저장되며, 각각 저장된 그림 파일은 각각 일정 크기의 사진으로 크기 보정, 각도 보정을 하고 데이터베이스의 얼굴들의 특징점(이마, 눈, 코, 입, 턱선 등)들의 특징값의 유사도를 검색하여 유사도가 높은 얼굴에 대한 개인 식별 정보를 도출하고, 개인 식별 정보가 확인된 얼굴 사진으로부터 추출된 EXIF 데이터로부터 추출된 시각과 위치 정보를 데이터베이스에 저장하며, 얼굴이 인식된 사람의 동선 정보를 타임 라인에 따라 GIS 지도상에 시간에 따른 위치 정보(도 11의 ①, ②, ③, ④)를 도시하는 동선 정보 지도 표시 기능; 및 상기 얼굴 인식 프로그램에서 타임라인에 따라 한 영상 또는 사진에서 얼굴 인식에 의해 곳곳에 설치된 CCTV 설치 지점마다 검출된 인물의 출현 시점이 확인되면, 시간에 따라 해당 사람이 특정 장소 인근에 얼마나 자주, 언제 출현하였는지 횟수를 그래프로 도시하는 타임라인에 따른 빈도 출력 기능을 구현하기 위한 프로그램을 기록한 기록매체를 제공한다.

도 13은 얼굴 인식 프로그램에서 제1 디스플레이 화면에서 인식된 특정 얼굴이 선택되면 제2 디스플레이 화면에 개인 정보, 타임 라인에 따른 시간 대별 위치 정보를 나타내는 과정을 도시한 순서도이며, 도 14는 특정 장소에 대하여 시간 대별 얼굴 인식된 개인의 방문 횟수를 나타낸 도표이다.

범죄자의 경우, 범죄 현장을 사전에 답사하거나 다시 나타나는 특징이 있으며, 출현 시점이 확인되면, 해당 사람이 얼마나 자주, 언제 출현하였는지 횟수를 분석할 수 있고, 용의자 검거, 실종자 찾기, 또는 범죄 예방에 도움을 주게 된다.

본 발명에서 제안하는 기법은 CCTV나 블랙박스, 스마트폰, 디지털 카메라, 캠코더 등의 영상 촬영 장치에 저장된 동영상 파일 또는 실시간 영상에서 나타나는 얼굴을 인식하여 기존에 구축된 얼굴 데이터베이스의 사진들의 특징점의 특징값을 비교하여 인식된 얼굴에 대한 개인 정보를 제공하여 누구인지 식별할 수 있다. 기본적으로 영상에서의 다중 얼굴 인식을 통해 영상에서 확인되는 얼굴을 추출한다. 이후에 추출된 얼굴은 기존에 구축되어 있는 얼굴 데이터베이스(예, 용의자 얼굴 데이터베이스 또는 범죄자 얼굴 데이터베이스 또는 실종자 데이터베이스 등)와 얼굴 특징점을 비교하여 동일인이라 판단되면 저장되어 있는 정보를 통해 개인을 식별한다.

만일 구축되어 있는 얼굴 데이터베이스에서 얼굴이 발견되지 않을 경우에는 인터넷을 통한 이미지 검색을 통해 인터넷상에 공개된 개인 정보를 추출하여 개인을 식별한다. 또한, 동영상 파일 또는 실시간 영상에서 나타난 얼굴에 대해서는 타임라인 형태로 언제 그 사람이 영상에서 발견되었는지를 기록해두어 출현 시점을 확인할 수 있게 한다. 출현 시점이 확인되면, 해당 사람이 얼마나 자주, 언제 출현하였는지 분석을 할 수 있고, 범죄 분석 및 예방에 도움을 준다.

본 발명에 의하면, CCTV, 블랙박스, 스마트폰, 디지털 카메라 등의 영상 저장 장치에 저장된 영상에서 실시간 또는 저장된 동영상에서 얼굴을 인식하여 미리 설정한 얼굴 데이터베이스에서 가장 유사한 얼굴을 검색하여 개인 식별 정보를 확인할 수 있다. 제안한 시스템은 용의자, 범죄자, 실종자 얼굴 데이터베이스와 연결한다면 CCTV 관제 센터 또는 다수의 영상 증거물에서 용의자, 범죄자, 실종자가 있는지, 있다면 누구인지 실시간으로 확인할 수 있다.

본 발명에서 제안된 얼굴 인식 시스템은 실시간 영상에서 여러 얼굴을 인식하여 개인 식별 정보를 추출하게 되면, 범죄 예방은 물론, 용의자, 범죄자, 실종자 등 발견시 관리자에게 실시간 알림 서비스를 제공한다.

전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.

이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.

301: 제어부 303: 화상 입력부
305: 표시부 307: 입력부
309: 저장부 320: 얼굴 인식 프로그램
310: 정보 DB 321: 파일 입력 모듈
322: 얼굴 영역 검출 모듈 323: 특징 검출 모듈
324: 인식 모듈 325: EXIF 데이터 추출 모듈
326: 디스플레이 모듈

Claims (9)

1. 제어부(301)에 의하여 제어되며 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 입력부(303)와, 제어부(301)와, 상기 제어부(301)에 의하여 제어되는 표시부(305)와, 제어부(301)에 연결되며 사용자로부터 명령을 입력받는 입력부(307)와, 제어부(301)에 연결된 메모리 장치인 저장부(309)를 포함하며; 상기 저장부(309)에는 얼굴 데이터베이스를 포함하는 정보 DB(310)와 얼굴 인식 프로그램(320)이 저장되며; 입력부(307)를 통하여 상기 얼굴 인식 프로그램(320)의 실행명령이 입력되면 화상 입력부(303)를 통하여 입력되어 저장부에 저장된 화상 데이터에서 적어도 하나 이상의 얼굴 영역을 검출하여 저장부(309)에 저장하고, 각 얼굴 영역의 특징값을 추출하며, 그 특징값을 정보 DB(310)에 포함된 얼굴 데이터베이스의 얼굴 사진들의 특징값과 비교하며 개인이 식별되며, 화상 데이터에 포함된 EXIF 데이터를 추출하여 식별된 개인 사진이 화상 데이터의 촬영 시각과 함께 표시부(305)에 디스플레이되도록 제어부(301)에 의하여 제어되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템.
2. 제1 항에 있어서, 상기 얼굴 인식 프로그램(320)은 영상 촬영 장치에 의해 촬영된 화상 데이터를 입력하는 파일 입력 모듈(321)과; 상기 파일 입력 모듈(321)에 의해 입력된 화상 데이터에 포함된 하나 이상의 얼굴 영역을 검출하며 검출된 얼굴 그림 파일을 저장부(309)에 저장하는 얼굴 영역 검출 모듈(322)과; 상기 얼굴 영역 검출 모듈(322)에서 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징값을 연산하는 특징 검출 모듈(323)과; 검출된 하나 이상의 얼굴 사진들에 대한 특징값과 정보 DB(310)에 포함된 얼굴 데이터베이스의 특징값을 비교 연산하여 개인 정보를 식별하는 인식 모듈(324)과; 검출된 얼굴 사진에 포함된 화상 데이터의 EXIF 데이터를 추출하는 EXIF 데이터 추출 모듈(325)과; 상기 검출된 얼굴 사진과 얼굴 인식 결과및 화상 데이터 촬영 시각이 표시부(305)에 디스플레이되도록 하는 디스플레이 모듈(326);을 포함하는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템.
3. 제1 항에 있어서, 상기 영상 촬영 장치의 위치 정보가 EXIF 데이터로부터 추출되거나 사용자의 입력에 의하여 화상 데이터와 함께 저장부에 저장되며; 상기 표시부(305)에는 식별된 개인에 대한 촬영 시각에 따른 위치정보가 GIS 지도상에 디스플레이되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템.
4. 제1 항에 있어서, 상기 화상 데이터로부터 추출된 EXIF 데이터가 얼굴영역의 이미지와 함께 저장부(309)에 저장되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템.
5. 제1 항에 있어서, 상기 얼굴 인식 프로그램(320)의 실행에 의하여 식별된 개인이 촬영된 장소에 출현한 횟수가 그래프로 도시되어 표시부(305)에 디스플레이되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템.
6. 제어부(301)에 의하여 제어되며 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 입력부(303)와, 제어부(301)와, 상기 제어부(301)에 의하여 제어되는 표시부(305)와, 제어부(301)에 연결되며 사용자로부터 명령을 입력받는 입력부(307)와, 제어부(301)에 연결된 메모리 장치인 저장부(309)를 포함하며; 상기 저장부(309)에는 얼굴 데이터베이스를 포함하는 정보 DB(310)와 얼굴 인식 프로그램(320)이 저장되며; 입력부(307)를 통하여 상기 얼굴 인식 프로그램(320)의 실행명령이 입력되면 실행되는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법에 있어서; 영상 촬영 장치에 의해 저장된 화상 데이터를 입력받는 화상 데이터 입력 단계; EXIF 데이터 추출 모듈에 의해 화상 데이터의 EXIF 데이터를 추출하여 저장부 저장하는 EXIF 데이터 추출 단계; 화상 데이터에 포함된 한 명 이상의 얼굴을 인식하도록 얼굴 영역 검출 모듈에 의해 화상 데이터에 대해 얼굴 영역을 검출하는 단계; 검출된 얼굴 영역에 대하여 특징 검출 모듈에 의해 검출된 얼굴 영역의 눈, 코, 입, 턱선의 특징값을 추출하여 특징값을 저장하는 단계; 검출된 하나 이상의 얼굴 사진들의 화상 데이터에 대한 얼굴 특징값과 정보 DB(310)에 포함된 얼굴 데이터베이스의 특징값이 비교되어 얼굴이 인식되는 얼굴 인식 단계; 및 디스플레이 모듈에 의해 촬영된 사진과 얼굴 인식 결과가 표시부(305)에 디스플레이되는 디스플레이 단계를 포함하는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법.
7. 제6 항에 있어서, 상기 방법에서 검출된 얼굴 영역은 그림 파일로 저장되며, 특징값이 도출되고 정보 DB(310)에 포함된 얼굴 데이터베이스의 특징값과 대비되어 개인 식별 정보가 도출되고, 화상 데이터로부터 추출된 EXIF 데이터로부터 촬영 시각이 저장부(309)에 저장되어, 촬영 시각이 표시부(305)에 디스플레이되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법.
8. 제7 항에 있어서, 상기 방법은 상기 얼굴 인식 프로그램에서 타임라인에 따른 한 영상 또는 사진에서 얼굴 인식에 의해 촬영 지점에서 검출된 인물의 출현 시점이 확인되면, 시간에 따라 해당 사람이 특정 장소 인근에 얼마나 자주, 언제 출현하였는지 횟수를 그래프로 도시되어 표시부(305)에 디스플레이되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법.
9. 제7 항에 있어서, 상기 영상 촬영 장치의 위치 정보가 EXIF 데이터로부터 추출되거나 사용자의 입력에 의하여 화상 데이터와 함께 저장부에 저장되며; 상기 표시부(305)에는 식별된 개인에 대한 촬영 시각에 따른 위치정보가 GIS 지도상에 디스플레이되는 것을 특징으로 하는 디지털 영상 내의 얼굴 인식을 통한 개인 식별 방법.

Images