KR20170077366A

KR20170077366A - 얼굴 인식 시스템 및 방법

Info

Publication number: KR20170077366A
Application number: KR1020150187185A
Authority: KR
Inventors: 이혜원; 김선진; 임재령; 한송이; 박동주
Original assignee: 삼성에스디에스 주식회사
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2017-07-06

Abstract

얼굴 인식 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 얼굴 인식 시스템은, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 얼굴 이미지 획득부; 상기 얼굴 이미지와 제1 데이터베이스에 저장된 기준 정보와의 제1 유사도를 계산하는 제1 유사도 계산부; 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 제2 데이터베이스에 저장하는 이미지 구조화부; 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 제2 유사도 계산부; 및 상기 제1 유사도 및 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 얼굴 인식부를 포함한다.

Description

얼굴 인식 시스템 및 방법{SYSTEM AND METHOD FOR FACE RECOGNITION}

본 발명의 실시예들은 영상 분석을 통한 얼굴 인식 기술과 관련된다.

최근, 영상 처리 기술이 발달함에 따라 영상 분석을 통한 얼굴 인식 기술이 출입 보안, 얼굴 인증 등과 같은 다양한 기술 분야에서 광범위하게 적용되고 있다.

그러나, 종래의 얼굴 인식 기술은 영상에 포함된 얼굴 이미지와 미리 등록된 이미지(또는 얼굴 특성에 관한 메타 정보)를 단순히 비교하여 이들 간의 유사도를 계산할 뿐, 얼굴 이미지가 등록된 이미지와 실제로 매칭되는지의 여부는 사람이 직접 판단하여야 하는 번거로움이 있다. 또한, 종래의 얼굴 인식 기술은 얼굴 인식시 촬영 장치의 설치 위치, 화각, 주변 날씨, 상기 영상이 촬영된 시간대 등을 전혀 고려하지 않아 얼굴 인식의 정확도가 떨어지는 문제점이 있다. 나아가, 종래의 얼굴 인식 기술은 얼굴 인식시 최초로 등록된 이미지(또는 얼굴 특성에 관한 메타 정보)를 계속적으로 사용한다는 점에서 얼굴 인식 과정에서 인물의 최근 모습을 고려하지 못하는 문제점이 있다.

한국등록특허공보 제10-0950776호(2010.03.25)

본 발명의 실시예들은 얼굴 인식의 정확도를 향상시키기 위한 수단을 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 얼굴 이미지 획득부; 상기 얼굴 이미지와 제1 데이터베이스에 저장된 기준 정보와의 제1 유사도를 계산하는 제1 유사도 계산부; 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 제2 데이터베이스에 저장하는 이미지 구조화부; 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 제2 유사도 계산부; 및 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 얼굴 인식부를 포함하는, 얼굴 인식 시스템이 제공된다.

상기 기준 정보는, 기준 얼굴 이미지 및 상기 기준 얼굴 이미지의 특징 벡터 중 하나 이상을 포함할 수 있다.

상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치의 식별 정보, 상기 영상이 촬영된 시간대 및 상기 시간대에서의 날씨 정보 중 하나 이상을 포함하는 인덱스와 함께 상기 제2 데이터베이스에 저장할 수 있다.

상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 인덱스에 포함된 정보에 따라 분류하여 상기 제2 데이터베이스에 저장할 수 있다.

상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 제1 유사도의 크기 순으로 정렬하여 상기 제2 데이터베이스에 저장할 수 있다.

상기 제1 유사도 계산부는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도를 계산하며, 상기 제2 유사도 계산부는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도가 설정된 값 이상인 경우 상기 제2 유사도를 계산할 수 있다.

상기 얼굴 인식 시스템은, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도 및 상기 제2 유사도 각각을 고려하여 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는지의 여부를 판단하는 데 사용되는 지표인 누적 유사도를 계산하는 유사도 누적부를 더 포함할 수 있다.

상기 얼굴 인식부는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는 것으로 판단할 수 있다.

상기 이미지 구조화부는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치에 매칭시켜 상기 제2 데이터베이스에 저장할 수 있다.

본 발명의 다른 예시적인 실시예에 따르면, 얼굴 이미지 획득부에서, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 단계; 제1 유사도 계산부에서, 상기 얼굴 이미지와 등록된 기준 정보와의 제1 유사도를 계산하는 단계; 이미지 구조화부에서, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 저장하는 단계; 제2 유사도 계산부에서, 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 단계; 및 얼굴 인식부에서, 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 단계를 포함하는, 얼굴 인식 방법이 제공된다.

상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치의 식별 정보, 상기 영상이 촬영된 시간대 및 상기 시간대에서의 날씨 정보 중 하나 이상을 포함하는 인덱스와 함께 상기 제2 데이터베이스에 저장할 수 있다.

상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 인덱스에 포함된 정보에 따라 분류하여 상기 제2 데이터베이스에 저장할 수 있다.

상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 제1 유사도의 크기 순으로 정렬하여 상기 제2 데이터베이스에 저장할 수 있다.

상기 얼굴 인식 방법은, 상기 제1 유사도 계산부에서, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도를 계산하는 단계를 더 포함하며, 상기 제2 유사도를 계산하는 단계는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도가 설정된 값 이상인 경우 상기 제2 유사도를 계산할 수 있다.

상기 얼굴 인식 방법은, 상기 제2 유사도를 계산하는 단계 이후, 유사도 누적부에서, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도 및 상기 제2 유사도 각각을 고려하여 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는지의 여부를 판단하는 데 사용되는 지표인 누적 유사도를 계산하는 단계를 더 포함할 수 있다.

상기 신규 얼굴 이미지를 인식하는 단계는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는 것으로 판단할 수 있다.

상기 얼굴 인식 방법은, 상기 누적 유사도를 계산하는 단계 이후, 상기 이미지 구조화부에서, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치에 매칭시켜 상기 제2 데이터베이스에 저장하는 단계를 더 포함할 수 있다.

본 발명의 다른 예시적인 실시예에 따르면, 하드웨어와 결합되어 얼굴 이미지 획득부에서, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 단계; 제1 유사도 계산부에서, 상기 얼굴 이미지와 등록된 기준 정보와의 제1 유사도를 계산하는 단계; 이미지 구조화부에서, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 저장하는 단계; 제2 유사도 계산부에서, 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 단계; 및 얼굴 인식부에서, 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 단계를 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공된다.

본 발명의 실시예들에 따르면, 인식 대상이 되는 얼굴 이미지를 동일 조건(촬영 장치의 화각, 영상이 촬영된 시간대, 영상이 촬영된 시간대의 날씨 정보 등)에서 획득된 유사 얼굴 이미지들과 비교함으로써, 얼굴 인식의 정확도 및 신뢰도를 향상시킬 수 있다.

또한, 본 발명의 실시예들에 따르면, 상기 동일 조건에서 획득된 유사 얼굴 이미지들을 지속적으로 업데이트함으로써, 얼굴 인식 과정에서 인물의 최근 모습을 고려할 수 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 얼굴 이미지 획득부에서 얼굴 이미지를 획득하는 과정을 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 이미지 구조화부에서 얼굴 이미지를 제2 데이터베이스에 저장하는 과정을 나타낸 예시도
도 4는 본 발명의 일 실시예에 따른 이미지 구조화부에서 얼굴 이미지를 제2 데이터베이스에 저장하는 과정을 나타낸 예시도
도 5는 본 발명의 일 실시예에 따른 얼굴 인식 시스템의 적용 예시를 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 설명하기 위한 흐름도
도 7은 도 6의 S602 단계를 설명하기 위한 흐름도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)은 얼굴 이미지 획득부(102), 제1 유사도 계산부(104), 이미지 구조화부(106), 제2 유사도 계산부(108), 유사도 누적부(110) 및 얼굴 인식부(112)를 포함하며, 하나 이상의 촬영 장치(120), 제1 데이터베이스(130) 및 제2 데이터베이스(140)와 네트워크(미도시)를 통해 연결될 수 있다.

여기서, 촬영 장치(120)는 예를 들어, 카메라, 캠코더 등이 될 수 있으며, 촬영 장치(120) 각각은 서로 다른 위치에 설치되거나 또는 서로 다른 화각을 갖도록 설치될 수 있다. 예를 들어, 제1 촬영 장치는 제1 출입문에 설치될 수 있으며, 제2 촬영 장치는 제2 출입문에 설치될 수 있다. 또한, 제3 촬영 장치는 제1 출입문에 설치되되 제1 촬영 장치와 서로 다른 화각을 갖도록 설치되며, 제4 촬영 장치는 제2 출입문에 설치되되 제2 촬영 장치와 서로 다른 화각을 갖도록 설치될 수 있다. 이 경우, 각 촬영 장치(120)에서 촬영된 영상에 포함된 인물이 동일 인물이라 할지라도 각 촬영 장치(120)에서 촬영된 영상에 포함된 인물의 모습은 조금씩 다를 수 있다. 또한, 동일한 촬영 장치(120)에서 촬영된 영상이라 할지라도 상기 영상이 촬영된 시간대, 상기 시간대에서의 날씨 정보(예를 들어, 흐림/맑음/우천 등) 등에 따라 각 영상에 포함된 인물의 모습이 조금씩 다를 수 있다. 이에 따라, 본 발명의 실시예들에 따른 얼굴 인식 시스템(100)은 인식 대상이 되는 얼굴 이미지를 동일 조건(촬영 장치의 화각, 영상이 촬영된 시간대, 영상이 촬영된 시간대의 날씨 정보 등)에서 획득된 유사 얼굴 이미지들과 비교함으로써 얼굴 인식의 정확도 및 신뢰도를 향상시킬 수 있도록 하였다. 한편, 도 1에서는 제1 데이터베이스(130) 및 제2 데이터베이스(140)가 네트워크를 통해 얼굴 인식 시스템(100)과 연결되는 것으로 도시하였으나 이는 일 실시예에 불과하며, 제1 데이터베이스(130) 및 제2 데이터베이스(140)는 얼굴 인식 시스템(100)의 일 구성으로서 존재할 수도 있다. 이하에서는, 얼굴 인식 시스템(100)의 상세 구성에 대해 자세히 살펴보도록 한다.

얼굴 이미지 획득부(102)는 하나 이상의 촬영 장치(120)를 통해 촬영된 영상으로부터 얼굴 이미지를 획득한다. 각 촬영 장치(120)는 설치된 지점에서 촬영된 영상을 획득하여 얼굴 이미지 획득부(102)로 전송할 수 있으며, 얼굴 이미지 획득부(102)는 촬영 장치(120) 각각으로부터 수신한 영상에 포함된 얼굴 이미지를 획득할 수 있다. 얼굴 이미지 획득부(102)는 예를 들어, 설정된 얼굴 인식 알고리즘(또는 특징점 검출 알고리즘)을 이용하여 상기 영상에 포함된 얼굴 이미지를 검출할 수 있다. 여기서, 얼굴 인식 알고리즘은 예를 들어, PCA(Pricipal Component Analysis), FDA(Fisher Discriminarnt Analysis), ICA(Independent Component Analysis), SIFT (Scale Invariant Feature Transform), SURF (Speeded Up Robust Features) 알고리즘 등이 될 수 있으나, 상기 얼굴 인식 알고리즘이 이에 한정되는 것은 아니며 영상으로부터 얼굴 이미지를 추출할 수 있는 다양한 알고리즘이 본 실시예에 적용될 수 있다.

제1 유사도 계산부(104)는 얼굴 이미지 획득부(102)에서 획득된 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 제1 유사도를 계산한다. 상기 기준 정보는 기준 얼굴 이미지 및 상기 기준 얼굴 이미지의 특징 벡터 중 하나 이상을 포함할 수 있으며, 사용자에 의해 입력되어 제1 데이터베이스(130)에 저장될 수 있다. 여기서, 기준 얼굴 이미지는 예를 들어, 관심 인물(가족, 회사 임직원, VIP 고객, 블랙리스트 고객, 범죄자 등)의 얼굴 이미지(예를 들어, 얼굴이 포함된 사진)일 수 있다. 또한, 기준 얼굴 이미지의 특징 벡터는 상기 기준 얼굴 이미지에 설정된 특징점 검출 알고리즘이 적용됨으로써 획득되는 특징 정보일 수 있다. 이때, 상기 특징점 검출 알고리즘은 예를 들어, SIFT, SURF 알고리즘 등이 될 수 있다. 또한, 기준 정보는 상기 기준 얼굴 이미지에 대응되는 인물의 인적 사항(예를 들어, 이름, 성별, 직책, VIP 고객/블랙리스트 고객 여부 등)에 관한 정보를 더 포함할 수 있다.

제1 유사도 계산부(104)는 예를 들어, 얼굴 이미지 획득부(102)에서 획득된 얼굴 이미지 및 기준 얼굴 이미지의 특징 벡터를 각각 추출하고, 추출된 특징 벡터들 간의 유사도를 측정함으로써 제1 유사도를 계산할 수 있다. 또한, 기준 정보에 기준 얼굴 이미지의 특징 벡터가 포함되는 경우, 제1 유사도 계산부(104)는 얼굴 이미지 획득부(102)에서 획득된 얼굴 이미지의 특징 벡터를 추출하고, 추출된 특징 벡터와 기준 정보에 포함된 기준 얼굴 이미지의 특징 벡터 간의 유사도를 측정함으로써 제1 유사도를 계산할 수도 있다.

제1 유사도 계산부(104)는 예를 들어, FaceComparator 클래스를 활용하여 제1 유사도 계산을 위한 함수를 구현할 수 있으며, 그 예시는 아래와 같다.

Float ComputeSimilarity(float*fVec1, float*fVec2);

여기서, float*fVec1 은 얼굴 이미지 획득부(102)에서 획득된 얼굴 이미지의 특징 벡터를 의미하며, float*fVec2 는 기준 얼굴 이미지의 특징 벡터를 의미한다. 또한, Float Similarity 는 위 두 특징 벡터 간의 유사도(반환값)를 의미한다. 다만, 위 함수는 일 실시예에 불과할 뿐 제1 유사도 계산을 위한 함수가 위 예시에 한정되는 것은 아니다.

이와 같이, 제1 유사도 계산부(104)는 설정된 함수 또는 알고리즘을 이용하여 얼굴 이미지 획득부(102)에서 획득된 하나 이상의 얼굴 이미지 각각과 제1 데이터베이스(130)에 저장된 기준 정보 각각과의 제1 유사도를 계산할 수 있다.

이미지 구조화부(106)는 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치(120)별로 분류하여 제2 데이터베이스(140)에 저장할 수 있다. 상술한 바와 같이, 촬영 장치(120) 각각은 서로 다른 위치에 설치되거나 또는 서로 다른 화각을 갖도록 설치될 수 있으며, 각 촬영 장치(120)에 의해 촬영된 영상에 포함된 인물이 동일 인물이라 할지라도 촬영 장치(120)의 설치 위치, 화각, 주변 날씨, 영상이 촬영된 시간대 등에 따라 상기 영상에 포함된 인물의 모습이 조금씩 다를 수 있다. 이에 따라, 이미지 구조화부(106)는 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을, 상기 얼굴 이미지를 획득한 촬영 장치(120)의 식별 정보(예를 들어, 촬영 장치(120)의 아이디), 상기 영상이 촬영된 시간대 및 상기 시간대에서의 날씨 정보(예를 들어, 흐림/맑음/우천 등) 중 하나 이상을 포함하는 인덱스와 함께 제2 데이터베이스(140)에 저장할 수 있다.

예를 들어, 제1 유사도가 설정된 값 이상인 얼굴 이미지 A 내지 E 중 얼굴 이미지 A 내지 C는 촬영 장치 1에서 획득되었으며 얼굴 이미지 D 및 E는 촬영 장치 2에서 획득된 것으로 가정하였을 때, 이미지 구조화부(106)는 얼굴 이미지 A 내지 C를 촬영 장치 1에 대해 설정된 값 이상의 제1 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장하고, 얼굴 이미지 D 및 E를 촬영 장치 2에 대해 설정된 값 이상의 제1 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장할 수 있다.

또한, 위 예시에서, 얼굴 이미지 A 내지 C가 포함된 영상의 촬영 시간이 각각 오전 9시, 오후 2시 및 오전 9시인 경우, 이미지 구조화부(106)는 얼굴 이미지 A 및 C를 오전 9시 시간대에서 촬영 장치 1에 대해 설정된 값 이상의 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장하고, 얼굴 이미지 B를 오후 2시 시간대에서 촬영 장치 1에 대해 설정된 값 이상의 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장할 수 있다. 여기서, 저장되는 얼굴 이미지의 시간대는 예를 들어, 오전 6시~오전 9시, 오전 9시~오전 11시, 오전 11시~오후 2시, 오후 2시~오후 6시, 오후 6시~오후 9시, 오후 9시~오전 6시 등으로 분류될 수 있으나, 이는 일 실시예에 불과하며, 상기 시간대는 사용자의 설정에 따라 달라질 수 있다.

또한, 위 예시에서, 얼굴 이미지 A 내지 C 가 포함된 영상의 촬영 시간에서의 날씨가 각각 “맑음”, “맑음” 및 “우천” 상태인 경우, 이미지 구조화부(106)는 얼굴 이미지 A 및 B를 맑은 날씨에서 촬영 장치 1에 대해 설정된 값 이상의 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장하고, 얼굴 이미지 C를 우천 날씨에서 촬영 장치 1에 대해 설정된 값 이상의 유사도를 갖는 얼굴 이미지로 제2 데이터베이스(140)에 저장할 수 있다. 상기 날씨 정보는 촬영 장치(120)에 부착되는 별도의 온습도 센서(미도시) 등에 의해 획득될 수 있으나, 상기 날씨 정보의 획득 수단이 이에 한정되는 것은 아니다. 또한, 여기서는 설명의 편의상 상기 날씨 정보를 “맑음”, “흐림”, “우천” 등으로 분류하였으나 이는 일 실시예에 불과하며, 상기 날씨 정보의 분류는 사용자의 설정에 따라 달라질 수 있다.

또한, 이미지 구조화부(106)는 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 제1 유사도의 크기 순으로 정렬하여 제2 데이터베이스(140)에 저장할 수 있다. 위 예시에서, 얼굴 이미지 A 내지 C의 기준 정보에 대한 제1 유사도가 각각 90%, 80% 및 75% 인 경우, 이미지 구조화부(106)는 얼굴 이미지 A 내지 C를 A(90%), B(80%), C(75%) 순으로 정렬하여 제2 데이터베이스(140)에 저장할 수 있다.

이와 같이, 이미지 구조화부(106)는 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 인덱스에 포함된 정보에 따라 구조화하여 제2 데이터베이스(140)에 저장할 수 있으며, 제2 데이터베이스(140)에 저장된 구조화된 자료(즉, 얼굴 이미지)는 이후 얼굴 이미지 획득부(102)에서 새롭게 획득되는 신규 얼굴 이미지의 인물(또는 얼굴) 매칭을 위한 자료로서 사용될 수 있다. 이때, 이미지 구조화부(106)는 상기 자료들의 학습을 위해 설정된 기간(예를 들어, 일주일) 동안 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 위 인덱스에 포함된 정보에 따라 구조화하여 제2 데이터베이스(140)에 저장할 수 있으며, 설정된 기간 동안 상기 자료들이 제2 데이터베이스(140)에 누적되는 경우 상기 누적된 자료들이 신규 얼굴 이미지의 얼굴 매칭을 위한 자료로서 사용될 수 있다.

제2 유사도 계산부(108)는 얼굴 이미지 획득부(102)에서 획득된 신규 얼굴 이미지와, 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치(120)에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산한다. 이미지 구조화부(106)에서 설정된 기간 동안 얼굴 이미지를 학습하여 제2 데이터베이스(140)에 저장한 이후, 얼굴 이미지 획득부(102)는 하나 이상의 촬영 장치(120)를 통해 촬영된 영상으로부터 신규 얼굴 이미지를 획득할 수 있다. 이후, 제1 유사도 계산부(104)는 신규 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 제1 유사도를 계산할 수 있다. 만약, 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도가 설정된 값 이상인 경우, 제2 유사도 계산부(108)는 제2 유사도를 계산할 수 있다.

예를 들어, 신규 얼굴 이미지가 촬영 장치 2에서 획득된 경우, 제2 유사도 계산부(108)는 신규 얼굴 이미지와 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 촬영 장치 2에 대응되는 얼굴 이미지(예를 들어, 얼굴 이미지 D 및 E) 각각과의 제2 유사도를 계산할 수 있다. 제2 유사도 계산부(108)가 상기 제2 유사도를 계산하는 방법은 앞서 설명한 제1 유사도의 계산 방법과 동일할 수 있으며, 제2 유사도의 계산 방법이 특정 함수 또는 알고리즘에 한정되는 것은 아니다.

유사도 누적부(110)는 제1 유사도 계산부(104)에서 계산된 신규 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 제1 유사도, 및 제2 유사도 계산부(108)에서 계산된 신규 얼굴 이미지와 제2 데이터베이스(140)에 저장된 얼굴 이미지 각각과의 제2 유사도를 이용하여 누적 유사도를 계산한다. 여기서, 누적 유사도는 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물(즉, 기준 정보에 포함된 인적 사항에 대응되는 인물)에 매칭되는지의 여부를 판단하는 데 사용되는 지표로서, 신규 얼굴 이미지가 제1 데이터베이스(130) 및 제2 데이터베이스(140)에 저장된 자료들과 얼마나 유사한지를 나타낼 수 있다. 상기 누적 유사도는 제1 유사도 및 제2 유사도 각각의 산술 연산을 통해 계산될 수 있다. 상기 산술 연산은 덧셈, 뺄셈, 곱셈, 나눗셈의 사칙 연산, 부호를 바꾸거나 절대값을 취하는 단항 연산, 거듭제곱 연산, 루트 연산 등과 같이 일반적인 산술 법칙에 따라 수행되는 모든 연산을 포함할 수 있다.

일 예시로서, 유사도 누적부(110)는 제1 유사도와 제2 유사도 각각의 합을 계산함으로써 상기 누적 유사도를 계산할 수 있다. 예를 들어, 제1 유사도가 90%이고, 제2 유사도 각각이 95%, 90% 및 85%인 경우(제2 데이터베이스(140)에 저장된 각 촬영 장치(120)별 얼굴 이미지가 3개인 것으로 가정), 유사도 누적부(110)는 90 + 95 + 90 + 85 = 360 의 산술 연산을 통해 누적 유사도(위 예시의 360)를 계산할 수 있다.

다른 예시로서, 유사도 누적부(110)는 유클리드 거리(Euclidean distance)를 이용하여 상기 누적 유사도를 계산할 수 있다. 유사도 누적부(110)는 예를 들어, 아래의 수학식 1을 이용하여 유클리드 거리를 계산할 수 있다.

여기서, p_i는 신규 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 제1 유사도를 의미하며, q_i 는 신규 얼굴 이미지와 제2 데이터베이스(140)에 저장된 얼굴 이미지와의 제2 유사도를 의미한다. 여기서, i는 제2 데이터베이스(140)에 저장된 얼굴 이미지의 개수(예를 들어, i = 3)이며, p_i는 모두 동일한 값을 가질 수 있다. 또한, d 는 유클리드 거리를 의미한다.

상기 유클리드 거리는 아래의 수학식 2를 통해 0과 1 사이의 값으로 나타낼 수 있다. 여기서, S는 누적 유사도로서, 유클리드 거리에 상수(예를 들어, 1)을 더한 후 역수를 취함으로써 계산될 수 있다.

이와 같이, 유사도 누적부(110)는 제1 유사도 및 제2 유사도 각각을 고려하여 누적 유사도를 계산할 수 있다. 이때, 유사도 누적부(110)는 누적 유사도 계산시 영상이 촬영된 시간대, 상기 시간대에서의 날씨 정보 등을 고려하여 제2 데이터베이스(140)에 저장된 얼굴 이미지들 중 일부에 가중치를 부여할 수 있다. 예를 들어, 위 예시에서 제1 유사도가 90%이고, 제2 유사도 각각이 95%, 90% 및 85%인 경우, 유사도 누적부(110)는 누적 유사도 계산시 신규 얼굴 이미지를 포함한 영상이 촬영된 시간대와 동일한 시간대에서 획득된 얼굴 이미지 2에 대해 10%의 가중치를 부여할 수 있다. 이 경우, 누적 유사도는 예를 들어, 90 + 95 * 1.1 + 90 + 85 = 369.5가 될 수 있다.

얼굴 인식부(112)는 유사도 누적부(110)에서 계산된 누적 유사도를 이용하여 신규 얼굴 이미지를 인식한다. 상술한 바와 같이, 기준 정보는 기준 얼굴 이미지 및 상기 기준 얼굴 이미지의 특징 벡터뿐 아니라 상기 기준 얼굴 이미지에 대응되는 인물의 인적 사항(예를 들어, 이름, 성별, 직책 등)에 관한 정보를 포함할 수 있다. 만약, 유사도 누적부(110)에서 계산된 누적 유사도가 설정된 값 이상인 경우, 얼굴 인식부(112)는 상기 신규 얼굴 이미지가 기준 정보에 대응되는 인물에 매칭되는 것으로 판단할 수 있다.

즉, 얼굴 인식부(112)는 신규 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 유사도만을 이용하여 얼굴을 인식하는 것이 아니라, 신규 얼굴 이미지를 동일 조건(화각, 주변 날씨, 시간대 등)에서 획득된 얼굴 이미지와 비교함으로써 얼굴을 인식할 수 있으며, 이에 따라 얼굴 인식의 정확도 및 신뢰도가 향상될 수 있다.

또한, 유사도 누적부(110)에서 계산된 누적 유사도가 설정된 값 이상인 경우, 이미지 구조화부(106)는 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치(예를 들어, 촬영 장치 2)에 매칭시켜 제2 데이터베이스(140)에 저장할 수 있다. 이와 같이, 이미지 구조화부(106)는 제2 데이터베이스(140)에 저장된 자료를 계속적으로 업데이트할 수 있으며, 이에 따라 신규 얼굴 이미지와 가장 유사한 얼굴 이미지를 효율적으로 탐색하고, 얼굴 인식 과정에서 인물의 최근 모습을 고려할 수 있다.

일 실시예에서, 얼굴 이미지 획득부(102), 제1 유사도 계산부(104), 이미지 구조화부(106), 제2 유사도 계산부(108), 유사도 누적부(110) 및 얼굴 인식부(112)는 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

도 2는 본 발명의 일 실시예에 따른 얼굴 이미지 획득부(102)에서 얼굴 이미지를 획득하는 과정을 설명하기 위한 도면이다. 상술한 바와 같이, 얼굴 이미지 획득부(102)는 예를 들어, 설정된 얼굴 인식 알고리즘(또는 특징점 검출 알고리즘)을 이용하여 촬영 장치(120)로부터 수신한 영상에 포함된 얼굴 이미지(또는 신규 얼굴 이미지)를 검출할 수 있다.

도 2를 참조하면, 얼굴 이미지 획득부(102)는 예를 들어, FaceDetector 클래스를 이용하여 영상 내 얼굴 영역을 검출하고, FaceLandmarkDetector 클래스를 이용하여 얼굴 이미지 내 특징점을 추출함으로써 얼굴 이미지를 획득할 수 있다. 이때, 얼굴 이미지 획득부(102)는 PCA(Pricipal Component Analysis) 알고리즘을 이용하여 얼굴 이미지 내 특징점을 추출할 수 있다. 도 2에 표시된 각 점들은 추출된 특징점들을 나타낸다.

한편, 상기 얼굴 이미지 획득부(102)가 얼굴 이미지를 획득하는 방법은 일 실시예에 불과하며, 얼굴 이미지 획득부(102)는 다양한 얼굴 인식 알고리즘을 이용하여 영상으로부터 얼굴 이미지를 획득할 수 있다.

도 3은 본 발명의 일 실시예에 따른 이미지 구조화부(106)에서 얼굴 이미지를 제2 데이터베이스(140)에 저장하는 과정을 나타낸 예시도이다. 도 3에 도시된 바와 같이, 이미지 구조화부(106)는 얼굴 이미지를 연결 리스트(Linked List) 형태로 제2 데이터베이스(140)에 저장할 수 있다.

도 3을 참조하면, 이미지 구조화부(106)는 “홍길동”에 관한 기준 얼굴 이미지와의 제1 유사도가 설정된 값(예를 들어, 70%) 이상인 얼굴 이미지 각각을 촬영 장치(120)별로 분류하여 제2 데이터베이스(140)에 저장할 수 있다. 상기 촬영 장치(120)는 예를 들어, CCTV일 수 있으며, 각 CCTV 에는 아이디가 부여될 수 있다. 이미지 구조화부(106)는 제1 유사도가 설정된 값 이상인 얼굴 이미지들을 CCTV의 ID 별로 분류하여 정렬할 수 있다. 이때, 이미지 구조화부(106)는 상기 얼굴 이미지들을 제1 유사도의 크기 순으로 정렬하여 제2 데이터베이스(140)에 저장할 수 있다.

또한, 이미지 구조화부(106)는 “김철수”에 관한 기준 얼굴 이미지와의 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 촬영 장치(120)별로 분류하여 제2 데이터베이스(140)에 저장할 수 있다. 이와 같이, 이미지 구조화부(106)는 다른 기준 얼굴 이미지 각각에 대해서도 위와 동일한 과정을 수행할 수 있으며, 이에 따라 구조화된 DB를 구축할 수 있다. 이와 같은 과정을 통해 제2 데이터베이스(140)에 저장된 구조화된 자료(즉, 얼굴 이미지)는 이후 얼굴 이미지 획득부(102)에서 새롭게 획득된 신규 얼굴 이미지의 얼굴 매칭을 위한 자료로서 사용될 수 있다.

구체적으로, 설정된 기간 동안 상기 구조화된 자료들이 학습된 경우, 제1 유사도 계산부(104)는 얼굴 이미지 획득부(102)에서 획득된 신규 얼굴 이미지와 기준 얼굴 이미지와의 제1 유사도를 계산하고, 제2 유사도 계산부(108)는 신규 얼굴 이미지와, 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치(120)에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산할 수 있다. 예를 들어, 신규 얼굴 이미지가 CCTV 1에서 획득된 경우, 제2 유사도 계산부(108)는 신규 얼굴 이미지와 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 CCTV 1에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산할 수 있다. 이후, 유사도 누적부(110)는 상기 제1 유사도 및 제2 유사도 각각을 고려하여 누적 유사도를 계산할 수 있다.

만약, 상기 누적 유사도가 설정된 값 이상인 경우, 얼굴 인식부(112)는 상기 신규 얼굴 이미지가 상기 기준 얼굴 이미지에 대응되는 인물에 매칭되는 것으로 판단할 수 있다. 또한, 이 경우, 이미지 구조화부(106)는 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치, 즉 CCTV 1에 매칭시켜 제2 데이터베이스(140)에 저장할 수 있다. 이와 같이, 이미지 구조화부(106)는 제2 데이터베이스(140)에 저장된 자료를 계속적으로 업데이트할 수 있으며, 이에 따라 신규 얼굴 이미지와 가장 유사한 얼굴 이미지를 효율적으로 탐색하고, 얼굴 인식 과정에서 인물의 최근 모습을 고려할 수 있다.

한편, 도 3에서는 설명의 편의상 제2 데이터베이스(140)에 저장되는 얼굴 이미지의 개수가 촬영 장치(120)별로 각각 3개인 것으로 도시하였으나, 이는 일 실시예에 불과하며 각 촬영 장치(120)별 제2 데이터베이스(140)에 저장되는 얼굴 이미지의 개수가 이에 한정되는 것은 아니다.

도 4는 본 발명의 다른 실시예에 따른 이미지 구조화부(106)에서 얼굴 이미지를 제2 데이터베이스에 저장하는 과정을 나타낸 예시도이다. 도 4에 도시된 바와 같이, 이미지 구조화부(106)는 얼굴 이미지를 연결 리스트 및 트리(Tree) 형태로 제2 데이터베이스(140)에 저장할 수 있다.

도 4를 참조하면, 이미지 구조화부(106)는 도 3에 도시된 연결 리스트 형태의 구조화된 DB를 구축한 후 기준 얼굴 이미지와의 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각에 대해 유사도가 설정된 값 이상인 얼굴 이미지를 트리 형태로 구조화할 수 있다. 예를 들어, 이미지 구조화부(106)는 얼굴 이미지 a1(또는 노드 a1)과의 유사도가 설정된 값(예를 들어, 70%) 이상인 얼굴 이미지 a2(또는 노드 a2)를 얼굴 이미지 a1에 대한 하위 노드로서 제2 데이터베이스(140)에 저장하고, 얼굴 이미지 a2와의 유사도가 설정된 값(예를 들어, 70%) 이상인 얼굴 이미지 a3(또는 노드 a3)를 얼굴 이미지 a2에 대한 하위 노드로서 제2 데이터베이스(140)에 저장할 수 있다. 이때, 각 노드 간의 연결을 링크(link)라 하며, 상기 링크의 개수는 사용자의 설정에 따라 달라질 수 있다. 이미지 구조화부(106)는 최상위 노드의 얼굴 이미지 각각과의 유사도가 설정된 값 이상인 얼굴 이미지를 상기 최상위 노드의 하위 노드로서 제2 데이터베이스(140)에 저장할 수 있으며, 이에 따라 트리 형태의 구조화된 DB를 구축할 수 있다.

이후, 제2 유사도 계산부(108)는 신규 얼굴 이미지와, 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치(120)에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산할 수 있다. 예를 들어, 신규 얼굴 이미지가 CCTV 1에서 획득된 경우, 제2 유사도 계산부(108)는 신규 얼굴 이미지와 제2 데이터베이스(140)에 저장된 얼굴 이미지 중 CCTV 1에 대응되는 얼굴 이미지(즉, 얼굴 이미지 a1, a2, a3, b1, c1…등) 각각과의 제2 유사도를 계산할 수 있다. 이후, 유사도 누적부(110)는 상기 제1 유사도 및 제2 유사도 각각을 고려하여 누적 유사도를 계산할 수 있다.

만약, 상기 누적 유사도가 설정된 값 이상인 경우, 얼굴 인식부(112)는 상기 신규 얼굴 이미지가 상기 기준 얼굴 이미지에 대응되는 인물에 매칭되는 것으로 판단할 수 있다. 또한, 이 경우, 이미지 구조화부(106)는 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치, 즉 CCTV 1에 매칭시켜 제2 데이터베이스(140)에 저장할 수 있다.

이와 같이, 얼굴 이미지가 연결 리스트 및 트리(Tree) 형태로 제2 데이터베이스(140)에 저장되는 경우, 누적 유사도 계산을 위해 고려되는 얼굴 이미지의 개수가 증가하므로, 얼굴 인식의 정확도가 보다 향상될 수 있다.

도 5는 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)의 적용 예시를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)은 홈 보안 기술에 적용될 수 있다. 얼굴 인식 시스템(100)의 각 구성(모듈)들은 예를 들어, 홈 내부의 월 패드에 내장될 수 있다. 또한, 카메라(120)는 도어락에 하나 이상 설치되어 도어락 주변을 촬영할 수 있다. 사용자는 스마트폰(150)(또는 스마트폰(150)의 도어락 애플리케이션)을 이용하여 기준 얼굴 이미지(예를 들어, 가족의 얼굴 이미지)를 데이터베이스(130)에 등록할 수 있으며, 가족들이 귀가할 때마다 카메라(120)에 의해 촬영된 영상으로부터 기준 얼굴 이미지와 유사한 얼굴 이미지가 데이터베이스(140)에 누적될 수 있다. 또한, 도어락 근처에는 움직임 감지 센서(미도시)가 설치될 수 있으며, 카메라(120)는 상기 움직임 센서와 연동하여 동작할 수 있다.

일 예시로서, 움직임 감지 센서에 의해 도어락 근처에서 사람의 움직임이 감지되는 경우, 카메라(120)가 동작하여 도어락 근처의 영상을 획득할 수 있다. 얼굴 인식 시스템(100)은 카메라(120)로부터 영상을 수신하고, 수신된 영상으로부터 얼굴 이미지를 획득할 수 있다. 얼굴 인식 시스템(100)은 상기 얼굴 이미지로부터 제1 유사도 및 제2 유사도를 계산하고, 이로부터 누적 유사도를 계산할 수 있다. 만약, 상기 누적 유사도가 설정된 값 이상인 경우, 얼굴 인식 시스템(100)은 상기 얼굴 이미지가 등록된 기준 정보에 대응되는 인물에 매칭되는 것으로 판단하고, 도어락의 잠금을 해제할 수 있다. 만약, 상기 누적 유사도가 설정된 값 미만인 경우, 얼굴 인식 시스템(100)은 상기 얼굴 이미지가 등록된 기준 정보에 대응되는 인물에 매칭되지 않는 것으로 판단하고, 도어락의 잠금을 유지할 수 있다. 이때, 얼굴 인식 시스템(100)은 사용자가 소지하는 스마트폰(150)으로 알람 신호를 전송할 수 있으며, 사용자는 스마트폰(150)을 통해 카메라(120)에 의해 촬영된 영상을 원격으로 확인할 수 있다. 한편, 여기서는 설명의 편의상 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)이 홈 보안 기술에 적용되는 것으로 설명하였으나, 이는 일 실시예에 불과하며, 본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)은 빌딩, 사무실, 병원 등과 같은 다양한 장소에서 적용될 수 있다.

도 6은 본 발명의 일 실시예에 따른 얼굴 인식 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

먼저, 이미지 구조화부(106)는 제1 데이터베이스(130)에 저장된 기준 정보와 유사한 얼굴 이미지들을 촬영 장치(120)별로 분류하여 제2 데이터베이스(140)에 저장한다(S602).

다음으로, 얼굴 이미지 획득부(102)는 하나 이상의 촬영 장치(120)를 통해 촬영된 영상으로부터 신규 얼굴 이미지를 획득한다(S604).

다음으로, 제1 유사도 계산부(104)는 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도를 계산한다(S606).

다음으로, 제2 유사도 계산부(108)는 신규 얼굴 이미지와 상기 신규 얼굴 이미지를 획득한 촬영 장치(120)에 대응되는 얼굴 이미지들과의 제2 유사도를 계산한다(S608).

다음으로, 유사도 누적부(110)는 제1 유사도 및 제2 유사도 각각을 고려하여 누적 유사도를 계산한다(S610).

만약, 누적 유사도가 설정된 값 이상인 경우, 얼굴 인식부(112)는 신규 얼굴 이미지가 기준 정보에 대응되는 인물에 매칭되는 것으로 판단할 수 있다(S612, S614).

또한, 누적 유사도가 설정된 값 이상인 경우, 이미지 구조화부(106)는 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치(120)에 매칭시켜 제2 데이터베이스(140)에 저장할 수 있다(S612, S602).

도 7은 도 6의 S602 단계를 설명하기 위한 흐름도이다.

먼저, 얼굴 이미지 획득부(102)는 하나 이상의 촬영 장치(120)를 통해 촬영된 영상으로부터 얼굴 이미지를 획득한다(S702).

다음으로, 제1 유사도 계산부(104)는 획득된 얼굴 이미지와 제1 데이터베이스(130)에 저장된 기준 정보와의 제1 유사도를 계산한다(S704).

만약, 제1 유사도가 설정된 값 이상인 경우, 이미지 구조화부(106)는 얼굴 이미지를 상기 얼굴 이미지를 획득한 촬영 장치(120)와 매칭시켜 제2 데이터베이스(140)에 저장할 수 있다(S706, S708).

만약, 제1 유사도가 설정된 값 미만인 경우, 제1 유사도 계산부(104)는 얼굴 이미지와 다음 기준 정보와의 제1 유사도를 계산할 수 있으며(S706, S704), 상기 S704 내지 S708 단계가 반복 수행될 수 있다.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 얼굴 인식 시스템
102 : 얼굴 이미지 획득부
104 : 제1 유사도 계산부
106 : 이미지 구조화부
108 : 제2 유사도 계산부
110 : 유사도 누적부
112 : 얼굴 인식부
120 : 촬영 장치
130 : 제1 데이터베이스
140 : 제2 데이터베이스
150 : 스마트폰

Claims

하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 얼굴 이미지 획득부;
상기 얼굴 이미지와 제1 데이터베이스에 저장된 기준 정보와의 제1 유사도를 계산하는 제1 유사도 계산부;
상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 제2 데이터베이스에 저장하는 이미지 구조화부;
상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 제2 유사도 계산부; 및
상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 얼굴 인식부를 포함하는, 얼굴 인식 시스템.
청구항 1에 있어서,
상기 기준 정보는, 기준 얼굴 이미지 및 상기 기준 얼굴 이미지의 특징 벡터 중 하나 이상을 포함하는, 얼굴 인식 시스템.
청구항 1에 있어서,
상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치의 식별 정보, 상기 영상이 촬영된 시간대 및 상기 시간대에서의 날씨 정보 중 하나 이상을 포함하는 인덱스와 함께 상기 제2 데이터베이스에 저장하는, 얼굴 인식 시스템.
청구항 3에 있어서,
상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 인덱스에 포함된 정보에 따라 분류하여 상기 제2 데이터베이스에 저장하는, 얼굴 인식 시스템.
청구항 1에 있어서,
상기 이미지 구조화부는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 제1 유사도의 크기 순으로 정렬하여 상기 제2 데이터베이스에 저장하는, 얼굴 인식 시스템.
청구항 1에 있어서,
상기 제1 유사도 계산부는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도를 계산하며,
상기 제2 유사도 계산부는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도가 설정된 값 이상인 경우 상기 제2 유사도를 계산하는, 얼굴 인식 시스템.
청구항 6에 있어서,
상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도 및 상기 제2 유사도 각각을 고려하여 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는지의 여부를 판단하는 데 사용되는 지표인 누적 유사도를 계산하는 유사도 누적부를 더 포함하는, 얼굴 인식 시스템.
청구항 7에 있어서,
상기 얼굴 인식부는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는 것으로 판단하는, 얼굴 인식 시스템.
청구항 7에 있어서,
상기 이미지 구조화부는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치에 매칭시켜 상기 제2 데이터베이스에 저장하는, 얼굴 인식 시스템.
얼굴 이미지 획득부에서, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 단계;
제1 유사도 계산부에서, 상기 얼굴 이미지와 등록된 기준 정보와의 제1 유사도를 계산하는 단계;
이미지 구조화부에서, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 저장하는 단계;
제2 유사도 계산부에서, 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 단계; 및
얼굴 인식부에서, 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 단계를 포함하는, 얼굴 인식 방법.
청구항 10에 있어서,
상기 기준 정보는, 기준 얼굴 이미지 및 상기 기준 얼굴 이미지의 특징 벡터 중 하나 이상을 포함하는, 얼굴 인식 방법.
청구항 10에 있어서,
상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치의 식별 정보, 상기 영상이 촬영된 시간대 및 상기 시간대에서의 날씨 정보 중 하나 이상을 포함하는 인덱스와 함께 상기 제2 데이터베이스에 저장하는, 얼굴 인식 방법.
청구항 12에 있어서,
상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 인덱스에 포함된 정보에 따라 분류하여 상기 제2 데이터베이스에 저장하는, 얼굴 인식 방법.
청구항 10에 있어서,
상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 저장하는 단계는, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 제1 유사도의 크기 순으로 정렬하여 상기 제2 데이터베이스에 저장하는, 얼굴 인식 방법.
청구항 10에 있어서,
상기 제2 유사도를 계산하는 단계 이전에,
상기 제1 유사도 계산부에서, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도를 계산하는 단계를 더 포함하며,
상기 제2 유사도를 계산하는 단계는, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도가 설정된 값 이상인 경우 상기 제2 유사도를 계산하는, 얼굴 인식 방법.
청구항 15에 있어서,
상기 제2 유사도를 계산하는 단계 이후,
유사도 누적부에서, 상기 신규 얼굴 이미지와 상기 기준 정보와의 제1 유사도 및 상기 제2 유사도 각각을 고려하여 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는지의 여부를 판단하는 데 사용되는 지표인 누적 유사도를 계산하는 단계를 더 포함하는, 얼굴 인식 방법.
청구항 16에 있어서,
상기 신규 얼굴 이미지를 인식하는 단계는, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지가 상기 기준 정보에 대응되는 인물에 매칭되는 것으로 판단하는, 얼굴 인식 방법.
청구항 16에 있어서,
상기 누적 유사도를 계산하는 단계 이후,
상기 이미지 구조화부에서, 상기 누적 유사도가 설정된 값 이상인 경우 상기 신규 얼굴 이미지를 상기 신규 얼굴 이미지를 획득한 촬영 장치에 매칭시켜 상기 제2 데이터베이스에 저장하는 단계를 더 포함하는, 얼굴 인식 방법.
하드웨어와 결합되어
얼굴 이미지 획득부에서, 하나 이상의 촬영 장치를 통해 촬영된 영상으로부터 얼굴 이미지를 획득하는 단계;
제1 유사도 계산부에서, 상기 얼굴 이미지와 등록된 기준 정보와의 제1 유사도를 계산하는 단계;
이미지 구조화부에서, 상기 제1 유사도가 설정된 값 이상인 얼굴 이미지 각각을 상기 얼굴 이미지를 획득한 촬영 장치별로 분류하여 저장하는 단계;
제2 유사도 계산부에서, 상기 얼굴 이미지 획득부에서 획득된 신규 얼굴 이미지와, 상기 제2 데이터베이스에 저장된 얼굴 이미지 중 상기 신규 얼굴 이미지를 획득한 촬영 장치에 대응되는 얼굴 이미지 각각과의 제2 유사도를 계산하는 단계; 및
얼굴 인식부에서, 상기 제2 유사도를 고려하여 상기 신규 얼굴 이미지를 인식하는 단계
를 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.