KR20120135469A - 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법 - Google Patents

Abstract

일 실시 형태에 따른 얼굴 화상 검색 시스템은 화상 데이터를 수신하는 화상 수신부와, 상기 화상 수신부에 의해 수신한 상기 화상 데이터로부터 얼굴 화상을 검출하는 얼굴 검출부와, 상기 얼굴 검출부에 의해 검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하는 특징 추출부와, 상기 특징 추출부에 의해 추출된 상기 얼굴 특징에 기초하여 속성을 판별하는 속성 판별부와, 미리 얼굴 특징을 데이터 베이스로서 기억하고, 상기 특징 추출부에 의해 추출된 얼굴 특징을 수신한 경우 상기 데이터 베이스에 부가하고, 상기 특징 추출부에 의해 추출된 얼굴 특징과 상기 데이터 베이스에 포함되어 있는 얼굴 특징의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하는 복수의 검색부와, 임의의 속성과 상기 검색부를 나타내는 정보를 대응시켜서 설정 정보를 생성하는 설정부와, 상기 설정부에 의해 생성된 상기 설정 정보와, 상기 속성 판별부에 의해 판별된 상기 속성에 기초하여 하나 또는 복수의 검색부를 특정하고, 특정한 상기 검색부에 상기 특징 추출부에 의해 추출된 상기 얼굴 특징을 송신하는 제어부를 구비한다.

Description

얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법{FACIAL IMAGE SEARCH SYSTEM AND FACIAL IMAGE SEARCH METHOD}

본 출원은 2011년 6월 6일 출원된 일본 특허 출원 번호 제2011-126734호에 기초한 것으로 그 우선권을 주장하며, 그 전체 내용이 참조로서 본 명세서에 원용된다.

본 명세서에 기술된 실시 형태는 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법에 관한 것이다.

복수 지점에 설치된 복수의 카메라에 의해 취득된 화상 중에서 얼굴 화상을 검출하고, 이 얼굴 화상을 데이터 베이스로부터 검색하는 얼굴 화상 검색 시스템이 있다. 얼굴 화상 검색 시스템은 카메라에 의해 취득한 화상, 또는 기록 장치에 축적된 화상 등 중에서 얼굴 화상을 검출하여, 데이터 베이스에 축적한다.

얼굴 화상을 검색하는 경우, 데이터 베이스의 정보량에 따라 검색에 필요로 하는 처리 시간이 증가한다. 이 때문에, 검색 결과의 추출까지 시간을 필요로 하는 경우가 있다는 과제가 있다.

예를 들어, 데이터 베이스 내의 화상에 텍스트를 부가하고, 부가되어 있는 텍스트에 기초하여 검색 대상을 좁히는 것을 생각할 수 있지만, 얼굴 화상의 검색 요구를 동시에 복수 수취했을 경우, 검색 처리가 따라가지 못할 가능성이 있다.

또한, 복수의 데이터 베이스를 분산시켜서 기억함으로써, 처리의 부하를 분산시키는 것을 생각할 수 있지만, 검색 대상의 데이터 베이스를 특정할 수 없을 가능성이 있다.

도 1은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 2는 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 3은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 4는 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 5는 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 6은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 7은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 8은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 9는 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 10은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 11은 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.
도 12는 일 실시 형태에 따른 얼굴 화상 검색 시스템을 설명하는 예시도이다.

이하, 도면을 참조하면서, 일 실시 형태에 따른 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법에 대해서 상세하게 설명한다.

도 1은 일 실시 형태에 따른 얼굴 화상 검색 시스템(100)의 예를 나타낸다.

얼굴 화상 검색 시스템(100)은 화상을 취득하는 카메라(10), 얼굴 검출 클라이언트(20), 특징 추출 서버(30) 및 검색 서버(40) 등을 구비한다. 또한, 도 1에서는, 얼굴 화상 검색 시스템(100)은 복수의 카메라(10A 내지 10N), 복수의 얼굴 검출 클라이언트(20A 내지 20N), 복수의 특징 추출 서버(30A 내지 30N) 및 복수의 검색 서버(40A 내지 40N)를 구비하는 예가 도시되어 있다.

카메라(10), 얼굴 검출 클라이언트(20), 특징 추출 서버(30) 및 검색 서버(40)는 각각 서로 LAN, 공중 회선 또는 다른 데이터 통신이 가능한 네트워크 등에 의해 서로 접속되어 있다. 이에 의해, 카메라(10), 얼굴 검출 클라이언트(20), 특징 추출 서버(30) 및 검색 서버(40)는 서로 데이터 통신을 행할 수 있다.

카메라(10)는 소정의 범위로부터 광을 수광하여, 화상을 취득한다. 예를 들어, 카메라(10A 내지 10N)는 각각 상이한 지점에 설치된다. 이에 의해, 카메라(10)는 각각의 지점에 존재하는 인물의 화상을 취득할 수 있다. 카메라(10)는, 예를 들어 공업용 텔레비젼(industrial television; ITV) 카메라 등을 구비한다. ITV 카메라는 렌즈에 의해 수광되는 광에 기초하여 전기 신호를 생성하고, 전기 신호를 아날로그 디지털(A/D) 변환기에 의해 디지털화하여 화상 데이터로서 출력한다. 이에 의해, 카메라(10)는 얼굴 검출 클라이언트(20)에 화상 데이터를 출력할 수 있다.

얼굴 검출 클라이언트(20)는 카메라(10)로부터 출력된 화상 데이터에 기초하여 얼굴 화상(얼굴 화상 데이터)을 검출한다. 또한, 얼굴 화상을 검출하는 방법에 대해서는 후술한다. 얼굴 검출 클라이언트(20)는 검출한 얼굴 화상 데이터를 특징 추출 서버(30)에 출력한다.

특징 추출 서버(30)는 얼굴 검출 클라이언트(20)로부터 출력된 얼굴 화상 데이터에 기초하여 인물의 얼굴 특징(facial feature)을 추출한다. 또한, 특징 추출 서버(30)는 얼굴 화상 데이터 또는 얼굴 특징에 기초하여 인물의 속성을 판별한다. 특징 추출 서버(30)는 판별한 속성에 기초하여 얼굴 화상 데이터, 얼굴 특징 및 속성을 나타내는 속성 정보 등을 송신하는 검색 서버(40)를 적어도 하나 특정한다. 특징 추출 서버(30)는 특정한 검색 서버(40)에 얼굴 화상 데이터, 얼굴 특징 및 속성 정보를 출력한다.

검색 서버(40)는 특징 추출 서버(30)로부터 출력된 얼굴 화상 데이터, 얼굴 특징 및 속성 정보를 저장한다. 검색 서버(40)는 얼굴 화상 데이터, 얼굴 특징 및 속성을 하나의 인물 정보(personal data)로 하여, 복수의 인물 정보를 포함하는 데이터 베이스를 구축한다. 또한, 검색 서버(40)는 이미 데이터 베이스에 등록되어 있는 얼굴 특징과 특징 추출 서버(30)로부터 출력된 얼굴 특징의 유사도를 산출함으로써 인물 검색을 행한다. 검색 서버(40)는, 예를 들어 검색 결과를 표시 장치 등에 표시함으로써, 특정 인물의 과거의 액세스를 얼굴 화상 검색 시스템(100)의 감시자에게 통지할 수 있다.

이에 의해, 얼굴 화상 검색 시스템(100)은 얼굴 화상을 이용하여 데이터 베이스 중의 인물 정보를 특정할 수 있다. 이 결과, 얼굴 화상 검색 시스템(100)은, 예를 들어 고객 데이터 중에서 특정 인물을 찾거나 또는 수상한 사람의 데이터 베이스로부터 해당자를 찾는 것 등을 실현할 수 있다. 또한, 얼굴 화상 검색 시스템(100)은 ID증의 갱신시의 본인 확인 또는 ID증의 신규 발행시의 이중 발행의 방지 등에 사용할 수 있다.

도 2는 일 실시 형태에 따른 얼굴 화상 검색 시스템(100)의 보다 구체적인 예를 나타낸다. 도 2는, 예를 들어 얼굴 화상 검색 시스템(100)의 기능을 블록으로서 나타낸다.

도 2에 도시된 바와 같이, 얼굴 화상 검색 시스템(100)은 화상 수신부(110), 얼굴 검출부(120), 특징 추출부(130), 설정부(140), 속성 판별부(150), 제어부(160), 인물 정보 기억부(171 내지 173), 검색부(181 내지 183) 및 출력부(190)를 구비한다.

또한, 화상 수신부(110), 얼굴 검출부(120), 특징 추출부(130), 설정부(140), 속성 판별부(150) 및 제어부(160)는, 도 1에 의해 도시된 얼굴 검출 클라이언트(20)와 특징 추출 서버(30) 중 어느 쪽을 구비하는 것이어도 좋다. 또한, 도 1에 의해 도시된 네트워크에 접속된 또 다른 모듈이 상기의 기능 블록을 구비하는 구성이어도 좋다. 또한, 얼굴 화상 검색 시스템(100)은 상기의 각 블록을 복수 구비하는 구성이어도 좋다. 즉, 얼굴 화상 검색 시스템(100)의 각 블록의 수는 얼굴 화상 검색 시스템(100)의 입출력의 수에 따라 임의로 증가시킬 수 있다.

화상 수신부(110)는 카메라(10)로부터 화상 데이터를 수신한다. 화상 수신부(110)는 수신한 화상 데이터를 얼굴 검출부(120)에 송신한다. 또한, 화상 수신부(110)는 카메라(10) 대신에 디지털 비디오 레코더(DVR) 등의 영상을 기록하는 기억 장치 또는 메모리 등에 기록되어 있는 화상 데이터를 수신하는 구성이어도 좋다. 또한, 화상 수신부(110)는 아날로그의 영상 신호(화상)를 수신하고, 수신한 아날로그 영상 신호를 아날로그 디지털 변환하고, 변환된 디지털의 화상 데이터를 얼굴 검출부(120)에 송신하는 구성이어도 좋다.

얼굴 검출부(120)는 화상 수신부(110)로부터 송신된 화상 데이터에 기초하여 인물의 얼굴이 찍혀 있는 영역(얼굴 영역)의 화상(얼굴 화상)을 검출한다. 얼굴 검출부(120)는 검출한 얼굴 화상을 특징 추출부(130)에 송신한다.

얼굴 검출부(120)는, 예를 들어 화상 데이터 내를 미리 준비된 템플릿을 이동시키면서 상관값을 산출한다. 얼굴 검출부(120)는 가장 높은 상관값이 산출된 영역을 얼굴 영역으로 특정한다. 이에 의해, 얼굴 검출부(120)는 화상 데이터 내의 인물의 얼굴이 찍혀 있는 얼굴 영역의 얼굴 화상을 검출할 수 있다.

또한, 얼굴 검출부(120)는 고유 공간법(eigen space method) 또는 부분 공간법(subspace method) 등을 이용해서 얼굴 영역을 검출하는 구성이어도 좋다. 또한, 얼굴 검출부(120)는 화상 데이터 중으로부터 눈, 코 등의 얼굴 부위의 위치를 검출함으로써, 얼굴 영역을 검출하는 구성이어도 좋다.

또한, 얼굴 검출부(120)는 1장의 화상 중에서 하나의 얼굴 영역(얼굴 특징)을 검출하는 경우, 전체 화상에 대하여 템플릿과의 상관값을 구하여 최대가 되는 위치와 크기를 출력한다. 또한, 얼굴 검출부(120)는 1장의 화상 중으로부터 복수의 얼굴 특징을 검출하는 경우, 화상 전체에 대한 상관값의 국소 최대값을 구하고, 1장의 화상 내에서의 겹침을 고려해서 얼굴의 후보 위치를 좁힌다. 또한, 얼굴 검출부(120)는 연속해서 입력된 과거의 화상과의 관계성(시간적인 추이)을 고려하여, 최종적으로 복수의 얼굴 화상을 동시에 검출할 수 있다.

또한, 얼굴 검출부(120)는 인물이 마스크, 선글라스 또는 모자 등을 착용하고 있는 경우라도 얼굴 영역을 검출할 수 있도록, 미리 인물이 마스크, 선글라스 또는 모자 등을 착용하고 있는 경우의 얼굴 패턴을 템플릿으로서 기억해 두는 구성이어도 좋다.

또한, 얼굴 검출부(120)는 얼굴의 특징점의 검출을 할 때에 얼굴의 특징점의 모든 점을 검출할 수 없는 경우, 일부의 얼굴 특징점의 평가값에 기초하여 처리를 행한다. 즉, 얼굴 검출부(120)는 일부의 얼굴 특징점의 평가값이 미리 설정되는 기준값 이상인 경우, 이차원 평면 또는 삼차원적인 얼굴의 모델을 이용해서 검출된 특징점으로부터 나머지 특징점을 추측할 수 있다.

또한, 특징점이 전혀 검출되지 않는 경우, 얼굴 검출부(120)는 얼굴 전체의 패턴을 미리 학습함으로써, 얼굴 전체의 위치를 검출하고, 얼굴 전체의 위치로부터 얼굴 특징점을 추측할 수 있다.

또한, 카메라(10)가 감시 카메라 등인 경우, 연속한 프레임에 걸쳐 동일 인물이 찍힐 가능성이 높다. 따라서, 얼굴 검출부(120)는 인물이 보통으로 보행하고 있는 경우에 연속하는 프레임으로 어느 근처로 이동할 지의 통계 정보를 바탕으로 확률을 산출하고, 가장 확률이 높아지는 조합을 선택해서 연속해서 검출된 얼굴 영역의 대응시키기를 행할 수 있다. 이에 의해, 얼굴 검출부(120)는 복수의 프레임 간에 동일 인물이 찍혀 있는 신으로부터 하나의 얼굴 영역을 검출할 수 있다.

또한, 얼굴 검출부(120)는 카메라(10)에서의 프레임 레이트가 높은 경우, 옵티컬 플로우를 이용하는 등 해서 프레임 간에서의 얼굴 영역을 대응시킴으로써, 복수의 프레임 간에 동일 인물이 찍혀 있는 신으로부터 하나의 얼굴 영역을 검출할 수 있다.

또한, 얼굴 검출부(120)는, 예를 들어 인물의 전신 영역을 검출하는 구성이어도 좋다. 얼굴 검출부(120)는, 예를 들어 인물이 존재하는 경우의 휘도 구배 정보의 분포가 어떻게 나타나는지를 복수의 국소 영역에서의 공기성(共起性)을 이용해서 구한다. 인물이 존재하고 있는 경우, 얼굴 검출부(120)는 그 인물이 찍혀 있는 영역을 직사각형 정보로서 산출한다. 얼굴 검출부(120)는 이 검출 결과에 기초하여 이 인물의 얼굴이 찍혀 있는 얼굴 영역을 추정하여, 얼굴 화상을 검출한다. 또한, 얼굴 검출부(120)는 상기의 직사각형 정보에 기초하여 인물의 신장 등을 계측하는 구성이어도 좋다.

특징 추출부(130)는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 얼굴 특징(facial feature)을 추출한다. 얼굴 특징은 개인을 식별하기 위한 특징 정보이다. 특징 추출부(130)는, 예를 들어 부분 공간법(subspace method) 등을 이용함으로써 얼굴 특징을 산출할 수 있다. 특징 추출부(130)는 추출한 얼굴 특징을 속성 판별부(150)에 송신한다.

특징 추출부(130)는, 예를 들어 얼굴 화상의 농담 정보를 얼굴 특징으로서 추출한다. 특징 추출부(130)는 m 픽셀×n 픽셀의 영역의 농담값을 m×n 차원의 특징 벡터로서 추출한다. 즉, 특징 추출부(130)는 단순 유사도법이라는 방법을 이용함으로써, 벡터와 벡터의 길이를 각각 1로 하도록 정규화를 행하여, 내적을 계산한다. 이에 의해, 특징 추출부(130)는 특징 벡터 간의 유사성을 나타내는 유사도를 산출할 수 있다.

또한, 특징 추출부(130)는 얼굴 화상에 대하여 미리 설정된 모델을 이용함으로써, 얼굴의 방향 및 상태 등을 의도적으로 변동시킨 화상을 작성하고, 이 화상에 기초하여 얼굴 특징을 추출할 수도 있다.

또한, 특징 추출부(130)는 상기한 바와 같이 카메라(10)에 의해 연속해서 촬상된 복수의 얼굴 화상에 기초하여 보다 높은 정밀도로 얼굴 특징을 추출할 수도 있다. 이 경우, 특징 추출부(130)는, 예를 들어 상호 부분 공간법(mutual subspace method)을 이용함으로써 얼굴 특징을 추출할 수 있다. 즉, 특징 추출부(130)는 얼굴 화상의 특징 벡터의 상관 행렬을 산출하고, 산출한 행렬을 K-L 전개(KL expansion)함으로써 고유 벡터(eigen vector)를 구한다. 이에 의해, 특징 추출부(130)는 연속한 화상으로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 계산한다.

부분 공간은 고유값이 큰 순서대로 선택된 k개의 고유 벡터의 집합에 의해 표현할 수 있다. 본 실시예에서는 상관 행렬 Cd를 특징 벡터로부터 산출하고, Cd=Φd×Δd×Φd×T로 대각화하여 고유 벡터의 행렬 Φ를 산출한다.

설정부(140)는 속성 판별부(150)에서 판별하는 속성, 화상 데이터 및 얼굴 특징 등을 포함하는 인물 정보를 송신하는 송신처의 검색 서버를 설정한다. 이를 위해, 설정부(140)는 조작자에 의한 조작 입력에 기초하여 조작 신호를 생성하는 조작부 및 설정 화면 등을 표시하기 위한 표시부 등이 접속된다. 설정부(140)는 설정을 행하는 경우, 설정 화면을 생성하고, 상기의 표시부 등에 표시시킨다. 도 3은 설정부(140)에 의해 생성된 설정 화면의 예를 나타낸다.

설정 화면은 「분류 처리」, 「카메라」, 「날짜 및 요일」, 「시각」, 「속성 종별」 및 「송신처 서버」 등의 항목을 포함한다. 얼굴 화상 검색 시스템(100)은 이들의 설정과, 후술하는 속성 판별부(150)에 의한 속성 판별의 결과에 기초하여 인물 정보를 복수의 검색 서버에 배분하는 배분 처리(sorting)를 행한다. 즉, 얼굴 화상 검색 시스템(100)은 이들의 설정과, 후술하는 속성 판별부(150)에 의한 속성 판별의 결과에 기초하여, 화상 데이터, 얼굴 특징 및 속성 등을 송신하는 송신처의 검색 서버를 특정한다.

「분류 처리」는 상기의 배분 처리를 행할 지의 여부를 설정하기 위한 항목이다. 「분류하지 않는다」가 선택된 경우, 얼굴 화상 검색 시스템(100)은 얼굴 화상 검색 시스템(100) 내의 모든 검색 서버(40)에 인물 정보를 송신한다. 「분류 있음(수동)」이 선택된 경우, 「카메라」, 「날짜 및 요일」, 「시각」, 「속성 종별」 및 「송신처 서버」 등의 항목의 설정과 속성 판별부(150)에 의해 판별된 속성에 대응하는 검색 서버(40)에 인물 정보를 송신한다. 또한, 「분류 있음(자동)」이 선택된 경우의 동작에 대해서는 후술한다.

「카메라」는 설정 대상이 되는 카메라(10)를 선택하기 위한 항목이다. 즉, 도 3에 의해 도시되는 설정 항목은, 예를 들어 도 1에 의해 도시되는 카메라(10)마다 설정되는 구성이어도 좋다. 또한, 도 1에 의해 도시되는 모든 카메라(10)에 공통적으로 설정되는 구성이어도 좋다.

「날짜 및 요일」은 상기의 배분 처리를 행하는 날짜 및/또는 요일 등을 설정하기 위한 항목이다. 「날짜 및 요일」에서는, 예를 들어 날짜, 날짜의 범위, 요일 및 또는 요일의 범위(예를 들어 평일, 토, 일 등)가 설정된다.

「시각」의 항목은 상기의 배분 처리를 행하는 시각을 설정하기 위한 항목이다. 「시각」에서는, 예를 들어 시각의 범위가 설정된다. 또한, 시각에서 배분 처리의 유무를 제한하지 않는 경우, 「시각」으로서 종일이 설정된다.

「속성 종별」은 배분하는 속성의 종별을 선택하기 위한 항목이다. 도 3에 도시된 바와 같이, 「속성 종별」은, 예를 들어 「연령(3 클래스)」, 「연령(7 클래스)」, 「성별(3 클래스)」, 「안경(2 클래스)」, 「모자(2 클래스)」, 「마스크(2 클래스)」 등의 항목을 포함한다. 또한, 「속성 종별」은 또 다른 속성이 설정되는 구성이어도 좋다.

「연령(3 클래스)」은, 예를 들어 청년, 중년 및 고령 등의 클래스를 포함한다. 또한, 「연령(7 클래스)」은, 예를 들어 10대, 20대, 30대, 40대, 50대, 60대 및 70대 등의 클래스를 포함한다. 또한, 「성별(3 클래스)」은 남성, 여성 및 불명 등의 클래스를 포함한다.

또한, 「안경(2 클래스)」은 안경 있음 및 안경 없음 등의 클래스를 갖는다. 또한, 「모자(2 클래스)」는 모자 있음 및 모자 없음 등의 클래스를 갖는다. 또한, 「마스크(2 클래스)」는 마스크 있음 및 마스크 없음 등의 클래스를 갖는다.

「송신처 서버」는 인물 정보의 송신처의 검색 서버(40)를 상기의 「속성 종별」에서 설정된 속성의 클래스마다 설정하기 위한 항목이다. 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 판별된 속성에 기초해서 상기의 클래스를 특정하고, 특정한 클래스에 기초하여 인물 정보의 송신처의 검색 서버(40)를 특정한다. 얼굴 화상 검색 시스템(100)은 특정한 검색 서버(40)에 인물 정보를 송신한다.

또한, 「송신처 서버」의 항목에서는 복수의 검색 서버(40)가 송신처로서 설정되는 구성이어도 좋다. 또한, 「송신처 서버」의 항목에서는 인물 정보를 검색 서버(40)에 송신하지 않는 클래스가 설정되는 구성이어도 좋다. 또한, 「송신처 서버」의 항목은 각 클래스마다 또는 송신처의 검색 서버(40)마다 임계값이 설정되는 구성이어도 좋다. 이 경우, 얼굴 화상 검색 시스템(100)은 이 임계값을 인물 정보에 대응시켜서 검색 서버(40)에 송신한다.

상기 각 항목을 설정함으로써, 도 4에 도시된 바와 같은 설정 정보가 생성된다. 또한, 「분류 처리」의 항목에서 「분류 있음(자동)」이 선택되어 있는 경우, 후술하는 자동 설정 처리에 의해 생성되는 설정 정보에 기초하여 송신처가 선택되기 때문에, 「속성 종별」 및 「송신처 서버」의 항목은 블랭크가 된다.

예를 들어, 「속성 종별」로서 「성별(3 클래스)」이 선택된 경우, 설정부(140)는 클래스 1로서 「남성」을 설정하고, 클래스 2로서 「여성」을 설정하고, 클래스 3으로서 「불명」을 설정한다. 또한, 설정부(140)는 각 클래스마다 송신처의 검색 서버(40)를 설정한다. 예를 들어, 설정부(140)는 클래스 1로서 「서버 1」을 설정하고, 클래스 2로서 「서버 2」를 설정하고, 클래스 3으로서 「서버 1」 및 「서버 2」를 설정한다.

이 경우, 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 남성으로 판별된 인물 정보를 서버 1에 송신한다. 또한, 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 여성으로 판별된 인물 정보를 서버 2에 송신한다. 또한, 얼굴 화상 검색 시스템(100)은 속성 판별부(150)에 의해 불명으로 판별된 인물 정보를 서버 1 및 서버 2의 양쪽에 송신한다.

즉, 성별이 불명 등의 신뢰도가 낮은 인물 정보를 복수의 서버에 송신함으로써, 검색해야 할 인물 정보가 검색 대상으로부터 벗어나는 것을 방지할 수 있다.

또한, 상기 예에서는 「속성 종별」로서 연령, 성별, 안경의 유무, 마스크의 유무 및 모자의 유무 등을 나타냈지만, 속성 종별은 이들로 한정되지 않는다. 설정부(140)는 또 다른 속성 종별에 기초하여 송신처를 설정하는 구성이어도 좋다.

속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징 또는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 속성을 판별한다. 속성 판별부(150)는 판별한 속성과 얼굴 특징과 얼굴 화상을 대응시켜서 인물 정보로 한다. 속성 판별부(150)는 제어부(160)의 제어에 기초하여 검색 서버(40)에 인물 정보를 송신한다.

또한, 본 실시 형태에서는 속성 판별부(150)는 연령, 성별, 안경의 유무, 마스크의 유무 및 모자의 유무 등을 속성으로서 판별하는 예를 나타낸다. 그러나, 속성 판별부(150)는 또 다른 속성을 판별하는 구성이어도 좋다. 다른 속성의 예는, 예를 들어 복장, 표정, 비만도, 유복도, 얼굴에의 장식품의 유무, 인종 등이 있다.

예를 들어, 연령 및 성별 등의 속성을 판별하는 경우, 속성 판별부(150)는 연령 및 성별 각각에 적합한 전처리를 행함으로써, 높은 정밀도로 속성을 판별할 수 있다.

통상, 인물의 얼굴은 연령이 높아질수록 주름이 증가한다. 따라서, 속성 판별부(150)는, 예를 들어 주름을 강조하는 선분 강조 필터를 얼굴 특징에 대하여 중첩함으로써 인물의 연령을 판별할 수 있다.

또한, 속성 판별부(150)는 성별 특유의 부위(예를 들어 수염 등)가 강조되는 주파수 성분을 강조하는 필터 또는 골격 정보가 강조되는 것과 같은 필터를 얼굴 특징에 대하여 중첩한다. 이에 의해, 속성 판별부(150)는 인물의 성별을 판별할 수 있다.

예를 들어, 속성 판별부(150)는 성별을 판별하는 경우, 판별 결과로서 성별도를 나타내는 하나의 수치를 산출한다. 속성 판별부(150)는 이 수치와, 미리 설정되는 기준값에 기초하여 남녀를 판별한다. 그러나, 기준값에 가까운 값이 산출된 경우, 속성 판별부(150)는 성별을 불명이라 판별한다.

또한, 상기 기준값은 설정부(140)에 접속된 조작부에 의해 설정되는 구성이어도 좋다. 또한, 상기 기준값은 얼굴 화상 검색 시스템(100)에 의해 실행되는 학습 프로세스에 기초하여 설정되는 구성이어도 좋다. 이 경우, 설정부(140)는 미리 「남성」 또는 「여성」을 나타내는 속성이 부여된 화상 데이터에 기초하여 얼굴 검출, 특징 추출 및 속성 판별을 행하고, 속성 판별의 결과와 미리 부여된 속성에 기초하여 기준값을 설정한다.

또한, 속성 판별부(150)는, 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 눈, 눈꼬리 또는 눈시울의 위치를 특정한다. 이에 의해, 속성 판별부(150)는 양 눈 부근의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써 안경의 유무를 판별할 수 있다.

또한, 속성 판별부(150)는, 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 입과 코의 위치를 특정한다. 이에 의해, 속성 판별부(150)는 특정한 입과 코의 위치의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써, 마스크의 유무를 판별할 수 있다.

또한, 속성 판별부(150)는, 예를 들어 얼굴 검출 처리에 의해 구해진 얼굴 부위의 위치 정보로부터 눈 및 눈썹의 위치를 특정한다. 이에 의해, 속성 판별부(150)는 얼굴의 피부 영역의 상단부를 특정할 수 있다. 또한, 속성 판별부(150)는 특정한 얼굴의 두부 영역의 화상을 잘라내고, 잘라낸 화상을 부분 공간의 계산 대칭으로 함으로써 모자의 유무를 판별할 수 있다.

상기한 바와 같이, 속성 판별부(150)는 얼굴 특징 또는 얼굴 화상에 기초하여 연령, 성별, 안경의 유무, 마스크의 유무 및 모자의 유무 등의 속성을 판별할 수 있다. 즉, 속성 판별부(150)는 얼굴의 위치로부터 추정 가능한 위치에 존재하는 속성이면 어떠한 것이어도 특징 정보를 추출할 수 있다.

또한, 인물이 착용하고 있는 착용물을 직접 검출하는 알고리즘도 일반적으로 실용화되어 있다. 속성 판별부(150)는 그러한 방법을 사용함으로써 속성을 판별하는 구성이어도 좋다. 또한, 예를 들어 속성 판별부(150)는 안경의 종류, 마스크의 종류, 모자의 종류, 수염, 점, 주름, 상처, 머리 모양, 머리카락 색깔, 옷 색깔, 옷 모양, 모자, 장식품, 얼굴 부근에의 착용물, 표정, 유복도 및 인종 등의 속성을 추가로 판별하는 구성이어도 좋다.

제어부(160)는 속성 판별부(150)에 의해 판별된 속성과, 설정부(140)에 의해 설정되어 있는 클래스마다의 송신처에 기초하여 인물 정보의 송신처의 검색 서버(40)를 특정한다. 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.

즉, 제어부(160)는 설정부(140)에 의해 설정된 설정 정보를 참조하고, 속성 판별부(150)에 의해 판별된 속성에 기초하여, 설정부(140)에 의해 설정된 클래스를 특정한다. 제어부(160)는 특정한 클래스에 설정되어 있는 송신처의 검색 서버(40)를 특정하고, 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다. 또한, 상기한 바와 같이, 송신처의 서버에 임계값이 설정되어 있는 경우, 제어부(160)는 임계값을 인물 정보에 부가한다.

도 5는 얼굴 화상 검색 시스템(100)에 의해 실행되는 배분 처리의 예를 나타낸다.

화상 수신부(110)는 카메라(10)로부터 화상 데이터를 수신한다(스텝 S11). 화상 수신부(110)는 수신한 화상 데이터를 얼굴 검출부(120)에 송신한다.

얼굴 검출부(120)는 화상 수신부(110)로부터 송신된 화상 데이터에 기초하여 얼굴(얼굴 화상)을 검출한다(스텝 S12). 얼굴 검출부(120)는 검출한 얼굴 화상을 특징 추출부(130)에 송신한다.

특징 추출부(130)는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 얼굴 특징을 추출한다(스텝 S13). 특징 추출부(130)는 추출한 얼굴 특징을 속성 판별부(150)에 송신한다.

속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초하여 속성을 판별한다(스텝 S14).

제어부(160)는 속성 판별부(150)에 의해 판별된 속성과, 설정부(140)에 의해 설정되어 있는 클래스마다의 송신처에 기초하여 인물 정보의 송신처의 검색 서버(40)를 특정한다(스텝 S15). 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.

예를 들어, 설정부(140)의 설정 정보에 있어서, 클래스 1로서 「남성」이 설정되고, 클래스 2로서 「여성」이 설정되며, 클래스 3으로서 「불명」이 설정되어 있다고 가정한다. 또한, 설정부(140)의 설정 정보에 있어서, 클래스 1의 송신처로서 「서버 1」이 설정되고, 클래스 2의 송신처로서 「서버 2」가 설정되며, 클래스 3의 송신처로서 「서버 1」 및 「서버 2」가 설정되어 있다고 가정한다.

여기서, 제어부(160)는 속성 판별부(150)에 의해 「남성」으로 판별된 인물 정보의 송신처가 「서버 1」이라고 특정한다(스텝 S16). 또한, 제어부(160)는 속성 판별부(150)에 의해 「여성」으로 판별된 인물 정보의 송신처가 「서버 2」라고 특정한다(스텝 S17). 또한, 제어부(160)는 속성 판별부(150)에 의해 「불명」이라고 판별된 인물 정보의 송신처가 「서버 1」 및 「서버 2」라고 특정한다(스텝 S18). 속성 판별부(150)는 제어부(160)에 의해 특정된 송신처에 인물 정보를 송신한다.

인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)는, 예를 들어 도 1에 의해 도시된 검색 서버(40)가 구비하는 구성이다. 그러나, 인물 정보 기억부(171 내지 173)와 검색부(181 내지 183)는 각각 개별로 구성된 모듈이어도 좋다. 또한, 인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)의 수는 상기의 배분 처리에 의해 배분되는 클래스의 수에 따라 얼굴 화상 검색 시스템(100) 내에 설치되는 것이다. 즉, 얼굴 화상 검색 시스템(100)의 인물 정보 기억부(171 내지 173) 및 검색부(181 내지 183)의 수는 배분 처리에 의해 배분하는 서버의 수에 따라 임의로 증가시킬 수 있다.

또한, 본 실시 형태에서는 검색 서버(40A)가 인물 정보 기억부(171) 및 검색부(181)를 구비하고, 검색 서버(40B)가 인물 정보 기억부(172) 및 검색부(182)를 구비하고, 검색 서버(40C)가 인물 정보 기억부(173) 및 검색부(183)를 구비하는 구성이라고 가정해서 설명한다. 또한, 인물 정보 기억부(171 내지 173)는 각각 동일한 동작을 하는 것이기 때문에, 여기에서는 인물 정보 기억부(171)의 예에 대해서 설명한다. 또한, 검색부(181 내지 183)는 각각 동일한 동작을 하는 것이기 때문에, 여기에서는 검색부(181)의 예에 대해서 설명한다.

인물 정보 기억부(171)는 속성 판별부(150)로부터 송신된 인물 정보를 기억하는 메모리이다. 인물 정보 기억부(171)는, 예를 들어 도 6에 의해 도시된 바와 같이, 복수의 인물 정보를 데이터 베이스로서 기억한다.

인물 정보 기억부(171)는, 예를 들어 개인마다 ID, 얼굴 특징, 얼굴 화상, 얼굴 좌표 및 속성 등을 대응시켜서 기억한다. 또한, 인물 정보 기억부(171)는 인물 정보에 임계값이 부가되어 있었을 경우, 임계값을 인물 정보에 대응시켜서 기억한다.

속성은, 상기한 바와 같이, 예를 들어 성별, 연령, 신장, 모자의 유무, 마스크의 유무, 안경의 유무 등이다. 또한, 인물 정보 기억부(171)가 기억하는 얼굴 특징은, 예를 들어 특징 추출부(130)에 의해 추출된 데이터이다. 즉, 인물 정보 기억부(171)는 m×n의 특징 벡터, 부분 공간, KL 전개를 행하기 직전의 상관 행렬 등 중 어느 하나 또는 복수를 기억한다.

이 실시예에서는 하나의 인물 정보 기억부(171)와 하나의 검색부(181)가 대응하는 예를 나타낸다. 그러나, 얼굴 화상 검색 시스템(100)은 하나의 인물 정보 기억부(171)와 복수의 검색부(181)가 대응하는 구성이어도 좋다. 또한, 얼굴 화상 검색 시스템(100)은 복수의 인물 정보 기억부(171)와 하나의 검색부(181)가 대응하는 구성이어도 좋다. 또한, 인물 정보 기억부(171)는 속성마다 정보를 구분해서 기억하는 구성이어도 좋다.

검색부(181)는 속성 판별부(150)로부터 송신된 인물 정보에 포함되어 있는 얼굴 특징과, 인물 정보 기억부(171)에 기억되어 있는 인물 정보에 포함되어 있는 얼굴 특징의 유사도를 산출한다. 검색부(181)는, 예를 들어 속성 판별부(150)로부터 송신된 인물 정보에 포함되어 있는 얼굴 특징과, 인물 정보 기억부(171)에 기억되어 있는 복수의 인물 정보에 기초하여 유사도를 산출하고, 산출한 유사도가 높은 인물 정보를 인물 정보 기억부(171)로부터 검색한다.

예를 들어, 검색부(181)는 인물 정보 기억부(171)에 기억되어 있는 인물 정보에 대응시켜져 있는 임계값보다 높은 유사도가 산출된 인물 정보를 인물 정보 기억부(171)로부터 검색한다. 또한, 검색부(181)는, 산출된 유사도가 높은 순서대로 미리 설정된 수의 인물 정보를 인물 정보 기억부(171)로부터 검색한다. 또한, 검색부(181)는 인물 정보 기억부(171)의 각 인물 정보에 포함되어 있는 속성에 기초하여 검색 대상을 좁힐 수도 있다.

검색부(181)는, 예를 들어 얼굴 특징으로서의 부분 공간의 유사도를 산출한다. 계산 방법은 부분 공간법이나 복합 유사도법 등의 방법을 이용해도 좋다. 이 방법을 이용함으로써, 검색부(181)는 미리 축적된 데이터 베이스 중의 인물 정보의 부분 공간과, 특징 추출부(130)에 의해 산출된 부분 공간이 이루는 「각도」를 유사도로서 산출한다. 검색부(181)는 입력 데이터열에 대하여 상관 행렬 Cin을 산출한다. 검색부(181)는 Cin=ΦinΔinΦinT로 대각화하여 고유 벡터 Φin을 산출한다. 검색부(181)는 Φin과 Φd로 표시되는 부분 공간의 부분 공간 간 유사도(0.0 내지 1.0)을 산출하여, 유사도로서 사용한다.

출력부(190)는 검색부(181) 내지 검색부(183)에 의해 생성된 검색 결과 화면을 표시부(200)에 출력한다. 또한, 출력부(190)는 각 서버(40A 내지 40C)마다 설치되어 있어도 좋다.

표시부(200)는 영상 등의 화면을 표시하는 표시 장치를 구비한다. 표시부(200)는, 도 1에 도시된 네트워크에 접속되어, 출력부(190)로부터 출력되는 화면을 수취하여 표시한다. 또한, 표시부(200)의 수는 복수여도 좋다. 이 경우, 출력부(190)는 각 서버(40A 내지 40C)로부터 출력된 검색 결과 화면을 원하는 표시부(200)에 출력한다.

도 7은 얼굴 화상 검색 시스템(100)에 의해 실행되는 검색 처리의 예를 나타낸다.

검색 서버(40)의 검색부(181)는 특징 추출 서버(30) 등으로부터 인물 정보를 수신한다(스텝 S21).

검색부(181)는 수신한 인물 정보의 얼굴 특징과, 인물 정보 기억부(171)에 기억되어 있는 인물 정보에 포함되어 있는 얼굴 특징의 유사도를 산출한다(스텝 S22).

또한, 검색부(181)는 산출한 유사도에 기초하여 표시 후보를 특정한다(스텝 S23). 즉, 검색부(181)는 산출한 유사도의 상위 N개 또는 임계값을 초과한 유사도를 특정한다. 또한, 검색부(181)는 특정한 유사도의 산출에 사용된 인물 정보를 표시 후보로서 특정한다. 검색부(181)는 특정한 표시 후보를 검색 결과로서 출력부(190)에 출력한다. 또한, 검색부(181)는 특정한 표시 후보에 기초하여 검색 결과 화면을 생성하고, 출력부(190)에 출력하는 구성이어도 좋다.

또한, 검색부(181)는 「리얼타임 표시」를 실행할 지의 여부를 나타내는 플래그를 유지한다. 검색부(181)는 표시 후보를 특정한 경우, 리얼타임 표시가 ON되어 있는지의 여부를 판단한다(스텝 S24).

리얼타임 표시가 ON인 경우, 검색부(181)는 검색 결과에 기초하여 축차 검색 결과 화면을 생성한다(스텝 S25). 검색부(181)는 검색 결과에 기초하여, 예를 들어 도 8에 의해 도시된 검색 결과 화면을 생성한다.

도 8에 의해 도시된 바와 같이, 검색 결과 화면은 입력 화상(화상 데이터)과 얼굴 유사 후보자의 화상을 표시한다. 얼굴 유사 후보자는, 예를 들어 상기 의 처리에 의해 특정된 표시 후보와 동일하거나 또는 표시 후보의 일부이다. 검색부(181)는, 예를 들어 산출한 유사도가 높은 순서대로 얼굴 유사 후보자의 화상을 표시한다. 검색부(181)는 얼굴 검출부(120)에 의해 검출된 얼굴 화상 또는 특징 추출부(130)에 의해 추출된 얼굴 특징 등을 얼굴 유사 후보자의 화상으로서 표시한다. 또한, 검색부(181)는 얼굴 유사 후보자의 화상의 근방에, 산출한 유사도 및 ID 등을 표시해도 좋다. 또한, 검색부(181)는 입력 화상의 근방에 촬상 장소, 일시 등을 표시해도 좋다.

또한, 검색부(181)는 얼굴 검출부(120)에 의해 얼굴 화상을 검출한 영역을 직사각형 형상의 프레임으로 둘러싸서 표시해도 좋다. 이에 의해, 검색부(181)는 얼굴 화상 검색 시스템(100)의 감시자에 대하여 검색 대상을 통지할 수 있다. 또한, 예를 들어 검색부(181)에 대하여 입력 화상 중의 다른 인물의 얼굴을 선택하는 조작이 행해진 경우, 검색부(181)는 선택된 인물을 검색 대상으로 해서 얼굴 유사 후보자를 표시한다.

또한, 이 검색 결과 화면에서 표시되는 얼굴 유사 후보자의 수는 임의로 설정할 수 있다. 또한, 검색부(181)는 스크롤 조작에 기초하여 또 다른 얼굴 유사 후보자의 화상을 표시하는 구성이어도 좋다. 또한, 검색부(181)는, 미리 설정된 임계값 이상의 유사도가 산출된 경우, 알람 등의 소리를 이용하여 얼굴 화상 검색 시스템(100)의 감시자에게 통지하는 구성이어도 좋다.

검색부(181)는 생성한 검색 결과 화면을 출력부(190)에 송신한다. 이 경우, 출력부(190)는 검색부(181)로부터 수신한 검색 결과 화면을 표시부(200)에 출력한다(스텝 S26). 이에 의해, 얼굴 화상 검색 시스템(100)은 얼굴 화상 검색 시스템(100)의 감시자에게 축차 검색 결과를 통지할 수 있다. 또한, 검색부(181)는 검색 결과를 이력(검색 이력)으로서 축차 기억한다(스텝 S27).

또한, 검색부(181)는 리얼타임 표시가 ON인 경우, 미리 설정된 조건에 대응한 검색 결과가 얻어진 경우에 검색 결과 화면을 생성하는 구성이어도 좋다.

또한, 검색부(181)는 검색 결과를 이력(검색 이력)으로서 기억하고, 새롭게 설정된 조건에 대응하는 검색 결과에 기초하여 검색 결과 화면을 생성하는 구성이어도 좋다. 예를 들어, 검색부(181)는 리얼타임 표시가 ON이며, 또한 검색 결과의 상위의 유사도가 소정의 임계값 이상인 경우에 검색 결과 화면을 생성하도록 설정된다.

이에 의해, 인물 정보 기억부(171)에 등록되어 있는 인물의 화상 데이터가 얼굴 화상 검색 시스템(100)에 입력된 경우에 검색 결과 화면을 출력할 수 있다.

또한, 검색부(181)는, 검색 이력에, 상기한 바와 같은 속성 정보 및 인물 정보의 화상을 취득한 카메라의 ID 및 화상의 취득 일시 등을 대응시켜서 기억함으로써, 화상 데이터의 촬상 장소, 일시 또는 속성 등으로 검색 이력을 좁힐 수 있다.

상기한 바와 같이, 본 실시 형태에 따른 얼굴 화상 검색 시스템(100)은 인물 정보를 갖는 데이터 베이스와, 이 데이터 베이스로부터 검색을 행하는 검색부를 복수 구비한다. 얼굴 화상 검색 시스템(100)은 화상 데이터로부터 얼굴 화상 및 얼굴 특징을 검출하고, 이 인물의 속성을 판별하고, 판별한 속성에 따라 인물 정보를 송신하는 검색부를 특정한다. 얼굴 화상 검색 시스템(100)은 특정한 검색부에 인물 정보를 송신하고, 데이터 베이스로부터 검색을 행하게 한다.

이 구성에 의해, 얼굴 화상 검색 시스템(100)은 복수의 지점에 설치된 카메라(10) 등에 의해 취득된 화상 데이터에 기초하여 효율적으로 인물의 검색을 행할 수 있다. 이 결과, 보다 효율적으로 얼굴 화상의 검색을 행할 수 있는 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법을 제공할 수 있다.

이어서, 설정부(140)의 설정 정보의 자동 설정 처리에 대해서 설명한다.

이 경우, 설정부(140)는, 도 3에 도시된 「분류 처리」의 항목에 있어서, 「분류 있음(자동)」이 선택된 경우, 화상 데이터에 기초하여 각 속성마다 가장 빨리 검색이 행해지는 서버에 인물 정보를 송신하도록 설정 정보를 생성한다. 또한, 이 경우, 설정부(140)는 미리 준비된 복수의 화상을 포함하는 학습용 화상에 기초하여 설정 정보를 생성한다.

도 9는 설정부(140)에 의한 자동 설정 처리의 예를 나타낸다.

화상 수신부(110)는, 예를 들어 메모리 등으로부터 학습용 화상 데이터를 수신한다(스텝 S31). 화상 수신부(110)는 수신한 학습용 화상 데이터를 얼굴 검출부(120)에 송신한다.

얼굴 검출부(120)는 화상 수신부(110)로부터 송신된 학습용 화상 데이터에 기초하여 얼굴(얼굴 화상)을 검출한다(스텝 S32). 얼굴 검출부(120)는 검출한 얼굴 화상을 특징 추출부(130)에 송신한다.

특징 추출부(130)는 얼굴 검출부(120)로부터 송신된 얼굴 화상에 기초하여 얼굴 특징을 추출한다(스텝 S33). 특징 추출부(130)는 추출한 얼굴 특징을 속성 판별부(150)에 송신한다.

속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초하여 속성을 판별한다(스텝 S34).

제어부(160)는 얼굴 화상 검색 시스템(100) 내의 모든 또는 복수의 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다(스텝 S35).

이 경우, 각 서버의 검색부(181, 182 및 183)는 수신한 인물 정보에 해당하는 데이터를 각각의 데이터 베이스로부터 검색한다. 또한, 각 서버의 검색부(181, 182 및 183)는 검색 결과를 제어부(160)에 회신한다. 이 경우, 각 서버의 검색부(181, 182 및 183)는, 예를 들어 가장 높은 유사도가 산출된 인물 정보 또는 소정의 임계값 이상의 유사도가 산출된 인물 정보를 검색 결과로서 제어부(160)에 송신한다.

제어부(160)는 각 검색부(181, 182 및 183)로부터 검색 결과를 수신한다. 제어부(160)는 각 검색부(181, 182 및 183)로부터 수신한 검색 결과가 정확한지의 여부를 판정한다. 또한, 제어부(160)는 올바른 검색 결과를 송신한 검색부(181, 182 및 183) 중에서 가장 빨리 검색 결과를 송신한 검색부를 특정한다(스텝 S36).

제어부(160)는 특정한 검색부에 투표를 행한다(스텝 S37). 이 투표는, 예를 들어 설정부(140)에서의 클래스마다 설치된 카운터 등에 의해 실행된다. 도 10은 카운터의 예를 나타낸다. 이 카운터는 클래스마다 각 검색부(181, 182 및 183)의 투표수를 각각 카운트한다. 또한, 이 카운터는 얼굴 화상 검색 시스템(100) 내의 어느 하나의 모듈 내에 설치된다. 또한, 카운터는, 도 1에 도시된 네트워크에 접속되는 구성이어도 좋다.

제어부(160)는 하나의 학습용 화상 데이터에 기초하여 투표를 행할 때마다 상기의 해당하는 카운터를 소정수 카운트 업시킨다. 제어부(160)는 모든 학습용 화상 데이터를 처리할 때까지 상기 스텝 S32 내지 스텝 S37의 처리를 행한다(스텝 S38).

또한, 제어부(160)는 모든 학습용 화상 데이터를 처리한 경우, 가장 높은 투표율을 갖는 검색부를 클래스마다 특정한다. 또한, 제어부(160)는, 도 10에 도시한 바와 같이, 속성을 정확하게 판별할 수 없었던 클래스 3의 송신처로서 모든 서버를 설정한다. 이에 의해, 검색의 누설을 방지할 수 있다.

제어부(160)는 특정한 결과에 기초하여 설정부(140)의 설정 정보를 갱신한다. 이에 의해, 제어부(160)는 각 클래스마다의 송신처의 검색 서버(40)를 특정할 수 있다(스텝 S39).

이에 의해, 얼굴 화상 검색 시스템(100)은 보다 빠르게 검색을 행할 수 있는 검색 서버(40)를 설정부(140)에서의 클래스마다 자동으로 설정할 수 있다.

이와 같은 구성에 의해, 얼굴 화상 검색 시스템(100)은, 예를 들어 어린이가 다니는 장소에서 수상한 사람을 효율적으로 검색할 수 있다. 예를 들어, 얼굴 화상 검색 시스템(100)은 어린이가 액세스하는 시간에 연령의 속성 종별로 배분을 행하도록 설정 정보를 설정한다. 이에 의해, 얼굴 화상 검색 시스템(100)은, 예를 들어 연령이 어린이에 상당한다고 판별된 인물 정보를 검색 서버에 송신하지 않고, 연령이 어른에 상당한다고 판별된 인물 정보를 검색 서버에 축적한다. 이에 의해, 얼굴 화상 검색 시스템(100)은 검색 서버의 부담을 저감시키고, 또한 검색 대상의 인물을 효율적으로 검색할 수 있다. 또한, 얼굴 화상 검색 시스템(100)은 소정의 연령 미만으로 판별된 인물을 검출한 경우, 경보를 내는 것과 같은 구성이어도 좋다.

또한, 상기 실시 형태에서는 얼굴 화상 검색 시스템(100)은 하나의 속성 종별에 기초하여 클래스를 판별하는 구성으로 하여 설명했지만, 이 구성에 한정되지 않는다. 얼굴 화상 검색 시스템(100)은 복수의 속성의 조합에 기초하여 클래스를 판별하는 구성이어도 좋다.

도 11은 설정부(140)에 의해 생성된 설정 화면의 다른 예를 나타낸다. 도 11에 의해 도시된 설정 화면은 「속성 종별」을 복수 선택 가능한 상태에서 생성되어 있는 점이 도 3에 의해 도시된 설정 화면과 상이하다.

도 11에 의해 도시된 설정 화면에서, 복수의 「속성 종별」이 설정된 경우, 설정부(140)는 속성 종별의 각 클래스의 조합을 생성한다. 설정부(140)는 생성한 조합마다 송신처의 검색 서버(40)를 설정할 수 있도록 설정 화면을 생성한다.

예를 들어, 「속성 종별」로서 「연령(3 클래스)」과 「성별(3 클래스)」이 선택되었다고 가정한다. 이 경우, 설정부(140)는, 예를 들어 「남성-청년」, 「남성-중년」, 「남성-고령」, 「여성-청년」, 「여성-중년」, 「여성-고령」, 「불명-청년」, 「불명-중년」 및 「불명-고령」 등의 9 패턴의 조합을 생성한다.

또한, 설정부(140)는 연령의 속성 종별에도 중간급을 설정해도 좋다. 즉, 설정부(140)는 「청년」, 「중년」 및 「고령」의 3 클래스를, 「청년」, 「청년 내지 중년」, 「중년」, 「중년 내지 고령」 및 「고령」의 5 클래스로 하여 다루는 구성이어도 좋다. 또한, 설정부(140)는 속성 종별이 다른 것이더라도 동일한 처리에 의해 속성 종별을 조합할 수 있다.

이 경우, 속성 판별부(150)는 특징 추출부(130)로부터 송신된 얼굴 특징에 기초하여 복수의 속성을 판별한다. 속성 판별부(150)는 설정 정보에서 설정된 「속성 종별」에 대응하는 복수의 속성을 판별한다.

제어부(160)는 속성 판별부(150)에 의해 판별된 복수의 속성과, 설정부(140)에 의해 설정되어 있는 속성 종별의 클래스의 조합마다의 송신처에 기초하여 인물 정보의 송신처의 검색 서버(40)를 특정한다. 제어부(160)는 특정한 검색 서버(40)에 인물 정보를 송신하도록 속성 판별부(150)를 제어한다.

또한, 설정부(140)는 도 9 및 도 10에 의해 도시한 방법을 사용함으로써, 속성 종별의 클래스의 조합마다의 송신처를 자동으로 설정하는 구성이어도 좋다.

이 경우, 얼굴 화상 검색 시스템(100)은 속성 종별의 클래스의 각 조합에 대응한 카운터 등을 구비한다. 도 12는 카운터의 예를 나타낸다. 제어부(160)는 얼굴 화상 검색 시스템(100) 내의 모든 또는 복수의 검색 서버(40)에 인물 정보를 송신한다. 제어부(160)는 각 검색 서버(40)로부터 검색 결과를 수신한다. 제어부(160)는 가장 빨리 검색 결과를 송신한 검색 서버(40)를 특정하고, 속성 판별부(150)에 의해 판별된 복수의 속성에 대응하는 카운터에 투표한다.

이에 의해, 얼굴 화상 검색 시스템(100)은 보다 미세하게 인물 정보를 배분할 수 있다.

또한, 상술한 각 실시 형태에서 설명한 기능은 하드웨어를 사용해서 구성하는 데에 그치지 않고, 소프트웨어를 사용해서 각 기능을 기재한 프로그램을 컴퓨터에 읽어들이게 해서 실현할 수도 있다. 또한, 각 기능은 적절히 소프트웨어, 하드웨어 중 어느 하나를 선택해서 구성하는 것이어도 좋다.

또한, 본 발명은 상기 실시 형태 그대로 한정되는 것은 아니라, 실시 단계에서는 그의 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또한, 상기 실시 형태에 개시되어 있는 복수의 구성 요소의 적당한 조합에 의해 다양한 발명을 형성할 수 있다. 예를 들어, 실시 형태에 나타나는 전체 구성 요소로부터 몇 개의 구성 요소를 삭제해도 좋다. 또한, 상이한 실시 형태에 걸친 구성 요소를 적절히 조합해도 좋다.

10: 카메라
20: 얼굴 검출 클라이언트
30: 특징 추출 서버
40: 검색 서버
100: 얼굴 화상 검색 시스템

Claims (10)

1. 얼굴 화상 검색 시스템으로서,
   화상 데이터를 수신하는 화상 수신부와,
   상기 화상 수신부에 의해 수신한 상기 화상 데이터로부터 얼굴 화상을 검출하는 얼굴 검출부와,
   상기 얼굴 검출부에 의해 검출된 상기 얼굴 화상으로부터 얼굴 특징(facial feature)을 추출(extract)하는 특징 추출부와,
   상기 특징 추출부에 의해 추출된 상기 얼굴 특징에 기초하여 속성(attribute)을 판별하는 속성 판별부와,
   미리 얼굴 특징을 데이터 베이스로서 기억하고, 상기 특징 추출부에 의해 추출된 얼굴 특징을 수신한 경우 상기 데이터 베이스에 부가하고, 상기 특징 추출부에 의해 추출된 얼굴 특징과 상기 데이터 베이스에 포함되어 있는 얼굴 특징의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하는 복수의 검색부와,
   임의의 속성과 상기 검색부를 나타내는 정보를 대응시켜서 설정 정보를 생성하는 설정부와,
   상기 설정부에 의해 생성된 상기 설정 정보와, 상기 속성 판별부에 의해 판별된 상기 속성에 기초하여 하나 또는 복수의 검색부를 특정하고, 특정한 상기 검색부에 상기 특징 추출부에 의해 추출된 상기 얼굴 특징을 송신하는 제어부를 구비하는, 얼굴 화상 검색 시스템.
2. 제1항에 있어서, 상기 속성 판별부는 인물의 연령, 성별, 안경의 유무, 안경의 종류, 마스크의 유무, 마스크의 종류, 모자의 착용 유무, 모자의 종류, 수염, 점, 주름, 상처, 머리 모양, 머리카락 색깔, 옷 색깔, 옷 모양, 모자, 장식품, 얼굴 부근에의 착용물, 표정, 유복도 및 인종 중 적어도 하나를 속성으로서 판별하는, 얼굴 화상 검색 시스템.
3. 제1항에 있어서, 상기 설정부는 조작에 기초하는 조작 신호를 수신하고, 수신한 상기 조작 신호에 기초하여, 상기 설정 정보의 상기 속성에 대응시켜져 있는 상기 검색부를 나타내는 정보를 갱신하는, 얼굴 화상 검색 시스템.
4. 제1항에 있어서,
   상기 제어부는 상기 특징 추출부에 의해 추출된 얼굴 특징을 모든 상기 검색부에 송신하고, 상기 각 검색부로부터 출력된 상기 검색 결과에 기초하여, 각 속성마다 하나 또는 복수의 검색부를 특정하고, 특정 결과를 상기 설정부에 송신하고,
   상기 설정부는 상기 제어부로부터 상기 특정 결과를 수신하고, 수신한 특정 결과에 기초하여, 상기 설정 정보의 상기 속성에 대응시켜져 있는 상기 검색부를 나타내는 정보를 갱신하는, 얼굴 화상 검색 시스템.
5. 제1항에 있어서, 상기 설정부는 조작에 기초하는 조작 신호를 수신하고, 수신한 상기 조작 신호에 기초하여, 상기 설정 정보의 상기 검색부를 나타내는 정보와 대응시키는 속성의 종별을 변경하는, 얼굴 화상 검색 시스템.
6. 제1항에 있어서,
   상기 속성 판별부는 상기 특징 추출부에 의해 추출된 상기 얼굴 특징에 기초하여 적어도 2개 이상의 속성을 판별하고,
   상기 설정부는 적어도 2개 이상의 속성의 조합과 상기 검색부를 나타내는 정보를 대응시켜서 설정 정보를 생성하는, 얼굴 화상 검색 시스템.
7. 제1항에 있어서, 상기 검색부는 상기 데이터 베이스에 포함되어 있는 얼굴 특징에 추가로 임계값을 대응시켜서 기억하고, 상기 특징 추출부에 의해 추출된 얼굴 특징과 상기 데이터 베이스에 포함되어 있는 얼굴 특징의 유사도를 산출하고, 산출한 유사도가 상기 데이터 베이스에 포함되어 있는 얼굴 특징에 대응시켜져 있는 상기 임계값 이상인 경우, 상기 검색 결과를 출력하는, 얼굴 화상 검색 시스템.
8. 제7항에 있어서, 상기 검색부는 조작에 기초하는 조작 신호를 수신하고, 수신한 상기 조작 신호에 기초하여 상기 데이터 베이스의 상기 임계값을 변경하는, 얼굴 화상 검색 시스템.
9. 제1항에 있어서, 상기 검색부로부터 출력된 상기 검색 결과를 수신하고, 수신한 상기 검색 결과를 표시하는 표시부를 더 구비하는, 얼굴 화상 검색 시스템.
10. 미리 얼굴 특징을 데이터 베이스로서 기억하고, 얼굴 특징을 수신한 경우 상기 데이터 베이스에 부가하고, 수신한 상기 얼굴 특징과 상기 데이터 베이스에 포함되어 있는 얼굴 특징의 유사도를 산출하고, 산출한 유사도에 기초하여 검색 결과를 출력하는 복수의 검색부를 구비하는 얼굴 화상 검색 시스템에 사용되는 얼굴 화상 검색 방법으로서,
    화상 데이터를 수신하고,
    수신한 상기 화상 데이터로부터 얼굴 화상을 검출하고,
    검출된 상기 얼굴 화상으로부터 얼굴 특징을 추출하고,
    추출된 상기 얼굴 특징에 기초하여 속성을 판별하고,
    임의의 속성과 상기 검색부를 나타내는 정보를 대응시켜서 설정 정보를 생성하고,
    생성된 상기 설정 정보와, 판별된 상기 속성에 기초하여 하나 또는 복수의 검색부를 특정하고, 특정한 상기 검색부에 추출된 상기 얼굴 특징을 송신하는, 얼굴 화상 검색 방법.

Images