KR100808316B1 - 인물 검색 장치, 인물 검색 방법 및 입퇴장 관리 시스템 - Google Patents

Abstract

이력 관리부(15)에는, 생체 정보와 그 생체 정보에 대한 인물의 검색 결과를 이력 정보로서 보존해둔다. 사전 검색부(16)는, 입력부(11)에 의해 입력한 검색 대상자의 생체 정보와 상기 이력 관리부(15)에 보존되어 있는 각 이력 정보의 생체 정보가 동일 인물의 것인지의 여부를 판정한다. 본 검색부(18)는, 검색 대상자의 생체 정보와 동일 인물이라고 판정된 생체 정보의 이력 정보가 존재하는 경우, 상기 사전 검색부(16)에 의해 검색 대상자의 생체 정보와 동일 인물이라고 판정된 생체 정보의 이력 정보에서의 검색 결과에 기초하여, 그 검색 대상자에 대한 인물의 검색 결과를 판단한다.

외부 기기, 이력 관리부, 본 검색부, 주 제어부

Description

인물 검색 장치, 인물 검색 방법 및 입퇴장 관리 시스템{PERSON SEARCHING DEVICE, PERSON SEARCHING METHOD AND ACCESS CONTROL SYSTEM}

도 1은 실시예에 따른 인물 검색 장치의 구성을 개략적으로 도시하는 블록도.

도 2는 이력 관리부에 보존되는 이력 정보를 설명하기 위한 도면.

도 3은 복수의 검색 결과에 대한 통합 처리를 설명하기 위한 도면.

도 4는 인물 검색 장치에서의 처리의 흐름을 설명하기 위한 플로우차트.

도 5는 제1 응용예에 따른 인물 검색 장치의 구성을 개략적으로 도시하는 블록도.

도 6은 제2 응용예에 따른 인물 검색 장치의 구성을 개략적으로 도시하는 블록도.

도 7은 이력 정보의 예와 상관의 개념을 설명하기 위한 도면.

도 8은 검색 대상 인물의 상관 관계를 설명하기 위한 도면.

도 9는 제3 응용예에 따른 인물 검색 장치의 구성을 개략적으로 도시하는 블록도.

도 10은 설정되는 임계값의 관계를 설명하기 위한 도면.

도 11은 이력 정보의 입력 화상에 유사한 얼굴 화상의 등록 정보를 검색하는 재검색 처리의 처리예를 설명하기 위한 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

1 : 인물 검색 장치

10 : 카메라

11 : 입력부

12 : 얼굴 검출부

13 : 얼굴 특징 추출부

15 : 이력 관리부

16 : 사전 검색부

17 : 등록부

18 : 본 검색부

19 : 출력부

20 : 주 제어부

[특허 문헌1] 일본 특개 2002-163652호 공보

[특허 문헌2] 일본 특개 2003-256380호 공보

[비특허 문헌1] 福井和廣, 山口修:「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vo1.J80-D-II, No.8, pp2170-2177(1997년)

[비특허 문헌2] 湯淺眞由美, 中島朗子:「고정밀도 얼굴 특징점 검출에 기초한 디지털 메이크 시스템」 제10회 화상 센싱 심포지움 예비 요약 원고집, pp219-224(2004)

[비특허 문헌3] 재단 법인 광산업 기술 진흥 협회(http://www.oitda.or.jp/index-j.html): 2003년도 광 기술 동향 조사 「15-003-1 광 기술 동향 조사 보고서」, 5장 「휴먼 인터페이스」(2003년)

[비특허 문헌4] 前田賢一, 渡邊貞一:「국소적 구조를 도입한 패턴·매칭법」, 전자 정보 통신 학회 논문지(D), vo1.J68-D, No.3, pp345∼352(1985년)

본 발명은, 예를 들면, 대상자의 홍채, 망막, 정맥, 얼굴의 특징, 손의 상태 등의 생체 정보에 기초하여 상기 대상자와 유사한 인물을 검색하는 인물 검색 장치, 인물 검색 방법, 및, 입퇴장 관리 시스템에 관한 것이다.

최근, 예를 들면, 대상자의 홍채, 망막, 정맥, 얼굴의 특징, 손의 상태 등의 생체 정보에 기초하여 검색의 대상자와 유사한 인물을 검색하는 기술이 개발되어 있다. 이러한 생체 정보에 의해 인물을 검색하는 기술에서는, 대상자로부터 취득한 생체 정보와 미리 등록되어 있는 복수의 등록자의 생체 정보와의 유사도를 판정하고, 이들 유사도에 기초하여 대상자와 유사한 등록자를 검색한다. 또한, 상기한 바와 같은 기술은, 상기 유사도에 기초하여 인물의 입퇴장을 관리하는 시스템 등에도 응용되고 있다.

예를 들면, 특허 문헌1에서는, 각 등록자의 생체 정보(각 등록 데이터)간의 유사도를 전체적으로 구해두고, 각 등록 데이터 사이의 유사도에 기초하여 대상자의 생체 정보에 대한 각 등록 데이터의 유사도를 산출하는 처리(대조 처리)를 행하는 순서를 제어하는 기술이 기재되어 있다.

또한, 특허 문헌2에는, ID 번호 혹은 이름 등의 특정한 정보에 의해서 특정되는 인물에 대한 처리 이력에 기초하여, 대상자의 생체 정보에 대한 각 등록 데이터의 유사도를 산출하는 처리(대조 처리)의 순서를 제어하는 기술이 기재되어 있다.

본 발명의 일 형태는, 생체 정보에 의한 인물 검색의 효율화 혹은 고정밀도화 등을 목적으로 한다.

본 발명의 일 형태로서의 인물 검색 장치는, 미리 복수의 인물의 생체 정보가 등록되어 있는 등록부와, 검색 대상자의 생체 정보를 취득하는 생체 정보 취득부와, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 보존하는 이력 보존부와, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하는 제1 검색부와, 상기 제1 검색부에 의한 검색 결과를 이용하여, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 제2 검색부와, 상기 제2 검색부에 의한 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력하는 출력부를 갖는다.

본 발명의 일 형태로서의 인물 검색 방법은, 미리 복수의 인물의 생체 정보가 등록부에 등록해놓고, 검색 대상자의 생체 정보를 취득하고, 상기 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 이력 보존부에 보존하고, 검색 대상자로부터 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하고, 상기 이력 보존부로부터의 검색 결과를 이용하여, 상기 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하고, 상기 등록부로부터의 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력한다.

본 발명의 일 형태로서의 입퇴장 관리 시스템은, 미리 복수의 입퇴장이 허가되어 있는 인물의 생체 정보가 등록되어 있는 등록부와, 검색 대상자의 생체 정보를 취득하는 생체 정보 취득부와, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 보존하는 이력 보존부와, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하는 제1 검색부와, 상기 제1 검색부에 의한 검색 결과를 이용하여, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 제2 검색부와, 상기 제2 검색부에 의한 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력하는 출력부와, 이 출력부에 의해 출력되는 인물의 검색 결과에 기초하여 상기 검색 대상자의 입퇴장을 제어하는 외부 기기를 갖는다.

본 발명의 추가의 목적 및 이점은 이하의 상세한 설명에 제시될 것이며, 일부는 상세한 설명으로부터 자명하게 되거나 혹은 발명의 실시에 의해서 이해될 것이다. 본 발명의 목적 및 이점은 실시예 및 이후에 특별히 지적된 실시예의 결합에 의해 실현될 수 있다.

<실시예>

본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부된 도면들은, 본 발명의 바람직한 실시예를 설명하며, 전술한 일반적인 설명과 후술하는 상세한 설명과 함께 본 발명의 원리를 설명하는 기능을 한다.

이하, 본 발명에 따른 실시예에 대하여 도면을 참조하여 설명한다.

이하의 실시예에서는, 생체 정보로서의 얼굴 화상에 의해 인물을 검색하는 인물 검색 장치에 대하여 설명한다. 본 실시예로서 설명하는 기술은, 생체 정보가 얼굴 화상에 한정되는 것은 아니다. 본 실시예로서 설명하는 기술은, 여러가지의 생체 정보에 의해서 인물을 검색하는 장치 혹은 방법에 적용할 수 있다. 예를 들면, 홍채, 망막, 손 혹은 손가락의 정맥 패턴, 지문 패턴, 눈, 귀 혹은 입의 상태 등의 생체 정보는, 본 실시예의 생체 정보로서 적용 가능하다.

또한, 본 실시예는, 주로 검색 대상으로 되는 인물(등록자)이 수가 많은 것을 상정하고 있다. 예를 들면, 본 실시예는, 수천명에서부터 수만명의 인물이 등록자로 되는 입퇴장 관리 시스템, 혹은, 단기간에 다수의 인물의 입출장을 허가하는 입퇴장 관리 시스템에 적용된다. 전자의 운용 형태로서는, 빌딩 혹은 기업의 건물에 출입하는 인물을 관리하는 입퇴장 관리 시스템에 적용된다. 또한, 후자의 운용 형태로서는, 단기간에 많은 수의 인물이 출입하는 이벤트 회장 혹은 오락 시설 등의 입퇴장을 관리하는 입퇴장 관리 시스템 등에 적용되는 것이 상정된다. 또한, 본 실시예는, 복수의 등록자 중 특정한 복수의 인물이 반복하여 검색 대상자로 된 운용 형태에 있어서 효과가 크다고 생각된다.

도 1은 본 실시예에 따른 인물 검색 장치(1)의 구성예를 개략적으로 도시하는 블록도이다.

이 인물 검색 장치(1)는, 카메라(10), 화상 입력부(11), 얼굴 검출부(12), 얼굴 특징 추출부(13), 이력 관리부(15), 사전 검색부(16), 등록부(17), 본 검색부(18), 출력부(19) 및 주 제어부(20) 등에 의해 구성되어 있다.

상기 인물 검색 장치(1)는, 예를 들면, 카메라(10)가 접속된 컴퓨터(도시 생략)에 의해 실현된다. 이 경우, 상기 화상 입력부(11) 및 출력부(19)는, 컴퓨터에서의 입출력 인터페이스에 의해 실현된다. 또한, 상기 얼굴 검출부(12), 얼굴 특징 추출부(13), 사전 검색부(16), 본 검색부(18) 및 주 제어부(20)는, 예를 들면, 컴퓨터에서의 제어부(도시 생략)가 메모리(도시 생략)에 기억되어 있는 처리 프로그램을 실행함으로써 실현되는 기능이다. 상기 이력 관리부(15), 및, 등록부(17)는, 컴퓨터에서의 제어부(도시 생략)가 액세스 가능한 여러가지의 메모리(도시 생략) 등에 의해 실현된다. 또한, 상기 카메라(10), 화상 입력부(11), 얼굴 검출부(12) 및 얼굴 특징 추출부(13)는, 생체 정보 취득부로서 기능한다.

상기 카메라(10)는, 검색 대상자(이하, 인물, 입퇴장자라고도 한다) M의 얼굴 화상(적어도 얼굴을 포함하고 있는 화상)을 촬영하는 것이다. 상기 카메라(10) 는, 얼굴 화상을 입력하는 화상 취득부로서 기능한다. 상기 카메라(10)는, 예를 들면, CCD 센서 등의 촬상 소자를 이용한 텔레비전 카메라 등에 의해 구성되어 있다. 또한, 본 실시예에서는, 화상 취득부로서 텔레비전 카메라에 의해 구성되는 카메라(10)를 이용한 인물 검색 장치(1)에 대하여 설명한다. 상기 인물 검색 장치(1)에는, 상기 카메라(10)로서, 사진의 얼굴 화상을 판독하여 입력하는 스캐너 등을 화상 취득부로서 적용해도 된다.

상기 화상 입력부(11)는, 상기 카메라(10)와의 조합에 의해 생체 정보를 포함하는 화상을 취득하는 화상 취득부로서 기능한다. 도 1에 도시하는 화상 입력부(11)는, 상기 카메라(10)에 의해 촬상한 화상을 처리하는 것이다. 상기 화상 입력부(11)에서는, 예를 들면, 상기 카메라(10)에 의해 촬영된 아날로그 신호로 이루어지는 화상 데이터를 디지털 신호로 이루어지는 화상 데이터로 변환한다. 상기 화상 입력부(11)에 의해 디지털화된 화상 데이터는, 얼굴 검출부(12)에 공급된다.

상기 얼굴 검출부(12)는, 생체 정보를 검출하는 생체 정보 검출부로서 기능한다. 도 1에 도시하는 얼굴 검출부(12)는, 화상 데이터에서의 인물의 얼굴의 영역을 검출하는 기능, 인물의 얼굴에서의 눈, 코, 입 등의 각 부위를 검출하는 기능을 갖고 있다. 이들 기능은, 컴퓨터의 CPU 등의 연산 장치가 실행하는 처리 프로그램 등에 의해 실현된다.

즉, 상기 얼굴 검출부(12)에서는, 상기 화상 입력부(11)로부터 공급되는 화상 데이터로부터 대상자 M의 얼굴 영역을 검출하는 처리를 행한다. 예를 들면, 상기 얼굴 검출부(12)에는, 얼굴 영역을 검출하는 방법으로서, 미리 준비된 템플릿과 의 상관값에 기초하여 얼굴 영역을 검출하는 방법이 적용된다. 이러한 얼굴 영역을 검출하는 방법에서는, 미리 준비되어 있는 템플릿과 가장 높은 상관값으로 되는 화상 내의 영역을 얼굴 영역으로 한다. 즉, 이 방법을 채용한 얼굴 검출부(12)에서는, 템플릿을 상기 화상 입력부(11)로부터 공급되는 화상 내에서 이동시키고, 해당 화상 내의 각 영역과의 상관값을 구하여, 가장 높은 상관값을 제공하는 입력 화상 내의 영역을 얼굴 영역으로 한다. 또한, 얼굴 영역을 검출하는 방법으로서는, 고유 공간법 혹은 부분 공간법을 이용하여 얼굴 영역을 추출하는 방법 등을 이용하도록 해도 된다.

또한, 상기 얼굴 검출부(12)는, 검출한 얼굴 영역의 화상으로부터, 눈, 코, 입이라고 한 얼굴을 형성하는 각 부위를 검출한다. 예를 들면, 상기 얼굴 검출부(12)가 얼굴의 각 부위를 검출하는 방법으로서는, 예를 들면, 비특허 문헌1에 개시되어 있는 방법이 적용 가능하다. 또한, 상기 입의 영역을 검출하는 방법으로서는, 예를 들면, 비특허 문헌2에 기재되어 있는 기술이 적용 가능하다.

또한, 생체 정보를 포함하는 화상으로부터 생체 정보를 검출하는 처리에는, 기지의 기술이 적용 가능하다. 예를 들면, 생체 정보로서의 지문 혹은 정맥의 패턴을 검출하는 처리에는, 비특허 문헌3에 기재되어 있는 기술이 적용 가능하다.

상기 얼굴 특징 추출부(13)는, 생체 정보의 특징 정보를 추출하는 특징 추출부로서 기능한다. 상기 얼굴 특징 추출부(13)는, 상기 얼굴 검출부(12)에 의해 검출된 얼굴 영역의 화상으로부터 얼굴의 특징 정보를 추출한다. 예를 들면, 얼굴의 특징 정보(생체 정보의 특징 정보)로서는, 소정의 크기 및 형상으로 잘라낸 영역에 서의 농담 정보가 이용된다. 이 경우, 상기 얼굴 특징 추출부(13)는, 상기 얼굴 검출부(12)에 의해 검출된 얼굴의 부위의 위치에 기초하여, 얼굴 영역을 소정의 크기 및 형상으로 잘라낸다. 상기 얼굴 특징 추출부(13)는, 소정의 크기 및 형상으로 잘라낸 영역의 화상에서의 농담 정보를 얼굴 화상의 특징량(얼굴의 특징 정보)로서 추출한다.

또한, 상기 얼굴 특징 추출부(13)에서는, m 픽셀×n 픽셀의 얼굴 화상의 영역에서의 농담값이 얼굴 화상의 특징량(얼굴의 특징 정보)으로서 추출한다. 이 경우, 얼굴 화상의 특징량으로서의 m×n 차원의 농담 정보는, 특징 벡터로서 주어진다. 이러한 얼굴 화상의 특징량을 나타내는 특징 벡터는, 단순 유사도법이라는 방법에 의해 벡터와 벡터의 길이를 각각 「1」이라고 하도록 정규화가 행해진다. 정규화된 특징 벡터는, 다른 특징 벡터와의 내적을 계산함으로써, 특징 벡터간의 유사성을 나타내는 유사도가 산출된다. 이 산출 결과는, 각각의 특징 벡터로 나타내는 2개의 얼굴 화상의 특징량의 유사도를 나타낸다. 즉, 상기 산출 결과로서의 유사도가 「1」로 되면, 완전하게 동일한 화상인 것을 나타내어, 「0」에 근접할수록 유사성이 낮은 것을 나타낸다. 이러한 특징 벡터를 이용한 유사도의 판정 방법은, 상기 사전 검색부(16) 혹은 상기 본 검색부(18)에서의 인물 검색 처리에서 이용된다.

상기 이력 관리부(15)는, 과거에 실시한 인물 검색 처리의 내용을 나타내는 이력 정보가 보존된다. 상기 이력 관리부(15)는, 하드 디스크 드라이브 등의 기억 장치 등에 의해 구성된다. 예를 들면, 상기 이력 관리부(15)에 보존되는 이력 정 보는, 과거에 실시한 인물 검색 처리에서, 검색 대상으로 된 얼굴 화상(혹은 얼굴 화상으로부터 얻어진 얼굴의 특징 정보), 및, 해당 인물 검색 처리의 검색 결과 등이 대응된 데이터이다. 예를 들면, 상기 이력 관리부(15)에 보존되는 이력 정보에는, 검색 대상으로 된 얼굴 화상(입력 화상), 검색 결과(예를 들면, 유사도가 높은 순으로 배열한 복수의 등록 정보와 유사도), 및, 속성 정보(검색 일시, 검색 조건) 등이 포함된다. 예를 들면, 상기 검색 결과는, 유사도가 높은 순서로 나열한 복수의 등록 정보와 유사도 등을 포함하는 정보 등이다. 또한, 상기 속성 정보는, 검색 처리를 행한 일시(검색 일시), 검색 조건, 검색 순서 등을 포함하는 정보이다. 또한, 상기 검색 결과는, 등록자의 개인 식별 정보 등의 상기 등록부(17)에 등록되어 있는 등록 정보에 링크하기 위한 정보이어도 된다.

또한, 상기 이력 관리부(15)에는, 과거에 실시한 인물 검색 처리의 내용을 나타내는 이력 정보를 순차적으로 보존한다. 이 때문에, 상기 이력 관리부(15)의 보존 용량에 제한이 있는 경우, 상기 이력 관리부(15)에 보존한 이력 정보는, 소정의 룰에 따라서 순차적으로 삭제된다. 예를 들면, 상기 이력 관리부(15)에 보존한 데이터량이 일정 용량에 도달한 경우, 상기 이력 관리부(15)는, 가장 오래된 이력 정보를 순차적으로 소거하도록 해도 된다. 또한, 상기 이력 관리부(15)는, 후술하는 사전 검색 처리에 있어서 유사하다고 판정된 율(히트율)이 가장 적은 이력 정보를 순차적으로 삭제하도록 해도 된다.

또한, 상기 이력 관리부(15)는, 검색 순서가 후술하는 사전 검색 처리에서의 히트율이 높은 순으로 되도록 이력 정보를 보존하도록 해도 된다. 또한, 예를 들면, 클러스터링 처리 등의 처리를 실시함으로써, 상기 이력 관리부(15)는, 동일 인물의 복수의 이력 정보마다, 혹은, 유사한 얼굴 화상의 복수의 이력 정보마다 이력 정보를 통합하도록 해도 된다. 이러한 방식으로, 상기 이력 관리부(15)에 보존되어 있는 이력 정보를 정리해두면, 후술하는 사전 검색부(16)에 의한 사전 검색 처리의 처리 효율(검색 효율)을 향상시킬 수 있다.

상기 사전 검색부(16)는, 상기 이력 관리부(15)로부터 검색 대상자의 얼굴 화상(혹은 얼굴의 특징 정보)과 유사한 얼굴 화상(혹은 얼굴의 특징 정보)의 이력 정보를 검색하는 처리(여기서는, 사전 검색 처리라고 칭함)를 행한다. 상기 사전 검색부(16)에 의한 사전 검색 처리의 결과는, 상기 본 검색부(18)에 출력되도록 되어 있다.

또한, 본 실시예에서, 「유사하다」란, 「동일 인물같다」라고 판정하는 것을 의미하는 것으로 한다. 또한, 「유사하다(동일 인물같다)」의 여부는, 검색 대상자의 얼굴 화상(혹은 얼굴의 특징 정보)과 이력 정보의 얼굴 화상(혹은 얼굴의 특징 정보)과의 유사도가 소정의 임계값 이상인지의 여부에 의해 판정된다. 또한, 상기 임계값은, 「유사하다(동일 인물같다)」인지의 여부를 판정하기 위한 기준값이다. 상기 임계값은, 해당 인물 검색 장치의 운용 형태에 따라서 적절히 설정된다.

상기 사전 검색부(16)에 의한 사전 검색 처리에서는, 우선, 검색 대상자의 얼굴 화상(혹은 얼굴의 특징 정보)과 이력 관리부(15)에 보존되어 있는 각 이력 정보에서의 입력 화상(혹은 얼굴의 특징 정보)과의 유사도를 판정하는 처리를 행한 다.

여기서, 얼굴의 특징 정보가, m×n 차원의 1개의 특징 벡터로 되어 있는 것으로 한다. 또한, 상기 이력 관리부(15)에는, 이력 정보의 입력 화상으로서, 얼굴의 특징 정보가 보존되어 있는 것으로 한다. 이 경우, 상기 카메라(10)로써 촬영한 얼굴 화상에서의 얼굴의 특징 정보는, 상기 얼굴 특징 추출부(13)에 의해 산출된다. 상기 사전 검색부(16)는, 상기 얼굴 특징 추출부(13)에 의해 산출된 검색 대상자의 얼굴의 특징 정보로서의 특징 벡터와, 상기 이력 관리부(15)에 보존되어 있는 각 이력 정보의 입력 화상에서의 얼굴의 특징 정보로서의 특징 벡터와의 유사도를 계산한다. 이에 의해, 상기 사전 검색부(16)에서는, 검색 대상자의 얼굴 화상과 각 이력 정보의 입력 화상과의 유사도가 산출된다.

또한, 상기한 바와 같은 처리에 있어서 산출된 유사도 중 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 없는 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 이력 정보의 입력 화상이 존재하지 않는다고 판정한다. 이 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 입력 화상의 이력 정보가 없던 것을 해당 사전 검색 처리의 결과로 한다. 또한, 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 존재한 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 입력 화상의 이력 정보를 사전 검색 처리의 결과로 한다.

또한, 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 1건만 이던 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 입력 화상 의 이력 정보를 사전 검색 처리의 결과로 한다. 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 복수건 존재한 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 입력 화상의 모든 이력 정보를 사전 검색 처리의 결과로 한다. 또한, 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 복수건 존재한 경우, 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 입력 화상의 복수의 이력 정보 중, 검색 대상자의 얼굴 화상과의 유사도가 최대로 된 입력 화상의 이력 정보를 사전 검색 처리의 결과로 하도록 해도 된다.

상기 등록부(17)에는, 미리 각 등록자에 대한 등록 정보가 보존(등록)되는 것이다. 상기 등록부(17)에 보존되는 각 등록 정보에는, 적어도, 등록자의 얼굴 화상, 혹은, 등록자의 얼굴 화상으로부터 얻어진 얼굴의 특징 정보가 포함된다. 상기 등록부(17)에 보존되는 각 등록 정보에 포함되는 얼굴의 특징 정보로서는, 예를 들면, 전술한 바와 같은 m×n의 특징 벡터가 이용된다. 또한, 상기 등록부(17)에 보존되는 각 등록 정보에 포함되는 얼굴의 특징 정보로서는, 부분 공간 혹은 KL 전개를 행하기 직전의 상관 행렬이어도 된다. 또한, 상기 등록부(17)에 등록되는 등록 정보에는, 예를 들면, 등록자에게 공급되는 개인 식별 정보(ID 번호)도 포함된다. 이에 의해, 상기 등록부(17)에 등록되는 등록 정보는, 상기 개인 식별 정보에 기초하여 검색하는 것이 가능하다.

또한, 상기 등록부(17)에는, 1명의 등록자에 대하여 1개의 등록 정보를 보존하도록 해도 되고, 1명의 등록자에 대하여 복수의 등록 정보를 보존하도록 해도 된다. 또한, 상기 등록부(17)에 보존되는 1개의 등록 정보에는, 복수의 얼굴 화상 혹은 복수의 얼굴의 특징 정보를 보존하도록 해도 된다.

상기 본 검색부(18)는, 상기 사전 검색부(16)의 사전 검색 처리의 결과 등을 이용하여, 해당 인물 검색 장치(1)로서의 최종적인 인물의 검색 결과를 판정하는 것이다. 상기 본 검색부(18)는, 상기 등록부(17)로부터 검색 대상자의 얼굴 화상(혹은 얼굴의 특징 정보)와 유사한 얼굴 화상(혹은 얼굴의 특징 정보)의 등록 정보를 검색하는 처리(여기서는, 본 검색 처리라고 칭함)를 행하는 기능, 상기 사전 검색부(16)에 의해 얻어진 사전 검색 처리의 결과에 기초하여 인물의 검색 결과를 작성하는 기능 등을 갖고 있다.

상기 본 검색부(18)의 본 검색 처리는, 검색 대상자 M의 얼굴 화상(혹은 얼굴의 특징 정보)에 유사한 얼굴 화상(혹은 얼굴의 특징 정보)의 등록 정보를 검색하는 처리이다. 즉, 본 검색 처리에서는, 검색 대상자 M의 얼굴 화상과 각 등록 정보의 얼굴 화상과의 유사도를 판정한다. 검색 대상자 M의 얼굴 화상에 대한 각 등록 정보의 유사도를 산출하면, 상기 본 검색 처리에서는, 이들 유사도를 높은 순으로 나열한 것 중 상위로부터 소정수의 등록 정보를 본 검색 처리의 결과로 한다. 또한, 상기 본 검색 처리에서는, 소정의 임계값 이상의 유사도를 본 검색 처리의 결과로 하도록 해도 된다.

또한, 유사도가 높은 소정 수의 등록 정보를 검색 결과로 할지, 소정의 임계값 이상의 유사도로 된 등록 정보를 검색 결과로 할지는, 해당 인물 검색 장치(1)의 운용 형태에 따라서 결정된다.

예를 들면, 해당 인물 검색 장치(1)가 인물 감시 시스템에 적용되는 경우 (즉, 해당 인물 검색 장치(1)에 의한 인물의 검색 결과가 인물 감시용 정보로서 이용되는 경우), 해당 인물 검색 장치(1)에 의한 최종적인 인물의 검색 결과로서는, 검색 대상자 M과 유사한 인물에 관한 정보를 얻는 것이 중요하게 된다고 생각된다. 이 때문에, 해당 인물 검색 장치(1)가 인물 감시 시스템에 적용되는 경우, 상기 본 검색 처리에서는, 유사도가 높은 소정수의 등록 정보를 검색 결과로 한다.

또한, 해당 인물 검색 장치(1)가 입퇴장 관리 시스템에 적용되는 경우(즉, 해당 인물 검색 장치(1)에 의한 인물의 검색 결과가 입퇴장을 제어하기 위한 정보로서 이용되는 경우), 해당 인물 검색 장치(1)에 의한 최종적인 인물의 검색 결과로서는, 검색 대상자 M이 등록자인지의 여부를 나타내는 판정 결과가 중요하게 된다고 생각된다. 이 때문에, 해당 인물 검색 장치(1)가 입퇴장 관리 시스템에 적용되는 경우, 상기 본 검색 처리에서는, 소정의 임계값 이상의 유사도로 된 등록 정보를 본 검색 처리의 결과로 한다.

또한, 상기 본 검색부(18)에서는, 상기 사전 검색부(16)에 의한 사전 검색 처리의 결과를 이용하여 인물의 검색 결과를 판정한다. 예를 들면, 상기 사전 검색부(16)의 사전 검색 처리에 의해서 검색 대상자의 얼굴 화상과 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 1건만 존재한다고 판정된 경우, 상기 본 검색부(18)는, 본 검색 처리를 행하지 않고, 그 이력 정보에서의 검색 결과를 검색 대상자 M에 대한 최종적인 인물의 검색 결과로 한다.

또한, 상기 사전 검색부(16)의 사전 검색 처리에 의해 검색 대상자의 얼굴 화상과 소정의 임계값 이상의 유사도로 되는 입력 화상의 이력 정보가 복수 존재한 다고 판정된 경우, 상기 본 검색부(18)에서는, 이들 이력 정보에서의 검색 결과에 기초하여 검색 대상자에 대한 최종적인 인물의 검색 결과를 판정한다.

예를 들면, 상기 본 검색부(18)에서는, 상기 사전 검색 처리에 의해서 얻어진 복수의 이력 정보의 검색 결과로부터 1개의 검색 결과를 작성하도록 해도 된다. 이 경우, 상기 본 검색부(18)에서는, 각 이력 정보의 검색 결과(복수의 검색 결과)를 통합하는 통합 처리를 행하여, 이 통합 처리에 의해서 얻어진 1개의 검색 결과(통합된 검색 결과)를 최종적인 인물의 검색 결과로 한다.

이에 의해, 상기 본 검색부(18)에서는, 본 검색 처리를 행하는 일 없이(즉, 모든 등록 정보와의 유사도를 판정하는 처리를 행하는 일 없이), 최종적인 인물의 검색 결과가 얻어진다. 이 때문에, 해당 인물 검색 장치(1)에서의 인물 검색 처리 전체에 요하는 처리 시간을 단축할 수 있다. 또한, 상기 통합 처리에 대해서는, 후에 상세히 설명한다.

또한, 상기 본 검색부(18)에서는, 상기 사전 검색 처리에 의해서 얻어진 복수의 이력 정보의 검색 결과에 기초하여 한정한 등록자의 등록 정보만을 검색 대상으로 하여, 검색 대상자 M의 얼굴 화상에 대한 검색 처리를 행하도록 해도 된다. 이 경우, 상기 본 검색부(18)에서는, 상기 사전 검색 처리에 의해서 얻어진 복수의 이력 정보의 검색 결과에 기초하여 검색 대상으로 하는 등록자를 추려내고, 이들이 추려낸 등록자의 등록 정보를 검색 대상으로 하여 검색 대상자 M의 얼굴 화상에 대한 검색 처리를 행한다.

이에 의해, 상기 본 검색부(18)에서는, 모든 등록 정보와의 유사도를 판정하 는 처리를 행하지 않고, 한정된 등록 정보와의 유사도를 판정하는 처리에 의해서 최종적인 인물의 검색 결과가 얻어진다. 이 때문에, 해당 인물 검색 장치(1)에서의 인물 검색 처리 전체에 요하는 처리 시간을 단축할 수 있다.

상기 출력부(19)는, 해당 인물 검색 장치(1)로서의 최종적인 인물의 검색 결과, 혹은, 최종적인 인물의 검색 결과에 따른 제어 신호를 외부 기기(2)에 출력하는 것이다. 상기 출력부(19)의 구성 및 상기 출력부(19)가 출력하는 정보는, 외부 기기(2)의 구성 혹은 운용 형태에 따라서 설계된다.

예를 들면, 해당 인물 검색 장치(1)가 인물 감시 시스템에 적용되는 경우, 상기 외부 기기(2)는, 감시원 등이 인물을 감시하기 위한 표시 장치 등으로 구성된다. 이 경우, 상기 출력부(19)는, 상기 카메라(10)로 촬영된 검색 대상자 M의 얼굴 화상, 상기 본 검색부(18)로 얻어진 최종적인 인물의 검색 결과 등을 출력한다. 특히, 상기 외부 기기(2)가 감시할 정보를 표시하는 표시 장치이면, 상기 출력부(19)는, 상기 카메라(10)로 촬영된 검색 대상자 M의 얼굴 화상, 인물의 검색 결과에 기초하는 등록 정보(등록자의 얼굴 화상, 및, 등록자의 속성 정보) 및 유사도 등의 표시 데이터를 출력한다.

또한, 해당 인물 검색 장치(1)가 미리 설정되는 특정한 인물을 감시하는 것을 목적으로 한 인물 감시 시스템에 적용되는 경우, 상기 외부 기기(2)는, 특정한 인물이 발견된 것을 감시원 등에 통지하기 위한 표시 장치 혹은 경보 장치 등으로 구성된다. 이 경우, 상기 출력부(19)는, 인물의 검색 결과에 유사도가 소정의 임계값 이상으로 된 특정한 인물이 포함되어 있으면, 특정한 인물이 검출된 것을 나타내는 경고를 표시하거나, 경보를 울리거나 하기 위한 제어 신호를 외부 기기(2)에 출력한다.

또한, 해당 인물 검색 장치(1)가 도어의 개폐 등에 의해 인물의 통행(입퇴장)을 제어하는 입퇴장 관리 시스템에 적용되는 경우, 상기 외부 기기(2)는, 인물의 통행(입퇴장)을 제어하기 위한 도어(혹은 도어에 설치된 키)의 개폐를 제어하는 장치로 구성된다. 이 경우, 상기 출력부(19)는, 인물의 검색 결과에 유사도가 소정값 이상으로 된 등록자(혹은 통행이 허가되어 있는 등록자)가 포함되어 있으면, 도어(혹은 도어에 설치된 키)를 개방하기 위한 제어 신호를 외부 기기(2)에 출력한다.

상기 주 제어부(20)는, 해당 인물 검색 장치(1) 전체의 통괄적인 제어를 담당하는 것이다. 상기 주 제어부(20)는, 상기 각 부의 동작 등을 제어한다.

예를 들면, 상기 주 제어부(20)에서는, 사전 검색 처리를 실행할지 생략할지를 선택적으로 절환하도록 해도 된다. 본 실시예의 인물 검색 장치(1)에서는, 검색 대상자 M의 얼굴 화상과 유사한 입력 화상의 이력 정보를 상기 이력 관리부(15)로부터 검색하는 처리(사전 검색 처리)를 행함으로써, 처리의 효율화 혹은 고정밀도화를 도모하는 것이다.

그러나, 운용 형태에 따라서는, 상기 사전 검색 처리를 행함으로써 처리의 효율이 저하할 가능성이 있다. 예를 들면, 등록 정보의 수에 비하여 이력 정보의 수가 많아진 경우, 사전 검색 처리에 요하는 시간이 본 검색 처리에 요하는 시간보다도 길어지는 경우가 있을 수 있다. 또한, 사전 검색 처리에서의 유사한 이력 정 보가 발견되는 율(히트율)이 극단적으로 낮은 경우, 사전 검색 처리를 실행함으로써, 처리 전체의 효율이 저하하는 경우가 있을 수 있다. 이 때문에, 상기 주 제어부(20)에서는, 사전 검색 처리에 요하는 처리 시간의 평균값, 본 검색 처리에 요하는 처리 시간의 평균값, 및, 사전 검색 처리에서의 히트율 등의 정보를 도시하지 않은 내부 메모리에 기억해둔다. 이들 정보에 기초하여, 상기 주 제어부(20)에서는, 상기 사전 검색 처리를 실행할지 생략할지를 판정한다.

예를 들면, 사전 검색 처리에 요하는 처리 시간의 평균값이 본 검색 처리에 요하는 처리 시간의 평균값보다도 긴 경우, 상기 주 제어부(20)에서는, 상기 사전 검색 처리를 생략하는 것이라고 판정한다. 또한, 사전 검색 처리에서의 히트율이 소정의 값보다도 낮은 경우, 상기 주 제어부(20)는, 상기 사전 검색 처리를 생략하는 것이라고 판정한다.

상기한 바와 같은 제어를 행함으로써, 상기 주 제어부(20)에서는, 사전 검색 처리를 행할지의 여부를 동적으로 절환할 수 있으며, 어떠한 운용 형태로 되어도 처리 전체의 효율이 저하하지 않도록 제어할 수 있다.

또한, 상기 주 제어부(20)에서는, 상기 사전 검색 처리 혹은 상기 본 검색 처리에 있어서 「유사하다(동일 인물같다)」라고 판정하기 위한 임계값을 적절하게 변경하도록 해도 된다. 예를 들면, 본 인물 검색 장치(1)가 인물 감시 시스템에 적용되는 경우, 상기 주 제어부(20)에서는, 상기 사전 검색 처리 혹은 상기 본 검색 처리에 있어서 「유사하다(동일 인물같다)」라고 판정하기 위한 임계값을 운용 상황 등에 따라서 적절하게 변경한다. 예를 들면, 인물 감시 시스템에서는, 특정 한 시기에는 감시를 강화하려는 상황이 있을 수 있다. 이러한 경우, 상기한 바와 같이 임계값을 운용 상황에 따라서 변경함으로써, 상황에 따른 적절한 인물의 감시가 실현된다.

다음으로, 상기 사전 검색부(16)에 의한 사전 검색 처리에 대하여 설명한다.

도 2는, 상기 이력 관리부(15)에 보존되는 이력 정보의 예를 도시하는 도면이다.

도 2에 도시한 바와 같이 상기 이력 관리부(15)에는, 이력 정보로서, 1개의 검색 대상자의 얼굴 화상(입력 화상)에 대응하여 검색 결과와 검색 일시 등의 속성정보가 보존되어 있다. 상기 이력 정보의 검색 결과는, 이력 정보의 입력 화상에 대한 인물 검색 처리(사전 검색 처리 혹은 본 검색 처리)의 결과를 나타내는 것이다. 도 2에 도시하는 예에서는, 검색 결과는, 입력 화상에 대하여 유사도가 높았던 소정 수의 등록 정보를 나타내는 정보로 구성되어 있다. 검색 결과에서의 등록 정보를 나타내는 정보는, 예를 들면, 등록자를 나타내는 개인 식별 정보, 등록자의 얼굴 화상(혹은 얼굴의 특징 정보), 입력 화상에 대한 유사도 등의 정보이다. 또한, 등록자를 나타내는 개인 식별 정보 및 등록자의 얼굴 화상(혹은 얼굴의 특징 정보)은, 등록 정보로서 등록부(17)에 보존되어 있는 정보이다.

구체예로서, 도 2에 도시한 바와 같은 3개의 이력 정보에 대한 사전 검색 처리에 대하여 설명한다. 여기서, 상기 카메라(10)에 촬영된 검색 대상자의 얼굴 화상을 얼굴 화상 X라고 하면, 상기 사전 검색부(16)는, 얼굴 화상 X에 대한 이력 정보 A의 입력 화상 A, 이력 정보 B의 입력 화상 B, 이력 정보 C의 입력 화상 C의 유 사도를 각각 산출한다. 검색 대상자의 얼굴 화상 X에 대한 각 이력 정보의 입력 화상의 유사도를 산출하면, 상기 사전 검색부(16)는, 이들 유사도 중 소정의 임계값 이상으로 되는 입력 화상의 이력 정보를 사전 검색 처리의 검색 결과로 한다.

즉, 상기 사전 검색부(16)에서는, 유사도가 소정의 임계값 이상으로 된 이력 정보의 입력 화상이 검색 대상자와 동일 인물의 것이라고 판정한다. 이것은, 검색 대상자가 과거에 검색된 적이 있는 것을 나타내고 있다. 따라서, 해당 검색 대상자의 얼굴 화상에 의한 인물의 검색 결과로서는, 해당 인물에 대한 과거의 검색 결과를 유용할 수 있다. 이러한 사전 검색 처리에 따르면, 해당 인물 검색 장치(1)에서는, 검색 대상자의 얼굴 화상 X와 등록부(17)에 등록되어 있는 모든 등록 정보와의 대조를 행하지 않더라도, 해당 검색 대상자의 얼굴 화상에 대한 인물의 검색 결과가 얻어진다.

또한, 유사도가 소정의 임계값 이상으로 되는 입력 화상의 이력 정보가 복수 존재한 경우, 상기 사전 검색부(16)에서는, 전술한 바와 같이, 이들 모든 이력 정보를 사전 검색 처리의 결과로 해도 되고, 이들 이력 정보 중 하나를 사전 검색 처리의 결과로 하도록 해도 된다. 또한, 상기 본 검색부(18)가, 복수의 이력 정보로부터 1개의 이력 정보를 선택하는 처리를 행하도록 해도 된다. 이 경우, 상기 사전 검색부(16)에서는, 유사도가 소정의 임계값 이상으로 되는 모든 이력 정보를 사전 검색 처리의 결과로서 본 검색부(18)에 공급하게 된다.

또한, 유사도가 소정의 임계값 이상으로 되는 입력 화상의 이력 정보가 복수 존재한 경우, 상기 사전 검색부(16)에서는, 유사도가 소정의 임계값 이상으로 되는 입력 화상의 이력 정보 중, 가장 유사도가 높은 1개의 이력 정보를 검색 결과로 해도 되고, 가장 새로운 이력 정보를 검색 결과로 해도 되고, 가장 오래된 이력 정보를 검색 결과로 해도 된다.

여기서, 가장 새로운 이력 정보는, 전회, 해당 검색 대상자가 검출되었을 때의 정보를 나타내는 것이다. 즉, 가장 새로운 이력 정보를 검색 결과로 하면, 해당 검색 대상자에 대한 인물의 검색 결과와 함께, 해당 검색 대상자에 대한 전회의 인물 검색 처리에 관한 정보(예를 들면, 검색 일시, 검색 장소 등)도 얻어진다고 하는 장점이 있다. 또한, 가장 새로운 이력 정보의 입력 화상은, 해당 인물에 대한 이력 정보 중 가장 최근에 촬영된 얼굴 화상이다. 이 때문에, 검색 대상자의 얼굴 화상과 가장 새로운 이력 정보의 입력 화상을 비교해 보면, 해당 검색 대상자에 대한 최근의 얼굴의 변화를 나타낼 수 있다.

또한, 가장 오래된 이력 정보의 입력 화상은, 해당 인물에 대한 이력 정보 중 상기 등록부(17)에 등록되어 있는 얼굴 화상과 가장 가까운 시기에 촬영된 얼굴 화상이다. 통상적으로, 인물의 얼굴은, 시간 경과에 수반하여 변화하는 것이 예측된다. 따라서, 가장 오래된 이력 정보의 입력 화상은, 상기 등록부(17)에 등록되어 있는 얼굴 화상과의 유사도가 가장 높은 것이 예측된다. 바꿔 말하면, 가장 오래된 이력 정보를 검색 결과로 함으로써, 사전 검색 처리의 결과에서는, 해당 검색 대상자에 대한 인물의 검색 결과와 함께, 상기 등록부(17)에 등록되어 있는 얼굴 화상에 가장 가까운 상태의 얼굴 화상으로 인물 검색 처리를 행한 검색 결과(이력 정보)를 나타낼 수 있다고 하는 장점이 있다.

다음으로, 상기 사전 검색부(16)에 의한 사전 검색 처리의 결과로서 복수의 이력 정보가 얻어진 경우에서의 상기 본 검색부(18)의 처리예에 대하여 설명한다.

즉, 상기 사전 검색 처리에 의해서 검색 대상자의 얼굴 화상과 유사한 이력 정보가 복수얻어진 경우, 상기 본 검색부(18)에서는, 이들 이력 정보에 기초하여 검색 대상자에 대한 최종적인 인물의 검색 결과를 판정하는 처리를 행한다. 복수의 이력 정보에 기초하여 인물의 검색 결과를 판정하는 처리로서는, 예를 들면, 이하와 같은 3개의 처리 방법을 적용할 수 있다.

우선, 제1 처리 방법은, 복수의 이력 정보로부터 소정의 조건에 기초하여 1개의 이력 정보를 선택하고, 선택한 이력 정보의 검색 결과를 최종적인 인물의 검색 결과로 하는 방법이다.

이 제1 처리 방법에서는, 상기 사전 검색 처리의 처리예로서 설명한 바와 같이, 복수의 이력 정보 중, 가장 유사도가 높은 이력 정보, 가장 새로운 이력 정보, 혹은, 가장 오래된 이력 정보를 선택한다. 상기 제1 처리 방법에서는, 선택된 1개의 이력 정보의 검색 결과를 최종적인 인물의 검색 결과로 한다. 이러한 제1 처리 방법에 따르면, 복잡한 처리, 혹은, 유사도의 판정 처리 등을 행할 필요가 없고, 단순한 처리로 최종적인 인물의 검색 결과가 얻어진다. 이 때문에, 제1 처리 방법에 따르면, 고속의 처리를 할 수 있다.

다음으로, 제2 처리 방법은, 복수의 이력 정보에서의 각 검색 결과를 통합하고, 통합한 검색 결과를 최종적인 인물의 검색 결과로 하는 방법이다. 이 제2 처리 방법에서는, 복수의 이력 정보의 검색 결과를 1개의 검색 결과로서 통합하는 방 법으로서 여러가지의 방법이 적용 가능하다. 제2 처리 방법으로서의 통합 처리의 예에 대해서는, 후에 상세히 설명한다.

다음으로, 제3 처리 방법은, 복수의 이력 정보에서의 각 검색 결과에 기초하여 등록자를 추려내고, 추려낸 등록자의 등록 정보에 한정하여 상기 본 검색 처리와 마찬가지인 검색 대상자의 얼굴 화상에 대한 검색 처리를 행하여, 그 검색 처리의 최종적인 인물의 검색 결과로 하는 방법이다.

이 제3 처리 방법에서는, 복수의 이력 정보의 각 검색 결과에 기초하여 검색 대상으로 하는 등록자(등록자의 후보)를 특정한다. 예를 들면, 등록자의 후보로서는, 각 검색 결과에 있어서 상위로부터 소정 수의 등록자를 검색 대상으로 한다. 등록자의 후보가 특정되면, 상기 본 검색부(18)는, 검색 대상자 M의 얼굴 화상과 각 등록자의 후보의 등록 정보에서의 얼굴 화상과의 유사도를 판정하고, 이들 유사도에 기초하여 얻어지는 검색 결과를 최종적인 인물의 검색 결과로 한다. 이러한 제3 처리 방법에 따르면, 검색 대상자 M의 얼굴 화상과 이력 정보에 의해서 추려낸 등록 정보의 얼굴 화상(등록 화상)과의 유사도가 연산됨으로써, 최종적인 인물의 검색 결과가 얻어진다. 즉, 제3 처리 방법에 따르면, 모든 등록자의 얼굴 화상에 대하여 유사도를 판정하지 않고, 유력한 후보로 되는 등록자의 얼굴 화상에 대하여 유사도를 판정하면 된다. 이 결과, 제3 처리 방법에 따르면, 높은 검색 정밀도를 유지하면서, 인물 검색 처리 전체의 고속화 및 효율화를 도모할 수 있다.

다음으로, 복수의 검색 결과를 1개의 검색 결과에 통합하는 통합 처리에 대하여 설명한다.

여기서는, 상기 제2 처리 방법에서의 통합 처리의 일례에 대하여 설명한다. 도 3은, 3개의 이력 정보의 예와 이들 이력 정보를 통합한 통합 이력의 예를 도시하는 도면이다.

도 3에 도시하는 예에서는, 사전 검색 처리에 의해서 3개의 이력 정보 A, B, C가 얻어진 것으로 하고 있다. 각 이력 정보의 검색 결과는, 각각, 입력 화상에 대한 유사도와, 유사도가 높은 순으로 배열된 소정 수의 등록자를 나타내는 정보로 이루어져 있다. 예를 들면, 이력 정보 A에서는, 유사도가 높은순으로, 유사도가 「0.86」인 인물 B, 유사도가 「0.85」인 인물 A, 유사도가 「0.82」인 인물 C, …이 검색 결과로서 유지되어 있다. 이력 정보 B 에서는, 유사도가 높은 순으로, 유사도가 「0.87」인 인물 A, 유사도가 「0.81」인 인물 C, 유사도가 「0.80」인 인물 B가 검색 결과로서 유지되어 있다. 이력 정보 C에서는, 유사도가 높은 순으로, 유사도가 「0.81」인 인물 A, 유사도가 「0.80」인 인물 D, 유사도가 「0.79」인 인물 C가 검색 결과로서 유지되어 있다.

이들과 같은 이력 정보의 검색 결과에서, 각 인물마다 최고로 되는 유사도를 구한다. 예를 들면, 인물 A의 유사도가 최대로 되어 있는 것은, 이력 정보 B의 유사도 「0.87」이다. 또한, 인물 B의 유사도가 최대로 되어 있는 것은, 이력 정보 A의 유사도 「0.86」이다. 또한, 인물 C의 유사도가 최대로 되어 있는 것은, 이력 정보 A의 유사도 「0.82」이다. 이와 같이 구해진 각 인물의 최대 유사도를 순서대로 배열한 것을 검색 결과로 한 것이, 도 3에 도시한 통합 이력 정보이다. 즉, 전술한 통합 처리에서는, 각 이력 정보의 검색 결과에 존재하는 각 인물에 대하여 각각 최대 유사도를 추출하고, 이들 최대 유사도를 순서대로 배열한 것을 통합 이력 정보의 검색 결과로 한다.

또한, 상기 통합 처리로서는, 각 이력 정보에서의 각 인물의 유사도에 대하여 평균값을 산출하고, 그 평균값을 순서대로 배열한 것을 통합 이력 정보의 검색 결과로 하도록 해도 된다. 예를 들면, 도 3에 도시하는 이력 정보 A, B, C에서는, 인물 A의 유사도의 평균값은 「0.843」, 인물 B의 유사도의 평균값은 「0.82」, 인물 C의 유사도의 평균값은 「0.807」이다. 따라서, 이들 값을 순서대로 배열한 통합 이력 정보의 검색 결과로서는, 인물 A(0843), 인물 B(0.82), 인물 C(0.807)로 되는 검색 결과가 얻어진다.

또한, 상기 제3 처리 방법은, 상기한 바와 같은 통합 처리에 의해서 얻어진 통합 이력 정보의 검색 결과를 이용하여 등록자를 추려내도록 해도 된다. 이것은, 예를 들면, 통합 이력 정보의 검색 결과에서의 상위로부터 소정 수의 인물을 등록자의 후보로서 추려내고, 이들 각 등록자의 후보의 등록 정보에서의 얼굴 화상과 검색 대상자 M의 얼굴 화상과의 유사도를 판정하고, 이들 유사도에 기초하여 검색 결과를 얻도록 하면 된다. 이 경우, 통합 이력 정보의 검색 결과를 그대로 최종적인 인물의 검색 결과로 하는 것보다도, 처리에는 시간이 걸리지만, 정확한 유사도가 얻어진다고 하는 장점이 있다.

다음으로, 인물 검색 장치(1)에서의 처리의 흐름에 관해서 설명한다.

도 4는, 인물 검색 장치(1)에서의 기본적인 처리의 흐름을 설명하기 위한 플로우차트이다.

검색 대상자가 카메라(10)의 앞에 나타나면, 상기 카메라(10)는, 검색 대상자의 얼굴을 포함하는 화상을 촬영한다. 상기 카메라(10)에 의해 촬영된 화상은, 상기 화상 입력부(11)에 의해 인물 검색 장치 1개체 내에 받아들인다. 상기 카메라(10)에 의해 촬영된 화상을 취득하면, 상기 화상 입력부(11)는, 취득한 화상에 대하여 소정의 화상 처리를 실시한다(스텝 S10). 예를 들면, 상기 화상 입력부(11)에서는, 상기 카메라(10)로 촬영한 아날로그의 화상을 디지털의 화상 데이터로 변환하는 처리 등을 행한다.

상기 화상 입력부(11)에 의해 처리된 화상 데이터는, 얼굴 검출부(12)에 공급된다. 화상 데이터가 공급되면, 상기 얼굴 검출부(12)에서는, 공급된 화상 데이터에 대하여 얼굴 검출 처리를 행한다(스텝 S11). 상기 얼굴 검출 처리에서는, 전술한 바와 같이, 화상 데이터에서의 얼굴 영역의 검출, 및, 얼굴 영역의 화상에서의 얼굴의 특징 부위를 추출 등의 처리를 행한다. 상기 얼굴 검출부(12)에 의해 얼굴 검출 처리의 결과는, 상기 얼굴 특징 추출부(13)에 공급된다. 상기 얼굴 특징 추출부(13)에서는, 얼굴의 특징을 나타내는 얼굴의 특징 정보를 산출하는 처리를 행한다(스텝 S12).

상기 얼굴 특징 추출부(13)에 의해 얼굴의 특징 정보가 산출되면, 상기 주 제어부(20)는, 사전 검색 처리를 실행할지의 여부를 판단한다(스텝 S13). 이것은, 예를 들면, 사전 검색 처리에 요하고 있는 처리 시간의 평균값과 본 검색 처리에 요하고 있는 처리 시간의 평균값과의 비교, 혹은, 사전 검색 처리에서의 히트율 등에 기초하여 판단된다. 또한, 상기 판단은, 사전 검색 처리의 전의 단계이면, 어 떤 타이밍에서 행하도록 해도 된다.

상기 판단에 의해 사전 검색 처리를 생략한다고 판단된 경우(스텝 S13, 아니오), 상기 주 제어부(20)는, 상기 사전 검색부(16)에 의한 사전 검색 처리를 생략하여, 후술하는 스텝 S20의 상기 본 검색부(18)에 의한 본 검색 처리를 실행하도록 제어한다.

또한, 상기 판단에 의해 사전 검색 처리를 실행한다고 판단된 경우(스텝 S13, 예), 상기 주 제어부(20)는, 상기 사전 검색부(16)에 의한 사전 검색 처리를 실행하도록 제어한다. 이 경우, 상기 사전 검색부(16)는, 전술한 사전 검색 처리를 행한다(스텝 S14). 여기서는, 상기 사전 검색 처리에 의해 유사도가 소정의 임계값 이상인 모든 이력 정보가 추출되는 것으로 한다.

상기 사전 검색 처리에 의해 검색 대상자의 얼굴 화상에 대하여 유사도가 소정의 임계값 이상으로 되는 이력 정보가 존재하다고 판정된 경우(스텝 S15, 예), 상기 사전 검색부(16)는, 유사도가 소정의 임계값 이상으로 되는 이력 정보를 나타내는 정보를 사전 검색 처리의 결과로서 상기 본 검색부(18)에 통지한다. 상기 사전 검색부(16)로부터 사전 검색 처리의 결과로서 유사도가 소정의 임계값 이상으로 되는 이력 정보를 나타내는 정보를 받으면, 상기 본 검색부(18)는, 사전 검색 처리로 추출된 이력 정보가 1건만 인지의 여부를 판단한다(스텝 S16).

이 판단에 의해 사전 검색 처리로 추출된 이력 정보가 1건만이라고 판단하면, 상기 본 검색부(18)에서는, 사전 검색의 결과로서 얻어진 이력 정보의 검색 결과를, 해당 검색 대상자의 얼굴 화상에 대한 인물의 검색 결과(해당 인물 검색 장 치(1)로서의 최종적인 인물 검색 결과)로서 상기 출력부(19)에 공급한다(스텝 S17).

상기 판단에 의해 사전 검색 처리로 추출된 이력 정보가 복수라고 판단하면, 상기 본 검색부(18)에서는, 사전 검색 처리의 결과로서 얻어진 각 이력 정보의 검색 결과를 통합하는 통합 처리(검색 결과의 통합 처리)를 행한다(스텝 S18). 이 검색 결과의 통합 처리는, 전술한 바와 같이, 각 이력 정보의 검색 결과를 통합하여 1개의 검색 결과(통합한 검색 결과)를 작성하는 처리이다. 이러한 통합 처리에 의해서 1개의 검색 결과가 작성되면, 상기 본 검색부(18)는, 통합한 검색 결과를 해당 검색 대상자의 얼굴 화상에 대한 인물의 검색 결과(해당 인물 검색 장치(1)로서의 최종적인 인물 검색 결과)로서 상기 출력부(19)에 공급한다(스텝 S19).

또한, 상기 사전 검색 처리에 의해 검색 대상자의 얼굴 화상에 대하여 유사도가 소정의 임계값 이상으로 되는 이력 정보가 존재하지 않는다고 판정된 경우(스텝 S15, 아니오), 상기 사전 검색부(16)는, 검색 대상자의 얼굴 화상과 유사한 이력 정보가 없는 것을 사전 검색 처리의 결과로 하여 상기 본 검색부(18)에 통지한다.

검색 대상자의 얼굴 화상과 유사한 이력 정보가 없는 취지의 사전 검색 처리의 결과를 받으면, 상기 본 검색부(18)는, 상기 등록부(17)에 등록되어 있는 모든 등록 정보를 대상으로 하여, 검색 대상자의 얼굴 화상(얼굴의 특징 정보)과 유사한 등록 정보를 검색하는 본 검색 처리를 행한다(스텝 S20).

이 본 검색 처리에서는, 검색 대상자의 얼굴 화상(얼굴의 특징 정보)과의 유 사도가 높은 순으로 소정 수의 등록 정보가 추출된다. 이 경우, 상기 본 검색부(18)에서는, 상기 스텝 S20의 본 검색 처리의 결과를, 검색 대상자의 얼굴 화상에 대한 인물의 검색 결과(해당 인물 검색 장치(1)로서의 최종적인 인물 검색 결과)로서 상기 출력부(19)에 공급한다(스텝 S21).

상기 본 검색부(18)로부터 인물의 검색 결과를 받은 출력부(19)에서는, 외부 기기(2)에 대하여 검색 결과를 출력한다(스텝 S22). 이에 의해, 상기 외부 기기(2)에서는, 상기 출력부(19)로부터 출력된 검색 결과에 따른 처리를 행한다.

예를 들면, 외부 기기(2)가 표시 장치를 갖는 감시 장치이면, 상기 외부 기기(2)는, 검색 결과로서 얻어진 인물의 얼굴 화상 혹은 속성 정보 등을 표시 장치에 표시한다. 또한, 외부 기기(2)가 도어의 개폐 등을 제어하는 통행 제어 장치이면, 상기 외부 기기(2)는, 검색 결과에 기초하여 검색 대상자 M의 통행을 제어하는 처리를 행한다.

또한, 상기 본 검색부(18)에서는, 검색 대상자 M의 얼굴 화상(혹은 얼굴의 특징 정보), 인물의 검색 결과, 및, 속성 정보 등을 해당 인물 검색 처리의 이력 정보로서 이력 관리부(15)에 보존하는 처리를 행한다(스텝 S23). 이에 의해, 상기 이력 관리부(15)에는, 해당 검색 대상자 M의 얼굴 화상에 의한 인물 검색 처리의 결과 등을 이력 정보로서 보존할 수 있다.

또한, 상기 이력 관리부(15)에는, 별도 실시한 본 검색 처리의 결과를 검색 결과로 한 이력 정보를 보존하도록 해도 된다. 즉, 전술한 일련의 인물 검색 처리에서는, 사전 검색 처리의 처리 결과를 이용하여 인물 검색 결과를 얻도록 하고 있 다. 예를 들면, 사전 검색 처리에 있어서 검색 대상자의 얼굴 화상과 유사한 입력 화상의 이력 정보가 1개만 얻어진 경우, 해당 검색 대상자의 얼굴 화상에 대한 인물 검색 결과는, 이력 정보의 검색 결과로 된다. 또한, 사전 검색 처리에 있어서 검색 대상자의 얼굴 화상과 유사한 입력 화상의 이력 정보가 복수 얻어진 경우, 해당 검색 대상자의 얼굴 화상에 대한 인물 검색 결과는, 이들 이력 정보의 검색 결과를 통합한 것으로 된다.

즉, 상기 사전 검색 처리에 있어서 검색 대상자의 얼굴 화상과 유사한 입력 화상의 이력 정보가 얻어진 경우, 검색 대상자의 얼굴 화상과 등록 정보의 얼굴 화상과의 유사도는, 판정되지 않는다. 이력 정보에서의 검색 결과로서는, 검색 대상자의 얼굴 화상과 각 등록 정보의 얼굴 화상과의 정확한 유사도를 나타내는 것인 쪽이 좋은 경우가 있다. 이러한 경우, 전술한 일련의 처리의 흐름과는 별도로, 검색 대상자의 얼굴 화상과 등록 정보의 얼굴 화상과의 유사도를 판정하고, 이들 유사도를 이력 정보의 검색 결과로서 보존하도록 하면 된다. 특히, 해당 인물 검색 장치(1)가 대기 상태인 경우(즉, 상기 스텝 S10∼S22의 처리를 행하고 있지 않을 때)이면, 해당 인물 검색 장치(1)에는, 한 시기에 큰 처리의 부하를 거는 일 없이, 시간이 걸려서, 상기한 바와 같은 처리(본 검색 처리)를 실시할 수 있다.

이하, 이력 정보의 입력 화상에 유사한 얼굴 화상의 등록 정보를 검색하는 재검색 처리에 대하여 설명한다.

도 11은, 이력 정보의 입력 화상(카메라(10)로 촬영된 얼굴 화상)에 유사한 얼굴 화상의 등록 정보를 검색하는 재검색 처리의 처리예를 설명하기 위한 플로우 차트이다.

도 11에 도시하는 처리는, 상기 주 제어부(20)에 의한 제어에 의해서 실현되는 것으로 한다. 즉, 상기 주 제어부(20)에서는, 해당 인물 검색 장치(1)의 가동 상황(각종의 처리의 실시 상황)을 감시하고 있다(스텝 S31). 이러한 가동 상황의 감시 결과에 기초하여, 상기 주 제어부(20)는, 가동 상황이 소정의 기준 이하로 되는지의 여부를 판정하도록 되어 있다(스텝 S32). 예를 들면, 대기 상태에서 재검색 처리를 행하는 경우, 상기 주 제어부(20)는, 해당 인물 검색 장치(1)의 가동 상황이 대기 상태로 되었는지의 여부를 판정한다.

해당 인물 검색 장치(1)의 가동 상황이 소정의 기준 이하로 된 경우(스텝 S32, 예), 상기 주 제어부(20)는, 이력 관리부(15)에 보존되어 있는 이력 정보로부터 재검색을 실행할 이력 정보를 추출하는 처리를 행한다(스텝 S33). 예를 들면, 상기 주 제어부(20)는, 재검색 처리를 실시할 이력 정보로서, 상기 사전 검색 처리의 결과가 검색 결과로 되어 있는 이력 정보를 추출한다.

재검색 처리를 실시할 이력 정보를 추출하면(스텝 S34, 예), 상기 주 제어부(20)는, 추출한 이력 정보의 입력 화상에 대하여, 상기 본 검색 처리와 마찬가지인 검색 처리로서의 재검색 처리를 행한다(스텝 S35). 즉, 상기 주 제어부(20)는, 이력 정보의 입력 화상과 상기 등록부에 등록 정보로서 등록되어 있는 각 얼굴 화상과의 유사도를 산출하여, 유사도가 높은 순으로 소정 수의 등록 정보를 재검색 처리의 검색 결과로 한다.

이러한 재검색 처리의 검색 결과가 얻어지면, 상기 주 제어부(20)는, 해당 이력 정보에서의 검색 결과를 재검색 처리의 검색 결과에 갱신한다(스텝 S36). 또한, 상기한 바와 같은 처리는, 다른 인물 검색 장치에 의해서 실시하도록 해도 된다.

상기한 바와 같이, 상기 인물 검색 장치(1)에서는, 인물 검색 처리를 실행한 경우에 얼굴 화상과 해당 얼굴 화상에 대한 인물의 검색 결과를 이력 정보로서 보존해둔다. 상기 인물 검색 장치(1)에서는, 검색 대상자의 얼굴 화상을 취득한 경우, 검색 대상자의 얼굴 화상과 각 이력 정보의 얼굴 화상이 동일 인물의 것인지의 여부를 판정한다. 해당 인물 검색 장치(1)는, 검색 대상자의 얼굴 화상과 동일 인물이라고 판정된 얼굴 화상의 이력 정보가 존재하는 경우, 검색 대상자의 얼굴 화상과 동일 인물이라고 판정된 얼굴 화상의 이력 정보에서의 검색 결과에 기초하여 해당 검색 대상자에 대한 인물의 검색 결과를 판단한다. 이에 의해, 상기 인물 검색 장치(1)에서는, 얼굴 화상을 이용한 인물의 검색 처리의 효율화 혹은 고정밀도화를 도모할 수 있다.

다음으로, 상기 인물 검색 장치(1)의 제1 변형예에 대하여 설명한다.

도 5는, 제1 변형예로서의 인물 검색 장치(1A)의 구성예를 도시하는 도면이다.

도 5에 도시한 바와 같이 인물 검색 장치(1A)는, 카메라(100), 화상 입력부(101), 얼굴 검출부(102), 얼굴 특징 추출부(103), 보조 입력부(104), 이력 관리부(105), 사전 검색부(106), 등록부(107), 본 검색부(108), 출력부(109) 및 주 제어부(110) 등에 의해 구성되어 있다.

상기 카메라(100), 화상 입력부(101), 얼굴 검출부(102), 얼굴 특징 추출부(103), 이력 관리부(105), 사전 검색부(106), 등록부(107), 본 검색부(108), 출력부(109) 및 주 제어부(110)는, 각각, 상기 카메라(10), 화상 입력부(11), 얼굴 검출부(12), 얼굴 특징 추출부(13), 이력 관리부(15), 사전 검색부(16), 등록부(17), 본 검색부(18), 출력부(19) 및 주 제어부(20)와 거의 마찬가지의 기능을 갖는 것이다. 이 때문에, 제1 변형예의 설명으로서는, 상기 인물 검색 장치(1)와 서로 다른 부분(추가된 기능 등)에 대하여 상세히 설명한다.

상기 보조 입력부(104)는, 검색 대상자로부터 보조 정보를 취득하기 위한 것이다. 상기 보조 정보는, 카메라(100)에 의해 촬영된 화상으로부터 검출되는 얼굴 화상(혹은 얼굴 화상으로부터 얻어지는 얼굴의 특징 정보)과는 다른 정보이다. 상기 보조 정보로서는, 얼굴 화상(얼굴의 특징 정보)과는 다른 다른 생체 정보, 혹은, 검색 대상자가 지정하는 속성 정보 등의 정보가 이용된다. 예를 들면, 상기 보조 정보로서 이용되는 생체 정보로서는, 검색 대상자 M의 신장 정보, 체중 정보, 온도 분포 등의 정보가 있다. 또한, 상기 보조 정보로서 이용되는 속성 정보로서는, 검색 대상자 M의 성별, 연령, 및, 식별 번호 등의 정보가 있다.

또한, 상기 보조 정보로서 검색 대상자 M의 신장 정보, 체중 정보, 온도 분포 등의 생체 정보가 이용되는 경우, 상기 보조 입력부(104)는, 인식 대상자 M의 신장 정보, 체중 정보, 온도 분포 등의 생체 정보를 검출하기 위한 센서 등에 의해 구성된다. 또한, 상기 보조 정보로서 인식 대상자 M의 성별, 연령, 식별 번호 등의 속성 정보가 이용되는 경우, 상기 보조 입력부(104)는, 오퍼레이터 혹은 검색 대상자 M 자신이 검색 대상자 M의 성별, 연령, 혹은 식별 번호 등의 속성 정보를 입력하기 위한 조작부 등에 의해 구성된다. 또한, 검색 대상자 M의 성별, 연령, 식별 번호 등의 속성 정보는, 카드 등의 기록 매체로부터 취득하도록 해도 된다. 이 경우, 상기 보조 입력부(104)는, 기록 매체로부터 정보를 취득하기 위한 장치 등에 의해 구성된다.

또한, 상기 보조 정보로서는, 상기 카메라(100)로 촬영된 화상으로부터 얻어지는 얼굴 화상 이외의 다른 특징 정보(예를 들면, 움직임 등)을 이용하도록 해도 된다. 이 경우, 상기 보조 입력부(104)는, 상기한 바와 같은 보조 정보를 입력하기 위한 장치를 별도 설치하지 않아도 된다. 이 경우, 상기 보조 입력부(104)는, 상기 카메라(100)로 촬영된 화상으로부터 상기한 바와 같은 보조 정보를 추출하는 것으로 된다. 또한, 상기 보조 정보로서 이용되는 얼굴 화상 이외의 다른 특징 정보로서는, 예를 들면, 검색 대상자 M의 동작을 나타내는 특징 정보 등의 복수의 연속한 화상으로부터 얻어지는 특징 정보를 적용할 수 있다.

다음으로, 상기 보조 정보로서 검색 대상자의 움직임을 나타내는 정보를 이용하는 경우에 대해 설명한다.

이 경우, 상기 보조 입력부(104)에는, 상기 카메라(100)로 촬영되는 연속한 복수의 화상이 공급된다. 상기 보조 입력부(104)에서는, 연속하는 복수의 화상으로부터 각각 특징 벡터를 구한다. 상기 특징 벡터는, 상기 얼굴 특징 추출부(13)와 마찬가지인 방법으로 얻어진다. 즉, 상기 보조 입력부(104)는, 상기 카메라(100)로 촬영된 각 화상에 대하여, m×n 픽셀의 화상을 잘라내고, 그 m×n 픽셀 의 화상에서의 농담 정보를 m×n 차원의 특징 벡터로 한다.

각 화상으로부터 특징 벡터가 얻어지면, 상기 보조 입력부(104)는, 이들 특징 벡터에 기초하여, 상관 행렬 및 K-L 전개에 의한 정규 직교 벡터를 구한다. 이에 의해, 상기 보조 입력부(104)에서는, 연속한 화상으로부터 얻어지는 얼굴의 움직임을 나타내는 부분 공간을 계산한다. 이 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값의 큰 순으로 k개 선택하여, 이들 고유 벡터의 집합을 이용하여 표현된다.

여기서, 상관 행렬 Cd와 고유 벡터 Φd는, 이하의 수학식 1에 나타내는 바와 같은 관계로 되어 있다.

이러한 관계식에 의해, 고유 벡터 Φd가 구해진다. 상기 고유 벡터 Φd는, 이력 정보로서 보존되는 보조 정보이다. 상기 고유 벡터 Φd는, 인물 검색 처리에 관하는 이력 정보의 일부로서 이력 관리부(105)에 보존된다. 또한, 상기한 바와 같은 보조 정보는, 등록 정보의 일부로서 등록부(17)에 등록하도록 해도 된다.

다음으로, 상기 보조 입력부(104)에 의해 얻어진 보조 정보를 이용한 검색 방법에 대하여 설명한다. 여기서는, 전술한 바와 같이, 상기 보조 정보로서 이용되는 얼굴의 움직임을 나타내는 부분 공간의 매칭 방법에 대하여 설명된다.

상기 보조 입력부(104)에서는, 전술한 바와 같은 방법에 의해서, 상기 카메라(100)에 의해 촬영한 동화상(연속하는 복수의 화상)으로부터 움직임을 나타내는 정보로서 부분 공간이 취득된다. 이러한 부분 공간은, 전술한 바와 같이, 인물 검색 처리를 행한 경우에 해당 인물 검색 처리의 이력 정보로서 이력 관리부(15)에 보존된다. 따라서, 상기 사전 검색부(106)에서는, 전술한 얼굴의 특징 정보에 의한 검색뿐만 아니라, 부분 공간끼리(검색 대상자 M의 움직임을 나타내는 부분 공간과 이력 정보에 포함되는 부분 공간)의 유사성에 기초하는 검색을 행할 수 있다.

2개의 부분 공간의 유사성을 구하는 계산 방법은, 부분 공간법 혹은 복합 유사도법 등의 방법이 적용 가능하다. 본 실시예에서는, 예를 들면, 비특허 문헌4에 개시되어 있는 상호 부분 공간법이 이용되는 것으로 한다.

상기 상호 부분 공간 방법에서는, 2개의 부분 공간이 이루는 「각도」가 유사도로서 정의된다. 여기서, 상관 행렬 Cin과 고유 벡터 Φin은, 이하의 수학식 2에 나타낸 바와 같은 관계로 되어 있다.

이러한 관계식에 의해, 고유 벡터 Φin이 구해진다. 상기 고유 벡터 Φin은, 상기 카메라(100)에 의해 촬영된 검색 대상자의 움직임을 나타내는 정보(입력된 보조 정보)이다. 즉, 보조 정보에 의한 검색 처리에서는, 상기 고유 벡터 Φin과 이력 정보에 포함되는 고유 벡터 Φd로 나타내는 2개의 부분 공간의 유사도가 구해진다. 부분 공간사이의 유사도는, 「0.0∼1.0」의 값으로 공급된다. 이러한 부분 공간 사이의 유사도에 기초하여, 상기 사전 검색부(106)에서는, 검색 대상자로부터 얻어지는 보조 정보(검색 대상자의 움직임)와 유사한 보조 정보의 이력 정 보를 검색할 수 있다.

상기한 바와 같은 제1 변형예에 따르면, 검색 대상자의 얼굴의 특징 정보에 의한 인물 검색 처리와 함께, 검색 대상자로부터 얻어진 얼굴의 특징 정보와는 다른 특징 정보로서의 보조 정보에 의해서 인물의 검색 처리를 행할 수 있어, 사전 검색 처리에서의 검색 정밀도를 높일 수 있다.

다음으로, 상기 인물 검색 장치(1)의 제2 변형예에 대하여 설명한다.

이 제2 변형예는, 상기 사전 검색 처리에서, 동 시기에 검색 대상자로 되는 복수의 인물 사이(예를 들면, 부모자식, 부부, 친구끼리 등의 그룹을 형성하는 복수의 인물 사이)의 상관 관계를 고려하는 것이다. 즉, 제2 변형예에 따른 인물 검색장치로는, 특히, 상기 카메라로 동시에 촬영되는 복수의 인물, 혹은, 상기 카메라로 연속하여 촬영되는 복수의 인물에 대한 검색 처리를 효율화하는 것이다. 예를 들면, 복수인으로 항상 행동을 하는 그룹(예를 들면, 부모자식, 부부, 친구끼리 등이 검색 대상자로 된 운용 형태로 처리를 효율화하는 것을 기대할 수 있다.

도 6은, 제2 변형예로서의 인물 검색 장치(1B)의 구성예를 도시하는 도면이다.

도 6에 도시한 바와 같이 인물 검색 장치(1B)는, 카메라(200), 화상 입력부(201), 얼굴 검출부(202), 얼굴 특징 추출부(203), 이력 관리부(205), 사전 검색부(206), 등록부(207), 본 검색부(208), 출력부(209) 및 주 제어부(210) 등에 의해 구성되어 있다.

상기 카메라(200), 화상 입력부(201), 얼굴 검출부(202), 얼굴 특징 추출 부(203), 이력 관리부(205), 사전 검색부(206), 등록부(207), 본 검색부(208), 출력부(209) 및 주 제어부(210)는, 각각, 상기 카메라(10), 화상 입력부(11), 얼굴 검출부(12), 얼굴 특징 추출부(13), 이력 관리부(15), 사전 검색부(16), 등록부(17), 본 검색부(18), 출력부(19) 및 주 제어부(20)와 거의 마찬가지의 기능을 갖는 것이다. 이 때문에, 제2 변형예의 설명으로서는, 상기 인물 검색 장치(1)와 서로 다른 부분(추가된 기능 등)에 대하여 상세히 설명한다.

상기 카메라(200)는, 상기 카메라(10)와 마찬가지의 구성을 갖는 것으로 된다. 단, 제2 변형예에서는, 복수명의 인물을 동시에 촬영해도 된다. 이 때문에, 상기 카메라(200)는, 일반적인 감시 카메라와 같이 광범위한 화상을 촬영하는 것, 혹은, 광각으로 화상을 촬상하는 것이 가능한 구성이 바람직하다.

또한, 상기 이력 관리부(205)는, 상기 이력 관리부(15)와 거의 동등한 구성을 갖고 있다. 즉, 상기 이력 관리부(205)에서는, 도 2에 도시하는 바와 같은 입력 화상, 검색 결과 및 속성 정보 등의 정보 외에 추가로, 검색 결과가 1위 또는 상위로 된 인물과 다른 사람과의 상관성을 나타내는 상관 정보가 이력 정보의 일부로서 보존된다. 상기 상관 정보에서는, 예를 들면, 전후에 촬영된 인물, 혹은, 동일 화상 중에 찍힌 인물 등이 상관성이 높은 인물로서 보존된다.

도 7은, 이력 관리부(205)에 기억되는 이력 정보의 예를 도시하는 도면이다.

도 7에 도시하는 예에서는, 이력 관리부(205)에는, 상기 카메라(200)로 촬영한 각 화상마다 이력 정보가 유지되어 있다. 또한, 각 이력 정보는, 각 인물마다 보존하도록 해도 된다. 이 경우, 상기 이력 정보는, 각각 인물 C, D, E에 관한 3 개의 이력 정보로서 보존된다.

또한, 도 7에 도시하는 예에서는, 이력 정보는, 이력 번호, 동일 화면 내의 사람 수, 검색 결과, 상관 정보 등으로 구성되어 있다. 상기 이력 번호는, 각 이력 정보를 식별하기 위한 정보, 혹은, 시계열에서 촬영순(검색 처리)의 이력 정보를 나타내는 정보이다. 상기 화면 내의 사람 수는, 상기 카메라(200)가 촬영한 1개의 화상 내에 존재하고 있던 인물의 수를 나타내는 정보이다. 상기 검색 결과는, 검출된 얼굴 화상과 가장 유사도가 높았던 얼굴 화상의 등록자(검색 대상자와 가장 유사한 등록자)를 나타내는 정보이다. 또한, 검색 결과는, 도 2에 도시한 바와 같이 검색 대상자의 얼굴 화상에 대하여 유사도가 높은 순으로 소정 수의 등록자를 나타내는 정보이어도 된다. 상기 상관 정보는, 해당 인물과 다른 사람과의 상관성을 나타내는 정보이다. 상기 상관 정보는, 미리 정한 룰에 따라서 얻어지는 정보이다.

다음으로, 상기 상관 정보를 작성하기 위한 룰의 예에 대하여 설명한다.

상기 상관 정보를 작성하기 위한 룰로서는, 예를 들면, 이하와 같은 룰이 생각된다. 여기서는, 상관성의 높이를 상관값으로 나타내는 것으로 한다. 또한, 상관값은, 상관성이 높은 순으로 「3」∼「0」의 값으로 되는 것으로 하여 설명한다.

·동시에 촬영된 인물끼리의 상관 관계는, 꽤 높아지는 것 같은 상관값(예를 들면, 상관값을「3」)으로 한다.

·연속하여 1명씩 검색되는 것 같은 경우, 상관값은 높음으로 한다(예를 들면, 상관값을 「2」로 한다).

·연속하여 검색한 것의 한 쪽은 그룹이고 한 쪽은 1명이면 낮음의 상관을 부여한다(예를 들면, 상관값을 「1」로 한다).

·이력의 간격이 소정 시간을 경과하고 있는 것 같은 경우, 상관값은, 부여하지 않거나, 혹은, 낮음으로 하거나(예를 들면, 상관값을 「0」 또는 「1」로 한다). 혹은, 경과 시간에 따른 상관값으로 한다.

다음으로, 상기한 바와 같은 룰에 따라서 작성되는 상관 관계의 예에 대하여 설명한다.

도 8은, 도 7에 도시하는 이력 정보 1∼4에 기초하는 상관 관계를 도시하는 도면이다. 즉, 도 7에 도시하는 바와 같은 이력 정보 1∼4에 전술한 룰을 적용하면, 도 8에 도시하는 바와 같은 상관 관계가 얻어진다. 상기 이력 관리부(205)에서는, 도 8에 도시하는 바와 같은 상관 관계를 나타내는 정보를 이력 정보에 기초하여 작성한다. 즉, 상기 이력 관리부(205)에는, 인물 검색 처리를 행할 때마다 해당 인물 검색 처리의 이력 정보에 기초하여, 상관 관계를 나타내는 정보가 축적된다(예를 들면, 상관값을 가산해간다). 이에 의해, 해당 인물 검색 장치(1B)에서는, 인물 검색 처리를 많이 실행할수록, 신뢰성이 높은 상관 관계를 나타내는 정보를 얻을 수 있다.

상기 사전 검색부(206)에서는, 상기한 바와 같은 상관 관계를 나타내는 정보를 참조하여, 사전 검색 처리를 행할 수 있다. 예를 들면, 검색 대상자의 얼굴 화상이 얻어진 경우, 상기 사전 검색부(206)에서는, 해당 얼굴 화상과 동시에 촬영된 다른 얼굴 화상이 있다고 판정한다.

이 판정에 의해 동시에 촬영된 다른 얼굴 화상이 존재한다고 판정한 경우, 상기 사전 검색부(206)에서는, 이들 얼굴 화상 중에서 검색 결과가 얻어져 있는 것이 있는지의 여부를 판단한다. 이 판단에 의해 해당 얼굴 화상과 동시에 촬영된 얼굴 화상 중 검색 결과가 얻어져 있는 것이 있다고 판단하면, 상기 사전 검색부(206)는, 해당 검색 결과로 유사도가 1위로 되어 있는 인물에 대한 상관 관계에 기초하여 검색 대상으로 하는 이력 정보의 우선도를 설정한다. 즉, 상기 사전 검색부(206)에서는, 검색 대상자의 얼굴 화상과 동시에 촬영된 인물에 대하여 상관값이 높은 인물의 이력 정보를 우선적으로 검색 대상으로 한다. 이것은, 검색 대상자의 얼굴 화상과 동시에 촬영된 인물에 대한 상관 관계를 나타내는 정보에 기초하여, 검색 대상자의 후보를 예측하는 것이다.

또한, 동시에 촬영된 다른 얼굴 화상이 존재하지 않은 경우, 상기 사전 검색부(206)에서는, 직전의 인물 검색 처리에 관하는 이력 정보를 판단한다. 그렇게 하면, 상기 사전 검색부(206)는, 해당 이력 정보의 검색 결과로 유사도가 1위로 되어 있는 인물에 대한 상관 관계에 기초하여 검색 대상으로 하는 이력 정보의 우선도를 설정한다. 즉, 상기 사전 검색부(206)에서는, 검색 대상자의 얼굴 화상과 직전에 검색 대상으로 된 인물에 대하여 상관값이 높은 인물의 이력 정보를 우선적으로 검색 대상으로 한다. 이것은, 검색 대상자의 얼굴 화상의 직전에 검색 대상으로 된 인물에 대한 상관 관계를 나타내는 정보에 기초하여, 해당 검색 대상자의 후보를 예측하는 것이다.

또한, 검색 대상으로 하는 이력 정보의 우선도의 설정이란, 상관값이 높은 인물의 이력 정보에 대하여 검색 순서를 빠르게 한다고 한 것이어도 되고, 검색 대상을 상관값이 높은 인물의 이력 정보에 추려냄을 한 것과 같은 것이어도 된다. 이러한 방법에 의해, 검색 시간의 단축을 기대할 수 있다.

예를 들면, 인물 C가 검색된 직후이면, 도 8에 도시하는 상관 관계를 나타내는 정보에서, 인물 C와의 상관값이, 높은 인물 D 혹은 인물 E가 가까이에 있을 가능성이 높은 것이 예측된다. 이 때문에, 인물 D 혹은 인물 E의 우선도를 높이면, 잠시 인물 D와 인물 E를 우선적으로 검색되도록 할 수 있다.

또한, 상기 본 검색부(208)에 의한 본 검색 처리에서도, 상기한 바와 같은 상관 관계를 나타내는 정보를 이용하면, 상관값이 높은 등록자의 우선도를 높여 효율적인 처리를 행하는 것이 가능하게 된다. 예를 들면, 본 검색부(208)는, 상기한 바와 같은 상관 관계를 나타내는 정보에 기초하여 설정된 우선도에 기초하여 검색 대상으로 하는 등록자를 추려내거나, 검색 순서를 바꾸어 검색하는 것이 가능하다.

이상 설명한 바와 같이, 제2 변형예에 따르면, 복수의 인물 사이에서의 상관 관계를 나타내는 정보를 작성하고, 그 상관 관계를 나타내는 정보에 기초하여, 검색 대상으로 하는 이력 정보 혹은 등록 정보의 후보에게 우선도를 설정할 수 있다. 이에 의해, 정밀도 저하를 억제하면서 효율적이고 고속으로 검색 처리를 행할 수 있다. 즉, 제2 변형예에 따르면, 연속하여 검색 처리된 인물, 혹은, 동시에 촬영된 인물 등을 상관 관계를 나타내는 정보에 기초하여 나타낼 수 있다. 또한, 상기한 바와 같은 상관 관계를 나타내는 정보에 기초하여 검색 대상자의 근처에 존재하고 있을 가능성이 높은 인물을 추측할 수 있다.

다음으로, 상기 인물 검색 장치(1)의 제3 변형예에 대하여 설명한다.

이 제3 변형예는, 상기 사전 검색 처리에서, 검색 대상자의 얼굴 화상이 비정상적으로 유사도가 높은 경우에, 위조 등에 의한 비정상이라고 판정하고, 경고를 행하는 것이다. 즉, 제3 변형예에 따른 인물 검색 장치는, 특히, 검색 대상이 비교적 수가 많고, 또한, 위조 등을 엄중히 경계하는 시스템에 적용된다.

예를 들면, 얼굴의 신청서 사진을 사용하여 임의의 신청을 행하는 시스템 등에 적용이 가능하다. 또한, 무엇개월 이내에 촬영한 사진이라고 한 규정이 있는 경우, 일정 기간 경과하고 있는 데 완전히 동일한 사진이면, 규정에 위반하고 있을 가능성이 있는 것을 검출할 수 있다.

또한, 과거의 이력과의 유사도가 극단적으로 높은 경우, 인공물을 사용한 위조 등을 행하고 있을 가능성이 높다. 따라서, 이러한 경우, 실제의 검색 처리를 행할 필요도 없이, 비정상인 것을 통지함으로써, 비정상 판정을 고속으로 행할 수 있다.

도 9는, 제3 변형예로서의 인물 검색 장치(1C)의 구성예를 도시하는 도면이다.

도 9에 도시한 바와 같이, 인물 검색 장치(1C)는, 카메라(300), 화상 입력부(301), 얼굴 검출부(302), 얼굴 특징 추출부(303), 이력 관리부(305), 사전 검색부(306), 등록부(307), 본 검색부(308), 출력부(309) 및 주 제어부(310) 등에 의해 구성되어 있다.

상기 카메라(300), 화상 입력부(301), 얼굴 검출부(302), 얼굴 특징 추출 부(303), 이력 관리부(305), 사전 검색부(306), 등록부(307), 본 검색부(308), 출력부(309) 및 주 제어부(310)는, 각각, 상기 카메라(10), 화상 입력부(11), 얼굴 검출부(12), 얼굴 특징 추출부(13), 이력 관리부(15), 사전 검색부(16), 등록부(17), 본 검색부(18), 출력부(19) 및 주 제어부(20)와 거의 마찬가지의 기능을 갖는 것이다. 이 때문에, 제3 변형예의 설명으로서는, 상기 인물 검색 장치(1)와 서로 다른 부분(추가된 기능 등)에 대하여 상세히 설명한다.

상기 이력 관리부(305)에는, 예를 들면, 도 2에 도시한 바와 같이 검색 대상으로 된 얼굴 화상(입력 화상)을 포함하는 이력 정보가 보존되어 있다. 또한, 이력 정보에는, 속성 정보로서 검색 일시 등이 포함된다. 이에 의해, 상기 이력 정보에서는, 어떤 인물이 언제 쯤 어떠한 화상을 입력하여 검색한 것을 알 수 있다.

상기 사전 검색부(306)는, 전술한 사전 검색 처리로서, 검색 대상자의 얼굴 화상(얼굴 특징 추출부(303)로부터 얻어지는 얼굴의 특징 정보)에 대하여, 상기 이력 관리부(305)에 보존되어 있는 각 이력 정보의 입력 화상(입력 화상에서의 얼굴의 특징 정보)과의 유사도를 구한다. 통상적으로, 사람의 얼굴은, 완전히 동일한 상태인 경우는 없다. 이 때문에, 동일 인물의 얼굴이더라도, 다른 타이밍에서 촬영된 얼굴 화상 간의 유사도는, 비정상적으로 높은 값으로는 되지 않는다. 그러나, 얼굴 사진 등에서는, 사람의 얼굴이 변화하지 않는다. 이 때문에, 동일한 얼굴 사진에서는, 극단적으로 높은 유사도로 된다. 바꿔 말하면, 서로 다른 타이밍에서 실제의 사람의 얼굴을 촬영한 얼굴 화상 간의 유사도는, 통상적으로, 적정한 범위의 값으로 된다. 이 범위는, 유사하다(동일 인물같다)고 판정하기 위한 임계 값(제1 임계값) 이상이고, 또한, 극단적으로 높은 임계값(제2 임계값) 미만으로서 정의할 수 있다.

따라서, 상기 사전 검색부(306)에서는, 검색 대상자의 얼굴 화상과 이력 정보의 입력 화상과의 유사도가 상기 제2 임계값 이상인지의 여부에 의해, 비정상인 검색 결과인지의 여부를 판단할 수 있다. 여기서, 비정상인 검색 결과란, 인공물 등에 의한 거의 변화가 없이 입력되었을 가능성이 높다고 판단된 것이다.

예를 들면, 도 10은, 상기 제1의 임계값 및 상기 제2의 임계값의 설정예를 도시하는 도면이다.

도 10에 도시하는 바와 같은 임계값이 설정되어 있는 경우, 상기 사전 검색부(306)는, 유사도가 제2 임계값(비정상 판정 임계값) 이상이면, 비정상인 검색 결과라고 판정한다. 또한, 유사도가 제1 임계값(대조 판정 임계값) 이상, 또한, 제2의 임계값(비정상 판정 임계값) 미만이면, 상기 사전 검색부(306)는, 검색 대상자가 이력 정보의 인물과 동일 인물이라고 판정한다. 또한, 유사도가 제1 임계값(대조 판정 임계값) 미만이면, 상기 사전 검색부(306)는, 검색 대상자가 이력 정보의 인물과 동일 인물이라고 판정한다.

또한, 상기 이력 정보에서는, 속성 정보로서 검색 일시가 표시되어 있다. 즉, 상기 사전 검색부(306)에서는, 이력 정보에서의 검색 일시와 현재의 일시에 기초하여, 각 이력 정보로부터의 경과 시간을 판정할 수 있다. 이에 의해, 상기 사전 검색부(306)에서는, 경과 시간과 상기 비정상 판정 임계값에 기초하여 비정상인지의 여부를 판정하도록 할 수도 있다. 즉, 소정 기간 이상 경과해도 상기 비정상 판정 임계값 이상으로 되는 경우에, 상기 사전 검색부(306)는, 비정상인 검색 결과라고 판정할 수 있다. 예를 들면, 신청서 등에서 사용하는 얼굴 사진에는, 통상적으로, 촬영으로부터 수개월 이내라고 한 기준이 있다. 이러한 기준에 대하여, 상기 사전 검색부(306)에서는, 규정의 기간을 넘겼는데 비정상적으로 높은 유사도를 제공하는 것 같은 경우, 완전히 동일한 사진을 사용하고 있을 가능성이 높다고 하는 판정을 행할 수 있다.

상기한 바와 같이, 상기 사전 검색부(306)에서는, 본 검색부(308)에 의한 본 검색 처리 전에, 검색 대상자의 얼굴 화상이 비정상인지의 여부를 판정할 수 있다. 이러한 비정상이 판정된 경우, 상기 사전 검색부(306)에서는, 상기 출력부(309)에 바로 검색 결과가 비정상이라는 취지를 통지하도록 한다. 이에 의해, 상기 출력부에서는, 상기 사전 검색 처리에서, 동일 사진의 재사용 혹은 인공물에 의한 위조 등의 가능성이 높은 것이 판정된 시점에서, 상기 외부 장치(2)에 의해 경보를 울려서 관리자에게 통지를 행하도록 할 수 있다.

이상 설명한 바와 같이, 제3 변형예에 따르면, 검색 대상자의 얼굴 화상과 이력 정보의 입력 화상이 비정상적으로 높은 값인 경우에, 비정상인 검색 결과라고 판정할 수가 있어, 얼굴 사진 혹은 인공물에 의한 위조를 방지할 수 있다. 또한, 제3 변형예에 따르면, 이력 정보의 검색 일시에 기초하여 소정의 경과 시간을 초과하고 있는데 유사도가 비정상적으로 높은 값인 경우, 비정상인 검색 결과라고 판정할 수 있어, 동일 사진의 재사용을 방지할 수 있다.

금회 개시된 실시예는 모든 점에서 예시이고 제한적인 것이 아니라고 생각되 어야 한다. 본 발명의 범위는 상기한 설명이 아니라 특허 청구의 범위에 의해 표시되며, 특허 청구 범위와 균등의 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

본 발명에 따르면, 생체 정보에 의한 인물 검색의 효율화 혹은 고정밀도화 등을 실현할 수 있다.

Claims (26)

1. 인물 검색 장치로서,

   미리 복수의 인물의 생체 정보가 등록되어 있는 등록부와,

   검색 대상자의 생체 정보를 취득하는 생체 정보 취득부와,

   상기 생체 정보 취득부에 의해 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 보존하는 이력 보존부와,

   상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하는 제1 검색부와,

   상기 제1 검색부에 의한 검색 결과를 이용하여, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 제2 검색부와,

   상기 제2 검색부에 의한 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력하는 출력부

   를 갖는 인물 검색 장치.
2. 제1항에 있어서,

   상기 이력 보존부는, 상기 제2 검색부에 의한 검색 결과와 상기 생체 정보 취득부에 의해 취득한 생체 정보를 대응시켜 더 보존하는 인물 검색 장치.
3. 제1항에 있어서,

   상기 생체 정보 취득부는, 대상자의 생체 정보를 포함하는 화상을 취득하는 화상 취득부와, 상기 화상 취득부에 의해 취득한 화상으로부터 생체 정보를 검출하는 생체 정보 검출부와, 상기 생체 정보 검출부에 의해 검출한 생체 정보로부터 생체 정보의 특징 정보를 추출하는 특징 추출부로 구성되고,

   상기 이력 보존부는, 생체 정보로서 생체 정보의 특징 정보를 보존하고,

   상기 제1 검색부는, 상기 특징 추출부에 의해 추출한 생체 정보의 특징 정보와 유사한 상기 이력 보존부에 보존되어 있는 생체 정보의 특징 정보를 검색하고,

   상기 등록부는, 생체 정보로서 생체 정보의 특징 정보를 등록하고,

   상기 제2 검색부는, 상기 특징 추출부에 의해 추출한 생체 정보의 특징 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보의 특징 정보를 검색하는 인물 검색 장치.
4. 삭제
5. 제1항에 있어서,

   상기 제1 검색부는, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 상기 이력 보존부에 보존되어 있는 각 생체 정보와의 유사도를 판정하고, 상기 생체 정보 취득부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 된 상기 이력 보존부에 보존되어 있는 생체 정보를 검색 결과로 하는 인물 검색 장치.
6. 삭제
7. 제5항에 있어서,

   상기 제1 검색부는, 상기 생체 정보 수단부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 되는 생체 정보를 상기 이력 보존부로부터 검색하고, 상기 검색된 모든 생체 정보를 검색 결과로 하는 인물 검색 장치.
8. 제5항에 있어서,

   상기 제1 검색부는, 상기 생체 정보 수단부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 되는 생체 정보를 상기 이력 보존부로부터 검색하고, 상기 검색된 생체 정보 중 가장 유사도가 높은 생체 정보를 검색 결과로 하는 인물 검색 장치.
9. 제5항에 있어서,

   상기 제1 검색부는, 상기 생체 정보 수단부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 되는 생체 정보를 상기 이력 보존부로부터 검색하고, 상기 검색된 생체 정보 중 가장 검색 일시가 새로운 생체 정보를 검색 결과로 하는 인물 검색 장치.
10. 제5항에 있어서,

    상기 제1 검색부는, 상기 생체 정보 수단부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 되는 생체 정보를 상기 이력 보존부로부터 검색하고, 상기 검색된 생체 정보 중 가장 검색 일시가 오래된 생체 정보를 검색 결과로 하는 인물 검색 장치.
11. 제1항에 있어서,

    상기 제2 검색부는, 상기 제1 검색부에 의한 검색 결과로서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보가 상기 이력 보존부에 존재하지 않았던 경우, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 상기 등록부로부터 검색하는 인물 검색 장치.
12. 제11항에 있어서,

    상기 제2 검색부는, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 상기 등록부에 등록되어 있는 각 생체 정보와의 유사도를 판정하고, 상기 생체 정보 취 득부에 의해 취득한 생체 정보와의 유사도가 소정의 임계값 이상으로 된 상기 등록부에 등록되어 있는 생체 정보를 검색 결과로 하는 인물 검색 장치.
13. 제1항에 있어서,

    상기 제2 검색부는, 상기 제1 검색부에 의한 검색 결과로서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 1개의 생체 정보가 상기 이력 보존부에 존재한 경우, 상기 이력 보존부에 보존되어 있는 그 생체 정보에 대응하는 인물의 검색 결과를 검색 결과로 하는 인물 검색 장치.
14. 제1항에 있어서,

    상기 제2 검색부는, 상기 제1 검색부에 의한 검색 결과로서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 복수의 생체 정보가 상기 이력 보존부에 존재한 경우, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사하다고 판정된 복수의 생체 정보에 대응하는 복수의 검색 결과에 기초하여 상기 검색 대상자에 대한 인물의 검색 결과를 판정하는 처리를 행하는 인물 검색 장치.
15. 제1항에 있어서,

    상기 제2 검색부는, 상기 제1 검색부에 의한 검색 결과로서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 복수의 생체 정보가 상기 이력 보존부에 존재한 경우, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사하다고 판정 된 복수의 생체 정보에 대응하는 복수의 검색 결과를 통합한 1개의 검색 결과를 작성하고, 그 작성한 검색 결과를 그 생체 정보에 대응하는 인물의 검색 결과로 하는 인물 검색 장치.
16. 제1항에 있어서,

    상기 제2 검색부는, 상기 제1 검색부에 의한 검색 결과로서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 복수의 생체 정보가 상기 이력 보존부에 존재한 경우, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사하다고 판정된 복수의 생체 정보에 대응하는 복수의 검색 결과에 기초하여, 상기 등록부에 등록되어 있는 생체 정보를 한정하고, 한정한 생체 정보로부터 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 검색하는 인물 검색 장치.
17. 제1항에 있어서,

    상기 제1 검색부에 의한 검색 처리를 실행한 경우의 처리 시간을 예측하고, 그 예측에 기초하여 상기 제1 검색부에 의한 검색 처리를 실행할지 생략할지를 절환하는 제어부를 더 갖는 인물 검색 장치.
18. 제2항에 있어서,

    상기 이력 보존부에 보존되어 있는 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 처리를 실행하는 재검색부와,

    이 재검색부에 의한 검색 결과에 기초하여 상기 이력 보존부에 보존되어 있는 그 생체 정보에 대응하는 검색 결과를 갱신하는 갱신부

    를 더 갖는 인물 검색 장치.
19. 제18항에 있어서,

    상기 재검색부는, 상기 인물 검색 장치의 가동 상황이 소정의 기준 이하로 된 경우에, 상기 이력 보존부에 보존되어 있는 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 처리를 실행하는 인물 검색 장치.
20. 제2항에 있어서,

    상기 생체 정보 취득부에 의해 생체 정보가 취득되는 인물에 관한 상기 생체 정보와는 다른 보조 정보를 취득하는 보조 정보 입력부를 더 갖고,

    상기 이력 보존부에는, 상기 생체 정보 취득부에 의해 취득한 생체 정보에 대응시켜 상기 보조 정보를 더 보존하는 인물 검색 장치.
21. 제20항에 있어서,

    상기 보조 정보는, 상기 생체 정보 취득부에 의해 생체 정보가 인물에 관한 속성 정보 혹은 동작을 나타내는 정보인 인물 검색 장치.
22. 제1항에 있어서,

    상기 이력 관리부는, 각 인물과 다른 사람과의 상관 관계를 더 보존하고,

    상기 제1 검색부는, 상기 상관 관계를 나타내는 정보에 기초하는 우선도에 따라서 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보의 이력 정보를 검색하는 인물 검색 장치.
23. 제5항에 있어서,

    상기 제1 검색부는, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 상기 이력 보존부에 보존되어 있는 각 생체 정보와의 유사도를 판정하고, 상기 생체 정보 취득부에 의해 취득한 생체 정보와의 유사도가 제1 임계값 이상, 또한, 상기 제1 임계값보다도 큰 제2 임계값 미만으로 된 상기 이력 보존부에 보존되어 있는 생체 정보를 검색 결과로 하고, 상기 생체 정보 취득부에 의해 취득한 생체 정보와의 유사도가 상기 제2 임계값 이상으로 된 경우, 상기 생체 정보 취득부에 의해 취득한 생체 정보가 비정상인 것을 판정하는 인물 검색 장치.
24. 제23항에 있어서,

    상기 제1 검색부는, 상기 제2 임계값 이상인 경우, 또한 상기 제2 임계값 이상으로 된 이력 정보로부터의 경과 시간이 소정 시간 이상이면, 상기 생체 정보 취득부에 의해 취득한 생체 정보가 비정상인 것을 판정하는 인물 검색 장치.
25. 인물 검색 방법으로서,

    미리 복수의 인물의 생체 정보를 등록부에 등록해두는 단계와,

    검색 대상자의 생체 정보를 취득하는 단계와,

    상기 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 이력 보존부에 보존하는 단계와,

    검색 대상자로부터 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하는 단계와,

    상기 이력 보존부로부터의 검색 결과를 이용하여, 상기 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 단계와,

    상기 등록부로부터의 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력하는 단계

    를 포함하는 인물 검색 방법.
26. 입퇴장 관리 시스템으로서,

    미리 복수의 입퇴장이 허가되어 있는 인물의 생체 정보가 등록되어 있는 등록부와,

    검색 대상자의 생체 정보를 취득하는 생체 정보 취득부와,

    상기 생체 정보 취득부에 의해 취득한 생체 정보와 그 생체 정보에 기초하는 인물의 검색 결과를 대응시켜 보존하는 이력 보존부와,

    상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 생체 정보를 상기 이력 보존부로부터 검색하는 제1 검색부와,

    상기 제1 검색부에 의한 검색 결과를 이용하여, 상기 생체 정보 취득부에 의해 취득한 생체 정보와 유사한 상기 등록부에 등록되어 있는 생체 정보를 검색하는 제2 검색부와,

    상기 제2 검색부에 의한 검색 결과를 상기 검색 대상자에 대한 인물의 검색 결과로서 출력하는 출력부와,

    이 출력부에 의해 출력되는 인물의 검색 결과에 기초하여 상기 검색 대상자의 입퇴장을 제어하는 외부 기기

    를 갖는 입퇴장 관리 시스템.

Images