KR101546137B1

KR101546137B1 - 인물 인식 장치 및 방법

Info

Publication number: KR101546137B1
Application number: KR1020130103788A
Authority: KR
Inventors: 히로시 스케가와; 히로오 사이토
Original assignee: 가부시끼가이샤 도시바
Priority date: 2012-09-20
Filing date: 2013-08-30
Publication date: 2015-08-20
Also published as: US9477876B2; US20140079299A1; MX2013010466A; JP2014063251A; JP5992276B2; KR20140038300A

Abstract

유사도를 바탕으로 미리 등록된 인물이라는 인식을 행하기 위한 임계값의 설정을 용이하게 행하는 것을 가능하게 한다.
실시 형태의 인물 인식 장치는, 카메라로 촬상된 인물이 미리 등록된 등록 인물인지 여부의 판정을 행하는 운용 모드, 또는 판정 시에 사용하는 임계값을 설정하는 설정 모드를 선택하는 모드 선택 수단과, 운용 모드가 선택된 경우, 추출된 얼굴 특징 정보와, 기억된 얼굴 특징 정보의 유사도가 임계값 이상인 인물을, 등록 인물로서 판정하는 인물 판정 수단과, 인물 판정 수단의 판정 결과를 출력하는 출력 수단과, 설정 모드가 선택된 경우, 등록 인물을 카메라로 촬상해서 추출된 얼굴 특징 정보와, 기억된 얼굴 특징 정보의 유사도 및 등록 인물 이외의 인물을 카메라로 촬상해서 추출된 얼굴 특징 정보와, 기억된 얼굴 특징 정보의 유사도를 바탕으로, 임계값을 설정하는 임계값 설정 수단을 구비한다.

Description

인물 인식 장치 및 방법{PERSON RECOGNIZING DEVICE AND METHOD}

본 발명의 실시 형태는, 인물 인식 장치 및 방법에 관한 것이다.

종래부터, 감시 카메라 등으로 촬상된 동화상 데이터에 포함되는 인물의 얼굴 영역으로부터, 미리 기억된 얼굴 화상의 특징 정보에 기초하여, 인물을 인식하는 기술이 제안되고 있다. 이 경우, 동화상 데이터에 포함되어 있는 얼굴 영역으로부터 특징 정보를 추출하고, 그 추출한 특징 정보와 미리 기억되어 있는 특징 정보의 유사성을 나타내는 지표(유사도)가 소정의 임계값 이상이라는 조건을 만족하는 경우에, 미리 등록된 인물이라는 인식을 행하고 있다.

일본 특허 공개 제2003-99780호 공보

그런데, 유사성을 나타내는 지표를 바탕으로 미리 등록된 인물이라는 인식을 행하기 위한 임계값은, 감시 카메라 등의 설치 장소마다 조명 환경의 변동이나 인물의 얼굴의 촬영 상태의 변화가 있기 때문에, 본인 거부율(FRR:False Rejection Rate)이나 타인 수용율(FAR:False Acceptance Rate)을 운용상 허용할 수 있는 범위 내로 하도록, 설치 위치마다 수시로 설정할 필요가 있다. 그러나, 상술한 종래 기술에서는, 이 임계값의 설정을 용이하게 행하는 것은 곤란했다.

상술한 과제를 해결하기 위해서, 실시 형태의 인물 인식 장치는, 카메라가 촬상한 화상 데이터를 입력하는 화상 입력 수단과, 입력된 상기 화상 데이터로부터 인물의 얼굴이 표현된 얼굴 영역을 검출하는 얼굴 검출 수단과, 검출된 상기 얼굴 영역으로부터 상기 인물의 얼굴의 특징을 나타내는 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출 수단과, 인물마다, 당해 인물의 얼굴 특징 정보를 기억하는 얼굴 특징 정보 기억 수단과, 상기 카메라로 촬상된 인물이 미리 등록된 등록 인물인지 여부의 판정을 행하는 운용 모드, 또는 상기 판정 시에 사용하는 임계값을 설정하는 설정 모드를 선택하는 모드 선택 수단과, 상기 운용 모드가 선택된 경우, 추출된 상기 얼굴 특징 정보와, 기억된 상기 얼굴 특징 정보의 유사도가 상기 임계값 이상인 인물을, 상기 등록 인물로서 판정하는 인물 판정 수단과, 상기 인물 판정 수단의 판정 결과를 출력하는 출력 수단과, 상기 설정 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도 및 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 바탕으로, 상기 임계값을 설정하는 임계값 설정 수단을 구비한다.

또한, 실시 형태의 방법은, 인물 인식 장치에서 실행되는 방법으로서, 상기 인물 인식 장치는, 인물마다, 당해 인물의 얼굴 특징 정보를 기억하는 얼굴 특징 정보 기억 수단을 구비하고, 화상 입력 수단이, 카메라가 촬상한 화상 데이터를 입력하는 스텝과, 얼굴 검출 수단이, 입력된 상기 화상 데이터로부터 인물의 얼굴이 표현된 얼굴 영역을 검출하는 스텝과, 얼굴 특징 정보 추출 수단이, 검출된 상기 얼굴 영역으로부터 상기 인물의 얼굴의 특징을 나타내는 얼굴 특징 정보를 추출하는 스텝과, 모드 선택 수단이, 상기 카메라로 촬상된 인물이 미리 등록된 등록 인물인지 여부의 판정을 행하는 운용 모드, 또는 상기 판정 시에 사용하는 임계값을 설정하는 설정 모드를 선택하는 스텝과, 인물 판정 수단이, 상기 운용 모드가 선택된 경우, 추출된 상기 얼굴 특징 정보와, 기억된 상기 얼굴 특징 정보의 유사도가 상기 임계값 이상인 인물을, 상기 등록 인물로서 판정하는 스텝과, 출력 수단이, 상기 인물 판정 수단의 판정 결과를 출력하는 스텝과, 임계값 설정 수단이, 상기 설정 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도 및 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 바탕으로, 상기 임계값을 설정하는 스텝을 포함한다.

도 1은 제1 실시 형태에 관한 인물 인식 장치의 구성을 도시하는 블록도이다.
도 2는 프레임 화상을 예시하는 개념도이다.
도 3은 프레임 화상을 예시하는 개념도이다.
도 4는 유사도 분포를 예시하는 도면이다.
도 5는 유사도 분포를 예시하는 도면이다.
도 6은 제2 실시 형태에 관한 인물 인식 장치의 구성을 도시하는 블록도이다.
도 7은 표시 화면의 일례를 나타내는 개념도이다.
도 8은 과거의 입력 화상의 검색을 예시하는 개념도이다.
도 9는 표시 화면의 일례를 나타내는 개념도이다.
도 10은 제1, 제2 실시 형태에 관한 인물 인식 장치의 하드웨어 구성을 나타낸 블록도이다.

이하, 첨부 도면을 참조하여 실시 형태의 인물 인식 장치 및 방법을 상세하게 설명한다. 실시 형태의 인물 인식 장치 및 방법은, 가두(街頭), 건물, 공공 에리어 등에 설치되어 있는 방범 카메라(이하, 카메라)에서 촬영된 영상 중에서 인물의 얼굴을 검출 및 기록의 용도를 상정하고 있고, 인물의 얼굴을 검출할 때에, 특정한 인물인지 여부를 판정하는 임계값의 적절한 값을 용이하게 결정할 수 있도록 하고 있다. 또한, 본 실시 형태에서는, 인물 영역으로서 얼굴 영역을 검출해서 얼굴의 특징 정보를 이용하여 과제를 실현하는 수순을 설명하지만, 얼굴 이외에도 인물 영역 전신을 검출하는 기술(Watanabe 등, 「Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology」 (PSIVT2009), pp. 37-47.)을 이용하여, 그 크기를 사용함으로써도 실현이 가능하고, 인물의 영역을 검출하는 기술 또한, 그 인물 영역 내의 특징 정보를 계측하는 기술이면 본 실시 형태에 기재된 기술에만 한정되는 내용이 아닌 것은 분명하다.

(제1 실시 형태)

도 1은, 제1 실시 형태에 관한 인물 인식 장치(100)의 구성을 도시하는 블록도이다. 도 1에 도시한 바와 같이, 인물 인식 장치(100)는, 입력부(101)와, 얼굴 검출부(102)와, 얼굴 특징 추출부(103)와, 얼굴 특징 정보 관리부(104)와, 모드 선택부(105)와, 임계값 설정부(106)와, 인물 판정부(107)와, 출력부(108)를 구비한다.

입력부(101)는, 카메라(150)가 촬상한 화상 데이터의 입력을 접수한다. 카메라(150)는, 소정의 영역에 대하여 촬영을 행한다. 예를 들어, 카메라(150)는, 통행로의 입퇴장 대상 에리어에 대하여 촬영을 행하는 감시 카메라 등이며, 촬영 결과인 동화상 데이터를 생성한다. 그리고, 입력부(101)는, 카메라(150)로부터의 동화상 데이터를 입력 처리한다. 입력부(101)는 입력된 동화상 데이터를 얼굴 검출부(102)에 출력한다.

카메라(150)는, 적어도 1군데, 또는 복수의 지점에 설치 가능하게 한다. 또한, 카메라(150)는, 소정의 영역에 존재하는 인물(H)의 얼굴 화상을 입력하는 것이며, 예를 들어 ITV(Industrial Television) 카메라로 한다. 카메라(150)는, 카메라의 렌즈를 통해서 얻어진 광학적인 정보를 A/D 변환기에 의해 디지털화해서 소정의 프레임 레이트의 프레임 화상 데이터를 생성하고, 인물 인식 장치(100)에 대하여 출력한다. 또한, 검색 대상이 되는 것은 결과적으로 디지털 인물 화상 데이터가 되면 좋으므로, 입력부(101)는, 디지털 스틸 카메라로 촬영한 화상 파일이나 동화상 파일을 매체 경유로 도입해도 상관없다.

얼굴 검출부(102)는, 입력된 화상 데이터(입력 화상)로부터 인물의 얼굴이 표현된 얼굴 영역을 검출한다. 구체적으로는, 얼굴 검출부(102)는 입력 화상 내에서, 화상 상의 휘도 정보를 이용해서 얼굴의 영역을 나타내는 좌표를 구한다. 여기에서는 문헌(미타 유우지 이외: 「얼굴 검출에 적합한 공기에 기초하는 Joint Haar-like 특징」 전자 정보 통신 학회 논문지(D), vol.J89-D, 8, pp1791-1801(2006))의 방법을 이용함으로써 실현이 되기 때문에, 본 수법을 이용하는 것을 전제로 한다. 얼굴의 방향이나 크기에 의해 검출된 결과를 나타내는 정보는 임의의 형상이어도 상관없지만, 본 실시 형태에서는 간단하게 하기 위해서, 얼굴 영역을 직사각형 정보로 나타내는 것으로 하고, 그 각의 좌표를 검출 결과로서 이용하기로 한다. 그 밖에 미리 준비된 템플릿을 화상 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 영역으로 하는 방법, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등으로도 실현은 가능하다.

또한, 방범 카메라 등으로 촬영된 영상의 경우에는 검출된 동일 인물의 얼굴이 복수의 프레임에 걸쳐 연속해서 찍혀 있는 것이 상정되기 때문에, 그들을 동일 인물로서 대응시킬 수 있도록 인물의 얼굴의 추적 처리를 행할 필요가 있다. 이 실현 수단으로서는 옵티컬 플로우를 사용해서 검출한 얼굴이 다음 프레임에서 어느 위치에 있는지 대응시키는 방법이나, 특허 공보(일본 특허 공개 제2011-170711호 공보)를 이용함으로써 실현 가능하고, 후술하는 얼굴 특징 추출부(103)에서는 동일 인물로서 대응시켜진 복수 프레임의 얼굴 영역의 화상 중에서 검색을 하는데 적절한 적어도 1매의 화상을 선택하는 방법이나, 최대로 검출된 프레임 수까지의 임의의 매수의 화상을 이용하는 것이 가능하다.

얼굴 특징 추출부(103)는, 얼굴 검출부(102)에 의해 검출된 얼굴 영역으로부터 얼굴의 특징점을 검출한다. 구체적으로는, 얼굴 특징 추출부(103)는, 검출된 얼굴 영역 부분 중에서 눈, 코 등의 얼굴 부위의 위치를 얼굴의 특징점으로서 검출하고, 그 정보를 이용해서 얼굴의 화상을 기울기나 크기에 관해서 일정한 조건이 되도록 정규화하며, 그 정규화 화상을 이용해서 얼굴의 개인성을 나타내는 얼굴 특징 정보를 계산한다. 또한, 상술한 바와 같이 1명의 보행에서는 동일 인물로서 대응되어 복수 프레임의 얼굴 화상을 취득하는 것이 가능하고, 복수의 얼굴 화상 중에서 1프레임 또는 복수 프레임을 사용해서 유사성 지표를 계산하기 위해서 화상을 선택할 때, 일반적으로는 유사성 지표(유사도)가 높아지기 쉬운 화상을 우선해서 선택함으로써 등록된 인물인지 여부를 판별한다. 유사성이 높아지기 쉬운 지표로서는, 얼굴의 방향이 정면에 가까운 상태인 것이나, 얼굴이 크게 찍혀 있는, 무표정에 가까운 상태, 눈을 감거나 곁눈질 상태가 아닌, 얼굴의 은폐물이 없는, 얼굴의 그림자가 생기지 않은 지표를 바탕으로 선택하는 방법이 있다.

얼굴 방향의 추정에 대해서는 일본 특허 공개 제2003-141551호 공보(「얼굴 방향 계산 방법 및 그 장치」 도시바·야마다 미쯔기;후쿠이 가즈히로;마키 아쓰히또;나카지마 아키꼬)에 나타내고 있는 바와 같이, 얼굴의 회전 행렬, 얼굴 방향별로 학습시킨 복수의 클래스(부분 공간)를 이용해서 얼굴 방향을 추정하는 것이 가능하다. 이에 의해 얼굴의 각도를 알기 위해서, 얼굴의 특징점의 일부가 보이지 않게 될 정도의 각도가 있는지 여부를 추정하는 것이 가능하다. 얼굴의 크기는 검출된 얼굴 화상의 크기를 그대로 지표로서 이용할 수 있다. 표정·눈감기·곁눈질·은폐물의 유무·그림자의 유무 판별에 대해서는, 모두 해당하는 얼굴 화상을 다수 모아, 이상적인 상태인지 그렇지 않은지를 분류해서 해당 클래스의 평균 화상, 비해당 클래스의 평균 화상을 만들어서 입력된 화상이 어느 쪽에 가까운지 상관값의 계산을 하는 것이나 Support Vector Machine과 같은 판별 기술로 판별하는 것이 가능하다. 이들 지표를 가중 가산하여 대조에 적절한 프레임을 우선적으로 선택하는 것이 가능하다. 또한, 사전에서 모든 프레임의 얼굴 화상과 해당하는 인물의 등록된 얼굴 특징 정보와의 유사성 지표를 구해 두고, 가중치 부여 선형합의 식의 계수를 선형 회귀로 구함으로써, 어느 지표가 유사성 지표에 영향을 주는가의 가중치를 계산함으로써, 보다 정밀도 높게 적절한 프레임을 선택하는 것이 가능하다.

얼굴의 눈이나 코와 같은 점을 얼굴 특징점으로서 검출하는 방법으로서는, 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vol.J80-D-II, No. 8, pp2170-2177(1997)) 등의 방법으로 실현 가능하다. 또한, 얼굴 특징점을 바탕으로 얼굴 화상을 정규화하는 처리로서, 문헌[도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」 일본 특허 공개 제2007-4767호 공보)에 있는 바와 같이 얼굴의 평균 3차원 모델을 이용해서 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상을 작성함으로써 방향을 임의의 방향으로 보정한 화상을 작성하는 방법을 적용해도 좋다. 이 경우, 전술한 후쿠이 가즈히로, 야마구치 오사무의 방법이 아닌 검출하는 얼굴 특징점의 수를 증가시킴으로써 정규화의 정밀도를 높이는 것이 가능하다.

정규화된 화상으로부터 개인의 특징을 나타내는 얼굴 특징 정보를 추출하는 방법으로서, 문헌[도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」 일본 특허 공개 제2007-4767호 공보)에 있는 바와 같이, 1매의 인물 화상 정보에 대하여 모델을 이용해서 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상을 작성함으로써 얼굴 특징 정보를 취득하는 것이 가능하다. 한쪽에서 동일 인물에 대하여 연속된 복수의 화상을 이용한 동화상에 의한 계산을 함으로써 보다 정밀도가 높은 인식 처리를 행할 수도 있다. 구체적으로는 문헌(후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치: 「동화상을 사용한 얼굴 인식 시스템」 전자 정보 통신 학회 연구 보고 PRMU, vol 197, No. 113, pp17-24(1997)에 있는 상호 부분 공간법을 사용하는 방법으로 설명한다. 입력부(101)로부터 연속해서 얻어진 화상으로부터 얼굴 검출부(102)와 마찬가지로 m×n 픽셀의 화상을 잘라내어, 이들 데이터를 특징 벡터의 상관 행렬을 구하고, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 연속된 화상으로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 계산한다. 부분 공간의 계산법은, 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 부분 공간을 계산한다. 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개를 선정하고, 그 고유 벡터 집합을 사용해서 표현한다. 본 실시 형태에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd=Φd Λd Φd T과 대각화하고, 고유 벡터의 행렬Φ을 구한다. 이 정보가 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간이 된다. 이러한 방법으로 출력된 부분 공간과 같은 특징 정보를 입력된 화상에서 검출된 얼굴에 대한 개인의 특징 정보로 한다.

얼굴 특징 정보 관리부(104)는, 후술하는 인물 판정부(107)에서 유사성 지표를 계산할 때에 이용하는 대상이 되는 데이터베이스이며, 검색 대상이 되는 개인마다 얼굴 특징 추출부(103)에서 출력된 얼굴 특징 정보를 인물마다 관리한다. 이용자가 결과를 보고 알기 쉽도록, 각 얼굴 특징 정보에 대응시키고, 얼굴 화상이나 이름, 성별이나 연령, 신장 등 해당하는 인물에 관한 부수 정보를 대응시켜서 관리하는 것도 가능하다. 얼굴 특징 정보로서 실제로 관리하는 내용은 얼굴 특징 추출부(103)에서 출력된 데이터 바로 그 자체로 좋고, m×n의 특징 벡터나, 부분 공간이나 KL 전개를 행하기 직전의 상관 행렬이라도 상관없다.

모드 선택부(105)에서는, 운용 모드와 조정 모드(설정 모드)를 전환하는 수단을 가진다. 구체적으로는, 시스템 관리자를 이용할 수 있는 설정 화면을 가지고, 조정 모드와 운용 모드의 2개 모드의 어느 쪽인가를 선택하는 화면과, 유저의 조작을 접수하는 조작 키 등을 준비하면 실현이 가능하다. 여기서, 운용 모드는, 카메라(150)로 촬상된 인물이 미리 얼굴 특징 정보 관리부(104)에 등록된 등록 인물인지 여부의 판정을 행하는 동작 모드이다. 또한, 조정 모드는, 운용 모드에서 판정을 행할 때에 사용하는 임계값을 설정하는 동작 모드이다. 인물 인식 장치(100)에서는, 모드 선택부(105)에 의해 설정된 모드에 맞추어, 입력된 화상에 대하여 얼굴 특징 추출부(103)에서 얻어진 얼굴 특징 정보에 대하여, 운용 모드에서는 인물 판정부(107)의 처리를 실행하고, 조정 모드에서는 임계값 설정부(106)의 처리를 실행하도록 전환을 행한다.

또한, 조정 모드에서는, 얼굴 특징 정보 관리부(104)의 등록 인물을 카메라(150)로 촬상하는 등록자 보행 모드, 또는 등록 인물 이외의 인물을 카메라(150)로 촬상하는 미등록자 보행 모드를 더 지정하는 것이 가능하다. 등록자 보행 모드에서 화상을 입력한 경우에는 입력 화상에 대하여 등록 인물의 어느 쪽인가의 얼굴 특징 정보와의 유사성 지표가 높은 유사성을 나타내야 할 데이터로서 취급하고, 미등록자 보행 모드에서 화상을 입력한 경우에는 등록 인물의 어느 쪽인가 얼굴 특징 정보와의 유사성 지표도 낮게 있어야 할 데이터로서 취급한다(상세한 것은 후술한다).

임계값 설정부(106)는, 얼굴 특징 정보 관리부(104)의 등록 인물을 카메라(150)로 촬상해서 검출된 얼굴의 특징점과, 얼굴 특징 정보 관리부(104)에 기억된 얼굴 특징 정보에 표현된 특징점의 유사도 및 얼굴 특징 정보 관리부(104)의 등록 인물 이외의 인물을 카메라(150)로 촬상해서 검출된 얼굴의 특징점과, 얼굴 특징 정보 관리부(104)에 기억된 얼굴 특징 정보에 표현된 특징점과의 유사도를 바탕으로, 인물 판정부(107)에서의 판정에 사용하는 임계값을 설정한다. 구체적으로는, 임계값 설정부(106)는, 조정 모드에서 얼굴 특징 추출부(103)에서 취득된 얼굴 특징 정보와 얼굴 특징 정보 관리부(104)에서 보유하고 있는 얼굴 특징 정보와의 비교를 행한 결과로부터 얻어진 유사성 지표를 등록자 보행 모드, 미등록자 보행 모드 각각에서 유사도 분포를 관리하고, 얻어진 유사도 분포를 바탕으로 임계값을 결정한다.

보다 구체적으로는, 모드 선택부(105)가 등록자 보행 모드로 설정한 상태에서, 등록 인물이 카메라(150)에 찍히도록 보행을 함으로써, 등록 인물이 보행한 경우의 화상을 입력부(101)로부터 입력하고, 얼굴 특징 정보와 얼굴 특징 정보 관리부(104)에 보유되는 얼굴 특징 정보와의 유사성을 나타내는 지표를 계산해서 얻어진 등록 인물의 유사도 분포로서 관리한다. 이 경우, 등록자가 N명 있는 경우에, 실제로 보행한 인물에 대응하는 얼굴 특징 정보와의 유사성 지표는 높은 값을 나타내지만, 나머지 N-1명의 얼굴 특징 정보와의 유사성 지표는 낮은 값을 나타낸다. 그로 인해, 유사도 분포로서 관리하는 것은 가장 높은 유사성 지표가 된 1개만을 관리하면 좋다. 또한, 얼굴 특징 정보 관리부(104)에서 관리되는 얼굴 특징 정보는 1명에 대하여 1개의 경우도 있으면 2 이상의 복수의 얼굴 특징 정보가 관리되고 있는 경우도 있기 때문에, 가장 높은 유사성 지표가 된 1개뿐만 아니라, 상위 M개(M≤N)로 해도 좋고, 상위로부터 소정의 비율의 유사성 지표로도 좋으며, 소정의 임계값 이상이 되는 유사성 지표가 된 것이라는 기준으로도 좋다.

또한, 상술한 바와 같이, 1명의 보행으로 얻어진 복수 프레임의 얼굴 화상 중에서, 유사성 지표를 계산할 때 이용하는 화상을 선택한다. 통상의 운용 모드에서는, 가장 유사성 지표가 높아지는 것을 선택하도록 하면 좋지만, 조정 모드에서는 등록자 보행 모드와 미등록자 보행 모드를 운용 모드와 동일한 기준으로 선택해도 좋고, 보다 적은 조정 시간에 임계값을 판정할 수 있도록 등록자 보행 모드와 미등록자 보행 모드에서 다른 기준으로 화상을 선택하도록 해도 좋다. 임계값을 정할 때에는 「미등록자의 보행 중에 가장 높은 유사성 지표」보다도 「등록자의 보행 중에서 가장 낮은 유사성 지표」가 높아지고 있으면 그 2개의 지표 사이에 임계값을 설정하면 좋기 때문에, 미등록자 보행 모드에서는 유사성 지표가 가장 높아지는 조건에서 화상을 선택하는 것에 대해, 등록자 보행 모드에서는 복수 프레임 중에서 가장 유사성 지표가 낮아지는 프레임을 선택함으로써 용이하게 해당하는 기준을 조사할 수 있다.

도 2는, 프레임 화상(Fr1 내지 Fr5)을 예시하는 개념도이다. 예를 들어, 도 2에 도시한 바와 같이, 등록자 보행 모드에 대해서는 얼굴이 정면을 향하고 있는 프레임 화상을 선택하는 우선도를 낮추고(선택 결과가 「×」로 되어 있다), 가능한 한 이상적이지 않은 상태[선택 결과가 「○」로 되어 있는 프레임 화상(Fr3)]를 우선적으로 선택한다.

도 3은, 프레임 화상(Fr11 내지 Fr15)을 예시하는 개념도이다. 반대로 미등록자 보행 모드에서는, 기준을 반대로 하여, 도 3과 같이 프레임 화상(Fr11)이나 프레임 화상(Fr15)과 같은 이상적인 상태의 프레임을 우선적으로 선택한다. 선택하는 구체적인 방법으로서는, 낮은 쪽부터 소정 프레임을 선택하는, 낮은 쪽부터 소정의 비율로 프레임을 선택하는, 소정의 유사성 지표의 기준값을 정하고, 그 값을 하회하는 프레임을 선택하는 방법을 생각할 수 있다. 또한, 얼굴 특징점의 검출이 실패하는 등, 임계값을 계산하는데 부적절한 화상이 들어가 버릴 가능성도 있기 때문에, 어긋남값으로서 가장 낮은 쪽부터 소정 프레임 수·소정의 비율을 제외하거나 또는 소정 임계값 미만은 제외하는 처리와 조합해도 좋다.

도 4, 도 5는, 유사도 분포(201, 202)를 예시하는 도면이다. 여기서, 유사도 분포(201)는, 미등록자 보행 모드가 선택된 경우, 등록 인물 이외의 인물을 카메라(150)로 촬상해서 검출된 얼굴의 특징점과, 얼굴 특징 정보 관리부(104)의 얼굴 특징 정보에 표현된 특징점의 유사도를 복수 취득해서, 임계값 설정부(106)가 생성한 빈도 분포이다. 또한, 유사도 분포(202)는, 등록자 보행 모드가 선택된 경우, 등록 인물을 카메라(150)로 촬상해서 검출된 얼굴의 특징점과, 얼굴 특징 정보 관리부(104)의 얼굴 특징 정보에 표현된 특징점의 유사도를 복수 취득해서 임계값 설정부(106)가 생성한 빈도 분포이다.

도 4, 5에 도시한 바와 같이, 등록자 및 미등록자의 유사성 지표의 분포를 빈도 분포로 하면, 유사도 분포(201, 202)와 같이 된다. 여기서, 임계값 설정부(106)는, 유사도 분포(201, 202)를 사용하여, 인물 검색 결과의 오류를 나타내는 이하의 2개의 지표를 구한다.

본인거부율(미 검지율)= 등록자가 통행한 경우에 임계값(TH) 미만이 되는 건수/등록자의 전체 보행 수...(식1)

타인 수용율(오보율)= 미등록자가 통행한 경우에 임계값(TH) 이상이 되는 건수/미등록자의 전체 보행 수...(식2)

여기서, 미 검지율은 등록자 전체의 통행에 대한 「미 검지」 비율이 되고, 도 4의 본인 거부 부분(203)에 해당한다. 반대로, 오보율은 미등록자 전체의 통고에 대한 「오보」의 비율이 되고, 도 5의 타인 수용 부분(204)에 해당한다. 임계값(TH)을 높게 하면 할수록 오보율은 떨어지지만 미 검지율이 높아지고, 임계값(TH)을 낮게 하면 할수록 그 반대가 된다. 사전에 어느 쪽인가의 지표가 소정의 비율 이하가 되도록 설정해 둠으로써, 입력부(101)에서 촬영되는 촬영 조건에 있어서 적절한 임계값(TH)을 간단하게 설정하는 것이 가능하다.

인물 판정부(107)는, 얼굴 특징 추출부(103)에서 얻어진 입력 화상의 얼굴 특징 정보와, 대응하는 얼굴 특징 정보 관리부(104) 중의 얼굴 특징 정보와의 유사성 지표의 계산을 행해서 보다 유사성이 높은 것부터 순서대로 결과를 되돌리는 처리를 행한다. 또한, 인물 판정부(107)가 유사성 지표의 계산에 의해 등록 인물의 판정을 행하는 임계값은, 임계값 설정부(106)에 의해 설정된 임계값이다. 또한, 상술한 바와 같이, 소정의 속성 정보로 좁혀서 얼굴 특징 정보 관리부(104)를 일부분만 검색하는 것도 가능하다.

이때, 검색 처리 결과로서는 유사성이 높은 것부터 순서대로 얼굴 특징 정보 관리부(104) 내에서 개인을 식별하기 위해 관리되고 있는 인물 ID, 계산 결과인 유사성을 나타내는 지표를 되돌린다. 그 외에, 얼굴 특징 정보 관리부(104)에서 개인마다 관리되고 있는 정보를 함께 되돌리도록 해도 상관없지만, 기본적으로 인물 ID에 의해 대응이 가능하므로 검색 처리 자체에서는 부속 정보를 주고받지 않아도 실현이 가능하다. 유사성 지표로서는 얼굴 특징 정보로서 관리되고 있는 부분 공간끼리의 유사도로 한다. 계산 방법은, 부분 공간법이나 복합 유사도법 등의 방법을 사용해도 좋다. 이 방법에서는, 미리 축적된 등록 정보 중의 인식 데이터도, 입력되는 데이터도 복수의 화상으로부터 계산되는 부분 공간으로서 표현되고, 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 여기서 입력되는 부분 공간을 입력 수단분 공간이라고 한다. 입력 데이터 열에 대하여 마찬가지로 상관 행렬 Cin을 구하고, Cin=Φin Λin ΦinT와 대각화하여, 고유 벡터 Φin을 구한다. 2개의 Φin, Φd로 표현되는 부분 공간의 부분 공간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다. 구체적인 계산 방법에 대해서는 얼굴 특징 추출부(103)에서 소개한 문헌(후쿠이)에서 실현이 가능하다. 또한, 미리 동일 인물이라고 알 수 있는 복수의 인물 화상을 통합해서 부분 공간에의 사영(射影)에 의해 본인인지의 여부를 식별함으로써 정밀도를 향상시키는 것도 가능하다. 또한, 유사도 이외의 유사성 지표로서는 특징 공간 상에서의 거리나 마하라노비스 거리와 같은 것도 이용 가능한 것은 분명하다. 거리를 이용한 경우에는 수치가 클수록 유사성이 낮아지기 때문에, 임계값과의 비교 방법으로서는 임계값보다 작으면 작을수록 등록된 인물과의 유사성이 높은 것을 나타낸다.

출력부(108)는, 인물 판정부(107)에서 얻어진 결과를 화면에 표시한다. 또는 인물 판정부(107)에서 얻어진 화상이나 영상을 기록 장치에 기록한다. 또는 접속된 기기에 인물 판정부(107)의 처리 결과를 송신하는 것도 실현이 가능하다. 인물 판정부(107)에서 복수의 결과가 출력된 경우에는, 미리 정해 둔 순서로 결과를 표시나 기록을 행해도 좋고, 얼굴 부위의 신뢰도(유사도)의 합계값이 높은 화상으로부터 순서대로 화면에 표시하는 것도 가능하다. 복수의 후보를 보여줌으로써 인간의 육안 확인으로 원하는 화상이 포함되어 있을 가능성을 높이는 것이 가능하다.

또한, 실제 장치의 설치 조정 시에는 반드시 통상의 운용에서 사용하는 등록자가 그 장소에 있는 것은 아니지만, 그 장소에 있는 인물의 얼굴 화상을 가령 등록해서 보행을 행함으로써 마찬가지 효과가 있기 때문에 문제는 되지 않는다. 또한, 본 실시 형태가 상정하는 것은, 인물 인식 장치(100)의 설치 조정 시에 보수원 등이 가등록해서 보행하여 시도하는 운용이 전형적인 예가 되지만, 옥외 조명의 영향이 있는 경우에는 정기적으로 마찬가지 작업을 행해서 조정을 진행함으로써 정밀도를 높이는 것도 가능한 것 이외에, 운용 모드에서 얻어진 영상이나 얼굴 특징 정보를 이력으로서 기억해 두고, 나중에 다시 조정 모드로서 입력하도록 해도 좋다.

이상의 제1 실시 형태에 의해, 카메라(150) 등으로 촬영된 영상 중에서 인물의 얼굴을 검출 및 기록하는 시스템 또는 검출된 인물 화상을 이용해서 특정한 인물인지 판정하는 시스템에 있어서, 특정한 인물인지 여부를 판정하는 임계값의 적절한 값을 용이하게 설정하는 것이 가능하다.

(제2 실시 형태)

도 6은, 제2 실시 형태에 관한 인물 인식 장치(100a)의 구성을 도시하는 블록도이다. 또한, 인물 인식 장치(100a)에 있어서, 인물 인식 장치(100)와 동일한 구성에 대해서는 동일한 부호를 부여해서 그 설명을 생략한다.

이력 관리부(110)는, 입력된 화상, 얼굴 검출부(102)에서 얻어진 얼굴 영역의 좌표, 얼굴 좌표를 바탕으로 얼굴 부근만을 잘라낸 잘라 내기 얼굴 화상, 그때의 시각 및 인물 판정부(107)로부터 얻어진 검색 결과 중 적어도 1개를 이력 정보로 해서 보존한다. 이에 의해, 이력 관리부(110)를 참조함으로써, 어떤 화상이 입력되어서 어떤 검색 결과이었는지를 알 수 있다. 또한, 후술하는 입출력부(108a)에 있어서 과거의 이력과 대응시킬 수 있도록, 얼굴 특징 추출부(103)에서 구해진 얼굴의 특징 정보를 입력 화상에 대응시켜 관리할 수도 있다. 기록된 이력에 대해서는 소정의 건수까지 기록하면 기록을 멈추어도 좋고, 소정의 건수를 넘으면 오래된 것부터 삭제하여 새 것으로 바꿔 놓도록 해도 좋다. 이 내용에 대해서는 소정의 검색 조건을 넣어 검색한 결과를 출력하는 것도 가능하게 한다.

입출력부(108a)는, 표시 장치 및 유저로부터의 조작 입력을 접수하는 조작 장치(터치 패널, 키보드, 포인팅 디바이스 등)이며, 운용 모드가 선택된 경우에 인물 판정부(107)의 판정 결과를 화면에 표시한다. 또한, 입출력부(108a)는, 판정 결과를 화면에 출력했을 때, 적어도 판정 결과의 옳고 그름(正否)을 나타내는 평가를 유저로부터 접수한다.

도 7은, 표시 화면(G)의 일례를 나타내는 개념도이다. 도 7에 도시한 바와 같이, 입출력부(108a)는, 입력 화상[특히, 얼굴 검출부(102)에 의해 얼굴 영역 부근을 잘라낸 것이 바람직하다](G1)과, 인물 판정부(107)에서 입력 화상에 찍혀 있는 인물과 유사하다고 판단된 유사성 지표가 높은 순서대로, 후보자의 얼굴 화상(G11 내지 G13)을 표시하고 있다. 후보자에 대해서는, 얼굴 특징 정보 관리부(104)에서 얼굴의 특징 정보에 대응시켜 등록했을 때의 얼굴 화상을 관리해 둠으로써, 후보자의 얼굴 화상(G11 내지 G13)을 배열해서 표시하여, 비교할 수 있다.

이때, 소정의 임계값 이상의 유사성 지표의 후보자가 있는 경우에는 「등록자」라고 판단한 판정 결과(G2)를 표시하고, 알람을 울려, 외부 접속 기기에의 신호를 보내는(예를 들어, 경고등의 전원 ON인 신호, 영상 기록 장치에의 트리거 입력 등) 것을 행할 수 있다. 또한, 임계값 이상이 된 경우에만, 도 7에 나타내는 표시 화면(G)을 표시하도록 해도 좋다. 한편, 얼굴 특징 정보 관리부(104)에 관리된 N명의 등록자에게 대한 유사성 지표가 모두 임계값 미만인 경우에는, 입력 화상(G1) 내의 인물은 「미등록자」로 판단한다. 단, 여기서 잘못된 결과가 나온 경우에는 정밀도가 떨어지는 방향이 되기 때문에, 입출력부(108a)에서 인간의 육안으로 판단한 결과를 피드백하기 위해서, 적어도 판정 결과의 옳고 그름을 나타내는 평가를 유저로부터 접수한다.

예를 들어, 인물 판정부(107)의 결과에서 등록 인물이라고 판단된 경우에도, 도 7과 같이 「검색 결과 보정」을 위한 버튼(G3)을 만들어 두고, 관리자가 육안으로 판단한 결과를 입력하는 것이 가능하다. 인물 인식 장치(100a)는, 통보한 결과가 올바른 결과이면 「등록 인물」 버튼(G4)을 눌러 그 결과가 올바르다고 학습하고, 「미등록자」 버튼(G5)을 누르면, 이 판정 결과(G2)는 오보라고 판단한다. 관리자가 매회 입력할 필요가 없도록, 소정 시간에 버튼 입력이 없으면 자동으로 표시 화면(G)을 지우도록 해도 좋고, 다음 통지가 오면 지우도록 해도 좋다. 「등록 인물」 버튼(G4)에 대해서는, 버튼을 누른 후에 다시 등록자의 후보, 유사성 지표, 등록자의 식별 정보(ID 번호나 이름 등 얼굴 특징 정보 관리 수단에서 관리된 부수 정보)를 일람 표시하고, 「등록자임」 이외에 「어느 인물인가」까지 미세한 정보를 넣어도 좋다. 여기서 관리자가 입력한 정보(평가)는 임계값 조정부(111)에 통지된다.

또한, 여기서 입력을 한 경우에, 과거의 이력으로 거슬러 올라서 동일 인물의 후보를 리스트 업해서 표시하도록 하는 것도 가능하다.

도 8은, 과거의 입력 화상의 검색을 예시하는 개념도이다. 도 8에 도시한 바와 같이, 이력 관리부(110)에 관리되어 있는 과거의 입력 화상(G21 내지 G23)에 대하여, 금회 입력된 입력 화상(G41)과의 유사도(성) 지표를 구한다. 도 8의 경우에는, 입력 화상(G21 내지 G23)과 금회의 입력 화상(G41)의 유사도 지표를 구하고, 각각의 유사도 지표에서 임계값 이상이 된 것이 있으면 금회 통행한 인물과 동일 인물이 과거에 통행했다고 생각된다. 여기서, G31 내지 G33은 입력 화상(G21 내지 G23)의 과거의 검색 결과이며, G51은 입력 화상(G41)의 검색 결과이다. 이 경우에는, 입력 화상(G22)이 금회의 입력 화상과의 유사성 지표가 높다고 판정(HIT)되었기 때문에, 금회의 통행자와 동일한 인물이 과거에 통행하고 있었다고 대응할 수 있다. 마찬가지로 과거의 입력 이력을 거슬러 올라서 임계값 이상이 된 것을 추출하여, 일람으로서 표시한다.

도 9는, 표시 화면(G)의 일례를 나타내는 개념도이며, 보다 구체적으로는, 상술한 일람을 표시한 표시 화면(G)을 예시하는 도면이다. 입출력부(108a)에서 금회의 검색 결과를 통상 표시하는 표시 화면(G)(도 7 참조)에 대하여, 도 9에 도시한 바와 같이, 금회의 검색 결과인 입력 화상(G41), 이력 정보(G61), 검색 결과(G51) 이외에, 과거의 동일 인물의 통행 이력[도시예에서는 이력 정보(G62, G63)]와 그 검색 결과[도시예에서는 입력 화상(G22, G24)]와 그 검색 결과(G32, G34)를 일람 표시하는 표시 화면(G)을 표시함으로써 확인하는 스텝을 가져도 좋다.

이 표시 화면(G)에서, 가령 잘못된 결과가 표시되어 있는 경우에는, 각각의 입력 화상(G22, G24)의 가로에 체크 박스(G72, G73)를 두어 통합해서 삭제할 수 있도록 해도 좋다. 삭제한 경우에는 임계값 조정부(111)에 결과를 통지하지 않도록 하여 잘못된 결과를 제외할 수 있다.

이 결과, 표시 화면(G)에서 검색 결과가 출력된 경우에, 관리자가 조작해서 「등록 인물」, 「미등록 인물」을 누른 결과를 이용해서 임계값 조정 등록자가 통행한 경우의 유사도, 미등록자가 통행한 경우의 유사도를 출력하는 것이 가능하다. 또한, 과거의 통행 이력과의 체크를 행한 결과를 이용하면, 관리자가 조작했을 때의 통행뿐만 아니라, 과거의 통행도 대응시켜 과거의 통행자의 화상에 대하여도 「등록 인물」, 「미등록 인물」을 분리해서 유사도 분포를 임계값 조정부(111)에 통지하는 것이 가능하다. 과거의 입력 이력과의 매칭에서 얻어진 일람의 표시 화면(G)은 표시하지 않거나, 표시해도 마찬가지 효과를 얻을 수 있지만, 잘못된 결과가 섞이는 등의 보정을 체크 박스(G72, G73)에서 함으로써, 보다 정밀도를 높이는 것이 가능하다.

임계값 조정부(111)는, 입출력부(108a)로부터 통지된 정보(평가)를 바탕으로, 제1 실시 형태의 임계값 설정부(106)와 마찬가지로, 등록자의 유사도 분포, 미등록자의 유사도 분포를 관리하고, 오보율 또는 미 검지율이 소정의 값이 되도록 임계값을 조정한다. 임계값의 조정은, 입출력부(108a)에 있어서 관리자의 조작이 있는 경우에 수시 조정을 해도 좋고, 소정의 조작 횟수마다 간격을 두고 조정해도 좋으며, 조정을 할 때에 관리자로부터 임의의 타이밍에서 조정할 수 있도록 해도 좋다. 조정하는 임계값에 대해서는 조정 후의 값을 표시해서 관리자에게 확인시켜도 좋고, 관리자가 수동으로 재조정해도 좋다.

또한, 오보가 발생한 경우에는 입출력부(108a)에 통지가 나오기 위해서 본 실시 형태에 의해 조정하는 것이 가능하지만, 등록자가 통행했을 때에 통지할 수 없었던 미 검지에 대해서 조정할 수는 없으므로, 임계값의 결정을 할 때에는, 가능한 한 미 검지가 없어지도록 조정하도록 해도 좋다. 또한, 입출력부(108a)에 있어서 임계값 이상일 때만 출력을 하는 것이 아니고, 임계값 미만일 때에도 표시하도록 함으로써 미 검지의 경우에도 대응할 수 있다. 그 경우는 출력한 화면에 있어서 임계값 미만인 경우에 「등록 인물」 버튼(G4)을 누르면 되는 것은 분명하다.

상술한 제2 실시 형태에 의해, 카메라(150) 등으로 촬영된 영상 중에서 검출한 인물 화상을 이용해서 특정한 인물인지를 판정하거나, 또는 유사한 얼굴을 검색하는 시스템에 있어서, 특정한 인물인지 여부를 판정하는 임계값이 적절한 값을 용이하게 설정하여, 운용을 진행시키면 더욱 적합한 임계값으로 조정할 수 있다.

도 10은, 제1, 제2 실시 형태에 관한 인물 인식 장치(100, 100a)의 하드웨어 구성을 나타낸 블록도이다. 도 10에 도시한 바와 같이, 인물 인식 장치(100, 100a)는, CPU(1101)와, ROM(Read Only Memory)(1102)과, RAM(Random Access Memory)(1103)과, 통신 I/F(1104)와, HDD(1105)와, 표시 장치(1106)와, 키보드나 마우스 등의 입력 디바이스(1107)와, 이들을 접속하는 버스(1108)를 구비하고 있고, 통상의 컴퓨터를 이용한 하드웨어 구성으로 되어 있다.

본 실시 형태의 인물 인식 장치(100, 100a)에서 실행되는 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일에서 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk) 등의 컴퓨터에서 판독 가능한 기록 매체에 기록되어 제공된다.

또한, 본 실시 형태의 인물 인식 장치(100, 100a)에서 실행되는 프로그램을, 인터넷 등의 네트워크에 접속된 컴퓨터 상에 저장하고, 네트워크 경유로 다운로드 시킴으로써 제공하도록 구성해도 좋다. 또한, 본 실시 형태의 인물 인식 장치(100, 100a)에서 실행되는 프로그램을 인터넷 등의 네트워크 경유로 제공 또는 배포하도록 구성해도 좋다. 또한, 본 실시 형태의 프로그램을, ROM 등에 미리 내장해서 제공하도록 구성해도 좋다.

본 실시 형태의 인물 인식 장치(100, 100a)에서 실행되는 프로그램은, 상술한 각 구성을 포함하는 모듈 구성으로 되어 있고, 실제의 하드웨어로서는 CPU(1101)가 상기 기억 매체로부터 프로그램을 판독해서 실행함으로써, 상기 각 구성이 RAM(1103) 상에 로드되고, 상기 각 구성이 RAM(1103) 상에 생성된다.

본 발명의 몇 가지 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 신규 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

100, 100a: 인물 인식 장치
101: 입력부
102: 얼굴 검출부
103: 얼굴 특징 추출부
104: 얼굴 특징 정보 관리부
105: 모드 선택부
106: 임계값 설정부
107: 인물 판정부
108: 출력부
108a: 입출력부
110: 이력 관리부
111: 임계값 조정부
150: 카메라
201, 202: 유사도 분포
203: 본인 거부 부분
204: 타인 수용 부분
Fr1 내지 Fr15: 프레임 화상
G: 표시 화면
G1: 입력 화상
G2: 판정 결과
G3 내지 G5: 버튼
G11 내지 G13: 얼굴 화상
G21 내지 G24, G41: 입력 화상
G31 내지 G34, G51: 검색 결과
G61 내지 G63: 이력 정보
G72, G73: 체크 박스
H: 인물
TH: 임계값
1101: CPU
1102: ROM
1103: RAM
1104: 통신 I/F
1105: HDD
1106: 표시 장치
1107: 입력 디바이스
1108: 버스

Claims

인물 인식 장치로서,
카메라가 촬상한 화상 데이터를 입력하는 화상 입력 수단과,
입력된 상기 화상 데이터로부터 인물의 얼굴이 표현된 얼굴 영역을 검출하는 얼굴 검출 수단과,
검출된 상기 얼굴 영역으로부터 상기 인물의 얼굴의 특징을 나타내는 얼굴 특징 정보를 추출하는 얼굴 특징 정보 추출 수단과,
인물마다, 당해 인물의 얼굴 특징 정보를 기억하는 얼굴 특징 정보 기억 수단과,
상기 카메라로 촬상된 인물이 미리 등록된 등록 인물인지 여부의 판정을 행하는 운용 모드, 또는 상기 판정 시에 사용하는 임계값을 설정하는 설정 모드를 선택하는 모드 선택 수단과,
상기 운용 모드가 선택된 경우, 추출된 상기 얼굴 특징 정보와, 기억된 상기 얼굴 특징 정보의 유사도가 상기 임계값 이상인 인물을, 상기 등록 인물로서 판정하는 인물 판정 수단과,
상기 인물 판정 수단의 판정 결과를 출력하는 출력 수단과,
상기 설정 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도에 관한 지표보다도 낮은 범위, 또한, 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도에 관한 지표보다 높은 범위에서, 상기 임계값을 설정하는 임계값 설정 수단을 구비하는, 인물 인식 장치.
제1항에 있어서,
상기 모드 선택 수단은 상기 설정 모드에서, 상기 등록 인물을 상기 카메라로 촬상하는 등록자 보행 모드, 또는 상기 등록 인물 이외의 인물을 상기 카메라로 촬상하는 미등록자 보행 모드를 선택하고,
상기 임계값 설정 수단은, 상기 등록자 보행 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 복수 취득해서 제1 유사도 분포를 생성하고, 상기 미등록자 보행 모드가 선택된 경우, 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 복수 취득해서 제2 유사도 분포를 생성하고, 상기 제1 및 제2 유사도 분포를 바탕으로, 상기 등록 인물을 상기 인물 판정 수단이 등록 인물로서 판정하지 않는 거부율 및 상기 등록 인물 이외의 인물을 상기 인물 판정 수단이 등록 인물로서 판정하는 수납율 중 적어도 한쪽이 미리 설정된 값이 되는 상기 임계값을 설정하는, 인물 인식 장치.
제2항에 있어서, 상기 임계값 설정 수단은, 상기 등록자 보행 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 복수 취득한 것 중에서 가장 낮은 값의 유사도를 선택해서 상기 제1 유사도 분포를 생성하는, 인물 인식 장치.
제2항 또는 제3항에 있어서, 상기 임계값 설정 수단은, 상기 미등록자 보행 모드가 선택된 경우, 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 복수 취득한 것 중에서 가장 높은 값의 유사도를 선택해서 상기 제2 유사도 분포를 생성하는, 인물 인식 장치.
제2항 또는 제3항에 있어서, 상기 임계값 설정 수단은, 상기 등록자 보행 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상한 프레임 화상 중에서 프레임 화상을 복수 선택하고, 당해 복수 선택된 프레임 화상으로부터 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 바탕으로 상기 제1 유사도 분포를 생성하는, 인물 인식 장치.
제2항 또는 제3항에 있어서, 상기 임계값 설정 수단은, 상기 미등록자 보행 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상한 프레임 화상 중에서 프레임 화상을 복수 선택하고, 당해 복수 선택된 프레임 화상으로부터 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도를 바탕으로 상기 제2 유사도 분포를 생성하는, 인물 인식 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 운용 모드가 선택된 경우에 상기 출력 수단이 상기 판정 결과를 출력했을 때에, 적어도 상기 판정 결과의 옳고 그름(正否)을 나타내는 평가를 유저로부터 접수하는 입력 수단과,
접수된 상기 평가를 바탕으로 상기 임계값을 조정하는 임계값 조정 수단을 더 구비하는, 인물 인식 장치.
제7항에 있어서,
상기 운용 모드가 선택된 경우에 상기 출력 수단이 출력한 상기 판정 결과의 이력을 기억하는 이력 기억 수단을 더 구비하고,
상기 입력 수단은, 기억된 상기 판정 결과의 이력에 대해서 옳고 그름을 나타내는 평가를 유저로부터 접수하고,
상기 임계값 조정 수단은, 상기 기억된 판정 결과의 이력에 대해서 접수된 상기 평가를 바탕으로 상기 임계값을 조정하는, 인물 인식 장치.
인물 인식 장치에서 실행되는 방법으로서,
상기 인물 인식 장치는, 인물마다 당해 인물의 얼굴 특징 정보를 기억하는 얼굴 특징 정보 기억 수단을 구비하고,
화상 입력 수단이, 카메라가 촬상한 화상 데이터를 입력하는 스텝과,
얼굴 검출 수단이, 입력된 상기 화상 데이터로부터 인물의 얼굴이 표현된 얼굴 영역을 검출하는 스텝과,
얼굴 특징 정보 추출 수단이, 검출된 상기 얼굴 영역으로부터 상기 인물의 얼굴의 특징을 나타내는 얼굴 특징 정보를 추출하는 스텝과,
모드 선택 수단이, 상기 카메라로 촬상된 인물이 미리 등록된 등록 인물인지 여부의 판정을 행하는 운용 모드, 또는 상기 판정 시에 사용하는 임계값을 설정하는 설정 모드를 선택하는 스텝과,
인물 판정 수단이, 상기 운용 모드가 선택된 경우, 추출된 상기 얼굴 특징 정보와, 기억된 상기 얼굴 특징 정보의 유사도가 상기 임계값 이상인 인물을, 상기 등록 인물로서 판정하는 스텝과,
출력 수단이, 상기 인물 판정 수단의 판정 결과를 출력하는 스텝과,
임계값 설정 수단이, 상기 설정 모드가 선택된 경우, 상기 등록 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도에 관한 지표보다도 낮은 범위, 또한, 상기 등록 인물 이외의 인물을 상기 카메라로 촬상해서 추출된 얼굴 특징 정보와, 상기 기억된 얼굴 특징 정보의 유사도에 관한 지표보다 높은 범위에서, 상기 임계값을 설정하는 스텝을 포함하는, 방법.