KR20090034272A

KR20090034272A - 인물 인증 장치 및 인물 인증 방법

Info

Publication number: KR20090034272A
Application number: KR1020080089732A
Authority: KR
Inventors: 미쯔따께 하세베; 히로시 스께가와
Original assignee: 가부시끼가이샤 도시바
Priority date: 2007-10-02
Filing date: 2008-09-11
Publication date: 2009-04-07
Also published as: EP2045759A3; JP2009087232A; EP2045759A2; US20090087041A1

Abstract

얼굴 인증 장치(1A)는, 고계조 화상 취득부(101), 계조 변환부(103), 얼굴 특징 추출부(104), 얼굴 대조부(106)를 갖는다. 고계조 화상 취득부(101)는, 보행자의 얼굴을 포함하는 고계조의 화상을 취득한다. 계조 변환부(103)는, 고계조 화상 취득부(101)에 의해 취득한 고계조 화상의 얼굴 영역에서의 밝기가 최적으로 되도록 하는 계조 변환 처리에 의해, 취득한 고계조 화상을 저계조 화상으로 변환한다. 얼굴 특징 추출부(104)는, 계조 변환부(103)에 의해 밝기가 최적화된 저계조의 화상에 기초하여 얼굴 특징 정보의 추출 처리를 행한다. 또한, 얼굴 대조부(106)는, 계조 변환부(103)에 의해 밝기가 최적화된 저계조의 화상에 기초하여 얼굴 대조 처리를 행한다.

인물 인증 장치, 인증부, 계조 변환부, 취득부, 저장부, 보행자, 최소값, 최대값, 인물 인증 방법

Description

인물 인증 장치 및 인물 인증 방법 {PERSON AUTHENTICATION DEVICE AND PERSON AUTHENTICATION METHOD}

본 발명은, 예를 들면, 카메라 등으로 촬영되는 얼굴 화상 등의 인물의 생체 정보에 기초하여 인물을 인증하는 인물 인증 장치 및 인물 인증 방법에 관한 것이다.

종래, 얼굴 화상을 이용하여 보행자를 확인하는 인물 인증 장치에서는, 등록자의 얼굴을 포함하는 화상(얼굴 화상)을 카메라 혹은 센서 등으로부터 취득하고, 취득한 얼굴 화상을 등록 정보(이하, 「사전」이라고 칭함)로서 기록해 둔다. 인증시에는, 상기 인물 인증 장치는, 보행자의 얼굴 화상을 카메라 혹은 센서 등을 이용하여 수집하고, 수집한 얼굴 화상과 등록 정보로서의 얼굴 화상과의 유사도를 구한다. 상기 유사도가 소정의 임계값 이상인 경우, 인물 인증 장치는, 보행자가 등록자라고 판정한다. 상기 유사도가 소정의 임계값보다도 작은 경우, 인물 인증 장치는, 보행자가 등록자가 아니라고(미등록자라고) 판정한다.

또한, 개인 인증 장치에서 이용되는 카메라 혹은 센서에는, 촬영한 화상의 중앙 영역의 밝기 혹은 색조로부터, 게인, 아이리스, 셔터 속도, 화이트 밸런스와 같은 제어 파라미터를 자동적으로 최적의 것으로 조정하는 기술(예를 들면 중앙 중점 측광)이 탑재되어 있는 것이 많다. 이들 기술의 공지예로서는, 예를 들면, 이하의 특허 문헌 1, 2 및 3을 들 수 있다.

일본 특허 공개 평성11-146405호 공보에는, 피부색 영역 혹은 얼굴 영역을 검출하고, 그 검출한 영역을 측광 영역으로 함으로써, 최적의 화상을 촬영하기 위한 제어를 행하는 영상 신호 처리 장치가 개시되어 있다.

또한, 일본 특허 공개 2003-107555호 공보에는, 촬영 화상에서의 얼굴의 찍힘 양호도를 최적으로 하는 것을 목적으로서, 촬영 대상인 인물의 얼굴 영역을 검출하고, 그 얼굴 영역의 밝기에 기초하여 노광 제어를 행하는 화상 촬영 장치가 개시되어 있다.

또한, 일본 특허 공개 2007-148988호 공보에는, 보행자의 얼굴 영역의 밝기를 최적으로 하기 위해, 보행자의 이동 동작에 수반하는 변동을 검지하여, 변동 요소를 포함하는 화상을 제외하고, 얼굴 영역의 밝기가 최적으로 되도록 제어하는 기술이 개시되어 있다.

전술한 각 공지예에서는, 촬영 완료된 화상으로부터 판정한 카메라 파라미터에 의해 다음 화상을 촬영하기 위한 제어를 행한다. 즉, 각 공지예의 기술에서는, 촬영한 화상과 다음에 촬영하는 화상의 촬영 환경이 동일한 것을 전제로 하고 있다. 바꿔 말하면, 각 공지예의 기술은, 현재까지의 촬영 조건으로부터 미래의 촬영 조건을 추측할 필요가 있다.

그러나, 예를 들면, 촬영 환경의 하나로서의 조명 환경은, 인위적인 요인(예 를 들면 조명의 온 오프 등)도 포함하기 때문에, 반드시 현재까지의 상태로부터 확실하게 추측할 수 있는 것은 아니다. 이러한 예측할 수 없는 촬영 환경의 변화가 일어나는 경우, 전술한 공지예에서는, 얼굴 인증에 이용하는 얼굴 화상으로서 최적의 상태의 얼굴 화상을 취득할 수 없는 경우가 있다.

본 발명의 일 형태에서는, 인물 인증을 행하기 위한 안정된 화상을 취득할 수 있어, 정밀도가 높은 인증 처리를 행할 수 있는 인물 인증 장치 및 인물 인증 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 형태로서의 인물 인증 장치는, 보행 중인 인물의 얼굴을 포함하는 고계조 화상을 취득하는 취득부와, 이 취득부에 의해 취득한 고계조 화상에서의 얼굴 영역을 검출하는 얼굴 검출부와, 이 얼굴 검출부에 의해 검출된 얼굴 영역에서의 휘도 분포에 따라서 고계조 화상을 저계조 화상으로 변환하는 계조 변환부와, 이 계조 변환부에 의해 얻어진 저계조 화상에서의 얼굴 영역으로부터 얼굴 특징 정보를 추출하는 특징 추출부와, 이 특징 추출부에 의해 추출된 얼굴 특징 정보와 등록자의 얼굴 특징 정보를 대조함으로써 상기 보행 중인 인물이 등록자인지의 여부를 인증하는 인증부를 갖는다.

본 발명의 일 형태로서의 인물 인증 방법은, 보행 중인 인물이 등록자인지의 여부를 인증하는 방법으로서, 보행 중인 인물의 얼굴을 포함하는 고계조 화상을 취 득하고, 이 취득한 고계조 화상에서의 얼굴 영역을 검출하고, 이 검출한 얼굴 영역에서의 휘도 분포에 따라서 고계조 화상을 저계조 화상으로 계조 변환하고, 이 계조 변환에 의해 얻어진 저계조 화상에서의 얼굴 영역으로부터 얼굴 특징 정보를 추출하고, 이 추출된 얼굴 특징 정보와 등록자의 얼굴 특징 정보를 대조함으로써, 상기 보행 중인 인물이 등록자인지의 여부를 인증한다.

본 발명의 부가적인 목적 및 장점은 다음의 상세한 설명에서 기술될 것이며, 이 상세한 설명으로부터 일부 명확해질 것이고, 또는 본 발명의 실시에 의해 이해될 것이다. 본 발명의 목적들 및 장점들은 특히 이하에 기재된 수단들과 그 조합에 의해 실현되고, 얻어질 것이다.

첨부 도면은 본 명세서의 일부로서 포함되고, 발명의 실시예를 설명함과 함께, 상기한 일반적인 설명 및 하기 실시예의 상세한 설명을 도시하는 것으로, 본 발명의 원리를 설명한다.

이하, 본 발명을 실시하기 위한 최선의 형태에 대하여 도면을 참조하여 설명한다.

도 1은, 후술하는 제1, 제2 및 제3 실시예로서의 얼굴 인증 장치(인물 인증 장치)(1)(1A, 1B, 1C)가 적용되는 얼굴 인증 시스템의 운용 형태의 예를 도시하는 도면이다.

도 1에 도시하는 운용 형태에서는, 얼굴 인증 시스템은, 얼굴 인증 장치(1), 촬영 장치(11), 표시 장치(12), 통행 제어 장치(13) 및 입력 장치(14) 등에 의해 구성되어 있다.

상기 촬영 장치(11)는, 보행 중인 인물(보행자) M의 얼굴을 포함하는 고계조의 화상 데이터를 수집하는 것이다. 예를 들면, 상기 촬영 장치(11)는, CCD 센서 등의 촬상 소자를 이용한 텔레비전 카메라이다. 상기 촬영 장치(11)로서 이용되는 텔레비전 카메라는, 고비트의 A/D 변환기(예를 들면 12bit A/D 변환기)를 구비하고 있다. 또한, 상기 촬영 장치(11)가 보행자 M의 얼굴을 촬영하는 영역(예를 들면, 도 1에서 나타내는 예에서 C 지점으로부터 B 지점으로 둘러싸여진 보행자의 얼굴을 촬영하는 범위)을 촬영 대상 영역이라고 부르기로 한다.

상기 표시 장치(12)는, 예를 들면, 액정 표시 장치 등에 의해 구성된다. 상기 표시 장치(12)는, 보행자 M에 대하여 여러가지의 안내를 표시한다. 예를 들면, 표시 장치(12)는, 보행자 M에 대하여 촬영 장치(11)에 얼굴을 향하도록 하는 안내를 표시하거나, 얼굴 화상에 의한 인증 결과를 표시하거나 한다. 또한, 표시 장치(12)에는, 얼굴 화상의 등록시에 조작 안내 등을 표시하도록 하여도 된다.

상기 통행 제어 장치(13)는, 보행자 M의 통행을 제어하는 것이다. 통행 제어 장치(13)는, 예를 들면, 도시하지 않은 도어 혹은 게이트 등의 개폐를 제어함으로써 보행자 M의 통행을 제어하도록 구성된다. 통행 제어 장치(13)는, 예를 들면, 얼굴 인증 장치(1)에 의한 얼굴 인증의 결과에 기초하여 보행자 M의 통행을 제어한다.

상기 입력 장치(14)는, 해당 얼굴 인증 시스템에서의 각 장치의 동작 모드를 절환하는 조작을 행하거나, 등록시 혹은 인증시에 개인을 특정하기 위한 식별 정보 를 입력하거나 하는 것이다. 입력 장치(14)는, 예를 들면, 텐키, 키보드 혹은 터치 패널 등으로 구성된다. 또한, 상기 입력 장치(14)는, 촬영 장치(11) 혹은 표시 장치(12)의 근방에 설치하거나, 촬영 장치(11) 혹은 표시 장치(12)와 일체적으로 형성하거나 하는 것이 가능하다.

즉, 도 1에 도시하는 얼굴 인증 시스템에서는, 예를 들면, 통행 제어 장치(13)를 향하여 보행하는 인물(보행자) M의 얼굴을, C 지점으로부터 B 지점의 사이에서, 촬영 장치(11)가 촬영한다. B 지점으로부터 A 지점까지의 사이에서, 얼굴 인증 장치(1)는, 촬영 장치(11)에 의해 촬영한 화상으로부터 추출되는 얼굴 화상과 미리 등록되어 있는 등록자의 얼굴 화상과의 대조를 행한다. 얼굴 인증 장치(1)는, 얼굴 화상에 의한 대조 결과에 기초하여 보행자가 등록자인지의 여부를 인증한다. 얼굴 인증 장치(1)는, 상기한 바와 같은 인증 결과를 표시 장치(12) 및 통행 제어 장치(13)에 출력한다.

이에 의해, 표시 장치(12)는, 얼굴 인증 장치(1)에 의한 인증 결과를 표시한다. 또한, 통행 제어 장치(13)는, 얼굴 인증 장치(1)에 의해 보행자 M이 등록자라고 판정된 경우에 그 보행자 M의 통행을 허가로 하고, 얼굴 인증 장치(1)에 의해 등록자가 아니라고 판정된 경우에 그 보행자 M의 통행을 불허가로 한다. 따라서, 얼굴 인증 시스템에서는, 보행자 M이 C 지점으로부터 통행 제어 장치(13)의 앞에 도달할 때에는 그 보행자 M에 대한 인증 결과가 표시 장치(12)에 표시되고, 인증 결과에 기초하여 통행 제어 장치(13)에 의한 통행 제어가 행해진다.

다음으로, 제1 실시예에 대하여 설명한다.

도 2는, 제1 실시예에 따른 얼굴 인증 장치(1A)의 구성예를 도시하는 도면이다.

도 2에 도시한 바와 같이, 얼굴 인증 장치(1A)는, 고계조 화상 취득부(101), 얼굴 검출부(102), 계조 변환부(103), 얼굴 특징 추출부(104), 얼굴 등록 정보 기록부(105), 얼굴 대조부(106), 인증 제어부(107), 입력부(108), 출력부(109) 등으로 구성되어 있다. 또한, 얼굴 인증 장치(1A)는, 도 1에 도시한 바와 같은 얼굴 인증 시스템에 적용되는 경우, 촬영 장치(11), 표시 장치(12), 통행 제어 장치(13) 및 입력 장치(14)가 접속된다.

고계조 화상 취득부(101)는, 상기 촬영 장치(11)에 의해 촬영된 고계조의 화상을 취득하는 인터페이스이다. 즉, 고계조 화상 취득부(101)는, 촬영 장치(11)에 의해 촬영된 보행 중인 인물(보행자) M의 얼굴을 포함하는 고계조의 화상 데이터를 순차적으로 수집하는 것이다. 예를 들면, 고계조 화상 취득부(101)는, 가로 방향 512 화소, 세로 방향 512 화소로, 시간적으로 연속한 복수매의 고계조의 디지털 농담 화상 데이터를 수집한다. 또한, 고계조 화상 취득부(101)는, 수집한 화상 데이터를 얼굴 검출부(102) 및 계조 변환부(103)에 출력하도록 되어 있다.

상기 얼굴 검출부(102)는, 고계조 화상 취득부(101)에 의해 취득한 화상으로부터 얼굴이 존재하는 후보 영역(얼굴 영역)을 검출하는 처리를 행한다. 또한, 얼굴 검출부(102)는, 검출한 얼굴 영역을 나타내는 정보를 계조 변환부(103) 및 얼굴 특징 추출부(104)에 출력하도록 되어 있다. 또한, 얼굴 검출부(102)에서는, 얼굴 영역을 검출하는 방법으로서 여러가지의 방법이 적용 가능하다. 예를 들면, 얼굴 검출부(102)는, 문헌 1(산다. 가네코. 호리. "미소한 차이를 포함하는 화상의 인증에 적합한 공간 차분 확률 템플릿의 제안", 제9회 화상 센싱 심포지움 강연 논문집. SS II 03. 2003)에 기재되어 있는 방법이 적용 가능하다. 상기 문헌 1의 방법에서는, 사전에, 얼굴의 학습 패턴으로부터 검출용 사전 패턴을 작성해 두고, 사전 패턴과 높은 유사도를 갖는 패턴을 얼굴 영역으로서 입력 화상으로부터 찾도록 되어 있다.

상기 계조 변환부(103)는, 고계조 화상 취득부(101)에 의해 취득한 고계조의 화상을 저계조의 화상으로 변환하는 처리를 행하는 것이다. 계조 변환부(103)는, 고계조 화상 취득부(101)에 의해 취득한 고계조의 화상을, 후술하는 얼굴 특징 추출부(104)에 의한 얼굴 특징 정보의 추출 처리 혹은 얼굴 대조부(106)에 의한 대조 처리에 적합한 저계조의 화상으로 변환한다. 예를 들면, 여기에서는, 고계조 화상은 고비트의 A/D 변환기에 의해 출력된 8bit보다 고비트의 화상 데이터(예를 들면 12bit)로 하고, 저계조 화상은 8bit 이하의 화상 데이터(예를 들면 8bit)로 한다.

특히, 상기 계조 변환부(103)에서는, 간단히, 비트 시프트에 의해 고계조 화상을 저계조 화상으로 변환하는 것이 아니라, 적어도 촬영 장치(11)에 의해 촬영된 화상의 원하는 화상 영역(얼굴 영역)에서의 특징이 명확하게 나타나도록 계조를 보정하는 것이다. 예를 들면, 계조 변환부(103)는, 고계조 화상 취득부(101)에 의해 취득한 복수매의 화상 데이터 중 변환 대상으로 되는 t번째의 화상 데이터에 대하여 얼굴 검출부(102)가 검출한 얼굴 영역을 처리 대상 영역으로서 설정한다. 이와 같이 설정된 처리 대상 영역에 대하여, 계조 변환부(103)는, 고계조 화상의 처리 대상 영역에서의 휘도 분포의 상한값 및 하한값이 저계조 화상 전체의 최대값 및 최소값으로 되도록 계조 변환을 행한다. 또한, 계조 변환부(103)에 의한 계조 변환 처리의 예에 대해서는, 나중에 상세하게 설명하기로 한다.

상기 얼굴 특징 추출부(104)는, 얼굴 검출부(102)에 의해 검출된 얼굴 영역으로부터 얼굴의 특징량으로서의 얼굴 특징 정보를 추출하는 것이다. 즉, 얼굴 특징 추출부(104)는, 계조 변환부(103)에 의해 저계조로 변환된 화상 중 얼굴 검출부(102)에 의해 검출된 얼굴 영역의 화상으로부터 얼굴 특징 정보를 추출한다. 예를 들면, 얼굴 특징 추출부(104)는, 저계조로 변환된 얼굴 영역의 화상으로부터, 얼굴의 특징점을 기준으로, 일정한 크기, 형상으로 잘라내고, 그 농담 정보를 특징량(얼굴 특징 정보)으로서 이용한다. 얼굴 특징 추출부(104)는, 산출한 얼굴 특징 정보를 인증 제어부(107)에 출력하도록 되어 있다.

여기에서는, m픽셀×n픽셀의 영역의 농담값을 그대로 정보로서 이용하고, m ×n차원의 정보를 특징 벡터로 하는 것으로 한다. 이들 특징 벡터의 상관 행렬을 구하고, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 부분 공간이 계산된다. 또한, 부분 공간은, 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 계산된다. 여기에서, 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개 선정하고, 그 고유 벡터 집합을 이용하여 표현하는 것으로 한다.

상기 얼굴 특징 추출부(104)에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd=Φd Λd Φd T와 대각화하여, 고유 벡터의 행렬 Φ을 구하는 것 으로 한다. 이 부분 공간은, 얼굴 화상의 대조를 행하기 위한 얼굴 특징 정보로서 이용된다. 또한, 등록자의 얼굴 특징 정보는, 미리 등록자로부터 취득하고, 그것을 사전으로서 등록해 두면 된다. 또한, 식별을 행하기 위한 얼굴 특징 정보로서 부분 공간 자신을 이용하여도 된다.

상기 얼굴 등록 정보 기록부(105)는, 등록자의 얼굴 화상 혹은 얼굴 특징 정보를 기억하는 것이다. 예를 들면, 얼굴 등록 정보 기록부(105)는, 인증 제어부(107)에 의한 등록 처리로서, 촬영 장치(11)에 의해 촬영된 화상으로부터 얻어지는 얼굴 화상 혹은 얼굴 특징 정보와 상기 입력 장치(14)에 의해 입력되는 식별 정보를 대응지은 등록자의 정보(얼굴 등록 정보)를 기억한다. 즉, 얼굴 등록 정보 기록부(105)에는, 얼굴 화상에 의한 인증 처리에서, 보행자의 얼굴 특징량과의 유사도가 산출되는 등록자의 얼굴 화상 혹은 얼굴 특징 정보가 기억된다. 얼굴 등록 정보 기록부(105)는, 필요에 따라서 얼굴 대조부(106)에 출력된다.

상기 얼굴 대조부(106)는, 보행자의 얼굴 화상과 등록자의 얼굴 화상과의 대조 처리를 행하는 것이다. 여기에서는, 얼굴 대조부(106)는, 보행자의 얼굴 특징 정보와 등록자의 얼굴 특징 정보의 유사도를 산출하고, 그 산출 결과를 인증 제어부(107)에 출력하는 것으로 한다. 즉, 얼굴 대조부(106)의 얼굴 대조 처리에는, 여러가지의 방법을 적용 가능하지만, 얼굴 등록 정보 기록부(105)에 기록되어 있는 얼굴 등록 정보를 사전 패턴으로 하고, 인식 대상자로서의 보행자 M의 얼굴 특징 정보에 대한 유사도를 계산하는 것으로 한다. 이러한 방법은, 예를 들면, 문헌2(야마쿠치, 후쿠이, 마에다, "동화상을 이용한 얼굴 인식 시스템", 신학 기보 PRMU97-50, pp.17-23, 1997-06)에 기재되어 있는 상호 부분 공간법을 이용함으로써 실현 가능하다.

상기 인증 제어부(107)는, 해당 얼굴 인증 장치(1A) 전체의 제어를 담당하는 것이다. 예를 들면, 인증 제어부(107)는, 얼굴 등록 정보를 얼굴 등록 정보 기록부(105)에 기록하는 등록 처리(등록 처리 모드) 혹은 보행자의 얼굴 특징 정보와 얼굴 등록 정보 기록부(105)에 기록되어 있는 얼굴 등록 정보를 대조하는 대조 처리(대조 처리 모드)를 절환하는 처리를 행한다. 등록 처리 모드에서, 인증 제어부(107)는, 얼굴 특징 추출부(104)에 의해 얻어지는 얼굴 특징 정보와, 입력부(108)에 의해 얻어지는 얼굴 특징 정보에 대응하는 식별 정보를 대응지은 얼굴 등록 정보를 생성하고, 얼굴 등록 정보 기록부(105)에 기록한다.

즉, 등록 처리 모드에서, 얼굴 등록 정보 기록부(105)에는, 인증 제어부(107)의 제어에 의해, 등록자의 얼굴 특징 정보가 사전 패턴으로서 등록(기록)된다. 또한, 대조 처리 모드에서, 인증 제어부(107)는, 얼굴 특징 추출부(104)에 의해 얻어지는 보행자의 얼굴 특징 정보를 얼굴 대조부(106)에 출력하고, 얼굴 대조부(106)에 보행자의 얼굴 특징 정보와 얼굴 등록 정보 기록부(105)에 기록되어 있는 각 얼굴 등록 정보(사전 패턴)와의 대조를 행하게 한다. 인증 제어부(107)는, 얼굴 대조부(106)로부터 대조 결과로서, 보행자의 얼굴 특징 정보에 대한 각 사전 패턴과의 유사도를 취득한다. 이러한 대조 결과로서 얻어지는 유사도에 의해, 인증 제어부(107)는, 보행자가 등록자인지의 여부를 판정하고, 그 판정 결과를 출력부(109)에 출력한다. 예를 들면, 인증 제어부(107)는, 최대 유사도가 소정의 임계 값 이상인 경우, 보행자가 최대 유사도로 되는 등록자라고 판정하고, 최대 유사도가 소정의 임계값 이하인 경우, 보행자가 등록자가 아니라고 판정한다.

상기 입력부(108)는, 상기 입력 장치(14)에 의해 입력된 정보를 취득하는 인터페이스이다. 상기 입력부(108)는, 상기 입력 장치(14)에 입력된 보행자 M으로부터의 입력 정보를 인증 제어부(107)에 출력한다. 예를 들면, 입력부(108)는, 입력 장치에 의해 입력되는, 등록 처리 모드 혹은 대조 처리 모드 등의 동작 모드의 절환 지시, 혹은, 개인을 특정하는 식별 정보(ID 정보) 등의 입력 장치(14)에 입력된 정보를 취득하고, 인증 제어부(107)에 공급한다.

상기 출력부(109)는, 인증 제어부(107)에 의해 얻어지는 출력 정보를 표시 장치(12) 혹은 통행 제어 장치(13)에 출력하는 인터페이스이다. 예를 들면, 대조 처리 모드에서, 출력부(109)는, 인증 제어부(107)에 의해 얻어진 보행자에 대한 인증 결과를 표시 장치(12) 및 통행 제어 장치(13)에 출력한다. 이 경우, 출력부(109)는, 표시 장치(12)에는 인증 결과 및 인증 결과에 기초하는 보행자에의 안내 등을 나타내는 표시 정보를 출력하고, 통행 제어 장치에는 등록자라고 판정되었는지의 여부를 나타내는 정보 혹은 보행자 M에 대한 통행의 가부를 나타내는 정보를 출력한다.

다음으로, 상기 계조 변환부(103)에 의한 계조 변환 처리에 대하여 설명한다.

도 3의 (A), (B), (C) 및 (D)는, 일반적인 비트 시프트에 의한 계조 변환 처리의 예를 설명하기 위한 도면이다. 도 3의 (A)는, 12bit의 고계조 화상의 예를 도시하는 도면이다. 도 3의 (B)는, 도 3의 (A)에 도시하는 고계조 화상으로부터 얻는 8bit의 저계조 화상의 예이다. 도 3의 (C)는, 신호의 증폭 처리에 의해 얻어지는 12bit의 고계조 화상의 예이다. 도 3의 (D)는, 도 3의 (C)에 도시하는 고계조 화상으로부터 얻어진 저계조 화상의 예를 도시하는 도면이다.

일반적으로, 고계조 화상으로부터 저해상도 화상으로 변환하는 방법으로서는, 비트 시프트에 의해 계조 변환을 행하는 방법이 있다. 예를 들면, 비트 시프트에 의한 계조 변환 처리에서는, 도 3의 (A)에 나타내는 12bit의 고계조 화상은, 도 3의 (B)에 도시한 바와 같은 8bit의 저계조 화상으로 변환된다. 즉, 도 3의 (A) 및 (B)로부터 명확한 바와 같이, 비트 시프트에 의한 계조 변환 처리에서는, 특정한 영역 혹은 화상 전체의 밝기가 변경되지 않는다. 일반적으로, 촬영 장치(11)가 촬영하는 화상에서의 특정 영역의 밝기를 변경하기 위해서는, 도 3의 (C)에 도시한 바와 같이, 촬영 장치(11)에 의해 촬영한 화상의 신호를 증폭하는 처리가 행해진다. 단, 화상 신호의 증폭 자체는 영역 지정이 불가능하므로, 촬영 장치(11)에 의해 촬영한 화상 전체의 신호가 증폭된다. 도 3의 (C)에 도시한 바와 같은 고계조 화상이 얻어진 경우, 비트 시프트에 의한 계조 변환에 의해, 도 3의 (D)에 도시한 바와 같은 저계조 화상이 얻어진다.

그러나, 도 3의 (A)에 도시한 바와 같은 화상을 도 3의 (C)에 도시한 바와 같은 화상으로 변환하기 위한 신호 증폭을 행하기 위해서는, 이미 촬영된 화상(과거의 화상)으로부터 증폭할 파라미터를 특정할 필요가 있다. 즉, 촬영한 화상 신호의 일부를 증폭시켜 밝기를 보정하기 위해서는, 과거에 촬영한 화상으로부터 밝 기를 보정하기 위한 정보를 추측할 필요가 있다. 이것은, 인위적인 촬영 환경 등의 급격한 촬영 환경의 변화에 대하여 반드시 최적의 보정을 행할 수 없는 것을 나타내고 있다.

전술한 바와 같은 비트 시프트에 의한 계조 변환에 대하여, 상기 계조 변환부(103)는, 고계조 화상의 원하는 화상 영역(얼굴 영역)에서의 특징이 명확하게 나타나도록 계조 보정함으로써 밝기를 보정하는 것이다. 이하, 계조 변환부(103)에 적용되는 계조 보정 처리의 예를 설명한다.

도 4의 (A) 및 도 4의 (B)는, 상기 계조 변환부(103)에 적용되는 계조 변환 처리의 예를 설명하기 위한 도면이다. 도 4의 (A)는, 12bit의 고계조 화상의 예이다. 도 4의 (B)은, 도 4의 (A)에 도시하는 고계조 화상을 계조 변환부(103)에 의해 계조 변환한 8bit의 저계조 화상의 예이다. 또한, 도 5는, 상기 계조 변환부(103)에 적용되는 계조 변환 처리를 위한 함수의 예를 도시하는 도면이다.

도 4의 (A)에 도시하는 고계조 화상에서는, 휘도 분포가 a점으로부터 b점의 사이에 집중하고 있다. 이러한 휘도 분포의 고계조 화상에 대해서는, a점으로부터 b점까지의 휘도 분포가 넓어지도록 밝기 보정이 실시되는 것이 바람직하다. 또한, 도 4의 (A)에 나타내는 휘도 분포가 인물의 얼굴 영역의 화상에 의한 것이라고 상정하면, 전술한 바와 같은 밝기 보정을 행함으로써, 얼굴의 특징이 추출되기 쉬워진다고 생각된다. 따라서, 상기 계조 변환부(103)에서는, 고계조 화상에서의 상한값 a와 하한값 b를 결정하고, 그 a점으로부터 b점까지의 값을 저계조 화상에서의 최대값과 최소값으로 맵핑하는 계조 변환 처리를 행한다. 이러한 계조 변화 처리 에 따르면, 도 4의 (A)에 도시한 바와 같은 고계조 화상은, 도 4의 (B)에 도시한 바와 같은 저계조 화상으로 변환된다.

상한값 a 및 하한값 b는, 예를 들면, 간단히, 휘도 분포에서의 휘도값(예를 들면, 휘도값의 평균값의 크기)뿐만 아니라, 분포의 확대(즉, 휘도 분포의 분산) 등으로 나타내어지는 콘트라스트를 고려하여 결정하는 것이 가능하다. 즉, 상한값 a 및 하한값 b는, 화상 전체에서의 휘도값의 전체값뿐만 아니라, 휘도값의 분포의 확대 등을 고려한 값으로 설정된다. 이러한 상한값 a 및 하한값 b를 각각 최대값 및 최소값으로 맵핑하는 계조 변환 처리를 행함으로써, 특정한 영역(얼굴 영역)의 고계조 화상을 대조 처리에 적합한 저계조 화상으로 변환할 수 있다.

또한, 전술한 바와 같은 계조 변환 처리는, 예를 들면, 도 5에 도시한 바와 같이, 고계조 화상에서의 상한값 a 및 하한값 b가, 각각 저계조 화상의 최대값 Z'n 및 최소값 0으로 되도록 하는 1차식에 기초하여 실현된다. 또한, 계조 변환 처리는, 도 5에 나타낸 바와 같은 1차식뿐만 아니라, 고계조 화상에서의 상한값 a 및 하한값 b가 각각 저계조 화상의 최대값 Z'n 및 최소값 0으로 변환되도록 하는 임의의 함수가 적용 가능하다.

즉, 계조 변환부(103)는, 고계조 화상 취득부(101)에 의해 얻어지는 복수매의 화상 데이터 중 변환 대상으로 되는 t번째의 고계조의 화상 데이터와, 거기에 화상에 대한 얼굴 검출부(102)에 의해 얻어지는 얼굴 영역 정보를 취득한다. 그러면, 계조 변환부(103)는, 고계조의 화상 데이터에서의 얼굴 영역을 처리 대상 영역으로서 설정한다. 처리 대상 영역을 설정하면, 계조 변환부(103)는, 그 처리 대상 영역에서의 휘도 분포에 기초하여, 계조 변환의 상한값 a와 하한값 b를 결정한다. 상한값 a와 하한값 b를 결정하면, 계조 변환부(103)는, 소정의 함수(예를 들면, 도 5에 나타낸 바와 같은 1차식)에 따라서, 상한값 a 및 하한값 b가 각각 저계조 화상의 최대값 Z'n 및 최소값 0으로 되도록 하는 계조 변환 처리를 행한다. 이에 의해, 처리 대상 영역으로서의 얼굴 영역의 화상은, 밝기가 보정된 저계조 화상으로 변환된다.

다음으로, 상기 얼굴 인증 장치(1A)에서의 얼굴 화상에 의한 인증 처리(얼굴 인증 처리)의 흐름에 대하여 설명한다.

도 6은, 제1 실시예로서의 얼굴 인증 장치(1A)에서의 얼굴 인증 처리의 흐름을 설명하기 위한 플로우차트이다.

예를 들면, 도 1에 도시한 바와 같은 시스템 구성에서, 보행자 M이 C 지점에 침입하면, 촬영 장치(11)는, 그 보행자 M이 B 지점에 이르기까지의 동안(보행자 M이 촬영 대상 영역에 존재하는 동안), 그 보행자의 얼굴을 포함하는 화상을 고계조로 촬영한다. 상기 촬영 장치(11)에 의해 촬영된 고계조 화상은, 순차적으로, 얼굴 인증 장치(1A)에 공급된다.

즉, 보행자 M이 촬영 대상 영역에 존재하는 동안, 상기 얼굴 인증 장치(1A)에서는, 고계조 화상 취득부(101)에 의해 촬영 장치(11)로부터의 고계조 화상을 순차적으로 취득한다(스텝 S101). 고계조 화상 취득부(101)는, 촬영 장치(11)로부터 취득한 고계조 화상을 얼굴 검출부(102)와 계조 변환부(103)에 출력한다. 고계조 화상 취득부(101)로부터 고계조 화상이 공급된 얼굴 검출부(102)는, 그 고계조 화 상으로부터 인물의 얼굴 영역같은 영역을 검출한다(스텝 S102). 상기 얼굴 검출부(102)는, 검출한 얼굴 영역을 나타내는 정보를 계조 변환부(103)와 얼굴 특징 추출부(104)에 출력한다. 상기 계조 변환부(103)에서는, 상기 고계조 화상 취득부(101)로부터 공급된 고계조 화상에 대한 계조 변환 처리를 행한다(스텝 S103).

즉, 상기 계조 변환부(103)에서는, 상기 고계조 화상 취득부(101)로부터 공급된 고계조 화상과 상기 얼굴 검출부(102)로부터 공급된 그 고계조 화상에서의 얼굴 영역을 나타내는 정보에 의해, 얼굴 영역의 고계조 화상에서의 휘도 분포를 생성한다. 얼굴 영역의 휘도 분포를 생성하면, 계조 변환부(103)는, 전술한 바와 같이, 휘도 분포의 상태로부터 계조 변환 처리에 이용되는 고계조 화상에서의 상한값 a와 하한값 b를 결정한다. 고계조 화상에서의 상한값 a와 하한값 b가 결정되면, 계조 변환부(103)는, 고계조 화상에서의 상한값 a 및 하한값 b가 각각 저계조 화상의 최대값 Z'n 및 최소값 0으로 되도록 하는 계조 변환 처리를 행한다. 이에 의해, 계조 변환부(103)는, 취득한 고계조 화상에서의 얼굴 영역의 화상의 밝기를 보정한 저계조 화상을 얻는다.

상기한 바와 같은 계조 변환 처리에 의해 얻어진 화상은, 얼굴 특징 추출부(104)에 공급된다. 상기 얼굴 특징 추출부(104)는, 계조 변환부(103)에 의해 저계조로 변환된 화상 중 얼굴 검출부(102)에 의해 검출된 얼굴 영역으로부터 얼굴 특징 정보를 추출하는 처리를 행한다(스텝 S104).

전술한 스텝 S101∼S104의 처리는, 예를 들면, 상기 촬영 장치(11)가 보행자 M을 촬영하고 있는 동안(스텝 S105, '아니오'), 반복 실행된다. 즉, 보행자 M이 C 지점으로부터 B 지점을 초과한 경우(스텝 S105, '예'), 상기 얼굴 인증 장치(1A)의 인증 제어부(107)는, 그 보행자 M의 얼굴을 촬영한 고계조 화상의 취득 처리를 종료하고, 얼굴 대조부(106)에 의한 얼굴 대조 처리로 이행한다(스텝 S106). 또한, 소정수의 프레임의 고계조 화상을 취득한 경우, 혹은, 얼굴 영역이 검출 가능하였던 고계조 화상이 소정수에 도달한 경우, 인증 제어부(107)는, 상기 스텝 S101∼S104의 처리를 종료하여 스텝 S106으로 이행하도록 하여도 된다.

즉, 보행자의 얼굴을 촬영한 고계조 화상의 취득이 종료되면, 상기 인증 제어부(107)는, 대조 처리 모드이면, 상기 얼굴 특징 추출부(104)에 의해 추출된 얼굴 특징 정보를 상기 얼굴 대조부(106)에 공급하고, 얼굴 등록 정보 기록부(105)에 기록되어 있는 등록자의 얼굴 특징 정보와의 대조 처리를 행하게 한다. 또한, 얼굴 대조부(106)에 의한 얼굴 대조 처리는, 상기 스텝 S104에서 얼굴 특징 정보가 추출될 때마다 실시하도록 하여도 된다.

상기 얼굴 대조부(106)는, 상기 인증 제어부(107)에 의해 보행자 M의 얼굴 특징 정보가 공급되면, 얼굴 대조 처리로서, 보행자 M의 얼굴 특징 정보에 대한 상기 얼굴 등록 정보 기록부(105)에 기록되어 있는 각 등록자의 얼굴 특징 정보와의 유사도를 산출하는 처리를 행한다(스텝 S106). 이 얼굴 대조 처리의 결과는, 상기 얼굴 대조부(106)로부터 상기 인증 제어부(107)에 공급된다. 이에 의해, 인증 제어부(107)는, 상기 얼굴 대조부(106)에 의한 얼굴 대조 처리의 결과에 기초하여 보행자 M이 등록자인지의 여부를 판정하는 인증 처리를 행한다(스텝 S107).

예를 들면, 상기 얼굴 대조부(106)로부터 얼굴 대조 처리의 결과가 공급된 인증 제어부(107)는, 최대 유사도가 소정의 임계값(본인인 것을 판정하기 위한 임계값) 이상인지의 여부를 판단한다. 이 판단에 의해 최대 유사도가 소정의 임계값이상인 경우, 상기 인증 제어부(107)은, 해당 보행자 M이 최대 유사도로 된 등록자라고 인증한다. 또한, 상기 판단에 의해 최대 유사도가 소정의 임계값 미만인 경우, 상기 인증 제어부(107)는, 해당 보행자 M이 등록자가 아니라고 인증한다.

상기한 바와 같은 인증 결과는, 인증 제어부(107)로부터 출력부(109)를 통하여 표시 장치(12) 및 통행 제어 장치(13)에 공급된다. 이에 의해, 표시 장치(12)에는 인증 결과 등이 표시되고, 통행 제어 장치(13)는 인증 결과에 기초하는 해당 보행자의 통행 제어를 실시한다.

또한, 등록 처리 모드인 경우, 인증 제어부(107)는, 상기 스텝 S106 및 S107의 처리 대신에, 상기 스텝 S104에서 추출한 얼굴 특징 정보를 해당 보행자(등록자)에 공급되는 식별 정보(예를 들면, 입력 장치(14)로부터 입력부(108)를 통하여 입력되는 식별 정보)와 대응지은 얼굴 특징 정보로서 얼굴 등록 정보 기록부(105)에 기록하는 처리를 행한다.

이상, 설명한 바와 같이, 제1 실시예에 따른 얼굴 인증 장치(1A)에서는, 보행자의 얼굴을 포함하는 고계조 화상을 취득하고, 취득한 고계조 화상의 얼굴 영역에서의 밝기가 최적으로 되도록 하는 계조 변환 처리에 의해 고계조 화상을 저계조 화상으로 변환하고, 밝기가 최적화된 저계조의 화상에 기초하여 얼굴 특징 정보의 추출 처리 및 얼굴 대조 처리를 행하도록 되어 있다.

이에 의해, 상기 얼굴 인증 장치(1A)에 따르면, 시행 내의 조명 조건이 크게 상이한 경우, 즉, 보행자가 촬영 대상 영역을 보행 중에 조명 조건 등의 촬영 환경이 변동하는 경우에도, 안정된 얼굴 화상을 리얼타임으로 취득할 수 있다. 이 결과로서, 상기 얼굴 인증 장치(1A)에 따르면, 고정밀도의 얼굴 화상에 의한 인증 처리를 실시할 수 있다.

다음으로, 제2 실시예에 대하여 설명한다.

도 7은, 제2 실시예에 따른 얼굴 인증 장치(1B)의 구성예를 도시하는 도면이다.

도 7에 도시한 바와 같이, 얼굴 인증 장치(1B)는, 고계조 화상 취득부(201), 얼굴 검출부(202), 고계조 화상 저장부(210), 계조 변환부(203), 얼굴 특징 추출부(204), 얼굴 등록 정보 기록부(205), 얼굴 대조부(206), 인증 제어부(207), 입력부(208), 출력부(209) 등에 의해 구성되어 있다. 또한, 얼굴 인증 장치(1B)의 운용 형태로서는, 도 1에 도시한 바와 같은 얼굴 인증 시스템에 적용되는 것이 상정된다. 이 경우, 얼굴 인증 장치(1B)에는, 도 1에 도시한 바와 같은 촬영 장치(11), 표시 장치(12), 통행 제어 장치(13) 및 입력 장치(14)가 접속되어 있는 것으로 한다.

또한, 도 7에 도시하는 얼굴 인증 장치(1B)는, 제1 실시예에서 설명한 도 2에 도시하는 얼굴 인증 장치(1A)에 고계조 화상 저장부(210)가 부가된 구성으로 되어 있다. 또한, 각 부의 처리 내용으로서는, 얼굴 인증 장치(1B)의 계조 변환부(203)에서의 처리 내용이, 얼굴 인증 장치(1A)의 계조 변환부(103)에서의 처리 내용과 상이하다. 즉, 도 7에 도시하는 얼굴 인증 장치(1B)에서의 고계조 화상 취 득부(201), 얼굴 검출부(202), 얼굴 특징 추출부(204), 얼굴 등록 정보 기록부(205), 얼굴 대조부(206), 인증 제어부(207), 입력부(208), 출력부(209)는, 각각 제1 실시예에서 설명한 얼굴 인증 장치(1A)에서의 고계조 화상 취득부(101), 얼굴 검출부(102), 얼굴 특징 추출부(104), 얼굴 등록 정보 기록부(105), 얼굴 대조부(106), 인증 제어부(107), 입력부(108), 출력부(109)와 동등한 처리를 행하는 기능을 갖고 있는 것이다. 이 때문에, 얼굴 인증 장치(1B)에서의 고계조 화상 저장부(210) 및 계조 변환부(203) 이외의 각 부에 대해서는, 상세한 설명을 생략하는 것으로 한다.

상기 고계조 화상 저장부(210)는, 고계조 화상 취득부(201)에 의해 연속적으로 취득하는 복수의 고계조 화상(고계조 화상열)과, 얼굴 검출부(202)에 의해 얻어지는 각 고계조 화상에 대한 얼굴 영역을 나타내는 정보를 대응지어 저장한다. 상기 고계조 화상 저장부(210)는, 각 보행자마다, 연속하여 취득한 고계조 화상에서의 얼굴 영역의 화상을 각 보행자의 얼굴 화상예로서 저장하고 있다. 또한, 복수의 보행자가 동일 화상으로부터 동시에 검출된 경우, 각 보행자의 얼굴 화상예가 별개의 영역에 저장된다.

도 8은, 고계조 화상 저장부(210)에서의 각 보행자의 화상열을 기억하기 위한 기억 영역의 구성예를 도시하는 도면이다. 도 8에 도시한 바와 같이, 고계조 화상 저장부(210)에는, 각 보행자마다 취득한 고계조 화상으로부터 검출된 얼굴 영역의 화상열(각 보행자의 고계조의 얼굴 화상열)이 저장된다.

상기 계조 변환부(203)는, 고계조 화상 저장부(210)에 의해 저장되는 복수의 고계조 화상(고계조의 얼굴 화상열)에 대하여, 계조 변환 처리를 행한다. 처리 대상 영역의 설정 방법은, 제1 실시예에서 설명한 방법과 마찬가지이다. 즉, 계조 변환부(203)는, 각 고계조 화상에서의 얼굴 영역을 처리 대상 영역으로서 설정한다. 또한, 계조 변환부(203)에는, 개개의 고계조 화상에 대한 계조 변환 방법도, 제1 실시예에서 설명한 계조 변환부(103)와 마찬가지의 계조 변환 처리를 적용할 수 있다. 예를 들면, 도 5에 나타낸 바와 같은 1차식에 기초하는 계조 변환 처리를 적용할 수 있다.

단, 계조 변환부(203)는, 처리 대상으로 하는 얼굴 화상에 대하여, 전후의 얼굴 화상을 이용하는 점이, 상기 계조 변환부(103)와는 상이하다. 즉, 계조 변환부(203)에서는, 처리 대상으로 하는 얼굴 화상에 대하여 전후의 복수의 얼굴 화상을 통합하고, 통합한 얼굴 화상에 대하여 계조 변환을 실시한다. 이러한 복수의 화상을 통합하는 방법으로서는, 예를 들면, 복수의 화상으로부터 선출되는 대표값을 선택하는 방법, 이동 평균을 이용하는 방법, 혹은, 중간값을 이용하는 방법 등이 생각된다. 이와 같이, 계조 변환부(203)에서는, 처리 대상으로 하는 화상과 그 전후의 복수의 화상을 통합하고, 그 통합한 화상을 계조 변환함으로써 저계조 화상을 얻는다. 이러한 계조 변환 처리에 의해 얻어진 저계조 화상은, 계조 변환부(103)로부터 얼굴 특징 추출부(204)에 출력된다.

예를 들면, 도 9는, 고계조 화상 저장부(210)에 저장되어 있는 임의의 보행자에 대한 얼굴 화상열의 예인 것으로 한다. 도 9에 도시한 바와 같은 고계조의 화상열에 대하여, 계조 변환부(203)가 t번째로 취득한 화상(t번째의 화상)을 계조 변환의 대상으로 하는 경우를 상정한다. 이 경우, 계조 변환부(203)는, 변환 대상으로 되는 t번째의 화상뿐만 아니라, 시간적으로 연속하는 전후(t±i까지)의 화상을 이용한다. 예를 들면, 전후에 각각 2개분의 화상을 이용하는 경우(즉, i=2로 하는 경우), 계조 변환부(203)는, t-2, t-1, t, t+1, t+2번째의 5개의 고계조 화상을 통합하는 처리를 행한다. 통합한 고계조 화상이 얻어지면, 계조 변환부(203)는, 통합한 고계조 화상을 상기 계조 변환부(103)와 마찬가지의 방법에 의해, 계조 변환한다. 이에 의해 얻어진 저계조 화상을 t번째의 고계조 화상에 대한 계조 변환 처리의 결과로 한다.

상기한 바와 같이, 계조 변환부(203)에서는, 시간적으로 연속하는 복수의 화상을 이용한 계조 변환 처리를 실행함으로써, 보행 중의 휘도 변화를 유지할 수 있고, 검출되는 얼굴 영역의 화상을 최적화할 수 있으며, 얼굴의 특징 정보의 검출 오차에 대하여 완강한 계조 변환 처리가 가능하게 된다.

다음으로, 상기 얼굴 인증 장치(1B)에서의 얼굴 화상에 의한 인증 처리(얼굴 인증 처리)의 흐름에 대하여 설명한다.

도 10은, 제2 실시예로서의 얼굴 인증 장치(1B)에서의 인증 처리의 흐름을 설명하기 위한 플로우차트이다.

예를 들면, 도 1에 도시한 바와 같은 시스템 구성에서, 보행자 M이 C 지점에 침입하면, 촬영 장치(11)는, 그 보행자 M이 B 지점에 이르기까지의 동안(보행자 M이 촬영 대상 영역에 존재하는 동안), 그 보행자의 얼굴을 포함하는 화상을 고계조로 연속적으로 촬영한다. 상기 촬영 장치(11)에 의해 촬영된 고계조 화상은, 순차 적으로, 얼굴 인증 장치(1B)에 공급된다.

즉, 보행자 M이 촬영 대상 영역에 존재하는 동안, 상기 얼굴 인증 장치(1B)에서는, 고계조 화상 취득부(201)에 의해 촬영 장치(11)로부터의 고계조 화상을 순차적으로 취득한다(스텝 S201). 고계조 화상 취득부(201)는, 촬영 장치(11)로부터 취득한 고계조 화상을 고계조 화상 저장부(210)의 기억 영역에 저장함과 함께, 얼굴 검출부(202)에 출력한다. 고계조 화상 취득부(201)로부터 고계조 화상이 공급된 얼굴 검출부(202)는, 그 고계조 화상으로부터 인물의 얼굴 영역같은 영역을 검출한다(스텝 S202). 상기 얼굴 검출부(202)는, 검출한 얼굴 영역을 나타내는 정보를 고계조 화상 저장부(210)와 얼굴 특징 추출부(204)에 출력한다. 상기 고계조 화상 저장부(210)에서는, 얼굴 검출부(202)에 의한 얼굴 영역의 검출 결과에 기초하여 고계조 화상 취득부(201)로부터 취득한 고계조 화상에서의 얼굴 영역의 화상(고계조의 얼굴 화상)을 추출하고, 추출한 고계조의 얼굴 화상을 해당 보행자 M의 얼굴 화상열로서 저장한다(스텝 S203).

전술한 스텝 S201∼S203의 처리는, 예를 들면, 상기 촬영 장치(11)가 보행자 M을 촬영하고 있는 동안(스텝 S204, '아니오'), 반복 실행된다. 이에 의해, 상기 고계조 화상 저장부(210)에는, 상기 촬영 장치(11)가 촬영한 복수의 고계조 화상에서의 보행자 M의 얼굴 화상이 그 보행자 M의 화상열로서 저장된다. 또한, 보행자 M이 C 지점으로부터 B 지점을 초과한 경우(스텝 S204, '예'), 상기 얼굴 인증 장치(1B)의 인증 제어부(107)는, 그 보행자 M의 얼굴을 촬영한 고계조 화상의 취득 처리를 종료하고, 계조 변환부(203)에 의한 계조 변환 처리로 이행한다(스텝 S205). 또한, 소정수의 프레임의 고계조 화상을 취득한 경우, 혹은, 얼굴 영역을 검출 가능하였던 고계조 화상이 소정수에 도달한 경우, 상기 스텝 S201∼S203의 처리를 종료하여 스텝 S205로 이행하도록 하여도 된다.

상기 고계조 화상 저장부(210)에의 화상열의 저장 처리가 종료되면, 상기 계조 변환부(203)에서는, 전술한 바와 같이, 해당 보행자 M의 화상예에서의 각 화상에 대하여, 전후의 화상을 이용한 계조 변환 처리를 행한다. 즉, 상기 계조 변환부(103)에서는, 상기 고계조 화상 저장부(210)에 저장되어 있는 해당 보행자 M의 화상예에서의 각 고계조 화상(고계조의 얼굴 화상)에 대하여 전후의 고계조 화상을 통합하고, 통합한 고계조 화상에 대하여 계조 변환 처리를 실시한다. 이 경우의 계조 변환 처리로서는, 통합한 고계조 화상(얼굴 화상)에서의 휘도 분포를 생성하고, 생성한 휘도 분포의 상태로부터 계조 변환 처리에 이용되는 고계조 화상의 상한값 a와 하한값 b를 결정한다. 고계조 화상의 상한값 a와 하한값 b를 결정하면, 계조 변환부(203)는, 고계조 화상에서의 상한값 a 및 하한값 b가 각각 저계조 화상의 최대값 Z'n 및 최소값 0으로 되도록 하는 계조 변환 처리를 행한다. 이에 의해, 계조 변환부(203)는, 처리 대상으로 하는 고계조 화상(고계조의 얼굴 화상)에서의 밝기를 보정한 저계조 화상을 얻는다.

상기한 바와 같은 계조 변환 처리에 의해 얻어진 저계조 화상은, 얼굴 특징 추출부(204)에 공급된다. 상기 얼굴 특징 추출부(204)는, 계조 변환부(203)에 의해 얻어진 저계조 화상으로부터 얼굴의 특징 정보를 추출하는 처리를 행한다(스텝 S206). 상기 얼굴 특징 추출부(204)에 의해 추출된 얼굴의 특징 정보는, 보행자 M 의 얼굴의 특징 정보로서 인증 제어부(207)에 공급된다. 이에 의해, 상기 인증 제어부(207)는, 대조 처리 모드이면, 상기 얼굴 특징 추출부(204)에 의해 추출된 얼굴 특징 정보를 상기 얼굴 대조부(206)에 공급하고, 얼굴 등록 정보 기록부(205)에 기록되어 있는 등록자의 얼굴 특징 정보와의 대조 처리를 행하게 한다.

상기 얼굴 대조부(206)는, 상기 인증 제어부(207)에 의해 보행자 M의 얼굴 특징 정보가 공급되면, 얼굴 대조 처리로서, 보행자 M의 얼굴 특징 정보에 대한 상기 얼굴 등록 정보 기록부(205)에 기록되어 있는 각 등록자의 얼굴 특징 정보와의 유사도를 산출하는 처리를 행한다(스텝 S207). 이 얼굴 대조 처리의 결과는, 상기 얼굴 대조부(206)로부터 상기 인증 제어부(207)에 공급된다. 이에 의해, 인증 제어부(207)는, 상기 얼굴 대조부(206)에 의한 얼굴 대조 처리의 결과에 기초하여 보행자 M이 등록자인지의 여부를 판정하는 인증 처리를 행한다(스텝 S207).

예를 들면, 상기 얼굴 대조부(206)로부터 얼굴 대조 처리의 결과가 공급된 인증 제어부(207)는, 최대 유사도가 소정의 임계값(본인인 것을 판정하기 위한 임계값) 이상인지의 여부를 판단한다. 이 판단에 의해 최대 유사도가 소정의 임계값이상인 경우, 상기 인증 제어부(207)는, 해당 보행자 M이 최대 유사도로 된 등록자라고 인증한다. 또한, 상기 판단에 의해 최대 유사도가 소정의 임계값 미만인 경우, 상기 인증 제어부(207)는, 해당 보행자 M이 등록자가 아니라고 인증한다.

또한, 상기한 바와 같은 인증 결과는, 인증 제어부(207)로부터 출력부(209)를 통하여 표시 장치(12) 및 통행 제어 장치(13)에 공급된다. 이에 의해, 표시 장치(12)에는 인증 결과 등이 표시되고, 통행 제어 장치(13)는 인증 결과에 기초하는 해당 보행자의 통행 제어를 실시한다.

또한, 등록 처리 모드인 경우, 인증 제어부(207)는, 상기 스텝 S207 및 S208의 처리 대신에, 상기 스텝 S206에서 추출한 얼굴 특징 정보를 해당 보행자(등록자)에 공급되는 식별 정보(예를 들면, 입력 장치(14)로부터 입력부(208)를 통하여 입력되는 식별 정보)와 대응지은 얼굴 특징 정보로서 얼굴 등록 정보 기록부(205)에 기록하는 처리를 행한다.

이상, 설명한 바와 같이, 제2 실시예에 따른 얼굴 인증 장치(1B)에서는, 시간적으로 연속하는 복수의 고계조 화상을 취득하고, 취득한 각 고계조 화상에서의 얼굴 영역의 화상을 해당 보행자 M의 얼굴 화상열로서 고계조 화상 저장부(210)에 저장해 두고, 상기 고계조 화상 저장부(210)에 저장된 고계조의 각 얼굴 화상에 대해서는 그 전후의 얼굴 화상과 통합하여, 얼굴 화상의 밝기가 최적으로 되도록 하는 계조 변환을 실행하고, 밝기가 최적화된 저계조의 얼굴 화상으로부터 얼굴 특징 정보의 추출 처리 및 얼굴 대조 처리를 행하도록 되어 있다.

이에 의해, 상기 얼굴 인증 장치(1B)에 따르면, 시행 내의 조명 조건이 크게 상이한 경우, 즉, 보행자가 촬영 대상 영역을 보행 중에 조명 조건 등의 촬영 환경이 변동하는 경우에도, 시간적으로 연속하는 복수의 화상을 이용하여 안정된 얼굴 화상을 리얼타임으로 취득할 수 있다. 이 결과로서, 상기 얼굴 인증 장치(1A)에 따르면, 고정밀도의 얼굴 화상에 의한 인증 처리를 실시할 수 있다.

다음으로, 제3 실시예에 대하여 설명한다.

이하에 설명하는 제3 실시예는, 상기 제1 실시예에서 설명한 얼굴 인증 장 치(1A) 혹은 제2 실시예에서 설명한 얼굴 인증 장치(1B)의 어느 쪽에도 적용할 수 있는 것이다. 여기에서는, 제3 실시예가, 제2 실시예에서 설명한 얼굴 인증 장치(1B)에 적용된 경우를 상정하여 설명하는 것으로 한다.

도 11은, 제3 실시예로서의 얼굴 인증 장치(1C)의 구성예를 도시하는 도면이다.

도 11에 도시한 바와 같이, 얼굴 인증 장치(1C)는, 고계조 화상 취득부(301), 얼굴 검출부(302), 고계조 화상 저장부(310), 벗어남값 제거부(311), 계조 변환부(303), 얼굴 특징 추출부(304), 얼굴 등록 정보 기록부(305), 얼굴 대조부(306), 인증 제어부(307), 입력부(308) 및 출력부(309) 등에 의해 구성되어 있다. 또한, 얼굴 인증 장치(1C)의 운용 형태로서는, 도 1에 도시한 바와 같은 얼굴 인증 시스템에 적용되는 것이 상정된다. 이 경우, 얼굴 인증 장치(1C)에는, 도 1에 도시한 바와 같은 촬영 장치(11), 표시 장치(12), 통행 제어 장치(13) 및 입력 장치(14)가 접속된다.

또한, 도 11에 도시하는 얼굴 인증 장치(1C)는, 제2 실시예에서 설명한 도 7에 도시하는 얼굴 인증 장치(1B)에 벗어남값 제거부(311)가 부가된 구성으로 되어 있다. 즉, 도 11에 도시하는 얼굴 인증 장치(1C)에서의 고계조 화상 취득부(301), 얼굴 검출부(302), 고계조 화상 저장부(310), 계조 변환부(303), 얼굴 특징 추출부(304), 얼굴 등록 정보 기록부(305), 얼굴 대조부(306), 인증 제어부(307), 입력부(308) 및 출력부(309)는, 각각 제2 실시예에서 설명한 얼굴 인증 장치(1B)에서의 고계조 화상 취득부(201), 얼굴 검출부(202), 고계조 화상 저장부(210), 계조 변환 부(203), 얼굴 특징 추출부(204), 얼굴 등록 정보 기록부(205), 얼굴 대조부(206), 인증 제어부(207), 입력부(208), 출력부(209)와 동등한 처리를 행하는 기능을 갖고 있는 것이다. 이 때문에, 얼굴 인증 장치(1C)에서의 벗어남값 제거부(311) 이외의 각 부에 대해서는, 상세한 설명을 생략하는 것으로 한다.

상기 벗어남값 제거부(311)는, 얼굴 영역의 화상(얼굴 화상)에서의 휘도 분포에서, 얼굴 화상으로서 적절한 휘도 분포로부터 현저하게 벗어난 휘도값을 제외하는 처리를 행하는 것이다. 얼굴 화상에서의 적절한 휘도 분포로부터 벗어나 있는지의 여부를 판정하는 방법에는, 미리 올바르게 교시된 얼굴 영역의 평균 휘도 분포를 유지해 두어 비교하는 방법, 입력되는 얼굴 영역의 휘도 분포를 정규 분포라고 가정하여 히스토그램의 평균값과 표준 편차에 의해 벗어남값을 구하는 방법 등이 적용 가능하다.

또한, 상기 벗어남값 제거부(311)에 의해 벗어남값이 제외된 얼굴 화상의 휘도 분포를 나타내는 정보는, 계조 변환부(303)에 출력된다. 이에 의해, 계조 변환부(303)에서는, 벗어남값이 제외된 얼굴 화상에서의 휘도 분포에 기초하여 상기 상한값 a 및 하한값 b를 결정할 수 있다. 이 결과로서, 계조 변환부(303)에서는, 벗어남값을 제외하면서, 상기 제2 실시예에서 설명한 계조 변환부(203) 혹은 상기 제1 실시예에서 설명한 계조 변환부(103)와 마찬가지의 계조 변환을 실행할 수 있다.

예를 들면, 도 12는, 적절한 휘도 분포로서 판정되는 얼굴 영역의 휘도 분포와 벗어남값으로서 판정되는 배경 영역의 휘도 분포를 포함하는 화상의 휘도 분포를 나타내는 도면이다. 일반적으로, 얼굴 영역과 배경 영역은, 휘도 분포의 특징 이 상이하다고 생각된다. 즉, 얼굴 영역에서의 휘도 분포와 배경 영역에서의 휘도 분포는, 도 12에 도시한 바와 같이, 각각 상이한 피크를 갖는 분포로 된다. 이 때문에, 적절한 얼굴 영역의 휘도 분포, 혹은, 배경 영역의 휘도 분포를 판별할 수 있으면, 배경 영역의 휘도 분포를 벗어남값으로서 제거하는 처리가 가능하게 된다. 도 12에 도시하는 예에서는, a점으로부터 b점의 사이의 휘도 분포가 얼굴 영역의 휘도 분포라고 판정하여, 상한값을 a점으로 하고 하한값을 b점으로 하는 계조 변환 처리를 행함으로써, 배경 영역의 휘도 분포가 제외되게 된다.

또한, 상기한 바와 같은 벗어남값 제거부(311)를 갖는 얼굴 인증 장치(1C)에서의 얼굴 인증 처리에서는, 예를 들면, 도 10에 도시하는 얼굴 인증 장치(1B)의 얼굴 인증 처리에서의 스텝 S205의 계조 변환 처리의 직전에, 전술한 벗어남값 제거부(311)에 의한 벗어남값 제거 처리가 실시되는 흐름으로 된다. 또한, 상기 벗어남값 제거부(311)를 제1 실시예에서 설명한 얼굴 인증 장치(1A)에 적용하는 경우, 얼굴 인증 처리는, 예를 들면, 도 6에 도시하는 얼굴 인증 장치(1A)의 얼굴 인증 처리에서의 스텝 S103의 계조 변환 처리의 직전에, 전술한 벗어남값 제거부(311)에 의한 벗어남값 제거 처리가 실시되는 흐름으로 된다.

이상, 설명한 바와 같이, 제3 실시예의 얼굴 인증 장치에서는, 얼굴 영역의 휘도 분포와는 현저하게 벗어난 배경 영역 등의 휘도값을 제외하고, 얼굴 영역의 휘도 분포로서 적절한 휘도 분포에 기초하여 계조 변환 처리를 위한 파라미터를 결정하고, 그 파라미터에 의해 얼굴 영역의 밝기가 최적으로 되도록 하는 계조 변환을 실행하고, 밝기가 최적화된 저계조의 얼굴 화상으로부터 얼굴 특징 정보의 추출 처리 및 얼굴 대조 처리를 행하도록 되어 있다. 이에 의해, 제3 실시예의 얼굴 인증 장치에 따르면, 얼굴 영역의 검출 정밀도가 떨어지는 경우라도, 얼굴 영역 이외의 배경 영역 등 휘도 분포를 제외한 안정된 얼굴 화상을 리얼타임으로 취득할 수 있다.

당 분야의 업자라면 부가적인 장점 및 변경들을 용이하게 생각해 낼 것이다. 따라서, 광의의 관점에서의 본 발명은 본 명세서에 예시되고 기술된 상세한 설명 및 대표 실시예들에 한정되는 것은 아니다. 따라서, 첨부된 청구 범위들 및 그 등가물들에 의해 정의된 바와 같은 일반적인 발명적 개념의 정신 또는 범위로부터 벗어나지 않고 다양한 변경이 가능하다.

도 1은, 각 실시예에 따른 얼굴 인증 장치가 적용되는 얼굴 인증 시스템의 구성예를 도시하는 도면.

도 2는, 제1 실시예에 따른 얼굴 인증 장치의 구성예를 도시하는 도면.

도 3의 (A)는, 12bit의 고계조 화상의 예를 도시하는 도면.

도 3의 (B)는, 도 3의 (A)에 도시하는 고계조 화상으로부터 얻어지는 저계조 화상의 예를 도시하는 도면.

도 3의 (C)는, 신호의 증폭 처리에 의해 얻어지는 고계조 화상의 예를 도시하는 도면.

도 3의 (D)는, 도 3의 (C)에 도시하는 고계조 화상으로부터 얻어지는 저계조 화상의 예를 도시하는 도면.

도 4의 (A)는, 고계조 화상의 예를 도시하는 도면.

도 4의 (B)는, 도 4의 (A)에 도시하는 고계조 화상으로부터 얻어지는 저계조 화상의 예를 도시하는 도면.

도 5는, 계조 변환부에 적용되는 계조 변환 처리를 위한 함수의 예를 도시하는 도면.

도 6은, 제1 실시예에 따른 얼굴 인증 장치에서의 얼굴 인증 처리의 흐름을 설명하기 위한 플로우차트.

도 7은, 제2 실시예에 따른 얼굴 인증 장치의 구성예를 도시하는 도면.

도 8은, 고계조 화상 저장부에서의 각 보행자의 화상열을 기억하기 위한 기 억 영역의 구성예를 도시하는 도면.

도 9는, 고계조 화상 저장부에 저장되어 있는 임의의 보행자의 얼굴 화상열의 예를 도시하는 도면.

도 10은, 제2 실시예에 따른 얼굴 인증 장치에서의 얼굴 인증 처리의 흐름을 설명하기 위한 플로우차트.

도 11은, 제3 실시예에 따른 얼굴 인증 장치의 구성예를 도시하는 도면.

도 12는, 얼굴 영역의 휘도 분포와 배경 영역의 휘도 분포를 포함하는 화상의 휘도 분포를 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1A: 얼굴 인증 장치

11: 촬영 장치

12: 표시 장치

13: 통행 제어 장치

14: 입력 장치

101: 고계조 화상 취득부

102: 얼굴 검출부

103: 계조 변환부

104: 얼굴 특징 추출부

105: 얼굴 등록 정보 기록부

106: 얼굴 대조부

107: 인증 제어부

108: 입력부

Claims

보행 중인 인물의 얼굴을 포함하는 고계조 화상을 취득하는 취득부(101, 201, 301)와,

상기 취득부에 의해 취득한 고계조 화상에서의 얼굴 영역을 검출하는 얼굴 검출부(102, 202, 302)와,

상기 얼굴 검출부에 의해 검출된 얼굴 영역에서의 휘도 분포에 따라서 고계조 화상을 저계조 화상으로 변환하는 계조 변환부(103, 203, 303)와,

상기 계조 변환부에 의해 얻어진 저계조 화상에서의 얼굴 영역으로부터 얼굴 특징 정보를 추출하는 특징 추출부(104, 204, 304)와,

상기 특징 추출부에 의해 추출된 얼굴 특징 정보와 등록자의 얼굴 특징 정보를 대조함으로써 상기 보행 중인 인물이 등록자인지의 여부를 인증하는 인증부(106-107, 206-207, 306-307)

를 갖는 인물 인증 장치(1A, 1B, 1C).
제1항에 있어서,

상기 계조 변환부(103, 203, 303)는, 상기 얼굴 검출부에 의해 검출된 얼굴 영역의 휘도 분포에서의 상한값 및 하한값을 결정하고, 상기 상한값 및 상기 하한값이 각각 변환 후의 저계조 화상에서의 최대값 및 최소값으로 되도록 하는 계조 변환을 행하는 인물 인증 장치(1A, 1B, 1C).
제2항에 있어서,

상기 계조 변환부(103, 203, 303)는, 상기 상한값 및 상기 하한값이 각각 변환 후의 저계조 화상에서의 최대값 및 최소값으로 변환되도록 하는 1차식에 기초하여 계조 변환을 행하는 인물 인증 장치(1A, 1B, 1C).
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 얼굴 검출부에 의해 검출된 얼굴 영역에서의 휘도 분포로부터 얼굴 이외의 영역의 휘도값을 판정하고, 상기 얼굴 이외의 영역이라고 판정된 휘도값을 제거한 휘도 분포를 생성하는 제거부(311)를 더 갖고,

상기 계조 변환부(103, 203, 303)는, 상기 제거부에 의해 얼굴 이외의 영역의 휘도값이 제거된 휘도 분포에 기초하여 계조 변환을 행하는 인물 인증 장치(1A, 1B, 1C).
제1항에 있어서,

상기 취득부에 의해 각 고계조 화상을 취득한 순서대로, 상기 얼굴 검출부에 의해 검출된 얼굴 영역의 고계조 화상을 화상열로서 저장하는 저장부(210, 310)를 더 갖고,

상기 취득부(201, 301)는, 연속적으로 보행 중인 인물의 얼굴을 포함하는 복수의 고계조 화상을 취득하고,

상기 계조 변환부(203, 303)는, 상기 저장부에 의해 저장되어 있는 화상열에서의 특정한 고계조 화상을 그 전후의 고계조 화상과 통합하고, 그 통합한 고계조 화상의 휘도 분포에 따라서 상기 통합한 고계조 화상을 저계조 화상으로 변환하는 인물 인증 장치(1B, 1C).
제5항에 있어서,

상기 계조 변환부(203, 303)는, 상기 통합한 고계조 화상의 휘도 분포에서의 상한값 및 하한값을 결정하고, 상기 상한값 및 상기 하한값이 각각 변환 후의 저계조 화상에서의 최대값 및 최소값으로 되도록 하는 계조 변환을 행하는 인물 인증 장치(1B, 1C).
제6항에 있어서,

상기 계조 변환부(203, 303)는, 상기 상한값 및 상기 하한값이 각각 변환 후의 저계조 화상에서의 최대값 및 최소값으로 변환되도록 하는 1차식에 기초하여 계조 변환을 행하는 인물 인증 장치(1B, 1C).
제5항 내지 제7항 중 어느 한 항에 있어서,

상기 통합한 고계조 화상의 휘도 분포로부터 얼굴 이외의 영역의 휘도값을 판정하고, 상기 얼굴 이외의 영역이라고 판정된 휘도값을 제거한 휘도 분포를 생성하는 제거부(311)를 더 갖고,

상기 계조 변환부(303)는, 상기 제거부에 의해 얼굴 이외의 영역의 휘도값이 제거된 휘도 분포에 기초하여 계조 변환을 행하는 인물 인증 장치(1C).
보행 중인 인물이 등록자인지의 여부를 인증하는 인물 인증 장치에 이용되는 인물 인증 방법으로서,

보행 중인 인물의 얼굴을 포함하는 고계조 화상을 취득하는 스텝(S101, S201)과,

상기 취득한 고계조 화상에서의 얼굴 영역을 검출하는 스텝(S102, S202)과,

상기 검출한 얼굴 영역에서의 휘도 분포에 따라서 고계조 화상을 저계조 화상으로 계조 변환하는 스텝(S103, S205)과,

상기 계조 변환에 의해 얻어진 저계조 화상에서의 얼굴 영역으로부터 얼굴 특징 정보를 추출하는 스텝(S104, S206)과,

상기 추출된 얼굴 특징 정보와 등록자의 얼굴 특징 정보를 대조함으로써, 상기 보행 중인 인물이 등록자인지의 여부를 인증하는 스텝(S106-S107, S207-S208)

을 갖는 인물 인증 방법.
제9항에 있어서,

상기 계조 변환(S103, S205)은, 상기 검출된 얼굴 영역에서의 휘도 분포로부터 얼굴 이외의 영역의 휘도값을 판정하고, 상기 얼굴 이외의 영역이라고 판정된 휘도값을 제거한 휘도 분포를 생성하고, 상기 얼굴 이외의 영역의 휘도값이 제거된 휘도 분포에 기초하여 계조 변환을 행하는 인물 인증 방법.
제9항에 있어서,

연속적으로 보행 중인 인물의 얼굴을 포함하는 복수의 고계조 화상을 취득하는 스텝(S201)과,

상기 취득한 복수의 고계조 화상에서의 얼굴 영역을 각각 검출하는 스텝(S202)과,

상기 각 고계조 화상을 취득한 순서대로, 상기 검출된 각 얼굴 영역의 고계조 화상을 화상열로서 저장부에 저장하는 스텝(S203)

을 더 갖고,

상기 계조 변환(S205)은, 상기 저장부에 저장되어 있는 화상열에서의 특정한 고계조 화상을 그 전후의 고계조 화상과 통합하고, 상기 통합한 고계조 화상의 휘도 분포에 따라서 상기 통합한 고계조 화상을 저계조 화상으로 변환하는 인물 인증 방법.
제11항에 있어서,

상기 통합한 고계조 화상의 휘도 분포로부터 얼굴 이외의 영역의 휘도값을 판정하고, 상기 얼굴 이외의 영역이라고 판정된 휘도값을 제거한 휘도 분포를 생성하는 스텝(311)을 더 갖고,

상기 계조 변환(S103, S205)은, 상기 얼굴 이외의 영역의 휘도값이 제거된 휘도 분포에 기초하여 계조 변환을 행하는 인물 인증 방법.