KR20130029723A

KR20130029723A - 얼굴 인식 장치 및 얼굴 인식 방법

Info

Publication number: KR20130029723A
Application number: KR1020120100304A
Authority: KR
Inventors: 히로오 사이또; 히로시 스께가와; 오사무 야마구찌
Original assignee: 가부시끼가이샤 도시바
Priority date: 2011-09-15
Filing date: 2012-09-11
Publication date: 2013-03-25
Also published as: KR101381439B1; MX2012010602A; US20130070973A1; US9098760B2

Abstract

일 실시 형태의 얼굴 인식 장치는, 인물마다, 당해 인물의 얼굴의 특징이 표현된 얼굴 특징 정보를 기억하는 기억 수단과, 인물의 적어도 얼굴을 포함하는 화상 정보를 입력하는 입력 수단과, 상기 입력 수단에 의해 입력된 상기 화상 정보로부터, 인물의 얼굴이 표현된 얼굴 영역을 검출하는 얼굴 검출 수단과, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하는 추출 수단과, 상기 추출 수단에 의해 추출된 상기 특징 정보와, 상기 기억 수단에 기억된 상기 얼굴 특징 정보에 기초하여, 상기 입력 수단에 의해 입력된 상기 화상 정보에 포함되어 있던 인물을 인식하는 인식 수단을 구비한다.

Description

얼굴 인식 장치 및 얼굴 인식 방법{FACE RECOGNITION APPARATUS, AND FACE RECOGNITION METHOD}

실시 형태는, 얼굴 인식 장치 및 얼굴 인식 방법에 관한 것이다.

종래부터, 감시 카메라 등으로 촬영된 동화상 데이터에 포함되는 인물의 얼굴 영역으로부터, 미리 기억된 얼굴 화상의 특징 정보에 기초하여, 인물을 인증하는 기술이 제안되어 있다. 이 경우, 동화상 데이터에 포함되는 얼굴 영역으로부터 특징 정보를 추출하고, 당해 특징 정보와 미리 기억되어 있는 특징 정보를 비교함으로써, 인물의 인증을 행하고 있다.

일반적으로는, 감시 카메라 등으로 촬영하는 경우, 촬영된 얼굴 영역의 해상도가 높을수록, 인물의 특정이나 인식 정밀도가 향상된다.

또한, 감시 카메라 등에 의한 촬영의 상황에 따라서는, 얼굴 영역의 해상도가 변동되기 때문에, 당해 얼굴 영역의 해상도가 낮아지는 경우도 있다. 최근, 이러한 얼굴 영역의 해상도가 낮은 경우에도 인식 정밀도를 향상시키는 기술이 몇개 제안되어 있다.

그러나, 감시 카메라의 이용 형태에 따라서는, 당해 촬영된 동화상 데이터에 비치는 인물의 얼굴 크기는 다양한 경우도 많다. 동화상 데이터에 비친 얼굴 영역의 크기가 변동되는 경우, 당연히 당해 인물의 얼굴의 해상도에도 편차가 발생하여, 인증 정밀도가 저감하는 경우가 있었다.

예를 들어, 인물의 얼굴의 영역의 해상도가 낮은 경우에는, 일반적으로 인식 정밀도가 높다고 여겨지는, 고해상도용의 인식 방법으로는 적절한 인식 결과를 얻지 못한다는 문제가 발생한다. 이로 인해, 저해상도에서도 적용 가능한 인식 방법을 사용하면, 이번에는 얼굴의 영역의 해상도가 높은 경우에 높은 인식 정밀도를 얻지 못한다는 문제가 있다.

또한, 높은 곳에 설치된 감시 카메라로는, 높은 위치로부터 내려다보면서 촬상하는 점에서, 감시 카메라로부터 가까운 경우에는 얻어지는 얼굴 크기(해상도)가 큰 반면, 얼굴 방향이 정면 방향으로 되기 어렵고, 감시 카메라로부터 먼 경우에는 정면 방향에 가까워지는 반면, 얼굴 크기가 작아지기 쉽다. 따라서, 감시 카메라에 의해 복수의 프레임 화상에 걸쳐 인물의 얼굴을 포착했다고 해도, 그 모든 프레임 화상이 고정밀도로 인물의 인증을 행할 수 있는 프레임 화상이라고는 할 수 없고, 인증 정밀도를 저감시키는 프레임 화상도 섞이는 경우가 있었다.

도 1은 제1 실시 형태에 관한 얼굴 인식 장치의 블록 구성을 도시한 도면.
도 2는 카메라로부터 입력된 화상 데이터의 예를 나타낸 도면.
도 3은 제1 실시 형태에 관한 방법 유지부가 유지하는 얼굴 특징점 검출 방법의 특징을 도시한 도면.
도 4는 제1 실시 형태에 관한 특징점 검출부에 의해, 각종 얼굴 특징점 검출 방법으로 검출된 특징점의 예를 나타낸 도면.
도 5는 제1 실시 형태에 관한 표시부가 표시하는 화면예를 도시한 도면.
도 6은 제1 실시 형태의 변형예에 따른 표시부가 표시하는 화면예를 도시한 도면.
도 7은 제1 실시 형태에 관한 얼굴 인식 장치에 있어서의, 인물의 얼굴의 인식 처리의 수순을 나타내는 흐름도.
도 8은 제1 실시 형태의 변형예에 따른 얼굴 인식 장치에 있어서의, 인물의 얼굴의 인식 처리의 수순을 나타내는 흐름도.
도 9는 제2 실시 형태에 관한 얼굴 인식 장치의 구성을 도시하는 블록도.
도 10은 제2 실시 형태에 관한 얼굴 인식 장치에 있어서의, 인물의 얼굴의 인식 처리의 수순을 나타내는 흐름도.
도 11은 제3 실시 형태에 관한 얼굴 인식 장치의 구성을 예시하는 블록도.
도 12는 카메라로부터 입력되는 동화상 데이터의 일례를 나타내는 개념도.
도 13은 제3 실시 형태에 관한 얼굴 인식 장치의 동작의 일례를 나타내는 흐름도.
도 14는 프레임 화상으로부터의 얼굴 영역의 검출을 예시하는 개념도.
도 15는 검출된 얼굴 영역의 화상으로부터의 얼굴의 특징점의 검출을 예시하는 개념도.
도 16은 프레임 화상마다 검출된 얼굴의 특징점을 예시하는 개념도.
도 17은 검출 결과 보정 처리의 일례를 나타내는 흐름도.
도 18은 검출 결과 보정 처리의 일례를 나타내는 흐름도.
도 19는 프레임 화상마다 검출된 얼굴의 특징점을 예시하는 개념도.
도 20은 검출 결과 보정 처리의 일례를 나타내는 흐름도.
도 21은 프레임 화상마다 검출된 얼굴의 특징점을 이동 평균으로 보정하는 경우를 예시하는 개념도.
도 22는 이동 평균으로 보정하는 경우의 검출 결과 보정 처리의 일례를 나타내는 흐름도.
도 23은 프레임 화상마다 검출된 얼굴의 방향에 따라서 가중치 부여값을 변경하는 경우를 예시하는 개념도.
도 24는 가중치 부여값을 변경하는 경우의 검출 결과 보정 처리의 일례를 나타내는 흐름도.
도 25는 제4 실시 형태에 관한 얼굴 인식 장치의 구성을 예시하는 블록도.
도 26은 제4 실시 형태에 관한 얼굴 인식 장치의 동작의 일례를 나타내는 흐름도.
도 27은 제1, 제2, 제3, 제4 실시 형태에 관한 얼굴 인식 장치의 하드웨어 구성을 도시한 블록도.

일 실시 형태는, 인물마다, 당해 인물의 얼굴의 특징이 표현된 얼굴 특징 정보를 기억하는 기억 수단과, 인물의 적어도 얼굴을 포함하는 화상 정보를 입력하는 입력 수단과, 상기 입력 수단에 의해 입력된 상기 화상 정보로부터, 인물의 얼굴이 표현된 얼굴 영역을 검출하는 얼굴 검출 수단과, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하는 추출 수단과, 상기 추출 수단에 의해 추출된 상기 특징 정보와, 상기 기억 수단에 기억된 상기 얼굴 특징 정보에 기초하여, 상기 입력 수단에 의해 입력된 상기 화상 정보에 포함되어 있던 인물을 인식하는 인식 수단을 구비하는 얼굴 인식 장치이다.

또한, 다른 측면으로부터 본 실시 형태는, 인물의 적어도 얼굴을 포함하는 화상 정보를 입력하고, 입력된 상기 화상 정보로부터, 인물의 얼굴이 표현된 얼굴 영역을 검출하고, 검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하고, 추출된 상기 특징 정보와, 인물마다, 당해 인물의 얼굴의 특징이 표현된 얼굴 특징 정보에 기초하여, 입력된 상기 화상 정보에 포함되어 있던 인물을 인식하는 얼굴 인식 방법이다.

이하, 첨부 도면을 참조하여 실시 형태의 얼굴 인식 장치 및 얼굴 인식 방법을 상세하게 설명한다. 실시 형태의 얼굴 인식 장치 및 얼굴 인식 방법은 사람을 판별하는 방법으로서, 촬영 대상으로부터 얻어진 얼굴의 영역을 검출하여 얼굴의 위치나 얼굴의 특징을 이용함으로써 인물의 정보를 추출하고, 사전에 등록된 인물의 정보와 일치하는지 여부의 판정 결과에 의해 인물의 인식을 행한다. 본 실시 형태에서는 인물 영역으로서 얼굴의 영역을 검출하여 얼굴의 특징 정보를 이용함으로써 과제를 실현하는 수순을 설명하지만, 얼굴 이외에도 인물 영역 전신을 검출하는 기술(Watanabe 등, "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology"(PSIVT2009), pp.37-47.)을 이용하고, 그 크기를 사용함으로써도 실현이 가능하고, 인물의 영역을 검출하는 기술, 또한 그 인물 영역 내의 특징 정보를 계측하는 기술이면 본 실시 형태에 기재한 기술에만 한정되는 내용이 아님은 명확하다.

도 1은, 제1 실시 형태에 관한 얼굴 인식 장치(100)의 블록 구성을 도시한 도면이다. 도 1에 도시한 바와 같이, 얼굴 인식 장치(100)는, 화상 입력부(101)와, 얼굴 영역 검출부(102)와, 방법 유지부(103)와, 방법 선택부(104)와, 특징점 검출부(105)와, 특징 추출부(106)와, 인물 정보 관리부(107)와, 인식부(108)와, 표시부(109)를 구비한다. 또한, 얼굴 인식 장치(100)는, 카메라(150)로부터 촬영된 영상에 기초하여, 인물의 인증을 행한다.

본 실시 형태에 관한 얼굴 인식 장치(100)에서는, 카메라(150) 등으로 촬영된 영상 데이터로부터, 미리 관리되어 있는 얼굴의 특징 정보에 기초하여, 인물을 인식한다. 그 때, 본 실시 형태에 관한 얼굴 인식 장치에서는, 입력된 화상 데이터의 얼굴 영역의 크기(해상도)에 따라, 적절한 얼굴의 특징점의 검출 방법을 선택하는 것으로 하였다. 이에 의해, 얼굴 영역의 해상도의 차이에 대응하면서, 얼굴 인식의 인식 정밀도를 유지하는 것을 가능하게 하고 있다.

카메라(150)는, 소정의 영역에 대하여 촬영을 행한다. 예를 들어, 카메라(150)는, 통행로의 입퇴장 대상 에리어에 대하여 촬영을 행하는 감시 카메라 등이며, 촬영 결과인 화상 데이터를 생성한다. 그리고, 화상 입력부(101)는, 카메라(150)로부터의 화상 데이터를 입력 처리한다.

카메라(150)는, 적어도 1개소, 또는 복수의 지점에 설치 가능하게 한다. 또한, 카메라(150)는, 소정의 영역에 존재하는 인물의 얼굴 화상을 입력하는 것이며, 예를 들어 ITV(Industrial Television) 카메라로 한다. 카메라(150)는, 카메라의 렌즈를 통하여 얻어진 광학적인 정보를 A/D 변환기에 의해 디지털화하여 화상 데이터를 생성하여, 얼굴 인식 장치(100)에 대하여 출력한다.

또한, 얼굴 인식 장치(100)는, 얼굴 영역을 포함하는 디지털 화상 데이터이면, 얼굴 인증이 대상으로 되므로, 디지털 스틸 카메라로 촬영한 정지 화상 데이터를 매체 경유로 취득하여 얼굴 인증을 행해도 좋고, 스캐너를 이용하여 종이 매체나 사진으로부터 스캔한 디지털 화상에 대하여 얼굴 인증을 행해도 좋다.

그리고, 본 실시 형태에 관한 얼굴 인식 장치(100)는, 생성된 화상 데이터에 기초하여, 인물의 얼굴 인증을 행하여, 인물 정보 관리부(107)에 당해 인물이 미리 등록된 인물인지 여부를 판정한다. 인증 결과에 따라 수상한 사람 등의 검출을 행해도 좋고, 통행의 허가, 불허가를 제어해도 좋다.

본 실시 형태에 관한 얼굴 인식 장치(100)는, 인물 인증에 따라, 수상한 사람 등의 검출이나, 통행의 허가, 불허가의 제어 등에 사용하는 것을 생각할 수 있지만, 이러한 제어에 제한하는 것이 아니고, 인물의 인식 결과를 이용하는 것이면, 어떤 제어를 행해도 좋다. 예를 들어, 얼굴 인식 장치(100)는, 고객 데이터 중에서 단골 손님의 검색, 수상한 사람의 데이터베이스로부터 해당자의 검색, ID증의 갱신시의 본인 확인이나 신규 발행시의 이중 발급 방지 등에 사용해도 좋다. 나아가, 화상 신호로부터 얼굴을 검출하여, 포커스 등을 제어하는 디지털 스틸 카메라나, 휴대 전화 단말기 등에 적용해도 좋다.

도 2는, 카메라(150)로부터 입력된 화상 데이터(201)의 예를 도시한 도면이다. 도 2에 도시한 바와 같이, 화상 데이터에는, 여러 크기의 얼굴 영역이 포함되는 경우가 있다(예를 들어 영역(211, 212, 213)). 얼굴 크기가 영상 중에서 작게 비치는 경우(예를 들어 영역(211)의 경우), 얼굴 영역에 상당하는 화상의 해상도는 매우 낮아진다. 이로 인해, 얼굴 크기가 작고 해상도가 낮은 화상에 대하여, 종래부터의 고해상도에 적합한 방법으로 얼굴 인식 처리를 행하면, 얼굴 특징점 검출에 의해 올바른 위치를 검출할 수 없어, 특징점의 위치가 어긋나기 쉽다는 문제가 발생하고 있었다. 또한, 특징점을 추출하는 처리를 행할 때에, 해상도에 따라서는 필요한 특징 정보를 취득할 수 없어, 식별 대상의 얼굴이 모두 유사한 특징 정보가 되어 버려 식별 정밀도가 저하되고 있었다.

따라서, 본 실시 형태에 관한 얼굴 인식 장치(100)에서는, 화상 데이터에 포함되는, 얼굴 영역의 크기에 따라, 얼굴의 특징점의 검출 방법을 상이하게 하였다. 본 실시 형태에서는, 얼굴의 특징점의 검출을 행하기 전에, 화상 데이터에 포함되는, 인물의 얼굴이 표현된 영역(이하, 얼굴 영역이라고 칭한다)의 검출을 행할 필요가 있다.

얼굴 영역 검출부(102)는, 화상 입력부(101)에 의해 입력된 화상 데이터로부터, 인물의 얼굴 영역을 검출한다. 본 실시 형태에 관한 얼굴 영역 검출부(102)는 입력된 화상 데이터 내에서, 당해 화상 데이터상의 휘도 정보를 이용하여 얼굴의 영역을 나타내는 좌표를 구한다. 당해 얼굴의 영역을 검출하는 방법으로서는, 어떤 방법을 사용해도 좋다. 본 실시 형태는, 예로서, 문헌(미타 유우지 외: 「얼굴 검출에 적합한 공기(共起)에 기초하는 Joint Haar-like 특징」 전자 정보 통신 학회 논문지(D), vol.J89-D, 8, pp1791-1801(2006))에 나타난 방법을 사용하여, 얼굴 영역의 검출을 행한다. 다른 검출 방법의 예로서는, 미리 준비된 템플릿을, 입력된 화상 데이터 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 영역으로서 검출하는 방법이나, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등을 사용하는 방법을 적용해도 좋다.

또한, 검출하는 얼굴 영역의 형상은, 임의의 형상이어도 좋고, 얼굴의 방향이나 크기의 검출 결과에 의해 얼굴의 영역의 형상을 상이하게 해도 좋지만, 본 실시 형태는, 설명을 용이하게 하기 위해, 직사각형 형상의 얼굴 영역을 검출한다. 그리고, 당해 직사각형 형상의 정점을 나타내는 좌표를, 얼굴 영역의 검출 결과로 한다.

그런데, 감시 카메라 등으로 촬영된 영상 데이터의 경우, 검출된 동일 인물의 얼굴이 복수의 프레임에 걸쳐 연속하여 비치는 것이 상정된다. 이로 인해, 이들을 동일 인물로서 대응지을 수 있도록 인물의 얼굴의 추적 처리를 행할 필요가 있다. 이 추적 처리의 실현 방법으로서는, 옵티컬 플로우를 사용하여 검출한 얼굴이, 다음 프레임에서 어느 위치에 존재할지를 추정하여, 대응짓는 방법 등을 이용함으로써 실현 가능하다. 그리고, 특징 추출부(106)는, 동일 인물로서 대응시켜진 복수 프레임의 얼굴 영역 중, 인물을 인식하기 위해, 적절한 화상을 적어도 1매 선택하고, 선택된 얼굴 영역으로부터 얼굴의 특징 정보를 추출해도 좋다. 또한, 특징 추출부(106)는, 얼굴 영역의 크기가 커질 때마다, 얼굴의 특징 정보를 추출하는 처리를 행함으로써, 최대의 크기의 얼굴 영역이 검출될 때까지 임의의 매수의 화상 데이터를 검출에 이용해도 좋다.

방법 유지부(103)는, 얼굴 영역 검출부(102)로부터 검출된 얼굴 영역으로부터 얼굴의 특징을 검출 처리하는 검출 방법을, 검출 처리의 거칠기 차이에 기초하여 복수 유지한다. 본 실시 형태에 관한 방법 유지부(103)는, 3종의 얼굴의 특징점의 검출 방법을 유지하지만, 유지하는 검출 방법의 수를 제한하는 것은 아니다. 예를 들어, 방법 유지부(103)가, 4종 이상의 검출 방법을 유지해도 좋고, 2종류의 검출 방법을 유지해도 좋다.

도 3은, 방법 유지부(103)가 유지하는 얼굴 특징점 방법의 특징을 도시한 도면이다. 도 3에 도시한 바와 같이, 본 실시 형태에 관한 방법 유지부(103)는, 제1 얼굴 특징점 검출 방법과, 제2 얼굴 특징점 검출 방법과, 제3 얼굴 특징점 검출 방법을 구비한다. 그리고, 각종 얼굴 특징점 검출 방법은, 도 3에 도시한 바와 같이 각각 다른 특징을 갖춘다.

제1 얼굴 특징점 검출 방법은, 3종의 검출 방법 중, 검출 처리가 가장 거칠기 때문에, 저해상도에 강하지만, 인식 정밀도가 낮다고 하는 특징을 갖는다. 제2 얼굴 특징점 검출 방법은, 3종의 검출 방법 중, 2번째로 검출 처리가 거칠고, 저해상도에 2번째로 강하고, 인식 정밀도는 2번째로 높다고 하는 특징을 갖는다. 제3 얼굴 특징점 검출 방법은, 3종의 검출 방법 중, 검출 처리가 가장 세밀하기 때문에, 저해상도에 약하지만, 해상도가 높은 경우에는 인식 정밀도가 가장 높다고 하는 특징을 갖는다. 그리고, 본 실시 형태에서는, 검출된 얼굴 영역의 크기에 맞추어, 이들 3종의 얼굴 특징점 검출 방법 중, 최적의 얼굴 특징점 검출 방법을 사용하는 것으로 하였다.

방법 선택부(104)는, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역의 화상 크기에 기초하여, 방법 유지부(103)가 유지하는 얼굴 특징점 검출 방법으로부터, 후술하는 특징점 검출부(105)에서 사용하는 얼굴 특징점 검출 방법을 선택한다. 얼굴 특징점 검출 방법의 선택은 어떤 방법을 사용해도 좋다. 본 실시 형태에서는, 얼굴 영역을 표현하는 직사각형의 정점의 좌표로부터 가로 폭 및 세로 폭을 나타내는 화소수를 산출하고, 산출한 화소수가 소정의 임계값 이상인지 여부에 기초하여, 얼굴 특징점 검출 방법을 선택한다. 이에 의해, 특징점 검출 방법의 선택이 용이해진다.

본 실시 형태와 같이 3종의 얼굴 특징점 검출 방법을 유지하는 경우, 방법 선택부(104)는, 2종류의 해상도의 임계값을 사용하여, 얼굴 특징점 검출 방법을 선택한다. 2종류의 해상도의 임계값을 A 및 B(B<A)로 한다. 그리고, 방법 선택부(104)는, 산출된 가로 폭(또는 세로 폭)이 B 미만인 경우, 제1 얼굴 특징점 검출 방법을 선택한다. 또한, 방법 선택부(104)는, 산출된 가로 폭(또는 세로 폭)이 B이상이면서 A 미만인 경우, 제2 얼굴 특징점 검출 방법을 선택하고, A 이상인 경우, 제3 얼굴 특징점 검출 방법을 선택한다. 본 실시 형태는, 임계값에 의한 선택에 제한하는 것이 아니고, 얼굴 크기의 시간축 방향의 추이를 이용하여 통계적으로 어느 방법을 선택할지를 학습하는 방법도 생각할 수 있다.

특징점 검출부(105)는, 방법 선택부(104)에 의해 선택된 얼굴 특징점 검출 방법을 사용하여, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역으로부터, 눈, 코 등의 얼굴 부위의 위치를 얼굴의 특징점으로서 검출한다.

본 실시 형태에 관한 제1 얼굴 특징점 검출 방법, 제2 얼굴 특징점 검출 방법 및 제3 얼굴 특징점 검출 방법은, 각각 검출 처리의 대략 정도는 상이하기는 하지만, 검출 대상으로 되는 특징점의 개소(예를 들어, 눈시울, 눈꼬리 등) 및 특징점의 수는 변함없다. 도 4는, 특징점 검출부(105)에 의해, 각종 얼굴 특징점 검출 방법으로 검출된 특징점의 예를 나타낸 도면이다. 도 4의 "×"로 나타낸 개소가 특징점의 예라고 하자. 도 4에 도시한 바와 같이, 본 실시 형태에 관한 특징점 검출부(105)는, 15개의 특징점을 검출한다.

이에 의해, 제1 얼굴 특징점 검출 방법, 제2 얼굴 특징점 검출 방법 및 제3 얼굴 특징점 검출 방법 중, 어느 검출 방법을 사용하여 얼굴의 특징 정보를 추출한 경우에도, 인식부(108)가, 인물 정보 관리부(107)에 저장된 각 인물의 얼굴의 특징 정보와 비교하여, 인물의 인증을 행할 수 있다. 다음에 각 얼굴 특징점 검출 방법에 대하여 구체적으로 설명한다.

제1 얼굴 특징점 검출 방법은, 얼굴의 세밀한 구조 정보가 보이지 않을 정도로 얼굴 영역이 저해상도가 되는 경우에 사용되는 것을 상정하고 있다. 제1 얼굴 특징점 검출 방법은, 검출하고 싶은 얼굴 특징점 좌표의 평균적인 모델(와이어 프레임)을 얼굴의 방향에 따라 복수 종류 미리 구비해 둔다. 그리고, 특징점 검출부(105)가 검출 처리를 행할 때, 얼굴 영역에 포함되는 휘도값과, 미리 구비해 둔 평균적인 모델(와이어 프레임)을 비교하여, 가장 일치도가 높은 와이어 프레임을 적용한다. 그 때에, 얼굴의 방향 등도 고려하여, 가장 얼굴다운 부위에 와이어 프레임을 적용한다. 그리고, 특징점 검출부(105)는, 적용한 와이어 프레임에 따라, 얼굴의 특징점을 검출한다.

특징점 검출부(105)가 제1 얼굴 특징점 검출 방법을 사용한 경우에 있어서의 상세한 수순에 대하여 설명한다. 예를 들어, 얼굴의 방향마다 낮은 해상도의 얼굴의 잘라내기 화상을 다수 잘라내고, 얼굴의 방향마다 클러스터링을 행하여 KL 전개됨으로써, 얼굴의 방향마다의 얼굴 패턴에 의한 부분 공간이 작성된다. 제1 얼굴 특징점 검출 방법은, 당해 얼굴 패턴에 의한 부분 공간을, 얼굴의 평균적인 모델로서 유지한다. 그리고, 특징점 검출부(105)는, 제1 얼굴 특징점 검출 방법을 사용하여 검출을 행할 때에, 입력 화상으로부터 출력된 얼굴 영역이, 유지하고 있는 얼굴 패턴 중, 어느 얼굴 패턴에 가까운지를, 부분 공간법을 이용함으로써 판정한다. 그 때, 얼굴 패턴은 방향마다 유지되고 있기 때문에, 어느 얼굴의 방향에 가까운지도 판정할 수 있다. 이와 같이, 특징점 검출부(105)는, 부분 공간법으로 가장 높은 유사도를 부여한 부분 공간에 기초하여, 얼굴의 방향을 판정하여, 당해 방향에 맞춘 와이어 프레임에 따라, 얼굴의 특징점의 위치를 검출한다. 또한, 제1 얼굴 특징점 검출 방법은, 상세의 구조 정보는 보고 있지 않기 때문에, 저해상도의 경우에 한하여 실행하는 것이 바람직하다.

제2 특징점 검출 방법은, 제1 얼굴 특징점 검출 방법과 비교하여 얼굴 특징점의 검출 위치 정밀도가 좋지만, 후술하는 제3 얼굴 특징점 검출 방법과 비하여, 얼굴의 부위마다의 상세한 위치 정렬 정밀도를 갖고 있지 않다. 제2 특징점 검출 방법으로서는, 문헌(Cootes.T.F, Walker.K, Taylor.C.J, "View-based active appearance models", Image and Vision Computing 20, pp.227-232, 2002)을 참고로 한, 소위 AAM(Active Appearance model)에 의한 얼굴의 표정의 트래킹을 생각할 수 있다. 특징점 검출부(105)에서는, 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 표정의 트래킹을 행함으로써, 얼굴의 특징점으로 되는 위치를 검출할 수 있다.

제3 얼굴 특징점 검출 방법은, 얼굴 영역의 해상도가 충분히 큰 경우에 이용이 가능하며, 얼굴 특징점의 형상 정보나 휘도 분포 정보를 이용함으로써, 얼굴의 특징점을 검출하는 방법이다. 이 제3 얼굴 특징점 검출 방법은, 얼굴 영역의 해상도가 충분히 큰 경우, 3종의 얼굴 특징점 검출 방법 중, 가장 검출 위치 정밀도가 높은 검출 방법이다.

제3 얼굴 특징점 검출 방법으로서는, 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문지(D), vol.J80-D-II, No.8, pp2170-2177(1997))에 나타난 방법이 적용된다. 이에 의해 눈이나 코, 입가 등의 특징점을 검출할 수 있다. 또한, 입의 영역을 나타내는 특징점의 검출에는, 문헌(유아사 마유미, 나카지마 아키코: 「고정밀도 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」 제10회 화상 센싱 심포지엄 예고집, pp219-224(2004))에 나타난 방법을 사용해도 좋다. 제3 얼굴 특징점 검출 방법으로서 어떤 방법을 사용한 경우든, 2차원 배열 형상의 화상으로서 취급할 수 있는 정보를 취득하여, 당해 정보로부터 얼굴의 특징점을 검출할 수 있다.

또한, 본 실시 형태에 관한 특징점 검출부(105)에서는, 상술한 각종 얼굴 특징점 검출 방법으로, 마스크, 선글라스, 또는 모자를 착용하고 있는 경우에도 얼굴의 특징점을 검출할 수 있도록, 미리 선글라스나 마스크나 모자로 얼굴의 일부가 가려진 경우의 얼굴 패턴으로 템플릿을 학습해도 좋다. 또한, 특징점 검출부(105)가 얼굴의 특징점 검출을 할 때, 모든 얼굴의 특징점을 검출할 수 없는 경우에도, 일부의 얼굴의 특징점이 충분한 평가값으로 검출되어 있으면, 2차원 평면 또는 3차원적인 얼굴의 모델을 사용하여, 검출된 특징점에 기초하여, 나머지의 특징점을 추측한다. 또한, 특징점을 전혀 검출할 수 없을 정도로 마스크, 모자 또는 선글라스가 특징점을 은폐하고 있는 경우, 특징점 검출부(105)는, 은폐되는 경우의 얼굴 전체의 패턴을 미리 학습해 두고, 검출된 얼굴 영역에 대하여, 당해 얼굴 전체의 패턴에 기초하여, 얼굴의 특징점의 위치 등을 추측해도 좋다. 또한, 복수의 얼굴이 화상 데이터 내에 존재한 경우, 특징점 검출부(105)는, 마찬가지의 처리를 각각의 얼굴 영역에 대하여 실행함으로써 대응 가능하게 한다.

특징 추출부(106)는, 특징점 검출부(105)가 검출한 얼굴의 특징점으로부터, 얻어지는 얼굴의 개인을 식별 가능한 얼굴의 특징을 나타내는 특징 정보(이하, 얼굴 특징 정보라고 나타낸다)를 추출한다. 이에 의해, 복수 종류의 얼굴 특징점 검출 방법의 어느 하나를 사용한, 얼굴 특징 정보를 추출할 수 있다. 특징 추출부(106)는, 얼굴 특징 정보로서, 얼굴의 각 특징을 나타내는 수열을 출력한다. 본 실시 형태에 관한 특징 추출부(106)는, 특징점 검출부(105)에 의해 검출된 얼굴의 특징점의 좌표(얼굴의 특징적인 부품이 되는 위치)에 기초하여, 얼굴 영역을 일정한 크기, 형상으로 잘라내고, 그 농담 정보를, 얼굴의 특징을 나타내는 특징량으로서 추출한다. 본 실시 형태에서는, m 픽셀×n 픽셀의 영역의 농담값을 그대로 정보로서 사용하여, m×n차원의 정보를, 특징량 벡터로서 추출한다.

특징 추출부(106)에서는, 특징량 벡터와, 특징량 벡터의 길이를, 단순 유사도법에 의해 각각 1로 하도록 정규화하여, 내적을 산출함으로써 특징 벡터간의 유사성을 나타내는 유사도를 구한다. 당해 방법은, 문헌(엘키 오야 저, 오가와 히데미쯔, 사토 마코토 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년)에 나타난 부분 공간법을 이용함으로써 실현할 수 있다. 또한, 문헌(도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」 특허 공보 일본 특허 공개 제2007-4767)에 나타난 1매의 얼굴 화상 정보에 대하여 모델을 이용하여 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상 데이터를 생성함으로써, 정밀도를 향상시키는 방법을 적용해도 좋다. 이들 방법을 사용함으로써 1매의 화상 데이터로부터, 얼굴 특징 정보를 추출할 수 있다.

한편, 특징 추출부(106)가, 동일 인물에 대하여 연속한 복수의 화상 데이터를 사용하여, 동화상 데이터에 의한 산출을 함으로써 보다 정밀도가 높은 인식 처리를 행해도 좋다. 예를 들어, 문헌(후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치: 「동화상을 사용한 얼굴 인식 시스템」, 전자 정보 통신 학회 연구 보고PRMU, vol97, No.113, pp17-24(1997)) 또는 문헌(마에다 겐이치, 와타나베 사다이치: 「국소적 구조를 도입한 패턴·매칭법」, 전자 정보 통신 학회 논문지(D), vol.J 68-D, No.3, pp345-352(1985))에 나타난 상호 부분 공간법을 사용해도 좋다. 이들 문헌에 나타난 상호부분 공간법을 사용한 경우, 화상 입력부(101)이 연속하여 입력 처리한 화상 데이터로부터, 특징점 검출부(105)가 m×n 픽셀의 화상 데이터를 잘라내고, 이들 화상 데이터로부터 특징량 벡터의 상관 행렬을 산출하여, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 연속한 화상 데이터로부터 얻어지는 얼굴의 특징 정보를 나타내는 부분 공간을 산출한다.

부분 공간의 산출법에서는, 특징량 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 부분 공간이 산출된다. 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개 선택하고, 선택된 고유 벡터 집합을 사용하여 표현된다. 본 실시 형태에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd=ΦdΛdΦdT와 대각화하여, 고유 벡터의 행렬 Φ를 구한다. 이 고유 벡터의 행렬 Φ이, 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간으로 된다. 본 실시 형태에서는, 당해 부분 공간을, 입력된 화상 데이터로부터 검출된 개인의 얼굴 특징 정보로 한다.

특징 추출부(106)는, 특징점 검출부(105)에 의해 특징점 검출한 후에, 당해 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 행한다. 방향 보정이란, 예를 들어 검출된 얼굴의 방향이 좌향인 경우에, 미리 구비한 인물의 얼굴의 3차원 모델을 좌향의 얼굴을 적용하여, 정면으로 방향을 변경하는 보정으로 한다. 크기 보정이란, 미리 기준으로 한 얼굴 크기에 맞추기 위해, 축소, 확대를 행하는 보정으로 한다. 이들 보정을 행한 후, 얼굴 특징 정보를 추출한다. 이에 의해, 검출된 얼굴의 방향 및 얼굴 크기에 관계없이, 특징 추출부(106)가 추출하는 얼굴 특징 정보를 통일시킬 수 있다. 이에 의해, 인물 정보 관리부(107)가 관리하고 있는 인물의 얼굴 특징 정보의 비교가 용이하게 된다.

인물 정보 관리부(107)는, 인물마다, 미리 등록되는 얼굴 특징 정보를 관리한다. 인물 정보 관리부(107)는, 후술하는 인식부(108)가 인물의 인식 처리를 행할 때에 사용되는 데이터베이스이다. 본 실시 형태에 관한 인물 정보 관리부(107)는, 검색 대상으로 되는 개인마다, 특징 추출부(106)에 의해 추출된 얼굴 특징 정보, 당해 개인의 성별, 연령 및 신장 등의 속성 정보 외에, 당해 인물을 나타내는 인물 ID나 이름 등도 대응지어 관리한다.

관리 대상으로 되는 특징 추출부(106)에 의해 추출된 얼굴 특징 정보는, m×n의 특징량 벡터나, 부분 공간이나 KL 전개를 행하기 직전의 상관 행렬이어도 좋다. 또한, 특징 추출부(106)에 의해 추출된 얼굴 특징 정보를, 화상 입력부(101)에 의해 입력된 화상 데이터와 함께, 관리함으로써 개인의 검색이나 검색의 표시가 용이하게 된다.

인식부(108)는, 특징 추출부(106)에 의해 추출된 얼굴 특징 정보와, 인물 정보 관리부(107)에 기억된 얼굴 특징 정보에 기초하여, 화상 입력부(101)에 의해 입력된 화상 데이터에 포함되어 있던 인물을 인식한다. 본 실시 형태에 관한 인식부(108)는, 특징 추출부(106)에 의해 추출된 얼굴 특징 정보에 유사한, 인물 정보 관리부(107)에 기억된 얼굴 특징 정보를 추출하고, 추출한 얼굴 특징 정보로 나타난 인물을, 카메라(150)로 촬영된 후보자로서 인식한다.

본 실시 형태에 관한 인식부(108)는, 특징 추출부(106)에 의해 추출된 얼굴 특징 정보와, 인물 정보 관리부(107)에 기억된 얼굴 특징 정보 사이의 유사성을 산출하고, 유사성이 높은 얼굴 특징 정보의 순서대로, 당해 얼굴 특징 정보로 표현된 인물에 관한 정보를 표시부(109)에 출력한다.

인식부(108)는, 처리 결과로서는 유사성이 높은 얼굴 식별 정보부터 순서대로, 인물 정보 관리부(107)에 의해 당해 얼굴 식별 정보와 대응시켜진 인물 ID나 산출된 유사성을 나타내는 정보를 출력한다. 그 밖에 당해 인물 ID와 대응시켜지고 있는 인물에 관한 여러가지 정보도 출력해도 좋다.

또한, 인식부(108)는, 특징 추출부(106)가 추출한 얼굴 특징 정보와 대응짓고, 특징점 검출부(105)가 검출에 사용한 얼굴 특징점 검출 방법을, 특징 추출부(106)를 통하여 특징점 검출부(105)로부터 취득한다. 그리고, 인식부(108)는, 취득한 얼굴 특징점 검출 방법을 식별하는 정보를, 당해 방법으로 검출된 얼굴 특징 정보와 대응지어 표시부(109)에 출력한다.

본 실시 형태에 관한 유사성을 나타내는 정보는, 얼굴 특징 정보로서 관리되는 부분 공간끼리의 유사도로 한다. 유사도의 산출 방법은, 부분 공간법이나 복합 유사도법 등의 산출 방법을 사용해도 좋다. 이들 산출 방법에서는, 인물 정보 관리부(107)에 기억된 얼굴 특징 정보 및 특징 추출부(106)에 의해 추출된 얼굴 특징 정보가, 부분 공간으로서 표현된다. 그리고, 본 실시 형태에서는 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 그리고, 인식부(108)는, 이들 2개의 부분 공간에 기초하여 상관 행렬 Cin을 구한 후, Cin=ΦinΛinΦinT와 대각화하여, 고유 벡터 Φin을 구한다. 그 후, 인식부(108)는, 2개의 Φin, ΦinT로 표시되는 부분 공간의 부분 공간간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다. 또한, 구체적인 산출 방법에 대해서는, 예를 들어 상술한 문헌(엘키 오야 저, 오가와 히데미쯔, 사토 마코토 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년)에 나타난 방법을 사용해도 좋다. 또한, 미리 동일 인물이라고 아는 복수의 얼굴 화상을 통합하여 부분 공간에의 사영에 의해 본인인지 여부를 식별함으로써 정밀도를 향상시켜도 좋다. 또한, 고속으로 검색하기 위해서는 TREE 구조를 이용한 검색 방법 등도 이용해도 좋다.

표시부(109)는, 인식부(108)에 의해 출력된, 인식된 후보자에 관한 정보를 표시한다. 또한, 표시부(109)는, 얼굴 인식 결과만을 표시하는 것에 제한하는 것이 아니고, 인물 정보 관리부(107)가 관리하고 있는 속성 정보에 기초하는 인식 결과와 조합하여 표시를 행해도 좋다.

또한, 표시부(109)는, 인식부(108)에 의해 인식된 결과 중, 지정한 조건과 일치하는 인물에 관한 정보에 한하여, 실시간으로 표시해도 좋다. 그리고, 지정한 조건과 일치하지 않은 인물에 관한 정보에 대해서는, 도시하지 않은 이력 기억부에, 이력 정보로서 보존해도 좋다. 이에 의해, 후에 검색 조건을 지정함으로써, 당해 검색 조건에 일치하는 이력 정보를 표시할 수 있다. 또한, 얼굴 인식 장치에 대하여, 리얼타임 표시와 검색 표시 중 어느 한쪽만, 또는 양쪽을 내장해도 좋다.

또한, 본 실시 형태에 관한 표시부(109)는, 후보자에 관한 정보를 표시할 때에 특징점 검출부(105)가 사용한 얼굴 특징점 검출 방법에 기초한, 얼굴 인증의 신뢰성을 나타낸 정보를 표시한다. 본 실시 형태에 관한 얼굴 인식 장치(100)는, 복수 종류의 얼굴 특징점 검출 방법을 구비하고 있지만, 방법마다 검출 정밀도가 상이하다. 따라서, 본 실시 형태에 관한 표시부(109)는, 후보자에 관한 정보와 함께, 얼굴 특징점 검출 방법에 기초한 신뢰성을 나타내는 정보를 표시한다.

도 5는, 표시부(109)가 표시하는 화면예를 도시한 도면이다. 도 5에 도시한 바와 같이 표시부(109)는, 화상 입력부(101)에 의해 입력된 화상 데이터군과, 당해 화상 데이터에 포함되어 있던 얼굴 영역에 기초한 인식에서 유사도가 높다고 판정된 후보자에 관한 정보를 표시한다. 도 5의 우측란에 도시한 바와 같이, 표시부(109)는, 유사도가 높은 순서대로 5번째까지의 후보자에 관한 정보를 표시하고 있다. 또한, 좌측란에서는, 카메라(150)로 촬영된 화상 데이터 중, 인물의 얼굴이 포함되어 있던 화상 데이터를 표시한다.

또한, 표시부(109)는, 인물의 인증 결과를 표시할 때에 얼굴의 특징점 검출 방법에 기초한 검출 신뢰도를 나타내는 기호를 표시한다. 본 실시 형태에서는, 화상 데이터에 얼굴이 크게 비치는 경우에는, 제3 얼굴 특징점 검출 방법을 이용할 수 있기 때문에, 검출된 특징점의 좌표에 대해서도 높은 정밀도를 기대할 수 있다. 이로 인해, 검출 정밀도가 높은 것을 나타내는 '○'(503)을 표시한다. 또한, 화상 데이터에 얼굴이 어느 정도의 크기로 비치는 경우에는, 제2 얼굴 특징점 검출 방법을 이용할 수 있기 때문에, 검출 정밀도가 보통 정도인 것을 나타내는 '△'(502, 501)을 표시한다. 또한, 화상 데이터에 얼굴이 작게 비치는 경우에는, 제1 얼굴 특징점 검출 방법을 이용하기 때문에, 검출된 특징점의 좌표에 대해서, 검출 정밀도가 다른 2개보다 낮은 것을 나타내는 '-'을 표시한다. 도 5 및 후술하는 도 6에 도시하는 화면의 예에서는, 각 인물의 얼굴마다 얼굴 영역만 표시하고, 특징점 좌표를 표시하지 않고 있다. 이것은, 얼굴의 부위를 파악하기 쉽도록 하기 위해서이며, 필요에 따라 얼굴의 특징점을 표시해도 좋다.

이와 같이, 본 실시 형태에 있어서는, 표시부(109)가 표시를 행할 때에, 얼굴의 특징점 검출 방법에 따른, 검출 신뢰도를 나타내는 문자 또는 기호를 표시함으로써, 이용자는, 검출된 얼굴의 특징점의 위치 정밀도가 높은지 여부를 판단하는 것은 용이하게 된다. 또한, 얼굴의 특징점의 위치 정밀도가 향상함에 따라, 후보자의 검색 정밀도의 향상으로도 이어진다. 이로 인해, 표시된 후보자의 일람의 신뢰도가 높은지 여부를 판단하는 것이 용이하게 된다.

또한, 얼굴 특징점 검출 방법에 기초하는 기준을 미리 정하여, 당해 기준을 만족하고 있는 경우에만, 표시부(109)가 후보자 일람을 표시하도록 제어를 행해도 좋다. 예를 들어, 표시부(109)는, 신뢰성이 다른 2개보다 낮은 제1 얼굴 특징점 검출 방법을 사용한 얼굴 특징점 검출 방법에 기초하는 후보자의 일람은 비표시로 하고, 다른 2개의 얼굴 특징점 검출 방법에 기초하는 후보자의 일람을 표시하도록 해도 좋다. 이에 의해, 신뢰성이 높다고 간주되는 후보자의 일람의 표시가 행해지기 때문에, 신뢰성을 향상시킬 수 있다.

또한, 본 실시 형태는, 도 5에 도시하는 표시 형태로 제한하는 것은 아니다. 예를 들어, 얼굴 인식 장치(100)가 얼굴의 검출 결과를 화면에 표시할 때에 카메라(150)로 촬상된 화상 데이터에 대하여, 당해 얼굴 영역과 검출의 신뢰도를 중첩하여 표시해도 좋다.

도 6은, 변형예에 따른 표시부(109)가 표시하는 화면예를 도시한 도면이다. 도 6에 도시한 바와 같이, 표시부(109)는, 입력된 화상 데이터 중, 검출된 얼굴 영역에 대하여, 이용한 얼굴 특징점 검출 방법에 기초하는 검출 신뢰도(예를 들어,'○' (601), '△' (602)를 표시한다. 이에 의해, 유저는, 얼굴 영역마다 검출된 얼굴의 특징점의 검출 정밀도에 대해, 신뢰성이 높은지 여부를 인식할 수 있다. 이에 의해, 검출 이력으로서 저장되어 있는, 얼굴 영역마다의 후보자 일람의 신뢰성이 높은지 여부를 인식할 수 있다.

이어서, 본 실시 형태에 관한 얼굴 인식 장치(100)에 있어서의, 인물의 얼굴의 인식 처리에 대하여 설명한다. 도 7은, 본 실시 형태에 관한 얼굴 인식 장치(100)에 있어서의 상술한 처리의 수순을 나타내는 흐름도이다.

화상 입력부(101)가, 카메라(150)로부터 화상 데이터를 입력 처리한다(스텝 S701). 이어서, 얼굴 영역 검출부(102)가, 입력 처리된 화상 데이터로부터, 얼굴 영역의 검출을 행한다(스텝 S702).

이어서, 방법 선택부(104)가, 검출된 얼굴 영역의 크기가 소정의 임계값 B 이상인지 여부를 판정한다(스텝 S703). 그리고, 소정의 임계값 B 미만이라고 판정된 경우(스텝 S703: "아니오"), 방법 선택부(104)가, 제1 얼굴 특징점 검출 방법을 선택한다(스텝 S704). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제1 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S705).

한편, 방법 선택부(104)가, 검출된 얼굴 영역의 크기가 소정의 임계값 B 이상이라고 판정된 경우(스텝 S703: "예"), 또한, 검출된 얼굴 영역의 크기가 소정의 임계값 A 이상인지 여부를 판정한다(스텝 S706). 또한, 임계값 A>임계값 B로 한다. 그리고, 소정의 임계값 A 미만이라고 판정된 경우(스텝 S706: "아니오"), 방법 선택부(104)가, 제2 얼굴 특징점 검출 방법을 선택한다(스텝 S707). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S708).

한편, 방법 선택부(104)가, 검출된 얼굴 영역의 크기가 소정의 임계값 A 이상이라고 판정된 경우(스텝 S706: "예"), 방법 선택부(104)가, 제3 얼굴 특징점 검출 방법을 선택한다(스텝 S709). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제3 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S710).

그리고, 특징 추출부(106)가, 검출된 얼굴의 특징점에 기초하여, 얼굴의 특징 정보를 추출한다(스텝 S711). 그 때, 특징 추출부(106)는, 검출한 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 행해 둔다. 이에 의해, 화상 데이터의 얼굴 영역마다 다른 크기, 밝기, 얼굴의 방향이 수정된다.

그 후, 인식부(108)가, 특징 추출부(106)에 의해 추출된 얼굴의 특징 정보와, 인물 정보 관리부(107)에 기억된 얼굴의 특징 정보에 기초하여, 인식 처리를 행하여, 화상 데이터에 비친 인물의 후보를 추출한다(스텝 S712).

그리고, 표시부(109)가, 추출된 후보자의 일람과, 얼굴 특징점 검출 방법에 기초하는 신뢰도를 표시한다(스텝 S713).

제1 실시 형태는, 검출한 얼굴 영역의 크기에 따라서 3종의 얼굴 특징점 검출 방법으로부터 선택하는 예에 대하여 설명하였다. 그러나, 크기에 따른 선택에 제한하는 것이 아니고, 어느 한 얼굴 특징점 검출 방법을 사용한 특징점의 검출 결과에 따라, 다른 얼굴 특징점 검출 방법으로 전환하는 방법을 조합해도 좋다.

상술한 바와 같이, 검출 정밀도가 높은 얼굴 특징점 검출 방법은, 저해상도에 약하다고 하는 특징을 갖고 있다. 따라서, 본 변형예에서는, 최초로 검출 정밀도가 높은 얼굴 특징점 검출 방법(예를 들어, 제3 얼굴 특징점 검출 방법)을 사용하여 얼굴의 특징점을 검출하고, 검출된 얼굴의 특징점의 위치가 적절한지 여부를 판정하여, 적절하지 않은 경우에는, 검출 대상의 얼굴 영역의 크기(해상도)가 적절하지 않다고 판단하고, 저해상도에 강한 얼굴 특징점 검출 방법(예를 들어, 제2 얼굴 특징점 검출 방법)으로 전환해 가는 것으로 하였다.

이어서, 본 변형예에 따른 얼굴 인식 장치(100)에 있어서의, 인물의 얼굴의 인식 처리에 대하여 설명한다. 도 8은, 제1 실시 형태의 변형예에 따른 얼굴 인식 장치(100)에 있어서의 상술한 처리의 수순을 나타내는 흐름도이다.

화상 입력부(101)가, 카메라(150)로부터 화상 데이터를 입력 처리한다(스텝 S801). 이어서, 얼굴 영역 검출부(102)가, 입력 처리된 화상 데이터로부터, 얼굴 영역의 검출을 행한다(스텝 S802).

이어서, 방법 선택부(104)가, 검출된 얼굴 영역의 크기가 소정의 임계값 A' 이상인지 여부를 판정한다(스텝 S803). 그리고, 소정의 임계값 A' 이상이라고 판정된 경우(스텝 S803: "예"), 방법 선택부(104)가, 제3 얼굴 특징점 검출 방법을 선택한다(스텝 S804). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제3 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S805).

그 후, 특징 추출부(106)가, 스텝 S805에서 검출된 특징점으로 정규화하여, 얼굴 영역에 기초한 잘라내기 화상 데이터를 생성한다(스텝 S806). 그리고, 특징 추출부(106)는, 생성한 잘라내기 화상 데이터에 대하여, 얼굴의 특징점의 위치에 관한 검출 평가를 행한다. 그리고, 특징 추출부(106)가, 검출 평가의 값이, 인물의 평균적인 얼굴의 패턴에 기초하는 기준값 C 이상인지 여부를 판정한다(스텝 S807). 또한, 임계값 C는 실시의 형태에 맞추어 설정되는 것으로 한다. 그리고, 임계값 C 이상인 경우(스텝 S807: "예")에는, 스텝 S814로 이동한다.

한편, 스텝 S807에서 특징 추출부(106)가 검출 결과의 값이 기준값 C 미만이라고 판정한 경우(스텝 S807: "아니오"), 또는 스텝 S803에서 방법 선택부(104)가, 검출된 얼굴 영역의 크기가 소정의 임계값 A' 미만이라고 판정한 경우(스텝 S803: "아니오"), 방법 선택부(104)가, 제2 얼굴 특징점 검출 방법을 선택한다(스텝 S808). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S809).

그 후, 특징 추출부(106)가, 스텝 S809에서 검출된 특징점으로 정규화하여, 얼굴 영역에 기초한 잘라내기 화상 데이터를 생성한다(스텝 S810). 그리고, 특징 추출부(106)는, 생성한 잘라내기 화상 데이터에 대하여, 얼굴의 특징점의 위치에 관한 검출 평가를 행한다. 그리고, 특징 추출부(106)가, 검출 평가의 값이, 인물의 평균적인 얼굴의 패턴에 기초하는 기준값 C 이상인지 여부를 판정한다(스텝 S811). 그리고, 기준값 C 이상인 경우(스텝 S811: "예"), 스텝 S814로 이동한다.

한편, 스텝 S811에서 특징 추출부(106)가 검출 결과의 값이 기준값 C 미만이라고 판정한 경우(스텝 S811: "아니오"), 방법 선택부(104)가, 제1 얼굴 특징점 검출 방법을 선택한다(스텝 S812). 그리고, 특징점 검출부(105)가, 검출된 얼굴 영역에 대하여, 선택된 제1 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S813).

그리고, 특징 추출부(106)가, 검출된 얼굴의 특징점에 기초하여, 얼굴의 특징 정보를 추출한다(스텝 S814). 그 때, 특징 추출부(106)는, 검출한 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 행해 둔다. 이에 의해, 화상 데이터의 얼굴 영역마다 다른 크기, 밝기, 얼굴의 방향이 수정된다.

그 후, 인식부(108)가, 특징 추출부(106)에 의해 추출된 얼굴의 특징 정보와, 인물 정보 관리부(107)에 기억된 얼굴의 특징 정보에 기초하여, 인식 처리를 행하여, 화상 데이터에 비친 인물의 후보를 추출한다(스텝 S815).

그리고, 표시부(109)가, 추출된 후보자의 일람과, 얼굴 특징점 검출 방법에 기초하는 신뢰도를 표시한다(스텝 S816).

상술한 처리 수순에 의해, 검출한 얼굴 영역에 대하여 적절한 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 검출이 가능하게 된다. 이에 의해, 인물의 인식의 정밀도를 향상시킬 수 있다.

제1 실시 형태에서는, 선택된 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점을 검출하는 예에 대하여 설명하였다. 그러나, 선택된 하나의 얼굴 특징점 검출 방법을 사용하는 것이 아니고, 복수의 얼굴 특징점 검출 방법을 조합하여 사용해도 좋다. 따라서, 제2 실시 형태에서는, 복수의 얼굴 특징점 검출 방법을 조합하여 사용하는 예에 대하여 설명한다.

도 9는, 제2 실시 형태에 관한 얼굴 인식 장치(900)의 구성을 도시하는 블록도이다. 본 실시 형태에 관한 얼굴 인식 장치(900)는, 상술한 제1 실시 형태에 관한 얼굴 인식 장치(100)와는, 방법 선택부(104)와는 처리가 다른 방법 선택부(901)로 변경되고, 특징점 검출부(105)와는 처리가 다른 특징점 검출부(902)로 변경되어 있는 점에서 상이하다. 이하의 설명에서는, 상술한 제1 실시 형태와 동일한 구성 요소에는 동일한 부호를 부여하고 그 설명을 생략하고 있다.

방법 선택부(901)는, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역의 화상 크기에 기초하여, 제1 얼굴 특징점 검출 방법과 제2 얼굴 특징점 검출 방법의 조합 및 제2 얼굴 특징점 검출 방법과 제3 얼굴 특징점 검출 방법의 조합 중, 어느쪽의 조합으로 얼굴의 특징점의 검출을 행할지를 선택한다. 본 실시 형태에서는, 얼굴 영역을 표현하는 직사각형의 정점의 좌표로부터 가로 폭 및 세로 폭을 나타내는 화소수를 산출하고, 산출한 화소수가 소정의 임계값 A"이상인지 여부에 기초하여, 얼굴 특징점 검출 방법의 조합을 선택한다.

특징점 검출부(902)는, 방법 선택부(901)에 의해 선택된 얼굴 특징점 검출 방법의 조합을 사용하여, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역으로부터, 눈, 코 등의 얼굴 부위의 위치를 얼굴의 특징점으로서 검출한다.

특징점 검출부(902)는, 검출된 얼굴 영역으로부터, 얼굴의 부위를 얼굴의 특징점으로서 검출할 때, 얼굴 영역의 크기의 차이에 맞추어 상이한 복수의 얼굴 특징점 검출 방법을 조합하여 처리를 한다.

또한, 특징점 검출부(902)는, 저해상도에서도 얼굴의 특징점을 검출하기 쉬운 얼굴 특징점 검출 방법을 사용하여 얼굴 특징점의 검출을 행한 후, 각 특징점의 주변의 소정 영역을 상한으로 하여 보다 높은 검출 위치 정밀도를 갖는 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점의 위치를 보정한다. 이에 의해, 개인을 특정하는 인식 정밀도의 저하를 억제하면서 낮은 해상도의 얼굴 화상이 입력된 경우에도 고정밀도로 얼굴 인식 처리를 하는 것을 가능하게 한다.

특징점 검출부(902)는, 제1 특징점 전단 검출부(911)와, 제2 특징점 후단 검출부(912)와, 제2 특징점 전단 검출부(913)와, 제3 특징점 후단 검출부(914)를 구비한다.

제1 특징점 전단 검출부(911)는, 전단 처리로서, 제1 얼굴 특징점 검출 방법을 사용하여, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역으로부터, 얼굴의 특징점을 검출한다.

제2 특징점 후단 검출부(912)는, 후단 처리로서, 제2 얼굴 특징점 검출 방법을 사용하여, 제1 특징점 전단 검출부(911)에 검출된 얼굴의 특징점의 주변의 소정의 영역에 대하여, 얼굴의 특징점을 검출한다.

제2 특징점 전단 검출부(913)는, 전단 처리로서, 제2 얼굴 특징점 검출 방법을 사용하여, 얼굴 영역 검출부(102)에 의해 검출된 얼굴 영역으로부터, 얼굴의 특징점을 검출한다.

제3 특징점 후단 검출부(914)는, 후단 처리로서, 제3 얼굴 특징점 검출 방법을 사용하여, 제1 특징점 전단 검출부(911)에 검출된 얼굴의 특징점의 주변의 소정의 영역에 대하여, 얼굴의 특징점을 검출한다.

예를 들어, 제3 얼굴 특징점 검출 방법은, 얼굴 영역의 형상 정보나 휘도 분포 정보에 기초하여, 얼굴의 특징점을 검출하지만, 상세하게 검출 처리를 행하기 때문에 처리 부담이 크다. 따라서, 특징점 검출부(902)에서는, 제2 특징점 전단 검출부(913)가, 제2 특징점 검출 방법을 사용하여, 얼굴의 특징점을 검출하고, 제3 특징점 후단 검출부(914)가, 검출한 얼굴의 특징점의 주변의 소정 영역에 한하여 제3 얼굴 특징점 검출 방법에 의해 얼굴의 특징점의 검출을 행한다. 이에 의해, 처리 부담을 경감하는 데다가, 얼굴 특징점의 위치의 특정 정밀도를 향상시킬 수 있다. 또한, 특징점의 주변이 되는 소정의 영역은, 실시의 형태에 의해 미리 정해지는 것으로 한다.

마찬가지로, 제1 특징점 전단 검출부(911)는, 제1 특징점 검출 방법을 사용하여, 특징점이나, 얼굴의 방향 등을 검출하여, 제2 특징점 후단 검출부(912)가, 검출된 얼굴의 방향에 기초하여 얼굴의 특징점의 초기 위치를 적용하고, 당해 초기 위치의 주변의 소정 영역에 한하여 제2 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 검출을 행한다. 이에 의해, 처리 부담을 경감하는 데다가, 얼굴 특징점의 위치의 특정 정밀도를 향상시킬 수 있다.

또한, 본 실시 형태에서는, 복수의 조합의 예로서, 2종류의 얼굴 특징점 검출 방법을 조합하는 예에 대하여 설명했지만, 3종 이상의 얼굴 특징점 검출 방법을 조합하여 특징점의 검출을 행해도 좋다.

또한, 본 실시 형태에 관한 얼굴 인식 장치(900)의 특징점 검출부(902)는, 전단의 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 검출을 행한 후, 후단의 얼굴의 특징점 검출에 의한 위치의 보정이 필요한지 여부의 검증을 행해도 좋다. 그리고, 당해 검증의 결과, 후단의 얼굴의 특징점 검출에 의한 위치의 보정이 필요하다고 판정된 경우에, 후단의 얼굴 특징점 검출 방법을 사용하여, 보정을 행한다. 본 실시 형태에서는, 특징점 검출부(902)가, 전단 및 후단의 얼굴 특징점 검출 방법 각각을 사용한 얼굴의 특징점의 검출 결과에 기초하여, M×N 화소로 구성되는 얼굴 영역의 정규화 잘라내기 화상을 생성하고, 정규화 잘라내기 화상의 패턴과, 인물의 평균적인 얼굴의 패턴으로서 미리 학습된 패턴의 유사도를 산출하고, 산출된 유사도가 소정의 유사도 이상으로 되지 않는 경우에, 후단의 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 위치의 보정을 행한다.

이어서, 본 실시 형태에 관한 얼굴 인식 장치(900)에 있어서의, 인물의 얼굴의 인식 처리에 대하여 설명한다. 도 10은, 본 실시 형태에 관한 얼굴 인식 장치(900)에 있어서의 상술한 처리의 수순을 나타내는 흐름도이다.

화상 입력부(101)가, 카메라(150)로부터 화상 데이터를 입력 처리한다(스텝 S1001). 이어서, 얼굴 영역 검출부(102)가, 입력 처리된 화상 데이터로부터, 얼굴 영역의 검출을 행한다(스텝 S1002).

이어서, 방법 선택부(901)가, 검출된 얼굴 영역의 크기가 소정의 임계값 A" 이상인지 여부를 판정한다(스텝 S1003). 그리고, 소정의 임계값 A" 미만이라고 판정된 경우(스텝 S1003: "아니오"), 방법 선택부(901)가, 제1 얼굴 특징점 검출 방법 및 제2 얼굴 특징점 검출 방법의 조합을 선택한다(스텝 S1004). 그리고, 제1 특징점 전단 검출부(911)가, 검출된 얼굴 영역에 대하여, 선택된 제1 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S1005).

그 후, 특징점 검출부(902)가, 검출된 얼굴의 특징점에 대하여, 위치의 보정이 필요한지 여부를 판정한다(스텝 S1006). 당해 위치의 보정이 필요한지 여부의 판정 방법으로서는, 어떤 방법을 사용해도 좋지만, 본 실시 형태에서는 상술한 바와 같이, 미리 학습된 패턴 사이에서 산출된 유사도에 기초하여, 판정한다. 그리고, 위치의 보정이 필요없다고 판정한 경우(스텝 S1006: "아니오"), 스텝 S1012로 이동한다.

한편, 특징점 검출부(902)가 위치의 보정이 필요하다고 판정한 경우(스텝 S1006: "예"), 또한, 제2 특징점 후단 검출부(912)가, 스텝 S1005에서 검출된 특징점의 주변의 소정의 영역에 대하여, 제2 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 검출, 즉 위치의 수정을 행한다(스텝 S1007).

또한, 스텝 S1003에서, 방법 선택부(901)가, 검출된 얼굴 영역의 크기가 소정의 임계값 A" 이상이라고 판정한 경우(스텝 S1003: "예"), 방법 선택부(901)가, 제2 얼굴 특징점 검출 방법 및 제3 얼굴 특징점 검출 방법의 조합을 선택한다(스텝 S1008). 그리고, 제2 특징점 전단 검출부(913)가, 검출된 얼굴 영역에 대하여, 선택된 제2 얼굴 특징점 검출 방법을 사용하여 얼굴의 특징점을 검출한다(스텝 S1009).

그 후, 특징점 검출부(902)가, 검출된 얼굴의 특징점에 대하여, 위치의 보정이 필요한지 여부를 판정한다(스텝 S1010). 그리고, 위치의 보정이 필요없다고 판정한 경우(스텝 S1010: "아니오"), 스텝 S1012로 이동한다.

한편, 특징점 검출부(902)가 위치의 보정이 필요하다고 판정한 경우(스텝 S1010: "예"), 또한, 제3 특징점 후단 검출부(914)가, 스텝 S1009에서 검출된 특징점의 주변의 소정의 영역에 대하여, 제3 얼굴 특징점 검출 방법을 사용하여, 얼굴의 특징점의 검출, 즉 위치의 수정을 행한다(스텝 S1011).

그리고, 특징 추출부(106)가, 검출된 얼굴의 특징점에 기초하여, 얼굴의 특징 정보를 추출한다(스텝 S1012). 그 때, 특징 추출부(106)는, 검출한 특징점에 대하여 방향 보정(3차원), 크기 보정 및 밝기 보정을 행해 둔다. 이에 의해, 화상 데이터의 얼굴 영역마다 다른 크기, 밝기, 얼굴의 방향이 수정된다.

그 후, 인식부(108)가, 특징 추출부(106)에 의해 추출된 얼굴의 특징 정보와, 인물 정보 관리부(107)에 기억된 얼굴의 특징 정보에 기초하여, 인식 처리를 행하여, 화상 데이터에 비친 인물의 후보를 추출한다(스텝 S1013).

그리고, 표시부(109)가, 추출된 후보자의 일람과, 얼굴 특징점 검출 방법에 기초하는 신뢰도를 표시한다(스텝 S1014).

상술한 처리 수순에 의해, 얼굴 영역의 크기에 따라 얼굴 특징점 검출 방법을 상이하게 한 후에, 복수의 얼굴 특징점 검출 방법을 조합하여 얼굴의 특징점의 검출을 행할 수 있다. 이에 의해, 얼굴의 특징점의 위치의 검출 정밀도를 향상시킴과 함께, 정밀도는 높지만 처리 부담이 큰 얼굴 특징점 검출 방법이 사용되는 영역은 소정의 영역에 한정되기 때문에, 처리 부담을 경감시킬 수 있다.

또한, 본 실시 형태에 관한 표시부(109)는, 후보자에 관한 정보를 표시할 때에 특징점 검출부(902)가 사용한 얼굴 특징점 검출 방법에 기초한, 얼굴 인증의 신뢰성을 나타낸 정보를 표시한다. 예를 들어, 표시부(109)는, 후단의 검출 처리를 행한 경우에는 후단의 얼굴 특징점 검출 방법에 기초한 신뢰성을 나타내는 정보를 표시한다. 표시부(109)는, 전단의 검출 처리만 행한 경우, 전단의 얼굴 특징점 검출 방법에 기초한 신뢰성을 표시해도 좋고, 위치의 보정이 필요없다고 판단된 이상, 후단의 특징점 검출 방법과 동등한 신뢰성을 표시해도 좋다.

또한, 본 실시 형태에서는, 얼굴 영역의 크기(해상도)에 의해, 얼굴 특징점 검출 방법의 조합을 전환하는 예에 대하여 설명했지만, 얼굴 영역의 크기에 의해 전환하는 것을 반드시 행할 필요가 있는 것은 아니다. 예를 들어, 얼굴 영역의 크기와 관계없이, 항상 저해상도에 대응한 얼굴 특징점 검출 방법부터 순서대로 얼굴의 특징점의 검출 처리를 행하도록 해도 좋다.

이와 같이, 제2 실시 형태에 관한 얼굴 인식 장치(900)에서는, 저해상도의 화상이어도 얼굴의 특징점 검출의 위치가 극단적으로 잘못되는 것을 억제할 수 있음과 함께, 가능한 한 위치 정밀도를 높일 수 있다.

또한, 이러한 복수의 얼굴 특징점 검출 방법을 조합한 방법은, 제2 실시 형태로 나타낸 바와 같은 후단의 얼굴 특징점 검출 방법을, 전단의 얼굴 특징점 검출 방법으로 검출된 얼굴 특징점의 위치를 기준에 소정 영역 내에 한하여 검출을 행하는 것에 제한하는 것은 아니다.

예를 들어, 후단의 얼굴 특징점 검출 방법에서도 소정의 영역보다 넓은 영역(예를 들어 얼굴 영역 전체)에 대하여 얼굴의 특징점의 검출을 행해도 좋다. 이 경우, 당해 후단의 얼굴 특징점 검출 방법에 의해 얻어진 검출 좌표와, 전단의 얼굴 특징점 검출 방법에 의해 얻어진 검출 좌표를 비교하여, 후단의 검출 좌표가 전단의 검출 좌표로부터 소정 영역 내의 오차이면 후단의 검출 결과를 이용하여, 소정 영역 이상 이격되는 경우, 전단의 얼굴 특징점 검출 방법을 유지하는 방법을 생각할 수 있다.

이상의 제1 내지 제2 실시 형태에 의해, 화상 데이터 내의 얼굴 영역의 크기 등에 따라, 적절한 얼굴 특징점 검출 방법을 선택함으로써, 얼굴의 인식 정밀도의 저하를 억제하는 것이 가능하게 된다.

도 11은 제3 실시 형태에 관한 얼굴 인식 장치(1000)의 구성을 예시하는 블록도이다. 도 11에 도시한 바와 같이, 얼굴 인식 장치(1000)는, 화상 입력부(1010)와, 얼굴 검출부(1020)와, 얼굴 특징점 검출부(1030)와, 검출 결과 관리부(1040)와, 검출 결과 보정부(1050)와, 출력부(1060)를 구비한다. 또한, 얼굴 인식 장치(1000)는, 카메라(1500)로부터 촬상된 동화상에 기초하여, 인물 H의 인식을 행한다.

카메라(1500)는, 소정의 영역에 대하여 촬영을 행한다. 예를 들어, 카메라(1500)는, 통행로의 입퇴장 대상 에리어에 대하여 촬영을 행하는 감시 카메라 등이며, 촬영 결과인 동화상 데이터를 생성한다. 그리고, 화상 입력부(1010)는, 카메라(1500)로부터의 동화상 데이터를 입력 처리한다.

카메라(1500)는, 적어도 1개소, 또는 복수의 지점에 설치 가능하게 한다. 또한, 카메라(1500)는, 소정의 영역에 존재하는 인물의 얼굴 화상을 입력하는 것이며, 예를 들어 ITV(Industrial Television) 카메라로 한다. 카메라(1500)는, 카메라의 렌즈를 통하여 얻어진 광학적인 정보를 A/D 변환기에 의해 디지털화하여 소정의 프레임 레이트의 프레임 화상 데이터를 생성하고, 얼굴 인식 장치(1000)에 대하여 출력한다.

도 12는, 카메라(1500)로부터 입력되는 동화상 데이터의 일례를 나타내는 개념도이다. 도 12에 도시한 바와 같이, 카메라(1500)를 향하여 인물 H가 걸어 오는 경우에는, 프레임 화상 G1 내지 G4에 걸친 일련의 프레임 화상이 카메라(1500)로 촬상된다. 얼굴 인식 장치(1000)에는, 이 카메라(1500)로 촬상된 프레임 화상 G1 내지 G4가 화상 입력부(1010)에 입력된다. 또한, 본 실시 형태에서는, 카메라(1500)가 촬상한 동화상 데이터의 입력을 일례로 하였다. 그러나, 화상 입력부(1010)에 입력되는 동화상 데이터는, DVR(Digital Video Recorder) 등에 기록된 동화상 데이터이어도 좋은 것은 물론이다.

도 13은, 제3 실시 형태에 관한 얼굴 인식 장치(1000)의 동작의 일례를 나타내는 흐름도이다. 이하에서는, 도 13에 나타내는 흐름도를 참조하여, 도 11에 도시한 얼굴 검출부(1020), 얼굴 특징점 검출부(1030), 검출 결과 관리부(1040), 검출 결과 보정부(1050) 및 출력부(1060)의 순서대로 동작의 상세를 설명한다.

얼굴 검출부(1020)는, 화상 입력부(1010)에 의해 입력된 동화상 데이터로부터, 복수의 프레임 화상에 걸쳐 동일한 인물의 얼굴이 표현된 얼굴 영역을 검출한다(도 13, 스텝 S1). 구체적으로는, 얼굴 검출부(1020)는 다음과 같이 하여 얼굴 영역을 검출한다. 우선, 얼굴 검출부(1020)는, 입력된 동화상 데이터(각 프레임 화상) 내에서, 당해 동화상 데이터상의 휘도 정보를 이용하여 얼굴의 영역을 나타내는 좌표를 구한다. 당해 얼굴의 영역을 검출하는 방법으로서는, 어떤 방법을 사용해도 좋다. 본 실시 형태는, 예로서, 문헌(미타 유우지 외: 「얼굴 검출에 적합한 공기(共起)에 기초하는 Joint Haar-like 특징」 전자 정보 통신 학회 논문지(D), vol.J89-D, 8, pp1791-1801(2006))에 나타난 방법을 사용하여, 얼굴 영역의 검출을 행한다. 다른 검출 방법의 예로서는, 미리 준비된 템플릿을, 입력된 화상 데이터내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 영역으로서 검출하는 방법이나, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등을 사용하는 방법을 적용해도 좋다.

또한, 검출하는 얼굴 영역의 형상은, 임의의 형상이어도 좋고, 얼굴의 방향이나 크기의 검출 결과에 따라 얼굴의 영역의 형상을 상이하게 해도 좋지만, 본 실시 형태는, 설명을 용이하게 하기 위해, 직사각형 형상의 얼굴 영역을 검출한다. 도 14는, 프레임 화상 G10으로부터의 얼굴 영역의 검출을 예시하는 개념도이다. 도 14에 도시한 바와 같이, 프레임 화상 G10으로부터 직사각형 형상의 얼굴 영역 R1 내지 R3의 정점을 나타내는 좌표를, 얼굴 영역의 검출 결과로 한다.

그런데, 감시 카메라 등으로 촬영된 영상 데이터의 경우, 검출된 동일 인물의 얼굴이 복수의 프레임에 걸쳐 연속하여 비치는 것이 상정된다. 이로 인해, 이들을 동일 인물로서 대응지을 수 있도록 인물의 얼굴의 추적 처리를 행할 필요가 있다. 이 추적 처리의 실현 방법으로서는, 옵티컬 플로우를 사용하여 검출한 얼굴이, 다음 프레임에서 어느 위치에 존재할지를 추정하여, 대응짓는 방법 등을 이용함으로써 실현 가능하다. 이 추적 처리는, 동일 인물로서 대응시켜진 얼굴 영역이 얼굴 검출부(1020)에 의해 검출되지 않아, 추적 종료의 판정(도 13, 스텝 S3: "예")이 행해질 때까지 계속된다. 그리고, 후술하는 특징 추출부(1061)는, 동일 인물로서 대응시켜진 복수 프레임의 얼굴 영역 중, 인물을 인식하기 위해, 적절한 화상을 적어도 1매 선택하고, 선택된 얼굴 영역으로부터 얼굴의 특징 정보를 추출해도 좋다. 또한, 특징 추출부(1061)는, 얼굴 영역의 크기가 커질 때마다, 얼굴의 특징 정보를 추출하는 처리를 행함으로써, 최대의 크기의 얼굴 영역이 검출될 때까지 임의의 매수의 화상 데이터를 검출에 이용해도 좋다.

얼굴 특징점 검출부(1030)는, 추적 처리에 의해 얼굴 검출부(1020)에 의해 복수의 프레임 화상에 걸쳐 검출된 얼굴 영역으로부터, 프레임 화상마다, 코 등의 얼굴의 특징점을 검출하는 얼굴 특징점 검출 처리를 행한다(도 13, 스텝 S2). 도 15는, 검출된 얼굴 영역의 얼굴 화상 G11로부터의 얼굴의 특징점 R11 내지 R14의 검출을 예시하는 개념도이다. 도 15에 도시한 바와 같이, 얼굴 검출부(1020)에 의해 검출된 얼굴 영역의 얼굴 화상 G11로부터는, 양 눈의 동공과 입의 양끝 등에 대응한 특징점 R11 내지 R14가 검출된다. 또한, 설정 등에 의해 검출해야 할 얼굴의 특징점은 임의로 바꿀 수 있는 것으로 한다.

얼굴 특징점 검출부(1030)에 있어서의 얼굴의 특징점의 검출 방법은, 문헌(후쿠이 가즈히로, 야마구치 오사무: 「형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출」, 전자 정보 통신 학회 논문(D), vol.J 80-D-II, No.8, pp2170-2177(1997)) 등의 방법으로 실현 가능하다. 본 실시 형태에서는 얼굴 영역의 특징을 이용하는 예를 기술했지만 홍채·망막·눈의 화상을 대상으로 하여 얼굴인지 여부를 판별하는 장치의 경우에도 상기 처리에 의해 검출된 눈의 영역에 기초하여 카메라를 줌하는 것 등으로 검출이 가능하게 된다. 또한 상기 눈·코의 검출 이외에 입 영역의 검출에 대해서는, 문헌(유아사 마유미, 나카지마 아키코: 「고정밀도 얼굴 특징점 검출에 기초하는 디지털 메이크 시스템」 제10회 화상 센싱 심포지엄 예고집, pp219-224(2004))의 기술을 이용함으로써 용이하게 실현이 가능하다. 어떤 경우에서든 2차원 배열 형상의 화상으로서 취급할 수 있는 정보를 획득하고, 그 중에서 얼굴 특징의 영역을 검출하는 것이 가능하다.

또한, 이들 검출 처리는, 1매의 화상 내에서 하나의 얼굴 특징만을 추출하기 위해서는 전체 화상에 대하여 템플릿과의 상관값을 구하여 최대가 되는 위치와 크기를 출력하면 되고, 복수의 얼굴 특징을 추출하기 위해서는 화상 전체에 대한 상관값의 국소 최대값을 구하고, 1매의 화상 내에서의 겹침을 고려하여 얼굴의 후보 위치를 좁히고, 마지막에는 연속하여 입력된 과거의 화상과의 관계성(시간적인 추이)도 고려하여 최종적으로 복수의 얼굴 특징을 동시에 찾는 것도 가능하게 된다.

또한, 마스크 착용이나 선글라스의 착용, 모자의 착용과 같은 경우에도 검출할 수 있도록 하기 위해, 미리 선글라스나 마스크나 모자로 얼굴의 일부가 가려진 경우의 얼굴 패턴으로 템플릿을 학습해 두거나, 얼굴의 특징점의 검출을 할 때에 모든 점을 검출할 수 없는 경우에도 일부의 얼굴 특징점이 충분한 평가값으로 검출되면 나머지의 특징점에 대해서는 2차원 평면 또는 3차원적인 얼굴의 모델을 이용하여 검출된 특징점으로부터 나머지의 특징점에 의해 추측함으로써 실현이 가능하다. 특징점을 전혀 검출할 수 없게 될 정도로 마스크나 모자나 선글라스가 특징점을 은폐하고 있는 경우에는, 얼굴 전체의 패턴으로서 학습해 두어 얼굴 전체의 위치를 검출하고, 특징점은 얼굴 전체의 위치로부터 추측함으로써 실현이 가능하다. 또한, 복수의 얼굴이 화상 내에 존재한 경우에도 마찬가지의 처리를 각각의 얼굴에 대하여 실시함으로써 실현할 수 있다.

검출 결과 관리부(1040)는, 얼굴 검출부(1020) 및 얼굴 특징점 검출부(1030)에 의해 얻어진 얼굴의 위치와 얼굴의 특징점의 위치 정보, 추적 처리에 의해 얻어진 프레임간의 동일 인물의 보행을 대응시킨 정보, 얼굴 화상 정보, 배경 화상 정보, 그 밖에도 시각이나 장소 등의 정보를 기록하는 데이터베이스이다. 검출 결과 관리부(1040)가 기록하는 데이터베이스는, 검출 결과 보정부(1050)에 있어서 참조되어, 얼굴의 특징점의 위치 정보가 보정된다. 검출 결과 관리부(1040)는, 검출 결과 보정부(1050)를 적용한 후의 데이터(보정 후의 얼굴의 특징점의 위치 정보)를 기록하는 것도 가능하다.

검출 결과 보정부(1050)는, 프레임 화상마다 검출된 얼굴의 특징점의 좌표를 프레임 화상간에서 비교함으로써, 프레임 화상마다 검출된 얼굴의 특징점의 검출 정밀도를 검증하여, 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 검출 결과로부터의 제외 및 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 좌표의 보정 중 적어도 한쪽을 행하고, 얼굴 특징점 검출부(1030)가 검출한 얼굴의 특징점의 검출 결과를 보정하는 검출 결과 보정 처리를 행한다(도 13, 스텝 S4).

여기서, 검출 결과 보정부(1050)가 행하는 검출 결과 보정 처리의 구체적인 실시 방법을 설명한다. 검출 결과 보정 처리는 크게 검출 정밀도의 검증 스텝과, 검증된 결과 정밀도가 낮아진 프레임에 대한 제외 또는 보정의 스텝으로 나뉘어진다.

우선, 검출 정밀도의 검증 방법에 대하여 설명한다. 인물 H가 프레임 추적되었을 때, 얼굴 검출 결과의 열(x_1,y_1), ...,(x_t, y_t) 및, 특징점 검출 결과의 열 p(1), p(2), ..., p(t)가 부여되어 있다고 하자. 단, p(1), p(2), ..., p(t)는 얼굴의 부위 M개의 xy 좌표값을 배열한 2M 요소의 벡터라 한다. 이때, 인접하는 프레임에 대하여 변위 d(p(t), p(t-1))을 계산하여, 변위가 임계값 θ보다도 큰 경우는 검출 실패라고 간주하고, 검출 결과를 제거한다. 이 경우 인접하는 프레임뿐만 아니라, 해당 프레임 이외에 2프레임 이상 선정해도 좋다. 각 부위에 대하여 평균값, 중앙값을 연속하는 프레임수 r(r=1,...,t)에 대하여 계산하고, 사전에 정한 소정의 임계값보다도 큰 경우는 인물의 이동에 의한 요인과 다른 변동으로서 검출 정밀도가 낮은 좌표라고 판정한다. 또한, 변위는 유클리드 놈(norm)이든, 1놈이든, 거리이면 된다. 얼굴 크기에 따라 축척을 맞출 수도 있다.

도 16은, 프레임 화상 G21 내지 G23마다 검출된 얼굴의 특징점을 예시하는 개념도이다. 도 16에 예시한 프레임 화상 G21 내지 G23에서는, x(t-2) 내지 x(t)의 특징점 R11에 있어서, x(t)의 특징점 R11이 변위가 커서 검출 실패로 된다.

앞의 스텝에 있어서 검출 정밀도가 낮아진 프레임에 대하여, 검출 결과의 제외 또는 보정을 행한다. 검출 결과의 제외에 대해서는 해당하는 얼굴 영역의 검출 좌표 또는 얼굴 특징점의 검출 좌표의 한쪽 또는 양쪽을 검출하지 않은 것으로 하여 정보를 제외하고, 후단의 출력부(1060)에 출력하지 않음으로써 실현이 가능하다.

도 17은, 검출 결과 보정 처리의 일례를 나타내는 흐름도이다. 보다 구체적으로는, 도 17에 있어서의 검출 결과 보정 처리에서는, 프레임 화상마다 검출된 얼굴의 특징점의 좌표와, 복수의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표의 평균값의 차분이 소정값보다 큰 경우에, 소정값보다 큰 얼굴의 특징점을 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점으로 하고 있다.

도 17에 도시한 바와 같이, 얼굴 특징점 검출부(1030)에 의해 얼굴의 특징점이 검출되면(스텝 S2), 검출 결과 보정부(1050)는, 복수의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표에 대해, 프레임간의 평균을 계산한다(스텝 S41). 계속해서, 검출 결과 보정부(1050)는, 프레임 화상마다 검출된 얼굴의 특징점의 좌표와, 스텝 S41에서 계산된 평균의 차분을 계산하고(스텝 S42), 그 차분이 소정의 임계값 이상인지 여부를 판정한다(스텝 S43).

소정의 임계값 이상이 아닌 경우(스텝 S43: "아니오"), 얼굴의 특징점에 대하여 검출 성공으로 간주하고, 그 얼굴의 특징점에 관한 검출 결과를 후단의 출력부(1060)에 출력하는 처리를 행한다(스텝 S44). 소정의 임계값 이상인 경우(스텝 S43: "예")는, 얼굴의 특징점에 대하여 검출 실패로 간주하고, 그 얼굴의 특징점에 관한 검출 결과를 제외한다(스텝 S45).

도 18은, 검출 결과 보정 처리의 일례를 나타내는 흐름도이다. 보다 구체적으로는, 도 18에 있어서의 검출 결과 보정 처리에서는, 프레임 화상마다 검출된 얼굴의 특징점의 좌표와, 바로 근처의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표 사이의 이동량이 소정값보다 큰 경우에, 그 소정값보다 큰 얼굴의 특징점을 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점으로 하고 있다.

도 18에 도시한 바와 같이, 얼굴 특징점 검출부(1030)에 의해 얼굴의 특징점이 검출되면(스텝 S2), 검출 결과 보정부(1050)는, 얼굴의 특징점인 얼굴 부품의 수를 카운트하기 위한 변수 i의 초기화(i=1)를 행하고(스텝 S51), 각 프레임 화상에 있어서, 모든 얼굴 부품의 수(N)를 초과할 때까지(i>N), 스텝 S52 내지 S57의 처리를 행한다.

구체적으로는, 검출 결과 보정부(1050)는, 얼굴의 특징점의 부위(i)에 대해서, 바로 근처의 프레임과의 사이의 이동량(d(t)=||x(t)-x(t-1)||)을 계산하고(스텝 S53), 부위(i) 이외의 이동량의 부품에 관한 평균을 계산한다(스텝 S54). 계속해서, 검출 결과 보정부(1050)는, 스텝 S53과 스텝 S54에서 계산한 값의 차가 소정의 임계값 이상인지 여부를 판정한다(스텝 S55). 소정의 임계값 이상이 아닌 경우(스텝 S55: "아니오"), 얼굴의 특징점에 대하여 검출 성공으로 간주하고, 변수 i를 인크리먼트하고(스텝 S56), 스텝 S52로 처리를 복귀시킨다. 소정의 임계값 이상인 경우(스텝 S55: "예"), 얼굴의 특징점에 대하여 검출 실패로 간주하고, 그 얼굴의 특징점에 관한 검출 결과를 제외하고 변수 i를 인크리먼트한 후(스텝 S57), 스텝 S52로 처리를 복귀시킨다. 스텝 S52 내지 스텝 S57의 처리가 행해진 후(스텝 S52: "예"), 검출 결과 보정부(1050)는, 스텝 S57에서 제외한 검출 결과 이외의 검출 결과를, 출력부(1060)에 출력하는 처리를 행한다(스텝 S58).

또한, 상술한 검출 결과 보정 처리에서는, 하나의 프레임 화상에 있어서, 검출 실패로 간주된 얼굴의 특징점의 개수가 소정의 임계값 이상인 경우에, 그 프레임 화상으로부터 검출된 얼굴의 특징점의 모두를 검출 결과로부터 제외 또는 보정해도 좋다. 도 19는, 프레임 화상 G31, G32마다 검출된 얼굴의 특징점을 예시하는 개념도이다. 도 19에 도시한 바와 같이, 프레임 화상 G32에 있어서의 특징점 R11, R14의 2개가 검출 실패라고 간주된 경우에는, 프레임 화상 G32에 있어서의 얼굴 화상은 노이즈의 혼입 등에 의해 신용할 수 없는 점에서, 그 프레임 화상 G32에 있어서의 얼굴의 특징점을 검출 결과로부터 제외 또는 보정한다.

도 20은, 검출 결과 보정 처리의 일례를 나타내는 흐름도이다. 보다 구체적으로는, 도 20에 있어서의 검출 결과 보정 처리에서는, 검출 실패라고 간주된 얼굴의 특징점의 개수가 소정의 임계값 이상인 경우에, 그 프레임 화상으로부터 검출된 얼굴의 특징점의 모두를 검출 결과로부터 제외하고 있다.

도 20에 도시한 바와 같이, 얼굴 특징점 검출부(1030)에 의해 얼굴의 특징점이 검출되면(스텝 S2), 검출 결과 보정부(1050)는, 얼굴의 특징점인 얼굴 부품의 수를 카운트하기 위한 변수 i의 초기화(i=1)와, 검출 실패로 간주된 얼굴의 특징점의 개수를 카운트하기 위한 변수 C의 초기화(C=0)를 행하고(스텝 S61), 각 프레임 화상에 있어서, 모든 얼굴 부품의 수(N)를 초과할 때까지(i>N), 스텝 S62 내지 스텝 S66의 처리를 행한다.

구체적으로는, 검출 결과 보정부(1050)는, 얼굴의 특징점의 부위(i)에 대해서, 바로 근처의 프레임과의 사이의 이동량(d(t)=||x(t)-x(t-1)||)을 계산하고(스텝 S63), 변수 i를 인크리먼트한 후(스텝 S64), 스텝 S63에서 계산한 이동량이 소정의 임계값 θ 이상인지 여부를 판정한다(스텝 S65). 소정의 임계값 θ 이상인 경우(스텝 S65: "예"), 그 얼굴의 특징점은 검출 실패로 간주하고, 변수 C를 인크리먼트한 후(스텝 S66), 스텝 S62로 처리를 복귀시킨다. 소정의 임계값 θ 이상이 아닌 경우(스텝 S65: "아니오"), 그 얼굴의 특징점은 검출 성공으로 간주하고, 변수 C를 인크리먼트하지 않고, 스텝 S62로 처리를 복귀시킨다.

스텝 S62 내지 스텝 S66의 처리가 행해진 후(스텝 S62: "예"), 검출 결과 보정부(1050)는, 변수 C가 소정의 임계값 Ω 이상인지 여부, 즉 프레임 화상에 있어서 검출 실패로 간주된 얼굴의 특징점의 개수가 소정의 임계값 Ω 이상인지 여부를 판정한다(스텝 S67). 변수 C가 소정의 임계값 Ω 이상이 아닌 경우(스텝 S67: "아니오"), 검출 결과 보정부(1050)는, 그 프레임 화상으로부터 검출된 얼굴의 특징점을 출력부(1060)에 출력하는 처리를 행한다(스텝 S68). 변수 C가 소정의 임계값 Ω 이상인 경우(스텝 S67: "예"), 검출 결과 보정부(1050)는, 그 프레임 화상으로부터 검출된 얼굴의 특징점을 검출 결과로부터 제외한다(스텝 S69).

한편, 검출 결과의 보정에 대해서는, 동일 인물로서 대응시켜지고 있는 다른 프레임의 얼굴 영역 좌표 또는 얼굴 특징점의 좌표의 정보를 이용하여 보정을 한다. 구체적으로는, T 프레임째의 좌표의 값을 보정하기 위해서는 T-2로부터 T-1 프레임의 이동량을 T-1 프레임 외에 T 프레임째를 예측하는 또는 T-1과 T+1 프레임의 평균값(이동 평균)을 구하고 T 프레임의 좌표를 구한다고 하는 간단한 방법으로 실현이 가능하다. 또한, t-2 프레임째부터 t-1 프레임째의 이동이 관측된 경우, 단순히 마찬가지 동작을 하면 t 프레임째에서는 이 장소에 있을 것이라는 예측이 가능하고, 그 좌표에 따른 형태로 t 프레임째에서 얼굴이 검출되면 보정이 불필요하지만, 극단적으로 어긋난 위치에서 얼굴이 검출된 경우에 정밀도가 낮을 가능성이 있다고 판정한다. 또한, 이 설명에서는 T 프레임 이외의 2 프레임을 이용했지만 프레임수를 증가시키는 것이나, 예측을 선형이 아니고 비선형으로 함으로써 정밀도를 올리는 것도 가능하다.

도 21은, 프레임 화상 G21 내지 G23마다 검출된 얼굴의 특징점을 이동 평균으로 보정하는 경우를 예시하는 개념도이다. 도 21에 예시한 프레임 화상 G21 내지 G23에서는, x(t-2) 내지 x(t)의 특징점 R11에 있어서, x(t)의 특징점 R11이 변위가 커서 검출 실패로 된다. 이 특징점 R11을, 프레임 화상 G21, G22에서 검출된 특징점 R11의 이동 평균을 바탕으로 산출된 특징점 R11a로서 보정한다.

도 22는, 이동 평균으로 보정하는 경우의 검출 결과 보정 처리의 일례를 나타내는 흐름도이다. 도 22에 도시한 바와 같이, 얼굴 특징점 검출부(1030)에 의해 얼굴의 특징점이 검출되면(스텝 S2), 검출 결과 보정부(1050)는, 거슬러 오르는 프레임수를 카운트하기 위한 변수 i의 초기화(i=1)와, 얼굴의 특징점 x(t)의 취득을 행하고(스텝 S71), T로서 설정되는 프레임수만큼 거슬러 오를 때까지(i>T), 스텝 S72 내지 스텝 S75의 처리를 행한다.

구체적으로는, 검출 결과 보정부(1050)는, c(i)=1/T를 산출하고(스텝 S73), 거슬러 오르는 프레임수 사이에 있어서의 얼굴의 특징점의 이동 평균(x(t)=x(t)+c(t)·x(t-1))을 산출하고(스텝 S74), i를 인크리먼트한 후(스텝 S75), 스텝 S72로 처리를 복귀시킨다.

스텝 S72 내지 스텝 S75의 처리가 행해진 후(스텝 S72: "예"), 검출 결과 보정부(1050)는, 이동 평균에서 산출된 얼굴의 특징점을 출력부(1060)에 출력하는 처리를 행한다(스텝 S76).

또한, 인물이 이동하는 것을 상정한 모델을 갖게 하여 얼굴의 위치를 시계열로 예측하는 방법으로도 실현할 수 있다. 구체적으로는, 파티클 필터(D. MIKAMI, K. Otsuka, J. Yamato, Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, CVPR 2009, pp.999-1006) 및 ARMA 모델(M. H. Ghaeminia, A. H. Shabani, S. B. Shokouhi, Adaptive Motion Model for Human Tracking Using Particle Filter, ICPR 2010, pp.2073-2076)와 같은 시계열 예측의 방법을 사용함으로써 실현이 가능하다.

이들 특징점 좌표의 보정 처리는 얼굴의 상태에 구애되지 않고 처리를 하는 것을 설명했지만, 얼굴의 방향이나 얼굴 크기에 따라서 보정 처리에 이용하는 화상의 가중치를 변경하는 것도 가능하다. 예를 들어 사전에 방향이 상이한 얼굴 패턴을 다수 준비해 두고, 입력된 얼굴 패턴과의 매칭을 취함으로써 방향을 판정한다고 하는 심플한 방법으로도 실현 가능하다. 보다 고정밀도로 방향을 구하는 경우에는, 검출된 얼굴의 특징점의 2차원 화상 상에서의 배치로부터 원래 얼굴의 3차원적인 배치를 구하는 것도 가능하고, 유사한 방법으로 얼굴의 방향을 구하는 것이 가능하다.

전술한 특징점 좌표를 보정할 때에는, 얼굴이 보이는 영역의 좌표를 우선도높게 이용하고, 얼굴이 보이지 않는 장소에 대해서는 우선도를 내려 이용함으로써 보다 화질을 높게 하는 것이 가능하게 된다. 도 23은, 프레임 화상 G41 내지 G43마다 검출된 얼굴의 방향에 따라 가중치 부여값을 변경하는 경우를 예시하는 개념도이다. 예를 들어 도 23에 도시한 바와 같이, 1보행 중에는 보행 위치에 따라 프레임 화상 G42와 같이 고개를 숙이는 경우도 있는 점에서, 얼굴 중에서 보이는 영역이 상이하다. 이 경우, 앞으로 다가 와 있는 경우에는 얼굴의 상측 영역을 우선적으로 이용하는 한편, 부각의 영향으로 보기 어려운 얼굴의 하측 영역(입이나 턱, 코구멍 등)은 적극적으로 이용하지 않는 것이 가능하다. 즉, 프레임 화상 G41에서 검출된 특징점 R11의 가중치 부여를 크게 하고, 프레임 화상 G42에서 검출된 특징점 R11의 가중치 부여를 작게 한다. 그리고, 검출 실패로 간주된 프레임 화상 G43의 특징점 R11에 대해, 가중치 부여 평균으로 얻은 특징점 R11b로서 보정한다. 또한 부각의 영향 이외에 인간의 얼굴의 방향이 두리번두리번 바뀌는 경우에도 그 때마다 우선도가 높은 영역과 낮은 영역을 바꿈으로써 검출 좌표의 정밀도 저하를 모면하는 것이 가능하게 된다. 가중치 부여에 대해서도 전술한 설명에서 평균을 취하고 있던 계산을 가중치 부여 평균으로 변경함으로써 실현이 가능하게 된다.

도 24는, 가중치 부여값을 변경하는 경우의 검출 결과 보정 처리의 일례를 나타내는 흐름도이다. 도 24에 도시한 바와 같이, 전술한 스텝 S72: "아니오" 다음으로, 검출 결과 보정부(1050)는, 프레임(t-i)의 얼굴 각도 φ를, 그 프레임에 포함되는 얼굴의 특징점의 좌표를 바탕으로 계산한다(스텝 S72a). 계속해서, 검출 결과 보정부(1050)는, 스텝 S72a에서 계산한 얼굴 각도 φ가 소정의 임계값 Φ 이상인지 여부, 예를 들어 얼굴이 고개를 숙이고 있는지 여부를 판정한다(스텝 S72b).

얼굴 각도 φ가 소정의 임계값 Φ 이상이 아닌 경우(스텝 S72b: "아니오"), 예를 들어 얼굴이 정면을 향하고 있는 점에서, 검출 결과 보정부(1050)는 그대로의 값(가중치 부여를 1)으로 이동 평균을 산출한다(스텝 S73 내지 스텝 S75). 얼굴 각도 φ가 소정의 임계값 Φ 이상인 경우(스텝 S72b: "예"), 예를 들어 얼굴이 고개를 숙이고 있는 점에서, 검출 결과 보정부(1050)는 c(i)=0(가중치 부여를 0)으로 하고(스텝 S72c), 이동 평균을 산출한다(스텝 S74, 스텝 S75).

도 11, 도 13을 사용한 설명으로 되돌아간다. 출력부(1060)에서는, 검출 결과 보정부(1050)에서 얻어진 결과에 대해서는, 본 실시 형태에 있어서 그 결과를 액정 모니터나 CRT 모니터 등의 표시부(1064)에 표시하는 카메라(1500)로부터의 영상에 대하여, 얼굴의 영역을 나타내는 직사각형 정보를 오버레이 표시함으로써 얼굴을 검출한 것의 결과 출력으로 한다. 또한, 시스템으로서, 얼굴 검출이나 얼굴 특징점 검출의 화상 내의 위치 정보와 함께 입력 화상 전체 또는 얼굴 화상을 포함하는 영역을 잘라내어 기록해도 좋다.

또한, 영상 내에서 얼굴을 검출하여 표시나 기록을 행하는 응용을 설명했지만, 이 시스템을 확장하여, 인물의 얼굴 화상 대조의 정밀도 향상에 응용하는 것도 가능하다. 기본이 되는 구성은, 특징 추출부(1061), 인물 정보 관리부(1062), 인식부(1063), 표시부(1064)이다.

특징 추출부(1061)는, 얼굴의 영역의 정보(검출 결과 보정부(1050)를 통하여 출력된 얼굴의 특징점)로부터 개인을 식별하기 위한 특징 정보(이후 「얼굴 특징」이란 이 개인을 식별하기 위한 특징 정보를 나타내는 것으로 한다)를 수치로서 출력한다. 우선은 얼굴 검출부(1020)에 의해 검출된 얼굴의 부품의 위치를 바탕으로, 얼굴 영역을 일정한 크기, 형상으로 잘라내어, 그 농담 정보를 특징량으로서 사용한다. 여기에서는, m 픽셀×n 픽셀의 영역의 농담값을 그대로 정보로서 사용하고, m×n차원의 정보를 특징 벡터로서 사용한다. 이들은 단순 유사도법이라고 하는 방법에 의해 벡터와 벡터의 길이를 각각 1로 하도록 정규화를 행하고, 내적을 계산함으로써 특징 벡터간의 유사성을 나타내는 유사도가 구해진다. 상세하게는 문헌(엘키 오야 저, 오가와 히데미쯔, 사토 마코토 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년)에 있는 바와 같이 부분 공간법을 이용함으로써 실현할 수 있다.

문헌(도시바(고자카야 다쓰오): 「화상 인식 장치, 방법 및 프로그램」, 특허 공보: 일본 특허 공개 제2007-4767)에 있는 바와 같이 1매의 얼굴 화상 정보에 대하여 모델을 이용하여 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상을 작성함으로써 보다 정밀도가 높아지는 방법을 적용해도 좋다. 1매의 화상으로부터 얼굴의 특징을 구하는 경우에는 여기까지의 처리로 얼굴 특징 추출은 완료된다. 한편, 동일 인물에 대하여 연속한 복수의 화상을 이용한 동화상에 의한 계산을 함으로써 보다 정밀도가 높은 인식 처리를 행할 수도 있다. 구체적으로는 문헌(후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치: 「동화상을 사용한 얼굴 인식 시스템」 전자 정보 통신 학회 연구 보고 PRMU, vol97, No.113, pp17-24(1997), 마에다 겐이치, 와타나베 사다카즈: 「국소적 구조를 도입한 패턴·매칭법」, 전자 정보 통신 학회 논문지(D), vol.J68-D, No.3, pp345-352(1985))에 있는 상호 부분 공간법을 사용하는 방법으로 설명한다.

화상 입력부(1010)로부터 연속하여 얻어진 화상으로부터 얼굴 특징점 검출부(1030)와 마찬가지로 m×n 픽셀의 화상을 잘라내어 이들의 데이터를 특징 벡터의 상관 행렬을 구하고, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 연속한 화상으로부터 얻어지는 얼굴의 특징을 나타내는 부분 공간을 계산한다. 부분 공간의 계산법은, 특징 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 부분 공간을 계산한다. 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개 선정, 그 고유 벡터 집합을 사용하여 표현한다. 본 실시예에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd=Φd Λd Φd T와 대각화하여, 고유 벡터의 행렬 Φ를 구한다. 이 정보가 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간으로 된다. 이러한 방법으로 출력된 부분 공간과 같은 특징 정보를 입력된 화상에 의해 검출된 얼굴에 대한 개인의 특징 정보로 한다.

인물 정보 관리부(1062)에서는, 후술하는 인식부(1063)에 의해 검색할 때에 이용하는 대상으로 되는 데이터베이스이며, 검색 대상으로 되는 개인마다 특징 추출부(1061)에 의해 출력된 얼굴 특징 정보 및 성별이나 연령, 신장 등 속성 판별 수단에 의해 판별 가능한 속성 정보와 같이 인물에 관한 부수된 정보를 동일한 인물마다 대응지어 관리한다. 얼굴 특징 정보 및 속성 특징 정보로서 실제로 관리하는 내용은 특징 추출부(1061)에 의해 출력된 데이터 그 자체이어도 좋고, m×n의 특징 벡터나, 부분 공간이나 KL 전개를 행하기 직전의 상관 행렬이어도 상관없다. 또한, 특징 추출부(1061)에 의해 출력되는 특징 정보를 화상 입력부(1010)로부터 등록시에 입력된 얼굴 화상과 함께 관리함으로써 개인의 검색이나 검색의 표시에 이용할 수 있다. 또한, 요주의의 유무를 지정하고, 후술하는 처리에 의해 검색 결과의 우선도를 지정하는 것도 실현 가능하다.

인식부(1063)는, 특징 추출부(1061)에 의해 얻어진 입력 화상의 얼굴 특징 정보와, 대응하는 인물 정보 관리부(1062) 중 얼굴 특징 정보의 유사성을 나타내는 계산을 행하여 보다 유사성이 높은 것부터 순서대로 결과를 되돌리는 처리를 행한다. 또한 인물 정보 관리부(1062)에서 설명한 바와 같이 소정의 속성 정보로 좁혀 인물 정보 관리부(1062)를 일부분만 검색한다고 하는 것도 가능하다. 이때에 검색 처리의 결과로서는 유사성이 높은 것부터 순서대로 인물 정보 관리부(1062) 내에서 개인을 식별하기 위하여 관리되는 인물 ID, 계산 결과인 유사성을 나타내는 지표를 반환한다. 게다가 인물 정보 관리부(1062)에 의해 개인마다 관리되는 정보를 함께 반환하도록 해도 상관없지만, 기본적으로 식별 ID에 의해 대응짓기가 가능하므로 검색 처리 자체로는 부속 정보를 주고받는 일은 없어도 실현이 가능하게 된다.

유사성을 나타내는 지표로서는 얼굴 특징 정보로서 관리되는 부분 공간끼리의 유사도로 한다. 계산 방법은, 부분 공간법이나 복합 유사도법 등의 방법을 사용해도 좋다. 이 방법에서는, 미리 축적된 등록 정보 중 인식 데이터도, 입력되는 데이터도 복수의 화상으로부터 계산되는 부분 공간으로서 표현되고, 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 여기서 입력되는 부분 공간을 입력 수단분 공간이라고 한다. 입력 데이터 열에 대하여 마찬가지로 상관 행렬 Cin을 구하고, Cin=ΦinΛinΦinT와 대각화하여, 고유 벡터 Φin을 구한다. 2개의 Φin, Φd로 표시되는 부분 공간의 부분 공간간 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다.

구체적인 계산 방법에 대해서는 특징 추출부(1061)에서 소개한 문헌(엘키오야)에 의해 실현이 가능하다. 또한, 미리 동일 인물이라고 아는 복수의 얼굴 화상을 통합하여 부분 공간에의 사영에 의해 본인인지 여부를 식별함으로써 정밀도를 향상시키는 것도 가능하고, 문헌(후쿠이·고자카야)에서도 마찬가지의 처리를 행해도 좋다. 고속으로 검색하기 위해서는 TREE 구조를 이용한 검색 방법 등도 이용 가능하다.

표시부(1064)에서는, 인식부(1063)에 의해 검색된 결과 중 지정한 조건에 맞는 것을 실시간으로 표시하는 리얼타임 얼굴 검색 결과 표시와, 인식부(1063)에 의해 검색된 결과를 검색 이력으로서 보존해 두고, 뒤에서 조건을 지정함으로써 해당하는 검색 이력만 표시하는 오프라인의 얼굴 검색 결과 표시 중 어느 한쪽 또는 양쪽을 내장하는 것이 가능하다.

이상에 의해, 본 실시 형태에 관한 얼굴 인식 장치(1000)에서는, 감시 용도와 같은 높은 곳에 설치한 카메라(1500)의 영상으로부터 인물 H의 얼굴을 검출할 때, 프레임 화상마다 검출된 얼굴의 특징점의 좌표를 프레임 화상간에서 비교함으로써 프레임 화상마다 검출된 얼굴의 특징점의 검출 정밀도를 검증하여, 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 검출 결과로부터의 제외 및 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 좌표의 보정 중 적어도 한쪽을 행하고, 검출한 얼굴의 특징점의 검출 결과를 보정함으로써, 얼굴 검출이나 얼굴 특징점의 검출 처리의 정밀도를 향상시키는 효과가 있다.

도 25는, 제4 실시 형태에 관한 얼굴 인식 장치(2000)의 구성을 예시하는 블록도이다. 도 25에 도시한 바와 같이, 얼굴 인식 장치(2000)는, 전술한 얼굴 검출부(1020)와, 얼굴 특징점 검출부(1030) 사이에서 처리를 행하기 위한 검출 얼굴 영역 관리부(2010), 얼굴 영역 화상 보정부(2020)를 구비한다.

검출 얼굴 영역 관리부(2010)는, 후술하는 얼굴 영역 화상 보정부(2020)에 있어서 이용하는 데이터베이스이며, 얼굴 검출부(1020)에 의해 얻어진 얼굴의 위치 정보, 추적 처리에 의해 얻어진 프레임간의 동일 인물의 보행을 대응시킨 정보, 얼굴 화상 정보, 배경 화상 정보, 그 밖에도 시각이나 장소 등의 정보를 기록하는 데이터베이스이다. 관리하는 정보로서는, 대조 처리 등을 위하여 특징 추출 처리를 적용한 후의 특징량을 기록하는 것도 가능하다. 또한, 마스크나 선글라스나 다른 인물에 의한 은폐 등이 있는 경우는 이 정보도 기록하는 것도 가능하다.

얼굴 영역 화상 보정부(2020)는, 검출 얼굴 영역 관리부(2010)를 참조하여, 복수의 프레임 화상에 걸쳐 검출된 얼굴 영역에 상당하는 복수의 얼굴 화상을 바탕으로, 소정의 프레임 화상으로부터 검출된 얼굴 영역의 화질을 보정한다. 구체적으로는, 얼굴 영역 화상 보정부(2020)는, 얼굴 검출부(1020)에 의해 동일 인물의 일련의 보행을 촬영한 복수의 프레임에 걸쳐 대응지어져 추적된 얼굴 검출 결과와 얼굴 화상의 계열로부터, 처리 대상으로 되는 각 화상에 따라 1매 또는 복수매의 프레임 화상을 선택하고, 마찬가지로 얻어진 다른 프레임의 화상을 이용하여 화상의 품질을 보정한다.

구체적으로는, 도 12에 도시한 바와 같이 카메라(1500)로부터 먼 장소에서의 작게 비친 얼굴과 카메라로부터 가까운 장소에 비친 큰 얼굴의 특성을 이용하여 화상의 보정이나 합성과 같은 처리를 행한다. 여기서 처리 대상으로 하고 있는 것은 입력된 프레임 화상 전부이어도 좋고, 복수의 프레임 화상으로부터 가장 얼굴 영역 화상으로서 보기 쉬운 프레임 화상, 크기가 큰 프레임 화상, 얼굴이 정면을 향하고 있는 프레임 화상을 적어도 1매 선택한 프레임 화상 중 어느 것이든 좋고, 추출된 프레임 화상에 대하여 보정이 필요한지 여부를 판정한다.

프레임 화상의 품질 판정으로서는 얼굴 영역 화상의 밝기, 얼굴 영역 화상의 콘트라스트, 얼굴 영역 화상의 노이즈의 유무, 얼굴 영역 화상의 크기(해상도), 얼굴 영역 화상의 흐려짐 상태를 대상으로 하여, 밝기에 대해서는 얼굴 영역의 휘도값의 히스토그램을 취하여 그 평균값을 보는 것이나 평균값으로부터 소정의 표준 편차 내에 포함되는 휘도의 평균값을 취함으로써 판단이 가능하여, 소정의 상한 임계값보다 전술한 값이 높은 경우에는 「너무 밝음」, 소정의 하한 임계값보다 낮은 경우에는 「너무 어두음」이라고 판정하여 보정을 가하도록 한다. 마찬가지로 콘트라스트에 대해서는 마찬가지로 얼굴 영역의 휘도값의 히스토그램을 작성하여 휘도값의 분산을 계산함으로써 구해진다. 어긋남값을 제거하면서 가장 밝은 값, 어두운 값을 취하여 그 휘도값의 차를 취해도 좋다. 노이즈에 대해서는 얼굴 영역 화상의 주파수 성분을 FFT로 구하고, 소정의 임계값 이상의 주파수 성분의 강도가 강한 경우에 노이즈가 높다고 판단한다. 크기에 대해서는 얼굴 영역 화상의 크기를 그대로 이용하면 된다. 흐려짐 상태에 대해서는 노이즈 판정이 반대이어도 얼굴 영역 화상에 FFT 처리를 가하여, 고주파 성분의 강도가 소정의 임계값보다 낮은 경우에 흐려진다고 판단하면 된다. 이렇게 몇개의 휘도값의 분포를 계산으로 구함으로써 보정이 필요한지의 판단이 가능하며, 이들 판단은 적어도 하나만 행해도 좋고, 모두 행해도 좋다.

전술한 품질 판정을 행한 결과 필요해진 경우에 행하는 화상 보정 처리로서, 복수의 화상을 이용하여 보정 가능한 처리라면 임의의 처리가 적용 가능하지만, 구체적으로는 얼굴 영역 화상의 고해상도화(초해상), 노이즈 제거, 휘도 계조의 확대, 흐려짐 보정이라는 처리가 적용 가능하며, 본 실시 형태에서도 적어도 이 처리 중 하나 또는 복수 동시에 적용해도 되는 구성인 것은 명확하다.

고해상도화(초해상)에 대해서는, 시간적으로 떨어져 있지 않은 복수의 프레임 사이에서 대응점의 대응짓기를 행한 다음, 동일 위치에 대응한다고 생각되는 화소의 휘도값 정보를 이용하여 보다 해상도가 높은 화상을 보다 자연스럽게 합성하는 처리이다. 구체적으로는, S.C.Park, M.K.Park, and M.G.Kang., "Super-resolution image reconstruction: a technical overview", IEEE Signal Processing Magazine, 20(3):21-36, May 2003. 등의 고해상도화 처리를 적용함으로써 실현이 가능하다. 또한, 이 경우 복수의 프레임 사이에서의 위치 정렬 처리가 중요한 정보로 되기 때문에, 고해상도화 처리에서 이용하는 프레임이 결정된 경우에, 얼굴 검출의 위치 정보를 이용하여, 얼굴이 프레임간의 이동량이 일정한 임계값 φ 이하인 경우는, 중첩에 사용하지 않는다. 또한, 반대로 이동량이 일정한 임계값 Φ 이상인 경우는, 변동이 크므로 검출이 오검출인 것이나, 중첩 처리의 오차가 커지므로, 고해상도화의 처리에 이용하지 않는다고 판단한다.

노이즈 제거에 대해서도, 고해상도화와 마찬가지로 복수 프레임간에 걸친 좌표의 대응짓기를 행하여 인물의 얼굴 영역의 동일 개소에 상당하는 화소를 대응짓고, 얼굴 영역이 동일한 부위이면 휘도나 색정보는 거의 동등하다고 하는 상정으로부터, 복수 프레임간에서의 평균값 또는 어긋남값 제거한 후의 평균값, 중간값과 같은 정보를 취함으로써, 노이즈의 제거를 행하는 것이 가능하다.

휘도 계조의 확대에 대해서도, 복수매의 화상의 노출이 상이한 경우는 이들을 조합하여 고계조화 처리도 실행하는 것도 가능하다(예를 들어, Paul E. Debevec Jitendra Malik: Recovering High Dynamic Range Radiance Maps from Photographs, SIGGRAPH 1997.).

밝기의 보정에 대해서도 휘도 계조의 확대 처리와 마찬가지의 처리를 가한 다음 지나치게 밝은 경우에는 어두운 계조측의 휘도 정보를 이용하고, 지나치게 어두운 경우에는 밝은 계조측의 휘도 정보를 이용한다. 흐려짐 보정에 대해서도, 마찬가지로 복수 프레임에서의 위치 정렬을 행한 후에 대해, 에지 정보가 약한 영역(에지 강도가 소정의 임계값 미만)이면 그대로의 값을 이용 또는 복수 프레임에 걸친 휘도나 색정보의 평균값을 취하고, 에지 강도가 소정의 임계값 이상이면 평균값을 취하지 않고 에지 강도가 강한 프레임의 정보를 이용하고, 복수 프레임에서 노이즈 제거를 하면서 에지 강조 처리를 가함으로써 흐려진 영상을 복수의 프레임을 이용함으로써 흐려짐을 경감시키는 것이 가능하다.

이들 보정 처리는 얼굴의 상태에 구애되지 않고 처리를 하는 것을 설명했지만, 제2 실시 형태와 마찬가지로 얼굴의 방향이나 얼굴 크기에 따라 보정 처리에 이용하는 화상의 가중치를 변경하는 것도 가능하다. 전술한 화상 품질을 보정할 때에는, 얼굴이 보이는 영역의 좌표를 우선도 높게 이용하고, 얼굴이 보이지 않는 장소에 대해서는 우선도를 내려 이용함으로써 보다 화질을 높게 하는 것이 가능하게 된다. 예를 들어 1보행 중에는 도 12에 도시한 바와 같이 보행 위치에 따라 얼굴 내에서 보이는 영역이 상이하다. 이 경우, 앞으로 다가 와 있는 경우에는 얼굴의 상측 영역을 우선적으로 이용하는 한편, 부각의 영향으로 보기 어려운 얼굴 아래의 영역(입이나 턱, 코구멍 등)은 적극적으로 이용하지 않는다고 하는 것이 가능하다. 또한 부각의 영향 이외에 인간의 얼굴의 방향이 두리번두리번 바뀌는 경우에도 그 때마다 우선도가 높은 영역과 낮은 영역을 바꿈으로써 품질의 저하를 회피하는 것이 가능하게 된다.

또한, 이들 보정 처리는 입력된 영상의 품질을 판단함으로써 보정을 할지 하지 않을지를 전환하도록 해도 좋고, 입력된 영상에 맞추어 입력 영상보다 품질이 높은 얼굴 영역 영역을 얻을 수 있다.

도 26은, 제4 실시 형태에 관한 얼굴 인식 장치(2000)의 동작의 일례를 나타내는 흐름도이다. 도 26에 도시한 바와 같이, 얼굴 영역 화상 보정부(2020)는, 얼굴 검출부(1020)의 검출 결과에 기초하여 얼굴의 은폐의 유무를 판정한다(스텝 S1a). 은폐가 있는 경우(스텝 S1a: "예"), 그 프레임 화상은 상술한 얼굴 영역의 보정 처리로부터 제외한다(스텝 S1b). 은폐가 없는 경우(스텝 S1a: "아니오"), 얼굴 영역 화상 보정부(2020)는, 상술한 얼굴 영역의 보정 처리를 행한다(스텝 S1c). 계속해서, 얼굴 영역의 보정 처리가 행해진 프레임 화상을 사용하여 얼굴 특징점 검출부(1030)가 얼굴의 특징점을 검출하는 처리를 행하고(스텝 S2), 출력부(1060)에의 출력 처리(스텝 S5)를 행함으로써, 정밀도가 높은 특징점 검출이 가능하게 되는 것 이외에, 기록하는 영상의 화상 품질을 높이는 것이 가능하게 된다.

도 27은, 상술한, 제1, 제2, 제3, 제4 실시 형태에 관한 얼굴 인식 장치(100, 900, 1000, 2000)의 하드웨어 구성을 도시한 도면이다. 도 27에 도시한 바와 같이, 얼굴 인식 장치(100, 900, 1000, 2000)는, CPU(1101)와, ROM(Read Only Memory)(1102)과, RAM(Random Access Memory)(1103)과, 통신 I/F(1104)와, HDD(1105)와, 표시 장치(1106)와, 키보드나 마우스 등의 입력 디바이스(1107)와, 이들을 접속하는 버스(1108)를 구비하고 있으며, 통상의 컴퓨터를 이용한 하드웨어 구성으로 되어 있다.

본 실시 형태의 얼굴 인식 장치(100, 900, 1000, 2000)에 의해 실행되는 얼굴 인식 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk) 등의 컴퓨터로 판독 가능한 기록 매체에 기록되어 제공된다.

또한, 본 실시 형태의 얼굴 인식 장치(100, 900, 1000, 2000)에 의해 실행되는 얼굴 인식 프로그램을, 인터넷 등의 네트워크에 접속된 컴퓨터상에 저장하고, 네트워크 경유로 다운로드시킴으로써 제공하도록 구성해도 좋다. 또한, 본 실시 형태의 얼굴 인식 장치(100, 900, 1000, 2000)에 의해 실행되는 얼굴 인식 프로그램을 인터넷 등의 네트워크 경유로 제공 또는 배포하도록 구성해도 좋다. 또한, 본 실시 형태의 얼굴 인식 프로그램을, ROM 등에 미리 내장하여 제공하도록 구성해도 좋다.

본 실시 형태의 얼굴 인식 장치(100, 900, 1000, 2000)에 의해 실행되는 얼굴 인식 프로그램은, 상술한 각 구성을 포함하는 모듈 구성으로 되어 있고, 실제의 하드웨어로서는 CPU(1101)가 상기 기억 매체로부터 얼굴 인식 프로그램을 판독하여 실행함으로써 상기 각 구성이 RAM(1103)상에 로드되고, 상기 각 구성이 RAM(1103)상에 생성된다.

본 발명의 몇개의 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함되는 것과 마찬가지로, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함되는 것이다.

Claims

얼굴 인식 장치로서,
인물마다, 당해 인물의 얼굴의 특징이 표현된 얼굴 특징 정보를 기억하는 기억 수단과,
인물의 적어도 얼굴을 포함하는 화상 정보를 입력하는 입력 수단과,
상기 입력 수단에 의해 입력된 상기 화상 정보로부터, 인물의 얼굴이 표현된 얼굴 영역을 검출하는 얼굴 검출 수단과,
상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하는 추출 수단과,
상기 추출 수단에 의해 추출된 상기 특징 정보와, 상기 기억 수단에 기억된 상기 얼굴 특징 정보에 기초하여, 상기 입력 수단에 의해 입력된 상기 화상 정보에 포함되어 있던 인물을 인식하는 인식 수단을 구비하는, 얼굴 인식 장치.
제1항에 있어서,
상기 입력 수단은, 동화상 데이터를 입력하고,
상기 얼굴 검출 수단은, 상기 입력된 동화상 데이터로부터 복수의 프레임 화상에 걸쳐 동일한 인물의 얼굴이 표현된 얼굴 영역을 검출하고,
상기 추출 수단은, 상기 복수의 프레임 화상에 걸쳐 검출된 얼굴 영역으로부터, 프레임 화상마다 얼굴의 특징점을 검출하고,
상기 프레임 화상마다 검출된 얼굴의 특징점의 좌표를 프레임 화상간에서 비교함으로써 상기 프레임 화상마다 검출된 얼굴의 특징점의 검출 정밀도를 검증하여, 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 검출 결과로부터의 제외 및 상기 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 좌표의 보정 중 적어도 한쪽을 행하여, 상기 검출된 얼굴의 특징점의 검출 결과를 보정하는 보정 수단을 더 구비하고,
상기 인식 수단은, 상기 보정된 얼굴의 특징점의 검출 결과에 기초하여, 상기 얼굴 특징 정보를 참조하여 상기 동일한 인물을 인식하는, 얼굴 인식 장치.
제2항에 있어서, 상기 보정 수단은, 상기 프레임 화상마다 검출된 얼굴의 특징점의 좌표와, 복수의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표의 평균값의 차분이 소정값보다 큰 경우에, 당해 소정값보다 큰 얼굴의 특징점을 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점으로 하는, 얼굴 인식 장치.
제2항에 있어서, 상기 보정 수단은, 상기 프레임 화상마다 검출된 얼굴의 특징점의 좌표와, 바로 근처의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표 사이의 이동량이 소정값보다 큰 경우에, 당해 소정값보다 큰 얼굴의 특징점을 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점으로 하는, 얼굴 인식 장치.
제2항에 있어서, 상기 보정 수단은, 복수의 프레임 화상으로부터 검출된 얼굴의 특징점의 좌표의 이동 평균을 산출하고, 당해 산출된 이동 평균을 바탕으로 상기 소정의 검출 정밀도에 미치지 않는 얼굴의 특징점의 좌표의 보정을 행하는, 얼굴 인식 장치.
제5항에 있어서, 상기 보정 수단은, 상기 프레임 화상마다 검출된 얼굴의 특징점에 기초하여 검출된 얼굴의 방향을 산출하고, 당해 산출된 얼굴의 방향이 소정의 방향을 향하지 않고 있는 얼굴의 특징점과, 소정의 방향을 향하고 있는 얼굴의 특징점에 의해, 상기 이동 평균의 산출을 행할 때의 가중치 부여값을 변경하는, 얼굴 인식 장치.
제1항에 있어서,
상기 입력 수단은, 동화상 데이터를 입력하고,
상기 얼굴 검출 수단은, 상기 입력된 동화상 데이터로부터 복수의 프레임 화상에 걸쳐 동일한 인물의 얼굴이 표현된 얼굴 영역을 검출하고,
상기 복수의 프레임 화상에 걸쳐 검출된 얼굴 영역에 상당하는 복수의 얼굴 화상에 기초하여, 소정의 프레임 화상으로부터 검출된 얼굴 영역의 화질을 보정하는 화질 보정 수단을 더 구비하고,
상기 추출 수단은, 상기 복수의 프레임 화상에 걸쳐 검출된 얼굴 영역과, 상기 보정된 얼굴 영역에 기초하여, 프레임 화상마다 얼굴의 특징점을 검출하고,
상기 인식 수단은, 상기 검출된 얼굴의 특징점에 기초하여, 상기 얼굴 특징 정보를 참조하여 상기 동일한 인물을 인식하는, 얼굴 인식 장치.
제7항에 있어서, 상기 화질 보정 수단은, 상기 소정의 프레임 화상으로부터 검출된 얼굴 영역의 고해상도화, 노이즈 제거, 휘도 보정, 밝기 보정, 에지 강조 중 적어도 하나를 행하는, 얼굴 인식 장치.
제1항에 있어서,
상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터 얼굴의 특징을 검출 처리하는 검출 방법을, 검출 처리의 거칠기 차이에 기초하여 복수 유지하는 유지 수단을 더 구비하고,
상기 추출 수단은, 상기 유지 수단에 의해 유지된 상기 복수의 검출 방법 중, 어느 하나 이상을 사용하여, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하는, 얼굴 인식 장치.
제9항에 있어서,
상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역의 해상도에 기초하여, 상기 유지 수단이 유지하는 상기 검출 방법으로부터 선택하는 선택 수단을, 더 구비하고,
상기 추출 수단은, 상기 선택 수단에 의해 선택된 상기 검출 방법을 사용하여, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터 특징 정보를 추출하는, 얼굴 인식 장치.
제9항에 있어서, 상기 추출 수단은, 상기 유지 수단이 유지하는 복수의 검출 방법 중, 하나의 상기 검출 방법을 사용하여 검출한 얼굴의 특징이, 평균적인 얼굴의 패턴에 기초하는 기준을 만족하고 있는지 판정하여, 당해 기준을 만족하지 않는 경우, 또한 검출 처리가 거친 상기 검출 방법을 사용하여, 특징 정보를 추출하는, 얼굴 인식 장치.
제1항에 있어서, 상기 추출 수단은, 상기 유지 수단에 의해 유지된 복수의 검출 방법에 포함되는, 제1 검출 방법을 사용하여, 상기 얼굴 검출 수단에 의해 검출된 상기 얼굴 영역으로부터, 얼굴의 특징이 나타난 위치를 검출한 후, 당해 위치의 주변의 영역에 대하여, 상기 제1 검출 방법보다 검출 처리가 세밀한 제2 검출 방법을 사용하여, 상기 얼굴의 특징 정보를 추출하는, 얼굴 인식 장치.
제12항에 있어서, 상기 추출 수단은, 상기 유지 수단에 의해 유지된 복수의 검출 방법에 포함되는, 제1 검출 방법을 사용하여 얼굴의 특징이 나타난 위치를 검출한 후, 검출한 위치가 소정의 기준을 만족하고 있는지 여부를 판정하여, 상기 소정의 기준을 만족하지 않은 경우에, 상기 제2 검출 방법으로 검출 처리를 행하는, 얼굴 인식 장치.
제9항에 있어서, 상기 인식 수단에 의해 인식된 인물을 나타내는 정보를 표시할 때에 상기 추출 수단에서 사용한 상기 검출 방법에 기초한, 얼굴 인식의 신뢰성을 나타낸 정보를 표시하는 표시 수단을 더 구비하는, 얼굴 인식 장치.
얼굴 인식 방법으로서,
인물의 적어도 얼굴을 포함하는 화상 정보를 입력하고,
입력된 상기 화상 정보로부터, 인물의 얼굴이 표현된 얼굴 영역을 검출하고,
검출된 상기 얼굴 영역으로부터, 얼굴의 특징을 나타낸 특징 정보를 추출하고,
추출된 상기 특징 정보와, 인물마다, 당해 인물의 얼굴의 특징이 표현된 얼굴 특징 정보에 기초하여, 입력된 상기 화상 정보에 포함되어 있던 인물을 인식하는, 얼굴 인식 방법.