KR20130105515A - 인물 화상 처리 장치 및 인물 화상 처리 방법 - Google Patents

Abstract

실시 형태의 인물 화상 처리 장치는, 입력 처리부와, 추출부와, 특징 검출부와, 보정부를 구비한다. 입력 처리부는, 촬상부에 의해 촬상된 시각이 상이한 화상 데이터를 복수 입력 처리한다. 추출부는, 촬영된 시각이 상이한 복수의 화상 데이터 각각으로부터, 동일한 인물이 표시되어 있는 인물 표시 영역을 추출한다. 특징 검출부는, 복수의 화상 데이터 각각으로부터 추출된 인물 표시 영역으로부터, 인물 부위의 특징이 나타난 특징점을 검출함과 함께, 당해 특징점에 부위가 표시되어 있는 신뢰도를 취득한다. 보정부는, 입력 처리부에 의해 입력 처리된 인물 표시 영역을 보정할 때, 각 인물 표시 영역에 포함되어 있는 특징점의 신뢰도에 기초한 가중치 부여를 행한다.

Description

인물 화상 처리 장치 및 인물 화상 처리 방법{PERSON IMAGE PROCESSING APPARATUS AND PERSON IMAGE PROCESSING METHOD}

본 발명의 실시 형태는 인물 화상 처리 장치 및 인물 화상 처리 방법에 관한 것이다.

종래부터, 어떤 사건이 발생했을 때에, 방범 카메라로 촬영된 화상 데이터를 육안으로 확인하고 있다. 이로 인해, 육안으로 확인하기 쉬운 화상 데이터를 취득하고 싶다는 요망이 있다.

이로 인해, 종래 기술에서는, 동일 인물의 복수매의 화상 데이터에 대하여, AAM이나 액티브 형상 모델, 또는 움직임량 등을 사용하여, 해상도를 향상시키는 기술이 제안되고 있다.

그때, 대상 인물의 속성(예를 들어, 인종이나 양복)에 맞추어, 해상도를 향상시키는 파라미터를 변화시키는 기술이 제안되어 있다.

그러나, 종래 기술에 있어서는, 방범 카메라로 촬영한 화상 데이터를 단순히 복수매 사용하여 고해상도화해도, 육안으로 확인하기에 적합하지 못한 경우도 있다. 예를 들어, 방범 카메라에 촬영된 화상 데이터에 있어서, 피사체의 얼굴의 방향이 육안으로 확인하기에 적합하지 못한 경우가 있다. 나아가, 얼굴 일부에 마스크나 선글라스 등이 장착되어 있기 때문에, 육안으로 확인이 어려운 경우도 있다.

실시 형태의 인물 화상 처리 장치는, 입력 처리부와, 추출부와, 특징 검출부와, 보정부를 구비한다. 입력 처리부는, 촬상부에 의해 촬상된 시각이 상이한 화상 데이터를 복수 입력 처리한다. 추출부는, 촬영된 시각이 상이한 복수의 화상 데이터 각각으로부터, 동일한 인물이 표시되어 있는 인물 표시 영역을 추출한다. 특징 검출부는, 복수의 화상 데이터 각각으로부터 추출된 인물 표시 영역으로부터, 인물 부위의 특징이 나타난 특징점을 검출함과 함께, 당해 특징점에 부위가 표시되어 있는 신뢰도를 취득한다. 보정부는, 입력 처리부에 의해 입력 처리된 인물 표시 영역을 보정할 때, 각 인물 표시 영역에 포함되어 있는 특징점의 신뢰도에 기초한 가중치 부여를 행한다.

도 1은 제1 실시 형태에 관한 인물 화상 처리 장치의 블록 구성을 도시한 도면.
도 2는 방범 카메라에 의한 촬상 영역의 개념을 도시한 도면.
도 3은 제1 실시 형태에 관한 인물 검출부에 의해 검출된 인물의 영역을 도시한 도면.
도 4는 제1 실시 형태에 관한 인물 특징 검출부에 의해 검출된 특징점의 예를 나타낸 도면.
도 5는 프레임(화상 데이터)마다 얼굴의 방향에 따라, 검출되는 특징점의 차이를 도시한 도면.
도 6은 화상 데이터마다의 얼굴의 방향과 신뢰도를 설명한 도면.
도 7은 화상 데이터마다의 은폐물과 신뢰도를 설명한 도면.
도 8은 제1 실시 형태에 관한 특징 정보 기억부가 구비하는 테이블의 구조를 도시한 도면.
도 9는 제1 실시 형태에 관한 보정부에 의한 복수 프레임의 얼굴 표시 영역을 합성하여, 인물 화상 데이터를 생성하는 예를 도시한 도면.
도 10은 얼굴 표시 영역으로부터 검출된 은폐물에 기초하여, 제1 실시 형태에 관한 보정부가 실행하는 보정 처리를 도시한 도면.
도 11은 제1 실시 형태에 관한 인물 화상 처리 장치에 있어서의, 전체적인 처리의 수순을 나타내는 흐름도.
도 12는 제2 실시 형태에 관한 인물 화상 처리 장치의 블록 구성을 도시한 도면.
도 13은 인물 화상 처리 장치의 하드웨어 구성을 도시한 도면.

(제1 실시 형태)

도 1은 제1 실시 형태에 관한 인물 화상 처리 장치의 블록 구성을 도시한 도면이다. 도 1에 도시한 바와 같이, 인물 화상 처리 장치(100)는, 얼굴 방향 판정 기준 기억부(101)와, 은폐물용 판정 기준 기억부(102)와, 특징 정보 기억부(103)와, 화상 입력 처리부(104)와, 인물 검출부(105)와, 인물 특징점 검출부(106)와, 보정부(107)와, 출력부(108)를 구비한다. 또한, 인물 화상 처리 장치(100)는, 방범 카메라(150)와 접속되어, 방범 카메라(150)에 의해 촬상된 화상 데이터를 입력 처리한다.

인물 화상 처리 장치(100)는, 화상 입력 처리부(104)에 의해 입력 처리된 화상 데이터에 나타난 인물의 영역을 추출하여, 당해 영역으로부터 인물의 특징점을 검출하고, 특징점을 고려하여 수정을 행한 인물의 화상 데이터를 출력한다. 그 때, 인물 화상 처리 장치(100)는, 촬영되었을 때의 피사체의 상태에 맞게, 복수의 화상 데이터를 사용하여 보정하여, 육안으로 확인이 용이한 화상 데이터를 생성한다.

방범 카메라(150)로 촬영된 화상 데이터로부터, 인물의 얼굴의 검출 및 기록을 행한다. 또한, 방범 카메라(150)로 촬영되는 화상 데이터는, 정지 화상 데이터이어도 좋고, 동화상 데이터이어도 좋다. 나아가, 인물 화상 처리 장치(100)에 입력되는 화상 데이터가 촬상 수단에 의해 촬상된 화상 데이터에 제한되는 것은 아니다. 예를 들어, DVR(Digital Video Recorder)이나 기억 매체 등에 기록된 동화상 데이터이어도 좋다.

방범 카메라(150)는, 소정의 영역에 대하여 촬영을 행한다. 예를 들어, 방범 카메라(150)는, 통행로의 입퇴장 대상 에리어에 대하여 촬영을 행하는 것을 생각할 수 있다. 또한, 본 실시 형태는, 방범 카메라(150)가 설치되는 장소를 제한하는 것은 아니며, 예를 들어 가두나 건물, 공공 에리어 등에 설치해도 좋다.

방범 카메라(150)는, 촬영 대상 인물의 인물 화상을 촬상하는 것이며, 예를 들어 동화상 데이터를 촬상 가능한 ITV 카메라로 한다. 방범 카메라(150)는, 자장치(自裝置)의 렌즈를 통하여 얻어진 광학적인 정보를 A/D 변환기에 의해 디지털화하여 화상 데이터를 생성하여, 인물 화상 처리 장치(100)에 출력한다. 또한, 방범 카메라(150)를 설치하는 수는, 1개이어도 좋고 복수개이어도 좋다. 복수개 설치하는 경우, 복수 지점에 설치해도 좋고, 동일한 지점에 높이 등을 상이하게 하여 설치해도 좋다.

도 2는 방범 카메라(150)에 의한 촬상 영역(201)의 개념을 도시한 도면이다. 도 2에 도시한 바와 같이, 방범 카메라(150)에 대하여, 인물이 걸어 오는 경우, 또한, 인물은 시간의 경과에 따라, 위치(211, 212, 213, 214)로 진행되고 있는 것으로 한다. 도 2에 도시한 바와 같이, 인물이 멀리 있는 경우(예를 들어 위치(211))는, 인물은, 방범 카메라(150)에 대하여 비교적 정면에 위치한다. 그러나, 인물이 접근함에 따라(예를 들어 위치(214)), 인물은, 방범 카메라(150) 바로 아래로 접근해 간다. 접근함에 따라 인물이 방범 카메라(150)에 표시되어 있는 영역이 커지기 때문에, 촬상된 화상 데이터의 인물이 표시되어 있는 영역의 해상도가 높아지지만, 인물이 표시되어 있는 각도가, 정면으로부터 어긋나기 때문에, 촬상된 화상 데이터에 있어서, 인물의 시인이 어려워질 가능성이 있다. 따라서, 본 실시 형태에 관한 인물 화상 처리 장치(100)는, 이러한 문제를 해소한다.

또한, 본 실시 형태에 관한 인물 화상 처리 장치(100)는, 설치된 장소에서 어떤 문제가 발생한 경우에, 방범 카메라(150)에 의해 촬상된 화상 데이터를 확인하는 용도를 상정하고 있다.

인물 화상 처리 장치(100)는, 인물이 표시되어 있는 화상 데이터(이하, 인물 화상 데이터라고도 칭한다)를 생성한다. 이 때문에, 인물 화상 처리 장치(100)는, 피사체의 상태에 맞게 인간의 육안으로 확인이 용이해지도록 화상 보정을 행한다.

얼굴 방향 판정 기준 기억부(101)는, 화상 데이터에 표시되어 있는 인물의 얼굴 방향을 판정하는 기준으로 되는 얼굴 방향 기준 정보를 기억한다.

은폐물용 판정 기준 기억부(102)는, 화상 데이터에 표시되어 있는 인물의 얼굴의 일부가 은폐되어 있는지 여부를 판정하는 기준으로 되는 은폐 기준 정보를 기억한다. 본 실시 형태에 관한 인물 화상 처리 장치(100)에서는, 화상 데이터에 표시되어 있는 인물이 마스크 착용이나 선글라스의 착용, 모자의 착용 등의 얼굴의 일부가 은폐되는 경우를 검출하기 때문에, 은폐물용 판정 기준 기억부(102)가, 미리 선글라스나 마스크나 모자로 얼굴의 일부가 가려진 경우의 얼굴 패턴을 학습한 템플릿을 기억한다. 학습예로서는, 은폐물을 얼굴에 착용하고 있는 화상과, 착용하고 있지 않은 화상을 미리 준비하고, 이들 화상의 휘도 구배 특징에 기초하여, 은폐물을 얼굴에 착용하고 있는지 여부의 판정 기준을 도출한다. 그리고, 은폐물용 판정 기준 기억부(102)가, 당해 판정 기준을 기억한다.

화상 입력 처리부(104)는, 방범 카메라(150)에 의해 촬상된 시각이 상이한 화상 데이터를 복수 입력 처리한다.

인물 검출부(105)는, 촬영된 시각이 상이한 복수의 화상 데이터 각각으로부터 동일한 인물이 표시되어 있는 영역을 추출한다.

인물 검출부(105)는, 인물이 표시되어 있는 영역으로서, 화상 데이터 상의 휘도 정보를 이용하여, 인물의 얼굴이 표시되어 있는 좌표 영역을 구한다. 산출 방법으로서는 어떤 방법을 사용해도 좋지만, 예를 들어, 문헌 「미타 유우지 외, " 얼굴 검출에 적합한 공기(共起)에 기초한 Joint Haar-like 특징", 전자 정보 통신 학회 논문지(D), vol.J89-D8, pp1791-1801, 2006」을 사용하는 것을 생각할 수 있다.

본 실시 형태는, 얼굴의 방향이나 크기에 기초하여 추출되는 얼굴 영역의 형상을 제한하는 것은 아니며, 임의의 형상이어도 좋다. 또한, 본 실시 형태에서는, 설명을 간단하게 하기 위해, 얼굴의 영역을 직사각형 정보로 나타내는 예로 한다. 그리고, 직사각형 정보의 각 좌표를 검출 결과로서 이용한다. 그 밖에 미리 준비된 템플릿을 화상 내에서 이동시키면서 상관값을 구함으로써, 가장 높은 상관값을 부여하는 위치를 얼굴 표시 영역으로 하는 방법, 고유 공간법이나 부분 공간법을 이용한 얼굴 추출법 등에 의해서도 실현은 가능하다.

또한, 방범 카메라(150) 등으로 촬영된 화상 데이터의 경우, 검출된 동일 인물의 얼굴이 복수의 프레임(화상 데이터)에 걸쳐 연속하여 나타난 것을 생각할 수 있다. 이러한 경우에, 그들을 동일 인물로서 대응시킬 수 있도록 인물의 얼굴의 추적 처리를 행할 필요가 있다. 이 실현 수단으로서는, 옵티컬 플로우를 사용하여 검출한 얼굴이 다음 프레임(화상 데이터)의 어느 위치에 있는지 대응시키는 방법이나, 공지의 기술 문헌(일본 특허 공개 제2011-170711호 공보)에 기재된 방법을 사용하는 것을 생각할 수 있다.

이에 의해, 후술하는 인물 특징점 검출부(106)가, 동일 인물로서 대응시킨, 복수의 화상 데이터에 포함되어 있는 얼굴이 표시되어 있는 영역으로부터, 검색하기 위하여 적절한, 적어도 1매의 화상 데이터를 선택하는 것이나, 최대로 검출된 프레임수까지의 임의의 매수의 화상 데이터를 사용하는 것이 가능하게 된다.

도 3은 인물 검출부(105)에 의해 검출된 인물의 영역을 도시한 도면이다. 도 3에 도시하는 예에서는, 제1 프레임, 제2 프레임 및 제3 프레임의 순으로, 방범 카메라(150)에 의해 촬상된 것으로 한다. 도 3에 도시한 바와 같이, 인물 검출부(105)는, 복수인의 얼굴 영역의 검출을 가능하게 한다.

그리고, 인물 검출부(105)는, 서술한 인물의 트래킹 기술에 의해, 얼굴 표시 영역(301), 얼굴 표시 영역(302), 얼굴 표시 영역(303)을 동일 인물(예를 들어 제1 인물)의 얼굴이 표시된 영역으로서 검출하고, 얼굴 표시 영역(311), 얼굴 표시 영역(312)을 동일 인물(예를 들어 제2 인물)의 얼굴이 표시된 영역으로서 검출한다.

본 실시 형태에서는, 인물 영역으로서 얼굴의 영역을 검출하는 예에 대하여 설명하지만, 검출 대상을 얼굴에 제한하는 것은 아니며, 인물 전체가 표시되어 있는 영역을 검출해도 좋다. 인물 전체가 표시되어 있는 영역을 검출하는 기술로서는, 예를 들어 「Watanabe 외, "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology", PSIVT2009, pp.37-47」을 사용하는 것을 생각할 수 있다. 이와 같이, 인물의 영역을 검출하는 기술이면 되고, 검출 대상이, 얼굴이나 인물 전체나 그 밖의 신체 등 어디든 좋다. 그리고, 검출 대상으로부터 특징 정보를 추출할 수 있으면, 본 실시 형태에 기재한 방법 이외의 방법을 사용해도 좋다.

인물 특징점 검출부(106)는, 복수의 화상 데이터 각각으로부터 검출된, 인물의 표시된 영역(얼굴 표시 영역)으로부터, 인물 부위의 특징이 나타난 특징점을 검출한다. 또한, 본 실시 형태에 관한 인물 특징점 검출부(106)는, 검출된 특징점에, 실제로 부위가 표시되어 있는 정도를 나타낸 신뢰도를 취득한다.

인물 특징점 검출부(106)는, 검출된 얼굴 표시 영역으로부터, 눈, 코 등의 얼굴 부위의 위치를 얼굴의 특징점으로서 검출한다. 검출 방법으로서는 어떤 방법을 사용해도 좋지만, 예를 들어, 문헌 「후쿠이 가즈히로, 야마구치 오사무, "형상 추출과 패턴 대조의 조합에 의한 얼굴 특징점 추출", 전자 정보 통신 학회 논문지(D), vol.J80-D-II, No.8, pp2170-2177, 1997」에 기재된 방법을 사용하는 것을 생각할 수 있다.

어느 방법에서든, 2차원 배열 형상의 화상으로서 취급할 수 있는 정보를 획득하여, 그 중에서 얼굴 특징의 영역을 검출하는 것이 가능하다.

또한, 인물 특징점 검출부(106)는, 이들 검출 처리로서, 1매의 화상 중에서 1개의 얼굴 특징만을 추출하기 위해서는 전체 화상에 대하여 템플릿과의 상관값을 구하여 최대로 되는 위치와 크기를 출력하면 된다. 또한, 인물 특징점 검출부(106)는, 복수의 얼굴 특징을 추출할 때에 화상 전체에 대한 상관값의 국소 최대값을 구하여, 1매의 화상 내에서의 겹침을 고려하여 얼굴의 후보 위치를 추리다가, 마지막에는 연속하여 입력된 과거의 화상의 관계성(시간적인 추이)도 고려하여 최종적으로 복수의 얼굴 특징을 동시에 검출해도 좋다.

도 4는 인물 특징점 검출부(106)에 의해 검출된 특징점의 예를 나타낸 도면이다. 도 4에 도시한 바와 같이, 인물 특징점 검출부(106)에 의해 눈동자, 눈초리, 입가 등의 특징점(401 내지 406)이 검출된다. 또한, 본 실시 형태는, 특징점의 위치, 수를 제한하는 것은 아니며, 실시 형태마다 적절한 특징점의 위치, 수가 설정되는 것으로 한다. 이러한 특징점(401 내지 406)은, 선글라스나 마스크나 모자 등으로 은폐될 가능성이 있다.

따라서, 본 실시 형태에 관한 인물 특징점 검출부(106)는, 은폐물용 판정 기준 기억부(102)에 기억된 선글라스나 마스크나 모자로 얼굴의 일부가 가려진 경우의 학습 결과를 참조하여, 얼굴의 특징점을 모두 검출할 수 없는 경우에도, 일부의 얼굴 특징점이 충분한 평가값에 의해 검출되어 있으면, 2차원 평면 또는 3차원적인 얼굴의 모델을 이용하여, 나머지 특징점을 추측한다.

특징점을 전혀 검출할 수 없을 정도로, 마스크, 모자 및 선글라스 등에 의해, 얼굴의 특징점을 은폐하고 있는 경우, 은폐물용 판정 기준 기억부(102)에 얼굴 전체를 패턴으로 하여 학습 결과를 기억시켜 두고, 인물 특징점 검출부(106)가 은폐물용 판정 기준 기억부(102)를 사용하여, 얼굴 전체의 위치를 검출하여, 얼굴 전체의 위치로부터 각 특징점의 위치를 추측할 수 있다. 또한, 복수의 얼굴이 화상 데이터 내에 존재한 경우도 마찬가지의 처리를, 각각의 얼굴이 검출된 영역에 대하여 실시함으로써 실현할 수 있다.

또한, 얼굴의 일부가 보이지 않는 상태로서는, 여러 상태를 생각할 수 있다. 본 실시 형태에서는, 얼굴의 일부가 보이지 않는 상태의 예로서, 얼굴의 방향에 따라 얼굴의 특징점의 검출이 곤란한 예 및 얼굴에 차폐물이 착용되어 있기 때문에 얼굴의 특징점이 곤란한 예에 대하여 설명한다.

얼굴 방향의 추정 방법으로서는, 특허 공개 공보 제2003-141551호 공보(야마다 미키, 후쿠이 가즈히로, 마키 아시토, 나카지마 아키코, "얼굴 방향 계산 방법 및 그 장치")에 기재되어 있는 방법이 있다. 당해 방법에서는, 얼굴의 회전 행렬, 얼굴의 방향별로 학습시킨 복수의 클래스(부분 공간)를 이용함으로써, 얼굴 방향을 추정하는 것을 가능하게 한다. 이에 의해, 얼굴의 각도를 알기 때문에, 얼굴의 특징점의 일부가 보이지 않을수록 각도가 있는지 여부를 추정하는 것이 가능하게 된다.

또한, 인물 특징점 검출부(106)는, 특징점을 검출했을 때에, 특징점이 실제의 인물 부위로부터 검출되었는지 여부의 정도를 나타낸 신뢰도를 취득한다. 그 때에, 얼굴의 방향에 따라, 얼굴의 특징점에 대한 신뢰도를 변경한다. 즉, 비록 얼굴의 특징점이 검출되어 있었다고 해도, 얼굴 방향의 각도가 심한 경우에, 실제의 부위로부터 검출될 가능성이 낮아진다. 이 경우는, 신뢰도를 내리는 편이 바람직하다.

따라서, 본 실시 형태에 관한 신뢰도 판정부(111)는, 화상 데이터의 얼굴 표시 영역으로부터, 얼굴 방향 판정 기준 기억부(101)에 기억된 기준 정보에 기초하여, 인물의 얼굴의 방향을 검출한 후, 당해 얼굴의 방향에 기초하여, 얼굴의 특징점의 신뢰도를 변경한다.

도 5는 프레임(화상 데이터)마다 얼굴의 방향에 따라, 검출되는 특징점의 차이를 도시한 도면이다. 도 5에 도시하는 예에서는, 시간의 경과와 함께, 입력 처리되는 화상 데이터가, 제1 프레임, 제2 프레임, 제3 프레임, 제4 프레임, 제5 프레임으로 변화하는 예로 한다. 도 5에 도시한 바와 같이, 보행 중에 얼굴의 방향이 변화하는 경우, 제1 프레임의 인물(501)이나, 제5 프레임의 인물(505)과 같이, 얼굴의 방향이 정면이라고 판정된 경우에, 얼굴의 각 부위는 확실히 보이고 있다고 생각되기 때문에, 신뢰도 판정부(111)는, 얼굴의 각 부위의 신뢰도를 높게 설정한다.

한편, 제2 프레임의 인물(502)이나, 제4 프레임의 인물(504)과 같이, 얼굴의 방향이 조금 기울어 있는 경우, 눈초리 등이 보이지 않게 되는 특징점에 대해, 신뢰도 판정부(111)는, 신뢰도를 조금 저감시키는 등의 설정을 행하는 편이 바람직하다.

또한, 제3 프레임의 인물(503)과 같이, 얼굴의 우측이 보이지 않는 경우, 인물 특징점 검출부(106)는, 이러한 상황에서, 신뢰도 판정부(111)는, 얼굴의 우측 부위로서 검출된 특징점에 대하여, 신뢰도를 낮춘다.

얼굴의 방향뿐만 아니라, 얼굴 부위를 은폐하는 선글라스나 마스크, 모자나 앞머리, 수염과 같은 것이 있는 경우도, 마찬가지로 신뢰도를 변경하는 편이 바람직하다.

우선, 마스크, 선글라스, 모자 등의 얼굴을 은폐하는 착용물의 유무의 판정이나, 앞머리의 영향 등으로 얼굴의 일부가 가려져 있는지 여부의 판정이나, 수염에 의해 얼굴의 일부가 가려져 있는지 여부를 판정하는 방법은, 어떤 방법을 사용해도 좋지만, 예를 들어 일본 특허 공개 제2012-3623호 공보에 기재된 방법을 사용하는 것을 생각할 수 있다.

그리고, 본 실시 형태에 관한 인물 특징점 검출부(106)는, 은폐물용 판정 기준 기억부(102) 이외에, 서포트 벡터 머신(Support vector machine)이나 판별 분석법을 사용하여, 화상 데이터의 얼굴 표시 영역이, 은폐물을 착용하고 있는 화상과 유사한지 여부에 기초하여, 은폐물의 유무를 판정한다.

은폐물이 있다고 판정된 경우, 신뢰도 판정부(111)가, 은폐물에 의해 가려진다고 생각되어지는 특징점의 신뢰도를 내린다.

예를 들어, 인물 특징점 검출부(106)에 의해, 선글라스가 착용되어 있다고 판정된 경우, 신뢰도 판정부(111)가, 눈에 관한 특징점(예를 들어 눈초리, 눈시울, 눈동자 등), 눈썹 부근의 정보 등의 신뢰도를 내린다. 다른 예로서는, 마스크가 착용되어 있다고 판정된 경우, 신뢰도 판정부(111)가, 입에 관한 특징점, 코에 관한 특징점의 신뢰도를 내린다.

또한, 본 실시 형태에서는, 얼굴 부위의 전체 영역이 망라적으로 보이고 있는지 여부를 기준으로, 신뢰도를 결정하는 예에 대하여 설명했다. 그러나, 이러한 방법에 제한되는 것은 아니며, 다른 예로서는, 얼굴 부위의 해상도가 높은 경우에 신뢰도를 높이고, 콘트라스트가 높은(휘도의 분포의 분산이 커서, 휘도의 최대 최소의 값의 차가 크다) 경우에 신뢰도를 높여도 좋다. 나아가, 화상 데이터 전체에 대하여 FFT를 행하여, 고주파 성분의 값이 큰 경우에 화상 데이터가 흐릿해지지 않고 선명도가 높은 것에 기초하여, 신뢰도 판정부(111)가 고주파 성분의 값이 큰 경우에 신뢰도를 높이는 제어를 행해도 좋다.

예를 들어, 인물 특징점 검출부(106)가 얼굴의 특징점을 검출한 경우에, 신뢰도 판정부(111)가, 특징점 부근의 소정 크기(예를 들어 M×N 화소) 영역의 특징점을 나타내는 화상으로 하여, 당해 영역의 화상의 최대 휘도값과 최소 휘도값으로부터 콘트라스트 또는 휘도값의 분산을 콘트라스트로서 구하여, 당해 콘트라스트가 높은 경우에는, 신뢰도에 소정의 계수(예를 들어 1보다 큰 값)를 곱함으로써 신뢰도를 높인다. 반대로 콘트라스트가 낮은 경우에는, 신뢰도에 소정의 계수(예를 들어 1보다 작은 값)를 곱함으로써, 신뢰도를 낮춘다.

또한, 신뢰도 판정부(111)가, 특징점을 나타내는 M×N 화소 영역 내의 평균 휘도를 구하여, 밝기를 구한다. 그리고, 구해진 밝기가 중간적인 값이면, 신뢰도 판정부(111)는 신뢰도를 높이고, 지나치게 밝거나 또는 지나치게 어두운 경우에 신뢰도를 낮춘다는 조정을 행한다.

또한, 특징점 사이의 거리 등에 의해 특징점이 나타내는 얼굴 부위의 크기를 나타내는 화소수를 확인할 수 있다. 이것에 따라, 신뢰도 판정부(111)가, 얼굴의 각 부위의 「해상도」에 기초하여, 신뢰도를 변경한다. 본 실시 형태에서는, 해상도가 높을수록 화질이 좋은 것으로 한다. 그리고, 신뢰도 판정부(111)는, 판정된 해상도에 따른 계수를, 각 특징점의 신뢰도에 곱함으로써, 신뢰도의 고저를 제어하는 것이 가능하게 된다.

도 6은 화상 데이터마다의 얼굴의 방향과 신뢰도를 설명한 도면이다. 도 6에 나타내는 예에서는, 제1 프레임에서는, 얼굴 표시 영역(701)으로부터 각 특징점을 검출할 수 있다. 그리고, 인물 특징점 검출부(106)가 제1 프레임으로부터 특징점을 검출했을 때에, 신뢰도 판정부(111)는, 얼굴 표시 영역의 해상도가 낮기 때문에, 얼굴 표시 영역(701)으로부터 검출된 각 특징점의 신뢰도를 조금 내린다.

한편, 제3 프레임에서는, 방범 카메라(150)와 인물 사이의 위치 및 각도의 관계로부터, 얼굴 전체의 해상도는 높지만, 앞머리 때문에, 이마 주변으로부터 우안의 주변 영역(702)을 인식하기 어렵다. 따라서, 인물 특징점 검출부(106)가 특징점을 검출했을 때에, 신뢰도 판정부(111)는, 우안 주변 영역(702)으로부터 검출된 특징점의 신뢰도를 내림과 함께, 좌안 주변 영역(703)에 대해서는 해상도가 높기 때문에, 당해 좌안 주변 영역(703)에 포함되는 특징점의 신뢰도를 올린다.

도 7은 화상 데이터마다의 은폐물과 신뢰도를 설명한 도면이다. 도 7에 도시하는 예에서는, 은폐물이 선글라스인 예로 한다. 제1 프레임에서는, 얼굴 표시 영역 중, 영역(801)에 포함되는 부위에 대해서는 적절한 특징점의 검출이 도모되지 않고, 영역(802)에 포함되는 부위에 대해서는 적절하게 특징점을 검출할 수 있다. 이로 인해, 인물 특징점 검출부(106)가 특징점을 검출할 때에, 선글라스에 의해 피복되어 있는 것도 검출된 경우에, 신뢰도 판정부(111)는, 영역(801)에 포함되어 있는 특징점의 신뢰도를 내리는 한편, 영역(802)에 포함되어 있는 특징점의 신뢰도에 대해서도 조금 내린다.

한편, 제3 프레임에서는, 방범 카메라(150)와 인물 사이의 위치 및 각도의 관계로부터, 선글라스의 테로부터 양 눈의 주변 영역(803)을 촬영할 수 있다. 제3 프레임에서는, 방범 카메라(150)와 인물이 근접하고 있기 때문에, 주변 영역의 해상도가 높다. 따라서, 인물 특징점 검출부(106)가 특징점을 검출했을 때에, 신뢰도 판정부(111)는, 양 눈의 주변 영역(803)으로부터 검출된 특징점의 신뢰도를 올림과 함께, 주변 영역(803)보다 아래 영역으로부터 검출된 특징점의 신뢰도를 내린다.

이와 같이, 얼굴의 영역을, 미세하게 영역을 나누어 관리함으로써, 표시되어 있는 눈의 일부에 한하여 신뢰도를 변경하는 등의 관리가 가능하게 된다.

신뢰도는, 예를 들어 얼굴의 특징점 단위로 평균적인 패턴을 학습시켜 두고, 상관값이나 단순 유사도나 부분 공간법에 의해 얻어진 유사도를 바탕으로 0부터 1까지의 신뢰도로 해도 좋다. 또한, 신뢰도 판정부(111)가 얼굴 방향에 기초하여 신뢰도를 변경하는 경우, 화상 데이터를 촬상한 방범 카메라(150)의 광축에 대한 얼굴의 각도 θ로부터 cosθ를 산출하고, 산출한 cosθ를 사용하여 신뢰도를 변경하는 것을 생각할 수 있다.

상술한 바와 같이, 본 실시 형태에서는, 얼굴 표시 영역으로부터 얼굴의 각 부위의 특징점을 검출한 후, 얼굴 방향이나 얼굴의 은폐물 착용 판정의 결과에 따라, 얼굴의 각 부위의 특징점이, 어느 정도 확실히 보이는지를 인식한 후, 신뢰도를 변경하기로 했다. 이와 같이 하여, 얼굴의 특징점과, 얼굴의 상태에 따른 신뢰도를 동시에 구하는 것이 가능하게 된다.

본 실시 형태에서는, 신뢰도 판정부(111)가 특징점의 보이기 쉬움에 따라 계수를 곱함으로써, 신뢰도를 높이거나 낮추거나 하는 예를 나타냈다. 그러나, 특징점마다 신뢰도를 1개 설정하는 것이 아니고, 1개의 특징점에 대하여 지표마다 신뢰도를 따로따로 갖게 해도 좋다.

특징 정보 기억부(103)는, 입력 처리된 화상 데이터를 식별하는 정보와, 검출된 인물의 특징점을 대응시켜 기억한다. 또한, 특징 정보 기억부(103)는, 입력 처리된 화상 데이터를 기억한다.

도 8은 특징 정보 기억부(103)가 구비하는 테이블의 구조를 도시한 도면이다. 도 8에 도시한 바와 같이 특징 정보 기억부(103)는, 프레임을 식별하는 번호와, 인덱스와, 얼굴의 특징점 1 내지 N에 관한 정보를 대응시켜 기억한다. 프레임을 식별하는 번호는, 화상 데이터마다 유닉하게 설정된다.

인덱스는, 인물마다 유닉하게 설정된다. 본 실시 형태에 관한 인덱스는, 인물 검출부(105)에 의해 검출된 인물마다 설정된다.

얼굴의 특징점인 'N'은, 얼굴의 특징점의 수를 나타내고 있다. 'N'은, 실시의 형태에 따라 적절한 값이 설정된다. 또한, 특징점마다, 특징점을 나타내는 X 좌표, 특징점을 나타내는 Y 좌표 및 당해 특징점의 신뢰도가 기억되어 있다.

즉, 특징 정보 기억부(103)는, 화상으로부터 검출된 얼굴 표시 영역마다, 당해 얼굴 표시 영역에 포함되는 모든 특징점에 관한 위치 정보 및 당해 특징점이 선명하게 표시되어 있는지 여부를 나타내는 신뢰도를 관리한다.

도 8에 도시하는 프레임 번호 1 내지 3은, 도 3의 제1 내지 제3 프레임에 대응한다. 즉, 프레임 번호 '1'이 도 3의 제1 프레임에 대응하여, 특징 정보 기억부(103)에는, 인덱스 '1'로 나타나는 인물의 얼굴 표시 영역(301)의 특징점 1 내지 N에 관한 정보가 저장되어 있다. 프레임 번호 '2'가 도 3의 제2 프레임에 대응하여, 특징 정보 기억부(103)에는, 인덱스 '1'로 나타나는 인물의 얼굴 표시 영역(302)의 특징점 1 내지 N에 관한 정보와, 인덱스 '2'로 나타나는 인물의 얼굴 표시 영역(311)의 특징점 1 내지 N에 관한 정보가 저장되어 있다. 프레임 번호 '3'이 도 3의 제3 프레임에 대응하여, 특징 정보 기억부(103)에는, 인덱스 '1'로 나타나는 인물의 얼굴 표시 영역(303)의 특징점 1 내지 N에 관한 정보와, 인덱스 '2'로 나타나는 인물의 얼굴 표시 영역(312)의 특징점 1 내지 N에 관한 정보가 저장되어 있다.

그리고, 인덱스 '1'의 인물은, 모두 얼굴의 특징점의 신뢰도가 높은 상태에서 검출되고 있다. 한편, 인덱스 '2'의 인물은, 얼굴의 특징점 2의 신뢰도가 낮기 때문에, 얼굴의 일부 부위가 가려져 있을 가능성이 높다고 신뢰도 판정부(111)에 의해 판정되고 있다. 도 3에 도시되는 예에서는, 선글라스 등의 은폐물의 착용에 의해 신뢰도가 낮아진 것으로 생각된다. 또한, 얼굴의 방향에 의해 일부가 가려져 있는 경우에도 마찬가지의 판정이 이루어진다.

또한, 특징 정보 기억부(103)가 기억하는 정보는, 입력 처리된 화상 데이터나, 상술한 테이블로 나타낸 대응 관계에 제한되는 것은 아니다. 예를 들어, 인물 특징점 검출부(106)에 있어서 신뢰도의 판정에 사용된 얼굴 방향의 각도, 마스크나 선글라스, 모자와 같은 착용 판정 결과가 식별되어 있는 경우, 특징 정보 기억부(103)가, 당해 얼굴 방향의 각도 및 착용 판정 결과 중 적어도 1개 이상을 대응시켜 기억해도 좋다. 또한, 인물 특징점 검출부(106)에 의해 지표마다 신뢰도를 구한 경우, 구해진 복수의 신뢰도를, 상술한 방법과 마찬가지의 방법에 의해 관리해도 좋다.

보정부(107)는, 화상 입력 처리부(104)에 의해 입력 처리된 화상 데이터로부터 검출된 얼굴 표시 영역을 보정하여, 당해 얼굴 표시 영역이 나타난 인물 화상 데이터를 생성한다. 그 때에, 보정부(107)는, 얼굴 표시 영역에 포함되어 있는 특징점의 신뢰도에 기초한 가중치 부여를 행한 후, 보정을 행한다.

보정부(107)에 의한 복수 화상 데이터를 사용한 보정의 타이밍은, 특별히 제한되는 것은 아니지만, 본 실시 형태에서는 과거의 소정 매수분의 화상 데이터를 사용하여 항상 보정을 행하기로 한다. 이 경우, t 프레임째에 실행되는 보정에서는, t-n 프레임부터 t-1 프레임까지의 n매의 화상 데이터 중, 전체(n매의) 화상 데이터를 사용해도 좋고, 임의의 매수 m(m <n)의 화상 데이터를 사용해도 좋다.

또한, 인물이 이동하고 있는 것을 고려하여, 동일 인물이 검출되어 있는 화상 데이터가 소정 매수에 도달한 경우, 인물을 검출할 수 없게 된 경우(촬영 영역의 범위 밖으로 이동한 경우), 인물 검출부(105)에 의한 인물의 트래킹이 종료되었다고 판단된 경우에, 보정부(107)가, 소정 매수의 화상 데이터를 사용하여 보정하는 것을 생각할 수 있다.

보정부(107)에 의한 보정 처리로서는, 예를 들어 초해상 처리(고해상도화할 때의 해상도의 보간 처리)가 있다. 초해상의 처리 방법은 어떤 방법을 사용해도 좋지만, 예를 들어, 문헌 「다케시마 히데노리, 가토 노부히로, 카네코 도시미쓰, "서브 픽셀 시프트 화상을 사용한 복수 프레임 초해상 기술", 도시바 리뷰 Vol.64, No.6, pp11-14, 2009」에 기재되어 있는 기술을 사용하는 것을 생각할 수 있다. 또한, 고해상도화의 처리로서, 복수 프레임(화상 데이터)을 사용하여, 고화질의 화상 데이터의 생성도 가능하다.

본 실시 형태에 관한 보정부(107)는, 복수 프레임을 사용한 고화질의 화상 데이터를 생성하는 방법을 사용한다. 본 실시 형태에 관한 보정부(107)는, 복수의 화상 데이터로부터 검출된 얼굴의 표시 영역에 포함되는 각 영역을 조합하여, 동일한 인물이 나타난 초해상의 인물 화상 데이터를 생성한다. 그 때에, 보정부(107)는, 복수 프레임에 의해 검출되어 있는 복수의 얼굴 표시 영역을, 인물 특징점 검출부(106)에 의해 특징점으로서 검출된 좌표를 이용하여 대응시키고, 각 프레임의 특징점 사이의 대응 관계에 기초하여, 복수의 얼굴의 표시 영역을 사용한 초해상 처리를 행한다. 그 때에, 본 실시 형태에서는, 각 영역에 포함되어 있는 특징점의 신뢰도를 가중치 부여로서 사용한다.

즉, 본 실시 형태에 관한 보정부(107)는, 특징점 사이를 대응시킬 때에, 해당하는 특징점의 신뢰도가 낮은 경우, 복수의 특징점 사이의 대응의 정도를 억제한다. 또한, 신뢰도가 높은 특징점 사이에 대해서는, 복수의 특징점 사이의 대응의 정도를 보다 강하게 한다. 이에 의해, 선명한 초해상의 화상 데이터를 생성하는 것이 가능하게 된다.

본 실시 형태에 관한 보정부(107)는, 신뢰도가 낮은 얼굴의 특징점 및 그 주변 영역에 대해서는 대응시키지 않고, 1프레임 내의 휘도 정보를 이용한 초해상의 화상 데이터의 생성을 행한다. 특징점의 주변 영역의 범위는, 특별히 제한을 설정하는 것은 아니지만, 예를 들어 특징점으로부터 소정의 화소수 이내로 해도 좋고, 신뢰도에 의해 가중치 부여하여, 특징점으로부터 이격될수록 신뢰도가 낮아지도록 변경하면서 보정 처리를 행해도 좋다.

본 실시 형태에 관한 보정부(107)는, 인물 화상 데이터의 생성에 사용하는 복수 프레임의 얼굴 표시 영역의 해상도가 상이한 경우에, 각 얼굴 표시 영역에 대하여 축소 또는 확대를 행하여, 해상도를 일치시키고 나서 합성한다. 합성할 때에, 보정부(107)는, 축소 또는 확대 전의 얼굴 표시 영역 중, 해상도가 높은 얼굴 표시 영역에 대하여 가중치 부여를 강하게 한다.

보정부(107)가 행하는 초해상 이외의 보정 처리로서는, 콘트라스트나 휘도의 보정이 있다. 본 실시 형태에 관한 보정부(107)는, 초해상과 마찬가지로, 복수의 화상 데이터에 포함되어 있는 얼굴 표시 영역 내에서 대응시킨 특징점을 사용하여, 휘도의 보정 처리를 행한다.

본 실시 형태에 관한 보정부(107)는, 복수의 화상 데이터(개수 n의 프레임)의 얼굴의 표시 영역 내에서 동일한 부위를 나타내는 것으로서 대응시킨 경우, 당해 대응관계를 사용하여 휘도의 보정을 행한다. 예를 들어, i 프레임째의 화상 데이터 중, 다른 프레임과 대응시킨 특징점의 좌표가 (Xi, Yi)인 경우, 당해 좌표의 휘도값을 I(Xi, Yi)로 하고, 당해 좌표의 신뢰도를 f(i)로 한다. 그리고, 보정부(107)는, 화상 데이터에 포함되어 있는 얼굴의 표시 영역의 좌표 중, 특징점 이외의 좌표에 대해서는, 주변의 특징점으로부터의 거리에 따른 선형 보간에 기초하여, 당해 좌표의 신뢰도를 구한다. 화상 보정 후의 휘도값 I'(X, Y)는, 이하에 나타내는 수학식 1로 산출된다.

또한, 인물 특징점 검출부(106)에 있어서, 지표마다 신뢰도를 구한 경우, 지표마다 f(i)의 함수를 유지하고 있기 때문에, 모든 계수를 곱한 식으로 하면 된다.

또한, 좌표마다 각각 따로 휘도값을 산출하면, 노이즈가 증가할 가능성이 있다. 따라서, 주변의 소정 범위의 화소의 평균 휘도를 구하고 나서, 다른 보정 처리를 행하는 노이즈 제거 처리나, 주변의 소정 범위의 화소의 평균 휘도에 기초하여, 휘도의 변동량을 소정 범위 내로 상한 하한값을 설정함으로써, 어긋남값과 같은 노이즈의 혼입을 방지하는 노이즈 제거 처리를 행해도 좋다. 이에 의해, 소정의 프레임에서는 콘트라스트가 낮은 화상인 경우, 복수 프레임의 화상을 사용하여 콘트라스트 확장 처리를 행함으로써, 콘트라스트가 있는 선명한 인물 화상 데이터를 생성할 수 있다.

또한, 보정부(107)는, 해상도를 향상시키지 않고, 선예도를 향상시키는 처리를 행해도 좋다. 정예도의 향상 처리는, 상술한 처리와 마찬가지로, 특징점 사이를 대응시킨 후, 복수 프레임의 얼굴 표시 영역에서 동일 부위라고 간주되는 영역의 휘도 정보에 기초하여 행한다. 그 때에, 소정의 프레임에 있어서, 주변 화소와의 휘도차가 작은 영역에서도, 복수 프레임분 축적함으로써, 휘도차가 발생한다. 그리고, 보정부(107)는, 당해 휘도차를 강조한 화상으로 보정함으로써, 선예도의 향상을 실현할 수 있다. 또한, 상술한 초해상 처리를 행한 후, 원래의 해상도로 복귀시킴으로써 선예도를 향상시킨 화상 데이터를 생성해도 좋다.

또한, 보정부(107)는, 노이즈 보정 처리를 행한다. 노이즈 보정 처리는, 상술한 처리와 마찬가지로 특징점 사이를 대응시킨 후, 얼굴 표시 영역에서 동일 부위라고 간주되는 영역의 휘도 정보를 복수 프레임분 축적하여, 평균값이나 중간값을 채용한다. 이에 의해, 노이즈를 경감시킬 수 있다.

또한, 보정부(107)는, 대상으로 되는 인물의 얼굴의 방향을 보정한 인물 화상 데이터를 생성해도 좋다. 상술한 처리와 마찬가지로, 복수 프레임 사이의 특징점 사이를 대응시킴으로써, 얼굴 방향의 변동을 대응하는 특징점의 위치의 변화에 의해 인식할 수 있다. 따라서, 보정부(107)는, 특징점의 변화를 고려한 후, 복수 프레임분의 얼굴 표시 영역의 휘도 정보를 사용하여, 인물의 화상 데이터를 생성한다.

또한, 보정부(107)는, 방향을 고려한 후, 복수 프레임의 얼굴 표시 영역으로부터 인물 화상 데이터를 생성할 때에, 복수의 얼굴 표시 영역에 포함되는 특징점 중, 동일한 부위를 나타내는 특징점 사이를 대응시킨 후, 복수 프레임의 화상을 합성하여, 미리 정해진 인물의 3차원적인 형상 모델에 대하여 할당한 후, 당해 3차원적인 형상 모델에 따라 표시되는 인물의 방향을 보정한 후, 인물 화상 데이터를 생성해도 좋다. 당해 방법의 상세한 것은, 일본 특허 공개 제2007-4767호 공보 등에 기재되어 있기 때문에 설명을 생략한다.

보정부(107)는, 상술한 처리를 모두 행하는 것에 제한되는 것은 아니며, 상술한 처리 중 적어도 1개 실행하면 된다.

또한, 보정부(107)에 의한 보정 처리 시, 신뢰도의 이용 방법으로서는, 이하에 기재하는 3종류의 방법이 있다.

제1 방법으로서는, 얼굴 방향의 영향으로 보이지 않는 영역의 가중치 부여를 내리기 때문에, 당해 영역에 포함되는 특징점의 신뢰도를 내리는 방법이다.

도 9는 복수 프레임의 얼굴 표시 영역을 합성하여, 인물 화상 데이터를 생성하는 예를 도시한 도면이다. 도 9에 도시하는 예에서는, 방범 카메라(150)는, 보행하고 있는 인물보다도 높은 위치로부터 내려다보는 듯한 각도로 설치되는 경우가 많다. 이 경우, 방범 카메라(150)로부터 이격된 위치(예를 들어 제1 프레임)에서는, 상대적으로 얼굴의 각도는 카메라의 광축에 대하여 정면에 가까운 얼굴 표시 영역(901)으로 된다. 한편, 방범 카메라(150)로부터 이격되어 있기 때문에, 당해 얼굴 표시 영역(901)의 해상도는 낮아진다. 그리고, 인물이 앞으로 나아감에 따라 서서히 얼굴의 표시 영역(902, 903)의 해상도는 높아지지만, 방범 카메라(150)의 광축에 대하여 각도가 정면으로부터 어긋나 상대적으로 아래를 향한 상태로 촬영되기 쉬워진다. 이에 의해, 검출된 얼굴 표시 영역(902, 903)에서는, 해상도야말로 높아지기는 하지만, 모든 특징점을 검출할 수 없게 되거나, 또는 잘못된 위치를 특징점으로서 검출할 가능성이 있다.

그 밖에, 인물은 카메라를 의식하지 않고 보행하고 있기 때문에, 고개를 숙이거나, 두리번 거리거나 하여 얼굴의 방향이 변동하는 경우가 있다.

따라서, 신뢰도 판정부(111)는, 얼굴의 방향 및 해상도에 따라 신뢰도를 조정한다. 구체적으로는, 신뢰도 판정부(111)는, "영역(901)에 포함되는 특징점의 신뢰도<영역(902)에 포함되는 특징점의 신뢰도<영역(903)에 포함되는 특징점의 신뢰도"로 설정한다. 또한, 제2 내지 제3 프레임 중, 영역(902) 및 영역(903)에 포함되어 있지 않은 영역에 대해서는, 영역(901)에 포함되는 특징점의 신뢰도보다도 낮게 설정한다.

이와 같이, 제1 프레임에서는, 얼굴의 특징점은 모두 정면 방향에 가깝기 때문에 신뢰도는 어느 정도 높은 값으로 되어 있는 한편, 해상도는 낮으므로, 초해상 처리이면 어느 특징점 주변의 화소의 휘도값이든, 복수 프레임을 사용한 초해상 처리에 이용된다. 한편, 제3 프레임에서는, 해상도가 높기 때문에 초해상 처리를 하기 쉬워지기는 하지만, 얼굴이 아래를 향하는 경향이 있기 때문에, 얼굴 상부의 특징점의 신뢰도가 높아지는 한편, 얼굴 하부의 특징점의 신뢰도가 낮은 상태로 된다.

이에 의해, 보정부(107)는, 보이는 범위(신뢰도가 높다)의 휘도 정보를 적극적으로 이용하는 한편, 보이지 않는 범위(신뢰도가 낮다)의 휘도 정보의 이용을 억제함으로써, 화상 보정 처리를 행한다.

도 9에 도시한 예에서는, 제1 프레임의 얼굴 표시 영역(901), 제2 프레임의 얼굴 표시 영역(902), 제3 프레임의 얼굴 표시 영역(903)을 합성하여 인물 화상 데이터(910)를 생성하지만, 그 때에, 신뢰도에 기초하여, 영역(911)에 대하여 얼굴 표시 영역(901)이 적극적으로 이용되고, 영역(912)에 대하여 얼굴 표시 영역(902)이 적극적으로 이용되고, 영역(913)에 대하여 얼굴 표시 영역(903)이 적극적으로 이용된다. 이렇게 신뢰도에 기초한 인물 화상 데이터의 생성이 이루어진다.

제2 방법은, 마스크나 선글라스 등에 의해 은폐된 영역이 있으면, 은폐된 영역 이외의 보이는 영역을 보기 쉽게 하는 방법이다.

도 10은 얼굴 표시 영역으로부터 검출된 은폐물에 기초하여 보정부(107)가 실행하는 보정 처리를 도시한 도면이다. 본 실시 형태에서는, 얼굴이 마스크나 선글라스 등의 장착물로 은폐되어 있는 경우, 은폐하고 있는 영역의 특징점의 신뢰도가 낮아진다.

나아가, 은폐물용 판정 기준 기억부(102)를 사용한 신뢰도 판정부(111)에 의한 판정에 의해, 마스크 착용이나 선글라스 착용, 모자 착용, 앞머리의 영향 등으로 얼굴의 일부가 가려져 있거나, 수염으로 얼굴의 일부가 가려져 있는 것이 검출된 경우에, 특징 정보 기억부(103)가, 당해 검출 결과를 기억한다. 따라서, 본 실시 형태에 관한 보정부(107)는, 당해 판정 결과를 사용하여 보정 행하기로 했다. 이것에 의해 명확한 판단 결과에 기초한, 적절한 보정이 가능하게 된다.

또한, 은폐되어 있지 않은 부분을 보다 상세하게 확인할 수 있게 되는 것이 바람직하므로, 보정부(107)는, 은폐되어 있지 않은 영역에 고정밀도로 되도록 화질의 보정 처리를 행한다. 그리고, 평소에는 통상의 화질 보정 처리를 함으로써 시스템의 부하를 항상 높이지 않고, 효율적인 화상 데이터의 상(像) 확인을 가능하게 한다.

도 10에서 도시한 예에서는, 얼굴의 은폐물이 전혀 없는 얼굴 표시 영역(1001)에 대하여 종래대로의 보정 처리를 행한 후, 통상의 인물 화상 데이터(1011)로서 표시나 기록이 행해진다.

은폐물이 검출된 얼굴 표시 영역(1002, 1003)에 대해, 은폐된 영역 이외에 대하여 고정밀도의 화상 보정을 행하여, 인물 화상 데이터(1012, 1013)를 출력한다. 즉, 보정부(107)는, 얼굴 표시 영역(1002)에 있어서, 마스크 착용이 검출된 경우에, 마스크 이외의 영역(1031)에 대하여 고정밀도의 화상 보정을 행한다. 보정부(107)는, 얼굴 표시 영역(1003)에 있어서, 선글라스 착용이 검출된 경우에, 선글라스 이외의 영역(1032)에 대하여 고정밀도의 화상 보정을 행한다.

착용물이 얼굴 전체를 은폐하고 있는 경우, 검출된 얼굴 표시 영역(1004)의 전체 영역에 대하여 고정밀도의 화상 보정을 행하여, 인물 화상 데이터(1014)를 출력한다. 다른 예로서는, 보정부(107)는, 얼굴 표시 영역(1004)에 있어서, 마스크, 선글라스 착용이 검출된 경우에, 머리부의 윤곽 주변에 한정하여 고정밀도의 화상 보정 처리를 행하여, 리소스를 유효하게 활용해도 좋다.

화상 보정의 고정밀도 처리로서는, 초해상 처리이면 대응하는 특징점의 탐색 범위를 넓히는 것이나 탐색 스텝을 세세하게 하여 처리 시간은 걸리지만 고정밀도로 대응하는 특징점을 구하는 것, 노이즈 제거나 휘도 보정 처리에 대해서도, 필터 처리나 처리 계산을 처리 부하가 가해지는 처리로 바꾸어 고정밀도의 인물 화상 데이터를 생성하는 것을 생각할 수 있다.

또한, 상술한 첫번째 방법과, 두번째 방법을 조합해도 좋다. 조합한 경우, 도 6, 도 7에 도시한 바와 같이, 이동하고 있는 인물에 대하여 앞머리나 선글라스 등의 착용물로 은폐하고 있었다고 해도, 보행 중인 얼굴의 방향에 따라서는, 은폐물에 의해 가려진 얼굴의 영역이 변화한다. 따라서, 본 실시 형태에 관한 보정부(107)는, 보이는 영역을 조합한 후, 상술한 고정밀도 처리를 행하여, 인물 화상 데이터를 생성할 수 있다.

도 6에 도시한 예이면, 제1 프레임에서는 앞머리와 상관없이 촬영되어 있던 이마부터 눈에 걸친 영역이, 인물이 방범 카메라(150)에 접근하면, 제3 프레임에서는 앞머리의 그림자로 되어 촬영되지 않게 된다. 이 경우, 인물 특징점 검출부(106)가 얼굴의 특징점을 보다 많이 검출하여, 보다 상세하게 얼굴 부위와 얼굴 부위 사이에 대한 보이는 방법의 신뢰도를 보다 미세하게 구함으로써, 보정부(107)가 상세한 얼굴의 영역 단위로 합성이 가능하게 된다.

도 7에서 도시한 예이면, 제1 프레임에서는 선글라스의 그림자로 되어 있던 눈의 영역도, 인물이 방범 카메라(150)에 접근하기 때문에, 제3 프레임에서는 선글라스에 가려 있던 눈의 영역이 촬영된다. 이에 의해, 당해 눈의 영역을 인물 화상 데이터로서 합성 가능해진다.

세번째 방법으로서는, 마스크나 선글라스 등에 의해 은폐된 영역이 있으면 은폐물을 제거하고, 화상을 보간한 후, 인물 화상 데이터를 생성하는 방법이 있다. 가장 간단한 실현 방법으로서는, 인간의 얼굴 표시 영역의 평균 화상을 작성해 두고, 은폐되어 있는 영역은 평균적인 얼굴 화상으로 보간하여 합성하는 방법이다. 또한, 그 밖에도 통계적으로 주변 휘도의 분포를 구함으로써 통계적으로 어떤 휘도가 존재하는지의 방법을 사용하는 것을 생각할 수 있다. 당해 방법으로서는, 예를 들어 문헌 「오가와 등, "고주파 강조 처리와 입력 화상의 이용에 의한 학습형 초해상", 화상의 인식·이해 심포지엄(MIRU2010), 2010, IS2-35」에 기재되어 있는 방법이 있다.

이와 같이, 보정부(107)는, 복수의 화상 데이터의 얼굴 표시 영역으로부터, 동일한 인물이 나타난 인물 화상 데이터를 생성할 때에, 은폐되어 있다고 판정된 인물의 얼굴의 일부 영역에 대해, 통계적으로 학습된 휘도 패턴을 이용한 보간 화상에 의해, 은폐되어 있다고 판정된 영역을 치환한다. 이에 의해, 인물을 보다 인식하기 쉬운 인물 화상 데이터를 생성하는 것이 가능하게 된다.

상술한 보정 처리는, 모두 행하는 것은 아니며, 어느 하나의 처리를 행해도 좋고, 상이한 복수의 화상 보정 처리를 행해도 좋다. 나아가, 보정 처리마다 화상 데이터를 생성해도 좋다.

출력부(108)는 보정부(107)에 의해 얻어진 보정 결과를 화면에 표시한다. 또는, 출력부(108)는 보정부(107)에 의해 얻어진 인물 화상 데이터를 기록 장치에 기록한다. 또는, 출력부(108)는, 접속된 기기에 보정부(107)에 의해 보정된 후의 인물 화상 데이터를 송신해도 좋다.

또한, 보정부(107)로부터 보정 결과로서 복수의 인물 화상 데이터가 입력된 경우, 미리 정해 둔 순서대로 화상 보정 결과를 표시나 기록을 행해도 좋다. 또한, 얼굴 부위의 신뢰도의 합계값이 높은 인물 화상 데이터부터 순서대로 표시해도 좋다. 복수의 후보를 보임으로써, 인간의 육안 확인에 의해 원하는 화상이 포함되어 있을 가능성을 높일 수 있다.

이어서, 본 실시 형태에 관한 인물 화상 처리 장치(100)에 있어서의, 전체적인 처리에 대하여 설명한다. 도 11은 본 실시 형태에 관한 인물 화상 처리 장치(100)에 있어서의 상술한 처리의 수순을 나타내는 흐름도이다.

우선, 화상 입력 처리부(104)가, 방범 카메라(150)에 의해 촬상된 화상 데이터를, 시간의 경과에 수반하여 복수 입력 처리한다(스텝 S1101). 이어서, 인물 검출부(105)가, 입력 처리된 화상 데이터 각각으로부터, 얼굴 표시 영역을 검출한다(스텝 S1102).

그리고, 인물 특징점 검출부(106)는, 검출된 얼굴의 표시 영역으로부터, 얼굴의 특징점을 검출한다(스텝 S1103).

그 후, 신뢰도 판정부(111)는, 얼굴 방향 판정 기준 기억부(101) 및 은폐물용 판정 기준 기억부(102)에 기초하여, 검출된 얼굴의 특징점으로부터 신뢰도를 판정한다(스텝 S1104).

그 후, 보정부(107)가, 특징점의 검출 결과 및 판정된 신뢰도를 사용하여, 복수의 화상 데이터에 대하여 보정 처리를 행하여, 인물 화상 데이터를 생성한다(스텝 S1105). 그 후, 출력부(108)가, 생성한 인물 화상 데이터를 표시한다(스텝 S1106).

이상의 실시 형태에 의해, 방범 카메라(150) 등으로 촬영된 화상 데이터로부터, 피사체인 인물의 상태에 맞게 육안으로 확인하기 쉬운 인물 화상 데이터의 생성을 가능하게 한다.

(제2 실시 형태)

제1 실시 형태에서는, 인물 화상 데이터의 출력하는 예에 대하여 설명했다. 그러나, 생성한 인물 화상 데이터의 이용 형태를 출력에 제한하는 것은 아니다. 따라서, 제2 실시 형태에서는 특정한 인물인지의 인증 또는 유사한 얼굴을 검색하는 예에 대하여 설명한다.

제2 실시 형태에 관한 인물 화상 처리 장치는, 미리 등록되어 있는 인물 화상 데이터로부터, 현재 촬영된 인물 화상을 비교하여, 동일한 인물을 검색하는 경우가 있다. 예를 들어 고객 데이터로부터 단골 손님을 찾거나, 수상한 사람의 데이터베이스로부터 해당자를 찾거나, ID증의 갱신 시의 본인 확인이나 신규 발행 시의 이중 발급 방지와 같은 용도를 생각할 수 있게 된다.

제2 실시 형태는, 제1 실시 형태와 마찬가지로, 인물의 얼굴을 검출하는 예에 대하여 설명하지만, 상술한 바와 같이 인물 전체를 검출해도 좋다.

도 12는 제2 실시 형태에 관한 인물 화상 처리 장치의 블록 구성을 도시한 도면이다. 도 12에 도시한 바와 같이, 인물 화상 처리 장치(1200)는, 얼굴 방향 판정 기준 기억부(101)와, 은폐물용 판정 기준 기억부(102)와, 특징 정보 기억부(103)와, 화상 입력 처리부(104)와, 인물 검출부(105)와, 인물 특징점 검출부(106)와, 보정부(107)와, 특징 추출부(1201)와, 인식부(1202)와, 인물 정보 기억부(1203)와, 출력부(1204)를 구비한다. 또한, 제1 실시 형태와 마찬가지의 구성에 대해서는, 동일한 부호를 할당하고, 설명을 생략한다.

보정부(107)에 의해 행해지는 보정은, 기본적으로는, 제1 실시 형태와 마찬가지의 처리를 행한다. 제2 실시 형태에서는, 얼굴 인식 처리에 이용하기 위해, 실행하는 보정 방법은, 인식 방법에 맞게 적절한 보정 방법을 선택한다. 실제로 행해지는 보정 방법은, 상술한 보정 방법 중, 실시의 형태에 맞게 선택되는 것으로 하고, 설명을 생략한다.

특징 추출부(1201)는, 보정부에 생성된 인물 화상 데이터로부터, 개인을 식별 가능한 얼굴의 특징을 나타낸 특징 정보(이하, 얼굴 특징 정보로 나타낸다)를 추출한다.

특징 추출부(1201)는, 얼굴 특징 정보로서, 얼굴의 각 특징을 나타내는 수열을 출력한다. 본 실시 형태에 관한 특징 추출부(1201)는, 인물 특징점 검출부(106)에 의해 검출된 얼굴의 특징점의 좌표(얼굴의 특징적인 부품이 되는 위치)에 기초하여, 얼굴 표시 영역을 일정한 크기, 형상으로 잘라내어, 그 농담(濃淡) 정보를, 얼굴의 특징을 나타내는 특징량으로서 추출한다. 본 실시 형태에서는, 복수의 화상 데이터를 이용하는 경우를 대비하여, 보정부(107)가 복수 화상을 출력하도록 해도 좋다.

본 실시 형태에서는, m 픽셀×n 픽셀의 영역의 농담값을 그대로 정보로서 사용하여, m×n차원의 정보를 특징량 벡터로서 추출한다.

특징 추출부(1201)에서는, 특징량 벡터와, 특징량 벡터의 길이를, 단순 유사도법에 의해 각각 1로 하도록 정규화하고, 내적을 산출함으로써 특징 벡터간의 유사성을 나타내는 유사도를 구한다. 당해 방법은, 문헌 「에릭 오야 저, 오가와 히데미쓰, 사토 마코토 번역, "패턴 인식과 부분 공간법", 산업 도서, 1986년」에 기재한 부분 공간법을 이용함으로써 실현할 수 있다. 또한, 일본 특허 공개 제2007-4767호 공보 「고자카야 다쓰오, "화상 인식 장치, 방법 및 프로그램"」에 기재한 1매의 얼굴 화상 정보에 대하여 모델을 이용하여 얼굴의 방향이나 상태를 의도적으로 변동시킨 화상 데이터를 생성함으로써, 정밀도를 향상시키는 방법을 적용해도 좋다. 이들 방법을 사용함으로써 1매의 화상 데이터로부터, 얼굴 특징 정보를 추출할 수 있다.

한편, 특징 추출부(1201)가, 동일 인물에 대하여 연속된 복수의 화상 데이터를 사용하여, 동화상 데이터에 의한 산출을 함으로써 보다 정밀도가 높은 인식 처리를 행해도 좋다. 예를 들어, 문헌 「후쿠이 가즈히로, 야마구치 오사무, 마에다 겐이치, "동화상을 사용한 얼굴 인식 시스템", 전자 정보 통신 학회 연구 보고PRMU, vol.97, No.113, pp17-24, 1997」 또는 문헌 「마에다 겐이치, 와타나베 사다이치, "국소적 구조를 도입한 패턴·매칭법", 전자 정보 통신 학회 논문지(D), vol.J68-D, No.3, pp345-352, 1985」에 기재한 상호 부분 공간법을 사용해도 좋다. 이들 문헌에 기재한 상호 부분 공간법을 사용한 경우, 화상 입력 처리부(104)가 연속하여 입력 처리한 화상 데이터로부터, 인물 특징점 검출부(106)가 m×n 픽셀의 화상 데이터를 잘라내어, 이들 화상 데이터로부터 특징량 벡터의 상관 행렬을 산출하여, K-L 전개에 의한 정규 직교 벡터를 구함으로써, 연속된 화상 데이터로부터 얻어지는 얼굴의 특징 정보를 나타내는 부분 공간을 산출한다.

부분 공간의 산출법은, 특징량 벡터의 상관 행렬(또는 공분산 행렬)을 구하고, 그 K-L 전개에 의한 정규 직교 벡터(고유 벡터)를 구함으로써, 부분 공간이 산출된다. 부분 공간은, 고유값에 대응하는 고유 벡터를, 고유값이 큰 순서대로 k개 선택하고, 선택된 고유 벡터 집합을 사용하여 표현된다. 본 실시 형태에서는, 상관 행렬 Cd를 특징 벡터로부터 구하고, 상관 행렬 Cd=ΦdΛdΦdT와 대각화하여, 고유 벡터의 행렬 Φ를 구한다. 이 고유 벡터의 행렬 Φ가, 현재 인식 대상으로 하고 있는 인물의 얼굴의 특징을 나타내는 부분 공간으로 된다. 본 실시 형태에서는, 당해 부분 공간을 입력된 화상 데이터로부터 검출된 개인의 얼굴 특징 정보로 한다.

인물 정보 기억부(1203)는, 인물마다, 미리 등록되어 있는 얼굴 특징 정보를 관리한다. 인물 정보 기억부(1203)는, 후술하는 인식부(1202)가 인물의 인식 처리를 행할 때에 사용되는 데이터베이스이다. 본 실시 형태에 관한 인물 정보 기억부(1203)는, 검색 대상으로 되는 개인마다, 인물의 식별 정보(인물 ID나 이름), 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보, 당해 개인의 성별, 연령 및 신장등의 속성 정보를 대응시켜 기억한다.

관리 대상으로 되는 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보는, m×n의 특징량 벡터나, 부분 공간이나 KL 전개를 행하기 직전의 상관 행렬이어도 좋다. 또한, 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보를, 화상 입력 처리부(104)에 의해 입력된 화상 데이터와 함께 관리함으로써 개인의 검색이나 검색의 표시가 용이하게 된다.

인식부(1202)는, 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보와, 인물 정보 기억부(1203)에 기억된 얼굴 특징 정보에 기초하여, 화상 입력 처리부(104)에 의해 입력된 화상 데이터에 포함되어 있던 인물이 인물 정보 기억부(1203)에 기억되어 있는 인물 ID에 의해 식별되는 인물인지 여부를 인식한다. 본 실시 형태에 관한 인식부(1202)는, 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보와 유사한, 인물 정보 기억부(1203)에 기억된 얼굴 특징 정보를 추출하고, 추출한 얼굴 특징 정보로 나타난 인물을, 방범 카메라(150)로 촬영된 후보자로서 인식한다.

본 실시 형태는, 특징 추출부(1201)에 의해 추출된 특징 정보를 사용하여 인증을 행하는 예에 대하여 설명하지만, 당해 특징 정보는, 인물 특징점 검출부(106)에 의해 검출된 특징점에 기초하여 보정 등을 행한 결과 생성된 정보이다. 본 실시 형태는, 특징점에 기초하여 생성된 특징 정보에 의한 인증에 제한되는 것은 아니며, 특징점을 그대로 사용하여 인증을 행해도 좋다.

본 실시 형태에 관한 인식부(1202)는, 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보와, 인물 정보 기억부(1203)에 기억된 얼굴 특징 정보 사이의 유사성을 산출하여, 유사성이 높은 얼굴 특징 정보의 순으로, 당해 얼굴 특징 정보에 의해 표현된 인물에 관한 정보를 출력부(1204)에 출력한다.

인식부(1202)는, 처리 결과로서는 유사성이 높은 얼굴 식별 정보부터 순서대로, 인물 정보 기억부(1203)에 의해 당해 얼굴 식별 정보와 대응시킨 인물 ID나 산출된 유사성을 나타내는 정보를 출력한다. 그 밖에 당해 인물 ID와 대응시켜져 있는 인물에 관한 여러 정보도 출력해도 좋다.

또한, 인식부(1202)는, 특징 추출부(1201)가 추출한 얼굴 특징 정보와 대응시키고, 인물 특징점 검출부(106)가 검출에 사용한 얼굴의 특징점 검출 방법을, 특징 추출부(1201)를 통하여 인물 특징점 검출부(106)로부터 취득한다. 그리고, 인식부(1202)는, 취득한 얼굴의 특징점 검출 방법을 식별하는 정보를, 당해 방법으로 검출된 얼굴 특징 정보와 대응시켜 출력부(1204)에 출력한다.

본 실시 형태에 관한 유사성을 나타내는 정보는, 얼굴 특징 정보로서 관리되고 있는 부분 공간 사이의 유사도로 한다. 유사도의 산출 방법은, 부분 공간법이나 복합 유사도법 등의 산출 방법을 사용해도 좋다. 이들 산출 방법에서는, 인물 정보 기억부(1203)에 기억된 얼굴 특징 정보 및 특징 추출부(1201)에 의해 추출된 얼굴 특징 정보가, 부분 공간으로서 표현된다. 그리고, 본 실시 형태에서는 2개의 부분 공간이 이루는 「각도」를 유사도로서 정의한다. 그리고, 인식부(1202)는, 이들 2개의 부분 공간에 기초하여 상관 행렬 Cin을 구한 후, Cin=ΦinΛinΦinT와 대각화하여, 고유 벡터 Φin을 구한다. 그 후, 인식부(1202)는, 2개의 Φin, ΦinT로 표현되는 부분 공간의 부분 공간 사이의 유사도(0.0 내지 1.0)를 구하고, 이것을 인식하기 위한 유사도로 한다. 또한, 구체적인 산출 방법에 대해서는, 예를 들어 상술한 문헌(엘키 오야 저, 오가와 히데미쓰, 사토 마코토 번역, 「패턴 인식과 부분 공간법」, 산업 도서, 1986년)에 기재한 방법을 사용해도 좋다. 또한, 미리 동일 인물로 알고 있는 복수의 얼굴 화상을 통합하여 부분 공간으로의 사영에 의해 본인인지 여부를 식별함으로써 정밀도를 향상시켜도 좋다. 또한, 고속으로 검색하기 위해서는 TREE 구조를 이용한 검색 방법 등도 이용해도 좋다.

출력부(1204)는, 인식부(1202)에 의해 행해진 인증 결과 및 보정부(107)에 의해 보정된 화상 데이터를 화면에 표시한다. 출력부(1204)는, 인식부(1202)에 의해 검색된 결과 중, 지정한 조건과 일치하는 것을 실시간으로 표시하는 리얼타임 얼굴 검색 결과 표시를 행해도 좋다. 또한, 출력부(1204)는, 인식부(1202)에 의해 검색된 결과를 검색 이력으로서 보존해 두고, 나중에 조건을 지정함으로써 해당하는 검색 이력만 표시하는 오프라인 얼굴 검색 결과 표시를 행해도 좋다. 또한, 양쪽을 포함시킨 표시를 행해도 좋다.

본 실시 형태에서는, 이력 화상이나 검색 결과를 표시하는 데 있어서, 보정부(107)에 의해 보정된 화상 데이터를 표시함으로써, 제1 실시 형태와 마찬가지로, 이용자가 육안으로 확인이 용이한 화상 데이터를 표시하는 것이 가능하게 된다.

이상의 실시 형태에 의해, 방범 카메라(150) 등으로 촬영된 화상 데이터 중에서 검출한 인물 화상을 이용하여 특정한 인물인지 판정 또는 유사한 얼굴을 검색 할 때에 피사체의 상태에 맞게 인간의 육안으로 확인하기 쉬운 화상 데이터의 생성 및 인식 처리에 필요한 화상 보정을 효율적으로 행할 수 있다.

상술한 실시 형태에 있어서는, 복수의 화상 데이터를 사용하여 보정 처리를 행한 인물 화상 데이터를 생성함으로써, 육안으로 확인 또는 인증 처리하기 쉬운 화상 데이터의 생성이 가능하게 된다.

도 13은 상술한 실시 형태에 관한 인물 화상 처리 장치(100, 1200)의 하드웨어 구성을 도시한 도면이다. 도 13에 도시한 바와 같이, 인물 화상 처리 장치(100, 1200)는, CPU(1301)와, ROM(Read Only Memory)(1302)과, RAM(1303)과, 통신 I/F(1304)와, HDD(1305)와, 표시 장치(1306)와, 키보드나 마우스 등의 입력 디바이스(1307)와, 이들을 접속하는 버스(1308)를 구비하고 있고, 통상의 컴퓨터를 이용한 하드웨어 구성으로 되어 있다.

본 실시 형태의 인물 화상 처리 장치(100, 1200)에 의해 실행되는 인물 화상 처리 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 CD-ROM, 플렉시블 디스크(FD), CD-R, DVD(Digital Versatile Disk) 등의 컴퓨터에 의해 판독 가능한 기록 매체에 기록되어 제공된다.

또한, 본 실시 형태의 인물 화상 처리 장치(100, 1200)에 의해 실행되는 인물 화상 처리 프로그램을, 인터넷 등의 네트워크에 접속된 컴퓨터 상에 저장하고, 네트워크 경유로 다운로드시킴으로써 제공하도록 구성해도 좋다. 또한, 본 실시 형태의 인물 화상 처리 장치(100, 1200)에 의해 실행되는 인물 화상 처리 프로그램을 인터넷 등의 네트워크 경유로 제공 또는 배포하도록 구성해도 좋다.

또한, 본 실시 형태의 인물 화상 처리 프로그램을, ROM 등에 미리 내장하여 제공하도록 구성해도 좋다.

본 실시 형태의 인물 화상 처리 장치(100, 1200)에 의해 실행되는 인물 화상 처리 프로그램은, 상술한 각 구성을 포함하는 모듈 구성으로 되어 있으며, 실제의 하드웨어로서는 CPU(1301)가 상기 기억 매체로부터 얼굴 인식 프로그램을 판독하여 실행함으로써 상기 각 구성이 RAM(1303) 상에 로드되어, 상기 각 구성이 RAM(1303) 상에 생성된다.

본 발명의 몇개의 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 제시한 것이며, 발명의 범위를 한정하는 것은 의도하지 않고 있다. 이들 신규 실시 형태는, 그 밖의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등한 범위에 포함된다.

100, 1200: 인물 화상 처리 장치
101: 얼굴 방향 판정 기준 기억부
102: 은폐물용 판정 기준 기억부
103: 특징 정보 기억부
104: 화상 입력 처리부
105: 인물 검출부
106: 인물 특징점 검출부
107: 보정부
108: 출력부
111: 신뢰도 판정부
150: 방범 카메라
1201: 특징 추출부
1202: 인식부
1203: 인물 정보 기억부
1204: 출력부

Claims (13)

1. 인물 화상 처리 장치로서,
   촬상부에 의해 촬상된 시각이 상이한 화상 데이터를 복수 입력 처리하는 입력 처리부와,
   촬영된 시각이 상이한 복수의 상기 화상 데이터 각각으로부터, 동일한 인물이 표시되어 있는 인물 표시 영역을 추출하는 추출부와,
   상기 복수의 화상 데이터 각각으로부터 추출된 상기 인물 표시 영역으로부터, 인물 부위의 특징이 나타난 특징점을 검출함과 함께, 당해 특징점에 상기 부위가 표시되어 있는 신뢰도를 취득하는 특징 검출부와,
   상기 입력 처리부에 의해 입력 처리된 상기 인물 표시 영역을 보정할 때, 각 인물 표시 영역에 포함되어 있는 상기 특징점의 상기 신뢰도에 기초한 가중치 부여를 행하는 보정부를 구비하는, 인물 화상 처리 장치.
2. 제1항에 있어서,
   상기 보정부는, 상기 복수의 화상 데이터의 상기 인물 표시 영역에 포함되는 특징점 사이를, 상기 신뢰도에 기초하여 대응시키고, 당해 대응관계를 사용하여, 상기 동일한 인물이 나타난 인물 화상 데이터를 생성하는, 인물 화상 처리 장치.
3. 제2항에 있어서,
   상기 화상 데이터에 표시되어 있는 인물의 얼굴의 방향에 기초하여, 인물 부위가 화상 데이터에 표시되어 있는지 여부를 판정하는 기준을 나타내는 제1 기준 정보를 기억하는 제1 기준 기억부를 더 구비하고,
   상기 특징 검출부는, 상기 인물 표시 영역에 포함되어 있는 인물의 얼굴의 방향을 검출한 후, 당해 얼굴의 방향과, 상기 제1 기준 정보에 기초한, 상기 특징점의 상기 신뢰도를 취득하는, 인물 화상 처리 장치.
4. 제2항 또는 제3항에 있어서,
   화상 데이터에 표시되어 있는 인물의 얼굴의 일부가 은폐되어 있는지 여부를 판정하는 기준을 나타내는 제2 기준 정보를 기억하는 제2 기준 기억부를 더 구비하고,
   상기 특징 검출부는, 상기 인물 표시 영역에 대하여, 상기 제2 기준 정보에 기초하여 얼굴의 일부가 은폐되어 있는지 여부를 판정하여, 당해 판정 결과에 기초한 상기 특징점의 상기 신뢰도를 취득하는, 인물 화상 처리 장치.
5. 제4항에 있어서,
   상기 보정부는, 또한, 복수의 상기 화상 데이터의 상기 인물 표시 영역으로부터, 상기 동일한 인물이 나타난 인물 화상 데이터를 생성할 때에, 은폐되어 있다고 판정된 인물의 얼굴의 일부의 영역에 대해서, 통계적으로 학습된 휘도 패턴을 이용한 보간 화상에 의해, 은폐되어 있다고 판정된 영역을 치환하는, 인물 화상 처리 장치.
6. 제2항 또는 제3항에 있어서,
   상기 보정부는, 복수의 상기 화상 데이터로부터 추출된 복수의 상기 인물 표시 영역의 해상도가 상이한 경우에, 각 인물 표시 영역에 대하여 축소 또는 확대를 행하여 해상도를 일치시키고 나서 합성하는, 인물 화상 처리 장치.
7. 제6항에 있어서,
   상기 보정부는, 복수의 상기 화상 데이터의 상기 인물 표시 영역의 해상도를 일치시키고 나서 합성할 때에, 상기 인물 표시 영역의 해상도를 가중치 부여로서 사용하는, 인물 화상 처리 장치.
8. 제2항 또는 제3항에 있어서,
   상기 보정부는, 인물 화상 데이터를 합성할 때에, 복수의 상기 인물 표시 영역에 포함되는 특징점 중, 동일한 부위를 나타내는 특징점 사이를 대응시킨 후, 미리 정해진 인물의 3차원적인 형상 모델에 맞게 합성한 후, 당해 3차원적인 형상 모델에 따라 표시되는 인물의 방향을 보정하는, 인물 화상 처리 장치.
9. 제2항 또는 제3항에 있어서,
   상기 보정부는, 인물 화상 데이터를 합성할 때에, 복수의 상기 인물 표시 영역을 사용하여 선예화(sharpening) 처리, 또는 노이즈의 저감 처리를 행하는, 인물 화상 처리 장치.
10. 제1항에 있어서,
    상기 보정부는, 복수의 상기 화상 데이터를 사용한 고해상도화 처리, 또는 복수의 상기 화상 데이터를 사용한 콘트라스트 보정 처리를 행하는, 인물 화상 처리 장치.
11. 제1항에 있어서,
    인물의 식별 정보와, 당해 인물 부위의 특징이 나타난 특징점에 관한 정보를 대응시켜 기억하는 인물 기억부와,
    상기 인물 기억부에 기억된 상기 특징점에 관한 정보와, 상기 특징 검출부에 의해 검출된 상기 특징점에 기초하여, 상기 인물 기억부에 의해 기억되어 있는 상기 식별 정보에 의해 식별되는 인물인지 여부를 인식하는 인식부를 더 구비하는, 인물 화상 처리 장치.
12. 인물 화상 처리 방법으로서,
    입력 처리부가, 촬상부에 의해 촬상된 시각이 상이한 화상 데이터를 복수 입력 처리하는 입력 처리 스텝과,
    추출부가, 촬영된 시각이 상이한 복수의 상기 화상 데이터 각각으로부터, 동일한 인물이 표시되어 있는 인물 표시 영역을 추출하는 추출 스텝과,
    특징 검출부가, 상기 복수의 화상 데이터 각각으로부터 추출된 상기 인물 표시 영역으로부터, 인물 부위의 특징이 나타난 특징점을 검출함과 함께, 당해 특징점에 상기 부위가 표시되어 있는 신뢰도를 취득하는 특징 검출 스텝과,
    보정부가, 상기 입력 처리 스텝에 의해 입력 처리된 상기 인물 표시 영역을 보정할 때, 각 인물 표시 영역에 포함되어 있는 상기 특징점의 상기 신뢰도에 기초한 가중치 부여를 행하는 보정 스텝을 포함하는, 인물 화상 처리 방법.
13. 제12항에 있어서,
    상기 보정 스텝은, 상기 복수의 화상 데이터의 상기 인물 표시 영역에 포함되는 특징점 사이를, 상기 신뢰도에 기초하여 대응시키고, 당해 대응관계를 사용하여, 상기 동일한 인물이 나타난 인물 화상 데이터를 생성하는, 인물 화상 처리 방법.

Images