KR20090045870A - 촬상 장치, 그 제어 방법 및 프로그램 - Google Patents

Abstract

유저의 기호에 따른 촬상 화상을 용이하게 기록한다. 조작 접수부(220)는, 원하는 얼굴 속성을 지정하는 지정 조작을 접수한다. 촬상부(110)는, 피사체로부터의 입사광을 촬상 화상으로 변환한다. 얼굴 검출부(120)는, 촬상 화상에 포함되는 인물의 얼굴을 검출한다. 속성 판정부(150)는, 검출된 얼굴의 얼굴 속성을 판정한다. 우선 얼굴 결정부(160)는, 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과 중으로부터, 조작 접수부(220)에서 지정된 얼굴 속성(년대, 성별 등)에 해당하는 얼굴을 우선 후보로서 선택하고, 이 우선 후보 중으로부터 우선 얼굴을 다시 결정한다. 촬상 제어부(191)는, 우선 얼굴에 기초하여 화이트 밸런스, 컬러 밸런스, 노출, 포커스 등의 촬상 파라미터를 설정함으로써 촬상 제어를 행한다. 표시부(200)는, 우선 얼굴에 우선 얼굴 위치 마커가 붙여지고, 검출된 얼굴에 얼굴 위치 마커가 붙여진 촬상 화상을 표시한다.

컬러 밸런스, 촬상 장치, 디지털 스틸 카메라, 사전 기억부, 작업용 메모리, 얼굴 위치 마커 생성부, 정규화 템플릿, 오토 포커스

Description

촬상 장치, 그 제어 방법 및 프로그램{IMAGING APPARATUS, METHOD FOR CONTROLLING THE SAME, AND PROGRAM}

본 발명은, 촬상 장치에 관한 것으로, 특히, 촬상 화상으로부터 얼굴 등의 대상물을 검출하는 것이 가능한 촬상 장치, 및, 그 제어 방법 및 그 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.

최근, 인물 등의 피사체가 촬상된 화상을 촬상 화상으로서 기록하는 디지털 스틸 카메라 등의 촬상 장치가 보급되고 있다. 또한, 최근에는, 촬상 화상으로부터 인물의 얼굴을 검출하고, 이 검출된 얼굴을 예쁘게 기록하기 위한 최적의 촬상 파라미터를 설정하는 촬상 장치가 제안되어 있다. 예를 들면, 촬상 화상으로부터 인물의 얼굴을 검출하고, 이 검출된 얼굴에 관한 정보에 기초하여 오토 포커스의 대상으로 되는 에리어를 촬상 화상 상의 얼굴에 설정하고, 이 촬상 화상 상의 얼굴에 적절하게 핀트를 맞추는 것이 가능한 촬상 장치가 존재한다.

또한, 촬상 화상으로부터 복수의 얼굴이 검출된 경우에는, 이들 얼굴 중으로부터 주요한 얼굴인 우선 얼굴을 판정하고, 이 우선 얼굴에 대해서 최적의 촬상 파라미터를 설정하는 촬상 장치가 존재한다.

예를 들면, 촬상 화상 내의 인물의 얼굴을 검출하고, 이 검출된 얼굴의 사이즈 정보 및 위치 정보를 이용하여 최종적인 얼굴의 중요도를 계산하여, 촬상 화상 내에 존재하는 인물의 얼굴의 중요도를 판정하는 촬상 장치가 제안되어 있다(예를 들면, 특허 문헌 1 참조.).

[특허 문헌 1] 일본 특허 공개 2007-201980호 공보(도 1)

상술한 종래 기술에 따르면, 촬상 화상 내에 존재하는 인물의 얼굴의 사이즈 및 위치를 고려하여, 고정밀도의 중요도 판정을 행하는 것이 가능하다. 또한, 중요도가 높다고 판정된 얼굴에 기초하여 노출 제어 등을 행할 수 있다.

그러나, 복수의 인물을 촬영하는 경우에서, 인물의 얼굴의 사이즈나 위치 등과는 무관하게, 촬영자 또는 촬영 대상자의 기호에 따라서 촬상 화상을 기록하고자 하는 경우가 있다. 예를 들면, 아이의 입학식날에 부모와 자식이 기념 촬영을 하는 경우에, 부친은, 아이의 얼굴이 가장 예쁘게 되도록 촬상 화상을 기록하고 싶다고 생각할 가능성이 높다. 또한, 동일한 구도라도, 예를 들면, 모친은, 자신의 얼굴이 가장 아름답고 예쁘게 되도록 촬상 화상을 기록하고 싶다고 생각할 가능성도 있다.

이와 같이, 촬영자 또는 촬영 대상자의 기호가 다종다양하기 때문에, 촬영자 또는 촬영 대상자의 기호에 따른 촬상 화상을 용이하게 기록하는 것이 중요하다.

그래서, 본 발명은, 유저의 기호에 따른 촬상 화상을 용이하게 기록하는 것 을 목적으로 한다.

본 발명은, 상기 과제를 해결하기 위해서 이루어진 것으로, 그 제1 측면은, 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단과, 피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수단과, 상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검출 수단과, 상기 검출된 대상물의 속성을 판정하는 속성 판정 수단과, 상기 지정된 속성과 상기 판정된 속성에 기초하여 상기 검출된 대상물 중으로부터 적어도 1개의 대상물을 우선 대상물로서 결정하는 우선 대상물 결정 수단을 구비하는 것을 특징으로 하는 촬상 장치 및 그 제어 방법 및 그 방법을 컴퓨터에 실행시키는 프로그램이다. 여기서, 우선 대상물은, 촬상 화상에 포함되는 소정의 대상물 중에서 우선적인 취급을 받는 대상물이다. 예를 들면, 우선 대상물은, 촬상 제어에 관해서 우선적인 취급을 받고, 우선 대상물을 기준으로 하여 포커스나 노출 등의 촬상 제어가 행하여진다. 이에 의해, 촬상 화상에 포함되는 대상물을 검출하고, 이 검출된 대상물의 속성을 판정하고, 지정된 속성과 판정된 속성에 기초하여, 검출된 대상물 중으로부터 적어도 1개의 대상물을 우선 대상물로서 결정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 우선 대상물에 기초하여 소정의 촬상 파라미터를 설정함으로써 촬상 제어를 행하는 촬상 제어 수단을 더 구비하도록 해도 된다. 이에 의해, 우선 대상물에 기초하여, 소정의 촬상 파라미터를 설정함으로써 촬상 제어를 행한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 촬상 제어 수단은, 상기 지정된 속성에 기초하여 상기 촬상 파라미터를 설정함으로써 상기 촬상 제어를 행하도록 해도 된다. 이에 의해, 지정된 속성에 기초하여 촬상 파라미터를 설정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 촬상 제어 수단은, 상기 우선 대상물에 기초하여 화이트 밸런스, 컬러 밸런스, 노출, 포커스 중 적어도 1개를 상기 촬상 파라미터로서 설정함으로써 상기 촬상 제어를 행하도록 해도 된다. 이에 의해, 우선 대상물에 기초하여, 화이트 밸런스, 컬러 밸런스, 노출, 포커스 중 적어도 1개를 촬상 파라미터로서 설정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 우선 대상물이 결정되었을 때에 상기 촬상 수단에 의해 변환된 촬상 화상을 소정의 기록 매체에 기록시키는 기록 제어 수단을 더 구비하도록 해도 된다. 이에 의해, 우선 대상물이 결정되었을 때에서의 촬상 화상을, 소정의 기록 매체에 기록시킨다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 조작 접수 수단은, 상기 대상물에 관한 속성을 복수 지정하는 조작 입력을 접수하고, 상기 우선 대상물 결정 수단은, 상기 지정된 복수의 속성과 상기 판정된 속성에 기초하여 상기 우선 대상물을 결정하도록 해도 된다. 이에 의해, 지정된 복수의 속성과, 판정된 속성에 기초하여, 우선 대상물을 결정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 조작 접수 수단은, 상기 대상물에 관한 속성으로서 서로 다른 종류에 속하는 제1 및 제2 속성을 지정하는 조작 입력을 접수하고, 상기 우선 대상물 결정 수단은, 상기 지정된 제1 및 제2 속성과 상기 판정된 속성에 기초하여 상기 우선 대상물을 결정하도록 해도 된다. 이에 의해, 지정된 제1 및 제2 속성과, 판정된 속성에 기초하여, 우선 대상물을 결정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 우선 대상물 결정 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 속성에 해당하는 대상물을 선택함으로써 상기 우선 대상물을 결정하도록 해도 된다. 이에 의해, 검출된 대상물 중으로부터, 판정된 속성이 지정된 속성에 해당하는 대상물을 선택함으로써 우선 대상물을 결정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 대상물 검출 수단은, 상기 촬상 화상에서의 상기 검출된 대상물의 크기, 위치, 방향 중 적어도 1개를 검출하고, 상기 우선 대상물 결정 수단은, 상기 선택된 대상물이 복수 존재하는 경우에는 상기 검출된 대상물의 크기, 위치, 방향 중 적어도 1개에 기초하여 상기 선택된 복수의 대상물 중으로부터 상기 우선 대상물을 결정하도록 해도 된다. 이에 의해, 촬상 화상에서의 대상물의 크기, 위치, 방향 중 적어도 1개를 검출하고, 이 검출된 대상물의 크기, 위치, 방향 중 적어도 1개에 기초하여, 선택된 복수의 대상물 중으로부터 우선 대상물을 결정한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 대상물 검출 수단은, 상기 촬상 화상에서의 상기 검출된 대상물의 크기 및 위치를 검출하고, 상기 우선 대상물의 크기 및 위치에 기초하여 상기 촬상 화상에서의 상기 우선 대상물의 위치를 나타내는 우선 대상물 위치 마커를 생성하는 대상물 위치 마커 생성 수단과, 상기 촬상 화상과 상기 생성된 우선 대상물 위치 마커를 중첩하는 중첩 수단과, 상기 중첩된 화상을 표시하는 표시 수단을 더 구비하도록 해도 된다. 이에 의해, 촬상 화상에서의 대상물의 크기 및 위치를 검출하고, 우선 대상물의 크기 및 위치에 기초하여 우선 대상물 위치 마커를 생성하여, 촬상 화상과 우선 대상물 위치 마커가 중첩된 화상을 표시한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 대상물 위치 마커 생성 수단은, 상기 검출된 대상물의 크기 및 위치에 기초하여 상기 검출된 대상물 중의 상기 우선 대상물 이외의 대상물의 상기 촬상 화상에서의 위치를 나타내는 마커로서 상기 우선 대상물 위치 마커와는 상이한 양태의 마커인 대상물 위치 마커를 생성하고, 상기 중첩 수단은, 상기 촬상 화상과 상기 생성된 대상물 위치 마커를 중첩하도록 해도 된다. 이에 의해, 대상물의 크기 및 위치에 기초하여 대상물 위치 마커를 생성하여, 촬상 화상과 대상물 위치 마커가 중첩된 화상을 표시한다고 하는 작용을 가져온다.

또한, 이 제1 측면에서, 상기 대상물은, 인물의 얼굴이어도 된다. 이에 의해, 촬상 화상에 포함되는 인물의 얼굴을 검출하고, 이 검출된 얼굴의 얼굴 속성을 판정하고, 지정된 얼굴 속성과 판정된 얼굴 속성에 기초하여, 검출된 얼굴 중으로부터 적어도 1개의 얼굴을 우선 얼굴로서 결정한다고 하는 작용을 가져온다.

또한, 본 발명의 제2 측면은, 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단과, 피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수단과, 상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검 출 수단과, 상기 검출된 대상물의 속성을 판정하는 속성 판정 수단과, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 속성에 해당하는 대상물을 선택함과 함께 그 선택이 이루어졌을 때에 상기 촬상 수단에 의해 변환된 촬상 화상을 소정의 기록 매체에 기록시킨다는 취지의 지시를 행하는 촬상 화상 기록 지시 수단을 구비하는 것을 특징으로 하는 촬상 장치 및 그 제어 방법 및 그 방법을 컴퓨터에 실행시키는 프로그램이다. 이에 의해, 촬상 화상에 포함되는 대상물을 검출하고, 이 검출된 대상물의 속성을 판정하고, 검출된 대상물 중으로부터, 판정된 속성이 지정된 속성에 해당하는 대상물을 선택하고, 이 선택 시에서의 촬상 화상을 소정의 기록 매체에 기록시킨다는 취지의 지시를 행한다고 하는 작용을 가져온다.

또한, 이 제2 측면에서, 상기 조작 접수 수단은, 상기 대상물에 관한 속성을 복수 지정하는 조작 입력을 접수하고, 상기 촬상 화상 기록 지시 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 복수의 속성에 해당하는 대상물을 선택하도록 해도 된다. 이에 의해, 검출된 대상물 중으로부터, 판정된 속성이 지정된 복수의 속성에 해당하는 대상물을 선택한다고 하는 작용을 가져온다.

또한, 이 제2 측면에서, 상기 조작 접수 수단은, 상기 대상물에 관한 속성으로서 서로 다른 종류에 속하는 제1 및 제2 속성을 지정하는 조작 입력을 접수하고, 상기 촬상 화상 기록 지시 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 제1 및 제2 속성에 해당하는 대상물을 선택하도록 해도 된다. 이에 의해, 검출된 대상물 중으로부터, 판정된 속성이 지정된 제1 및 제2 속성에 해당하는 대상물을 선택한다고 하는 작용을 가져온다.

또한, 이 제2 측면에서, 상기 제1 속성은, 상기 대상물의 표면 상의 변화에 관한 속성이고, 상기 제2 속성은, 상기 대상물의 종별에 관한 속성이어도 된다. 이에 의해, 대상물의 표면 상의 변화에 관한 속성과, 대상물의 종별에 관한 속성에 기초하여 대상물을 선택한다고 하는 작용을 가져온다.

또한, 이 제2 측면에서, 상기 대상물은, 인물의 얼굴이고, 상기 제1 속성은, 인물의 얼굴의 표정에 관한 속성이며, 상기 제2 속성은, 인물의 종별에 관한 속성이어도 된다. 이에 의해, 인물의 얼굴의 표정에 관한 속성과, 인물의 종별에 관한 속성에 기초하여 대상물을 선택한다고 하는 작용을 가져온다.

본 발명에 따르면, 유저의 기호에 따른 촬상 화상을 용이하게 기록할 수 있다고 하는 우수한 효과를 발휘할 수 있다.

다음으로 본 발명의 실시예에 대해서 도면을 참조하여 상세하게 설명한다.

도 1은, 본 발명의 실시예에서의 촬상 장치(100)의 기능 구성예를 도시하는 블록도이다. 촬상 장치(100)는, 촬상부(110)와, 얼굴 검출부(120)와, 눈 검출부(130)와, 정규화부(140)와, 속성 판정부(150)와, 우선 얼굴 결정부(160)와, 얼굴 위치 마커 생성부(170)와, 중첩부(180)와, 촬상 제어부(191)와, 기록 제어부(192)와, 표시부(200)와, 촬상 화상 기억부(210)와, 조작 접수부(220)와, 사전 기억부(300)와, 작업용 메모리(301)를 구비한다. 촬상 장치(100)는, 예를 들면, 얼굴 검출 기능을 구비하는 디지털 스틸 카메라에 의해 실현할 수 있다.

촬상부(110)는, 촬상 렌즈(101)(도 2에 도시함)를 통하여 입사된 피사체로부터의 광을 수광하여 광전 변환을 행함으로써, 광의 수광량에 따른 화상 신호를 생성하고, 이 화상 신호에 각종 신호 처리를 실시하는 것이다. 그리고, 이 신호 처리가 실시된 화상 신호가 촬상 화상으로서 얼굴 검출부(120), 촬상 제어부(191), 기록 제어부(192) 및 중첩부(180)에 출력된다.

얼굴 검출부(120)는, 촬상부(110)로부터 출력된 촬상 화상에 포함되는 얼굴을 검출하는 것으로, 검출된 얼굴을 포함하는 그 주변 화상인 얼굴 화상을 눈 검출부(130) 및 정규화부(140)에 출력함과 함께, 검출된 얼굴에 관한 얼굴 정보를 우선 얼굴 결정부(160) 및 얼굴 위치 마커 생성부(170)에 출력한다. 또한, 검출된 얼굴에 관한 얼굴 정보는, 예를 들면, 촬상 화상에서의 얼굴의 위치, 얼굴의 크기 또는 얼굴의 방향이다. 또한, 얼굴 검출부(120)는, 촬상부(110)로부터 출력된 촬상 화상에 복수의 얼굴이 포함되어 있는 경우에는, 이 복수의 얼굴을 검출한다. 예를 들면, 도 7에 도시하는 바와 같이, 촬상부(110)로부터 출력된 촬상 화상(400)에 4명의 인물의 얼굴(405 내지 408)이 포함되어 있는 경우에는, 이들 얼굴(405 내지 408)이 검출된다. 얼굴 검출 방법으로서, 예를 들면, 얼굴의 휘도 분포 정보가 기록되어 있는 템플릿과 실화상과의 매칭에 의한 얼굴 검출 방법, 촬영 화상에 포함되는 피부색의 부분이나 인간의 얼굴의 특징량 등에 기초한 얼굴 검출 방법을 이용할 수 있다. 또한, 얼굴 검출부(120)는, 미리 지정된 크기의 얼굴이나 미리 지정된 방향의 얼굴만을 촬상 화상으로부터 검출하도록 해도 된다. 미리 지정된 크기 로서, 예를 들면, 촬상 화상에서의 일정 이상의 크기로 할 수 있다. 또한, 미리 지정된 방향으로서, 예를 들면, 정면 방향의 정도가 일정 이상인 얼굴로 할 수 있다.

눈 검출부(130)는, 얼굴 검출부(120)로부터 출력된 얼굴 화상에 포함되는 양 눈을 검출하는 것으로서, 검출된 양 눈의 얼굴 화상에서의 각 위치를 정규화부(140)에 출력한다. 예를 들면, 도 4의 (b)에 도시하는 얼굴 화상(250)에 포함되는 얼굴(251)에서, ×표(252 및 253)로 나타내는 눈의 위치가 검출된다.

정규화부(140)는, 정규화 템플릿을 유지하고, 이 정규화 템플릿에 기초하여, 얼굴 검출부(120)로부터 출력된 얼굴 화상에 대해서, 눈 검출부(130)로부터 출력된 얼굴 화상에서의 양 눈의 위치에 기초하여 정규화를 행하는 것이다. 이 정규화 템플릿으로서, 예를 들면, 도 4의 (a)에 도시하는 바와 같이, 얼굴 화상에서의 양 눈의 위치를 기준으로 하는 템플릿을 이용할 수 있다. 즉, 정규화부(140)는, 눈 검출부(130)로부터 출력된 얼굴 화상에서의 양 눈의 위치가, 정규화 템플릿에서의 양 눈의 위치와 합치하도록, 얼굴 검출부(120)로부터 출력된 얼굴 화상에 회전 처리 및 확대 축소 처리를 실시함과 함께 해상도 변환을 실시하여, 그 얼굴 화상을 정규화한다. 그리고, 정규화된 얼굴 화상이 속성 판정부(150)에 출력된다. 또한, 얼굴 화상의 정규화 및 정규화 템플릿에 대해서는, 도 4를 참조하여 상세하게 설명한다.

속성 판정부(150)는, 정규화부(140)로부터 출력된 정규화 얼굴 화상에 대해서, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전을 이용하여 얼굴 속성 의 판정 처리를 행하는 것으로서, 이 판정 결과를 우선 얼굴 결정부(160)에 출력한다. 여기서, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전이 작업용 메모리(301)에 순차적으로 공급되고, 작업용 메모리(301)에는 1개의 판정용 사전이 순차적으로 기억된다. 그리고, 작업용 메모리(301)에 기억된 1개의 판정용 사전을 이용하여 얼굴 속성의 판정 처리가 순차 행하여진다. 구체적으로는, 속성 판정부(150)는, 정규화부(140)로부터 출력된 정규화 얼굴 화상으로부터, 각 부에서의 휘도를 특징량으로서 추출하고, 이 추출된 휘도의 값과 판정용 사전을 이용하여 얼굴 속성의 판정 처리를 행한다. 또한, 속성 판정부(150)에 의한 얼굴 속성의 판정 처리에 대해서는, 도 6 내지 도 8을 참조하여 상세하게 설명한다.

사전 기억부(300)는, 정규화부(140)로부터 출력된 정규화 얼굴 화상에 대해서, 속성 판정부(150)에 의한 각 판정 처리를 행하기 위한 복수의 판정용 사전을 기억하는 기억부로서, 기억되어 있는 각 판정용 사전이 작업용 메모리(301)에 순차적으로 공급된다. 또한, 이들 각 판정용 사전에 대해서는, 도 5를 참조하여 상세하게 설명한다.

작업용 메모리(301)는, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전 중 1개의 판정용 사전을 기억하는 작업용 메모리로서, 기억되어 있는 판정용 사전의 내용을 속성 판정부(150)에 공급한다.

우선 얼굴 결정부(160)는, 얼굴 검출부(120)에 의해 검출된 얼굴 중으로부터, 조작 접수부(220)에서 지정된 얼굴 속성의 조건을 충족시키는 얼굴을 우선 얼굴로서 결정하는 것으로서, 결정된 우선 얼굴에 관한 정보(우선 얼굴의 위치 및 크 기)를 얼굴 위치 마커 생성부(170) 및 촬상 제어부(191)에 출력한다. 즉, 우선 얼굴 결정부(160)는, 조작 접수부(220)에서 지정된 얼굴 속성과, 속성 판정부(150)로부터 출력된 얼굴 속성의 판정 결과에 기초하여, 얼굴 검출부(120)에 의해 검출된 얼굴 중으로부터 우선 얼굴을 결정한다. 구체적으로는, 우선 얼굴 결정부(160)는, 조작 접수부(220)에 의해 얼굴 속성을 지정한다는 취지의 조작 입력이 접수된 경우에는, 이 지정된 얼굴 속성을 유지한다. 그리고, 속성 판정부(150)로부터 출력된 얼굴 속성의 판정 결과 중으로부터, 유지되어 있는 얼굴 속성의 조건을 충족시키는 얼굴을 선택한다. 여기서, 우선 얼굴은, 촬상 화상에 포함되는 인물의 얼굴 중에서 우선적인 취급을 받는 얼굴이다. 예를 들면, 우선 얼굴은 촬상 제어에 관해서 우선적인 취급을 받고, 촬상 제어부(191)에서 우선 얼굴을 기준으로 하여 포커스나 노출 등의 촬상 파라미터가 설정됨으로써 촬상 제어가 행하여진다. 또한, 촬상 화상의 표시 제어에 관해서도, 다른 얼굴에 대하여 우선 얼굴이 우선적으로 유저에게 식별되도록 표시된다. 또한, 유지되어 있는 얼굴 속성의 조건을 충족시키는 얼굴이 우선 후보로서 복수 선택된 경우에는, 이들 선택된 우선 후보 중으로부터 평가값이 가장 높은 우선 후보를 우선 얼굴로서 결정한다. 이 평가값으로서, 예를 들면, 얼굴 검출부(120)에 의해 검출된 얼굴에 관한 얼굴 정보를 이용할 수 있다. 예를 들면, 얼굴의 크기의 대소에 따른 수치, 촬상 화상에서의 얼굴의 중앙으로부터의 거리에 따른 수치, 얼굴의 정면 방향의 정도에 따른 수치 등을 평가값으로 할 수 있다. 또한, 이들 수치가 가산된 수치를 평가값으로 하도록 해도 된다. 또한, 검출된 얼굴이 1개인 경우에는, 이 1개의 얼굴이 우선 얼굴로서 결정된다. 또한, 속성 판정부(150)로부터 출력된 얼굴 속성의 판정 결과 중으로부터, 유지되어 있는 얼굴 속성의 조건을 충족시키는 얼굴을 선택할 수 없는 경우에는, 평가값에 기초하여 우선 얼굴을 결정한다. 이 우선 얼굴의 결정에 대해서는, 도 7 내지 도 9를 참조하여 상세하게 설명한다.

얼굴 위치 마커 생성부(170)는, 우선 얼굴 결정부(160)로부터 출력된 우선 얼굴에 관한 정보에 기초하여, 촬상 화상에서의 우선 얼굴의 위치를 나타내는 우선 얼굴 위치 마커를 생성하는 것으로서, 생성된 우선 얼굴 위치 마커를 중첩부(180)에 출력한다. 또한, 얼굴 위치 마커 생성부(170)는, 얼굴 검출부(120)로부터 출력된 얼굴에 관한 얼굴 정보에 기초하여, 촬상 화상에서의 우선 얼굴 이외의 얼굴의 위치를 나타내는 얼굴 위치 마커를 생성하고, 생성된 얼굴 위치 마커를 중첩부(180)에 출력한다. 여기서, 얼굴 위치 마커 생성부(170)에 의해 생성되는 우선 얼굴 위치 마커와, 얼굴 위치 마커는, 서로 다른 양태의 마커로 한다. 또한, 얼굴 위치 마커 생성부(170)에 의해 생성되는 우선 얼굴 위치 마커 또는 얼굴 위치 마커의 종류를, 조작 접수부(220)로부터의 조작 입력에 따라서 변경하도록 해도 된다. 우선 얼굴 위치 마커 또는 얼굴 위치 마커의 종류 및 표시예에 대해서는, 도 9 내지 도 11을 참조하여 상세하게 설명한다.

중첩부(180)는, 촬상부(110)로부터 출력된 촬상 화상에, 얼굴 위치 마커 생성부(170)로부터 출력된 우선 얼굴 위치 마커 또는 얼굴 위치 마커를 중첩하는 것으로서, 우선 얼굴 위치 마커 또는 얼굴 위치 마커가 중첩된 촬상 화상을 표시부(200)에 출력한다.

촬상 제어부(191)는, 촬상부(110)에 의해 촬상되는 촬상 화상에 관한 촬상 제어를 행하는 것이다. 이 촬상 제어로서, 예를 들면, 화이트 밸런스, 컬러 밸런스(예를 들면, R(적)·G(녹)·B(청)의 밸런스), 노출, 포커스 등의 각 촬상 파라미터의 제어가 행하여진다. 또한, 촬상 제어부(191)는, 우선 얼굴 결정부(160)로부터 우선 얼굴에 관한 정보가 출력된 경우에는, 이 우선 얼굴에 관한 정보에 기초하여 촬상 제어를 행한다. 예를 들면, 촬상 화상에서의 우선 얼굴의 위치를 AF 에리어(거측 에리어(focusing area))로서 설정해서 오토 포커스 제어를 행한다. 또한, 우선 얼굴에 대해서 최적의 촬영 조건으로 되도록, 화이트 밸런스, 컬러 밸런스, 노출 등의 오토 제어를 행한다. 또한, 촬상 제어부(191)는, 우선 얼굴 결정부(160)로부터 우선 얼굴에 관한 정보가 출력되지 않는 경우에는, 특히 얼굴에 한정된 제어를 행하지 않고, 통상의 촬상 제어를 행한다. 예를 들면, 조작 접수부(220)에 의해 설정된 촬상 조건에 기초하여 제어가 행하여진다.

여기서, 촬상 제어부(191)는, 조작 접수부(220)에 의해 얼굴 속성을 지정한다는 취지의 조작 입력이 접수된 경우에는, 이 지정된 얼굴 속성을 유지해 두고, 유지되어 있는 얼굴 속성에 관계되는 우선 얼굴에 관한 정보가 우선 얼굴 결정부(160)로부터 출력된 경우에는, 유지되어 있는 얼굴 속성에 따른 촬상 파라미터를 이용하여 촬상 제어를 행할 수 있다. 예를 들면, 얼굴 속성으로서 아이가 지정된 경우에는, 노출값(EV값:Exposure Value)을 +1/3단 내지 2/3단으로 하여 노출을 조정한다.

기록 제어부(192)는, 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억 부(210)에 기록하는 기록 제어를 행하는 것이다. 즉, 기록 제어부(192)는, 조작 접수부(220)에 의해 셔터 버튼(221)(도 2에 도시함)의 압하 입력이 접수된 경우에는, 이 압하 입력 시에 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억부(210)에 기록시킨다.

표시부(200)는, 중첩부(180)로부터 출력된 화상을 표시하는 것이다.

촬상 화상 기억부(210)는, 기록 제어부(192)로부터의 제어에 기초하여, 촬상부(110)로부터 출력된 촬상 화상을 기록하는 것이다. 촬상 화상 기억부(210)로서, 예를 들면, 플래시 메모리나 디스크 메모리 카드 등의 반도체 메모리나, DVD(Digital Versatile Disc) 등의 리무버블 기록 매체의 영속성이 있는 기록 매체를 이용할 수 있다. 또한, 촬상 화상 기억부(210)는, 촬상 장치(100)에 내장하도록 해도 되고, 촬상 장치(100)로부터 착탈 가능하게 하도록 해도 된다.

조작 접수부(220)는, 각종 조작 키나 스위치 등을 구비하고, 이들 키 등으로부터 조작 입력을 접수하면, 접수한 조작 입력의 내용을 우선 얼굴 결정부(160), 얼굴 위치 마커 생성부(170), 촬상 제어부(191) 또는 기록 제어부(192)에 출력하는 것이다. 예를 들면, 조작 접수부(220)는, 우선 얼굴을 결정하기 위한 얼굴 속성을 지정한다는 취지의 조작 입력을 접수하면, 이 지정된 얼굴 속성을 우선 얼굴 결정부(160) 및 촬상 제어부(191)에 출력한다. 또한, 조작 접수부(220)는, 우선 얼굴 위치 마커 또는 얼굴 위치 마커의 종류를 지정한다는 취지의 조작 입력을 접수하면, 이 지정된 우선 얼굴 위치 마커 또는 얼굴 위치 마커의 종류를 얼굴 위치 마커 생성부(170)에 출력한다. 또한, 조작 접수부(220)는, 지정된 얼굴 속성에 따른 각 종 촬상 조건을 설정한다는 취지의 조작 입력을 접수하면, 이 각종 촬상 조건을 촬상 제어부(191)에 출력한다. 또한, 본 발명의 실시예에서는, 도 2에 도시하는 바와 같이, 셔터 버튼(221)이나 줌 버튼(222) 등의 조작 부재와 함께, 액정 패널(201)에서 조작 입력을 접수한다. 즉, 조작 접수부(220)를 터치 패널로 하여, 표시부(200)와 일체로 구성한다.

도 2는, 본 발명의 실시예에서의 촬상 장치(100)의 외관을 도시하는 사시도이다. 도 2의 (a)는, 촬상 장치(100)의 정면(즉, 피사체에 향해진 렌즈면)측의 외관을 도시하는 도면이고, 도 2의 (b)는, 촬상 장치(100)의 배면(즉, 촬영자에게 향해진 액정 패널(201)의 면)측의 외관을 도시하는 도면이다.

촬상 장치(100)는, 촬상 렌즈(101)와, 액정 패널(201)과, 셔터 버튼(221)과, 줌 버튼(222)을 구비한다. 또한, 셔터 버튼(221) 및 줌 버튼(222)은, 도 1에 도시하는 조작 접수부(220)에 대응한다. 또한, 액정 패널(201)은, 도 1에 도시하는 표시부(200) 및 조작 접수부(220)에 대응한다. 또한, 촬상 장치(100)에는, 전원 스위치 등의 다른 조작 부재가 조작 접수부(220)로서 구비되어 있지만, 여기서의 도시 및 설명은 생략한다.

촬상 렌즈(101)는, 피사체로부터의 광을 집광하는 복수의 렌즈(줌 렌즈, 포커스 렌즈를 포함함)로 구성되고, 이들 각 렌즈가 촬상 장치(100)의 케이스에 내장되어 있다. 또한, 이들 각 렌즈를 통과한 광의 양(즉, 노출)이 조리개(도시 생략)에 의해 조정되고, 이들 각 렌즈 및 조리개를 통과한 피사체로부터의 광에 따라서 촬상부(110)가 촬상 화상을 생성한다.

액정 패널(201)은, 촬상부(110)로부터 출력된 촬상 화상을 표시하는 액정 패널이다. 또한, 액정 패널(201)은, 얼굴 위치 마커 생성부(170)에 의해 우선 얼굴 위치 마커 또는 얼굴 위치 마커가 생성된 경우에는, 우선 얼굴 위치 마커 또는 얼굴 위치 마커가 중첩된 촬상 화상을 표시한다. 이들 촬상 화상의 표시예에 대해서는, 도 9 내지 도 11을 참조하여 상세하게 설명한다. 또한, 액정 패널(201)은, 각종 선택 버튼 등을 표시하고, 이들 선택 버튼 등의 영역을 손가락 등으로 댐으로써 조작 입력을 행하는 것이 가능한 터치 패널이다. 이들 선택 버튼의 표시예에 대해서는, 도 3 및 도 17을 참조하여 상세하게 설명한다.

셔터 버튼(221)은, 촬상 화상을 기록할 때에 촬영자에 의해 압하되는 버튼이다. 촬상 장치(100)를 이용하여 촬영자가 촬상 조작(소위, 사진 촬영)을 행하는 경우에는, 액정 패널(201)에서 원하는 피사체를 확인한 후에, 촬영자가 셔터 버튼(221)을 압하한다. 셔터 버튼(221)이 압하되면, 셔터 버튼(221) 압하에 따른 신호가, 조작 접수부(220)로부터 기록 제어부(192)에 공급된다. 셔터 버튼(221) 압하에 따른 신호가 조작 접수부(220)로부터 공급되면, 기록 제어부(192)는, 셔터 버튼(221) 압하에 따른 신호를 수취하였을 때에 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억부(210)에 기록시킨다.

줌 버튼(222)은, 줌의 배율을 조정할 때에 조작되는 버튼이다. 구체적으로는, 도 2의 (b)에 도시하는 W(와이드) 버튼 및 T(텔레) 버튼이 줌 버튼(222)에 구비되고, W 버튼이 압하되어 있는 상태에서는, 줌 렌즈가 와이드단측(망원측)으로 이동하고, T 버튼이 압하되어 있는 상태에서는, 줌 렌즈가 원격단측(광각측)으로 이동한다.

도 3은, 본 발명의 실시예에서의 액정 패널(201)의 표시예를 도시하는 도면이다. 도 3에서는, 우선 얼굴 결정부(160)에 의해 결정되는 우선 얼굴의 얼굴 속성을 지정하기 위한 얼굴 속성 지정 화면이 표시되어 있는 경우를 도시한다. 이 얼굴 속성 지정 화면에는, 지정 버튼(231 내지 235)이 표시되어 있다. 이 얼굴 속성 지정 화면은, 예를 들면, 조작 접수부(220)에서 소정의 조작 입력을 행함으로써, 액정 패널(201)에 표시시킬 수 있다.

또한, 본 발명의 실시예에서는, 년대나 성별 등의 인물 자체에 깊게 관계되는 속성인 인물의 종별에 관한 얼굴 속성 또는 웃는 얼굴 등의 얼굴의 표정에 관한 얼굴 속성을 지정하는 예에 대해서 설명한다. 즉, 종류가 서로 다른 2개의 카테고리에 속하는 얼굴 속성 중으로부터 적어도 1개의 얼굴 속성을 지정하는 예에 대해서 설명한다. 또한, 본 발명의 실시예에서 지정하는 얼굴 속성은, 촬영자측이 아니라, 촬영자측의 얼굴 속성이다.

지정 버튼(231 내지 235)은, 우선 얼굴의 얼굴 속성을 지정하는 경우에 압하하는 버튼이다. 예를 들면, 「남자」 지정 버튼(231)은, 촬상 화상에 포함되는 남성의 얼굴을 우선 얼굴로 하는 경우에 압하하는 버튼이다. 또한, 「여자」 지정 버튼(232), 「어른」 지정 버튼(233), 「아이」 지정 버튼(234), 「아기」 지정 버튼(235)에 대해서도 마찬가지로, 각 버튼의 표시 영역에 표시되어 있는 문자에 대응하는 얼굴 속성을 지정하는 경우에 압하된다.

또한, 이 예에서는, 인물의 종별에 관한 얼굴 속성에 관한 5개의 지정 버튼 을 표시하여 선택하는 예에 대해서 설명하지만, 다른 얼굴 속성을 지정하기 위한 지정 버튼을 표시하여, 다른 얼굴 속성을 지정 가능하게 하도록 해도 된다. 예를 들면, 얼굴의 표정에 관한 얼굴 속성에 대해서 선택 가능하게 해도 된다. 또한, 이 예에서는, 1개의 얼굴 속성을 지정하는 예에 대해서 설명하지만, 복수의 얼굴 속성을 지정하고, 이들 지정된 각 얼굴 속성의 조건을 충족시키는 얼굴을 우선 얼굴로서 결정하는 경우에 대해서도, 본 발명의 실시예를 적용할 수 있다. 또한, 복수의 얼굴 속성을 지정하는 경우에는, 상반되지 않는 복수의 얼굴 속성을 지정한다. 상반되는 얼굴 속성의 지정이란, 예를 들면, 「남자」 및 「여자」를 지정하는 경우나, 「어른」 및 「아이」를 지정하는 경우이다.

도 4는, 본 발명의 실시예에서의 얼굴 화상을 정규화하는 경우에서의 정규화의 일례를 도시하는 도면이다. 도 4의 (a)는, 얼굴 화상을 정규화할 때에 이용되는 정규화 템플릿(141)을 도시하는 도면이고, 도 4의 (b)는, 얼굴 검출부(120)에 의해 검출된 얼굴(251)을 포함하는 얼굴 화상(250)을 정규화하는 경우에서의 천이를 도시하는 도면이다. 정규화 템플릿(141)은, 정규화부(140)에 유지되어, 정규화부(140)가 정규화를 행할 때에 이용되는 템플릿으로서, 정규화를 행할 때에 기준으로 되는 기준 위치(142 및 143)가 규정되어 있다. 이 예에서는, 눈 검출부(130)에 의해 검출된 얼굴 화상에서의 양 눈의 위치가, 정규화 템플릿(141)에서의 기준 위치(142 및 143)에 합치하도록 얼굴 화상에 대해서 회전 처리 및 확대 축소 처리를 실시함과 함께, 얼굴 화상의 해상도를 변환하는 예에 대해서 설명한다.

얼굴 화상(250)은, 촬상부(110)에 출력된 촬상 화상으로부터 얼굴 검출 부(120)에 의해 검출된 얼굴(251)을 포함하는 주변 화상이다. 또한, 얼굴 화상(250)에서의 눈의 위치(252 및 253)가 눈 검출부(130)에 의해 검출되어 있는 것으로 한다. 이 예에서는, 눈에서의 중심 위치를 눈의 위치로 하는 경우에 대해 설명한다. 이와 같이, 얼굴 화상(250)에서의 눈의 위치(252 및 253)가 검출되어 있는 경우에는, 눈의 위치(252 및 253)가, 도 4의 (a)에 도시하는 정규화 템플릿(141)에서의 기준 위치(142 및 143)에 합치하도록, 아핀 변환 등에 의해 변환된다. 예를 들면, 도 4의 (b)에 도시하는 바와 같이, 얼굴 화상(250)에 대해서 해상도 변환 및 회전 처리가 이루어지면, 정규화된 얼굴 화상인 정규화 얼굴 화상(260)이 생성된다. 정규화 얼굴 화상(260)에서는, 얼굴(261)의 눈의 위치(262 및 263)가, 도 4의 (a)에 도시하는 정규화 템플릿(141)에서의 기준 위치(142 및 143)에 합치하고 있다. 또한, 본 발명의 실시예에서는, 얼굴 화상의 해상도를 48화소×48화소로 변환하여, 정규화 얼굴 화상을 생성하는 경우에 대해서 설명한다.

또한, 기준 위치로서는, 얼굴에 포함되는 양 눈 이외의 다른 기관의 위치를 이용하도록 해도 된다. 예를 들면, 얼굴에 포함되는 코를 검출하고, 이 코의 위치에 기초하여 얼굴 화상을 정규화할 수 있다. 또한, 복수의 기관의 위치를, 기준 위치로서 이용하도록 해도 된다. 예를 들면, 양 눈 및 코의 위치를 이용할 수 있다.

도 5는, 본 발명의 실시예에서의 정규화 얼굴 화상에 대해서 각 판정 처리를 행하기 위한 복수의 판정용 사전을 도시하는 도면이다. 이들 판정용 사전은, 정규화부(140)에 의해 정규화된 정규화 얼굴 화상에 대해서, 속성 판정부(150)에 의한 각 판정 처리를 행하기 위한 판단 정보로서, 사전 기억부(300)에 기억되어 있다. 이 예에서는, 판정용 사전으로서, 어른/아이 판정용 사전(310), 남/여 판정용 사전(320) 및 아기/아기가 아님 판정용 사전(330)을 예로 하여 설명한다.

여기서, 얼굴 속성의 판정 처리에 이용되는 판정용 사전은, 판단 기준만에 관한 데이터를 유지하는 판단 정보이며, 화상 그 자체를 유지하는 것은 아니다. 이 때문에, 기억 용량을 삭감할 수 있음과 함께, 판정 처리를 신속하게 행할 수 있다.

각 판정용 사전에는, 정규화 화상에서의 2점의 위치를 나타내는 pix1(x, y) 및 pix2(x, y)와, pix1(x, y)의 휘도의 값 및 pix2(x, y)의 휘도의 값의 차의 값에 관한 임계값 θ와, pix1(x, y)의 휘도의 값 및 pix2(x, y)의 휘도의 값의 차의 값과 임계값 θ의 비교 결과에 기초하여 가산 또는 감산되는 가중치 α와의 조합이 각각 t조 저장되어 있다. 이들 각 값은, 예를 들면, 아다부스트(AdaBoost) 등의 기계 학습 알고리즘에 의해 학습된 것 중에서, 가장 효과적인 상위 100조의 조합을 이용하여 설정된다. 이와 같이, 각 판정용 사전의 형식이 동일하기 때문에, 복수의 판정 처리를 동일한 알고리즘으로 행할 수 있다. 또한, 도 5에서는, 각 판정용 사전에 관한 「pix1(x, y)」, 「pix2(x, y)」, 「θ」, 「α」에 대해서는, 각 판정용 사전에 따라서 서로 다른 표기로서 나타낸다. 예를 들면, 어른/아이 판정용 사전(310)에 대해서는, 「pix1(x, y)」을 「pix 세대1(x, y)」로 하고, 「pix2(x, y)」를 「pix 세대2(x, y)」로 하고, 「θ」를 「세대θ」로 하고, 「α」를 「세대α」로서 나타낸다.

여기서, 어른/아이 판정용 사전(310)을 이용하여 「어른」 또는 「아이」의 판정을 행하는 경우에서의 기준 연령은, 예를 들면, 12세로 할 수 있다. 즉, 12세 이상의 얼굴을 「어른」이라고 판정하고, 12세 미만의 얼굴을 「아이」라고 판정할 수 있다. 또한, 다른 연령을 기준으로 하여 「어른」 또는 「아이」의 판정을 행하도록 해도 되고, 아이, 중년, 노년 등과 같이, 더욱 상세한 세대를 판정하도록 해도 된다. 또한, 어느 정도의 범위의 년대를 그룹화하고, 검출된 얼굴이 어느 그룹에 속하는지를 판정하도록 해도 된다.

다음으로, 정규화 얼굴 화상에 대해서 판정용 사전을 이용하여 판정 처리를 하는 예에 대해서 도면을 참조하여 상세하게 설명한다.

도 6은, 본 발명의 실시예에서의 정규화부(140)에 의해 정규화된 얼굴 화상의 일례인 정규화 얼굴 화상(350)을 도시하는 도면이다. 이 예에서는, 도 6에 도시하는 정규화 얼굴 화상(350)의 좌측 위 구석을 원점으로 하여, 횡축을 X축으로 하고, 종축을 y축으로 하여, 정규화 얼굴 화상(350)에 대해서 어른/아이 판정용 사전(310)(도 5에 도시함)을 이용한 판정 처리를 하는 경우에 대해서 설명한다. 예를 들면, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 pix 세대1(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(351)로 하고, pix 세대2(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(352)로 한다. 또한, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 pix 세대1(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(353)로 하고, pix 세대2(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(354)로 한다. 또한, 어른/아이 판 정용 사전(310)의 3행째에 저장되어 있는 pix 세대1(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(355)로 하고, pix 세대2(x, y)의 값에 대응하는 정규화 얼굴 화상(350)의 위치를 위치(356)로 한다.

처음에, 판정을 행하기 위한 스코어 S의 값에 0이 세트되고, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 각 값을 이용한 연산이 행하여진다. 구체적으로는, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 pix 세대1(x, y)의 값에 대응하는 위치(351)에서의 휘도의 값 A(1)와, pix 세대2(x, y)의 값에 대응하는 위치(352)에서의 휘도의 값 B(1)가 추출되고, 다음 식을 이용하여, 추출된 각 휘도의 값의 차 C(1)가 산출된다.

C(1)=A(1)-B(1)

계속해서, 산출된 각 휘도의 차의 값 C(1)와, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 임계값인 세대θ의 값을 비교하여, 산출된 값 C(1)가 세대θ의 값보다도 작은지의 여부가 판단된다. 산출된 값 C(1)가 세대θ의 값보다도 작은 경우에는, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 가중치인 세대α의 값을 스코어 S에 가산한다. 한편, 산출된 값 C(1)가 세대θ의 값보다도 작지 않은 경우에는, 어른/아이 판정용 사전(310)의 1행째에 저장되어 있는 세대α의 값을 스코어 S로부터 감산한다.

계속해서, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 각 값을 이용하여, 상술한 각 연산을 반복한다. 구체적으로는, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 pix 세대1(x, y)의 값에 대응하는 위치(353)에서의 휘도 의 값 A(2)와, pix 세대2(x, y)의 값에 대응하는 위치(354)에서의 휘도의 값 B(2)가 추출되고, 다음 식을 이용하여, 추출된 각 휘도의 값의 차 C(2)가 산출된다.

C(2)=A(2)-B(2)

계속해서, 산출된 각 휘도의 차의 값 C(2)와, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 세대θ의 값을 비교하여, 산출된 값 C(2)가 세대θ의 값보다도 작은지의 여부가 판단된다. 산출된 값 C(2)가 세대θ의 값보다도 작은 경우에는, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 세대α의 값을 스코어 S에 가산한다. 한편, 산출된 값 C(2)가 세대θ의 값보다도 작지 않은 경우에는, 어른/아이 판정용 사전(310)의 2행째에 저장되어 있는 세대α의 값을 스코어 S로부터 감산한다.

계속해서, 어른/아이 판정용 사전(310)의 3행째 이후, t행째까지 저장되어 있는 각 값을 순차적으로 이용하여, 상술한 각 연산을 반복한다.

즉, 정규화 얼굴 화상(350)에 대해서 어른/아이 판정용 사전(310)을 이용한 판정 처리를 하는 경우에는, 어른/아이 판정용 사전(310)의 1행째 내지 t행째에 저장되어 있는 각 값을 순차적으로 이용하여, 수학식 1을 이용하여 C(i)가 산출되고, 산출된 C(i)가 수학식 2를 충족시키는지의 여부가 판정된다. 여기서, 변수 i는 정수로서, 1 내지 t의 값을 나타낸다.

그리고, 산출된 C(i)가 수학식 2를 충족시키는 경우에는, α(i)의 값이 스코어 S에 가산되고, 산출된 C(i)가 수학식 2를 충족시키지 않는 경우에는, α(i)의 값이 스코어 S로부터 감산된다. 여기서, i행째에 저장되어 있는 pix 세대1(x, y)에 대응하는 휘도의 값을 A(i)로 나타내고, i행째에 저장되어 있는 pix 세대2(x, y)에 대응하는 휘도의 값을 B(i)로 나타내며, i행째에 저장되어 있는 세대θ의 값을 θ(i)로 나타내고, i행째에 저장되어 있는 세대α의 값을 α(i)로 나타낸다.

그리고, 어른/아이 판정용 사전(310)의 t행째에 저장되어 있는 각 값을 이용한 각 연산이 종료된 후에, 스코어 S의 값이 0보다도 큰지의 여부가 판단된다.

예를 들면, 상술한 기계 학습 알고리즘에 의해 학습 시에서의 어른 판정 성공의 학습 샘플을 플러스측으로 하고, 어른 판정 실패 시의 학습 샘플을 마이너스측으로 하여 학습한 경우에서, 어른/아이 판정용 사전(310)의 1 내지 t행째에 저장되어 있는 각 값을 이용한 각 연산의 종료 후에서의 스코어 S의 값이 0보다도 크면, 판정의 대상으로 되어 있는 정규화 얼굴 화상은 목적의 화상이라고 판정된다. 즉, 어른/아이 판정용 사전(310)을 이용한 판정의 경우에는, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 어른의 얼굴이라고 판정된다. 또한, 다른 판정용 사전에 대해서도, 마찬가지로 생각할 수 있다. 예를 들면, 남/여 판정용 사전(320)을 이용한 판정에서, 남자 판정 성공의 학습 샘플을 플러스측으로 하 여 학습한 경우, 스코어 S의 값이 0보다도 크면, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 남성의 얼굴이라고 판정된다. 또한, 아기/아기가 아님 판정용 사전(330)을 이용한 판정에서, 아기 판정 성공의 학습 샘플을 플러스측으로 하여 학습한 경우, 스코어 S의 값이 0보다도 크면, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 아기의 얼굴이라고 판정된다.

한편, 상술한 기계 학습 알고리즘에 의해 학습 시에서의 판정 성공의 학습 샘플을 플러스측으로 하고, 판정 실패 시의 학습 샘플을 마이너스측으로 하여 학습한 경우에서, 판정용 사전의 1 내지 t행째에 저장되어 있는 각 값을 이용한 각 연산의 종료 후에서의 스코어 S의 값이 0보다도 크지 않으면, 판정의 대상으로 되어 있는 정규화 얼굴 화상은 목적의 화상이 아니라고 판정된다. 예를 들면, 어른/아이 판정용 사전(310)을 이용한 판정에서, 정규화 판정 성공의 학습 샘플을 플러스측으로 하여 학습한 경우, 스코어 S의 값이 0보다도 크지 않으면, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 아이의 얼굴이라고 판정된다. 또한, 남/여 판정용 사전(320)을 이용한 판정에서, 남자 판정 성공의 학습 샘플을 플러스측으로 하여 학습한 경우, 스코어 S의 값이 0보다도 크지 않으면, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 여성의 얼굴이라고 판정된다. 또한, 아기/아기가 아님 판정용 사전(330)을 이용한 판정에서, 아기 판정 성공의 학습 샘플을 플러스측으로 하여 학습한 경우, 스코어 S의 값이 0보다도 크지 않으면, 판정의 대상으로 되어 있는 정규화 얼굴 화상에 포함되는 얼굴은 아기의 얼굴이 아니라고 판정된다.

또한, 본 발명의 실시예에서는, 판정용 사전을 이용한 판정으로서, 스코어 S 및 0을 비교하는 판정예에 대해서 설명하지만, 0 이외의 값을 이용하여 판정하도록 해도 된다. 즉, 스코어 S와 비교하는 값에 대해서는, 적절히 조정할 수 있다.

여기서, 판정용 사전의 1 내지 t행째에 저장되어 있는 각 값을 이용한 각 연산의 종료 후에서의 스코어 S는, 다음 수학식으로 표현할 수 있다.

여기서, sign(x)은, x>0인 경우에는 1로 되고, x≤0인 경우에는 -1로 되는 함수를 나타내는 것으로 한다.

이와 같이, 판정의 대상으로 되는 정규화 화상의 해상도를 동일한 해상도로 하고, 판정에 이용하는 정규화 화상의 특징량을 2점간의 휘도의 값으로 통일함으로써, 복수의 판정용 사전을 절환 가능하게 할 수 있어, 복수의 속성 정보를 동일한 알고리즘으로 작성할 수 있다.

다음으로, 촬상 화상에 복수의 얼굴이 포함되어 있는 경우에서의 판정 처리에 대해서 도면을 참조하여 상세하게 설명한다.

도 7은, 본 발명의 실시예에서의 촬상부(110)에 의해 촬상된 촬상 화상의 일례를 도시하는 도면이다. 도 7에 도시하는 촬상 화상(400)은, 예를 들면, 촬상 장치(100)를 이용하여 4명의 부모와 자식을 촬상하는 경우에서의 촬상 화상이며, 촬상 화상(400)에는, 아들(401), 아버지(402), 딸(403) 및 어머니(404)가 포함되어 있다. 또한, 아들(401), 아버지(402), 딸(403) 및 어머니(404)의 각각에 대응하는 얼굴을, 얼굴(405 내지 408)로 한다. 또한, 아들(401) 및 딸(403)은, 12세 미만의 아이이며, 「아이」로 판정되는 것으로 한다.

도 7에 도시하는 바와 같이, 촬상 화상에 복수의 얼굴이 포함되어 있는 경우에는, 얼굴 검출부(120)에 의해 각 얼굴이 검출된다. 예를 들면, 촬상 화상(400)로부터 얼굴(405 내지 408)이 검출된다. 그리고, 검출된 각 얼굴에 대응하는 얼굴 화상에 대해서 정규화가 이루어지고, 이 정규화가 이루어진 정규화 얼굴 화상에 대해서 얼굴 속성의 판정 처리가 행하여진다.

도 8은, 본 발명의 실시예에서의 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과와, 얼굴 검출부(120)에 의해 검출된 얼굴에 관한 정보를 포함하는 우선 얼굴 결정 정보(420)를 모식적으로 도시하는 도면이다. 우선 얼굴 결정 정보(420)는, 우선 얼굴 결정부(160)에 유지된다.

우선 얼굴 결정 정보(420)에는, 식별 번호(421)와, 어른/아이(세대)(422)와, 남성/여성(성별)(423)과, 아기/아기가 아님(424)과, 얼굴의 크기(425)와, 얼굴의 위치(426)가 관련지어져 포함된다.

식별 번호(421)는, 얼굴 검출부(120)에 의해 검출된 각 얼굴에 부여되는 식별 번호이다. 식별 번호(421)로서, 예를 들면, 아들(401)의 얼굴(405)에 「001」이 부여되고, 아버지(402)의 얼굴(406)에 「002」가 부여되며, 딸(403)의 얼굴(407)에 「003」이 부여되고, 어머니(404)의 얼굴(408)에 「004」가 부여된다.

어른/아이(세대)(422), 남성/여성(성별)(423) 및 아기/아기가 아님(424)은, 각 판정용 사전을 이용하여 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과이다. 예를 들면, 어른/아이(세대)(422)에는, 도 7에 도시하는 얼굴(405 내지 408)에 대해서, 어른/아이 판정용 사전(310)을 이용하여 행하여진 판정 결과로서, 「어른」 또는 「아이」 중 어느 하나가 저장된다. 또한, 남성/여성(성별)(423)에는, 도 7에 도시하는 얼굴(405 내지 408)에 대해서, 남/여 판정용 사전(320)을 이용하여 행하여진 판정 결과로서, 「남성」 또는 「여성」 중 어느 하나가 저장된다. 또한, 아기/아기가 아님(424)에는, 도 7에 도시하는 얼굴(405 내지 408)에 대해서, 아기/아기가 아님 판정용 사전(330)을 이용하여 행하여진 판정 결과로서, 「아기」 또는 「아기가 아님」 중 어느 하나가 저장된다.

얼굴의 크기(425) 및 얼굴의 위치(426)는, 얼굴 검출부(120)에 의해 검출된 얼굴에 관한 정보이다. 예를 들면, 얼굴의 크기(425)에는, 도 7에 도시하는 얼굴(405 내지 408)에 대해서, 얼굴 검출부(120)에 의해 검출된 얼굴의 크기가 저장된다. 또한, 얼굴의 위치(426)에는, 도 7에 도시하는 얼굴(405 내지 408)에 대해서, 얼굴 검출부(120)에 의해 검출된 얼굴의 위치가 저장된다.

우선 얼굴 결정 정보(420)에 포함되는 각 정보를 이용하여, 얼굴 검출부(120)에 의해 검출된 얼굴 중으로부터, 우선 얼굴 결정부(160)에 의해 우선 얼굴이 결정된다.

예를 들면, 도 3에 도시하는 액정 패널(201)에서, 「어른」 지정 버튼(233)이 압하되어, 우선 얼굴의 얼굴 속성으로서 어른이 지정되어 있는 경우에는, 어른/아이(세대)(422)에 「어른」이 저장되어 있는 얼굴이 우선 후보로서 선택된다. 그 리고, 선택된 우선 후보가 1개인 경우에는, 이 우선 후보가 우선 얼굴로서 결정된다. 또한, 선택된 우선 후보가 복수 존재하는 경우에는, 선택된 우선 후보에 관련지어져 있는 얼굴에 관한 정보에 기초하여 우선 얼굴이 결정된다. 예를 들면, 얼굴의 크기(425)에 저장되어 있는 얼굴의 크기에 기초하여, 검출된 얼굴의 크기의 값이 가장 큰 얼굴을 우선 얼굴로서 결정할 수 있다. 또한, 얼굴의 위치(426)에 저장되어 있는 얼굴의 위치에 기초하여, 검출된 얼굴의 위치가 촬상 화상에서 가장 중앙 근처에 존재하는 얼굴을 우선 얼굴로서 결정할 수 있다.

여기서, 우선 얼굴의 얼굴 속성으로서 어른이 지정되어 있는 경우에, 얼굴의 위치(426)에 저장되어 있는 얼굴의 위치를 이용하여, 도 7에 도시하는 촬상 화상(400)에서의 우선 얼굴을 결정하는 경우에 대해 설명한다. 예를 들면, 도 7에 도시하는 촬상 화상(400)에는, 2명의 어른(아버지(402) 및 어머니(404))이 포함되어 있기 때문에, 이 2명의 어른의 얼굴에 대응하는 어른/아이(세대)(422)에는 「어른」이 저장되어 있다. 여기서, 촬상 화상(400)에 포함되는 아버지(402)의 얼굴(406)과, 어머니(404)의 얼굴(408)에 대해서, 촬상 화상(400)에서의 위치를 비교한 경우에는, 아버지(402)의 얼굴(406)이 어머니(404)의 얼굴(408)보다도 중앙 근처에 존재한다. 이 때문에, 우선 후보로서, 아버지(402)의 얼굴(406)과, 어머니(404)의 얼굴(408)이 선택되지만, 얼굴의 위치가 중앙 근처인 아버지(402)의 얼굴(406)이 우선 얼굴로서 결정된다. 이와 같이, 아버지(402)의 얼굴(406)이 우선 얼굴로 결정된 경우에서의 표시예를 도 9의 (a)에 도시한다.

또한, 마찬가지로, 도 3에 도시하는 액정 패널(201)에서, 「아이」 지정 버 튼(234)이 압하되어, 우선 얼굴의 얼굴 속성으로서 아이가 지정되어 있는 경우에, 얼굴의 위치(426)에 저장되어 있는 얼굴의 위치를 이용하여, 도 7에 도시하는 촬상 화상(400)에서의 우선 얼굴을 결정하는 경우에 대해 설명한다. 도 7에 도시하는 촬상 화상(400)에는, 2명의 아이(아들(401) 및 딸(403))가 포함되어 있기 때문에, 이 2명의 아이의 얼굴에 대응하는 어른/아이(세대)(422)에는 「아이」가 저장되어 있다. 또한, 촬상 화상(400)에 포함되는 아들(401)의 얼굴(405)과, 딸(403)의 얼굴(407)의 위치를 비교한 경우에는, 딸(403)의 얼굴(407)이 아들(401)의 얼굴(405)보다도 중앙 근처에 존재한다. 이 때문에, 우선 후보로서, 아들(401)의 얼굴(405)과, 딸(403)의 얼굴(407)이 선택되지만, 얼굴의 위치가 중앙 근처인 딸(403)의 얼굴(407)이 우선 얼굴로서 결정된다. 이와 같이, 딸(403)의 얼굴(407)이 우선 얼굴로 결정된 경우에서의 표시예를 도 9의 (b)에 도시한다.

또한, 우선 얼굴 결정 정보(420)에서의 얼굴 속성의 판정 결과로서, 판정 처리에 의해 산출된 스코어 S의 수치를 저장해 두고, 복수의 우선 후보가 선택된 경우에, 스코어 S의 수치가 가장 큰 우선 후보를 우선 얼굴로서 결정하도록 해도 된다.

도 9는, 본 발명의 실시예에서의 촬상 화상(400)에 대해서 결정된 우선 얼굴에 우선 얼굴 위치 마커가 붙여진 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면이다. 도 9의 (a)는, 아버지(402)의 얼굴(406)이 우선 얼굴로 결정된 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면이고, 도 9의 (b)는, 딸(403)의 얼굴(407)이 우선 얼굴로 결정된 경우에서의 촬상 화상(400)의 표시예를 도시하는 도 면이다.

도 9에 도시하는 바와 같이, 예를 들면, 우선 얼굴 위치 마커(412 또는 413)를 우선 얼굴의 주위에 붙이고, 우선 얼굴 이외의 얼굴에 대해서는 얼굴 위치 마커를 붙이지 않도록 할 수 있다. 또한, 우선 얼굴이 변경된 경우에는, 변경 후의 우선 얼굴에 우선 얼굴 위치 마커가 순차적으로 붙여진다.

도 10 및 도 11은, 본 발명의 실시예에서의 촬상 화상(400)에 대해서 결정된 우선 얼굴에 우선 얼굴 위치 마커가 붙여짐과 함께, 우선 얼굴 이외의 얼굴에는 얼굴 위치 마커가 붙여진 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면이다. 도 10 및 도 11에서는, 어머니(404)의 얼굴(408)이 우선 얼굴로 결정된 경우에서의 촬상 화상(400)의 표시예를 도시한다.

도 10의 (a)에서는, 실선의 사각형으로 구성되는 우선 얼굴 위치 마커(414)를 우선 얼굴(408)의 주위에 붙이고, 파선의 사각형으로 구성되는 얼굴 위치 마커(411 내지 413)를 얼굴(405 내지 407)에 붙이는 예를 도시한다.

도 10의 (b)에서는, 태선의 사각형으로 구성되는 우선 얼굴 위치 마커(414)를 우선 얼굴(408)의 주위에 붙이고, 세선의 사각형으로 구성되는 얼굴 위치 마커(411 내지 413)를 얼굴(405 내지 407)에 붙이는 예를 도시한다.

도 11의 (a)에서는, 사각형의 내측에 4구석 포인트가 배치되어 구성되는 우선 얼굴 위치 마커(414)를 우선 얼굴(408)의 주위에 붙이고, 실선의 사각형으로 구성되는 얼굴 위치 마커(411 내지 413)를 얼굴(405 내지 407)에 붙이는 예를 도시한다. 여기서, 4구석 포인트는, 도 11의 (a)에 도시하는 바와 같이, 사각형의 4구석 의 부분만을 표시하고, 사각형의 각 변의 중앙 부분을 표시하지 않는 것이다.

도 11의 (b)에서는, 투과율이 변경된 사각 형상의 우선 얼굴 위치 마커(414) 및 얼굴 위치 마커(411 내지 413)를 우선 얼굴(408) 및 얼굴(405 내지 407)에 붙이는 예를 도시한다. 예를 들면, 우선 얼굴에 붙여지는 우선 얼굴 위치 마커(414)에 대해서는, 그 투과율을 낮추어 짙은 마커 표시로 하고, 우선 얼굴 이외의 얼굴에 붙여지는 얼굴 위치 마커(411 내지 413)에 대해서는, 그 투과율을 높여서 옅은 마커 표시로 한다.

이와 같이, 우선 얼굴에 붙여지는 우선 얼굴 위치 마커와, 우선 얼굴 이외의 얼굴에 붙여지는 얼굴 위치 마커를 서로 다른 표시 방법으로 함으로써, 우선 얼굴을 용이하게 식별할 수 있다. 또한, 우선 얼굴 이외의 얼굴에 대해서도 용이하게 식별할 수 있다. 이들 표시 방법의 변경은, 조작 접수부(220)에서의 조작 입력에 따라서 변경된다.

또한, 도 9 내지 도 11에 도시하는 우선 얼굴 위치 마커 및 얼굴 위치 마커의 표시 방법 이외에도, 예를 들면, 마커 자체의 색에 의한 식별, 점멸 상태·비점멸 상태에 의한 식별, 마커의 내측과 외측의 휘도 및 색 등의 변경에 의한 식별 등에 의해, 우선 얼굴 위치 마커 및 얼굴 위치 마커의 양태를 서로 구별하여 표시시킬 수 있다. 또한, 마커 자체의 형상에 대해서는, 대상으로 되는 얼굴의 위치를 나타낼 수 있는 다른 양태의 마커를 이용하도록 해도 된다. 예를 들면, 원형, 타원 등의 형상이나, 대상으로 되는 얼굴을 가리키는 화살표 등과 같은 형상으로 할 수 있다.

다음으로, 본 발명의 실시예에서의 촬상 장치(100)의 동작에 대해서 도면을 참조하여 설명한다.

도 12는, 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순을 설명하는 플로우차트이다. 이 예에서는, 결정된 우선 얼굴에 기초하여 촬상 제어부(191)가 촬상 제어를 행하는 예에 대해서 설명한다. 또한, 조작 접수부(220)에서 지정된 얼굴 속성을 우선 얼굴 결정부(160)가 유지하고 있는 것으로 한다.

처음에, 우선 후보가 초기화된다(스텝 S901). 계속해서, 피사체로부터의 입사광을 광전 변환함으로써, 촬상부(110)가 촬상 화상을 생성한다(스텝 S902). 계속해서, 얼굴 검출부(120)가, 촬상 화상에 포함되는 인물의 얼굴을 검출한다(스텝 S903). 이 얼굴 검출에 의해 얼굴 정보도 검출된다. 계속해서, 검출된 얼굴 화상에서의 눈의 위치가 검출되고, 이 검출된 눈의 위치에 기초하여, 정규화부(140)가, 검출된 얼굴 화상을 정규화한다(스텝 S904).

계속해서, 정규화된 얼굴 화상인 정규화 얼굴 화상에 대해서 속성 판정부(150)가 얼굴 속성 판정 처리를 행한다(스텝 S920). 이 얼굴 속성 판정 처리에 대해서는, 도 13을 참조하여 상세하게 설명한다.

계속해서, 속성 판정부(150)에 의해 구해진 얼굴 속성의 판정 결과에 기초하여, 우선 얼굴 결정부(160)가, 얼굴 검출부(120)에 의해 검출된 얼굴 중으로부터 우선 얼굴을 결정하는 우선 얼굴 결정 처리를 행한다(스텝 S950). 이 우선 얼굴 결정 처리에 대해서는, 도 15를 참조하여 상세하게 설명한다.

계속해서, 얼굴 위치 마커 생성부(170)가, 결정된 우선 얼굴에 관한 정보에 기초하여 우선 얼굴 위치 마커를 생성함과 함께, 우선 얼굴 이외의 얼굴에 관한 얼굴 정보에 기초하여 얼굴 위치 마커를 생성한다(스텝 S905). 계속해서, 중첩부(180)가, 생성된 우선 얼굴 위치 마커 및 얼굴 위치 마커와, 촬상 화상을 중첩한다(스텝 S906). 계속해서, 우선 얼굴 위치 마커 및 얼굴 위치 마커가 중첩된 촬상 화상이 표시부(200)에 표시된다(스텝 S907).

계속해서, 촬상 제어부(191)가, 결정된 우선 얼굴에 기초하여 촬상 제어를 행한다(단계 S908). 또한, 우선 얼굴이 결정된 경우에, 우선 얼굴 결정부(160)가 기록 제어부(192)에 촬상 화상을 기록한다는 취지의 지시를 보내어, 촬상 화상을 기록시키도록 해도 된다. 또한, 우선 얼굴이 결정된 경우에, 그 취지를 음성 출력하거나 해서 유저에게 통지하도록 해도 된다.

도 13은, 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순 중의 얼굴 속성 판정 처리 수순(도 12에 도시하는 스텝 S920의 처리 수순)을 도시하는 플로우차트이다. 여기서는, 복수의 판정용 사전 모두를 이용하여 얼굴 속성을 판정하는 예에 대해서 설명하지만, 1개의 판정용 사전을 이용하여 얼굴 속성을 판정하도록 해도 된다.

처음에, 정규화부(140)로부터 출력된 정규화 얼굴 화상 중으로부터 1개의 정규화 얼굴 화상이 취출된다(스텝 S921). 계속해서, 취출된 정규화 얼굴 화상에서의 휘도의 값이 추출된다(스텝 S922). 계속해서, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전 중에서, 판정 처리가 이루어져 있지 않은 1개의 판정용 사 전이 취출되어, 작업용 메모리(301)에 기억된다(스텝 S923). 계속해서, 작업용 메모리(301)에 기억되어 있는 판정용 사전을 이용하여 판정 처리가 실행된다(스텝 S930). 또한, 이 판정 처리에 대해서는, 도 14를 참조하여 상세하게 설명한다.

계속해서, 판정 처리에 의해 판정된 얼굴 속성의 판정 결과가, 판정의 대상으로 되어 있는 얼굴에 관한 얼굴 속성으로서, 그 얼굴에 관련지어져 유지된다(스텝 S924). 계속해서, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전 중에서, 판정 처리가 이루어져 있지 않은 판정용 사전이 존재하는지의 여부가 판단된다(스텝 S925). 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전 중에서, 판정 처리가 이루어져 있지 않은 판정용 사전이 존재하는 경우에는(스텝 S925), 스텝 S923으로 되돌아가서, 동일한 얼굴에 관한 얼굴 속성의 판정 처리를 반복한다(스텝 S923, S924, S930). 한편, 사전 기억부(300)에 기억되어 있는 복수의 판정용 사전 중에서, 판정 처리가 이루어져 있지 않은 판정용 사전이 존재하지 않는 경우에는(스텝 S925), 정규화부(140)로부터 출력된 정규화 얼굴 화상에 대해서 모든 정규화 얼굴 화상이 취출되었는지의 여부가 판단된다(스텝 S926).

정규화부(140)로부터 출력된 정규화 얼굴 화상에 대해서 모든 정규화 얼굴 화상이 취출되어 있지 않은 경우에는(스텝 S926), 스텝 S921로 되돌아가서, 얼굴 속성 판정 처리를 반복한다(스텝 S921 내지 S925, S930). 한편, 정규화부(140)로부터 출력된 정규화 얼굴 화상에 대해서 모든 정규화 얼굴 화상이 취출되어 있는 경우에는(스텝 S926), 도 12에 도시하는 스텝 S920으로 되돌아간다.

도 14는, 본 발명의 실시예에서의 촬상 장치(100)에 의한 얼굴 속성 판정 처 리의 처리 수순 중의 판정 처리 수순(도 13에 도시하는 스텝 S930의 처리 수순)을 도시하는 플로우차트이다. 본 발명의 실시예에서는, 정규화 얼굴 화상이 목적의 화상인지의 여부를 판정하는 판정 처리를 예로 하여 설명한다.

처음에, 스코어 S가 「0」으로 초기화되고(스텝 S931), 변수 i가 「1」로 초기화된다(스텝 S932). 계속해서, 정규화 얼굴 화상으로부터 추출된 휘도의 값 중으로부터, 작업용 메모리(301)에 기억되어 있는 판정용 사전의 i행째에 저장되어 있는 pix1( x, y) 및 pix2(x, y)의 위치에 대응하는 휘도의 값이 선택된다(스텝 S 933). 계속해서, 선택된 2개의 휘도의 값을 이용하여, 수학식 1로 표현하는 C(i)가 산출된다(스텝 S934).

계속해서, 산출된 2점간의 휘도의 차의 값 C(i)가 임계값 θ(i)보다도 작은지의 여부가 판단된다(스텝 S935). 산출된 값 C(i)가 임계값 θ(i)보다도 작은 경우에는(스텝 S935), 스코어 S에 α(i)가 가산된다(스텝 S936). 한편, 산출된 값 C(i)가 임계값 θ(i)보다도 작지 않은 경우에는(스텝 S935), 스코어 S로부터 α(i)가 감산된다(스텝 S937).

계속해서, 변수 i에 「1」이 가산되고(스텝 S938), 변수 i가 t보다도 큰지의 여부가 판단된다(스텝 S939). 변수 i가 t보다도 크지 않은 경우에는(스텝 S939), 작업용 메모리(301)에 기억되어 있는 판정용 사전의 각 행의 값에 관한 판정 처리가 종료되어 있지 않기 때문에, 스텝 S933으로 되돌아가서, 동일한 판정용 사전을 이용한 판정 처리를 반복한다(스텝 S933 내지 S938). 한편, 변수 i가 t보다도 큰 경우에는(스텝 S939), 작업용 메모리(301)에 기억되어 있는 판정용 사전의 각 행의 값에 관한 판정 처리가 종료되어 있기 때문에, 스텝 S940으로 진행하여, 스코어 S의 값이 0보다도 큰지의 여부가 판단된다(스텝 S940).

스코어 S의 값이 0보다도 큰 경우에는(스텝 S940), 판정의 대상으로 되어 있는 정규화 얼굴 화상이, 목적의 화상이라고 판정된다(스텝 S941). 한편, 스코어 S의 값이 0보다도 크지 않은 경우에는(스텝 S940), 판정의 대상으로 되어 있는 정규화 얼굴 화상이, 목적의 화상이 아니라고 판정된다(스텝 S942). 계속해서, 도 13에 도시하는 스텝 S930으로 되돌아간다.

도 15는, 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순 중의 우선 얼굴 결정 처리 수순(도 12에 도시하는 스텝 S950의 처리 수순)을 도시하는 플로우차트이다.

처음에, 우선 얼굴 결정부(160)가, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 1 또는 복수의 얼굴 중으로부터 1개의 얼굴을 취출한다(스텝 S951). 계속해서, 우선 얼굴 결정부(160)는, 취출된 얼굴의 속성이 우선 대상의 속성인지의 여부를 판단한다(스텝 S952). 즉, 우선 얼굴 결정부(160)는, 취출된 얼굴에 관련지어져 저장되어 있는 각 얼굴 속성의 판정 결과가, 유지되어 있는 얼굴 속성과 동일한지의 여부를 판단한다.

취출된 얼굴의 속성이 우선 대상의 속성이 아닌 경우에는(스텝 S952), 취출된 얼굴은, 지정된 얼굴 속성의 조건을 충족시키는 얼굴이 아니기 때문에, 스텝 S956으로 진행한다. 한편, 취출된 얼굴의 속성이 우선 대상의 속성인 경우에는(스텝 S952), 우선 얼굴 결정부(160)는, 우선 후보가 존재하는지의 여부를 판단한다 (스텝 S953).

우선 후보가 존재하지 않는 경우에는(스텝 S953), 우선 얼굴 결정부(160)는, 취출된 얼굴을 우선 후보로서 유지한다(스텝 S955). 한편, 우선 후보가 존재하는 경우에는(스텝 S953), 우선 얼굴 결정부(160)는, 검출된 얼굴에 관한 얼굴 정보를 평가값으로서 이용하여, 취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 큰지의 여부를 판단한다(스텝 S954). 예를 들면, 평가값으로서, 얼굴의 크기, 얼굴의 위치 또는 얼굴의 방향에 따른 수치 또는 이들의 조합에 관련되는 수치를 이용할 수 있다.

취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 큰 경우에는(스텝 S954), 우선 얼굴 결정부(160)는, 현재 유지되어 있는 우선 후보를 소거하고, 취출된 얼굴을 우선 후보로서 유지한다(스텝 S955). 한편, 취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 크지 않은 경우에는(스텝 S954), 취출된 얼굴은, 우선 얼굴이 아니라고 판단하고, 스텝 S956으로 진행한다.

계속해서, 우선 얼굴 결정부(160)는, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 모든 얼굴을 취출하였는지의 여부를 판단하고(스텝 S956), 모든 얼굴이 취출되어 있지 않은 경우에는, 스텝 S951로 되돌아간다. 한편, 모든 얼굴이 취출되어 있는 경우에는(스텝 S956), 우선 얼굴 결정부(160)는, 우선 후보가 존재하는지의 여부를 판단한다(스텝 S957).

우선 후보가 존재하는 경우에는(스텝 S957), 우선 얼굴 결정부(160)는, 현재 유지되어 있는 우선 후보를 우선 얼굴로 결정한다(스텝 S963). 한편, 우선 후보가 존재하지 않는 경우에는(스텝 S957), 스텝 S958로 진행한다. 즉, 우선 후보가 존재하지 않는 경우에는, 검출된 얼굴 중에, 지정된 얼굴 속성의 조건을 충족시키는 얼굴이 존재하지 않는 경우이기 때문에, 검출된 얼굴에 관한 얼굴 정보를 평가값으로서 이용하여, 우선 얼굴을 결정한다.

우선 얼굴 결정부(160)가, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 1 또는 복수의 얼굴 중으로부터 1개의 얼굴을 취출한다(스텝 S958). 계속해서, 우선 얼굴 결정부(160)는, 우선 후보가 존재하는지의 여부를 판단한다(스텝 S959).

우선 후보가 존재하지 않는 경우에는(스텝 S959), 우선 얼굴 결정부(160)는, 취출된 얼굴을 우선 후보로서 유지한다(스텝 S961). 한편, 우선 후보가 존재하는 경우에는(스텝 S959), 우선 얼굴 결정부(160)는, 취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 큰지의 여부를 판단한다(스텝 S960).

취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 큰 경우에는(스텝 S960), 우선 얼굴 결정부(160)는, 현재 유지되어 있는 우선 후보를 소거하고, 취출된 얼굴을 우선 후보로서 유지한다(스텝 S961). 한편, 취출된 얼굴의 평가값이, 우선 후보의 평가값보다도 크지 않은 경우에는(스텝 S960), 취출된 얼굴은, 우선 얼굴이 아니라고 판단하고, 스텝 S962로 진행한다.

계속해서, 우선 얼굴 결정부(160)는, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 모든 얼굴이 취출되었는지의 여부를 판단하고(스텝 S962), 모든 얼굴이 취출되어 있지 않은 경우에는, 스텝 S958로 되돌아간다. 한편, 모든 얼굴 이 취출되어 있는 경우에는(스텝 S962), 스텝 S963으로 진행한다.

이상에서는, 얼굴 속성의 판정 결과에 기초하여 우선 얼굴을 결정하는 예에 대해서 설명하였다. 이하에서는, 얼굴 속성의 판정 결과에 기초하여 촬상 장치(100)가 촬상 조작(소위, 사진 촬영)을 자동적으로 행하는 예에 대해서 설명한다.

도 16은, 본 발명의 실시예에서의 촬상 장치(500)의 기능 구성예를 도시하는 블록도이다. 촬상 장치(500)는, 도 1에 도시하는 촬상 장치(100)의 일부를 변형한 것으로서, 촬상 장치(100)에서, 우선 얼굴 결정부(160) 및 기록 제어부(192) 대신에, 촬상 화상 기록 지시부(510) 및 기록 제어부(520)를 설치한 촬상 장치이다. 또한, 사전 기억부(300)에는, 도 5에 도시하는 각 판정용 사전 이외에, 웃는 얼굴/웃지 않는 얼굴 판정용 사전, 우는 얼굴/울지 않는 얼굴 판정용 사전, 화난 얼굴/화나지 않은 얼굴 판정용 사전 및 입을 벌린 얼굴/입을 벌리지 않은 얼굴 판정용 사전이 기억되어 있는 것으로 한다. 또한, 촬상 화상 기록 지시부(510) 및 기록 제어부(520) 이외의 구성은, 도 1에 도시하는 촬상 장치(100)와 마찬가지이기 때문에, 이들 이외의 구성에 관한 설명은 생략한다.

촬상 화상 기록 지시부(510)는, 년대나 성별 등의 인물 자체에 깊게 관계되는 속성인 인물의 종별에 관한 얼굴 속성과, 웃는 얼굴이나 우는 얼굴 등의 얼굴의 표정에 관한 얼굴 속성에 기초하여, 촬상 화상을 기록할 타이밍을 기록 제어부(520)에 지시하는 것이다. 즉, 촬상 화상 기록 지시부(510)는, 얼굴 검출부(120)에 의해 검출된 얼굴 중에, 조작 접수부(220)에서 지정된 인물의 종별에 관 한 얼굴 속성 및 얼굴의 표정에 관한 얼굴 속성의 조건을 충족시키는 얼굴이 존재하는지의 여부를, 속성 판정부(150)로부터 출력된 얼굴 속성의 판정 결과에 기초하여 판단하고, 그 조건을 충족시키는 얼굴이 존재하는 경우에는, 촬상 화상을 기록해야 한다는 취지의 지시를 기록 제어부(520)에 지시한다. 이 촬상 화상을 기록해야 한다는 취지의 지시에 대해서는, 도 18 내지 도 20을 참조하여 상세하게 설명한다.

기록 제어부(520)는, 촬상 화상 기록 지시부(510)로부터의 지시에 기초하여, 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억부(210)에 기록하는 기록 제어를 행하는 것이다. 즉, 기록 제어부(520)는, 촬상 화상 기록 지시부(510)로부터 촬상 화상을 기록해야 한다는 취지의 지시가 입력된 경우에는, 이 지시의 입력 시에 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억부(210)에 기록시킨다. 또한, 다른 구성에 대해서는, 도 1에 도시하는 기록 제어부(192)와 마찬가지이기 때문에, 여기서의 설명을 생략한다.

도 17은, 본 발명의 실시예에서의 액정 패널(201)의 표시예를 도시하는 도면이다. 도 17의 (a)에서는, 인물의 종별에 관한 얼굴 속성을 지정하기 위한 얼굴 속성 지정 화면을 도시한다. 또한, 이 얼굴 속성 지정 화면은, 도 3에 도시하는 얼굴 속성 지정 화면과 마찬가지이기 때문에, 도 3과 동일한 부호를 붙이고, 여기서의 설명을 생략한다. 또한, 도 17의 (b)에서는, 얼굴의 표정에 관한 얼굴 속성을 지정하기 위한 표정 지정 화면을 도시한다. 이 표정 지정 화면에는, 지정 버튼(241 내지 245)이 표시되어 있다. 이 표정 지정 화면은, 예를 들면, 얼굴 속성 지정 화면에서 지정 버튼(231 내지 235) 중 어느 하나의 지정 버튼이 압하된 후에 표시시킬 수 있다. 또한, 표정 지정 화면 및 얼굴 속성 지정 화면을 동일한 화면 상에 표시시키도록 해도 된다.

지정 버튼(241 내지 245)은, 얼굴의 표정에 관한 얼굴 속성을 지정하는 경우에 압하하는 버튼이다. 예를 들면, 「웃는 얼굴」 지정 버튼(241)은, 촬상 화상에 웃는 얼굴이 포함되어 있는 경우에 그 촬상 화상을 자동적으로 기록하는 경우에 압하하는 버튼이다. 또한, 「웃고 있지 않은 얼굴」 지정 버튼(242), 「우는 얼굴」 지정 버튼(243), 「화난 얼굴」 지정 버튼(244), 「입을 벌린 얼굴」 지정 버튼(245)에 대해서도 마찬가지로, 각 버튼의 표시 영역에 표시되어 있는 문자에 대응하는 얼굴의 표정에 관한 얼굴 속성을 지정하는 경우에 압하된다.

또한, 이 예에서는, 얼굴의 표정에 관한 얼굴 속성에 대한 5개의 지정 버튼을 표시하여 선택하는 예에 대해서 설명하지만, 얼굴의 표정에 관한 다른 얼굴 속성을 지정하기 위한 지정 버튼을 표시하여, 다른 얼굴 속성을 지정 가능하게 하도록 해도 된다. 또한, 이 예에서는, 얼굴의 표정에 관한 얼굴 속성에 대해서, 1개의 얼굴 속성을 지정하는 예에 대해서 설명하지만, 복수의 얼굴 속성을 지정하고, 이들 지정된 각 얼굴 속성의 조건을 충족시키는 얼굴을 우선 얼굴로서 결정하는 경우에 대해서도, 본 발명의 실시예를 적용할 수 있다. 또한, 복수의 얼굴 속성을 지정하는 경우에는, 상반되지 않는 복수의 얼굴 속성을 지정한다. 상반되는 얼굴 속성의 지정이란, 예를 들면, 「웃는 얼굴」 및 「웃고 있지 않은 얼굴」을 지정하는 경우이다. 또한, 인물의 종별에 관한 얼굴 속성에 대해서도, 마찬가지로, 복수 의 얼굴 속성을 지정하도록 해도 된다. 또한, 인물의 종별에 관한 얼굴 속성 및 얼굴의 표정에 관한 얼굴 속성의 각각을 복수 지정하도록 해도 된다.

도 18은, 본 발명의 실시예에서의 촬상부(110)에 의해 촬상된 촬상 화상의 일례를 도시하는 도면이다. 도 18에 도시하는 촬상 화상(700)은, 예를 들면, 촬상 장치(100)를 이용하여 4명의 부모와 자식을 촬상하는 경우에서의 촬상 화상이며, 촬상 화상(400)에는, 아들(401), 아버지(402), 딸(403) 및 어머니(404)가 포함되어 있다. 또한, 아버지(402) 및 딸(403)이 웃는 얼굴이 아닌 점 이외에는, 도 7에 도시하는 촬상 화상(400)과 마찬가지이기 때문에, 여기서의 다른 설명을 생략한다.

도 19는, 본 발명의 실시예에서의 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과를 포함하는 얼굴 속성 판정 정보(600)를 모식적으로 도시하는 도면이다. 얼굴 속성 판정 정보(600)는, 촬상 화상 기록 지시부(510)에 유지된다.

얼굴 속성 판정 정보(600)에는, 식별 번호(601)와, 어른/아이(세대)(602)와, 남성/여성(성별)(603)과, 아기/아기가 아님(604)과, 웃는 얼굴/웃지 않는 얼굴(605)과, 우는 얼굴/울지 않는 얼굴(606)과, 화난 얼굴/화나지 않은 얼굴(607)과, 입을 벌린 얼굴/입을 벌리지 않은 얼굴(608)이 관련지어져 포함된다. 또한, 식별 번호(601), 어른/아이(세대)(602), 남성/여성(성별)(603) 및 아기/아기가 아님(604)에 대해서는, 도 8에 도시하는 것과 동일하기 때문에, 여기서의 설명을 생략한다. 또한, 어른/아이(세대)(602), 남성/여성(성별)(603) 및 아기/아기가 아님(604)에 관한 판정 결과는, 인물의 종별(인물 자체의 속성)에 관한 얼굴 속성의 판정 결과이며, 다른 판정 결과는, 얼굴의 표정에 관한 얼굴 속성의 판정 결과이 다.

웃는 얼굴/웃지 않는 얼굴(605), 우는 얼굴/울지 않는 얼굴(606), 화난 얼굴/화나지 않은 얼굴(607) 및 입을 벌린 얼굴/입을 벌리지 않은 얼굴(608)은, 각 판정용 사전을 이용하여 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과이다. 예를 들면, 웃는 얼굴/웃지 않는 얼굴(605)에는, 도 18에 도시하는 얼굴(405 내지 408)에 대해서, 웃는 얼굴/웃지 않는 얼굴 판정용 사전을 이용하여 행하여진 판정 결과로서, 「웃는 얼굴」 또는 「웃지 않는 얼굴」 중 어느 하나가 저장된다. 또한, 우는 얼굴/울지 않는 얼굴(606)에는, 도 18에 도시하는 얼굴(405 내지 408)에 대해서, 우는 얼굴/울지 않는 얼굴 판정용 사전을 이용하여 행하여진 판정 결과로서, 「우는 얼굴」 또는 「울지 않는 얼굴」 중 어느 하나가 저장된다. 또한, 화난 얼굴/화나지 않은 얼굴(607)에는, 도 18에 도시하는 얼굴(405 내지 408)에 대해서, 화난 얼굴/화나지 않은 얼굴 판정용 사전을 이용하여 행하여진 판정 결과로서, 「화난 얼굴」 또는 「화나지 않은 얼굴」 중 어느 하나가 저장된다. 또한, 입을 벌린 얼굴/입을 벌리지 않은 얼굴(608)에는, 도 18에 도시하는 얼굴(405 내지 408)에 대해서, 입을 벌린 얼굴/입을 벌리지 않은 얼굴 판정용 사전을 이용하여 행하여진 판정 결과로서, 「입을 벌린 얼굴」 또는 「입을 벌리지 않은 얼굴」 중 어느 하나가 저장된다.

얼굴 속성 판정 정보(600)에 포함되는 각 정보를 이용하여, 표정 지정 화면 및 얼굴 속성 지정 화면에서 지정된 각 얼굴 속성의 조건을 충족시키는 얼굴을 포함하는 촬상 화상을 기록하기 위한 지시가 이루어진다.

예를 들면, 도 17의 (a)에 도시하는 얼굴 속성 지정 화면에서, 「어른」 지정 버튼(233)이 압하됨과 함께, 도 17의 (b)에 도시하는 표정 지정 화면에서, 「웃는 얼굴」 지정 버튼(241)이 압하된 경우에 대해 설명한다. 이 경우에는, 어른/아이(세대)(602)에 「어른」이 저장되어 있음과 함께, 웃는 얼굴/웃지 않는 얼굴(605)에 「웃는 얼굴」이 저장되어 있는 얼굴이, 얼굴 속성 판정 정보(600)로부터 검출된 경우에, 촬상 화상 기록 지시부(510)로부터 촬상 화상 기록의 지시가 기록 제어부(520)에 보내어져, 촬상 화상이 기록된다.

예를 들면, 도 18에 도시하는 촬상 화상(400)에는, 2명의 어른(아버지(402) 및 어머니(404))이 포함되어 있기 때문에, 이 2명의 어른의 얼굴에 대응하는 어른/아이(세대)(422)에는 「어른」이 저장되어 있다. 여기서, 어머니(404)는 웃는 얼굴이기 때문에, 어머니(404)(식별 번호 「004」)에 대응하는 웃는 얼굴/웃지 않는 얼굴(605)에는 「웃는 얼굴」이 저장되어 있지만, 아버지(402)(식별 번호 「002」)는 웃는 얼굴이 아니기 때문에, 아버지(402)에 대응하는 웃는 얼굴/웃지 않는 얼굴(605)에는 「웃지 않는 얼굴」이 저장되어 있다. 이 때문에, 조건을 충족시키는 어머니(404)가, 얼굴 속성 판정 정보(600)로부터 검출된다. 그리고, 촬상 화상 기록 지시부(510)로부터 기록 제어부(520)에 촬상 화상을 기록해야 한다는 취지의 지시가 보내어져, 촬상 화상이 기록된다.

도 20은, 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 화상 기록 제어 처리의 처리 수순을 설명하는 플로우차트이다. 이 예에서는, 조작 접수부(220)에서 지정된 인물의 종별에 관한 얼굴 속성과, 얼굴의 표정에 관한 얼굴 속성을 촬 상 화상 기록 지시부(510)가 유지하고 있는 것으로 한다. 또한, 스텝 S971 내지 S973, S920에 대해서는, 도 12에 도시하는 스텝 S902 내지 S904, S920과 마찬가지의 처리 수순이기 때문에, 여기서의 설명을 생략한다.

촬상 화상 기록 지시부(510)가, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 1 또는 복수의 얼굴 중으로부터 1개의 얼굴을 취출한다(스텝 S974). 계속해서, 촬상 화상 기록 지시부(510)는, 취출된 얼굴의 속성이, 조작 접수부(220)에서 지정된 인물의 종별에 관한 얼굴 속성과 동일한지의 여부를 판단한다(스텝 S975). 즉, 촬상 화상 기록 지시부(510)는, 취출된 얼굴에 관련지어져 저장되어 있는 각 얼굴 속성의 판정 결과 중에서, 어른/아이(세대)(602), 남성/여성(성별)(603) 또는 아기/아기가 아님(604)에 저장되어 있는 각 정보가, 유지되어 있는 인물의 종별에 관한 얼굴 속성과 동일한지의 여부를 판단한다.

취출된 얼굴의 속성이, 지정된 인물의 종별에 관한 얼굴 속성과 동일하지 않은 경우에는(스텝 S975), 스텝 S978로 진행한다. 한편, 취출된 얼굴의 속성이, 지정된 인물의 종별에 관한 얼굴 속성과 동일한 경우에는(스텝 S975), 촬상 화상 기록 지시부(510)는, 취출된 얼굴의 속성이, 조작 접수부(220)에서 지정된 얼굴의 표정에 관한 얼굴 속성과 동일한지의 여부를 판단한다(스텝 S976). 즉, 촬상 화상 기록 지시부(510)는, 취출된 얼굴에 관련지어져 저장되어 있는 각 얼굴 속성의 판정 결과 중에서, 웃는 얼굴/웃지 않는 얼굴(605), 우는 얼굴/울지 않는 얼굴(606), 화난 얼굴/화나지 않은 얼굴(607) 또는 입을 벌린 얼굴/입을 벌리지 않은 얼굴(608)에 저장되어 있는 각 정보가, 유지되어 있는 얼굴의 표정에 관한 얼굴 속성 과 동일한지의 여부를 판단한다.

취출된 얼굴의 속성이, 지정된 얼굴의 표정에 관한 얼굴 속성과 동일하지 않은 경우에는(스텝 S976), 스텝 S978로 진행한다. 한편, 취출된 얼굴의 속성이, 지정된 얼굴의 표정에 관한 얼굴 속성과 동일한 경우에는(스텝 S976), 촬상 화상 기록 지시부(510)는, 촬상 화상을 기록한다는 취지의 지시를 기록 제어부(520)에 출력한다(단계 S977). 촬상 화상을 기록한다는 취지의 지시를 기록 제어부(520)가 입력받으면, 이 입력 시에 촬상부(110)로부터 출력된 촬상 화상을 촬상 화상 기억부(210)에 기록한다.

또한, 촬상 화상 기록 지시부(510)는, 속성 판정부(150)로부터 출력된 판정 결과에 포함되는 모든 얼굴이 취출되었는지의 여부를 판단하고(스텝 S978), 모든 얼굴이 취출되어 있지 않은 경우에는, 스텝 S974로 되돌아간다. 한편, 모든 얼굴이 취출되어 있는 경우에는(스텝 S978), 촬상 화상 기록 제어 처리의 동작을 종료한다.

이와 같이, 본 발명의 실시예에 따르면, 액정 패널(201)에서 지정된 얼굴 속성에 해당하는 인물의 얼굴을 우선 얼굴로서 결정할 수 있다. 이에 의해, 우선 얼굴에 기초하여 각 촬상 파라미터를 설정해서 촬상 화상을 기록할 수 있기 때문에, 지정된 얼굴 속성에 해당하는 인물의 얼굴을 아름답고 예쁘게 기록할 수 있다. 또한, 우선 얼굴에 우선 얼굴 위치 마커를 붙여서 표시할 수 있기 때문에, 촬영자가 우선 얼굴로 결정된 인물을 용이하게 파악할 수 있다. 또한, 우선 얼굴 이외의 얼굴에 얼굴 위치 마커를 붙여서 표시할 수 있기 때문에, 촬영자가 우선 얼굴과 그 밖의 얼굴을 용이하게 식별할 수 있다. 예를 들면, 어른을 배경으로 한 아이들을 촬영하는 경우에, 얼굴 속성 지정 화면에서 「아이」 지정 버튼(234)을 압하하여 촬영을 행함으로써, 배경에 있는 어른들보다도, 바로 앞의 어린이들의 얼굴을 아름답고 예쁘게 촬영할 수 있다.

또한, 본 발명의 실시예에 따르면, 액정 패널(201)에서 지정된 인물의 종별에 관한 얼굴 속성과, 얼굴의 표정에 관한 얼굴 속성에 해당하는 인물의 얼굴이 검출된 경우에서, 이 검출 시에서의 촬상 화상을 기록할 수 있다. 이에 의해, 유저에 의해 지정된 인물의 종별에 해당하는 인물에 대해서, 좋아하는 표정을 용이하게 촬상 화상으로서 기록할 수 있다. 예를 들면, 어른을 배경으로 한 아이들의 웃는 얼굴을 촬영하는 경우에, 얼굴 속성 지정 화면에서 「아이」 지정 버튼(234)을 압하함과 함께 표정 지정 화면에서 「웃는 얼굴」 지정 버튼(241)을 압하하여 촬영을 행한다. 이에 의해, 배경에 있는 어른들이 웃은 경우라도 촬상 화상 기록 동작이 행하여지지 않지만, 바로 앞의 아이들이 웃은 경우에는 자동적으로 촬상 화상 기록 동작을 행할 수 있다. 즉, 본 발명의 실시예에 따르면, 유저의 기호에 따른 촬상 화상을 용이하게 기록할 수 있다.

또한, 본 발명의 실시예에서는, 얼굴에 관한 얼굴 속성으로서 「어른/아이(세대)」, 「남성/여성(성별)」, 「아기/아기가 아님」, 「웃는 얼굴/웃지 않는 얼굴」, 「우는 얼굴/울지 않는 얼굴」, 「화난 얼굴/화나지 않은 얼굴」, 「입을 벌린 얼굴/입을 벌리지 않은 얼굴」을 판정하는 예에 대해서 설명하였지만, 얼굴에 관한 다른 얼굴 속성을 판정하는 경우에 대해서도, 본 발명의 실시예를 적용할 수 있다. 얼굴에 관한 얼굴 속성으로서, 예를 들면, 눈의 위치, 눈의 개폐 상태, 얼굴의 표정, 인종, 얼굴 자체의 촬영 조건, 얼굴의 방향 등에 적용할 수 있다. 또한, 본 발명의 실시예에서는, 사전 기억부(300)에 복수의 사전을 기억하는 예에 대해서 설명하였지만, 1개의 사전을 기억하는 경우에 대해서도, 본 발명의 실시예를 적용할 수 있다. 또한, 본 발명의 실시예에서는, 정규화 얼굴 화상이 목적의 화상인지의 여부를 판정하기 위한 판단 정보로서, 사전 기억부(300)에 기억되어 있는 각 판정용 사전을 이용하는 예에 대해서 설명하였지만, 정규화 얼굴 화상이 목적의 화상인지의 여부를 판정할 수 있는 다른 판단 정보를 이용하도록 해도 된다.

또한, 본 발명의 실시예에서는, 촬상 화상에 포함되는 사람의 얼굴을 검출하고, 이 검출된 얼굴에 관한 얼굴 속성을 판정하는 경우에 대해서 설명하였지만, 촬상 화상에 포함되는 사람의 얼굴 이외의 다른 대상물을 검출하고, 이 검출된 대상물에 관한 속성을 판정하는 경우에 대해서도, 본 발명의 실시예를 적용할 수 있다. 촬상 화상에 포함되는 사람의 얼굴 이외의 다른 대상물로서, 예를 들면, 고양이나 개 등의 펫의 얼굴, 말이나 소 등의 동물의 얼굴, 차나 전철 등의 탈 것 등에 적용할 수 있다.

또한, 본 발명의 실시예에서는, 1개의 종류(카테고리)에 속하는 대상물의 속성을, 인물의 얼굴의 표정에 관한 얼굴 속성으로 하고, 다른 종류에 속하는 대상물의 속성을, 인물의 종별에 관한 속성으로 하는 예에 대해서 설명하였지만, 1개의 종류에 속하는 대상물의 속성을, 대상물의 표면 상의 변화에 관한 속성으로 하고, 다른 종류에 속하는 대상물의 속성을, 대상물의 종별에 관한 속성으로 하는 경우에 대해서도 본 발명의 실시예를 적용할 수 있다.

또한, 본 발명의 실시예에서는, 복수의 우선 후보가 선택된 경우에는 이들 우선 후보로부터 1개의 우선 얼굴을 결정하는 예에 대해서 설명하였지만, 복수의 우선 후보를 우선 얼굴로서 이용하여 노출 등의 촬상 제어를 행하도록 해도 된다.

또한, 본 발명의 실시예에서는, 촬상 장치를 예로 하여 설명하였지만, 정지 화상 및 동화상을 촬상하는 캠코더나 촬상 기능을 구비하는 휴대 전화기의 각종 촬상 장치에 본 발명의 실시예를 적용할 수 있다.

또한, 본 발명의 실시예는 본 발명을 구현화하기 위한 일례를 설명한 것으로서, 이하에 기재하는 바와 같이 특허 청구 범위에서의 발명 특정 사항과 각각 대응 관계를 갖지만, 이것에 한정되는 것이 아니라 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변형을 실시할 수 있다.

즉, 청구항 1 또는 13에서, 조작 접수 수단은, 예를 들면 조작 접수부(220)에 대응한다. 또한, 촬상 수단은, 예를 들면 촬상부(110)에 대응한다. 또한, 대상물 검출 수단은, 얼굴 검출부(120)에 대응한다. 또한, 속성 판정 수단은, 속성 판정부(150)에 대응한다.

또한, 청구항 1에서, 우선 대상물 결정 수단은, 예를 들면 우선 얼굴 결정부(160)에 대응한다.

또한, 청구항 2에서, 촬상 제어 수단은, 예를 들면 촬상 제어부(191)에 대응한다.

또한, 청구항 5에서, 기록 제어 수단은, 예를 들면 기록 제어부(192)에 대응 한다.

또한, 청구항 10에서, 대상물 위치 마커 생성 수단은, 예를 들면 얼굴 위치 마커 생성부(170)에 대응한다. 또한, 중첩 수단은, 예를 들면 중첩부(180)에 대응한다. 또한, 표시 수단은, 예를 들면 표시부(200)에 대응한다.

또한, 청구항 13에서, 촬상 화상 기록 지시 수단은, 예를 들면 촬상 화상 기록 지시부(510)에 대응한다.

또한, 청구항 18 또는 19에서, 촬상 수순은, 예를 들면 스텝 S902에 대응한다. 또한, 대상물 검출 수순은, 예를 들면 스텝 S903에 대응한다. 또한, 속성 판정 수순은, 예를 들면 스텝 S920에 대응한다. 또한, 우선 대상물 결정 수순은, 예를 들면 스텝 S950에 대응한다.

또한, 본 발명의 실시예에서 설명한 처리 수순은, 이들 일련의 수순을 갖는 방법으로서 파악해도 되며, 또한, 이들 일련의 수순을 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 된다.

도 1은 본 발명의 실시예에서의 촬상 장치(100)의 기능 구성예를 도시하는 블록도.

도 2는 본 발명의 실시예에서의 촬상 장치(100)의 외관을 도시하는 사시도.

도 3은 본 발명의 실시예에서의 액정 패널(201)의 표시예를 도시하는 도면.

도 4는 본 발명의 실시예에서의 얼굴 화상을 정규화하는 경우에서의 정규화의 일례를 도시하는 도면.

도 5는 본 발명의 실시예에서의 정규화 얼굴 화상에 대해서 각 판정 처리를 행하기 위한 복수의 판정용 사전을 도시하는 도면.

도 6은 본 발명의 실시예에서의 정규화부(140)에 의해 정규화된 얼굴 화상의 일례인 정규화 얼굴 화상(350)을 도시하는 도면.

도 7은 본 발명의 실시예에서의 촬상부(110)에 의해 촬상된 촬상 화상의 일례를 도시하는 도면.

도 8은 본 발명의 실시예에서의 얼굴 속성의 판정 결과 및 얼굴에 관한 정보를 포함하는 우선 얼굴 결정 정보(420)를 모식적으로 도시하는 도면.

도 9는 본 발명의 실시예에서의 촬상 화상(400)에 대해서 결정된 우선 얼굴에 우선 얼굴 위치 마커가 붙여진 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면.

도 10은 본 발명의 실시예에서의 우선 얼굴에 우선 얼굴 위치 마커가 붙여지고, 다른 얼굴에 얼굴 위치 마커가 붙여진 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면.

도 11은 본 발명의 실시예에서의 우선 얼굴에 우선 얼굴 위치 마커가 붙여지고, 다른 얼굴에 얼굴 위치 마커가 붙여진 경우에서의 촬상 화상(400)의 표시예를 도시하는 도면.

도 12는 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순을 설명하는 플로우차트.

도 13은 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순 중의 얼굴 속성 판정 처리 수순을 설명하는 플로우차트.

도 14는 본 발명의 실시예에서의 촬상 장치(100)에 의한 얼굴 속성 판정 처리의 처리 수순 중의 판정 처리 수순을 설명하는 플로우차트.

도 15는 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 제어 처리의 처리 수순 중의 우선 얼굴 결정 처리 수순을 설명하는 플로우차트.

도 16은 본 발명의 실시예에서의 촬상 장치(500)의 기능 구성예를 도시하는 블록도.

도 17은 본 발명의 실시예에서의 액정 패널(201)의 표시예를 도시하는 도면.

도 18은 본 발명의 실시예에서의 촬상부(110)에 의해 촬상된 촬상 화상의 일례를 도시하는 도면.

도 19는 본 발명의 실시예에서의 속성 판정부(150)에 의해 판정된 얼굴 속성의 판정 결과를 포함하는 얼굴 속성 판정 정보(600)를 모식적으로 도시하는 도면.

도 20은 본 발명의 실시예에서의 촬상 장치(100)에 의한 촬상 화상 기록 제 어 처리의 처리 수순을 설명하는 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

100 : 촬상 장치

101 : 촬상 렌즈

110 : 촬상부

120 : 얼굴 검출부

130 : 눈 검출부

140 : 정규화부

150 : 속성 판정부

160 : 우선 얼굴 결정부

170 : 얼굴 위치 마커 생성부

180 : 중첩부

191 : 촬상 제어부

192 : 기록 제어부

200 : 표시부

201 : 액정 패널

210 : 촬상 화상 기억부

220 : 조작 접수부

221 : 셔터 버튼

222 : 줌 버튼

300 : 사전 기억부

301 : 작업용 메모리

510 : 촬상 화상 기록 지시부

520 : 기록 제어부

Claims (19)

1. 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단과,

   피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수단과,

   상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검출 수단과,

   상기 검출된 대상물의 속성을 판정하는 속성 판정 수단과,

   상기 지정된 속성과 상기 판정된 속성에 기초하여 상기 검출된 대상물 중으로부터 적어도 1개의 대상물을 우선 대상물로서 결정하는 우선 대상물 결정 수단

   을 구비하는 것을 특징으로 하는 촬상 장치.
2. 제1항에 있어서,

   상기 우선 대상물에 기초하여 소정의 촬상 파라미터를 설정함으로써 촬상 제어를 행하는 촬상 제어 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
3. 제2항에 있어서,

   상기 촬상 제어 수단은, 상기 지정된 속성에 기초하여 상기 촬상 파라미터를 설정함으로써 상기 촬상 제어를 행하는 것을 특징으로 하는 촬상 장치.
4. 제2항에 있어서,

   상기 촬상 제어 수단은, 상기 우선 대상물에 기초하여 화이트 밸런스, 컬러 밸런스, 노출, 포커스 중 적어도 1개를 상기 촬상 파라미터로서 설정함으로써 상기 촬상 제어를 행하는 것을 특징으로 하는 촬상 장치.
5. 제1항에 있어서,

   상기 우선 대상물이 결정되었을 때에 상기 촬상 수단에 의해 변환된 촬상 화상을 소정의 기록 매체에 기록시키는 기록 제어 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
6. 제1항에 있어서,

   상기 조작 접수 수단은, 상기 대상물에 관한 속성을 복수 지정하는 조작 입력을 접수하고,

   상기 우선 대상물 결정 수단은, 상기 지정된 복수의 속성과 상기 판정된 속성에 기초하여 상기 우선 대상물을 결정하는 것을 특징으로 하는 촬상 장치.
7. 제1항에 있어서,

   상기 조작 접수 수단은, 상기 대상물에 관한 속성으로서 서로 다른 종류에 속하는 제1 및 제2 속성을 지정하는 조작 입력을 접수하고,

   상기 우선 대상물 결정 수단은, 상기 지정된 제1 및 제2 속성과 상기 판정된 속성에 기초하여 상기 우선 대상물을 결정하는 것을 특징으로 하는 촬상 장치.
8. 제1항에 있어서,

   상기 우선 대상물 결정 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 속성에 해당하는 대상물을 선택함으로써 상기 우선 대상물을 결정하는 것을 특징으로 하는 촬상 장치.
9. 제8항에 있어서,

   상기 대상물 검출 수단은, 상기 촬상 화상에서의 상기 검출된 대상물의 크기, 위치, 방향 중 적어도 1개를 검출하고,

   상기 우선 대상물 결정 수단은, 상기 선택된 대상물이 복수 존재하는 경우에는 상기 검출된 대상물의 크기, 위치, 방향 중 적어도 1개에 기초하여 상기 선택된 복수의 대상물 중으로부터 상기 우선 대상물을 결정하는 것을 특징으로 하는 촬상 장치.
10. 제1항에 있어서,

    상기 대상물 검출 수단은, 상기 촬상 화상에서의 상기 검출된 대상물의 크기 및 위치를 검출하고,

    상기 우선 대상물의 크기 및 위치에 기초하여 상기 촬상 화상에서의 상기 우선 대상물의 위치를 나타내는 우선 대상물 위치 마커를 생성하는 대상물 위치 마커 생성 수단과,

    상기 촬상 화상과 상기 생성된 우선 대상물 위치 마커를 중첩하는 중첩 수단과,

    상기 중첩된 화상을 표시하는 표시 수단을 더 구비하는 것을 특징으로 하는 촬상 장치.
11. 제10항에 있어서,

    상기 대상물 위치 마커 생성 수단은, 상기 검출된 대상물의 크기 및 위치에 기초하여 상기 검출된 대상물 중의 상기 우선 대상물 이외의 대상물의 상기 촬상 화상에서의 위치를 나타내는 마커로서 상기 우선 대상물 위치 마커와는 상이한 양태의 마커인 대상물 위치 마커를 생성하고,

    상기 중첩 수단은, 상기 촬상 화상과 상기 생성된 대상물 위치 마커를 중첩하는 것을 특징으로 하는 촬상 장치.
12. 제1항에 있어서,

    상기 대상물은, 인물의 얼굴인 것을 특징으로 하는 촬상 장치.
13. 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단과,

    피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수단과,

    상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검출 수단과,

    상기 검출된 대상물의 속성을 판정하는 속성 판정 수단과,

    상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 속성에 해당하는 대상물을 선택함과 함께 그 선택이 이루어졌을 때에 상기 촬상 수단에 의해 변환된 촬상 화상을 소정의 기록 매체에 기록시킨다는 취지의 지시를 행하는 촬상 화상 기록 지시 수단을 구비하는 것을 특징으로 하는 촬상 장치.
14. 제13항에 있어서,

    상기 조작 접수 수단은, 상기 대상물에 관한 속성을 복수 지정하는 조작 입력을 접수하고,

    상기 촬상 화상 기록 지시 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 복수의 속성에 해당하는 대상물을 선택하는 것을 특징으로 하는 촬상 장치.
15. 제13항에 있어서,

    상기 조작 접수 수단은, 상기 대상물에 관한 속성으로서 서로 다른 종류에 속하는 제1 및 제2 속성을 지정하는 조작 입력을 접수하고,

    상기 촬상 화상 기록 지시 수단은, 상기 검출된 대상물 중으로부터 상기 판정된 속성이 상기 지정된 제1 및 제2 속성에 해당하는 대상물을 선택하는 것을 특징으로 하는 촬상 장치.
16. 제15항에 있어서,

    상기 제1 속성은, 상기 대상물의 표면 상의 변화에 관한 속성이고,

    상기 제2 속성은, 상기 대상물의 종별에 관한 속성인 것을 특징으로 하는 촬상 장치.
17. 제15항에 있어서,

    상기 대상물은, 인물의 얼굴이고,

    상기 제1 속성은, 인물의 얼굴의 표정에 관한 속성이며,

    상기 제2 속성은, 인물의 종별에 관한 속성인 것을 특징으로 하는 촬상 장치.
18. 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단을 구비하는 촬상 장치의 제어 방법으로서,

    피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수순과,

    상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검출 수순과,

    상기 검출된 대상물의 속성을 판정하는 속성 판정 수순과,

    상기 지정된 속성과 상기 판정된 속성에 기초하여 상기 검출된 대상물 중으로부터 적어도 1개의 대상물을 우선 대상물로서 결정하는 우선 대상물 결정 수순

    을 구비하는 것을 특징으로 하는 촬상 장치의 제어 방법.
19. 소정의 대상물에 관한 속성을 지정하는 조작 입력을 접수하는 조작 접수 수단을 구비하는 촬상 장치에 있어서,

    피사체로부터의 입사광을 촬상 화상으로 변환하는 촬상 수순과,

    상기 촬상 화상에 포함되는 상기 대상물을 검출하는 대상물 검출 수순과,

    상기 검출된 대상물의 속성을 판정하는 속성 판정 수순과,

    상기 지정된 속성과 상기 판정된 속성에 기초하여 상기 검출된 대상물 중으로부터 적어도 1개의 대상물을 우선 대상물로서 결정하는 우선 대상물 결정 수순

    을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.

Images