KR100839772B1 - 대상 결정 장치 및 촬상 장치 - Google Patents

대상 결정 장치 및 촬상 장치 Download PDF

Info

Publication number
KR100839772B1
KR100839772B1 KR1020057024724A KR20057024724A KR100839772B1 KR 100839772 B1 KR100839772 B1 KR 100839772B1 KR 1020057024724 A KR1020057024724 A KR 1020057024724A KR 20057024724 A KR20057024724 A KR 20057024724A KR 100839772 B1 KR100839772 B1 KR 100839772B1
Authority
KR
South Korea
Prior art keywords
face
determining
faces
image
detected
Prior art date
Application number
KR1020057024724A
Other languages
English (en)
Other versions
KR20060031638A (ko
Inventor
요시히사 이지리
타쿠야 츠유구치
후미카즈 이마에
마사시 야마모토
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003318701A external-priority patent/JP4461747B2/ja
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20060031638A publication Critical patent/KR20060031638A/ko
Application granted granted Critical
Publication of KR100839772B1 publication Critical patent/KR100839772B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G03B3/12—Power-operated focusing adapted for remote control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits

Abstract

미리 정해진 임의(소정)의 초점 정보에 의거하여 촬상된 화상만에 대해 얼굴 검출을 실행한다. 이 얼굴 검출에서, 사람 얼굴의 요철이나 기관에 의해 생기는, 복수의 특징 영역에서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출한다. 이 때문에, 예를 들어 얼굴 검출에 이용되고 있는 화상에 있어서 얼굴이 흐리게 찍혀 있다고 하여도, 어느 영역에 있어서의 통계량을 취득하는 것은 가능하기 때문에, 이와 같은 얼굴을 검축하는 것이 가능하게 된다. 따라서, 촬상장치에 있어서 예비 촬상의 단계에서 초점 제어를 행하는 일 없이, 초점 맞춤의 대상이 되는 주요 피사체를 고속으로 검출하는 것이 가능하게 된다.
Figure R1020057024724
대상 결정 장치, 촬상 장치

Description

대상 결정 장치 및 촬상 장치{OBJECT DECISION DEVICE AND IMAGING DEVICE}
본 발명은, 정지화상이나 동화상 등을 촬상하는 장치(디지털 카메라나 디지털 비디오 카메라 등)에의 적용이 유효한 기술에 관한 것이다.
촬상 장치에는, 특정한 피사체에 대해 초점을 맞추는 오토 포커스나, 특정한 피사체에 따라 노출 제어를 실행하는 자동 노출 제어 등의 기술이 탑재된다. 종래에는, 프레임 내에서 미리 규정된 특정한 위치(예를 들면 프레임 내의 중앙점)에 존재하는 피사체에 대해 오토 포커스나 자동 노출 제어가 실시되고 있다. 그러나, 유저의 구성의 기호에 따라서는, 유저가 주목하고 싶은 피사체, 즉 오토 포커스나 자동 노출 제어의 대상으로 하고 싶은 피사체가 프레임의 중앙에 위치한다고는 한할 수 없다. 이 경우, 유저는, 주목하고 싶은 피사체를 프레임 내의 특정한 위치에 오도록 촬상 장치를 조작하고, 그리고 오토 포커스나 자동 노출 제어를 행한 후에, 기호에 따른 프레이밍을 실시하여야 하고, 이와 같은 처리를 행하는 것은 번거로운 작업이었다.
이와 같은 문제를 해결하는 기술로서, 초점 맞춤의 대상이나 노출 제어의 대상을 특정하기 위해, 미리 촬상을 실시하는(이하, 이와 같은 촬상을 「예비 촬상」이라고 부른다) 기술이 있다. 예비 촬상을 행하는 기술에서는, 예비 촬상에서 촬상 된 화상을 이용하여, 초점 맞춤이나 노출 제어의 대상이 특정된다.
예비 촬상을 행하는 기술의 구체적인 예로서, 피사계(被寫界)(화상 내)의 인물의 위치/범위에 관계없이 화상 내의 인불의 얼굴에 초점을 맞추는 기술이 있다(특허 문헌 1 참조). 마찬가지로, 화상 내의 인물의 위치/범위에 관계없이 화상 내의 인물을 적정 노광으로 하는 기술이 있다(특허 문헌 2 참조).
상기한 종래 기술에서는, 화면 내에서 복수의 얼굴이 검출된 경우에는, 중앙부에 가까운 얼굴의 적어도 일부를 거리측정 에어리어로 하고 자동 초점 맞춤 제어가 행하여지고 있다. 또한, 마찬가지로 화면 내에서 복수의 얼굴이 검출된 경우의 기술로서, 자동적으로 화면 내의 전원이 피사계 심도에 들어가도록 한 기술도 있다(특허 문헌 3 참조).
특허 문헌 1 : 특개2003-107335호 공보
특허 문헌 2 : 특개2003-107555호 공보
특허 문헌 3 : 특개2003-092699호 공보
그러나, 종래의 기술(예를 들면 특허 문헌 1 내지 3에 기재된 기술)에는 이하와 같은 문제가 있다. 즉, 예비 촬상에 의한 화상에 있어서 주요 피사체에 대해 원래 초점이 크게 빗나가 있는 경우, 주요 피사체인 얼굴을 검출할 수 없을 가능성이 있다는 문제가 있다.
이와 같은 문제를 해결하는 방법으로서, 예비 촬상의 단계에서 초점 제어를 행함에 의해, 주요 피사체를 검출 가능한 화상을 촬상하는 방법이 있다. 구체적으로는, 예를 들면 예비 촬상에 의한 복수의 화상으로부터 주요 피사체를 검출하는 방법이 있다. 이 방법에서는, 예비 촬상할 때에 복수의 초점에 맞춘 화상이 촬상된다. 그리고, 이 복수의 화상으로부터 주요 피사체의 얼굴 검출이 실시된다. 이 때문에, 어떤 화상에서는 주요 피사체의 얼굴이 흐려져 있기 때문에 검출을 할 수 없는 경우라 하여도, 다른 화상에서 주요 피사체의 얼굴을 검출하는 것이 가능하게 된다.
그러나, 이와 같은 방법에서는, 복수의 화상에 관해 얼굴 검출을 실행할 필요가 있다. 또한, 촬상 장치에서 복수의 초점에 맞춘 화상을 촬상하기 위해서는, 초점의 조절을 행할 필요가 있다. 이 때문에, 종래의 방법에 비하여, 초점 맞춤 처리에 시간을 필요로 하여 버린다는 문제가 있다.
본 발명에서는, 이와 같은 문제를 해결하고, 촬상 장치에서 예비 촬상의 단계에서 초점 제어를 행하는 일 없이, 초점 맞춤이나 노출 제어의 대상이 되는 주요 피사체를 고속으로 검출하는 것을 제 1의 목적으로 한다.
그런데, 상기한 바와 같은 예비 촬상을 행함에 의해 초점 맞춤이나 노출 제어의 대상을 결정한 경우에는, 이하와 같은 문제점도 있다. 예비 촬상에 있어서의 화상 내에서 검출된 사람 얼굴의 수는 하나라고는 한할 수 없다. 검출된 사람 얼굴의 수가 하나인 경우에는, 무조건으로 이 얼굴에 대해 초점 맞춤이나 노출 제어를 행하면 좋았다. 그러나, 예비 촬상에서 화상 내에서 복수 인물의 얼굴이 검출된 경우에 어느 얼굴에 대해 초점 맞춤이나 노출 제어를 행하여야 하는지가, 지금까지 충분히 고려되지 않았다. 예를 들면 프레임 중앙에 찍혀 있는 사람의 얼굴이, 유저가 피사체로서 바라고 있는 얼굴이라는 방침을 기초로, 프레임 중앙에 가장 가까운 사람의 얼굴에 대해 초점 맞춤이나 노출 제어를 행하는 기술은 있다. 그러나, 이와 같은 기술은, 유저가 피사체로서 가장 바라고 있는 얼굴은 프레임 내에 하나라는 전제에 기초하고 있고, 프레임 내에 동등하게 피사체로서 바람직한 얼굴이 복수 존재하는 경우에는 정확하게 대처할 수 없었다.
본 발명에서는, 이와 같은 문제를 해결하고, 예비 촬상에서 복수 인물의 얼굴이 검출된 경우에, 어느 얼굴에 대해 초점 맞춤이나 노출 제어를 행하여야 하는지를 판단하는 장치를 제공하는 것을 제 2의 목적으로 한다.
과제를 해결하기 위한 수단
[제 1의 양태]
이하의 설명에서, 피부의 색이란 모든 사람의 피부의 색을 의미하고, 특정한 인종의 피부의 색으로 한정되지 않는다.
상기 제 1의 목적을 달성하기 위해, 본 발명은 이하와 같은 구성을 취한다. 본 발명의 제 1의 양태는, 대상(對象) 결정 장치로서, 얼굴 검출 수단과 결정 수단을 포함한다.
얼굴 검출 수단은, 임의의 초점 정보에 의거하여 촬상된 화상을 처리 대상의 화상으로 하고, 상기 처리 대상의 화상으로부터 사람의 얼굴을 검출한다. 임의의 초점 정보란 소정의 초점 정보라도 좋다. 여기서, 소정의 초점 정보란, 미리 하나로 정해진 초점 정보이고, 동적으로 변화하는 초점 정보가 아니다. 이 때문에, 소정의 초점 정보에 의거하여 화상을 촬상하는 장치, 즉 얼굴 검출 수단에 입력되는 화상을 촬상하는 촬상 장치에서는, 이 소정의 초점 정보에 의거한 초점 제어가 미리 실시되어 있는 것이 바람직하다. 예를 들면, 이와 같은 초점 정보에 의거하여 포커스 렌즈 등의 제어가 미리 실시되어 있는 것이 바람직하다.
이와 같이 촬상 장치가 미리 제어되어 있음에 의해, 얼굴 검출 수단에 입력되는 화상의 촬상때에 초점 제어를 다시 실시할 필요가 없다. 따라서 얼굴 검출 수단에 입력되는 화상의 촬상에 필요로 하는 시간이 단축된다.
그러나, 이와 같이 소정의 초점 정보에 의거하여 촬상된 화상에서는, 화상중의 피사체에 초점이 맞지 않을 가능성이 있다. 이 때문에, 얼굴 검출 수단에 입력되는 화상에서, 본래는 검출되어야 할 얼굴의 화상이 흐려서 선명하지 않게 촬상될 가능성이 있다.
그래서 본 발명의 제 1의 양태가 포함하는 얼굴 검출 수단은, 선명하지 않게 촬상된 얼굴의 화상도 검출하도록 구성된다. 구체적으로는, 얼굴 검출 수단은, 사람 얼굴의 요철이나 기관(器官)에 의해 생기는, 복수의 특징 영역에서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출한다. 즉, 본 발명의 제 1의 양태가 포함하는 얼굴 검출 수단은, 화상중의 에지 등에 의해 구성되는 형상에 의거하는 것이 아니라, 특징 영역에서의 통계량의 상대적인 값에 의거하여 얼굴의 검출을 행한다. 특징 영역에서의 통계량이란, 특징 영역 내의 화소치의 합계, 평균, 분산 등의 값이다. 상대적인 값이란, 예를 들면 비(比)나 차분(差分)이나 통계 거리나 상호 엔트로피 등의 값이다. 또한, 특징 영역에서의 농담치의 상대적인 값에 의거하여 얼굴의 검출이 실행되어도 좋다.
선명하지 않게 촬상된 화상에서, 에지 등에 의해 구성되는 형상을 인식하는 것은 곤란하다. 그러나, 어느 특징 영역에서의 통계량은, 예를 들면 선명하지 않게 촬상된 화상이라도 취득하는 것이 가능하다. 이 때문에, 본 발명의 제 1의 양태가 포함하는 얼굴 검출 수단은, 소정의 초점 정보에 의거하여 촬상된 화상(처리 대상의 화상)으로부터 사람의 얼굴을 검출하는 것이 가능하게 된다.
결정 수단은, 얼굴 검출 수단에 의해 검출된 얼굴에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 촬상이 실시될 때에 초점을 맞추는 피사체 및 노출 제어를 행하는 대상이 되는 피사체란, 얼굴 검출 수단에 의해 검출된 얼굴 그 자체라도 좋고, 검출된 얼굴을 구성하는 각 부위(목, 코, 입, 귀, 이마 등)라도 좋다.
이와 같이 구성된 본 발명의 제 1의 양태에 있어서의 대상 결정 장치에서는, 임의의 초점 정보(소정의 초점 정보)에 의거하여 촬상된 화상으로부터 사람의 얼굴이 검출되고, 검출된 얼굴에 의거하여 초점 맞춤의 대상이 되는 피사체나 노출 제어를 행하는 대상이 되는 피사체가 결정된다. 상기한 바와 같이, 소정의 초점 정보에 의거하여 촬상되는 화상은, 미리 촬상 장치를 소정의 초점 정보에 따라 초점 제어하여 둠에 의해, 고속으로 촬상되는 것이 가능하다. 그리고, 이 화상으로부터 사람의 얼굴이 검출되고, 초점 맞춤의 대상이 되는 피사체나 노출 제어를 행하는 대상이 되는 피사체가 결정된다.
이 때문에, 본 발명의 제 1의 양태에서의 대상 결정 장치에 의하면, 촬상 장치에서 예비 촬상의 단계에서 초점 제어를 행하는 일 없이, 초점 맞춤이나 노출 제어를 행하는 대상이 되는 주요 피사체(얼굴이나 얼굴의 부위 등)를 고속으로 검출하고 결정하는 것이 가능하게 된다.
또한, 본 발명의 제 1의 양태에서의 대상 결정 장치에 의하면, 촬상 장치에서 예비 촬상에 의한 화상을 복수매 취득하도록 구성된 경우라도, 보다 적은 예비 촬상 화상으로부터 얼굴을 검출하는 것이 가능하게 된다. 따라서, 예비 촬상에 필요로 하는 시간이나 얼굴 검출에 필요로 하는 시간을 삭감하는 것이 가능하게 된다.
본 발명의 제 1의 양태에 있어서의 얼굴 검출 수단은, 이하와 같이 사람의 얼굴을 검출하도록 구성되어도 좋다. 즉, 먼저 촬상된 화상에서 주목 영역이 결정된다. 주목 영역이란, 촬상된 화상과 같은 크기의 영역 또는 보다 작은 영역이다.
다음에, 얼굴 검출 수단은, 이 주목 영역 내의 특징 영역인 제 1의 영역과 제 2의 영역의 통계량의 상대적인 값을 구한다. 제 1의 영역과 제 2의 영역이란, 각각 주목 영역 내의 다른 영역이다.
다음에, 얼굴 검출 수단은, 구하여진 통계량의 상대적인 값에 의거하여, 주목 영역에 사람의 얼굴이 포함되는지의 여부를 판단한다. 얼굴 검출 수단은, 예를 들면 어느 임계치와 통계량의 상대적인 값을 비교함에 의해, 이 판단을 행하도록 구성되어도 좋다. 또한, 얼굴 검출 수단은 통계량의 상대적인 값과, 어느 통계량의 상대적인 값이 산출된 경우에 주목 영역에 사람의 얼굴이 포함되는지의 여부를 나타내는 값을 대응시켜서 기억하는 테이블을 참조함에 의해, 이 판단을 행하도록 구성되어도 좋다. 그리고, 얼굴 검출 수단은 이 판단에 따라 사람의 얼굴을 검출한다.
본 발명의 제 1의 양태에 있어서의 결정 수단은, 얼굴 검출 수단이 복수의 얼굴을 검출한 경우에, 이하와 같이 초점을 맞추는 피사체나 노출 제어를 행하는 대상이 되는 피사체를 결정하도록 구성되어도 좋다. 즉, 결정 수단은, 우선 얼굴 검출 수단에 의해 검출된 복수의 얼굴 각각의 화상 정보를 기초로 하나의 얼굴을 결정한다. 얼굴의 화상 정보란, 얼굴의 화상으로부터 얻어지는 정보를 나타내고, 예를 들면 얼굴 방향, 얼굴 화상의 크기, 화상 내에서의 얼굴의 위치, 주변 얼굴의 밀도 등이다.
주변 얼굴의 밀도란, 예를 들면 검출된 얼굴의 일정한 주위(일정한 주변 영역)에 존재하는 얼굴의 수에 의해 나타난다. 이 값이 크면, 주위에 많은 얼굴이 존재하는 것으로 되고, 예를 들면 검출된 얼굴의 사람이 집단에 포함되어 있는 것을 나타낸다. 한편, 이 값이 작으면, 주위에 존재하는 얼굴이 적고, 예를 들면 검출된 얼굴의 사람이 집단과는 떨어진 장소에, 단독 또는 몇 사람인 것을 나타낸다.
그리고, 결정 수단은, 결정된 얼굴에 의거하여 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다.
이와 같이 구성된 본 발명의 제 1의 양태에서는, 복수 얼굴의 화상 정보에 의거하여, 어느 얼굴에 의거하여 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정하는지가 판단된다. 이 때문에, 얼굴 검출 수단에 의해 복수의 얼굴이 검출된 경우라도, 유저가 선택을 실시하는 일 없이, 결정 수단에 의해 복수의 얼굴로부터 하나의 얼굴이 선택된다.
본 발명의 제 1의 양태에 있어서의 결정 수단은, 복수의 얼굴 각각의 화상의 크기를 비교하고, 그 크기가 가장 큰 얼굴에 의거하여 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정하도록 구성되어도 좋다.
복수의 얼굴중 가장 큰 화상의 얼굴은, 일반적으로 촬상 장치에 대해 가장 가까운 위치에 있다. 이 때문에, 이와 같이 구성된 본 발명의 제 1의 양태에 의하면, 유저가 얼굴의 선택을 실시하는 일 없이, 촬상 장치에 대해 가장 가까운 위치에 있는 얼굴이 결정되고, 이 얼굴에 의거하여 초점을 맞추는 피사체나 노출 제어를 행하는 대상이 되는 피사체가 결정된다.
촬상 장치에 있어서 앞에 위치하는 물체일수록 화상이 흐려지기 때문에, 일반적으로는 촬상 장치에 있어서 앞에 위치하는 물체에 초점을 맞출 필요가 있다. 또한, 촬상 장치에 있어서 앞쪽에 위치하는 얼굴은, 뒤에 위치하는 얼굴보다도, 촬상을 행하는 유저에 있어서 주요한 피사체를 포함하는 또는 주요한 피사체 그 자체일 가능성(이하, 「얼굴의 중요성」라고 표현한다)이 높다. 이와 같은 점에서, 촬상 장치에 대해 가장 가까운 위치에 있는 얼굴에 의거하여 초점을 맞추는 피사체나 노출 제어를 행하는 대상이 되는 피사체를 결정하는 것은 유효하다.
본 발명의 제 1의 양태에 있어서의 결정 수단은, 각 얼굴에 관해 얼굴 방향, 얼굴의 크기, 화상 내에서의 위치, 또는 주변 얼굴의 밀도중 어느 하나 또는 복수에 의거하여 득점(得點)을 산출하도록 구성되어도 좋다. 이때, 결정 수단은, 이 산출된 득점을 화상 정보로서 이용한다.
이와 같이 구성된 본 발명의 제 1의 양태에 있어서의 대상 결정 장치에서는 얼굴 방향, 얼굴의 크기, 화상 내에서의 위치, 또는 주변 얼굴의 밀도 등에 의해, 각 얼굴이 평가된다. 예를 들면 얼굴 방향이 정면을 향하고 있는 얼굴은, 옆을 향하고 있는 얼굴보다도 얼굴의 중요성이 높다고 평가된다. 또한, 예를 들면, 얼굴의 크기가 큰 얼굴은, 작은 얼굴보다도 얼굴의 중요성이 높다고 평가된다. 또한, 예를 들면 화상 내에서의 위치가 중앙에 가까운 얼굴은, 중앙으로부터 떨어진 영역에 위치하는 얼굴보다도 얼굴의 중요성이 높다고 평가된다. 또한, 주변 얼굴의 밀도가 높은 얼굴은, 얼굴의 밀도가 낮은 얼굴보다도 얼굴의 중요성이 높다고 평가된다. 다만, 이 평가의 고저는 설계자나 유저에 의해 어떻게 설정되어도 좋다.
이와 같이 구성된 본 발명의 제 1의 양태에 의하면, 이와 같은 평가의 고저의 설정에 따라 득점이 높은, 즉 중요성이 높은 얼굴이 선택된다.
본 발명의 제 1의 양태에 있어서의 결정 수단은, 얼굴 검출 수단이 복수의 사람의 얼굴을 검출한 경우에, 이하와 같이 초점을 맞추는 피사체 및/또는 노출 제어의 대상이 되는 피사체를 결정하도록 구성되어도 좋다. 즉, 결정 수단은, 얼굴 검출 수단에 의해 검출된 복수 얼굴의 실물(實物) 각각에 대해 거리측정(測距)된 결과에 따라, 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 이 거리측정은, 예를 들면 촬상 장치에 구비된 거리측정 수단이나 거리측정 장치에 의해 실시되어도 좋고, 대상 결정 장치에 구비되는 거리측정 수단에 의해 실시되어도 좋다. 다만, 이 거리측정은, 촬상 장치와 얼굴의 실물과의 거리를 잴 필요가 있기 때문에, 촬상 장치와 대상 결정 장치가 떨어져 있는 경우에는, 대상 결정 장치에 구비된 거리측정 수단에 의한 실시는 행하지 않는다.
거리측정은, 예를 들면 얼굴의 실물에 대해 적외선을 사출함에 의해 실시된다(액티브 방식). 또한, 거리측정은, 이와 같은 액티브 방식 이외의 방식(예를 들면 패시브 방식)이 적용되어도 좋다. 그리고, 결정 수단은, 그 거리가 가장 작은 얼굴에 의거하여 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 이와 같이, 촬상 장치와 얼굴의 실물과의 거리가 가장 작은 얼굴에 의거하여 초점을 맞추는 피사체나 노출 제어를 행하는 대상이 되는 피사체를 결정함에 의한 효과는, 상술한 바와 같다.
[제 2의 양태]
본 발명에 의한 제 2의 양태는, 촬상 장치로서 촬상 수단, 얼굴 검출 수단, 결정 수단, 정보 취득 수단 및 화상 기억 수단을 포함한다.
촬상 수단은, 소정의 초점 정보 또는 정보 취득 수단에 의해 취득되는 초점 정보 및/또는 노출 제어 정보에 의거한 화상을 촬상한다. 소정의 초점 정보란, 미리 하나로 정해진 초점 정보이고, 동적으로 변화하는 초점 정보가 아니다. 한편, 정보 취득 수단에 의해 취득되는 초점 정보란, 미리 정해진 초점 정보가 아니라, 동적으로 변화하는 초점 정보이다. 보다 구체적으로는 얼굴 검출 수단, 결정 수단, 및 정보 취득 수단에 의해 결정되는 초점 정보이다. 즉, 검출된 얼굴에 의거하여 초점을 맞추는 피사체가 결정되고, 이 결정된 피사체에 대해 초점을 맞추기 위한 초점 정보이다.
촬상 수단은, 정보 취득 수단에 의해 출력되는 초점 정보가 없는 경우에는, 소정의 초점 정보에 의거한 화상을 취득할 수 있는 상태로 제어된다. 그리고, 촬상의 지시가 있는 경우에, 소정의 초점 정보에 의거한 화상을 취득한다. 한편, 촬상 수단은, 정보 취득 수단에 의해 초점 정보 또는 노출 제어 정보가 출력되어 있는 경우, 이들의 정보에 의거한 화상을 취득할 수 있는 상태로 제어된다. 그리고, 촬상의 지시가 있는 경우에, 촬상 수단은 이 초점 정보 또는 노출 제어 정보에 의거한 화상을 취득한다.
얼굴 검출 수단은, 소정의 초점 정보에 의거하여 처리 대상의 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는 복수의 특징 영역에서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출한다. 결정 수단은 얼굴 검출 수단에 의해 검출된 얼굴에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 본 발명의 제 2의 양태에 있어서의 얼굴 검출 수단 및 결정 수단은, 기본적으로 본 발명의 제 1의 양태에 있어서의 얼굴 검출 수단 및 결정 수단과 같은 구성이나 작용을 갖는다.
정보 취득 수단은, 결정 수단에 의해 결정된 피사체에 초점을 맞추기 위한 초점 정보 및/또는 결정 수단에 의해 결정된 피사체를 대상으로 하여 노출 제어를 행하기 위한 노출 제어 정보를 취득한다.
화상 기억 수단은, 정보 취득 수단에 의해 취득된 초점 정보 및/또는 노출 제어 정보에 의거하여 촬상 수단에 의해 촬상된 화상을 기억한다. 즉, 정보 취득 수단에 의해 초점 정보나 노출 제어 정보가 취득되면, 이 초점 정보나 노출 제어 정보에 의거하여 촬상 수단이 초점 제어나 노출 제어를 실시한다. 이 초점 제어에 의해, 결정 수단에 의해 결정된 피사체에 대해 초점이 맞추어진다. 또한, 이 노출 제어에 의해 결정 수단에 의해 결정된 피사체에 따른 노출 제어가 실시된다. 그리고, 촬상 수단은 촬상을 실행하고, 촬상된 화상의 데이터를 화상 기억 수단이 기억한다.
또한, 본 발명의 제 2의 양태는, 촬상 장치로부터 임의의 피사체까지의 거리를 거리측정하는 거리측정 수단을 또한 구비하도록 구성되어도 좋다. 다만, 정보 취득 수단이, 피사체의 실물과 촬상 장치와의 거리를 거리측정함에 의해 초점 정보를 취득하도록 구성되는 경우, 정보 취득 수단으로서 거리측정 수단의 대체 수단으로 하여도 좋다. 즉, 이 경우는, 정보 취득 수단이 거리측정 수단으로서 동작한다.
이와 같이 본 발명의 제 2의 양태가 구성된 경우, 결정 수단은 얼굴 검출 수단이 복수의 사람의 얼굴을 검출한 경우에, 복수 얼굴의 실물 각각에 대해 거리측정 수단이 거리측정한 결과에 따라, 그 거리가 가장 작은 얼굴에 의거하여 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정하도록 구성된다.
본 발명의 제 2의 양태에서는, 본 발명의 제 1의 양태인 대상 결정 장치가 촬상 장치에 구비된다. 이 때문에, 촬상 장치로서 본 발명의 제 1의 양태와 같은 효과를 얻는 것이 가능하게 된다.
[제 3의 양태]
본 발명의 제 3의 양태는, 대상 결정 방법으로서 이하의 각 스텝을 포함하는 방법이다. 우선, 정보 처리 장치가 임의의 초점 정보에 의거하여 촬상된 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는 복수의 특징 영역에 있어서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출한다. 그리고, 정보 처리 장치가, 검출된 얼굴에 의거하여 촬상이 실시될 때에 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 이와 같이 구성된 본 발명의 제 3의 양태는 본 발명의 제 1의 양태와 같은 효과를 이룬다.
[제 4의 양태]
본 발명의 제 4의 양태는, 촬상 방법으로서, 이하의 각 스텝을 포함하는 방법이다. 이하, 이 각 스텝을 열거한다. 정보 처리 장치가, 촬상 장치에 대해 소정의 초점 정보 또는 정보 취득 수단에 의해 취득되는 초점 정보에 의거한 화상을 촬상하는 것을 지시하는 스텝. 정보 처리 장치가 소정의 초점 정보에 의거하여 촬상 장치에 의해 촬상된 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는 복수의 특징 영역에 있어서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출하는 검출 스텝. 정보 처리 장치가, 검출된 얼굴에 의거하여 촬상이 실시될 때에 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정하는 결정 스텝. 정보 처리 장치가, 결정된 피사체에 초점을 맞추기 위한 초점 정보 및/또는 결정된 피사체를 대상으로 하여 노출 제어를 행하기 위한 노출 제어 정보를 취득하는 스텝. 정보 처리 장치가, 기억 장치에 대해 취득된 초점 정보 및/또는 노출 제어 정보에 의거하여 촬상 장치에 의해 촬상된 화상을 기억하는 것을 지시하는 스텝.
또한, 본 발명의 제 4의 양태는, 정보 처리 장치가 거리측정 장치에 대해 촬상 장치로부터 임의의 피사체까지의 거리를 거리측정하는 것을 지시하는 스텝을 또한 포함하도록 구성되어도 좋다. 이 경우, 정보 처리 장치는 결정 스텝에서, 검출 스텝에서 복수의 사람의 얼굴이 검출된 경우에, 복수 얼굴의 실물 각각에 대해 거리측정 장치가 거리측정한 결과에 따라, 그 거리가 가장 작은 얼굴에 의거하여 상기 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다.
이와 같이 구성된 본 발명의 제 4의 양태에서는, 본 발명의 제 3의 양태에서의 대상 결정 방법이, 촬상 방법에 포함되는 스텝으로서 실행된다. 이 때문에, 본 발명의 제 4의 양태에서는, 본 발명의 제 3의 양태와 같은 효과를 얻는 것이 가능하게 된다.
[제 5의 양태]
본 발명의 제 5의 양태는, 대상 결정 장치로서, 검출 수단과 결정 수단을 포함한다. 검출 수단은 임의의 초점 정보에 의거하여 촬상된 화상으로부터 사람의 피부의 색을 갖는 피사체를 검출한다. 사람의 피부의 색을 갖는 피사체의 예로서, 사람의 얼굴이나 손이나 몸 등이 있다. 이와 같이 검출 수단이 구성됨에 의해 인물의 얼굴을 정확하게 검출할 수는 없지만, 검출 처리에 필요로 하는 시간을 삭감하는 것이 가능하게 된다. 또한, 검출 수단의 실장에 필요로 하는 시간이나 비용을 삭감하는 것도 가능하게 된다.
결정 수단은, 검출 수단에 의해 검출된 피사체에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 및/또는 노출 제어를 행하는 대상이 되는 피사체를 결정한다.
제 5의 양태에서는, 검출 수단은, 사람의 피부의 색을 갖는 피사체를 검출한다. 즉, 본 발명의 제 5의 양태가 포함하는 검출 수단은, 본 발명의 제 1의 양태와 마찬가지로, 화상중의 에지 등에 의해 구성되는 형상에 의거한 검출을 행하지 않는다.
선명하지 않게 촬상된 화상에서, 에지 등에 의해 구성되는 형상을 인식하는 것은 곤란하다. 그러나, 어느 특정한 색을 갖는 피사체는, 예를 들면 선명하지 않게 촬상된 화상에서도 검출하는 것이 가능하다. 이 때문에, 본 발명의 제 5의 양태가 포함하는 검출 수단은, 소정의 초점 정보에 의거하여 촬상된 화상으로부터, 사람의 얼굴일 가능성이 있는 피사체, 즉 사람의 피부의 색을 갖는 피사체를 검출하는 것이 가능하게 된다.
[제 1의 양태의 변형]
본 발명의 제 1의 양태는, 임의의 초점 정보에 의거하여 촬상된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단을 또한 포함하도록 구성되어도 좋다. 이와 같이 구성된 경우, 제 1의 양태에 있어서의 얼굴 검출 수단은, 프레임 취득 수단에 의해 취득된 소정의 프레임의 화상을 처리 대상으로 한다.
이와 같이 구성된 본 발명의 제 1의 양태에서는, 복수 프레임을 포함하는 시계열 화상에 관해, 본 발명의 제 1의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 1의 양태에 있어서의 결정 수단은, 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 해당 복수의 사람 얼굴의 위치에 의거하여, 해당 복수의 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하도록 구성되어도 좋다. 이와 같이 구성됨에 의해, 후술하는 본 발명의 제 6의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 1의 양태에 있어서의 결정 수단은, 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 얼굴의 수를 기준으로 하여 그 한가운데에 위치하는 사람의 얼굴을, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴로서 결정하도록 구성되어도 좋다. 이와 같이 구성됨에 의해 후술하는 본 발명의 제 7의 양태와 같은 작용·효과를 얻을 수 있다.
또한 본 발명의 제 1의 양태에 있어서의 결정 수단은, 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 복수의 집합으로 분류하는 분류 수단과, 복수의 집합 각각에 대해, 해당 집합에 포함되는 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하는 잠정 결정 수단과, 잠정 결정 수단에 의해 결정된 얼굴중에서, 대상이 되는 얼굴을 최종적으로 결정하는 최종 결정 수단을 포함하도록 구성되어도 좋다. 이와 같이 구성됨에 의해 후술하는 본 발명의 제 8의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 1의 양태는, 얼굴 검출 수단에 의한 검출 결과에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하기 위한 선택 블록을 결정하는 블록 결정 수단을 또한 포함하도록 구성되어도 좋다. 이와 같이 구성된 경우, 결정 수단은, 선택 블록에 포함되는 얼굴로부터, 대상이 되는 얼굴을 결정하도록 구성된다. 이와 같이 구성됨에 의해 후술하는 본 발명의 제 9의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 1의 양태는, 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 사람의 얼굴중 최대의 얼굴을 판단하는 판단 수단과, 검출된 얼굴로부터 최대의 얼굴 및 이 최대 얼굴의 크기를 기준으로 한 소정의 범위 내의 크기를 갖는 얼굴을 선택하는 선택 수단을 또한 포함하도록 구성되어도 좋다. 이와 같이 구성된 경우, 결정 수단은, 선택된 얼굴중에서 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하도록 구성된다. 이와 같이 구성됨에 의해 후술하는 본 발명의 제 10의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 1의 양태는, 상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류하는 분류 수단과, 복수의 집합중에서 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하기 위한 선택 집합을 결정하는 집합 결정 수단을 또한 포함하도록 구성되어도 좋다. 이와 같이 구성된 경우, 결정 수단은 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴로부터 대상이 되는 얼굴을 결정하도록 구성된다.
[제 2의 양태의 변형]
본 발명의 제 2의 양태는, 촬상 수단이 복수 프레임을 포함하는 시계열 화상을 촬상하도록 구성되어도 좋다. 본 발명의 제 2의 양태는, 이와 같이 구성된 경우, 촬상 수단에 의해 촬상된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 취득하는 프레임 취득 수단을 또한 포함하도록 구성된다. 또한, 얼굴 검출 수단은 프레임 취득 수단에 의해 취득된 화상으로부터 사람의 얼굴을 검출하도록 구성된다. 또한, 화상 기억 수단은 촬상 수단에 의해 촬상된 시계열 화상을 기억하도록 구성된다.
이와 같이 구성된 본 발명의 제 2의 양태에서는, 복수 프레임을 포함하는 시계열 화상에 관해 본 발명의 제 2의 양태와 같은 작용·효과를 얻을 수 있다.
또한, 본 발명의 제 2의 양태는, 결정 수단에 의해 결정된 사람의 얼굴을 다른 얼굴과 구별하여 표시하는 표시 수단을 또한 포함하도록 구성되어도 좋다. 표시 수단은, 예를 들면 결정된 사람 얼굴의 주위에 테두리를 표시함에 의해, 다른 얼굴과 구별하여 표시한다. 또한, 표시 수단은, 예를 들면 결정된 사람 얼굴의 주위에, 다른 얼굴의 주위에 표시된 테두리와 다른 색이나 두께나 형태의 테두리를 표시함에 의해 다른 얼굴과 구별하여 표시한다. 또한, 표시 수단은, 예를 들면 결정된 사람의 얼굴에 대해 다른 얼굴과 다른 화상 처리를 시행하여 표시함에 의해 다른 얼굴과 구별하여 표시한다. 표시 수단이 이와 같은 표시를 행함에 의해 유저는 어느 얼굴에 의거하여 초점 맞춤의 대상이 되는 피사체 등이 결정되어 있는 지를 용이하게 판단하는 것이 가능하게 된다.
[제 6의 양태]
상기 제 2의 목적을 달성하기 위해, 본 발명은 이하와 같은 구성을 취한다. 본 발명의 제 6의 양태는 대상 결정 장치로서 검출 수단과 결정 수단을 포함한다. 본 발명의 제 6의 양태는, 검출되는 얼굴의 위치에 따라 초점 맞춤이나 노출 제어를 행하여야 할 대상이 되는 얼굴을 결정한다. 또한, 본 발명의 제 6의 양태에 의해 결정된 얼굴은, 초점 맞춤이나 노출 제어에 한하지 않고 어떤 처리의 대상으로 되어도 좋다. 예를 들면, 색 보정(화이트 밸런스의 보정)이나 윤곽 강조 등의 처리를 행하는 대상으로 되어도 좋다.
구체적으로는, 검출 수단은 입력된 화상으로부터 사람의 얼굴을 검출한다. 검출 수단은 화상중으로부터 복수의 사람의 얼굴을 검출하는 것이 가능한 기술이라면, 기존의 어떤 얼굴 검출 기술이 적용되어도 좋다. 예를 들면, 피부의 색을 갖는 영역이 얼굴의 영역으로서 검출되어도 좋다. 다른 예로서, 얼굴이나 얼굴 부위의 템플릿을 이용한 검출 기술이나, 농담차에 의거하여 얼굴의 영역을 검출하는 기술 등이 있다.
결정 수단은, 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 해당 복수의 사람 얼굴의 위치에 의거하여, 해당 복수의 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정한다. 결정 수단은 개개의 얼굴의 위치를 독립하여 고려함에 의해 결정을 행하는 것이 아니라, 복수 얼굴의 위치에 의거하여 결정을 행한다. 즉, 결정 수단은, 적어도 복수 얼굴의 상대적인 위치 관계에 의거하여 결정을 행한다. 결정 수단은, 얼굴의 위치를 얼굴에 포함되는 점(点)의 위치로서 파악하여도 좋고, 얼굴의 영역의 위치로서 파악하여도 좋다.
또한, 결정 수단에 의해 결정된 얼굴의 일부 (예 : 목, 코, 이마, 입, 귀)에 대해 초점 맞춤이나 노출 제어가 행하여지도록 구성되어도 좋다.
본 발명의 제 6의 양태에 의하면, 검출된 복수 얼굴의 위치에 의거하여, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴이 결정된다. 이 때문에, 예비 촬상된 화상으로부터, 초점 맞춤이나 노출 제어의 대상으로 하여야 할 얼굴의 수보다도 많은 얼굴이 검출된 경우라도, 소정의 수의 얼굴을 결정하는 것이 가능하게 된다.
또한, 검출된 각각의 얼굴의 위치에 관해 독립하여 고려하는 것이 아니라, 복수 얼굴의 상대적인 위치에 의거하여, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴이 결정된다. 이 때문에, 검출된 복수 얼굴의 상황(예:얼굴의 밀집 정도, 얼굴이 밀집하고 있는 위치)에 따라 초점 맞춤이나 노출 제어의 대상이 되는 얼굴이 결정된다. 이 때문에, 검출된 복수 얼굴의 상황에 따른 초점 맞춤 처리나 노출 제어를 행하는 것이 가능하게 된다.
다음에, 본 발명의 제 6의 양태에 있어서의 결정 수단보다 구체적인 구성에 관해 설명한다. 본 발명의 제 6의 양태에 있어서의 결정 수단은, 중심 결정 수단과 얼굴 결정 수단을 포함하도록 구성되어도 좋다.
중심 결정 수단은, 검출 수단에서 검출된 복수의 사람 얼굴의 위치에 의거하여, 이들 복수의 사람 얼굴의 위치의 중심(中心)을 결정한다. 여기서 말하는 중심이란, 개념적인 중심을 나타낸다. 예를 들면, 어느 3점에 관해 중심이라는 경우, 외심(外心)이나 내심(內心)이나 수심(垂心)이나 중심(重心) 등 복수의 개념적인 중심을 나타낸다. 이와 같이, 여기서 말하는 중심이란, 어느 개념에 따라 구하여지는 한가운데를 나타낸다.
구체적으로는, 중심 결정 수단은, 복수의 사람 얼굴의 위치에 대해 외접(外接)하는 다각형의 중심을 구하도록 구성되어도 좋다. 이때, 다각형은 미리 결정된 수의 정점(頂点)을 갖는 다각형이라도 좋다. 이 경우, 생성되는 다각형은 반드시 모든 사람의 얼굴을 정점으로서 가질 필요는 없다.
예를 들면, 외접하는 다각형이 삼각형인 경우, 중심 결정 수단은 구하여진 삼각형의 외심, 내심, 수심, 중심중 어느 하나를 중심으로서 취득한다.
또한, 예를 들면, 외접하는 다각형이 사각형인 경우, 중심 결정 수단은 구하여진 사각형의 대각선의 교점을 중심으로서 취득한다. 또한, 예를 들면, 외접하는 다각형이 사각형인 경우, 중심 결정 수단은 이 사각형을 2개의 삼각형으로 분할하고, 각각의 삼각형에 관해 외심, 내심, 수심, 중심중 어느 하나를 취득하고, 취득된 2점에 의거하여 중심을 취득하도록 구성되어도 좋다.
또한, 예를 들면, 외접하는 다각형의 정점의 수가 5점 이상인 경우, 중심 결정 수단은, 외접하는 다각형을 복수의 삼각형으로 분할하고, 각 삼각형에 관해 외심, 내심, 수심, 중심중 어느 하나를 취득하고, 취득된 점을 이용하여 새로운 다각형을 구성하고, 이 다각형에 관해 상기한 처리를 반복함에 의해 중심을 취득하도록 구성되어도 좋다.
또한, 중심 결정 수단은, 복수의 사람 얼굴의 위치의 중심(重心)을 중심으로서 결정하도록 구성되어도 좋다.
다음에, 얼굴 결정 수단의 구성에 관해 설명한다. 얼굴 결정 수단은, 중심 결정 수단에 의해 구하여진 중심의 위치에 의거하여, 대상이 되는 얼굴을 결정한다. 얼굴 결정 수단은, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴의 수에 따라, 대상이 되는 얼굴을 결정한다.
구체적으로는, 얼굴 결정 수단은, 중심의 가장 근처에 위치하는 사람의 얼굴을 대상이 되는 얼굴로서 결정하도록 구성되어도 좋다.
또한, 얼굴 결정 수단은, 중심으로부터 소정의 거리 내에 위치하는 얼굴중에서 소정의 기준에 따라 대상이 되는 얼굴을 결정하도록 구성되어도 좋다. 소정의 기준이란, 예를 들면 얼굴의 크기에 의거한 것(예 : 가장 큰 얼굴을 결정한다는 기준, 중간 크기의 얼굴을 결정한다는 기준, 최소의 얼굴을 결정한다는 기준)이라도 좋고, 화상중에서의 얼굴의 위치에 의거한 것(예 : 화상의 중앙에 가장 가까운 얼굴이라는 기준)이라도 좋고, 얼굴 방향에 의거한 것(예 : 정면을 향하고 있는 얼굴이라는 기준)이라도 좋고, 얼굴다움에 의거한 것(예 : 얼굴다움의 정도를 나타내는 양이 가장 큰 얼굴을 결정한다는 기준)이라도 좋고, 얼굴로부터 추정되는 성별에 의거한 것(예 : 남자로 추정된 얼굴을 결정한다는 기준, 여자로 추정된 얼굴을 결정한다는 기준)이라도 좋고, 얼굴로부터 추정된 연대에 의거한 것(가장 젊은 연대로 추정된 얼굴을 결정한다는 기준, 중간의 연대로 추정된 얼굴을 결정한다는 기준)이라도 좋고, 그 밖에 어떤 기준이라도 좋다. 또한, 소정의 기준이란, 상기한 기준을 적절히 복수 조합한 것이라도 좋다.
이와 같이 구성된 본 발명의 제 6의 양태에서는, 복수 얼굴의 상대적인 위치의 기준으로서, 복수의 얼굴 위치의 중심에 의거하여 초점 맞춤이나 노출 제어의 대상이 되는 얼굴이 결정된다. 예를 들면, 복수 얼굴의 개략 중심에 위치하는 얼굴이, 초점 맞춤이나 노출 제어의 대상으로 하여야 할 얼굴로서 결정된다. 집단이 촬영되는 상황(복수의 얼굴이 밀집하여 있는 상황)에서는, 유저는, 그 집단의 중앙 부근의 얼굴에 대해 초점 맞춤이나 노출 제어를 (무의식중에) 행한 경우가 많다. 이 때문에, 그와같은 유저의 매뉴얼에 의한 조작을 자동적으로 실현함으로써, 유저의 수고를 줄이는 것이 가능하게 된다. 따라서, 오토 포커스나 자동 노출 제어에서, 집단에서의 복수 얼굴의 중앙 부근에 위치하는 얼굴에 대해 초점 맞춤이나 노출 제어를 행하는 것이 일반적으로 바람직하다. 그리고, 상기한 바와 같이 구성된 본 발명의 제 6의 양태에 의하면, 상기한 바와 같은 바람직한 제어를 자동적으로 행하는 것이 가능해지고, 유저의 수고를 줄이는 것이 가능하게 된다.
또한, 본 발명의 제 6의 양태에 있어서의 결정 수단은, 복수의 사람의 얼굴중 최하방에 위치하는 얼굴을 상기 대상이 되는 얼굴로서 결정하도록 구성되어도 좋다. 또한, 최하방의 얼굴이란 엄밀하게 최하방에 위치하는 얼굴일 필요는 없고, 예를 들면 아래로부터 2번째에 위치하는 얼굴이라도, 아래로부터 3번째에 위치하는 얼굴이라도 좋다. 사람의 얼굴이 세로로 나열하는 상태에서 집합 사진이 촬상된 경우, 일반적으로 하방에 위치하는 얼굴일수록 촬상 장치에 대한 거리가 가까운 얼굴로 된다. 예를 들면 앞줄의 사람이 웅크리고, 뒷줄의 사람이 일어서서 사진을 촬상하는 경우에 상기한 상태로 된다. 또한, 예를 들면 게단식 단을 사용하고 집합 사진이 촬상된 경우에 상기한 상태로 된다. 이 때문에, 최하방에 위치하는 얼굴이, 초점 맞춤이나 노출 제어의 대상의 얼굴로 됨에 의해, 촬상 장치에 가장 가까운 얼굴에 대해 초점 맞춤이나 노출 제어가 실행될 가능성이 높아진다.
본 발명의 제 6의 양태는, 분류 수단과 집합 결정 수단을 또한 포함하도록 구성되어도 좋다. 분류 수단은 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류한다. 보다 구체적으로는, 분류 수단은 일반적인 클러스터링 수법을 이용함에 의해, 화상중의 위치가 가까운 얼굴끼리가 같은 집합에 포함되도록, 검출된 복수의 얼굴을 복수의 집합으로 분류한다.
집합 결정 수단은, 분류 수단에 의해 분류된 복수의 집합중에서, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴을 결정하기 위한 집합(즉, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴을 포함하는 집합 : 「선택 집합」이라고 칭한다)을 결정(선택)한다. 즉, 최종적으로 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴로부터, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴이 결정된다.
집합 결정 수단은, 어떤 기준에 의거하여 선택 집합을 결정하여도 좋다. 예를 들면, 집합 결정 수단은, 각 집합에 포함되는 얼굴의 수에 의거하여 선택 집합을 결정하여도 좋고, 각 집합에 포함되는 복수의 얼굴 위치의 중심에 의거하여 선택 집합을 결정하여도 좋고, 각 집합에 포함되는 얼굴에 의거하여 취득되는 특징량(예를 들면, 얼굴의 크기, 얼굴 방향, 얼굴의 수 등에 의거하여 취득되는 양, 얼굴로부터 추정되는 특정한 성별의 도수(度數), 얼굴로부터 추정되는 특정한 연대의 도수, 또는 얼굴다움의 정도를 나타내는 양)에 의거하여 선택 집합을 결정하여도 좋다.
본 발명의 제 6의 양태가 상기한 바와 같은 분류 수단 및 집합 결정 수단을 포함하도록 구성되는 경우, 결정 수단은 선택 집합에 포함되는 사람의 얼굴에 의거하여 선택 집합에 포함되는 사람의 얼굴중에서, 대상이 되는 얼굴을 결정하도록 구성된다.
이와 같이 구성된 본 발명의 제 6의 양태에 의하면, 화상중의 복수의 얼굴이 복수의 집합으로 나누어지고, 복수의 집합으로부터 처리의 대상이 되는 얼굴을 결정하기 위한 선택 집합이 결정된다. 그리고, 결정된 선택 집합에 포함되는 얼굴로부터, 결정 수단이 최종적으로 처리의 대상이 되는 얼굴을 결정한다.
이 때문에, 화상중에 복수 얼굴의 집합이 존재하는 경우에, 복수의 집합에 포함되는 얼굴 전부에 의거하여 처리의 대상이 되는 얼굴이 결정되는 것은 아니고, 어느 하나의 집합에 포함되는 얼굴만에 의거하여 처리의 대상이 되는 얼굴이 결정된다. 따라서, 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴만에 따른 제어를 행하는 것이 가능하게 된다. 예를 들면, 화상중에 복수인의 집단이 떨어져서 존재한 경우, 이들의 집단에 평균한 처리가 아니라, 어는 하나의 집단으로 특화한 초점 맞춤 및/또는 노출 제어를 행하는 것이 가능하게 된다. 또한, 예를 들면 화상중에 집단과 고립된 사람이 존재하는 경우, 이 고립된 사람을 포함하는 일 없이, 집단 또는 고립된 사람의 한쪽만에 특화한 초점 맞춤 및/또는 노출 제어를 행하는 것이 가능하게 된다.
본 발명의 제 6의 양태는, 결정 수단에 의해 결정된 사람의 얼굴을, 다른 얼굴과 구별하여 표시하는 표시 수단을 또한 포함하도록 구성되어도 좋다. 표시 수단은, 예를 들면 결정된 사람 얼굴의 주위에 테두리를 표시함에 의해, 다른 얼굴과 구별하여 표시한다. 또한, 표시 수단은, 예를 들면 결정된 사람 얼굴의 주위에, 다른 얼굴의 주위에 표시된 테두리와 다른 색이나 두께나 형태의 테두리를 표시함에 의해, 다른 얼굴과 구별하여 표시한다. 또한, 표시 수단은, 예를 들면 결정된 사람의 얼굴에 대해 다른 얼굴과 다른 화상 처리를 시행하여 표시함에 의해, 다른 얼굴과 구별하여 표시한다.
[제 7의 양태]
본 발명의 제 7의 양태는, 대상 결정 장치로서, 검출 수단 및 결정 수단을 포함한다. 이 중, 검출 수단은 본 발명의 제 6의 양태와 같은 구성을 취한다.
본 발명의 제 7의 양태에 있어서의 결정 수단은, 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 얼굴의 수를 기준으로 하여 그 한가운데에 위치하는 사람의 얼굴을, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴로서 결정한다. 이 결정 수단은, 검출된 얼굴의 수를 계수하고, 계수된 수의 중간치에 의거하여 얼굴을 결정한다. 예를 들면, 이 결정 수단은, 각 얼굴을 그 x좌표를 기초로 소트하고, 상기한 중간치의 순위에 상당하는 얼굴을 대상이 되는 얼굴로서 결정한다. 이 결정 수단은, x좌표가 아니라 y좌표에 의거하여 대상이 되는 얼굴을 결정하여도 좋다. 또한, 이 결정 수단은, x좌표 및 y좌표에 의거하여 각각 얼굴을 선택하고, 동일한 얼굴이 선택된 경우에는 이 얼굴을 대상이 되는 얼굴로서 결정하고, 다른 얼굴이 선택된 경우에는 소정의 기준에 의거하여 어느 하나의 얼굴이 대상이 되는 얼굴로서 결정되도록 구성되어도 좋다.
본 발명의 제 7의 양태에 의하면, 복수의 얼굴 위치의 중심에 의거하여 대상이 되는 얼굴을 결정하도록 구성된 본 발명의 제 6의 양태와 같은 효과를, 의사적으로 얻는 것이 가능하게 된다. 또한, 본 발명의 제 7의 양태에 의하면, 복수의 얼굴 위치의 중심을 취득할 필요가 없다. 즉, 얼굴의 계수와 데이터의 소트를 실행하면 족하고, 기하학적인 계산을 실행할 필요가 없다. 이 때문에, 범용의 정보 처리 장치를 이용한 경우에는, 본 발명의 제 6의 양태에 비하여 고속으로 처리를 실행하는 것이 가능하게 된다.
또한, 본 발명의 제 7의 양태는, 본 발명의 제 6의 양태와 마찬가지로, 분류 수단 및 집합 결정 수단을 또한 포함하도록 구성되어도 좋다. 이 경우, 본 발명의 제 7의 양태에 있어서의 결정 수단은, 선택 집합에 포함되는 사람의 얼굴에 의거하여 대상이 되는 얼굴을 결정한다.
[제 8의 양태]
본 발명의 제 8의 양태는, 대상 결정 장치로서, 검출 수단, 분류 수단, 잠정 결정 수단, 및 최종 결정 수단을 포함한다. 이 중, 검출 수단 및 분류 수단은 본 발명의 제 6의 양태와 같은 구성을 취한다.
본 발명의 제 8의 양태에서의 잠정 결정 수단은, 분류 수단에 의해 생성되는 복수의 집합 각각에서, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴을 잠정적으로 결정한다. 환언하면, 잠정 결정 수단은, 복수의 집합 각각에 대해 해당 집합에 포함되는 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정한다. 이때, 잠정 결정 수단은 어떤 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다, 예를 들면, 잠정 결정 수단은, 본 발명의 제 6의 양태나 제 7의 양태에 나타나는 결정 수단과 같은 처리에 의해 대상이 되는 얼굴을 결정하여도 좋다. 또한, 예를 들면 잠정 결정 수단은, 본 발명의 제 6의 양태의 얼굴 결정 수단에 있어서의 소정의 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다.
본 발명의 제 8의 양태에 있어서의 최종 결정 수단은, 잠정 결정 수단에 의해 결정된 얼굴중에서, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴을 최종적으로 결정한다. 예를 들면, 최종 결정 수단은, 각 집합에서 잠정 결정 수단에 의해 결정된 얼굴중에서, 본 발명의 제 6의 양태나 제 7의 양태에 나타나는 결정 수단과 같은 처리에 의해, 대상이 되는 얼굴을 최종적으로 결정하여도 좋다. 또한, 예를 들면, 최종 결정 수단은, 각 집합에서 잠정 결정 수단에 의해 결정된 얼굴중에서, 본 발명의 제 6의 양태의 얼굴 결정 수단에서의 소정의 기준에 의거하여, 대상이 되는 얼굴을 최종적으로 결정하여도 좋다.
본 발명의 제 8의 양태에 의하면, 분류 수단과 집합 결정 수단을 또한 포함하도록 구성된 본 발명의 제 6의 양태나 제 7의 양태와 같은 효과를 얻는 것이 가능하게 된다. 또한, 본 발명의 제 8의 양태에 의하면, 분류 수단과 집합 결정 수단을 포함함에 의한 효과를 유지한 채로, 대상이 되는 얼굴을 결정할 때에 다양한 기준에 의거하여 이 얼굴을 결정하는 것이 가능하게 된다.
[제 9의 양태]
본 발명의 제 9의 양태는, 대상 결정 장치로서, 검출 수단, 블록 결정 수단, 및 결정 수단을 포함한다.
본 발명의 제 9의 양태에 있어서의 검출 수단은, 입력된 화상이 분할된 복수의 블록의 각각에서 사람의 얼굴을 검출한다. 입력된 화상이 어떤 블록으로 나누어지는 미리 정하여져 있어도 좋고, 동적으로 결정되어도 좋다.
블록 결정 수단은, 검출 수단에 의한 검출 결과에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정하기 위한 블록(즉, 초점 맞춤이나 노출 제어의 대상이 되는 얼굴을 포함하는 블록 : 「선택 블록」이라고 칭한다)을 결정한다. 예를 들면, 본 발명의 제 6의 양태에 있어서의 집합 결정 수단과 같은 기준에 따라 블록을 결정할 수 있다.
본 발명의 제 9의 양태에 있어서의 결정 수단은, 선택 블록에 포함되는 얼굴로부터, 대상이 되는 얼굴을 결정한다. 이때, 이 결정 수단은 어떤 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다. 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태나 제 7의 양태에 나타나는 결정 수단과 같은 처리에 의해 대상이 되는 얼굴을 결정하여도 좋다. 또한, 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태의 얼굴 결정 수단에 있어서의 소정의 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다.
[제 10의 양태]
본 발명의 제 10의 양태는, 대상 결정 장치로서 검출 수단, 판단 수단, 선택 수단, 및 결정 수단을 포함한다. 이 중, 검출 수단은 본 발명의 제 6의 양태와 같은 구성을 취한다.
판단 수단은, 검출 수단에서 복수의 얼굴이 검출된 때에, 검출된 사람의 얼굴중 최대의 얼굴을 판단한다. 판단 수단은, 예를 들면, 검출된 사람의 얼굴에서의 피부의 색의 화소 수에 의해 크기를 판단하여도 좋다. 또한, 판단 수단은 예를 들면 사람의 얼굴로서 검출되는 때에 사용된 얼굴 직사각형의 크기에 의해 얼굴의 크기를 판단하여도 좋다. 판단 수단은, 그 밖에 어떤 기준에 따라 얼굴의 크기를 판단하도록 구성되어도 좋다. 또한, 최대의 얼굴이란 엄밀하게 최대일 필요는 없고, 예를 들면 2번째로 큰 얼굴이라도, 3번째로 큰 얼굴이라도 좋다.
선택 수단은, 검출된 얼굴중 최대의 얼굴, 및 이 얼굴의 크기로부터 소정의 범위 내의 크기를 갖는 다른 얼굴을 선택한다.
본 발명의 제 10의 양태에 있어서의 결정 수단은, 선택 수단에 의해 선택된 얼굴중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정한다. 이와 같이, 본 발명의 제 10의 양태에 있어서의 결정 수단은, 검출 수단에 의해 검출된 복수의 얼굴 전체의 위치에 의거하여 대상이 되는 얼굴을 결정하는 것이 아니라, 검출된 얼굴중 최대의 얼굴 및 이 얼굴의 크기로부터 소정의 범위 내의 크기를 갖는 다른 얼굴중에서, 대상이 되는 얼굴을 결정한다. 이 결정 수단은, 어떤 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다. 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태나 제 7의 양태에 나타나는 결정 수단과 같은 처리에 의해, 대상이 되는 얼굴을 결정하여도 좋다. 또한, 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태의 얼굴 결정 수단에서의 소정의 기준에 의거하여, 대상이 되는 얼굴을 결정하여도 좋다.
본 발명의 제 10의 양태에 의하면, 초점 맞춤용의 화상 내에서 상대적으로 어느 정도의 크기를 가진 얼굴만에 의거하여, 초점 맞춤의 대상이 되는 얼굴이 선택된다. 이 때문에, 배경으로서 찍힌 사람, 즉 유저가 피사체로서 의식하지 않은 사람의 얼굴이 처리의 대상으로서 포함되는 것이 방지된다. 따라서, 예를 들면 이 결정 수단이 본 발명의 제 6의 양태에 있어서의 결정 수단과 같은 처리를 행하는 경우, 초점 맞춤의 대상이 되는 얼굴을 포함하는 집합을 선택하는 처리나, 집합에 포함되는 얼굴에 의거한 중심을 취득하는 처리나, 초점 맞춤의 대상이 되는 얼굴을 선택하는 처리의 정밀도가 향상된다.
[제 11의 양태]
본 발명의 제 11의 양태는, 대상 결정 장치로서 검출 수단, 분류 수단, 집합 결정 수단, 및 결정 수단을 포함한다. 이 중, 검출 수단, 분류 수단, 및 집합 결정 수단은, 제 6의 양태와 같은 구성을 취한다.
본 발명의 제 11의 양태에서의 결정 수단은, 집합 결정 수단에 의해 결정된 집합에 포함되는 얼굴중에서, 대상이 되는 얼굴을 결정한다. 이때, 이 결정 수단은, 어떤 기준에 의거하여 대상이 되는 얼굴을 결정하여도 좋다. 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태나 제 7의 양태에 나타나는 결정 수단과 같은 처리에 의해, 대상이 되는 얼굴을 결정하여도 좋다. 또한, 예를 들면, 이 결정 수단은, 본 발명의 제 6의 양태의 얼굴 결정 수단에서의 소정의 기준에 의거하여, 대상이 되는 얼굴을 결정하여도 좋다.
본 발명의 제 11의 양태에 의하면, 본 발명의 제 8의 양태와 같은 효과를 얻을 수 있다.
[제 12의 양태]
본 발명의 제 12의 양태는, 대상 결정 장치로서 검출 수단, 특징량 취득 수단, 및 결정 수단을 포함한다. 이 중, 검출 수단은 본 발명의 제 6의 양태와 같은 구성을 취한다.
특징량 취득 수단은, 검출 수단에서 검출된 복수의 사람의 얼굴 각각에 대해, 사람의 얼굴 정도를 나타내는 특징량을 취득한다. 「사람의 얼굴 정도」란, 예를 들면, 어느 화상이 사람의 얼굴인지의 여부를 나누는 식별 경계선부터의 거리에 의해 주어진다. 사람의 얼굴 정도란, 검출 수단에서 얼굴 검출 처리할 때에 취득되는 값을 이용하여 나타내어도 좋다.
결정 수단은, 특징량에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 및/또는 노출 제어를 행하는 대상이 되는 얼굴을 결정한다.
[제 6의 양태부터 제 12의 양태의 변형]
본 발명의 제 6 내지 12의 양태는, 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단을 또한 포함하도록 구성되어도 좋다. 이와 같이 구성된 경우, 검출 수단은, 프레임 취득 수단에 의해 취득된 소정의 프레임의 화상으로부터 사람의 얼굴을 검출한다.
이와 같이 구성된 본 발명의 제 6 내지 12의 양태에서는, 복수 프레임을 포함하는 시계열 화상에 관해, 본 발명의 제 6 내지 12의 양태와 같은 작용. 효과를 얻을 수 있다.
[기타]
본 발명의 제 1의 양태부터 제 12의 양태는, 프로그램이 정보 처리 장치에 의해 실행됨에 의해 실현되어도 좋다. 즉, 본 발명은, 상기한 제 1의 양태로부터 제 12의 양태에 있어서의 각 수단이 실행한 처리를, 정보 처리 장치에 대해 실행시키기 위한 프로그램 또는 해당 프로그램을 기록한 기록 매체로서 특정할 수 있다.
발명의 효과
본 발명에 의하면, 피사체를 검출할 때에, 예비 촬상으로서 이 피사체에 반드시 초점이 맞은 화상이 촬상될 필요가 없다. 이 때문에, 예비 촬상에서 복수의 초점에 맞춘 화상을 취득하는 등의 초점 제어를 행하는 일 없이, 소정의 초점 정보에 의거하여 취득된 화상만에 의해 주요 피사체를 고속으로 검출하는 것이 가능하게 된다.
또한, 본 발명에 의하면, 예비 촬상에서 복수 인물의 얼굴이 검출된 경우에, 검출된 복수 얼굴의 위치나 크기 등에 의거하여, 어느 얼굴에 대해 초점 맞춤이나 노출 제어를 행하여야 하는지가 자동적으로 판단된다.
도 1은 촬상 장치의 기능 블록을 도시한 도면.
도 2는 얼굴 판정 직사각형에 의한 얼굴의 검출의 예를 도시한 도면.
도 3은 얼굴 판정 직사각형의 패턴의 예를 도시한 도면.
도 4는 얼굴 판정 직사각형에 의한 얼굴의 검출의 예를 도시한 도면.
도 5는 촬상 장치의 동작예를 도시한 플로우 차트.
도 6은 초점 맞춤 대상 결정부의 동작예를 도시한 플로우 차트.
도 7은 촬상 장치에 의한 처리예를 도시한 도면.
도 8은 제 1 실시 형태의 기능 블록을 도시한 도면.
도 9는 외접 다각형법을 설명하기 위한 도면.
도 10은 중심법을 설명하기 위한 도면.
도 11은 얼굴 결정부의 처리를 설명하기 위한 도면.
도 12는 제 2 실시 형태의 동작예를 도시한 플로우 차트.
도 13은 제 2 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
도 14는 제 2 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
도 15는 제 3 실시 형태의 기능 블록을 도시한 도면.
도 16은 분류부의 처리예를 도시한 도면.
도 17은 제 3 실시 형태에 있어서의 결정부의 처리예를 도시한 도면.
도 18은 제 3 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
도 19는 제 3 실시 형태에 있어서의 효과를 나타내기 위한 도면.
도 20은 제 4 실시 형태의 기능 블록을 도시한 도면.
도 21은 제 4 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
도 22는 제 5 실시 형태의 기능 블록을 도시한 도면.
도 23은 복수의 블록으로 나누어진 초점 맞춤용의 화상의 예를 도시한 도면.
도 24는 제 5 실시 형태에 있어서의 결정부의 처리예를 도시한 도면.
도 25는 제 5 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
도 26은 제 6 실시 형태의 기능 블록을 도시한 도면.
도 27은 최대 얼굴 선택부의 처리예를 도시한 도면.
도 28은 후보 선택부의 처리예를 도시한 도면.
도 29는 제 6 실시 형태의 동작 예의 일부를 도시한 플로우 차트.
(도면의 주요부분에 대한 부호의 설명)
1 : 촬상 장치 2 : 촬상부
3 : 화상 기억부 4 : 초점 맞춤 대상 결정부
5 : 얼굴 검출부 6 : 결정부
7 : 거리측정부 8 : 얼굴 판정 직사각형
9 : 제 1 직사각형 10 : 제 2 직사각형
11 : 입력부 12a, 12b, 12c, 12d, 12e : 촬상 장치
13 : 입력부 14 : 촬상부
15 : 화상 기억부
16a, 16b, 16c, 16d, 16e : 초점 맞춤 대상 결정부
17a, 17d : 얼굴 검출부 18a, 18b, 18c, 18d, 18e : 결정부
19a, 19b, 19d, 19e : 중심 결정부 20a, 20b, 20d, 20e : 얼굴 결정부
21 : 거리측정부 22 : 분류부
23 : 집합 결정부 24 : 블록 결정부
25 : 최대 얼굴 선택부 26 : 후보 선택부
[제 1 실시 형태]
다음에, 도면을 이용하여 제 1 실시 형태인 촬상 장치(1)에 관해 설명한다. 또한, 촬상 장치(1)에 관한 이하의 설명은 예시이고, 그 구성은 이하의 설명으로 한정되지 않는다.
[시스템 구성]
촬상 장치(1)는 디지털 카메라, 디지털 비디오 카메라, 또는 디지털 카메라나 디지털 비디오 카메라와 같은 촬상 기능을 갖는 정보 처리 장치이다. 촬상 장치(1)는, 하드웨어적으로는 버스를 통하여 접속된 CPU(중앙 연산 처리 장치), 주기억 장치(RAM(Read Only Memory)), 보조 기억 장치, 및 디지털 카메라나 디지털 비디오 카메라로서 동작하기 위한 각 장치(촬상 렌즈, 메커 기구, CCD(Charge-Coupled Devices), 조작부, 모터 등) 등을 구비한다. 보조 기억 장치는, 불휘발성 기억 장치를 이용하여 구성된다. 여기서 말하는 불휘발성 기억 장치란, 이른바 ROM(Read-Only Memory : EPROM(Erasable Programmable Read-Only Memory), EEPROM(Electrica11y Erasable Programmable Read-Only Memory), 마스크 ROM 등을 포함한다), FRAM(Ferroelectric RAM), 하드 디스크 등을 가리킨다.
도 1은, 촬상 장치(1)의 기능 블록을 도시한 도면이다. 촬상 장치(1)는, 보 조 기억 장치에 기억된 각종의 프로그램(OS, 어플리케이션 프로그램 등)이 주기억 장치에 로드되고 CPU에 의해 실행됨에 의해, 촬상부(2), 화상 기억부(3), 초점 맞춤 대상 결정부(4), 거리측정부(7), 및 입력부(11) 등을 포함하는 장치로서 기능한다. 초점 맞춤 대상 결정부(4)는 초점 맞춤 대상 결정 프로그램이 CPU에 의해 실행됨에 의해 실현된다. 또한, 초점 맞춤 대상 결정부(4)는 전용의 하드웨어로서 실현되어도 좋다.
이하, 도 1을 이용하여, 촬상 장치(1)에 포함되는 각 기능부에 관해 설명한다.
[[촬상부]]
촬상부(2)는 촬상 렌즈, 메커 기구, CCD, 모터 등을 이용하여, 오토 포커스 기능을 구비하는 장치로서 구성된다. 촬상 렌즈는, 예를 들면 줌 기능을 실현하기 위한 줌 렌즈나, 임의의 피사체에 대해 초점을 맞추기 위한 포커스 렌즈 등을 포함한다. 메커 기구는, 메커니컬 셔터나 조리개나 필터 등을 포함한다. 모터는 줌 렌즈 모터나 포커스 모터나 셔터 모터 등을 포함한다.
촬상부(2)는, 도시하지 않은 기억부를 구비하고, 이 기억부에 소정의 초점 정보를 기억한다. 소정의 초점 정보란, 미리 정해진 하나의 초점 정보이다. 촬상 장치(1)의 전원이 온으로 되어 있는 경우로서 거리측정부(7)로부터 초점 정보의 입력이 없는 경우, 촬상부(2)의 포커스 렌즈는 이 소정의 초점 정보에 의거한 상태가 되도록 제어된다. 한편, 거리측정부(7)로부터 초점 정보의 입력이 있는 경우, 촬상부(2)의 포커스 렌즈는, 입력된 초점 정보에 의거한 상태가 되도록 제어된다.
촬상부(2)는, 상기한 바와 같이 제어된 포커스 렌즈를 포함하는 촬상 렌즈를 통하여 결상된 피사체의 화상을, CCD에 의해 전기 신호로 변환함에 의해 촬상을 행한다.
촬상부(2)는, 입력부(11)를 이용한 유저에 의한 입력시마다 1장 또는 복수매의 정지화상을 촬상하도록 구성되어도 좋다. 또한, 촬상부(2)는 입력부(11)를 통한 유저에 의한 입력에 따라, 복수 프레임에 의해 구성되는 동화상(시계열 화상)을 촬상하도록 구성되어도 좋다. 또한, 촬상부(2)는 동화상을 촬상하도록 구성된 경우, 복수 프레임중에서 하나의 프레임의 화상을 취득하고, 이 프레임의 화상을 처리 대상의 화상으로서 초점 맞춤 대상 결정부(4)에 건네주도록 구성되어도 좋다.
[[화상 기억부]]
화상 기억부(3)는, 이른바 RAM 등의 판독기록 가능한 기록 매체 등을 이용하여 구성된다. 화상 기억부(3)는 촬상 장치(1)에 대해 착탈 가능한 기록 매체를 이용하여 구성되어도 좋다. 화상 기억부(3)는 촬상부(2)에 의해 촬상된 화상의 데이터를 기억한다.
[[초점 맞춤 대상 결정부]]
초점 맞춤 대상 결정부(4)는, 촬상부(2)에 의해 촬상된 피사체로부터 초점을 맞추는 피사체, 즉 초점 맞춤의 대상이 되는 피사체를 결정한다. 이때, 초점 맞춤 대상 결정부(4)는, 소정의 초점 정보에 의거하여 촬상부(2)에 의해 초점 맞춤용으로 촬상된 화상을 이용하여 처리를 행한다. 이 초점 맞춤용으로 촬상된 화상은 촬상부(2)에 의해 초점 맞춤 대상 결정부(4)에 입력된다.
초점 맞춤 대상 결정부(4)는, 입력된 화상으로부터 피사체가 된 인물의 얼굴을 검출하는 얼굴 검출부(5)와, 얼굴 검출부(5)에 의해 검출된 얼굴에 의거하여 초점을 맞추는 피사체를 결정하는 결정부(6)를 포함한다. 이하, 초점 맞춤 대상 결정부(4)를 구성하는 각 기능부에 관해 설명한다.
<얼굴 검출부>
얼굴 검출부(5)는, 입력되는 화상으로부터 복수의 부분적인 영역에 있어서의 통계량(구체적으로는 농담치)에 의거하여, 피사체가 된 인물의 얼굴을 검출한다. 이하, 얼굴 검출부(5)에 의해 실행되는, 인물의 얼굴을 검출할 때의 처리에 관해 상세히 설명한다.
도 2는, 농담치에 의거한 인물의 얼굴의 검출 방법을 도시한 도면이다. 이 검출 방법에서는, 특정한 직사각형(이하 「얼굴 판정 직사각형」이라고 부른다)(8)을 처리 대상이 되는 화상 내로 이동시키고, 각 이동처의 얼굴 판정 직사각형(8) 내(이하 「주목 영역」이라고 부른다)에 인물의 얼굴이 포함되는지의 여부가 판단된다. 이때, 얼굴 판정 직사각형(8)의 크기와 처리 대상이 되는 화상의 크기와의 비율이나, 얼굴 판정 직사각형(8)과 처리 대상이 되는 화상과의 각도를 바꿈에 의해, 다양한 크기나 각도의 얼굴을 검출하는 것이 가능하게 된다.
얼굴 판정 직사각형(8)은, 그 직사각형 내에 복수의 다른 직사각형(이하 「제 1 직사각형」, 「제 2 직사각형」이라고 부른다)(9, 10)을 포함한다. 제 1 직사각형(9)과 제 2 직사각형(10)은 각각 얼굴 판정 직사각형(8) 내의 정위치에 배치된다. 제 1 직사각형(9)과 제 2 직사각형(10)은 하나의 얼굴 판정 직사각형(8) 내에 각각 1 이상 배치된다.
얼굴의 검출 처리에서는, 각 주목 영역에서, 제 1 직사각형(9) 및 제 2 직사각형(10)에 의해 둘러싸인 각각의 영역(이하, 각각 「제 1 특징 영역」, 「제 2 특징 영역」이라고 부른다)의 농담치가 산출된다. 제 1 특징 영역 및 제 2 특징 영역의 농담차는, 예를 들면 각 영역 내의 화소치의 평균치나 합계치에 의해 나타난다.
다음에, 제 1 특징 영역의 농담치(La)와, 제 2 특징 영역의 농담치(Lb)의 차분이 산출된다. 그리고, 이 차분치가 미리 설정되어 있는 임계치(α)보다도 큰지의 여부에 따라, 주목 영역에 인물의 얼굴이 포함되는지의 여부가 판정된다.
도 3은, 얼굴 판정 직사각형(8)의 패턴 예를 도시한 도면이다. 도 4는, 복수의 패턴의 얼굴 판정 직사각형(8)을 이용한 얼굴 판정의 처리를 도시한 도면이다. 실제의 처리에서는, 도 3에 도시된 바와 같이 얼굴 판정 직사각형(8)이 복수 패턴 준비된다. 각 패턴에서는, 제 1 직사각형(9)이나 제 2 직사각형(10)의 수나 위치가 각각 다르다.
다음에, 각각의 패턴의 얼굴 판정 직사각형(8)에 관해 농담차의 산출에 의한 판정이 실행된다. 그리고, 각각의 판정 결과를 기초로 주목 영역마다 득점이 산출되고, 산출된 득점에 의거하여 이 주목 영역에 인물의 얼굴이 포함되는지의 여부에 관해 최종적인 판정이 행하여진다. 산출된 득점과 주목 영역에 인물의 얼굴이 포함되는지의 여부와의 대응시킴은, 예를 들면 수많은 샘플 화상(인물의 얼굴을 포함하는 화상과 그렇지 않는 화상)을 이용한 학습 처리에 의해 미리 얻어진다.
얼굴 검출부(5)는, 얼굴을 검출한 경우, 즉 어느 주목 영역에 인물의 얼굴이 포함된다는 최종적인 판정을 행한 경우, 이 얼굴에 관한 화상 정보를 결정부(6)에 출력한다. 구체적으로는, 얼굴 검출부(5)는 검출된 얼굴이 포함되는 주목 영역의 위치와 크기를 출력한다. 예를 들면, 얼굴 검출부(5)는 이 주목 영역의 중심 좌표와 면적(영역 내의 화소 수)을 출력한다.
또한, 얼굴 검출부(5)는, 필요에 따라 검출된 얼굴 방향을 판정하고 출력하도록 구성되어도 좋다. 또한, 얼굴 검출부(5)는 얼굴 방향을 판정하는 경우, 예를 들면 비특허 문헌 1, 2에 기재된 기술을 이용함에 의해 판정을 행한다. 구체적으로는, 얼굴 검출부(5)는, 예를 들면 좌향용의 패턴의 얼굴 판정 직사각형(8)과 우향용의 패턴의 얼굴 판정 직사각형(8)을 또한 이용하여 얼굴의 검출을 실행한다. 그리고, 얼굴 검출부(5)는, 예를 들면 좌향용의 패턴의 얼굴 판정 직사각형(8)에 의해 얼굴이 검출된 경우, 검출된 얼굴은 좌향이라고 판정한다. 마찬가지로, 얼굴 검출부(5)는 우향용의 패턴의 얼굴 판정 직사각형(8)에 의해 얼굴이 검출된 경우, 검출된 얼굴은 우향이라고 판정한다. 정면에 대해서도 마찬가지이다. 얼굴 방향의 판정은, 상기된 기술로 한하지 않고 어떤 기술의 적용에 의해 실시되어도 좋다.
<결정부>
결정부(6)는, 얼굴 검출부(5)로부터 입력되는 얼굴에 관한 화상 정보에 의거하여, 초점을 맞추는 피사체를 결정한다. 이때, 결정부(6)는 크게 나누어 2개의 처리를 행한다. 제 1의 처리는, 얼굴 검출부(5)에 의해 검출된 복수의 얼굴중에서 하나의 얼굴을 선택하는 처리이다. 제 2의 처리는 제 1의 처리에 의해 선택된 얼굴에 의거하여 초점을 맞추는 피사체를 결정하는 처리이다. 또한, 얼굴 검출부(5)에서 하나의 얼굴밖에 검출되지 않은 경우는, 제 1의 처리는 생략된다. 또한, 얼굴 검출부(5)에서 얼굴이 검출되지 않은 경우는, 제 1의 처리 및 제 2의 처리가 생략된다.
<<제 1의 처리>>
우선, 제 1의 처리에 관해 설명한다. 제 1의 처리에서는, 결정부(6)는 제 2의 처리에서 초점을 맞추는 피사체를 결정할 때에, 어느 얼굴의 화상 정보를 사용하는지를 선택한다. 제 1의 처리로는, 면적 비교법, 득점 비교법, 거리측정법이라고 부르는 3개의 실현 방법이 있다. 결정부(6)에는 이중 어느 것이 채용되어도 좋다. 이하, 각 실현 방법에 관해 설명한다.
<<<면적 비교법>>>
면적 비교법에서는, 결정부(6)는 얼굴 검출부(5)에서 검출된 복수 얼굴의 면적에 관해 비교를 행하고, 화상으로서의 면적이 가장 큰 얼굴을 선택한다. 면적 비교법에서는, 결정부(6)는 촬상 장치(1)에 가장 가까운 얼굴을 검출하기 위해 화상으로서의 면적이 가장 큰 얼굴을 선택한다. 즉, 면적 비교법에서는, 결정부(6)는 얼굴 화상의 크기를 비교함에 의해 피사체까지의 거리의 비교를 실시한다.
<<<득점 비교법>>>
득점 비교법에서는, 결정부(6)는 얼굴 검출부(5)에서 검출된 복수의 얼굴 각각에 대해 득점을 구한다. 결정부(6)는 얼굴 방향, 얼굴의 크기(면적), 얼굴의 화상 내에서의 위치, 얼굴의 주변에서의 얼굴 밀도 등에 의거하여 득점을 얻는다. 결정부(6)는, 상기한 4개의 항목 전부에 관해 득점을 얻어도 좋고, 일부의 항목에 관해 득점을 얻어도 좋다.
다음에, 결정부(6)는 가장 높은 득점이 얻어진 얼굴을 선택한다. 얼굴 방향에 관해서는, 예를 들면 얼굴 방향이 정면을 향하고 있을수록 득점이 높게 설정된다. 얼굴의 크기에 관해서는, 예를 들면 얼굴의 크기가 클수록 득점이 높게 설정된다. 얼굴의 화상 내에서의 위치에 관해서는, 예를 들면 화상의 중앙에 가까울수록 득점이 높게 설정된다. 얼굴 밀도에 관해서는, 예를 들면 얼굴 밀도가 높을수록 득점이 높게 설정된다. 다만, 각 항목(방향, 크기, 위치, 얼굴 밀도)에서 어떤 상태를 고 득점으로 하는지는, 유저에 의해 변경 가능하게 설계되어도 좋고, 설계자에 의해 어떻게 설계되어도 좋다.
<<<거리측정법>>>
측거법에서는, 결정부(6)는 얼굴 검출부(5)에 의해 검출된 각 얼굴의 실물에 대한 거리측정 결과를 취득한다. 그리고, 결정부(6)는 촬상 장치(1)로부터의 거리가 가장 작은 얼굴을 선택한다.
결정부(6)는, 어느 거리측정 장치에 의한 거리측정 결과를 얻도록 구성되어도 좋다. 예를 들면, 촬상 장치(1) 또는 초점 맞춤 대상 결정부(4)에 도시하지 않은 거리측정 장치가 구비되고, 이 거리측정 장치에 의한 거리측정 결과를 결정부(6)가 얻도록 구성되어도 좋다. 또한, 예를 들면, 거리측정부(7)가 피사체까지의 거리측정을 행하는 구성인 경우, 거리측정부(7)를 거리측정 장치의 대체 장치로서 사용되어도 좋다. 이 경우, 거리측정부(7)에 의한 거리측정 결과를 결정부(6)가 얻는다(도 1의 파선의 화살표를 참조). 어느 경우라도, 결정부(6)는 얼굴 검출부(5)로부터 입력된 화상 정보중, 주목 영역의 좌표를 거리측정 장치에 대해 준다. 그리 고, 거리측정 장치는 이 주목 영역의 좌표를 기초로, 검출된 얼굴까지의 거리를 거리측정한다.
<<제 2의 처리>>
제 2의 처리에서는, 결정부(6)는 선택된 얼굴에 의거하여 초점을 맞추는 피사체를 결정한다. 이와 같은 피사체의 예로서, 선택된 얼굴의 부위(예를 들면 눈, 코, 입, 귀, 이마 등)가 있다. 이때, 선택된 얼굴 부위의 위치는 얼굴 검출부(5)에 의해 다시 검출되어도 좋고, 선택된 얼굴의 화상 정보로부터 그 위치가 구하여져도 좋다. 예를 들면, 결정부(6)는 선택된 얼굴의 중심 좌표로부터 상대적으로 소정의 방향으로 소정의 거리만큼 떨어진 위치를, 선택된 얼굴 부위의 위치로서 인식한다. 그리고, 결정부(6)는 초점을 맞추는 피사체의 화상에서의 좌표(즉 2차원 좌표)를 거리측정부(7)에 출력한다.
또한, 선택된 얼굴 그 자체가 초점을 맞추는 피사체라도 좋다. 이 경우, 결정부(6)는, 제 1의 처리에서 선택된 얼굴의 화상 정보에 포함되는 얼굴의 위치(즉 2차원 좌표)를 거리측정부(7)에 출력한다.
[[거리측정부]]
거리측정부(7)는, 초점 맞춤 대상 결정부(4)의 결정부(6)에 의해 결정된 피사체에 초점을 맞추기 위한 초점 정보를 취득한다. 이때 거리측정부(7)는, 결정부(6)로부터 입력된 2차원 좌표를 기초로, 초점을 맞추기 위한 피사체를 특정한다.
예를 들면, 거리측정부(7)는 적외선 등을 피사체에 대해 사출함에 의해 피사체까지의 거리를 거리측정함에 의해 초점 정보를 취득하도록 구성된다. 이 경우, 거리측정부(7)는 결정부(6)로부터 입력된 2차원 좌표를 기초로, 적외선 등을 사출하는 방향을 결정한다.
거리측정부(7)는, 초점 정보를 취득하면, 취득된 초점 정보를 촬상부(2)에 출력한다.
[[입력부]]
입력부(11)는, 셔터 릴리스 버튼 등을 이용하여 구성된다. 입력부(11)는 유저에 의한 명령의 입력을 검지하면, 입력된 명령에 따라 촬상 장치(1)의 각 부분에 대해 명령의 통지를 행한다. 예를 들면, 입력부(11)는 유저에 의해 오토 포커스의 명령의 입력을 검지하면, 촬상부(2)에 대해 오토 포커스의 명령을 통지한다. 또한, 예를 들면 입력부(11)는 유저에 의해 촬상 명령의 입력을 검지하면, 촬상부(2)에 대해 촬상의 명령을 통지한다.
입력부(11)가 셔터 릴리스 버튼을 이용하여 구성되는 경우, 오토 포커스의 명령은, 예를 들면 이 셔터 릴리스 버튼이 반 눌림에 의해 입력부(11)에 의해 검지된다. 또한, 촬상의 명령은, 예를 들면 이 셔터 릴리스 버튼이 완전히 눌림에 의해 입력부(11)에 의해 검지된다.
[동작예]
도 5는, 촬상 장치(1)의 동작예를 도시한 플로우 차트이다. 이하, 도 5를 이용하여 촬상 장치(1)의 동작예에 관해 설명한다.
촬상 장치(1)에 전원이 투입되면, 촬상부(2)는 포커스 렌즈를 소정의 초점 정보에 의거한 상태가 되도록 제어한다.
입력부(11)는, 셔터 릴리스 버튼이 유저에 의해 반 눌린 것을 검지하면(S01), 오토 포커스의 명령이 입력된 것을 촬상부(2)에 통지한다.
촬상부(2)는, 거리측정부(7)로부터 초점 정보가 입력되어 있는지의 여부를 판단한다. 초점 정보가 입력되지 않은 경우(S02-N0), 촬상부(2)는 포커스 렌즈가 소정의 초점 정보에 의거한 상태로 제어되어 있는 채로 촬상을 행한다(S03). 촬상부(2)는 촬상된 화상 데이터를 초점 맞춤 대상 결정부(4)에 출력한다.
초점 맞춤 대상 결정부(4)는, 입력되는 화상의 데이터에 의거하여 초점을 맞추는 피사체를 결정한다(S04). 도 6은, 초점 맞춤 대상 결정부(4)의 동작예를 도시한 플로우 차트이다. S04의 처리에 관해 도 6을 이용하여 설명한다.
우선, 얼굴 검출부(5)는 입력된 화상으로부터 인물의 얼굴을 검출한다(S10). 얼굴 검출부(5)는 검출된 얼굴의 화상 정보를 결정부(6)에 출력한다.
결정부(6)는, 얼굴 검출부(5)에 의해 검출된 얼굴의 수를 조사한다. 얼굴의 수가 1보다 적은 경우(S11 : <1), 즉 0인 경우, 결정부(6)는 화면 중앙의 2차원 좌표를 거리측정부(7)에 출력한다. 얼굴의 수가 1보다 많은 경우(S11 : >1), 즉 복수의 얼굴이 검출된 경우, 결정부(6)는 제 1의 처리를 실행하고, 검출된 복수의 얼굴로부터 하나의 얼굴을 선택한다(S13).
검출된 얼굴이 하나인 경우(S11 : =1), 또는 S13의 처리의 후, 결정부(6)는 하나의 얼굴에 의거하여 초점을 맞추는 피사체를 결정한다(S14). 여기서 말하는 하나의 얼굴이란, 검출된 얼굴의 수가 하나인 경우는 그 유일하게 검출된 얼굴이고, S13의 처리의 후인 경우는 선택된 얼굴이다. 그리고, 결정부(6)는 결정된 피사체의 2차원 좌표를 취득하고, 이 2차원 좌표를 거리측정부(7)에 출력한다(S15).
도 5를 이용한 설명으로 되돌아온다. S04의 처리의 후, 거리측정부(7)는 초점 맞춤 대상 결정부(4)의 결정부(6)로부터 출력되는 2차원 좌표에 의거하여 결정된 피사체에 대한 초점 정보를 취득한다(S05). 거리측정부(7)는 취득된 초점 정보를 촬상부(2)에 출력한다. 이 처리의 후, 재차 S02 이후의 처리가 실행된다.
S02에서, 촬상부(2)에 대해 거리측정부(7)로부터 초점 정보의 입력이 있는 경우(S02-YES), 촬상부(2)는 입력된 초점 정보에 의거하여 포커스 렌즈를 제어한다(S06). 즉, 촬상부(2)는 초점 맞춤 대상 결정부(4)에 의해 결정된 피사체에 초점이 맞도록 포커스 렌즈를 제어한다.
포커스 렌즈의 제어 후, 촬상부(2)는 촬상을 행한다(S07). 이 촬상에 의해 초점 맞춤 대상 결정부(4)에 의해 결정된 피사체에 초점이 맞는 화상이 촬상된다. 그리고, 화상 기억부(3)는 촬상부(2)에 의해 촬상된 화상의 데이터를 기억한다(S08).
[작용/효과]
도 7은, 촬상 장치(1)에 의해 촬상된 화상의 예를 도시한 도면이다. 촬상 장치(1)에서는, 배경으로서 촬상되는 인물의 얼굴이 아니라, 주요 피사체로서의 얼굴(태선의 직사각형으로 둘러싸여 있는 얼굴)이 검출되고, 이 주요 피사체에 대해 초점이 맞도록 촬상이 실시된다.
촬상 장치(1)에서는, 초점 맞춤 대상 결정부(4)의 얼굴 검출부(5)는, 초점 맞춤의 대상이 되는 피사체로서 인물의 얼굴을 검출한다. 그때에, 얼굴 검출부(5) 는 주목 영역 내의 제 1 특징 영역과 제 2 특징 영역의 농담차를 기초로 얼굴의 검출을 행한다. 어느 영역 내의 농담치를 얻을 때, 이 영역 내에 촬상된 피사체에 초점이 맞지 않는 경우라도, 초점이 맞추어져 있는 경우에 가까운 값을 얻는 것이 가능하다. 이 때문에, 촬상 장치(1)에서는, 인물의 얼굴에 초점이 맞지 않는 화상이 촬상된 경우라도, 이 얼굴을 검출하는 것이 가능하게 된다. 따라서, 촬상 장치(1)에서는, 인물의 얼굴을 검출할 때에 사용되는 화상을 촬상할 때에, 피사체에의 초점 제어를 행할 필요가 없다. 따라서, 이 촬상 처리할 때에 촬상 장치(1)에서는, 소정의 초점으로 제어된 촬상부(2)의 포커스 렌즈에 관해, 다시 초점의 제어를 행할 필요가 없고, 고속으로 촬상을 실행하는 것이 가능하게 된다.
또한, 초점 맞춤 대상 결정부(4)는 하나의 화상, 즉 소정의 초점으로 제어되어 촬상된 화상에 관해서만 얼굴 검출을 행한다. 이 때문에, 촬상 장치(1)에서는, 복수의 화상에 대해 얼굴의 검출을 행할 필요가 없고, 얼굴을 고속으로 검출하는 것이 가능하게 된다.
또한, 촬상 장치(1)에서는, 복수의 얼굴이 검출된 경우, 초점 맞춤 대상 결정부(4)가 어느 하나의 얼굴을 선택하고 이 얼굴에 의거하여 초점 맞춤의 대상이 되는 피사체를 결정한다. 이 때문에, 촬상 장치(1)에 의하면, 유저는 프레임 내에 들어가 있는 복수의 얼굴로부터 일부러 하나의 얼굴을 선택할 필요가 없다.
[변형예]
초점 맞춤 대상 결정부(4)는, 촬상 장치(1)에 포함되는 것은 아니고, 촬상 장치(1)의 외부 장치로서 독립하여 구성되어도 좋다. 또한, 이와 같이 외부 장치로 서 구성된 초점 맞춤 대상 결정부(4)는, 거리측정부(7)와 같은 기능을 갖는 도시하지 않은 거리측정부를 자체 장치에 구비하도록 구성되어도 좋다.
또한, 촬상 장치(1)는 거리측정부(7)에 의해 피사체까지의 거리를 거리측정함에 의해 초점 정보를 취득하고 있지만, 거리측정 이외의 방법에 의해 초점 정보를 취득하도록 구성되어도 좋다.
또한, 촬상 장치(1)는 검출된 얼굴에 의거하여 촬상이 실시될 때에 노출 제어를 행하는 대상이 되는 피사체를 결정함에 의해 노출 제어를 행하도록 구성되어도 좋다. 이 경우, 결정부(6)는 노출 제어를 행하는 대상이 되는 피사체를 결정한다. 또한, 이 경우, 촬상 장치(1)는 결정부(6)에 의해 결정된 피사체에 따라 노출 제어 정보를 취득하는 측광부를 또한 구비한다. 측광부는, 결정부(6)에 의해 결정된 피사체를 노광 에어리어로 하여 측광을 행함에 의해 노광량(노출 제어 정보)을 산출한다. 다음에, 측광부는 산출된 노출 제어 정보를 촬상부(2)에 건네준다. 그리고, 촬상부(2)는 조리개 등을 조절함에 의해 이 노출 제어 정보에 의거한 노출 제어를 실시하고, 촬상을 행한다.
또한, 얼굴 검출부(5)는 피부의 색을 갖는 피사체를 얼굴로서 검출하도록 구성되어도 좋다. 이와 같이 구성됨에 의해 정확하게 인물의 얼굴을 검출할 수는 없지만, 검출 처리에 필요로 하는 시간을 삭감하는 것이 가능해지고, 얼굴 검출부(5)의 실장에 필요로 하는 시간이나 비용을 삭감하는 것도 가능하게 된다.
또한, 촬상부(2)는, 오토 포커스 기능이 아니라, 매뉴얼 포커스의 장치로서 실현되어도 좋다. 이 경우, 예를 들면 유저에 의해 포커스 렌즈가 조작되고, 거리 측정부(7)로부터 입력된 초점 정보에 적합한 상태가 된 때에, 초점 맞춘 것을 유저에게 통보하도록 구성되어도 좋다.
또한, 촬상 장치(1)는, CCD를 구비한 촬상부(2)에 의해 최종적으로 촬상을 실시하는 것이 아니라, 필름에 촬상한 은연(銀鉛) 카메라로서 구성되어도 좋다. 이 경우, 촬상 장치(1)는 CCD를 구비한 촬상부(2)와, 은연 카메라로서의 촬상부를 구비한다. 또한, 이 경우 화상 기억부(3)는 반드시 촬상 장치(1)에서 필요하지는 않다. 촬상부(2)는 초점 맞춤 대상 결정부(4)에 예비 촬상된 화상을 입력하기 위해 촬상을 실시한다. 그리고, 거리측정부(7)에 의한 초점 정보에 의거한 포커스 렌즈의 조절은, 은연 카메라로서의 촬상부에서 실시된다. 다만, 촬상부(2)와 은연 카메라로서의 촬상부는, 예를 들면 포커스 렌즈 등, 그 구성의 일부를 공유하도록 구성되어도 좋다.
[제 2 내지 제 6 실시 형태의 개요]
이하에, 도면을 이용하여 초점 맞춤 대상 결정부(16)(16a, 16b, 16c, 16d, 16e)를 구비하는 촬상 장치(12)(12a, 12b, 12c, 12d, 12e)에 관해 설명한다. 이 설명에서, 인물 화상이란, 적어도 인물의 얼굴의 일부 또는 전부의 화상을 포함하는 화상이다. 따라서, 인물 화상이란 인물 전체의 화상을 포함하여도 좋고, 인물의 얼굴만이나 상반신만의 화상을 포함하여도 좋다. 또한, 복수의 인물에 관한 화상을 포함하여도 좋다. 또한, 배경에 인물 이외의 풍경(배경 : 피사체로서 주목된 물건도 포함한다)이나 모양 등의 어떠한 패턴이 포함되어도 좋다.
또한, 초점 맞춤 대상 결정부(16)나 촬상 장치(12)에 관한 이하의 설명은 예 시이고, 그 구성은 이하의 설명으로 한정되지 않는다.
[제 2 실시 형태]
[시스템 구성]
우선, 초점 맞춤 대상 결정부(16a)를 구비하는 촬상 장치(12a)에 관해 설명한다. 촬상 장치(12a)는, 하드웨어적으로는 버스를 통하여 접속된 CPU(중앙 연산 처리 장치), 주기억 장치(RAM), 보조 기억 장치, 및 디지털 카메라나 디지털 비디오 카메라로서 동작하기 위한 각 장치(촬상 렌즈, 메커 기구, CCD, 조작부, 모터 등) 등을 구비한다. 보조 기억 장치는, 불휘발성 기억 장치를 이용하여 구성된다. 여기서 말한 불휘발성 기억 장치란, 이른바 ROM, FRAM, 하드 디스크 등을 가리킨다.
도 8은, 촬상 장치(12a)의 기능 블록을 도시한 도면이다. 촬상 장치(12a)는, 보조 기억 장치에 기억된 각종의 프로그램(OS, 어플리케이션 프로그램 등)이 주기억 장치에 로드되고 CPU에 의해 실행됨에 의해 입력부(13), 촬상부(14), 화상 기억부(15), 초점 맞춤 대상 결정부(16a), 및 거리측정부(21) 등을 포함하는 장치로서 기능한다. 초점 맞춤 대상 결정부(16a)는 초점 맞춤 대상 결정 프로그램이 CPU에 의해 실행됨에 의해 실현된다. 또한, 초점 맞춤 대상 결정부(16a)는 전용의 하드웨어로서 실현되어도 좋다.
이하, 도 8을 이용하여, 촬상 장치(12a)에 포함되는 각 기능부에 관해 설명한다.
<입력부>
입력부(13)는, 셔터 릴리스 버튼 등을 이용하여 구성된다. 입력부(13)는 유저에 의한 명령의 입력을 검지하면, 입력된 명령에 따라 촬상 장치(12a)의 각 부분에 대해 명령의 통지를 행한다. 예를 들면, 입력부(13)는 유저에 의한 오토 포커스의 명령의 입력을 검지하면, 촬상부(14)에 대해 오토 포커스의 명령을 통지한다. 또한, 예를 들면 입력부(13)는 유저에 의한 촬상의 명령의 입력을 검지하면, 촬상부(14)에 대해 촬상의 명령을 통지한다.
입력부(13)가 셔터 릴리스 버튼을 이용하여 구성되는 경우, 오토 포커스의 명령은, 예를 들면 이 셔터 릴리스 버튼이 반 눌림에 의해 입력부(13)에 의해 검지된다. 또한, 촬상의 명령은, 예를 들면 이 셔터 릴리스 버튼이 완전히 눌림에 의해 입력부(13)에 의해 검지된다.
<촬상부>
촬상부(14)는, 촬상 렌즈, 메커 기구, CCD, 모터 등을 이용하여, 오토 포커스 기능을 구비한 장치로서 구성된다. 촬상 렌즈는, 예를 들면 줌 기능을 실현하기 위한 줌 렌즈나, 임의의 피사체에 대해 초점을 맞추기 위한 포커스 렌즈 등을 포함한다. 메커 기구는, 메커니컬 셔터나 조리개나 필터 등을 포함한다. 모터는 줌 렌즈 모터나 포커스 모터나 셔터 모터 등을 포함한다.
촬상부(14)는, 도시하지 않은 기억부를 구비하고, 이 기억부에 소정의 초점 정보를 기억한다. 소정의 초점 정보란, 미리 정해진 하나의 초점 정보이다. 촬상 장치(12a)의 전원이 온으로 되어 있는 경우로서 거리측정부(21)로부터 초점 정보의 입력이 없는 경우, 촬상부(14)의 포커스 렌즈는, 이 소정의 초점 정보에 의거한 상 태가 되도록 제어된다. 한편, 거리측정부(21)로부터 초점 정보의 입력이 있는 경우, 촬상부(14)의 포커스 렌즈는 입력된 초점 정보에 의거한 상태가 되도록 제어된다.
촬상부(14)는, 상기한 바와 같이 제어된 포커스 렌즈를 포함하는 촬상 렌즈를 통하여 결상된 피사체의 화상을, CCD에 의해 전기 신호로 변환함에 의해 촬상을 행한다.
촬상부(14)는, 입력부(13)를 통한 유저에 의한 입력시마다 1장 또는 복수매의 정지화상을 촬상하도록 구성되어도 좋다. 또한, 촬상부(14)는 입력부(13)를 통한 유저에 의한 입력에 따라, 복수 프레임에 의해 구성되는 동화상(시계열 화상)을 촬상하도록 구성되어도 좋다. 또한, 촬상부(14)는 동화상을 촬상하도록 구성된 경우, 복수 프레임중에서 하나의 프레임의 화상을 취득하고, 이 프레임의 화상을 처리 대상의 화상으로서 초점 맞춤 대상 결정부(16a)에 건네주도록 구성되어도 좋다.
<화상 기억부>
화상 기억부(15)는, 이른바 RAM 등의 판독기록 가능한 기록 매체 등을 이용하여 구성된다. 화상 기억부(15)는, 촬상 장치(12a)에 대해 착탈 가능한 기록 매체를 이용하여 구성되어도 좋다. 화상 기억부(15)는 촬상부(14)에 의해 촬상된 화상의 데이터를 기억한다.
<초점 맞춤 대상 결정부>
초점 맞춤 대상 결정부(16a)는, 촬상부(14)에 의해 촬상된 피사체로부터, 초점을 맞추는 피사체, 즉 초점 맞춤의 대상이 되는 얼굴을 결정한다. 이때, 초점 맞 춤 대상 결정부(16a)는, 촬상부(14)에 의해 초점 맞춤용으로 촬상된 화상을 이용하여 처리를 행한다. 이 초점 맞춤용으로 촬상된 화상은, 촬상부(14)에 의해 초점 맞춤 대상 결정부(16a)에 입력된다.
초점 맞춤 대상 결정부(16a)는, 얼굴 검출부(17a) 및 결정부(18a)를 포함한다. 이하, 초점 맞춤 대상 결정부(16a)를 구성하는 각 기능부에 관해 설명한다.
<얼굴 검출부>
얼굴 검출부(17a)는, 초점 맞춤용의 화상으로부터 인물의 얼굴을 포함하는 영역(이후 「얼굴 영역」이라고 부른다)의 좌표를 얻는다. 이 얼굴 직사각형의 좌표에 의해, 초점 맞춤용의 화상에 있어서의 사람의 얼굴 영역의 위치나 크기가 특정된다.
얼굴 영역의 검출은, 기존의 어떤 기술을 적용함에 의해 실현되어도 좋다. 예를 들면, 얼굴 전체의 윤곽에 대응한 기준 템플릿을 이용한 템플릿 매칭에 의해 얼굴 직사각형의 좌표가 얻어져도 좋다. 또한, 얼굴의 구성 요소(목, 코, 귀 등)에 의거한 템플릿 매칭에 의해 얼굴 직사각형의 좌표가 얻어져도 좋다. 또한, 크로마 키 처리에 의해 두발의 정점(頂点)이 검출되고, 이 정점에 의거하여 얼굴 직사각형의 좌표가 얻어져도 좋다. 또한, 피부의 색 영역의 검출에 의거하여 얼굴 직사각형의 좌표가 얻어져도 좋다.
<결정부>
결정부(18a)는, 얼굴 검출부(17a)에 의해 검출된 얼굴중에서, 초점 맞춤의 대상이 되는 얼굴을 결정한다. 결정부(18a)는 결정된 얼굴에 관한 얼굴 직사각형의 좌표(예 : 얼굴 직사각형의 중앙을 나타내는 좌표)를 거리측정부(21)에 건네준다. 결정부(18a)는 중심 결정부(19a) 및 얼굴 결정부(20a)를 포함한다. 이하, 결정부(18a)를 구성하는 각 기능부에 관해 설명한다.
<중심 결정부>
중심 결정부(19a)는, 얼굴 검출부(17a)에 의해 검출된 얼굴이 복수인 경우, 검출된 복수의 얼굴 위치의 중심을 구한다. 여기서는, 얼굴 직사각형의 중앙의 점(이하, 「얼굴점」이라고 부른다)이 얼굴의 위치를 나타내는 것으로 한다. 검출된 얼굴이 2개인 경우는, 중심 결정부(19a)는 2개의 얼굴점의 중점을 구한다. 또한, 검출된 얼굴이 3개 이상인 경우는, 중심 결정부(19a)는 이하의 어느 하나의 방법에 의해 중심을 구한다.
<<외접 다각형법>>
외접 다각형법에서는, 중심 결정부(19a)는, 복수의 얼굴점에 외접하는 다각형의 중심을, 복수의 얼굴 위치의 중심으로서 구한다. 이용되는 다각형의 정점 수는 얼마라도 좋고, 미리 정하여진다. 여기서는, 정점 수가 4점인 경우에 관해 설명한다.
도 9는, 외접 다각형법에 의거하여 중심 결정부(19a)가 중심을 취득하는 처리를 설명하기 위한 도면이다. 중심 결정부(19a)는, 복수의 얼굴점에서의 x좌표 및 y좌표 각각에 대해 최대치 및 최소치를 판단한다. 중심 결정부(19a)는, x좌표의 최대치, 최소치를 취하는 얼굴점을 포함하는 y축에 평행한 직선과, y좌표의 최대치, 최소치를 취한 얼굴점을 포함하는 x축에 평행한 직선에 의해 생성된 직사각형(직교 좌표계에서, x축, y축에 평행하고 또한 얼굴점 좌표의 각 좌표 성분의 최대치 및 최소치를 각각 통과하는 각 선의 교점이 정점을 구성하는 직사각형)을 생성한다. 그리고, 중심 결정부(19a)는, 생성된 직사각형의 대각선의 교점의 좌표를 중심의 좌표로서 취득한다.
<<중심법(重心法)>>
도 10은, 중심법에 의거하여 중심 결정부(19a)가 중심을 취득하는 처리를 설명하기 위한 도면이다. 중심법에서는, 중심 결정부(19a)는 복수의 얼굴점의 중심(重心)을 취득한다. 구체적으로는, 중심 결정부(19a)는 각 얼굴점의 위치 벡터의 합을 얼굴점의 수로 제산(除算)함에 의해 중심(重心)의 위치 벡터를 취득하고, 이 위치 벡터에 의거하여 중심(重心)의 좌표를 취득한다. 그리고, 중심 결정부(19a)는, 취득된 중심(重心)의 좌표를 중심의 좌표로서 취득한다. 도 10에는, 6개의 얼굴점에 대해, 어떤 기준점(예를 들면 각 얼굴점의 좌표 성분 각각의 최소치에 의해 나타나는 점)으로부터의 위치 벡터가 각각 구하여지고, 중심(重心) 좌표(Xg, Yg)가 구하여진 양상이 도시되어 있다.
<얼굴 결정부>
얼굴 결정부(20a)는, 중심 결정부(19a)에 의해 취득된 중심의 좌표에 의거하여, 어느 얼굴에 의거하여 초점 맞춤을 행하면 좋은지 결정한다. 도 11은, 얼굴 결정부(20a)에 의한 처리를 설명하기 위한 도면이다. 얼굴 결정부(20a)는, 중심으로부터 소정의 거리 내에 위치하는 얼굴중에서 소정의 기준에 따라 얼굴을 선택한다. 이때, 얼굴 결정부(20a)는 얼굴의 크기, 얼굴의 위치, 얼굴 방향 등 어떤 기준에 의거하여 얼굴을 결정하여도 좋다. 예를 들면, 얼굴 결정부(20a)는 중심 결정부(19a)에 의해 취득된 중심으로부터 소정의 거리 내에 위치하는 얼굴중에서, 화상(프레임)의 중앙점(도 11에서 심볼 「×」에 의해 도시)에 가장 가까운 얼굴(태선의 원으로 둘러싸인 얼굴점)을 선택한다.
도 11에 도시한 예에서는, 얼굴점의 중심(FO)으로부터 소정의 거리(R)를 반경으로 하는 원(C1) 내에 존재하는 2개의 얼굴점(F1 및 F2)에 관해, 화상(프레임)의 중심 점(O)과의 거리(L1 및 L2)가 측정된다. 그리고, L1<L2이기 때문에, 얼굴점(F1)이 초점 맞춤 대상의 얼굴점(즉, 초점 맞춤 대상의 얼굴)으로서 결정된다.
얼굴 결정부(20a)는, 선택된 얼굴점의 좌표를 거리측정부(21)에 건네준다.
<거리측정부>
거리측정부(21)는, 초점 맞춤 대상 결정부(16a)의 얼굴 결정부(20a)에 의해 결정된 얼굴에 초점을 맞추기 위한 초점 정보를 취득한다. 이때 거리측정부(21)는, 얼굴 결정부(20a)로부터 입력되는 2차원 좌표(얼굴점의 좌표)를 기초로, 초점을 맞추기 위한 피사체를 특정한다. 거리측정부(21)에 의해 실시되는 거리측정은, 예를 들면 얼굴의 실물에 대해 적외선을 사출함에 의해 실시되는 방식(액티브 방식)이 적용되어도 좋고, 이와 같은 액티브 방식 이외의 방식(예를 들면 패시브 방식)이 적용되어도 좋다.
예를 들면, 거리측정부(21)는, 적외선 등을 피사체에 대해 사출함에 의해 피사체까지의 거리를 거리측정함에 의해 초점 정보를 취득하도록 구성된다. 이 경우, 거리측정부(21)는 얼굴 결정부(20a)로부터 입력되는 2차원 좌표를 기초로, 적외선 등을 사출하는 방향을 결정한다.
거리측정부(21)는, 초점 정보를 취득하면, 취득된 초점 정보를 촬상부(14)에 건네준다.
[동작예]
도 12는, 촬상 장치(12a)의 동작예를 도시한 플로우 차트이다. 이하, 도 12를 이용하여 촬상 장치(12a)의 동작예에 관해 설명한다.
촬상 장치(12a)에 전원이 투입되면, 촬상부(14)는 포커스 렌즈를 소정의 초점 정보에 의거한 상태가 되도록 제어한다.
입력부(13)는, 셔터 릴리스 버튼이 유저에 의해 반 눌린 것을 검지하면(S16), 오토 포커스의 명령이 입력된 것을 촬상부(14)에 통지한다.
촬상부(14)는, 거리측정부(21)로부터 초점 정보가 입력되어 있는지의 여부를 판단한다. 초점 정보가 입력되지 않은 경우(S17-NO), 촬상부(14)는 초점 맞춤용의 화상을 촬상한다(S18). 촬상부(14)는 촬상된 초점 맞춤용의 화상을, 초점 맞춤 대상 결정부(16a)에 건네준다.
초점 맞춤 대상 결정부(16a)는, 입력된 초점 맞춤용의 화상에 의거하여 초점을 맞추는 대상이 되는 얼굴을 결정한다(S19). 도 13은, 초점 맞춤 대상 결정부(16a)의 동작예(초점을 맞추는 얼굴의 결정 처리(S19)의 예)를 도시한 플로우 차트이다. S19의 처리에 관해 도 13을 이용하여 설명한다.
우선, 얼굴 검출부(17a)는 입력된 화상으로부터 인물의 얼굴을 검출한다(S24). 얼굴 검출부(17a)는 검출된 얼굴의 화상 정보를 결정부(18a)의 중심 결정부 (19a)에 건네준다.
중심 결정부(19a)는, 얼굴 검출부(17a)에 의해 검출된 얼굴의 수를 조사한다. 얼굴의 수가 1보다 적은 경우(S25 : <1), 즉 0인 경우, 중심 결정부(19a)는 얼굴이 없는 것을 얼굴 결정부(20)에 통지한다. 그리고, 얼굴 결정부(20a)는 화상 중앙의 2차원 좌표를 거리측정부(21)에 건네준다(S26).
얼굴의 수가 1보다 많은 경우(S25 : >1), 즉 복수의 얼굴이 검출된 경우, 결정부(18a)는 복수의 얼굴로부터 하나의 얼굴을 선택하는 처리를 실행한다(S27). 도 14는, 복수의 얼굴로부터 하나의 얼굴을 선택하는 처리(S27)의 예를 도시한 플로우 차트이다. 도 14를 이용하여 S27의 처리에 관해 설명한다.
중심 결정부(19a)는 검출된 얼굴의 얼굴점의 중심의 좌표를 취득한다(S29). 중심 결정부(19a)는 얼굴 결정부(20a)에 취득된 중심의 좌표를 건네준다. 다음에, 얼굴 결정부(20a)는 입력된 중심의 좌표에 의거하여, 예를 들면 도 11을 이용하여 설명한 수법에 의해 하나의 얼굴을 선택한다(S30).
도 13을 이용한 설명으로 되돌아온다. 화상으로부터 검출된 얼굴이 하나인 경우(S25 : =1), 또는 S27의 처리의 후, 얼굴 결정부(20a)는 하나의 얼굴의 얼굴점의 2차원 좌표를 거리측정부(21)에 건네준다(S28). 여기서 말하는 하나의 얼굴이란, 검출된 얼굴의 수가 하나인 경우는 이 유일하게 검출된 얼굴이고, S27의 처리의 후인 경우는 선택된 얼굴이다.
도 12를 이용한 설명으로 되돌아온다. S19의 처리의 후, 거리측정부(21)는, 초점 맞춤 대상 결정부(16a)의 얼굴 결정부(20a)로부터 건네받는 2차원 좌표에 의 거하여 초점 정보를 취득한다(S20). 거리측정부(21)는, 취득된 초점 정보를 촬상부(14)에 건네준다. 이 처리의 후, 다시 한번 S17 이후의 처리가 실행된다.
S17에서, 촬상부(14)에 대해 거리측정부(21)로부터 초점 정보의 입력이 있는 경우(S17-YES), 촬상부(14)는, 입력된 초점 정보에 의거하여 포커스 렌즈를 제어한다(S21). 즉, 촬상부(14)는, 초점 맞춤 대상 결정부(16a)에 의해 결정된 얼굴에 초점이 맞도록 포커스 렌즈를 제어한다.
포커스 렌즈의 제어의 후, 촬상부(14)는 촬상을 행한다(S22). 이 촬상에 의해, 초점 맞춤 대상 결정부(16a)에 의해 결정된 얼굴에 초점이 맞은 화상이 촬상된다. 그리고, 화상 기억부(15)는, 촬상부(14)에 의해 촬상된 화상의 데이터를 기억한다(S23).
[작용/효과]
본 발명의 제 2 실시 형태인 촬상 장치(12a)에 의하면, 화상중에 존재한 사람의 얼굴이 검출되고, 검출된 얼굴의 어느 하나가 초점 맞춤의 대상으로서 자동적으로 결정된다. 이 때문에, 유저는, 초점 맞춤의 대상으로 하고 싶은 얼굴을, 화상(프레임)의 중심에 위치시킬 필요는 없다. 환언하면 유저는, 초점 맞추고 싶은 얼굴을 프레임의 중심에 두도록 할 필요가 없다.
또한, 본 발명의 제 2 실시 형태인 촬상 장치(12a)에 의하면, 화상중에 복수의 얼굴이 존재하는 경우, 화상중에 존재하는 복수의 얼굴 위치의 중심에 의거하여, 초점 맞추는 대상이 되는 얼굴이 결정된다. 이 때문에, 화상중에 복수의 얼굴이 존재한 경우라도, 초점 맞춤의 대상으로 하여야 할 하나의 얼굴을 결정하는 것 이 가능하게 된다. 또한, 집단에서의 복수 얼굴의 중앙 부근에 위치하는 얼굴에 대해 초점 맞춤을 행하는 것이 가능하게 된다.
[변형예]
얼굴 결정부(20a)는, 중심부터 소정의 거리 내에 위치하고, 또한 정면을 향하고 있는 얼굴중에서, 소정의 기준에 따라 얼굴을 선택하도록 구성되어도 좋다. 이때, 얼굴 결정부(20a)는 얼굴이 정면을 향하고 있는지의 여부에 관해, 예를 들면 이하의 공지 문헌에 기재된 기술에 의해 판단한다.
H. Schneiderman, T. Kanade. "A Statistical Method for 3D 0bject Detection Applied to Facesand Cars." IEEE Conference on Computer Vision and Pattern Recognition, 2000.
또한, 상기한 기재에서는 중심 결정부(19a)가 얼굴의 위치를 점으로서 파악하는 구성에 관해 설명하였지만, 중심 결정부(19a)는 얼굴의 위치를 영역으로서 파악하도록 구성되어도 좋다.
또한, 얼굴 결정부(20a)에 의해 결정된 얼굴은, 도시하지 않은 표시부를 통하여, 그 얼굴의 주위에 테두리가 표시되도록 구성되어도 좋다. 이와 같이 구성됨에 의해, 유저는 어느 얼굴이, 초점 맞춤의 대상으로서 결정되었는지를 아는 것이 가능하게 된다. 또한, 유저는, 이와 같이 표시된 얼굴에 대해 초점 맞추어진 것에 불만이 있는 경우는, 입력부(13)에 의해 명령을 입력함으로써 수동으로 다른 얼굴에 대해 초점이 맞추어지도록 조작 가능하게 설계되어도 좋다.
또한, 얼굴 결정부(20a)는, 중심으로부터 소정의 거리 내에 위치하며, 또한 그 중에서 소정의 크기 이상의 얼굴중에서, 소정의 기준에 따라 얼굴을 선택하도록 구성되어도 좋다.
또한, 촬상 장치(12a)는, 결정부(18a)에 의해 결정된 얼굴에 의거하여 노출 제어를 실행하도록 구성되어도 좋다. 이 점은, 후술하는 제 2 내지 제 6 실시 형태에서도 마찬가지이다.
또한, 결정부(18a)는, 얼굴 검출부(17a)에 의해 검출된 각 얼굴을 그 x좌표 또는 y좌표를 기초로 소트하고, 검출된 얼굴 수의 중간치의 순위에 상당하는 얼굴을 대상이 되는 얼굴로서 결정하여도 좋다.
또한, 결정부(18a)는, 얼굴 검출부(17a)에 의해 검출된 얼굴중에서, 소정의 기준에 따라 얼굴을 결정하도록 구성되어도 좋다. 소정의 기준이란, 예를 들면 얼굴의 크기에 의거한 것(예 : 가장 큰 얼굴을 결정한다는 기준, 중간 크기의 얼굴을 결정한다는 기준, 최소의 얼굴을 결정한다는 기준)이라도 좋고, 화상중에서의 얼굴의 위치에 의거한 것(예 : 화상의 중앙에 가장 가까운 얼굴이라는 기준)이라도 좋고, 얼굴 방향에 의거한 것(예 : 정면을 향하고 있는 얼굴이라는 기준)이라도 좋고, 얼굴다움에 의거한 것(예 : 얼굴다움의 정도를 나타내는 양이 가장 큰 얼굴을 결정한다는 기준)이라도 좋고, 얼굴로부터 추정된 성별에 의거한 것(예 : 남자로 추정된 얼굴을 결정한다는 기준, 여자로 추정된 얼굴을 결정한다는 기준)이라도 좋고, 얼굴로부터 추정되는 연대에 의거한 것(가장 젊은 연대로 추정된 얼굴을 결정한다는 기준, 중간의 연대로 추정된 얼굴을 결정한다는 기준)이라도 좋고, 그 밖에 어떤 기준이라도 좋다. 또한, 소정의 기준이란, 상기한 기준을 적절히 복수 조합한 것이라도 좋다.
또한, 상기한 설명에서는, 촬상부(14)는 하나의 피사체에 대해 초점 맞춤을 행하도록 구성되어 있는 것을 전제로 하고 있다. 이 때문에, 초점 맞춤 대상 결정부(16a)는 하나의 얼굴의 좌표를 거리측정부(21)에 건네주고 있다. 그러나, 촬상부(14)가 복수의 피사체에 대해 초점 맞춤을 행하도록 구성되는 경우, 초점 맞춤 대상 결정부(16a)는 이 수에 따라 복수 얼굴의 좌표를 거리측정부(21)에 건네주도록 구성되어도 좋다. 이와 같은 촬상부(14)의 예로서, 특개평11-295826에 기재되는 장치가 있다. 이 경우, 결정부(5a)의 얼굴 결정부(20a)는, 소정의 기준에 따라 얼굴에 우선 순위를 매기고, 이 우선 순위에 의거하여 소정의 수의 얼굴을 선택한다. 예를 들면, 얼굴 결정부(20a)는 중심 결정부(19a)에 의해 결정된 중심에 가까운 순서로부터 소정의 수의 얼굴을 선택하도록 구성할 수 있다. 선택되는 얼굴의 수가 소정의 수에 달하지 않는 경우는, 그 밖에 어떤 방법에 의해, 거리측정부(21)에 건네주는 좌표가 취득되어도 좋다.
[제 3 실시 형태]
다음에, 초점 맞춤 대상 결정부(16b)를 구비하는 촬상 장치(12b)에 관해 설명한다. 이하, 촬상 장치(12b) 및 초점 맞춤 대상 결정부(16b)에 관해, 제 2 실시 형태에 있어서의 촬상 장치(12a) 및 초점 맞춤 대상 결정부(16a)와 다른 점에 관해 설명한다.
[시스템 구성]
도 15는, 촬상 장치(12b)의 기능 블록을 도시한 도면이다. 촬상 장치(12b) 는, 초점 맞춤 대상 결정부(16a)에 대신하여 초점 맞춤 대상 결정부(16b)를 구비하는 점에서, 제 2 실시 형태에 있어서의 촬상 장치(12a)와 다르다. 따라서 이하, 촬상 장치(12b)의 입력부(13), 촬상부(14), 화상 기억부(15), 및 거리측정부(21)에 관한 설명은 생략한다.
<초점 맞춤 대상 결정부>
초점 맞춤 대상 결정부(16b)는 얼굴 검출부(17a), 분류부(22), 집합 결정부(23), 및 결정부(18b)를 포함한다. 이하, 초점 맞춤 대상 결정부(16b)를 구성하는 각 기능부에 관해 설명한다. 다만, 초점 맞춤 대상 결정부(16b)에 포함되는 얼굴 검출부(17a)는, 제 2 실시 형태에 있어서의 초점 맞춤 대상 결정부(16a)에 포함되는 얼굴 검출부(17a)와 같은 구성으로 되기 때문에 그 설명을 생략한다.
<분류부>
분류부(22)는, 얼굴 검출부(17a)에서 검출된 얼굴의 얼굴점을, 복수의 집합으로 클러스터링한다. 이 클러스터링에는, 최근방법(最近傍法) 등 어떤 수법이 사용되어도 좋다. 분류부(22)는, 각 얼굴점의 위치에 의거하여 클러스터링을 실행한다. 분류부(22)에 의한 클러스터링의 결과, 각 얼굴점은, 화상중의 위치가 가까운 얼굴점끼리가 같은 집합에 포함되도록 분류된다.
도 16은, 분류부(22)의 처리예를 도시한 도면이다. 도 16과 같이 복수의 얼굴점의 집단이 존재한 경우, 각각의 집단마다 하나의 집합으로서 분류된다.
<집합 결정부>
집합 결정부(23)는, 분류부(22)에서 분류된 복수의 집합중, 초점 맞춤의 대 상이 되는 얼굴을 결정하기 위한 집합(즉, 초점 맞춤의 대상이 되는 얼굴을 포함하는 집합 : 이하, 「선택 집합」이라고 부른다)을 결정한다. 즉, 거리측정부(21)에 건네주는 얼굴점의 좌표는, 집합 결정부(23)에 의해 결정된 선택 집합에 포함되는 얼굴의 얼굴점의 좌표로 된다.
집합 결정부(23)는, 각 집합에 포함되는 얼굴의 수, 각 집합에 포함되는 얼굴에 관한 특징량 등, 어떤 기준에 의거하여 선택 집합을 결정하여도 좋다. 예를 들면, 집합 결정부(23)는 각 집합에서 가장 많은 얼굴을 포함하는 집합을, 선택 집합으로서 결정한다. 또한, 예를 들면, 집합 결정부(23)는 각 집합에 포함되는 얼굴에 관한 특징량의 합이 가장 큰 집합을, 선택 집합으로서 결정한다. 얼굴에 관한 특징량은, 예를 들면, 얼굴의 크기, 얼굴 방향, 얼굴의 수 등에 의거하여 취득할 수 있다. 또한, 얼굴에 관한 특징량은, 사람의 얼굴 정도를 나타내는 값이라도 좋다. 사람의 얼굴 정도란, 예를 들면, 어느 화상이 사람의 얼굴인지의 여부를 아는 식별 경계선으로부터 거리에 의해 주어진다. 사람의 얼굴 정도란, 얼굴 검출부(17a)에서 얼굴 검출 처리할 때에 취득되는 값을 이용하여 나타내어도 좋다.
도 16을 이용하여, 집합 결정부(23)의 처리예를 설명한다. 분류부(22)의 처리에 의해 생성된 복수의 집합(도 16에서는 3개의 집합)으로부터, 소정의 기준(여기서는 집합에 포함되는 얼굴점의 수가 많은 것)에 따라, 집합 결정부(23)에 의해 우상(右上)의 집합이 선택 집합으로서 선택된다.
<결정부>
결정부(18b)는, 촬상부(14)에 의해 촬상된 화상 전체에 포함되는 얼굴이 아 니라, 집합 결정부(23)에 의해 결정된 선택 집합에 포함되는 얼굴에 의거하여 처리를 행하는(선택 집합을 얼굴의 결정의 모집단이라고 한다) 점에서, 결정부(18a)와 다르다. 결정부(18b)는, 상기한 점을 제외하면, 결정부(18a)와 같은 처리를 행한다.
도 17은, 결정부(18b)에 의한 처리예를 도시한 도면이다. 집합 결정부(23)에 의해 선택 집합에서, 결정부(18b)의 중심 결정부(19b)에 의해 얼굴점의 중심이 취득된다. 그리고, 취득된 중심에 의거하여, 얼굴 결정부(20b)에 의해 소정의 기준(여기서는 화상(프레임)의 중앙점에 가까운 것)에 따라, 하나의 얼굴점(태선의 원으로 둘러싸인 얼굴점)이 선택된다.
[동작예]
다음에, 제 3 실시 형태에 있어서의 촬상 장치(12b)의 동작예에 관해 설명한다. 촬상 장치(12b)의 동작은 제 2 실시 형태에 있어서의 촬상 장치(12a)의 동작과, S27의 처리의 내용을 제외하면 같다. 이 때문에, 촬상 장치(12b)의 동작예에 관해, S27의 처리의 내용에 관해서만 설명한다.
도 18은, 제 3 실시 형태에 있어서의 초점 맞춤 대상 결정부(16b)의 처리의 일부, 즉 도 13에 있어서의 S27의 처리의 내용을 도시한 플로우 차트이다. 제 3 실시 형태에서는, S27에 있어서, 제 2 실시 형태에서 설명한 도 14의 처리 대신에, 이 도 18에 도시한 처리가 행하여진다.
S27의 처리가 시작하면, 분류부(22)는 얼굴 검출부(17a)에 의해 검출된 복수의 얼굴점을 복수의 집합으로 클러스터링한다(S31). 다음에, 집합 결정부(23)는 분 류부(22)에 의해 생성된 복수의 집합으로부터 하나의 선택 집합을 선택한다(S32).
중심 결정부(19b)는, S32에서 선택된 선택 집합에 포함되는 얼굴에 의거하여, 이 선택 집합에 포함되는 복수의 얼굴점의 중심을 취득한다(S33). 그리고, 얼굴 결정부(20b)는 S33에서 취득된 중심에 의거하여, 초점 맞춤의 대상이 되는 얼굴로서 하나의 얼굴을 선택한다(S34).
[작용/효과]
제 3 실시 형태에 있어서의 촬상 장치(12b)에 의하면, 화상중에 복수의 집단이 존재하는 경우, 그중 하나의 집단에 포함되는 사람만에 의거하여, 초점 맞춤의 대상이 되는 얼굴을 결정하는 것이 가능하게 된다. 유저가 어떤 집단을 촬상하는 경우, 그 집단의 사람들은 1개소에 모여 있는 경우가 많다. 이때, 해당 집단에 속하지 않는 사람(단독인, 단독인의 산재, 다른 사람의 집단)이 프레임 내에 존재하고 있어도, 유저가 촬상하고 싶다고 생각하는 집단에 속한 사람중에서 초점 맞춤의 대상이 되는 피사체가 선택되는 것이 바람직하다. 제 3 실시 형태에 있어서의 촬상 장치(12b)에 의하면, 유저의 이와 같은 요망을 실현하는 것이 가능하게 된다. 즉, 제 3 실시 형태에서는, 프레임 내에 수납되는 가장 수가 많은 사람의 집단(집합)이 촬상 대상의 집단(선택 집합)이 선택되고, 해당 집단에 속한 어느 하나의 사람을 기준으로 한 초점 맞추기가 실현된다. 또한, 변형예의 난에 후술하는 바와 같이, 집합 결정부(23)에 의해 선택된 선택 집합이 유저에 있어서 바람직한 집합이 아닌 경우는, 유저에 의해 수동으로 임의의 집합을 선택 집합으로서 선택 가능하게 구성되어도 좋다.
도 19는, 촬상 장치(12b)에 의해 이루어지는 효과를 나타내기 위한 도면이다. 도 19와 같이 복수의 집단이 존재하는 경우라도, 예를 들면 화상의 좌하에 위치하는 집단에 포함되는 얼굴의 위치만에 의거하여, 그 집단의 중심에 가까운 얼굴(태선의 직사각형에 의해 둘러싸인 얼굴)이 선택된다.
[변형예]
집합 결정부(23)는, 각 집합에 포함되는 얼굴의 얼굴점의 중심에 의거하여 선택 집합을 결정하도록 구성되어도 좋다. 이 경우, 중심 결정부(19b)는 분류부(22)에 의해 생성된 각 집합에 포함되는 얼굴점에 관해 중심을 취득한다. 집합 결정부(23)는, 중심 결정부(19b)에 의해 취득된 각 집합에 있어서의 중심에 의거하여 선택 집합을 결정한다. 예를 들면, 집합 결정부(23)는 집합에 포함되는 얼굴점의 중심의 좌표가 화상의 중앙점에 가장 가까운 집합을, 선택 집합으로서 결정한다. 그리고, 얼굴 결정부(20b)는 선택 집합의 중심에 의거하여, 초점 맞춤의 대상이 되는 얼굴을 결정한다.
또한, 집합 결정부(23)는, 각 집합에서 초점 맞춤의 대상이 되는 얼굴로서 잠정적으로 결정된 얼굴의 얼굴점에 의거하여 선택 집합을 결정하도록 구성되어도 좋다. 이 경우, 결정부(18b)는 분류부(22)에 의해 생성된 각 집합에 관해, 그 집합에 포함되는 얼굴만에 의거하여, 초점 맞춤의 대상이 되는 얼굴을 잠정적으로 결정한다. 그리고, 집합 결정부(23)는 결정부(18b)에 의해 취득된 각 집합에 있어서의 얼굴점에 의거하여, 선택 집합을 결정한다. 예를 들면, 집합 결정부(23)는 집합에 포함되는 잠정적으로 결정된 얼굴점의 좌표가 화상의 중앙점에 가장 가까운 집합 을, 선택 집합으로서 결정한다. 즉, 실질적으로 집합 결정부(23)는 초점 맞춤의 대상이 되는 얼굴을 최종적으로 결정한다. 이 경우는, 집합 결정부(23)가 거리측정부(21)에 결정된 얼굴의 얼굴점의 좌표를 건네주도록 구성되어도 좋다.
또한, 이와 같이 구성되는 경우, 집합 결정부(23)에 의해 선택된 집합이 유저에 있어서 소망하는 집합이 아닌 경우(집합의 선택 결과는 도시하지 않은 표시부를 통하여 유저에게 제시된다)에, 입력부(13)를 이용하여 유저에 의해 다른 집합이 선택 집합으로서 선택되도록 구성되어도 좋다. 이 경우, 유저에 의해 선택되는 집합은 입력부(13)가 조작될 때마다, 우선 순위에 의거하여 시프트하도록 구성되어도 좋다. 이 우선 순위란, 집합 결정부(23)에 의해 판단되는 소정의 기준에 의거한 순위이다.
상술한 바와 같이, 집합마다 초점 맞춤 대상의 얼굴(「대상 얼굴」이라고 칭하는 일도 있다)을 잠정적으로 결정하고, 잠정의 대상 얼굴중에서 최종적인 대상 얼굴을 결정하고, 이 대상 얼굴을 유저에게 제시하고, 유저의 의도와 일치하지 않는 경우에는, 대상 얼굴을, 잠정적으로 결정된 다른 대상 얼굴의 어느 하나로 변경할 수 있도록 할 수 있다.
상기 구성에 대신하여, 결정부(18b)가 잠정의 대상 얼굴로부터 최종적인 대상 얼굴을 결정하기 전에, 잠정의 대상 얼굴이 유저에게 제시되고, 그 중에서 유저가 최종적인 대상 얼굴을 선택하도록 구성하여도 좋다. 잠정의 대상 얼굴은, 도시하지 않은 표시부를 통하여, 그 얼굴의 주위에 테두리가 표시됨에 의해 유저에게 제시된다.
또는, 대상 얼굴이 결정되기 전에, 분류부(22)에 의한 집합의 분류 결과가 도시하지 않은 표시부를 통하여 유저에게 제시되고, 유저가 선택 집합을 결정하고, 유저에 의해 결정된 선택 집합으로부터 결정부(18b)가 대상 얼굴을 선택하도록 하여도 좋다. 이 경우에는, 집합 결정부(23)는 선택 집합의 결정 처리를 행하지 않고, 유저에 의한 선택 집합의 결정 결과를 결정부(18b)에 건네주는 동작을 행하는 것만으로 된다. 이와 같이, 집합 결정부(23)의 결정 동작이 옵션 조작에 의해 온/오프 되도록 하여도 좋다.
[제 4 실시 형태]
다음에, 초점 맞춤 대상 결정부(16c)를 구비하는 촬상 장치(12c)에 관해 설명한다. 이하, 촬상 장치(12c) 및 초점 맞춤 대상 결정부(16c)에 관해, 제 3 실시 형태에 있어서의 촬상 장치(12b) 및 초점 맞춤 대상 결정부(16b)와 다른 점에 관해 설명한다.
[시스템 구성]
도 20은, 촬상 장치(12c)의 기능 블록을 도시한 도면이다. 촬상 장치(12c)는, 초점 맞춤 대상 결정부(16b)에 대신하여 초점 맞춤 대상 결정부(16c)를 구비하는 점에서, 제 3 실시 형태에 있어서의 촬상 장치(12b)와 다르다. 따라서 이하, 촬상 장치(12c)의 입력부(13), 촬상부(14), 화상 기억부(15), 및 거리측정부(21)에 관한 설명은 생략한다.
<초점 맞춤 대상 결정부>
초점 맞춤 대상 결정부(16c)는, 결정부(18b)에 대신하여 결정부(18c)를 포함 하는 점에서, 제 3 실시 형태에 있어서의 초점 맞춤 대상 결정부(16b)와 다르다. 따라서 얼굴 검출부(17a), 분류부(22), 및 집합 결정부(23)에 관한 설명은 생략한다.
<결정부>
결정부(18c)는, 집합 결정부(23)에 의해 결정된 집합(선택 집합)에 포함되는 얼굴에 의거하여 처리를 행한다. 결정부(18c)는, 그 얼굴의 크기에 의거하여 초점 맞춤의 대상이 되는 얼굴을 결정한다. 결정부(18c)는, 예를 들면, 선택 집합에 포함되는 얼굴중 가장 큰 얼굴을, 초점 맞춤의 대상이 되는 얼굴로서 결정한다. 또는, 결정부(18c)는, 예를 들면, 집합 결정부(23)에 의해 결정된 선택 집합에 포함되는 얼굴중 중간의 크기를 갖는 얼굴을, 초점 맞춤의 대상이 되는 얼굴로서 결정하여도 좋다. 이하의 설명에서는, 결정부(18c)는 가장 큰 얼굴을 초점 맞춤의 대상이 되는 얼굴로서 결정하는 것으로 하여 설명한다.
[동작예]
다음에, 제 4 실시 형태에 있어서의 촬상 장치(12c)의 동작예에 관해 설명한다. 촬상 장치(12c)의 동작은, 제 3 실시 형태에 있어서의 촬상 장치(12b)의 동작과, S27의 처리의 내용을 제외하면 같다. 이 때문에, 촬상 장치(12c)의 동작예에 관해, S27의 처리의 내용에 관해서만 설명한다.
도 21은, 제 4 실시 형태에 있어서의 초점 맞춤 대상 결정부(16c)의 처리의 일부, 즉 도 13에 있어서의 S27의 처리의 내용을 도시한 플로우 차트이다.
S27의 처리가 시작하면, 분류부(22)는 얼굴 검출부(17a)에 의해 검출된 복수 의 얼굴점을 복수의 집합으로 클러스터링한다(S31). 다음에, 집합 결정부(23)는 분류부(22)에 의해 생성된 복수의 집합으로부터 하나의 선택 집합을 선택한다(S32). 그리고, 결정부(18c)는 S32의 처리에서 선택된 선택 집합에 포함되는 얼굴중에서, 각 얼굴의 크기에 의거하여 초점 맞춤의 대상이 되는 얼굴로서 하나의 얼굴을 선택한다(S35).
[작용/효과]
제 4 실시 형태에 있어서의 촬상 장치(12c)에 의하면, 제 3 실시 형태에서의 촬상 장치(12b)와 마찬가지로, 화상중에 복수의 집단이 존재하는 경우, 그중 하나의 집단에 포함되는 사람만에 의거하여, 초점 맞춤의 대상이 되는 얼굴을 결정하는 것이 가능하게 된다.
또한, 제 4 실시 형태에 있어서의 촬상 장치(12c)에 의하면, 선택된 하나의 집단에 포함되는 얼굴중에서, 그 얼굴의 크기에 의거하여, 초점 맞춤의 대상이 되는 얼굴이 선택된다. 유저에 있어서 가장 주목하고 싶은 얼굴은 촬상 장치에 가장 가까운 얼굴인 경우가 있다. 또한, 촬상 장치에 가장 가까운 얼굴은, 촬상될 때에 가장 큰 얼굴일 가능성이 높다. 이 때문에, 촬상 장치(12c)에 의하면, 선택된 하나의 집단에 포함되는 얼굴중에서, 얼굴의 크기에 의거하여 유저에 있어서 가장 주목하고 싶다고 상정되는 얼굴이 선택된다. 따라서, 이 경우 유저는 주목하고 싶은 얼굴에 대해 수동으로 초점을 맞출 필요가 없어진다. 적어도, 종래 기술과 같이, 가장 주목하고 싶은 얼굴을 프레임의 중심이나 그 부근에 둘 필요는 없다.
[변형예]
결정부(18c)는, 집합 결정부(23)에 의해 결정된 집합에 포함되는 각 얼굴에 관한 특징량에 의거하여 처리를 행하도록 구성되어도 좋다. 결정부(18c)는, 각 얼굴에 관한 특징량을 취득한다. 결정부(18c)는, 예를 들면, 얼굴의 크기, 얼굴 방향 등에 의거하여, 각 얼굴에 관한 특징량을 취득하도록 구성된다. 또한, 결정부(18c)는, 예를 들면 각 얼굴에 관해 얼굴다움의 정도를 나타내는 양을 특징량으로서 취득하도록 구성된다. 「얼굴다움의 정도를 나타내는 양」이란, 예를 들면 얼굴 검출부(17a)에서 얼굴 검출 처리할 때에 취득되는 값을 이용하여 나타난다. 구체적으로는, 얼굴 검출부(17a)는 어느 영역 내에 얼굴이 포함되는지의 여부를 판단할 때에, 이 영역 내의 화상의 얼굴다움에 관한 값을 산출하도록 구성된 경우, 이 얼굴다움에 관한 값이 특징량으로서 이용된다.
[제 5 실시 형태]
다음에, 초점 맞춤 대상 결정부(16d)를 구비한 촬상 장치(12d)에 관해 설명한다. 이하, 촬상 장치(12d) 및 초점 맞춤 대상 결정부(16d)에 관해, 제 2 실시 형태에 있어서의 촬상 장치(12a) 및 초점 맞춤 대상 결정부(16a)와 다른 점에 관해 설명한다.
[시스템 구성]
도 22는, 촬상 장치(12d)의 기능 블록을 도시한 도면이다. 촬상 장치(12d)는, 초점 맞춤 대상 결정부(16a)에 대신하여 초점 맞춤 대상 결정부(16d)를 구비하는 점에서, 제 2 실시 형태에 있어서의 촬상 장치(12a)와 다르다. 따라서 이하, 촬상 장치(12d)의 입력부(13), 촬상부(14), 화상 기억부(15), 및 거리측정부(21)에 관한 설명은 생략한다.
<초점 맞춤 대상 결정부>
초점 맞춤 대상 결정부(16d)는, 얼굴 검출부(17d), 블록 결정부(24), 및 결정부(18d)를 포함한다. 이하, 초점 맞춤 대상 결정부(16d)를 구성하는 각 기능부에 관해 설명한다.
<얼굴 검출부>
얼굴 검출부(17d)는, 초점 맞춤용의 화상으로부터 얼굴 영역을 검출할 때에, 미리 정해진 복수의 블록마다 얼굴 영역을 검출하는 점에서, 제 2 실시 형태에 있어서의 얼굴 검출부(17a)와 다르다. 도 23은, 복수의 블록으로 나누어진 초점 맞춤용의 화상의 예를 도시한 도면이다. 도 23에 도시된 바와 같이, 초점 맞춤용의 화상은, 복수의 블록(도 23에서는, 직사각형의 화상(프레임)이 그 종 또는 횡축으로 평행하고 또한 화상의 중앙점을 통과하는 2개의 선분에 의해 4개의 블록으로 나누어져 있지만, 몇개의 블록으로 나누어져도 좋다)으로 나누어진다. 초점 맞춤용의 화상이 어떤 블록으로 나누어지는, 예를 들면 얼굴 검출부(17d)가 기억하고 있다.
얼굴 검출부(17d)는, 복수의 각 블록에 관해 얼굴을 검출한다. 그리고, 얼굴 검출부(17d)는 블록마다 검출 결과를 블록 결정부(24)에 건네준다.
<블록 결정부>
블록 결정부(24)는, 미리 정해진 복수의 블록중, 초점 맞춤의 대상이 되는 얼굴을 결정하기 위한 블록(즉, 초점 맞춤의 대상이 되는 얼굴을 포함하는 블록 : 이하, 「선택 블록」이라고 칭한다)을 선택한다. 즉, 거리측정부(21)에 건네지는 좌표는, 블록 결정부(24)에 의해 결정된 선택 블록에서 검출된 얼굴의 얼굴점의 좌표로 된다.
블록 결정부(24)는, 각 블록에서 검출된 얼굴의 수, 블록에서 검출된 얼굴에 관한 특징량 등, 어떤 기준에 의거하여 선택 블록을 결정하여도 좋다. 예를 들면, 블록 결정부(24)는 각 블록에서 가장 많은 얼굴이 검출된 블록을, 선택 블록으로서 결정한다. 이와 같이 블록 결정부(24)가 구성된 경우, 도 23에 도시된 상황에서는, 좌상의 블록이 블록 결정부(24)에 의해 선택 블록으로서 결정된다.
또한, 예를 들면, 블록 결정부(24)는 각 블록에 포함되는 얼굴에 관한 특징량의 합이 가장 큰 블록을, 선택 블록으로서 결정할 수도 있다. 얼굴에 관한 특징량의 산출 수법으로서, 상술한 실시 형태에 있어서 설명한 수법과 같은 수법을 적용할 수 있다.
<결정부>
결정부(18d)는, 촬상부(14)에 의해 촬상된 화상 전체에 포함되는 얼굴이 아니라, 블록 결정부(24)에 의해 결정된 선택 블록에 포함되는 얼굴에 의거하여 처리를 행하는 점에서 결정부(18a)와 다르다. 결정부(18d)는 상기한 점을 제외하면, 결정부(18a)와 같은 처리를 행한다.
도 24는, 결정부(18d)에 의한 처리예를 도시한 도면이다. 블록 결정부(24)에 의해 선택된 좌상의 블록(선택 블록)에서 얼굴점의 중심이 취득된다. 그리고, 취득된 중심에 의거하여 소정의 기준(여기서는 화상(프레임)의 중앙점에 가까운 것)에 따라, 하나의 얼굴점(태선의 원으로 둘러싸인 얼굴점)이 선택된다.
[동작예]
다음에, 제 5 실시 형태에 있어서의 촬상 장치(12d)의 동작예에 관해 설명한다. 촬상 장치(12d)의 동작은 제 2 실시 형태에 있어서의 촬상 장치(12a)의 동작과, S19의 처리의 내용을 제외하면 같다. 이 때문에, 촬상 장치(12d)의 동작예에 관해 S19의 처리의 내용에 관해서만 설명한다.
도 25는, 제 5 실시 형태에 있어서의 초점 맞춤 대상 결정부(16d)의 처리의 일부, 즉 도 12에서의 S19의 처리의 내용을 도시한 플로우 차트이다. 이와 같이, 제 5 실시 형태에서는, S19에 있어서, 제 2 실시 형태에서 적용되는 도 13에 도시한 처리 대신에 도 25에 도시한 처리가 실행된다.
S19의 처리가 시작하면, 얼굴 검출부(17d)는 블록마다 얼굴을 검출한다(S36). 다음에, 블록 결정부(24)는 얼굴이 검출된 블록의 수를 조사한다. 얼굴이 검출된 블록의 수가 1보다 적은 경우(S37 : <1), 즉 0인 경우, 블록 결정부(24)는 얼굴이 없는 것을 결정부(18d)에 통지한다. 그리고, 결정부(18d)는 화상(프레임) 중앙의 2차원 좌표를 거리측정부(21)에 건네준다(S38).
얼굴이 검출된 블록의 수가 1보다 많은 경우(S37 : >1), 블록 결정부(24)는, 얼굴이 검출된 복수의 블록으로부터 하나의 선택 블록을 선택한다(S39). 얼굴이 검출된 블록이 하나인 경우(S37 : =1), 또는 S39의 처리의 후, 결정부(18d)는 블록 결정부(24)에 의해 선택된 선택 블록에 포함되는 얼굴의 수를 조사한다. 얼굴의 수가 1보다 많은 경우(S40 : >1), 즉 복수의 얼굴이 이 선택 블록에서 검출되어 있는 경우, 결정부(18d)는 이 복수의 얼굴로부터 하나의 얼굴을 선택한다(S41). S41의 처리는, 도 14에 도시된 플로우 차트와 같은 처리로 된다. 다만, 처리의 대상이 화상 전체가 아니라 선택 블록인 점에서, 제 2 실시 형태와 다르다.
도 25를 이용한 설명으로 되돌아온다. 검출된 얼굴이 하나인 경우(S40 : =1), 또는 S41의 처리의 후, 결정부(18d)는 하나의 얼굴의 얼굴점의 2차원 좌표를 거리측정부(21)에 건네준다(S42). 여기서 말하는 하나의 얼굴이란, 검출된 얼굴의 수가 하나인 경우는 이 유일하게 검출된 얼굴이고, S41의 처리의 후인 경우는 선택된 얼굴이다. 이 처리의 후, 도 12에서의 S20 이후의 처리가 실시된다.
[작용/효과]
제 5 실시 형태에 있어서의 촬상 장치(12d)에 의하면, 초점 맞춤용의 화상이 복수의 블록으로 분할되고, 복수의 블록중에서 초점 맞춤의 대상이 되는 얼굴을 포함하는 하나의 선택 블록이 선택된다. 그리고, 이 하나의 선택 블록중에서, 초점 맞춤의 대상이 되는 얼굴이 선택된다. 이 때문에, 제 5 실시 형태에 있어서의 촬상 장치(12d)에서는, 의사적으로 제 3 실시 형태와 같은 효과를 얻는 것이 가능하게 된다. 구체적으로는, 화상중에 복수의 집단이 존재하는 경우, 블록에 의해 이들의 집단을 대략적으로 나누는 것이 가능하게 된다. 그리고, 소정의 기준에 따라 선택된 하나의 선택 블록에 포함되는 집단 또는 집단의 일부의 얼굴에 의거하여, 초점 맞춤의 대상이 되는 얼굴이 선택된다.
또한, 제 5 실시 형태에 있어서의 촬상 장치(12d)에서는, 제 3 실시 형태에 있어서의 촬상 장치(12b)와는 달리 클러스터링의 처리를 실행하지 않는다. 이 때문에, 제 5 실시 형태에 있어서의 촬상 장치(12d)에서는, 제 3 실시 형태에 있어서의 촬상 장치(12b)에 비하여 고속으로 처리를 행하는 것이 가능하게 된다.
[변형예]
결정부(18d)는, 제 3 실시 형태에 있어서의 결정부(18b)와 마찬가지로 구성되어도 좋다. 이 경우, 결정부(18d)는, 집합 결정부(23)에 의해 결정된 선택 집합에 포함되는 얼굴이 아니라, 블록 결정부(24)에 의해 결정된 선택 블록에 포함되는 얼굴에 의거하여 처리를 행하는 점에서, 결정부(18b)와 다르도록 구성된다. 즉, 화상 전체가 아니라 선택 블록을 대상으로 한 집합의 분류나, 선택 집합의 결정 등이 행하여지도록 구성된다. 이 경우, 결정부(18d)는 상기한 점을 제외하면, 결정부(18b)와 같은 처리를 행하도록 구성된다.
이와 같이 구성됨에 의해, 화면에 포함되는 모든 얼굴을 대상으로 하는 클러스터링을 행할 필요가 없어진다. 즉, 선택된 블록에 포함되는 얼굴에 관해서만 클러스터링이 실행되면 좋다. 이 때문에, 화면에 다수의 집단이 포함되는 경우, 제 3 실시 형태에 있어서의 촬상 장치(12b)에 비하여 고속으로 처리를 행하는 것이 가능하게 된다. 또한, 통상의 제 5 실시 형태에 있어서의 촬상 장치(12d)에 비하여, 보다 정확하게, 초점 맞춤의 대상이 되는 얼굴을 포함하는 집합 및 초점 맞춤의 대상이 되는 얼굴을 선택하는 것이 가능하게 된다.
[제 6 실시 형태]
다음에, 초점 맞춤 대상 결정부(16e)를 구비하는 촬상 장치(12e)에 관해 설명한다. 이하, 촬상 장치(12e) 및 초점 맞춤 대상 결정부(16e)에 관해, 제 2 실시 형태에 있어서의 촬상 장치(12a) 및 초점 맞춤 대상 결정부(16a)와 다른 점에 대해 설명한다.
[시스템 구성]
도 26은, 촬상 장치(12e)의 기능 블록을 도시한 도면이다. 촬상 장치(12e)는, 초점 맞춤 대상 결정부(16a)를 대신하여 초점 맞춤 대상 결정부(16e)를 구비하는 점에서, 제 2 실시 형태에 있어서의 촬상 장치(12a)와 다르다. 따라서 이하, 촬상 장치(12e)의 입력부(13), 촬상부(14), 화상 기억부(15), 및 거리측정부(21)에 관한 설명은 생략한다.
<초점 맞춤 대상 결정부>
초점 맞춤 대상 결정부(16e)는 얼굴 검출부(17a), 최대 얼굴 선택부(25), 후보 선택부(26), 및 결정부(18e)를 포함한다. 이하, 초점 맞춤 대상 결정부(16e)를 구성하는 각 기능부에 관해 설명한다. 다만, 초점 맞춤 대상 결정부(16e)에 포함되는 얼굴 검출부(17a)는, 제 2 실시 형태에 있어서의 초점 맞춤 대상 결정부(16a)에 포함되는 얼굴 검출부(17a)와 같은 구성으로 되기 때문에 그 설명을 생략한다.
(최대 얼굴 선택부)
최대 얼굴 선택부(25)는, 얼굴 검출부(17a)에 의해 검출된 복수의 얼굴중에서 가장 큰 얼굴(최대 얼굴)을 선택한다. 최대 얼굴 선택부(25)는, 얼굴 검출부(17a)에서 얼굴 직사각형이 이용되는 경우는, 이 얼굴 직사각형의 크기를 기초로 선택을 행한다. 또한, 최대 얼굴 선택부(25)는, 얼굴 검출부(17a)에서 패턴 매칭이 실행되는 경우는, 이 패턴의 크기를 기초로 선택을 행한다. 최대 얼굴 선택부(25)는, 그 밖에 어떤 방법에 의해 최대 얼굴을 선택하도록 구성되어도 좋다. 최대 얼 굴 선택부(25)는, 선택된 최대 얼굴에 관한 정보(예 : 얼굴점의 좌표, 얼굴의 크기)를 후보 선택부(26)에 건네준다.
도 27은, 최대 얼굴 선택부(25)의 처리예를 도시한 도면이다. 도 27에서, 각 얼굴점의 크기는 각 얼굴점에 대응하는 얼굴의 크기를 나타낸다. 최대 얼굴 선택부(25)의 처리에 의해 큰 테두리에 둘러싸인 얼굴점이 최대 얼굴로 선택된다.
<후보 선택부>
후보 선택부(26)는, 최대 얼굴 선택부(25)에 의해 선택된 최대 얼굴의 크기에 의거하여, 초점 맞춤의 대상이 되는 얼굴의 후보를 선택한다. 환언하면, 후보 선택부(26)는 결정부(18e)의 처리 대상이 되는 얼굴을 결정한다.
후보 선택부(26)는, 최대 얼굴 선택부(25)에 의해 선택된 최대 얼굴과, 이 최대 얼굴의 크기로부터 소정의 범위 내의 크기를 갖는 다른 얼굴을 대상 얼굴의 후보로서 선택한다. 소정의 범위 내의 크기란, 예를 들면 수 퍼센트 수십 퍼센트 분만큼 최대 얼굴보다 작은 크기를 나타낸다. 또한, 소정의 범위 내의 크기란, 예를 들면 최대 얼굴의 반분 이상의 크기나 2/3 이상의 크기를 나타낸다.
도 28은, 후보 선택부(26)의 처리예를 도시한 도면이다. 도 28에서, 작은 속이 흰색의 원은, 후보 선택부(26)에 의해 선택되지 않은 얼굴점을 나타낸다. 검은 원은, 후보 선택부(26)에 의해 선택된 다른 얼굴의 얼굴점을 나타낸다. 또한, 큰 테두리에 둘러싸인 얼굴점은, 결정부(18e)에 의해 선택된 최대 얼굴의 얼굴점을 나타낸다.
<결정부>
결정부(18e)는, 촬상부(14)에 의해 촬상된 화상 전체에 포함되는 얼굴이 아니라, 후보 선택부(26)에 의해 선택된 후보에 포함되는 얼굴에 의거하여 처리를 행하는 점에서 결정부(18a)와 다르다. 결정부(18e)는, 상기한 점을 제외하면, 결정부(18a)와 같은 처리를 행한다.
도 28을 이용하여 결정부(18e)의 처리에 관해 설명한다. 결정부(18e)는, 후보 선택부(26)에 의해 선택된 3개의 얼굴점에 의거하여, 초점 맞춤의 대상이 되는 얼굴을 선택한다. 이때, 결정부(18e)의 중심 결정부(19e)는, 이 3개의 얼굴점의 중심(사선의 원)을 취득한다. 그리고, 이 중심에 의거하여 소정의 기준(여기서는 화상(프레임)의 중심(중앙점)에 가장 가까운 것)에 따라, 결정부(18e)의 얼굴 결정부(20e)는 하나의 얼굴점(여기서는, 굵은 테두리에 의해 둘러싸인 얼굴점(최대 얼굴))을 선택한다.
[동작예]
다음에, 제 6 실시 형태에 있어서의 촬상 장치(12e)의 동작예에 관해 설명한다. 촬상 장치(12e)의 동작은, 제 2 실시 형태에 있어서의 촬상 장치(12a)의 동작과, S27의 처리의 내용을 제외하면 같다. 이 때문에, 촬상 장치(12e)의 동작예에 관해, S27의 처리의 내용에 관해서만 설명한다.
도 29는, 제 6 실시 형태에 있어서의 초점 맞춤 대상 결정부(16e)의 처리의 일부, 즉 도 13에서의 S27의 처리의 내용을 도시한 플로우 차트이다. 이와 같이, 제 6 실시 형태는 S27에서 도 14에 도시한 처리의 대신으로 도 29에 도시한 처리를 실행하는 점에서, 제 2 실시 형태와 다르다.
S27의 처리가 시작하면, 최대 얼굴 선택부(25)는 얼굴 검출부(17a)에 의해 검출된 복수의 얼굴중, 최대의 얼굴을 선택한다(S43). 다음에, 후보 선택부(26)는 최대 얼굴 선택부(25)에 의해 선택된 얼굴(최대 얼굴)의 크기에 의거하여, 후보가 되는 얼굴을 선택한다(S44).
다음에, 결정부(18e)의 중심 결정부(19e)는, 후보 선택부(26)에 의해 선택된 후보로된 얼굴(최대 얼굴, 및 이 최대 얼굴을 기준으로 한 소정 범위에 속하는 크기를 갖는 적어도 하나의 다른 얼굴)에 의거하여, 얼굴점의 중심을 취득한다(S45). 그리고, 결정부(18e)의 얼굴 결정부(20e)는, 취득된 중심에 의거하여 하나의 얼굴, 즉 초점 맞춤의 대상이 되는 얼굴을 선택한다(S46). 또한, 상기 처리에 의하면, 다른 얼굴에 상당하는 얼굴이 검출되지 않는 경우에는, 최대 얼굴이 대상 얼굴로서 결정된다.
[작용/효과]
제 6 실시 형태에 있어서의 촬상 장치(12e)에 의하면, 어느 정도의 크기를 가진 얼굴만에 의거하여, 초점 맞춤의 대상이 되는 얼굴이 선택된다. 어느 정도의 크기는 최대 얼굴의 크기에 의거하여 판단된다.
이 때문에, 배경으로서 찍힌 사람, 즉 유저가 피사체로서 의식하지 않는 사람의 얼굴이 처리의 대상으로서 포함되는 것이 방지된다. 따라서, 초점 맞춤의 대상이 되는 얼굴을 포함하는 집합을 선택하는 처리나, 집합에 포함되는 얼굴에 의거한 중심을 취득하는 처리나, 초점 맞춤의 대상이 되는 얼굴을 선택하는 처리의 정밀도가 향상된다.
[변형예]
최대 얼굴 선택부(25)는, 검출된 얼굴의 피부 색의 영역의 크기를 기초로 선택을 행하도록 구성되어도 좋다.
또한, 제 2 내지 제 6 실시 형태는, 얼굴 검출부(17a 내지 17e)를 대신하여 제 1 실시 형태에 있어서의 얼굴 검출부(5)를 구비하도록 구성되어도 좋다.
대상 결정 장치는, 피사체에 최적화된 초점 거리나 노광 등에 의거한 촬영을 행하는 비디오 카메라나 스틸 카메라에 탑재할 수 있다.

Claims (44)

  1. 삭제
  2. 임의의 초점 정보에 의거하여 촬상된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는, 복수의 특징 영역에 있어서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출하는 얼굴 검출 수단과,
    상기 얼굴 검출 수단에 의해 검출된 얼굴에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  3. 제 2항에 있어서,
    상기 얼굴 검출 수단은, 상기 처리 대상의 화상에서 주목 영역 내의 특징 영역인 제 1의 영역과 제 2의 영역의 통계량의 상대적인 값을 구하고, 상기 통계량의 상대적인 값에 의거하여 상기 주목 영역에 사람의 얼굴이 포함되는지의 여부를 판단함에 의해 사람의 얼굴을 검출하는 것을 특징으로 하는 대상 결정 장치.
  4. 제 2항에 있어서,
    상기 결정 수단은, 상기 얼굴 검출 수단이 복수의 얼굴을 검출한 경우에, 상기 복수의 얼굴 각각의 화상 정보를 기초로 하나의 얼굴을 결정하고, 이 얼굴에 의거하여 상기 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 대상 결정 장치.
  5. 제 4항에 있어서,
    상기 결정 수단은, 상기 복수의 얼굴 각각의 화상의 크기를 비교하고, 그 크기가 가장 큰 얼굴에 의거하여 상기 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 대상 결정 장치.
  6. 제 4항에 있어서,
    상기 결정 수단은, 상기 각 얼굴에 관해, 얼굴 방향, 얼굴의 크기, 화상 내에서의 위치, 또는 주변 얼굴의 밀도중 어느 하나 또는 복수에 의거하여 득점을 산 출하고, 상기 산출된 득점을 상기 화상 정보로서 이용하는 것을 특징으로 하는 대상 결정 장치.
  7. 제 2항에 있어서,
    상기 결정 수단은, 상기 얼굴 검출 수단이 복수의 사람의 얼굴을 검출한 경우에, 상기 복수 얼굴의 실물 각각에 대해 거리측정된 결과에 따라, 그 거리가 가장 작은 얼굴에 의거하여 상기 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 대상 결정 장치.
  8. 소정의 초점 정보 또는 정보 취득 수단에 의해 취득되는 초점 정보 또는 노출 제어 정보의 어느 하나 또는 둘 모두에 의거한 화상을 촬상하는 촬상 수단과,
    상기 소정의 초점 정보에 의거하여 상기 촬상 수단에 의해 촬상된 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는, 복수의 특징 영역에 있어서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출하는 얼굴 검출 수단과,
    상기 얼굴 검출 수단에 의해 검출된 얼굴에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 결정 수단과,
    상기 결정 수단에 의해 결정된 피사체에 초점을 맞추기 위한 초점 정보 또는 상기 결정 수단에 의해 결정된 피사체를 대상으로 하여 노출 제어를 행하기 위한 노출 제어 정보의 어느 하나 또는 둘 모두를 취득하는 정보 취득 수단과,
    상기 정보 취득 수단에 의해 취득된 초점 정보 또는 노출 제어 정보에 의거하여 상기 촬상 수단에 의해 촬상된 화상의 어느 하나 또는 둘 모두를 기억하는 화상 기억 수단을 포함하는 것을 특징으로 하는 촬상 장치.
  9. 소정의 초점 정보 또는 정보 취득 수단에 의해 취득되는 초점 정보 또는 노출 제어 정보의 어느 하나 또는 둘 모두에 의거하여, 복수 프레임을 포함하는 시계열 화상을 촬상하는 촬상 수단과,
    상기 촬상 수단에 의해 촬상된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 취득하는 프레임 취득 수단과,
    상기 프레임 취득 수단에 의해 취득된 화상으로부터, 사람 얼굴의 요철이나 기관에 의해 생기는, 복수의 특징 영역에 있어서의 통계량의 상대적인 값에 의거하여 사람의 얼굴을 검출하는 얼굴 검출 수단과,
    상기 얼굴 검출 수단에 의해 검출된 얼굴에 의거하여, 촬상이 실시될 때에 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 결정 수단과,
    상기 결정 수단에 의해 결정된 피사체에 초점을 맞추기 위한 초점 정보 또는 상기 결정 수단에 의해 결정된 피사체를 대상으로 하여 노출 제어를 행하기 위한 노출 제어 정보의 어느 하나 또는 둘 모두를 취득하는 정보 취득 수단과,
    상기 정보 취득 수단에 의해 취득된 초점 정보 또는 노출 제어 정보에 의거하여 상기 촬상 수단에 의해 촬상된 시계열 화상의 어느 하나 또는 둘 모두를 기억하는 화상 기억 수단을 포함하는 것을 특징으로 하는 촬상 장치.
  10. 제 8항 또는 제 9항에 있어서,
    촬상 장치로부터 임의의 피사체까지의 거리를 거리측정하는 거리측정 수단을 또한 포함하고,
    상기 결정 수단은, 상기 얼굴 검출 수단이 복수의 사람의 얼굴을 검출한 경우에, 상기 복수 얼굴의 실물 각각에 대해 상기 거리측정 수단이 거리측정한 결과에 따라, 그 거리가 가장 작은 얼굴에 의거하여 상기 초점을 맞추는 피사체 또는 노출 제어를 행하는 대상이 되는 피사체의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 촬상 장치.
  11. 제 8항 또는 제 9항에 있어서,
    상기 결정 수단에 의해 결정된 사람의 얼굴을, 다른 얼굴과 구별하여 표시하는 표시 수단을 또한 포함하는 것을 특징으로 하는 촬상 장치.
  12. 삭제
  13. 입력되는 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 해당 복수의 사람 얼굴의 위치에 의거하여, 해당 복수의 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  14. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 해당 복수의 사람 얼굴의 위치에 의거하여, 해당 복수의 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  15. 제 13항 또는 제 14항에 있어서,
    상기 결정 수단은,
    상기 복수의 사람 얼굴의 위치에 의거하여, 상기 복수의 사람 얼굴의 위치의 중심을 결정하는 중심 결정 수단과,
    상기 중심의 위치에 의거하여 상기 대상이 되는 얼굴을 결정하는 얼굴 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  16. 제 15항에 있어서,
    상기 중심 결정 수단은, 상기 복수의 사람 얼굴의 위치에 대해 외접하는 다각형의 중심을 상기 중심으로 하고 결정하는 것을 특징으로 하는 대상 결정 장치.
  17. 제 15항에 있어서,
    상기 중심 결정 수단은, 상기 복수의 사람 얼굴의 위치의 중심을 상기 중심으로 하고 결정하는 것을 특징으로 하는 대상 결정 장치.
  18. 제 15항에 있어서,
    상기 얼굴 결정 수단은, 상기 중심의 가장 근처에 위치하는 사람의 얼굴을 상기 대상이 되는 얼굴로서 결정하는 것을 특징으로 하는 대상 결정 장치.
  19. 제 15항에 있어서,
    상기 얼굴 결정 수단은, 상기 중심으로부터 소정의 거리 내에 위치하는 얼굴중에서 소정의 기준에 따라 상기 대상이 되는 얼굴을 결정하는 것을 특징으로 하는 대상 결정 장치.
  20. 제 13항 또는 제 14항에 있어서,
    상기 결정 수단은, 상기 복수의 사람의 얼굴중 최하방에 위치하는 얼굴을 상기 대상이 되는 얼굴로서 결정하는 것을 특징으로 하는 대상 결정 장치.
  21. 입력되는 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 얼굴의 수를 기준으로 하여 그 한가운데에 위치하는 사람의 얼굴을, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두로서 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  22. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 얼굴의 수를 기준으로 하여 그 한가운데에 위치하는 사람의 얼굴을, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두로서 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  23. 제 13, 14, 21, 22항 중 어느 한 항에 있어서,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합중에서, 상기 대상이 되는 얼굴을 결정하기 위한 선택 집합을 결정하는 집합 결정 수단을 또한 포함하고,
    상기 결정 수단은, 상기 선택 집합에 포함되는 사람의 얼굴에 의거하여, 상기 대상이 되는 얼굴을 결정하는 것을 특징으로 하는 대상 결정 장치.
  24. 제 13, 14, 21, 22항 중 어느 한 항에 있어서,
    상기 결정 수단에 의해 결정된 사람의 얼굴을, 다른 얼굴과 구별하여 표시하는 표시 수단을 또한 포함하는 것을 특징으로 하는 대상 결정 장치.
  25. 입력되는 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합 각각에 대해, 해당 집합에 포함되는 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 잠정 결정 수단과,
    상기 잠정 결정 수단에 의해 결정된 얼굴중에서, 상기 대상이 되는 얼굴을 최종적으로 결정하는 최종 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  26. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합 각각에 대해, 해당 집합에 포함되는 사람의 얼굴로부터 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 잠정 결정 수단과,
    상기 잠정 결정 수단에 의해 결정된 얼굴중에서, 상기 대상이 되는 얼굴을 최종적으로 결정하는 최종 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  27. 입력되는 화상이 분할된 복수의 블록 각각에서 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에 의한 검출 결과에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 블록을 결정하는 블록 결정 수단과,
    상기 선택 블록에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  28. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상이 분할된 복수의 블록 각각에서 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에 의한 검출 결과에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 블록을 결정하는 블록 결정 수단과,
    상기 선택 블록에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  29. 입력되는 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 사람의 얼굴중 최대의 얼굴을 판단하는 판단 수단과,
    상기 검출된 얼굴로부터 상기 최대의 얼굴, 및 이 최대 얼굴의 크기를 기준으로 한 소정의 범위 내의 크기를 갖는 얼굴을 선택하는 선택 수단과,
    상기 선택된 얼굴중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  30. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 사람의 얼굴중 최대의 얼굴을 판단하는 판단 수단과,
    상기 검출된 얼굴로부터 상기 최대의 얼굴, 및 이 최대 얼굴의 크기를 기준으로 한 소정의 범위 내의 크기를 갖는 얼굴을 선택하는 선택 수단과,
    상기 선택된 얼굴중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  31. 입력되는 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 집합을 결정하는 집합 결정 수단과,
    상기 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  32. 입력된 복수 프레임을 포함하는 시계열 화상으로부터, 소정의 프레임의 화상을 처리 대상의 화상으로서 취득하는 프레임 취득 수단과,
    상기 처리 대상의 화상으로부터 사람의 얼굴을 검출하는 검출 수단과,
    상기 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 집합을 결정하는 집합 결정 수단과,
    상기 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 제 2항에 있어서,
    상기 결정 수단은, 상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 해당 복수의 사람 얼굴의 위치에 의거하여, 해당 복수의 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 대상 결정 장치.
  40. 제 2항에 있어서,
    상기 결정 수단은, 상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 얼굴의 수를 기준으로 하여 그 한가운데에 위치하는 사람의 얼굴을, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두로서 결정하는 것을 특징으로 하는 대상 결정 장치.
  41. 제 2항에 있어서,
    상기 결정 수단은,
    상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합 각각에 대해, 해당 집합에 포함되는 사람의 얼굴로부터, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 잠정 결정 수단과,
    상기 잠정 결정 수단에 의해 결정된 얼굴중에서, 상기 대상이 되는 얼굴을 최종적으로 결정하는 최종 결정 수단을 포함하는 것을 특징으로 하는 대상 결정 장치.
  42. 제 2항에 있어서,
    상기 얼굴 검출 수단에 의한 검출 결과에 의거하여, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 블록을 결정하는 블록 결정 수단을 또한 포함하고,
    상기 결정 수단은, 상기 선택 블록에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 것을 특징으로 하는 대상 결정 장치.
  43. 제 2항에 있어서,
    상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 사람의 얼굴중 최대의 얼굴을 판단하는 판단 수단과,
    상기 검출된 얼굴로부터, 상기 최대의 얼굴, 및 이 최대 얼굴의 크기를 기준으로 한 소정의 범위 내의 크기를 갖는 얼굴을 선택하는 선택 수단을 또한 포함하고,
    상기 결정 수단은, 상기 선택된 얼굴중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하는 것을 특징으로 하는 대상 결정 장치.
  44. 제 2항에 있어서,
    상기 얼굴 검출 수단에서 복수의 사람의 얼굴이 검출된 때에, 검출된 복수의 사람의 얼굴을, 각각의 위치에 의거하여 복수의 집합으로 분류하는 분류 수단과,
    상기 복수의 집합중에서, 촬상이 실시될 때에 초점을 맞추는 대상이 되는 얼굴 또는 노출 제어를 행하는 대상이 되는 얼굴의 어느 하나 또는 둘 모두를 결정하기 위한 선택 집합을 결정하는 집합 결정 수단을 또한 포함하고,
    상기 결정 수단은, 상기 집합 결정 수단에 의해 결정된 선택 집합에 포함되는 얼굴로부터, 상기 대상이 되는 얼굴을 결정하는 것을 특징으로 하는 결정 장치.
KR1020057024724A 2003-07-15 2004-07-14 대상 결정 장치 및 촬상 장치 KR100839772B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003197404 2003-07-15
JPJP-P-2003-00197404 2003-07-15
JP2003318701A JP4461747B2 (ja) 2003-09-10 2003-09-10 対象決定装置
JPJP-P-2003-00318701 2003-09-10

Publications (2)

Publication Number Publication Date
KR20060031638A KR20060031638A (ko) 2006-04-12
KR100839772B1 true KR100839772B1 (ko) 2008-06-20

Family

ID=34067355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057024724A KR100839772B1 (ko) 2003-07-15 2004-07-14 대상 결정 장치 및 촬상 장치

Country Status (4)

Country Link
US (2) US7526193B2 (ko)
EP (1) EP1653279B1 (ko)
KR (1) KR100839772B1 (ko)
WO (1) WO2005006072A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844053B2 (ja) * 2005-08-31 2011-12-21 セイコーエプソン株式会社 画像選択装置および画像選択方法
JP4718952B2 (ja) * 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
JP4422667B2 (ja) * 2005-10-18 2010-02-24 富士フイルム株式会社 撮影装置および撮影方法
EP2448247A1 (en) 2005-11-02 2012-05-02 Olympus Corporation An image processor for electronic camera
US20070121094A1 (en) * 2005-11-30 2007-05-31 Eastman Kodak Company Detecting objects of interest in digital images
JP4618153B2 (ja) * 2006-02-10 2011-01-26 セイコーエプソン株式会社 画像処理装置、デジタルカメラ、画像データ構造、自動色補正機能付き印刷装置、顔オブジェクト情報付き撮影画像の生成方法および色補正方法
JP4657960B2 (ja) * 2006-03-27 2011-03-23 富士フイルム株式会社 撮像方法および装置
JP5070728B2 (ja) * 2006-04-04 2012-11-14 株式会社ニコン カメラ
JP4273434B2 (ja) * 2006-08-25 2009-06-03 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP5055939B2 (ja) * 2006-10-12 2012-10-24 株式会社ニコン デジタルカメラ
KR101310230B1 (ko) 2007-01-17 2013-09-24 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
KR101330636B1 (ko) * 2007-01-24 2013-11-18 삼성전자주식회사 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
JP4884251B2 (ja) * 2007-02-09 2012-02-29 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP4429328B2 (ja) * 2007-02-09 2010-03-10 キヤノン株式会社 自動合焦装置とその制御方法並びに撮像装置
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP5043100B2 (ja) * 2007-04-23 2012-10-10 シャープ株式会社 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体
KR100901125B1 (ko) * 2007-04-24 2009-06-08 삼성전자주식회사 얼굴인식 방법과 장치
JP4289420B2 (ja) * 2007-05-10 2009-07-01 セイコーエプソン株式会社 画像処理装置および画像処理方法
JP4858849B2 (ja) 2007-05-18 2012-01-18 カシオ計算機株式会社 撮像装置及びそのプログラム
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
JP4544282B2 (ja) 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
JP5144422B2 (ja) * 2007-09-28 2013-02-13 富士フイルム株式会社 撮影装置及び撮影方法
JP5115139B2 (ja) * 2007-10-17 2013-01-09 ソニー株式会社 構図判定装置、構図判定方法、プログラム
EP2065783B1 (en) * 2007-11-30 2010-01-13 Telefonaktiebolaget LM Ericsson (publ) A portable electronic apparatus having more than one display area, and a method of controlling a user interface thereof
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8331730B2 (en) * 2008-04-01 2012-12-11 Hewlett-Packard Development Company, L.P. Systems and methods to increase speed of object detection in a digital image
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US8855360B2 (en) * 2008-07-23 2014-10-07 Qualcomm Technologies, Inc. System and method for face tracking
WO2010025457A1 (en) * 2008-09-01 2010-03-04 Mitsubishi Digital Electronics America, Inc. Systems and methods for picture enhancement
JP2010079569A (ja) * 2008-09-25 2010-04-08 Canon Inc 情報処理装置、その処理方法及びプログラム
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
US20100111375A1 (en) * 2008-10-31 2010-05-06 Michael Jeffrey Jones Method for Determining Atributes of Faces in Images
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR20110029002A (ko) * 2009-09-14 2011-03-22 삼성전자주식회사 얼굴 판단 장치 및 방법
JP5436367B2 (ja) * 2009-09-29 2014-03-05 富士フイルム株式会社 グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置
WO2011067906A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 認識用撮像装置及びその制御方法
TWI420405B (zh) * 2010-10-20 2013-12-21 Hon Hai Prec Ind Co Ltd 人臉影像代換系統及方法
TWI428836B (zh) * 2010-10-20 2014-03-01 Htc Corp 影像擷取方法及系統，及其電腦程式產品
CN102457673A (zh) * 2010-10-26 2012-05-16 宏达国际电子股份有限公司 影像撷取方法及系统
US20120155717A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Image search including facial image
US8705812B2 (en) 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
JP5918998B2 (ja) * 2011-12-28 2016-05-18 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US9189876B2 (en) 2012-03-06 2015-11-17 Apple Inc. Fanning user interface controls for a media editing application
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
JP5990951B2 (ja) * 2012-03-15 2016-09-14 オムロン株式会社 撮影装置、撮影装置の制御方法、撮影装置制御プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体
US8965046B2 (en) 2012-03-16 2015-02-24 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for smiling face detection
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックＩｐマネジメント株式会社 撮像装置
WO2016088840A1 (ja) 2014-12-03 2016-06-09 株式会社ニコン 撮像装置、電子機器およびプログラム
CN109074484B (zh) 2016-03-02 2022-03-01 蒂诺克股份有限公司 用于有效率的面部识别的系统和方法
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
US10303930B2 (en) 2016-03-30 2019-05-28 Tinoq Inc. Systems and methods for user detection and recognition
KR20180081918A (ko) * 2017-01-09 2018-07-18 삼성전자주식회사 전자 장치 및 전자 장치의 영상 촬영 방법
EP3652934A4 (en) * 2017-09-01 2021-03-24 Percipient.ai Inc. IDENTIFYING INDIVIDUALS IN A DIGITAL FILE USING MEDIA ANALYSIS TECHNIQUES
WO2020041352A1 (en) 2018-08-21 2020-02-27 Tinoq Inc. Systems and methods for member facial recognition based on context information
CN110276767B (zh) * 2019-06-28 2021-08-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112822405A (zh) * 2021-01-13 2021-05-18 北京小米移动软件有限公司 对焦方法、装置、设备及存储介质
US11930027B2 (en) * 2021-12-28 2024-03-12 Nozomi Networks Sagl Method for evaluating quality of rule-based detections

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410225A (en) * 1991-08-30 1995-04-25 Aiwa Co., Ltd. Video camera and camera system employing aperture control
JPH0738796A (ja) 1993-07-21 1995-02-07 Mitsubishi Electric Corp 自動合焦装置
JP3540494B2 (ja) 1996-03-15 2004-07-07 株式会社東芝 協同作業調整装置及び協同作業調整方法
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6463163B1 (en) * 1999-01-11 2002-10-08 Hewlett-Packard Company System and method for face detection using candidate image region selection
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
JP2001216515A (ja) * 2000-02-01 2001-08-10 Matsushita Electric Ind Co Ltd 人物の顔の検出方法およびその装置
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP2002051255A (ja) 2000-07-31 2002-02-15 Olympus Optical Co Ltd 主要被写体検出カメラ
JP3784711B2 (ja) 2000-12-20 2006-06-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP2002207156A (ja) 2001-01-04 2002-07-26 Olympus Optical Co Ltd カメラの測距装置
JP4318873B2 (ja) 2001-07-26 2009-08-26 富士フイルム株式会社 距離情報取得装置、距離情報取得方法、プログラム、及び撮像装置
JP4364464B2 (ja) 2001-09-17 2009-11-18 株式会社リコー デジタルカメラ撮像装置
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP2003158643A (ja) 2001-11-20 2003-05-30 Shibasoku:Kk 信号処理方法及び信号処理装置
JP2003189296A (ja) * 2001-12-21 2003-07-04 Konica Corp 撮影装置
US20030161506A1 (en) * 2002-02-25 2003-08-28 Eastman Kodak Company Face detection computer program product for redeye correction
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
GB2395780A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
US7596247B2 (en) * 2003-11-14 2009-09-29 Fujifilm Corporation Method and apparatus for object recognition using probability models
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム

Also Published As

Publication number Publication date
US20090180696A1 (en) 2009-07-16
KR20060031638A (ko) 2006-04-12
WO2005006072A1 (ja) 2005-01-20
EP1653279A1 (en) 2006-05-03
EP1653279B1 (en) 2019-02-06
EP1653279A4 (en) 2011-04-27
US7526193B2 (en) 2009-04-28
US7912363B2 (en) 2011-03-22
US20070110422A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
KR100839772B1 (ko) 대상 결정 장치 및 촬상 장치
JP4461747B2 (ja) 対象決定装置
JP4706197B2 (ja) 対象決定装置及び撮像装置
US9692964B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
JP4121026B2 (ja) 撮像装置および方法並びにプログラム
KR101142316B1 (ko) 화상 선택 장치 및 화상 선택 방법
US7720302B2 (en) Method, apparatus and program for image processing
US8861806B2 (en) Real-time face tracking with reference images
JP5423305B2 (ja) 画像評価装置及びカメラ
US7564486B2 (en) Image sensing apparatus with feature extraction mechanism and its control method
JP4196714B2 (ja) デジタルカメラ
US20090003708A1 (en) Modification of post-viewing parameters for digital images using image region or feature information
JP2004520735A (ja) 電子画像の自動クロッピング方法および装置
JP2004320286A (ja) デジタルカメラ
US20100209093A1 (en) Focus adjusting apparatus and focus adjusting method
CN100538498C (zh) 对象决定装置和摄像装置
CN111314608B (zh) 一种图像定焦提示方法、计算机装置及计算机可读存储介质
JP4629740B2 (ja) 撮像装置および方法並びにプログラム
JP2015118274A (ja) 撮像装置、その制御方法及びプログラム
JP4821881B2 (ja) 対象決定装置
JP4323559B2 (ja) 撮像装置および方法並びにプログラム
JP2024003949A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
KR20090102260A (ko) 카메라 동작 제어 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130524

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150515

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 12