KR101044462B1

KR101044462B1 - 촬상장치 및 프로그램 격납 기억매체

Info

Publication number: KR101044462B1
Application number: KR1020090007234A
Authority: KR
Inventors: 겐지 이와모토
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2008-01-31
Filing date: 2009-01-30
Publication date: 2011-06-27
Also published as: KR20090084727A; TW200943932A; US20090196461A1; TWI393434B; CN101582987A; JP2009182905A; CN101582987B; US8411997B2; JP4518157B2

Abstract

피사체를 촬상하는 촬상수단과, 상기 촬상수단에 의해 촬상된 화상데이터 내에 있는 피사체를 검출하는 피사체 검출수단과, 상기 피사체 검출수단에 의해서 검출된 피사체의 방향을 식별하는 식별수단과, 상기 식별수단에 의해 식별된 피사체의 방향에 의거하여 해당 장치의 소정의 제어를 실행하는 제어수단을 구비한다.

촬상장치, 기억매체, 촬상수단, 피사체 검출수단, 식별수단, 제어수단

Description

촬상장치 및 프로그램 격납 기억매체{IMAGE CAPTURE DEVICE AND PROGRAM STORAGE MEDIUM}

본 발명은 촬상장치 및 프로그램 격납 기억매체에 관한 것이다.

이동하는 피사체의 위치를 순차 검출하는 기능을 구비한 촬상장치가 알려져 있다(일본국 특개 2001-76156호 공보). 이 문헌은, 앞 프레임 화상으로부터 잘라 내어진 템플릿(추종시키고 싶은 피사체를 포함하는 화상영역)에 유사한 작은 화상영역을 현 프레임 화상의 탐색범위로부터 탐색함으로써, 가장 유사도가 높은 작은 화상영역을 검출하고, 이 검출된 작은 화상영역 내에 해당 피사체가 이동했다고 판단한다. 이 처리를 반복하는 것으로, 어느 위치에 피사체가 이동하고 있는지를 순차 검출(추종)하여 간다.

그러나, 상기 특허문헌의 기술에 따르면, 피사체가 이동하는 방향을 예측할 수 없었다.

그래서 본 발명은 피사체의 방향으로부터 피사체의 이동방향을 예측하고, 예측한 이동방향에 의거한 촬상제어를 실행할 수 있는 촬상장치 및 프로그램 격납 기억매체를 제공하는 것을 목적으로 한다.

하나의 형태에서는, 피사체를 촬상하는 촬상수단과, 상기 촬상수단에 의해 촬상된 화상데이터 내에 있는 피사체를 검출하는 피사체 검출수단과, 상기 피사체 검출수단에 의해서 검출된 피사체의 방향을 식별하는 식별수단과, 상기 식별수단에 의해 식별된 피사체의 얼굴 방향에 의거하여 상기 피사체가 이동할 것으로 예측되는 예측영역을 특정하는 특정수단과, 상기 특정수단에 의해 특정된 상기 예측영역에 의거하여 노출제어 또는 상기 피사체검출수단의 제어 중의 적어도 일방의 제어를 실행하는 제어수단을 구비하는 것을 특징으로 한다.

삭제

또 다른 형태에서는, 촬상장치의 컴퓨터에 의해 실행되는 프로그램을 격납하는 컴퓨터 판독 가능한 정보기억매체로서, 상기 촬상장치에 의해 촬상된 화상데이터 내에 있는 피사체를 검출하는 기능, 상기 검출된 피사체의 방향을 식별하는 기능, 식별된 피사체의 얼굴 방향에 의거하여 상기 피사체가 이동할 것으로 예측되는 예측영역을 특정하는 기능, 및 특정된 상기 예측영역에 기초하여 노출제어 또는 상기 피사체검출수단의 제어 중의 적어도 일방의 제어를 실행하는 기능을 컴퓨터에 실행시키기 위한 프로그램을 기억한 정보기억매체를 제공한다.

삭제

본 발명에 따르면, 검출된 얼굴의 방향에 의거한 촬상을 위한 소정의 제어 를 실행할 수 있다

이하, 본 발명에 의한 촬상장치의 실시형태를 도면을 참조해서 상세하게 설명한다.

[제 1 실시형태]

A. 디지털카메라의 구성

도 1은 본 발명에 의한 촬상장치의 실시형태로서의 디지털카메라(1)의 전기적인 개략 구성을 나타내는 블록도이다.

디지털카메라(1)는 촬상렌즈(2), 렌즈구동블록(3), 조리개(4), CCD(5), 수직드라이버(6), TG(timing generator, 7), 유닛회로(8), DMA(Direct Memory Access)콘트롤러(이하, DMA라고 한다, 9), CPU(10), 키 입력부(11), 메모리(12), DRAM (13), DMA(14), 화상생성부(15), DMA(16), DMA(17), 표시부(18), DMA(19), 압축신장부(20), DMA(21), 플래시메모리(22), 얼굴검출부(23), 버스(24)를 구비하고 있다.

촬상렌즈(2)는 도시하지 않는 복수의 렌즈군으로 구성되고, 포커스 렌즈(2A)를 적어도 갖는다. 포커스 렌즈(2A)에는 렌즈구동블록(3)이 접속되어 있다. 렌즈구동블록(3)은 포커스 렌즈(2A)를 광축방향을 따라 구동시키는 포커스 모터(도시하지 않음), CPU(10)로부터 보내져 오는 제어신호에 따라서 포커스 모터를 구동시키는 포커스 모터 드라이버(도시하지 않음)로 구성되어 있다.

촬상렌즈(2)와 CCD(5)의 사이에 배치되는 조리개(4)는 도시하지 않는 구동회 로를 포함하고, 구동회로는 CPU(10)로부터 보내져 오는 제어신호에 따라서 조리개 (4)를 동작시킨다.

조리개(4)란, CCD(5)에 입사되는 빛의 양을 제어하는 기구를 말한다.

노출량은 조리개(4)의 정도(조리개값)와 셔터속도에 의해서 정해진다.

CCD(5)는 수직드라이버(6)에 의해서 주사 구동되고, 일정주기마다 피사체상을 구성하는 각 화소의 RGB값의 각 색의 빛의 세기를 광전 변환하여 촬상신호로서 유닛회로(8)에 출력한다. 수직드라이버(6), 유닛회로(8)의 동작타이밍은 TG(7)를 통하여 CPU(10)에 의해서 제어된다. CCD(5)는 전자셔터로서의 기능을 가지며, 이 전자셔터는 수직드라이버(6), TG(7), CPU(10)를 통하여 제어된다.

유닛회로(8)에는 TG(7)가 접속되어 있으며, CCD(5)로부터 출력되는 촬상신호를 상관 이중 샘플링하여 홀딩하는 CDS(Correlated Double Sampling)회로, 그 샘플링 후의 촬상신호의 자동 이득 조정을 실행하는 AGC(Automatic Gain Control)회로, 그 자동 이득 조정 후의 아날로그신호를 디지털신호로 변환하는 A/D변환기로 구성되어 있고, CCD(5)에 의해서 얻어진 촬상신호는 유닛회로(8)를 거친 후, DMA(9)에 의해서 베이어 데이터의 형태로 버퍼메모리(DRAM(13))에 기억된다.

CPU(10)는 AF처리, 기록처리, 표시처리 등을 실행하는 기능을 갖는 동시에, 디지털카메라(1)의 각부를 제어하는 원칩 마이컴이다.

CPU(10)는 얼굴검출부(23)에 의해서 식별된 얼굴의 방향에 의거하여 얼굴검출부(23)에 의해서 다음번의 얼굴검출을 실행하는 영역을 제한하는 제어부(101), 화상데이터에 의거하여 AE처리를 실행하는 AE처리부(102)를 갖는다.

키 입력부(11)는 반 누름 조작, 완전 누름 조작 가능한 셔터버튼, 모드전환 키, 녹화버튼, 십자 키, 설정 키 등의 복수의 조작 키를 포함하고, 사용자의 키 조작에 따른 조작신호를 CPU(10)에 출력한다.

메모리(12)에는 CPU(10)가 디지털카메라(1)의 각부를 제어하는데에 필요한 제어 프로그램, 및 필요한 데이터가 기록되어 있으며, CPU(10)는 프로그램에 따라 동작한다.

DRAM(13)은 CCD(5)에 의해서 촬상된 화상데이터를 일시 기억하는 버퍼메모리로서 사용되는 동시에, CPU(10)의 작업메모리로서도 사용된다.

DMA(14)는 버퍼메모리에 기억된 베이어 데이터의 화상데이터를 판독하여 화상생성부(15)에 출력하는 것이다.

화상생성부(15)는 DMA(14)로부터 보내져 온 화상데이터에 대해서 화소보간처리, γ보정처리, 화이트밸런스처리 등의 처리를 시행하는 동시에, 휘도색차신호 (YUV데이터)의 생성도 실행한다. 즉, 화상처리를 시행하는 부분이다.

DMA(16)는 화상생성부(15)에서 화상처리가 시행된 휘도색차신호의 화상데이터(YUV데이터)를 버퍼메모리에 기억시키는 것이다.

DMA(17)는 버퍼메모리에 기억되어 있는 YUV데이터의 화상데이터를 표시부 (18)에 출력하는 것이다.

표시부(18)는 컬러LCD와 그 구동회로를 포함하고, DMA(17)로부터 출력된 화상데이터의 화상을 표시시킨다.

DMA(19)는 버퍼메모리에 기억되어 있는 YUV데이터의 화상데이터나 압축된 화 상데이터를 압축신장부(20)에 출력하거나, 압축신장부(20)에 의해 압축된 화상데이터나, 신장된 화상데이터를 버퍼메모리에 기억시키거나 하는 것이다.

압축신장부(20)는 화상데이터의 압축ㆍ신장(예를 들면, JPEG나 MPEG형식의 압축ㆍ신장)을 실행하는 부분이다.

DMA(21)는 버퍼메모리에 기억되어 있는 압축 화상데이터를 판독하여 플래시메모리(22)에 기록시키거나, 플래시메모리(22)에 기록된 압축 화상데이터를 버퍼메모리에 기억시키는 것이다.

얼굴검출부(23)는 촬상된 화상데이터 내에 있는 얼굴을 검출하는 얼굴검출처리를 실행하는 것이다. 이 얼굴검출처리는 얼굴의 영역을 검출하는 동시에, 검출한 얼굴의 방향을 식별한다. 이 얼굴검출처리는 주지기술이므로 상세하게는 설명하지 않는데, 예를 들면, 미리 기억되어 있는 일반적인 사람의 얼굴을 모든 방향에서 보았을 때의 특징데이터(모든 방향에서 보았을 때의 눈, 눈썹, 코, 입, 귀, 얼굴 전체의 윤곽 등의 특징데이터)와 화상데이터를 비교 대조함으로써, 얼굴특징데이터와 일치하는 정도가 소정값 이상인 영역을 얼굴이라고 검출하는 동시에, 소정값 이상으로 일치한 얼굴특징데이터의 방향을 검출한 얼굴의 방향이라고 식별한다.

또한, 눈, 코, 입의 특징데이터를 가지며, 눈, 코, 입을 검출하고, 검출된 눈, 코, 입의 위치관계로부터 얼굴의 방향을 식별하도록 해도 좋다.

B. 디지털카메라(1)의 동작에 대해서

디지털카메라(1)에 의한 동화상의 촬영기록의 동작을 도 2의 흐름도에 따라서 설명한다.

촬상모드의 라이브 뷰(live view) 표시중에 있어서, 사용자에 의해서 키 입력부(11)의 녹화버튼이 완전히 눌러지면(녹화버튼의 누름조작에 대응하는 조작신호가 키 입력부(11)로부터 보내져 오면), 동화상 촬상기록처리가 개시되었다고 판단하고, CPU(10)는 촬상타이밍이 도래했는지 아닌지를 판단한다(스텝S1). 여기에서는 30fps의 프레임 속도로 피사체를 촬상하므로, 1/30s(초) 간격으로 촬상타이밍이 도래하게 된다.

스텝S1에서 촬상타이밍이 도래하고 있지 않다고 판단하면, 촬상타이밍이 도래할 때까지 스텝S1에 머문다. 촬상타이밍이 도래하면, CPU(10)는 촬상처리(스텝S2)를 실행한다. 이 촬상처리는 스텝S6의 AE처리(후술)에 의해 설정된 셔터속도, 조리개값, 게인값에 의거하여 실행한다. 즉, 설정된 셔터속도, 조리개값으로 CCD (5)는 노광 동작하고, CCD(5)에 축적된 화상데이터가 판독된다. 유닛회로(8)의 AGC는 판독된 프레임 화상데이터를 설정된 게인값에 따라서 자동 이득 조정한다. 화상생성부(15)에 의해서 생성된 자동 이득 조정 후의 휘도색차신호의 프레임 화상데이터가 버퍼메모리에 기억된다.

동화상 촬상기록처리가 개시되고 나서 최초의 촬상(스텝S2)은 스텝S6에서 AE처리가 실행되고 있지 않으므로, 동화상 촬상기록처리전의 라이브 뷰 표시용으로서 가장 최근에 촬상된 프레임 화상데이터에 의거하여 AE처리를 실행하고, 그것에 의해서 설정된 셔터속도, 조리개값, 게인값 등으로 촬상처리를 실행한다.

이어서, CPU(10)는 스텝S2에서 촬상된 프레임 화상데이터를 버퍼메모리로부터 판독하여 얼굴검출부(23)에 출력하고, 얼굴검출부(23)에 대해서 얼굴검출처리를 실행시킨다(스텝S3). 이 얼굴검출처리에 의해 검출된 얼굴의 영역을 나타내는 정보, 및 얼굴의 방향을 나타내는 정보는 CPU(10)에 보내진다. 이때, 얼굴검출처리는 후술하는 스텝S4의 CPU(10)의 제어부(101)에 의한 제어에 따라서 얼굴검출처리를 실행한다. 또한, 동화상 촬상처리가 개시되고 나서 최초의 얼굴검출은 후술하는 스텝S4에서 얼굴검출의 제어가 실행되고 있지 않으므로, 프레임 화상데이터의 전체영역, 혹은, 소정의 영역 또는 임의로 지정된 영역에 대해서 얼굴검출이 실행된다.

이어서, CPU(10)의 제어부(101)는 검출된 얼굴이 향하는 방향을 중시한 얼굴검출처리를 실행하도록 얼굴검출부(23)를 제어한다(스텝S4). 이 얼굴이 향하는 방향을 중시한 얼굴검출처리란, 얼굴이 향하고 있는 방향에 의거하는 소정영역에 대해서만 실행하는 얼굴검출처리이다. 통상, 얼굴이 향하고 있는 방향으로 사람은 이동하여 간다고 생각할 수 있기 때문이며, 얼굴이 향하고 있는 방향을 따라서 얼굴영역을 확장한 소정영역에 대해서 얼굴검출을 실행함으로써, 얼굴검출처리의 처리 부담을 경감시키는 동시에, 신속하게 얼굴을 검출할 수 있다. 즉, 이 제어에 의해 신속하게 검출된 얼굴에 추종할 수 있어 추종의 처리 부담을 경감시킬 수 있다.

이어서, CPU(10)의 AE처리부(102)는 검출된 얼굴의 방향에 의거하여 예측영역을 특정한다(스텝S5). 이 얼굴의 방향에 의거한 예측영역이란, 검출된 얼굴영역을 식별된 얼굴이 향하는 방향으로 옮긴 소정영역을 말한다. 통상, 얼굴이 향하고 있는 방향으로 사람은 이동하여 간다고 생각할 수 있기 때문이다. 이 특정된 예측 영역을 중시해서 AE처리가 실행된다.

도 3a는 검출된 프레임 화상데이터 내에 있는 얼굴과, 검출된 얼굴의 방향에 의거하는 얼굴검출처리의 대상이 되는 소정영역, 및 검출된 얼굴의 방향에 의거하여 특정된 예측영역의 모양의 일례를 나타내는 것이다.

도 3a를 보면, 프레임 화상데이터(30)에는 얼굴(31)이 있으며, 얼굴(31)의 방향은 오른쪽 방향이므로 얼굴검출처리의 대상이 되는 소정영역(32)은 얼굴(31)이 향하고 있는 방향으로 길게 취한 영역인 것을 알 수 있다. 이 얼굴검출처리의 대상이 되는 영역을 소정영역(32)으로 하는 것으로, 다음번의 얼굴검출, 추종의 처리 부담을 경감시킬 수 있다.

또, 도 3a를 보면, 예측영역(33)은 얼굴(31)이 있는 영역으로부터 얼굴(31)이 향하고 있는 방향으로 옮긴 소정영역인 것을 알 수 있다. 이 예측영역(33)의 크기는 검출된 얼굴의 크기와 같은 크기라도 좋고, 소정의 크기라도 좋다.

도 2의 흐름도로 되돌아가서, 스텝S5의 동작을 거치면, CPU(10)의 AE처리부(102)는 특정된 예측영역(33)을 중시한 AE처리를 실행한다(스텝S6).

즉, 버퍼메모리에 기억되어 있는 가장 최근에 스텝S2에서 촬상된 프레임 화상데이터 중, 특정된 예측영역(33)을 측광영역으로 하고, 측광영역의 화상데이터의 휘도신호에 의거하여 AE처리를 실행한다. 이 AE처리에 의해, 셔터속도, 조리개값, 게인값이 설정된다.

이어서, CPU(10)는 검출된 얼굴의 방향에 의거하여 얼굴에 대해서 AF처리를 실행한다(스텝S7). 이 검출된 얼굴에 의거하는 AF처리란, 검출된 얼굴의 방향에 의거하여 포커스 렌즈(2A)의 서치이동방향을 바꾼다고 하는 의미이다.

도 4a는 포커스 렌즈(2A)의 이동의 모양을 나타내는 것이다.

도 4a에 나타내는 바와 같이, 포커스 렌즈(2A)는 가장 먼 렌즈단(36)에서 가장 가까운 렌즈단(38)까지 이동 가능하게 되어 있으며, AF처리는 초점맞춤렌즈위치를 검출하기 위해 포커스 렌즈를 렌즈단(36)과 렌즈단(38)의 사이를 서치 이동시키고, 각 렌즈위치에 있어서의 화상데이터의 고주파 성분에 의거하여 초점맞춤렌즈위치를 검출하며, 검출한 초점맞춤렌즈위치로 포커스 렌즈(2A)를 이동시킨다. 여기에서, 한쪽의 렌즈단(38)측은 가까운 피사체에 핀트가 맞는 렌즈위치이며, 다른 쪽의 렌즈단(36)측은 먼 피사체에 핀트가 맞는 렌즈위치이다.

이때, 검출된 얼굴의 방향에 따라서 포커스 렌즈(2A)의 서치이동방향을 바꾼다.

도 4b는 검출된 얼굴의 방향의 모양의 일례를 나타내는 도면이다.

도 4b에 나타내는 바와 같이, 검출된 얼굴의 방향이 오른쪽 바로 앞을 향하고 있는 경우는, 얼굴은 디지털카메라(1)를 향해 다가가는 것이 예상되므로, 포커스 렌즈(2A)를 가까운 피사체에 핀트가 맞는 렌즈단 측으로 서치 이동시켜서 초점맞춤렌즈위치를 검출한다.

도 4c에 나타내는 바와 같이, 검출된 얼굴의 방향이 오른쪽 안을 향하고 있는 경우는, 얼굴은 디지털카메라(1)로부터 멀어져 가는 것이 예상되므로, 포커스 렌즈(2A)를 먼 피사체에 핀트가 맞는 렌즈단 측으로 서치 이동시켜서 초점맞춤렌즈위치를 검출한다.

즉, 검출된 얼굴의 방향이 디지털카메라(1)에 가까워지는 방향인 경우는, 포커스 렌즈(2A)를 현재의 렌즈위치에서 가까운 피사체에 핀트가 맞는 렌즈단(38) 측으로부터 먼저 서치 이동시키고, 검출된 얼굴의 방향이 디지털카메라(1)로부터 멀어지는 방향인 경우는, 포커스 렌즈(2A)를 현재의 렌즈위치에서 먼 피사체에 핀트가 맞는 렌즈단(36) 측으로부터 먼저 서치 이동시킨다.

검출된 얼굴의 방향이 디지털카메라(1)로부터 멀어지는 방향이라도, 디지털카메라(1)에 가까워지는 방향이 아닌 경우(예를 들면 얼굴이 바로 옆 방향의 경우)는, 포커스 렌즈(2A)를 이동시키지 않도록 해도 좋고(AF처리를 실행하지 않도록 해도 좋고), 포커스 렌즈(2A)를 현재의 렌즈위치로부터 전후(가까운 피사체에 핀트가 맞는 렌즈단(38) 측의 방향과 먼 피사체에 핀트가 맞는 렌즈단(36) 측의 방향)로 좁은 범위로 이동시켜서 초점맞춤렌즈위치를 검출하도록 해도 좋다. 디지털카메라 (1)에서 피사체까지의 거리가 변하지 않는 경우는, 핀트가 벗어나 있지 않던지, 벗어나 있었다고 해도 미소하기 때문이다.

이와 같이, 검출된 얼굴의 방향에 따라 포커스 렌즈(2A)의 서치이동방향을 바꿈으로써, 신속하게 AF처리를 실행할 수 있다.

도 2의 흐름도의 설명으로 되돌아가서, 검출된 얼굴의 방향에 의거하여 얼굴에 대해서 AF처리를 실행하면, CPU(10)는 버퍼메모리에 기록되어 있는 가장 최근에 스텝S2에서 촬상된 프레임 화상데이터를 압축신장부(20)에 압축시키고, 압축된 프레임 화상데이터를 DMA(21)를 통하여 플래시메모리(22)에 기록시킨다(스텝S8).

이어서, CPU(10)는 동화상 촬상기록처리를 종료할지 아닌지를 판단한다(스텝 S9). 이 판단은 셔터버튼의 완전 누름 조작에 대응하는 조작신호가 키 입력부(11)로부터 재차 보내져 왔는지 아닌지에 의해 판단한다.

스텝S9에서 동화상 촬상기록처리를 종료한다고 판단하면, 기록한 프레임 화상데이터에 의거하여 동화상 파일을 생성하고(스텝S10), 스텝S9에서 동화상 촬상기록처리를 종료하지 않는다고 판단하면 스텝S1로 되돌아가 상기한 동작을 반복한다. 즉, 스텝S1에서 촬상타이밍이 도래했다고 판단하면, 스텝S2에서 스텝S6의 AE처리에 의해서 설정된 셔터속도, 조리개값으로 CCD(5)에 노광시키고, CCD(5)에 축적된 프레임 화상데이터를 판독하며, 유닛회로(8)의 AGC는 CCD(5)로부터 판독된 프레임 화상데이터를 설정된 게인값에 따라서 자동 이득 조정하고, 화상생성부(15)에 의해서 생성된 자동 이득 조정 후의 휘도색차신호의 프레임 화상을 버퍼메모리에 기억시킨다.

도 3b는 스텝S6의 AE처리 후에 스텝S2에서 촬상된 프레임 화상의 모양, 및 스텝S6의 AE처리의 측광영역의 대상이 된 예측영역(33)의 모양의 일례를 나타내는 것이다.

도 3b를 보면, 프레임 화상데이터(30) 상에 있는 얼굴(31)은 AE처리의 대상이 된 예측영역(33) 상에 있는 것을 알 수 있다. 즉, 도 3a에 나타내는 바와 같이, 얼굴이 검출된 영역을 측광영역으로 하지 않고, 얼굴이 향하고 있는 방향으로 측광영역을 옮기고 있으므로, 다음의 촬상타이밍시에 얼굴이 위치한다고 생각되는 영역을 측광영역으로서 미리 AE처리함으로써, 적절히 촬상시에 위치하는 얼굴이 적정 노출량이 되는 화상데이터를 촬상할 수 있다. 즉, 종래는 도 3a에 나타내는 바 와 같이 검출된 얼굴영역(31)을 측광영역으로서 AE처리를 실행하여 촬상처리를 실행하고 있었으므로, 실제로 촬상되는 얼굴(도 3b의 얼굴영역(31))과 AE처리의 대상이 된 영역(도 3a의 얼굴영역(31))이 달라 버려, 실제로 촬상된 얼굴이 적정 노출이 되지 않는다고 하는 불편함을 시정할 수 있다.

이상과 같이, 제 1 실시형태에 있어서는 검출된 얼굴의 방향에 의거하여 촬상을 위한 소정의 제어를 적절히 실행할 수 있다. 예를 들면, 검출된 얼굴이 향하는 방향을 중시한 얼굴검출처리를 실행시키므로, 추종의 처리 부담을 경감시킬 수 있어 신속하게 얼굴에 추종할 수 있다. 또, 검출된 얼굴의 방향을 중시한 측광영역을 특정해서 AE처리를 실행하므로, 피사체가 이동하고 있어도, 얼굴영역이 적정 노출량이 되는 화상데이터를 촬상할 수 있다. 또, 검출된 얼굴의 방향을 중시한 포커스 렌즈의 서치 이동을 실행하므로, 신속하게 얼굴을 추종한 AF처리를 실행할 수 있다.

[제 2 실시형태]

다음으로 제 2 실시형태에 대해 설명한다.

D. 디지털카메라(1)의 동작

제 2 실시형태도, 도 1에 나타낸 것과 똑같은 구성을 갖는 디지털카메라(1)를 이용함으로써 본 발명의 촬상장치를 실현한다.

이하, 제 2 실시형태에 있어서의 디지털카메라(1)의 동작을 도 5의 흐름도에 따라서 설명한다.

촬상모드의 라이브 뷰 표시중에 있어서, 사용자에 의해서 키 입력부(11)의 녹화버튼이 완전히 눌러지면(녹화버튼의 누름 조작에 대응하는 조작신호가 키 입력부(11)로부터 보내져 오면), CPU(10)는 촬상타이밍이 도래했는지 아닌지를 판단한다(스텝S21). 여기에서는 30fps의 프레임속도로 피사체를 촬상하므로, 1/30s(초) 간격으로 촬상타이밍이 도래하게 된다.

스텝S21에서 촬상타이밍이 도래하고 있지 않다고 판단하면, 촬상타이밍이 도래할 때까지 스텝S21에 머물고, 촬상타이밍이 도래하면, CPU(10)는 촬상처리를 실행한다(스텝S22). 이 촬상처리는 후술하는 스텝S28, 또는 스텝S30에서 가장 최근에 설정된 노출조건(셔터속도, 조리개값, 게인값)에 의거하여 실행한다. 즉, 설정된 셔터속도, 조리개값으로 CCD(5)가 노광 동작하고, CCD(5)에 축적된 화상데이터가 판독된다. 유닛회로(8)의 AGC는 판독된 프레임 화상데이터를 설정된 게인값에 따라서 자동 이득 조정한다. 화상생성부(15)에 의해서 생성된 자동 이득 조정 후의 휘도색차신호의 프레임 화상데이터가 버퍼메모리에 기억된다.

동화상 촬상기록처리가 개시되고 나서 최초의 촬상(스텝S22)은 스텝S28, 또는 스텝S30에서 노출조건이 설정되어 있지 않으므로, 동화상 촬상기록처리 전의 라이브 뷰 표시용으로서 가장 최근에 촬상된 프레임 화상데이터에 의거하여 AE처리를 실행하고, 그것에 따라 설정된 셔터속도, 조리개값, 게인값 등으로 촬상처리를 실행한다.

이어서, CPU(10)는 버퍼메모리에 기억되어 있는 가장 최근에 스텝S22에서 촬상된 프레임 화상데이터를 얼굴검출부(23)에 출력하고, 얼굴검출부(23)에 가장 최근에 촬상된 프레임 화상데이터에 대해서 얼굴검출처리를 실행시킨다(스텝S23). 이 얼굴검출처리에 의해 검출된 얼굴의 영역을 나타내는 정보, 및 얼굴의 방향을 나타내는 정보는 CPU(10)에 보내진다. 이때, 얼굴검출처리는 후술하는 스텝S24의 CPU(10)의 제어부(101)에 의한 제어에 따라서 얼굴검출처리를 실행한다. 또한, 동화상 촬상기록처리가 개시되고 나서 최초의 얼굴검출은 후술하는 스텝S24에서 얼굴검출의 제어가 실행되고 있지 않으므로, 프레임 화상데이터의 전체영역, 혹은 소정의 영역 또는 임의로 지정된 영역에 대해서 얼굴검출이 실행된다.

이어서, CPU(10)의 제어부(101)는 검출된 얼굴이 향하는 방향을 중시한 얼굴검출처리를 실행하도록 얼굴검출부(23)를 제어한다(스텝S24). 이 제어는 상기 제 1 실시형태에서 설명한 도 2의 스텝S4와 똑같다.

이어서, CPU(10)는 검출된 얼굴의 방향에 의거하여 얼굴에 대해서 AF처리를 실행한다(스텝S25). 이 검출된 얼굴의 방향에 의거하는 AF처리란, 상기 제 1 실시형태의 도 2의 스텝S7과 똑같이, 검출된 얼굴의 방향에 의거하여 포커스 렌즈(2A)의 서치이동방향을 바꾼다고 하는 의미이다.

이어서, CPU(10)는 버퍼메모리에 기록되어 있는 가장 최근에 스텝S22에서 촬상된 프레임 화상데이터를 압축신장부(20)에 압축시키고, 압축된 프레임 화상데이터를 DMA(21)를 통하여 플래시메모리(22)에 기록시킨다(스텝S26).

이어서, CPU(10)는 검출된 얼굴이 후술하는 스텝S31에서 가장 최근에 특정된 예측영역(33)에 들어갔는지 아닌지를 판단한다(스텝S27). 여기에서, 특정된 예측영역 (33)에 얼굴이 들어갔는지 아닌지의 판단기준에 대해 설명한다. 본 실시형태에서는 예측영역(33)에 검출된 얼굴이 1/2 이상 들어간 경우에, 특정된 예측영 역(33)에 얼굴이 들어갔다고 판단하는 것으로 한다. 또, 이것에 한정하지 않고 예측영역 (33)에 검출된 얼굴이 조금이라도 들어간 경우는, 특정된 예측영역(33)에 얼굴이 들어갔다고 판단하도록 해도 좋고, 예측영역(33)에 검출된 얼굴이 전부 들어간 경우는, 특정된 예측영역(33)에 얼굴이 들어갔다고 판단하도록 해도 좋다.

또한, 후술하는 스텝S32의 예측영역의 특정이 실행되고 있지 않은 경우는, 스텝S27에서 N으로 분기한다. 예를 들면, 동화상 촬상기록처리가 개시되고 나서 최초의 스텝S22에서의 촬상 후는, 아직 예측영역(33)이 특정되어 있지 않으므로 스텝S27에서 N으로 분기한다.

스텝S27에서, 가장 최근에 특정한 예측영역(33)에 검출된 얼굴이 들어갔다고 판단하면, CPU(10)의 AE처리부(102)는 후술하는 스텝S33에서 가장 최근에 산출한 예측영역을 측광영역으로 한 노출조건으로 설정하고(스텝S28), 스텝S32로 진행한다. 이에 따라, 다음의 스텝S22의 동작에서, 설정된 예측영역(33)에 의거하는 노출조건으로 촬상되게 된다.

한편, 스텝S27에서, 가장 최근에 특정한 예측영역(33)에 검출된 얼굴이 들어가 있지 않다고 판단하면, CPU(10)는 지난번의 스텝S30의 동작이 종료되어 있는지 아닌지를 판단한다(스텝S29).

스텝S29에서, 지난번의 스텝S30의 동작이 종료되어 있지 않다고 판단하면 스텝S31로 진행하고, 지난번의 스텝S30의 동작이 종료되어 있다고 판단하면, CPU(10)의 AE처리부(102)는 검출한 얼굴영역을 측광영역으로서 노출조건을 산출하여 설정한다(스텝S30). 즉, 가장 최근에 촬상된 프레임 화상데이터의 검출된 얼굴영역의 화상데이터의 휘도신호에 의거하여 노출조건(조리개값, 셔터속도, 게인값)을 산출하여 설정한다. 이에 따라, 다음의 스텝S22의 동작에서, 설정된 얼굴영역에 의거하는 노출조건으로 촬상되게 된다. 그리고, 노출조건이 설정되면 스텝S31로 진행한다.

스텝S31로 진행하면, CPU(10)는 검출된 얼굴의 방향이 바뀌었는지 아닌지를 판단한다. 이 판단은 가장 최근에 식별된 얼굴의 방향과, 그 전에 식별된 얼굴의 방향이 소정값 이상으로 일치하는지 아닌지에 의해 판단하고, 소정값 이상으로 일치하는 경우는 얼굴의 방향이 바뀌어 있지 않다고 판단한다.

단, 처음으로 얼굴의 방향이 식별된 경우 등과 같이, 가장 최근에 실행된 얼굴 방향의 식별 전에, 얼굴의 방향이 식별되어 있지 않은 경우는, 검출된 얼굴의 방향이 바뀌었다고 판단한다.

스텝S31에서 얼굴의 방향이 바뀌어 있지 않다고 판단하면 그대로 스텝S34로 진행하고, 스텝S31에서 얼굴의 방향이 바뀌어 있다고 판단하면, 이미 특정되어 있는 예측영역(33)을 유지할 수 없으며, 즉, 설정한 예측영역(33)의 방향으로 얼굴이 이동하는 일은 없다고 생각할 수 있으므로, 스텝S32로 진행한다. 또한, 가장 최근에 실행된 얼굴 방향의 식별 전에, 얼굴의 방향이 식별되어 있지 않아서 얼굴의 방향에 변화가 있다고 판단된 경우도, 예측영역이 특정되어 있지 않으므로 스텝S32로 진행하게 된다.

스텝S32로 진행하면, CPU(10)의 AE처리부(102)는 스텝S23에서 가장 최근에 식별된 얼굴의 방향에 의거하여 예측영역을 특정한다. 이 얼굴의 방향에 의거한 예측영역이란, 예측영역을 검출된 얼굴영역을 얼굴이 향하는 방향으로 옮긴 소정영역을 말한다. 통상, 얼굴이 향하고 있는 방향으로 사람은 이동하여 간다고 생각할 수 있기 때문이다. 이 특정된 예측영역을 중시해서 노출조건이 산출된다.

이어서, CPU(10)의 AE처리부(102)는 특정한 예측영역(33)을 중시해서 노출조건을 산출하고(스텝S33), 스텝S34로 진행한다. 즉, 가장 최근에 촬상된 프레임 화상데이터의 특정된 예측영역(33)을 측광영역으로 하고, 측광영역의 화상데이터의 휘도신호에 의거하여 노출조건(조리개값, 셔터속도, 게인값)을 산출한다.

스텝S34로 진행하면, CPU(10)는 동화상 촬상기록처리를 종료했는지 아닌지를 판단한다. 이 판단은 셔터버튼의 완전 누름 조작에 대응하는 조작신호가 키 입력부(11)로부터 재차 보내져 왔는지 아닌지에 의해 판단한다.

스텝S34에서 동화상 촬상기록처리를 종료한다고 판단하면, 기록한 프레임 화상데이터에 의거하여 동화상 파일을 생성하고(스텝S35), 스텝S34에서 동화상 촬상기록처리를 종료하지 않는다고 판단하면 스텝S21로 되돌아가서 상기한 동작을 반복한다. 즉, 스텝S21에서 촬상타이밍이 도래했다고 판단하면, 스텝S22에서 스텝S28, 또는 스텝S30에서 설정된 셔터속도, 조리개값으로 CCD(5)는 노광 동작하고, CCD(5)에 축적된 프레임 화상데이터가 판독된다. 유닛회로(8)의 AGC는 CCD(5)로부터 판독된 프레임 화상데이터를 설정된 게인값에 따라서 자동 이득 조정한다. 화상생성부(15)에 의해서 생성된 자동 이득 조정 후의 휘도색차신호의 프레임 화상이 버퍼메모리에 기억된다.

도 6a, 도 6b, 도 6c는 제 2 실시형태에 있어서의 노출 제어를 설명하기 위 한 도면이다.

도 6a는 동화상 촬상기록처리개시 후, 처음으로 촬상된 프레임 화상데이터(30)라고 한다.

도 6a의 얼굴(31)은 검출된 얼굴을 나타내고, 영역(34)은 검출된 얼굴의 영역, 영역(33)은 검출된 얼굴의 방향에 의거하여 특정되는 예측영역을 나타내고 있다.

우선, 동화상 촬상기록처리개시 후, 처음으로 프레임 화상데이터가 촬상되면, 스텝S27에서 N으로 분기하고, 검출한 얼굴영역(34, (도 6a에 나타내는 얼굴영역 (34))에 의거하는 노출조건이 산출되어 설정된다(스텝S30). 그리고, 스텝S31에서 얼굴의 방향이 바뀌었다고 판단된다. 그리고, 검출된 얼굴(31)의 방향에 의거하여 도 6a에 나타내는 바와 같은 예측영역(33)이 특정되고(스텝S32), 특정한 예측영역을 측광영역으로 한 노출조건이 산출된다(스텝S33).

그리고, 스텝S34에서 동화상 촬상기록처리를 종료하지 않는다고 판단하면, 스텝S22에서 도 6a의 얼굴영역에 의거하여 산출된 노출조건으로 촬상된다.

도 6b는 이때 촬상된 프레임 화상데이터의 모양의 일례를 나타내는 도면이다. 도 6b의 예측영역(33)은 가장 최근에 특정된 예측영역, 즉, 도 6a에 나타내는 예측영역(33)과 같은 영역이다.

도 6b를 보면, 검출된 얼굴(31)은 예측영역(33)에 반 이상 들어가 있으므로, 스텝S27에서 예측영역(33)에 얼굴이 들어갔다고 판단되고, 이미 산출되어 있는 예측영역에 의거하는 노출조건, 즉, 도 6a의 예측영역(33)의 화상데이터에 의거하여 산출된 노출조건으로 설정된다(스텝S28).

설정된 예측영역(33)에 의거하는 노출조건으로 다음의 프레임 화상데이터가 촬상되게 된다.

도 6c는 이때에 촬상된 프레임 화상데이터의 모양의 일례를 나타내는 도면이다.

도 6c를 보면, 프레임 화상데이터(30) 상에 있는 얼굴(31)은 예측영역(33) 상에 있는 것을 알 수 있다. 즉, 예측영역(33)에 얼굴(31)이 들어갔다고 판단하면, 미리 산출하여 둔 예측영역(33)에 의거하는 노출조건으로 촬상하므로, 적절히 촬상시에 위치하는 얼굴이 적정 노출량이 되는 화상데이터를 촬상할 수 있다.

이와 같이, 특정한 예측영역(33)에 얼굴(31)이 들어가면, 특정한 예측영역 (33)에 의거하여 미리 산출해서 둔 노출조건으로 촬상하므로, 더욱 신속하게 적절한 노출추종을 실행할 수 있다. 만약, 도 6a에 나타내는 바와 같이 검출된 얼굴영역을 측광영역으로서 AE처리를 실행하여 촬상처리를 실행하면, AE처리에 시간이 걸려 버려, 다음의 촬영시에는 이미 얼굴이 이동하고 있기 때문에 실제로 촬상된 얼굴이 적정 노출이 되지 않는다. 본 실시형태에서는 이와 같은 불편함을 시정할 수 있다.

또, 예측영역(33)에 피사체가 들어가고 나서 미리 산출되어 있는 노출조건으로 촬영하기 때문에, 피사체의 얼굴이 옆을 향하고 있지만 움직이고 있지 않은 경우라도 적절한 촬상처리를 실행할 수 있다. 덧붙여서, 피사체가 정지하고 있는 상태로부터 움직이기 시작한 경우라도, 피사체인 얼굴의 방향으로부터 움직이기 시작 하는 방향을 예측할 수 있기 때문에, 피사체의 얼굴에 대해서 신속하게 적절한 노출추종을 실행할 수 있다.

이상과 같이, 제 2 실시형태에 있어서는 검출된 얼굴의 방향에 의거하여 촬상을 위한 소정의 제어를 적절히 실행할 수 있다. 즉, 검출된 얼굴의 방향에 의거하여 예측영역(33)을 특정하며, 특정한 예측영역(33)을 측광영역으로서 노출조건을 산출하여 두고, 특정한 예측영역(33)에 얼굴이 들어갈 때까지는 검출된 얼굴영역에 의거하여 노출 제어를 실행한다. 또, 특정한 예측영역에 얼굴이 들어가면, 산출되어 있는 예측영역(33)에 의거하는 노출조건으로 촬상을 실행한다. 이에 따라, 얼굴영역이 적정 노출량이 되는 화상데이터를 촬상할 수 있으며, 피사체가 정지하고 있어도, 움직이고 있어도, 항상 적절한 촬상처리를 실행할 수 있다. 또, 피사체가 정지하고 있는 상태로부터 움직이기 시작한 경우, 신속하게 피사체를 추종하면서 적절한 촬상처리를 실행할 수 있다고 하는 효과가 있다.

또, 검출된 얼굴의 방향을 중시한 포커스 렌즈의 서치 이동을 실행하므로, 신속하게 얼굴을 추종한 AF처리를 실행할 수 있다.

[ 변형예 1]

상기 제 1 및 제 2 실시형태는 이하와 같은 변형예도 가능하다.

(1) 상기 제 1, 제 2 실시형태에 있어서는 검출된 얼굴의 방향에 의거하는 예측영역(33)을 특정하고, 특정한 예측영역(33)을 측광영역으로서 AE처리나 노출조건의 산출을 실행하도록 했는데, 검출된 얼굴의 방향에 관계없이 측광영역을 화상데이터의 전체영역으로 하며, 검출된 얼굴이 향하는 방향에 의거하는 예측영역(33) 을 중점으로 하여 AE처리나 노출조건의 산출을 실행하도록 해도 좋다. 즉, 검출된 얼굴이 향하는 방향으로 옮긴 영역의 화상데이터의 휘도 성분을 가중해서 AE처리나 노출조건의 산출을 실행하도록 해도 좋다.

도 3a를 이용해서 설명하면, 화상데이터(30)의 전체영역을 측광영역으로 하는 동시에, 소정영역(33)을 가중하여 AE처리를 실행하게 된다. 또, 도 6a를 이용해서 설명하면, 화상데이터(30)의 전체영역을 측광영역으로 하는 동시에, 소정영역(33)을 가중하여 노출조건을 산출하게 된다.

요점은, 검출된 얼굴의 방향에 의거하는 소정영역을 중시한 AE처리나 노출조건의 산출을 실행하는 것이라면 좋다.

(2) 상기 제 1, 제 2 실시형태에 있어서, 검출된 얼굴의 움직임 량을 검출하도록 하고, 검출된 움직임 량에 의거하여 얼굴검출처리의 대상이 되는 소정영역 (32)의 얼굴이 향하고 있는 방향의 길이나 소정영역(32)의 크기를 바꾸도록 해도 좋다.

이 경우, 도 3a를 이용해서 설명하면, 검출된 얼굴(31)의 움직임 량에 따라서 소정영역(32)의 검출된 얼굴이 향하는 방향의 길이를 바꾸게 된다.

얼굴(31)의 움직임 량이 작은 경우에, 얼굴검출처리의 대상이 되는 소정영역(32)의 검출된 얼굴이 향하는 방향을 길게, 또는 소정영역(32)을 크게 취해도 쓸데없는 처리가 증가해 버린다. 또 반대로, 얼굴(31)의 움직임 량이 큰 경우에, 얼굴검출처리의 대상이 되는 영역(32)의 검출된 얼굴이 향하는 방향을 짧게, 또는 소정영역(32)을 작게 취하면, 얼굴(31)이 검출되지 않는다고 하는 문제가 있다. 따 라서, 얼굴(31)의 움직임 량을 고려해서 소정영역(32)의 길이나 크기를 바꾸는 것으로, 신속하게 얼굴을 검출할 수 있는 동시에, 얼굴검출처리의 부담을 작게 할 수 있다.

이 얼굴의 움직임 량의 검출은, 얼굴검출에 의해 검출된 얼굴의 위치에 의거하여 움직임 량을 검출하도록 해도 좋고, 블록매칭법 등을 이용해서 얼굴의 움직임 벡터를 검출함으로써 움직임 량을 검출하도록 해도 좋다.

또, 검출된 얼굴(31)의 방향과 움직임 량의 양쪽을 고려해서 소정영역(32)의 검출된 얼굴이 향하는 방향의 길이, 소정영역의 크기를 바꾸도록 해도 좋다.

또한, 예측영역(33)과 같이, 소정영역(32)을 검출된 얼굴이 향하는 방향으로, 얼굴영역으로부터 옮기도록 해도 좋다. 이 경우, 검출된 움직임 량에 의거하여 소정영역(32)의 검출된 얼굴영역으로부터 얼굴이 향하는 방향으로 옮기는 량을 바꾼다.

(3) 상기 제 1, 제 2 실시형태에 있어서, 검출된 얼굴의 움직임 량을 검출하도록 하고, 검출된 움직임 량에 의거하여 특정하는 예측영역(33)의 검출된 얼굴영역으로부터 얼굴이 향하는 방향으로 옮기는 량을 바꾸도록 해도 좋다.

도 3a를 이용해서 설명하면, 검출된 얼굴(31)의 움직임 량에 따라서 특정하는 측광영역(33)의 옮기는 량을 바꾸게 된다. 즉, 움직임 량이 큰 경우에는 그것에 따라서 옮기는 량을 크게 하고, 움직임 량이 작은 경우는 그것에 따라서 옮기는 량을 작게 한다.

이에 따라, 검출된 얼굴(31)의 움직임 량에 의거하여 촬상타이밍시에 얼 굴(31)이 위치한다고 생각되는 영역에 예측영역(33)으로서 특정하는 것이 가능하게 되어 적절히 촬상시에 위치하는 얼굴영역이 적정 노출량이 되는 화상데이터를 촬상할 수 있다.

이 얼굴의 움직임 량의 검출은, 얼굴검출에 의해 과거에 검출된 얼굴의 위치에 의거하여 움직임 량을 검출하도록 해도 좋고, 블록매칭법 등을 이용해서 얼굴의 움직임 벡터를 검출함으로써 움직임 량을 검출하도록 해도 좋다.

또한, 검출된 움직임 량에 의거하여 특정하는 예측영역(33)의 크기를 바꾸도록 해도 좋다. 이것에 의해서도 검출된 얼굴(31)의 움직임 량에 의거하여 촬상타이밍시에 얼굴(31)이 위치한다고 생각되는 영역에 예측영역(33)으로서 특정하는 것이 가능하게 되어 적절히 촬상시에 위치하는 얼굴영역이 적정 노출량이 되는 화상데이터를 촬상할 수 있다.

(4) 상기 제 1, 제 2 실시형태에 있어서의 얼굴검출부(23)의 제어는, 검출된 얼굴이 향하는 방향을 길게 취한 소정영역(32)에 대해서 소정의 피사체의 특징데이터와 소정값 이상으로 일치하는 영역을 피사체로서 검출하도록 얼굴검출처리를 실행시키도록 했는데, 모든 영역에 대해서 얼굴검출을 실행시키는 동시에, 검출된 얼굴이 향하는 방향을 길게 취한 소정영역(32) 이외의 영역에 있어서의 얼굴검출의 소정값을 소정영역(32)에 있어서의 소정값보다도 높아지도록 해도 좋다.

또, 소정영역에 있어서 검색하는 소정의 피사체의 특징데이터의 수를 소정영역 이외의 영역에 있어서의 수보다도 많게 해도 좋다.

또, 먼저 소정영역에 있어서 특징데이터의 검색을 실행하고, 소정영역에 있 어서 특징데이터와 소정값 이상으로 일치하는 영역이 검출되지 않았던 경우에, 소정영역 이외의 영역에서 특징데이터의 검색을 실행하도록 해도 좋다.

이에 따라, 검출된 얼굴이 향하는 방향을 길게 취한 소정범위의 영역 내에 있는 얼굴이 검출되기 쉬워진다.

(5) 상기 제 1, 제 2 실시형태에 있어서는 동화상 촬상기록처리의 경우에 대해서 설명했는데, 동화상 촬상모드나 정지화상 촬상모드에 있어서의 라이브 뷰 표시시에 있어서도 적용하도록 해도 좋다.

즉, 제 1 실시형태의 경우는 도 2의 스텝S7의 동작을 거치면, 스텝S8의 동작을 실행하지 않고, 그대로 스텝S9로 진행하고, 스텝S9에서 동화상 촬상기록처리, 혹은, 정지화상 촬상기록처리를 실행할지 아닌지를 판단하며, 실행하지 않는다고 판단하면 스텝S1로 되돌아가도록 한다. 그리고, 스텝S9에서 동화상 촬상기록처리, 정지화상 촬상기록처리를 실행한다고 판단하면, 촬상기록처리로 이행한다. 또, 제 2 실시형태의 경우는, 도 5의 스텝S25의 동작을 거치면, 스텝S26의 동작을 실행하지 않고, 그대로 스텝S27로 진행하고, 스텝S34에서 동화상 촬상기록처리, 혹은 정지화상 촬상기록처리를 실행할지 아닌지를 판단하며, 실행하지 않는다고 판단하면, 스텝S21로 되돌아간다.

이때, 정지화상 촬상기록처리를 실행하는 경우는, 도 2의 스텝S5, 또는 도 5의 스텝S28에서 가장 최근에 특정된 예측영역(33), 또는 도 5의 스텝S30에서 검출된 얼굴영역에 의거하여 산출된 노출조건을 정지화상 촬상용의 노출조건으로 치환해서 실행하도록 해도 좋다.

또, 정지화상 촬상을 실행하기 전에 가장 최근에 검출된 얼굴에 대해서 오토포커스를 실행하도록 해도 좋다.

(6) 상기 제 1, 제 2 실시형태에 있어서, 검출된 얼굴의 방향에 따라서 얼굴검출처리의 대상이 되는 소정영역(32)의 얼굴이 향하고 있는 방향의 길이나 소정영역(32)의 크기를 바꾸도록 해도 좋다.

또, 검출된 얼굴의 방향에 따라서 특정하는 예측영역(33)의 검출된 얼굴영역으로부터 얼굴이 향하는 방향으로 옮기는 양을 바꾸도록 해도 좋다.

즉, 얼굴이 바로 옆을 향하고 있는 경우는, 촬상되는 화상데이터 사이 위는 얼굴의 이동거리가 가장 길어지고, 얼굴의 방향이 비스듬히 바로 앞 방향, 비스듬히 뒤 방향의 경우는, 바로 옆에 비해 촬상되는 화상데이터 사이 위의 얼굴의 이동거리는 짧아지며, 얼굴의 방향이 정면, 바로 뒤를 향하고 있는 경우가 화상데이터 사이 위는 가장 이동거리가 짧아지기 때문이다.

이에 따라, 적절히 촬상시에 위치하는 얼굴영역이 적정 노출량이 되는 화상데이터를 촬상할 수 있으며, 또 신속하게 얼굴을 검출할 수 있는 동시에, 얼굴검출처리의 부담을 작게 할 수 있다.

또한, 예측영역(33)과 같이, 소정영역(32)을 검출된 얼굴이 향하는 방향으로 얼굴영역으로부터 옮기도록 해도 좋다. 이 경우, 검출된 얼굴의 방향에 의거하여 소정영역(32)의 검출된 얼굴영역으로부터 얼굴이 향하는 방향으로 옮기는 양을 바꾼다. 또, 검출된 움직임 량에 의거하여 특정하는 예측영역(33)의 크기를 바꾸도록 해도 좋다. 이것에 의해서도 상기 효과를 얻을 수 있다.

(7) 또, 피사체의 이동속도가 소정속도보다 늦은 경우는, 상기 제 2 실시형태와 같은 노출 제어를 실행하고, 피사체의 이동속도가 소정속도 이상이 되면, 상기 제 1 실시형태와 같은 노출 제어를 실행하도록 자동으로 전환하도록 해도 좋다. 이 피사체의 이동속도는, 얼굴검출에 의해 과거에 검출된 얼굴의 위치에 의거하여 이동속도를 검출하도록 해도 좋고, 블록매칭법 등을 이용해서 얼굴의 움직임 벡터를 검출함으로써 이동속도를 검출하도록 해도 좋다.

(8) 상기 제 1, 제 2 실시형태에 있어서, 얼굴검출부(23)에 의한 얼굴검출에 의해 얼굴을 추종시키도록 했는데, 블록매칭법 등에 의해 얼굴검출부(23)에 검출된 얼굴을 추종시키도록 해도 좋다. 즉, 검출된 얼굴영역의 화상데이터가 나중에 촬상된 프레임 화상데이터의 어디에 있을지를 블록매칭법에 의해 검출함으로써 검출된 얼굴의 추종을 실행한다.

이때도, 얼굴검출부(23)에 의해 검출된 얼굴의 방향을 중시한 얼굴추종을 실행한다. 즉, 검출된 얼굴의 방향에 의거하여 검출된 얼굴의 탐색범위를 바꾼다.

예를 들면, 도 3a에 나타내는 바와 같이 프레임 화상데이터가 촬상된 경우는, 검출된 얼굴은 얼굴(31)이므로, 탐색범위를 프레임 화상데이터(30)의 전체영역은 아니고, 예측영역(33)으로 한다. 즉, 검출된 얼굴(31)의 영역의 화상데이터가, 그 후에 촬상된 프레임 화상데이터(30)의 예측영역(33) 내의 어디에 있는지를 검출함으로써 검출된 얼굴의 추종을 실행한다. 이에 따라, 신속하게 얼굴을 추종할 수 있다.

이 경우는, 얼굴에 대해서 추종할 수 있지만, 추종하고 있는 얼굴의 방향을 모르기 때문에, 얼굴검출부(31)는 추종하고 있는 얼굴영역에 대해서 얼굴검출을 실행함으로써, 추종하고 있는 얼굴의 방향을 검출한다. 이 경우는, 추종하고 있는 얼굴영역에 대해서 얼굴검출을 실행하므로 얼굴검출의 처리 부담을 경감시킬 수 있어 신속하게 얼굴을 검출할 수 있다.

(9) 상기 제 2 실시형태에 있어서는, 피사체가 이동한다고 생각되는 예측영역을 특정하고, 특정한 예측영역에 피사체가 들어간 경우에, 미리 산출하여 둔 예측영역 내에서의 적절한 조건으로 촬상제어를 실행하도록 했는데, 피사체가 이동했는지 아닌지를 판단하고, 피사체가 예측하고 있었던 방향으로 이동한 경우에 미리 산출하여 둔 조건으로 촬상제어를 실행하도록 해도 좋다. 즉, 얼굴의 방향으로부터 이동방향의 예측으로 이동한다고 생각되는 예측영역의 특정을 실행하고, 얼굴이 예측한 방향으로 이동했다고 판단한 경우에, 미리 산출하여 둔 예측영역 내에서의 적절한 조건으로 촬상제어를 실행하도록 한다.

이 경우는, 피사체의 이동을 검출한 다음의 촬상에 있어서 특정한 예측영역에 있어서의 적절한 조건으로 촬상제어를 실행하므로, 피사체의 이동속도가 빠르기 때문에, 특정한 예측영역에 피사체가 들어간 것을 검출해도, 다음의 촬상시에는 예측영역에 피사체가 없다고 한 문제가 일어나는 것을 방지할 수 있다.

(10) 상기 제 1, 제 2 실시형태에 있어서는, 사람의 얼굴을 검출하도록 했는데, 사람의 얼굴은 아니고, 고양이나 개 등의 동물의 얼굴이나 사람의 몸 전체(머리, 몸통, 팔, 다리 등의 몸 전체) 등의 소정의 피사체를 검출하도록 해도 좋다. 이때도, 소정의 피사체의 방향도 검출한다.

(11) 상기 제 1, 제 2 실시형태에 있어서는 얼굴검출의 대상이 되는 영역을 소정영역(32), 노출 제어의 대상이 되는 영역을 예측영역(33)으로 했는데, 얼굴검출의 대상이 되는 영역도 노출 제어의 대상이 되는 영역도 같아도 좋다. 즉, 상기한 소정영역(32)에 대해서 얼굴검출 및 노출 제어를 실행하도록 해도 좋고, 예측영역(33)에 대해서 얼굴검출 및 노출 제어를 실행하도록 해도 좋다.

(12) 또, 상기 변형예 (1) 내지 (11)을 모순되지 않는 범위에서 임의로 조합한 형태라도 좋다.

[제 3 실시형태]

다음으로 제 3 실시형태에 대해서 설명한다.

E. 디지털카메라(1)의 동작

제 3 실시형태도 도 1에 나타낸 것과 똑같은 구성을 갖는 디지털카메라(1)를 이용함으로써 본 발명의 촬상장치를 실현한다. 또한, CPU(10)는 검출된 각 얼굴의 방향에 의거하여 주목영역을 검출하는 주목영역검출부를 갖는다.

이하, 제 3 실시형태에 있어서의 디지털카메라(1)의 동작을 도 7의 흐름도에 따라서 설명한다.

사용자의 키 입력부(11)의 모드전환 키의 조작에 의해 정지화상 촬상모드로 설정되면, CPU(10)는 소정의 프레임 속도로 CCD(5)에 의한 피사체의 촬상을 개시시키고, 화상생성부(15)에 의해서 순차 생성되어 버퍼메모리(DRAM(13))에 기억된 휘도색차신호의 프레임 화상데이터를 표시부(18)에 표시시켜 간다고 하는 이른바 라이브 뷰 표시를 개시한다(스텝S51).

이어서, CPU(10)는 사용자에 의해서 셔터버튼이 반 눌러졌는지 아닌지를 판단한다(스텝S52). 이 판단은 셔터버튼의 반 누름 조작에 대응하는 조작신호가 키 입력부(11)로부터 보내져 왔는지 아닌지에 의해 판단한다.

스텝S52에서 셔터버튼이 반 눌러져 있지 않다고 판단하면, 반 눌러졌다고 판단될 때까지 스텝S52에 머물고, 셔터버튼이 반 눌러졌다고 판단하면, CPU(10)는 버퍼메모리에 기억되어 있는 가장 최근에 촬상된 프레임 화상데이터를 얼굴검출부 (23)에 출력하며, 얼굴검출부(23)에 가장 최근에 촬상된 프레임 화상데이터에 대해서 얼굴검출처리를 실행시킨다(스텝S53). 이 얼굴검출처리에 의해 검출된 얼굴의 영역을 나타내는 정보, 및 얼굴의 방향을 나타내는 정보는 CPU(10)에 보내진다.

이어서, CPU(10)는 얼굴검출처리에 의해 복수의 얼굴이 검출되었는지 아닌지를 판단한다(스텝S54).

스텝S54에서 복수의 얼굴이 검출되었다고 판단하면, CPU(10)의 주목영역검출부는 검출된 각 얼굴의 방향에 의거하여 주목영역의 검출을 실행한다(스텝S55). 이 주목영역이란, 검출된 얼굴의 사람이 보고 있는(주목하고 있는) 영역을 말한다.

이 주목영역의 검출은 검출된 각 얼굴이 향하는 방향의 연장선이 교차하는 영역을 주목영역으로서 검출한다.

도 8은 검출된 얼굴의 방향에 의거하여 검출되는 주목영역의 모양의 일례를 나타내는 도면이다.

도 8을 보면, 얼굴(41)과 얼굴(42)은 피사체(43)를 보고 있는 것을 알 수 있으며, 주목하고 있는 피사체(주목 피사체)는 피사체(43)라는 것이 된다.

여기에서는, 얼굴(41)과 얼굴(42)이 검출되고, 검출된 각 얼굴이 향하는 방향의 연장선이 교차하는 점을 중심으로 한 소정의 영역이 주목영역(44)이 된다.

도 7의 흐름도로 되돌아가서, 주목영역의 검출을 실행하면, CPU(10)는 주목영역검출부에 의해 주목영역(44)이 검출되었는지 아닌지를 판단한다(스텝S56).

스텝S56에서 주목영역(44)이 검출되었다고 판단하면, CPU(10)의 AE처리부 (102)는 검출한 주목영역(44)을 측광영역으로 하고, 측광영역의 화상데이터의 휘도 성분에 의거하여 정지화상용의 AE처리를 실행하는 동시에, CPU(10)는 주목영역에 대해서 AF처리를 실행하고(스텝S57), 스텝S59로 진행한다. 이 AF처리는 포커스 렌즈(2A)를 이동시켜서 주목영역의 화상데이터의 고주파 성분에 의거하는 초점맞춤렌즈위치에 포커스 렌즈(2A)를 이동시킨다. 이때 주목영역인 것을 나타내는 정보(예를 들면, 주목 프레임)를 라이브 뷰 상에 표시시키도록 해도 좋다.

한편, 스텝S54에서 복수의 얼굴이 검출되어 있지 않다고 판단된 경우, 스텝S56에서 주목영역(44)을 검출할 수 없다고 판단한 경우는, CPU(10)의 AE처리부 (102)는 검출된 얼굴의 영역을 측광영역으로 하고, 측광영역의 화상데이터의 휘도 성분에 의거하여 정지화상용의 AE처리를 실행하는 동시에, CPU(10)의 AF처리부는 검출된 얼굴에 대해서 AF처리를 실행하고(스텝S58), 스텝S59로 진행한다. 이 AF처리는 포커스 렌즈(2A)를 이동시켜서 검출된 얼굴영역의 화상데이터의 고주파 성분에 의거하는 초점맞춤렌즈위치에 포커스 렌즈(2A)를 이동시킨다.

또한, 이때 검출된 얼굴이 복수 있는 경우는, 모든 얼굴의 영역에 의거하여 AE처리를 실행하도록 해도 좋고, 어느 하나의 얼굴의 영역에 의거하여 AE처리를 실 행하도록 해도 좋다. 또, 검출된 얼굴이 복수 있는 경우는, 검출된 얼굴 모두에 핀트가 맞도록 AF처리를 실행하도록 해도 좋고, 어느 하나의 얼굴에 대해서 AF처리를 실행하도록 해도 좋다.

스텝S59로 진행하면, CPU(10)는 사용자에 의해서 셔터버튼이 완전히 눌러졌는지 아닌지를 판단한다.

스텝S59에서 셔터버튼이 완전히 눌러져 있지 않다고 판단하면, 완전히 눌러질 때까지 스텝S59에 머물고, 셔터버튼이 완전히 눌러졌다고 판단하면, CPU(10)는 스텝S57 또는 스텝S58의 AE처리에 의해서 설정된 노출조건으로 정지화상 촬상처리를 실행하며, 화상생성부(15)에 의해서 생성되어 압축신장부(20)에 의해서 압축된 휘도색차신호의 화상데이터를 DMA(21)를 통하여 플래시메모리(22)에 기록한다(스텝S60).

이상과 같이, 제 3 실시형태에 있어서는, 검출된 얼굴의 방향에 의거하여 촬상을 위한 소정의 제어를 적절히 실행할 수 있다. 예를 들면, 복수의 얼굴이 검출된 경우는, 검출된 각 얼굴이 향하는 방향의 연장선이 교차하는 영역을 촬상된 사람이 주목하고 있는 주목영역(44)으로서 검출하고, 검출한 주목영역(44)에 대해서 AE처리, AF처리를 실행하므로, 피사체가 주목하고 있는 피사체에 적절히 노출을 제어할 수 있는 동시에, 핀트를 맞출 수 있다.

[ 변형예 2]

상기 제 3 실시형태는 이하와 같은 변형예도 가능하다.

(3-1) 상기 제 3 실시형태에 있어서는 도 7의 스텝S59에서 셔터버튼이 완전 히 눌러져 있지 않다고 판단하면 완전히 눌러질 때까지 스텝S59에 머물도록 했는데, 스텝S59에서 셔터버튼이 완전히 눌러져 있지 않다고 판단하면 스텝S53으로 되돌아가도록 해도 좋다. 즉, 셔터버튼이 완전히 눌러질 때까지 주목영역에 추종, 얼굴에 추종한 컨티뉴어스 AF처리를 실행하도록 해도 좋다.

또, 정지화상 촬상의 경우에 대해서 설명했는데, 동화상 촬상의 경우에도 적용하도록 해도 좋다.

(3-2) 상기 제 3 실시형태에 있어서는 검출된 각 얼굴이 향하는 방향의 연장선이 교차하는 영역을 주목영역로서 검출하도록 했는데, 검출된 각 얼굴의 일부(2개 이상)의 얼굴의 방향에 있어서, 향하는 방향의 연장선이 있는 영역에서 교차하는 경우에, 그 영역을 주목영역로서 검출하도록 해도 좋다.

(3-3) 상기 제 3 실시형태에 있어서는 검출된 주목영역, 혹은, 검출된 얼굴영역을 측광영역으로서 AE처리를 실행하도록 했는데, 촬상된 화상데이터의 전체영역을 측광영역으로 하고, 적어도 검출된 주목영역을 가중해서 AE처리를 실행하도록 해도 좋다.

(3-4) 상기 제 3 실시형태에 있어서는 사람의 얼굴을 검출하도록 했는데, 사람의 얼굴은 아니고, 고양이나 개 등의 동물의 얼굴이나 사람의 몸 전체(머리, 몸통, 팔, 다리 등의 몸 전체) 등의 소정의 피사체를 검출하도록 해도 좋다. 이때도, 소정의 피사체의 방향도 검출한다.

(3-5) 상기 제 3 실시형태에 있어서는 정지화상 촬상의 경우에 대해서 설명했는데, 동화상 촬상 중에 있어서도 적용해도 좋다. 즉, 동화상의 촬상 중에 검출 된 주목영역(44)에서의 AE처리, AF처리를 주기적으로 실행하도록 해도 좋다.

(3-6) 또, 상기 변형예 (3-1) 내지 (3-5)를 모순되지 않는 범위에서 임의로 조합한 형태라도 좋다.

또, 상기 각 실시형태에 있어서는 얼굴검출부(23)가 얼굴을 검출하는 동시에, 검출된 얼굴의 방향도 검출하도록 했는데, 얼굴검출부(23)가 얼굴을 검출하고, 검출된 얼굴의 방향을 검출하는 수단을 별개로 설치하도록 해도 좋다.

또, 실시형태에 있어서는 본 발명의 촬상장치를 디지털카메라에 적용한 경우에 대해서 설명했는데, 상기의 실시형태에 한정되는 것은 아니고, 요점은 피사체를 촬상할 수 있는 기기이면 적용 가능하다.

도 1은 본 발명에 의한 촬상장치의 일 실시형태로서의 디지털카메라의 블록도이다.

도 2는 도 1의 디지털카메라(1)의 동작을 나타내는 흐름도이다.

도 3a는 검출된 프레임 화상데이터 내에 있는 얼굴과, 검출된 얼굴의 방향에 의거하는 얼굴검출처리의 대상이 되는 일정영역, 검출된 얼굴의 방향에 의거하여 특정된 예측영역의 모양의 일례를 나타내는 도면이다.

도 3b는 스텝S6의 AE처리 후에 스텝S2에서 촬상된 프레임 화상의 모양 및 스텝S6의 AE처리의 측광영역의 대상이 된 예측영역(33)의 모양의 일례를 나타내는 도면이다.

도 4a는 포커스 렌즈(2A)의 이동의 모양을 나타내는 도면이다.

도 4b, 도 4c는 검출된 얼굴의 방향의 모양의 일례를 나타내는 도면이다.

도 5는 제 2 실시형태의 디지털카메라(1)의 동작을 나타내는 흐름도이다.

도 6a, 도 6b, 도 6c는 제 2 실시형태에 있어서의 노출 제어를 설명하기 위한 도면이다.

도 7은 제 3 실시형태의 디지털카메라(1)의 동작을 나타내는 흐름도이다.

도 8은 검출된 얼굴의 방향에 의거하여 검출되는 주목영역(44)의 모양의 일례를 나타내는 도이다.

※도면의 주요부분에 대한 부호의 설명

1: 디지털카메라 2: 촬상렌즈

3: 렌즈구동블록 4: 조리개

5: CCD 6: 수직드라이버

7: TG 8: 유닛회로

9: DMA 10: CPU

11: 키 입력부 12: 메모리

13: DRAM 14: DMA

15: 화상생성부 16: DMA

17: DMA 18: 표시부

19: DMA 20: 압축신장부

21: DMA 22: 플래시메모리

23: 얼굴검출부 24: 버스

Claims

피사체를 촬상하는 촬상수단과,

상기 촬상수단에 의해 촬상된 화상데이터 내에 있는 피사체를 검출하는 피사체 검출수단과,

상기 피사체 검출수단에 의해서 검출된 피사체의 얼굴 방향을 식별하는 식별수단과,

상기 식별수단에 의해 식별된 피사체의 얼굴 방향에 의거하여 상기 피사체가 이동할 것으로 예측되는 예측영역을 특정하는 특정수단과,

상기 특정수단에 의해 특정된 상기 예측영역에 의거하여 노출제어 또는 상기 피사체검출수단의 제어 중의 적어도 일방의 제어를 실행하는 제어수단을 구비하는것을 특징으로 하는 촬상장치.
삭제
삭제
제 1 항에 있어서,

상기 예측영역은, 상기 피사체를 상기 식별수단에 의해 식별된 피사체의 얼굴 방향으로 옮긴 영역인 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 예측영역은, 상기 식별수단에 의해 식별된 피사체의 방향에 따른 양만큼 상기 피사체를 상기 식별수단에 의해 식별된 피사체의 얼굴 방향으로 옮긴 영역인 것을 특징으로 하는 촬상장치.
제 4 항에 있어서,

피사체의 이동량을 검출하는 이동량 검출수단을 추가로 구비하고,

상기 예측영역은, 상기 이동량 검출수단에 의해 검출된 이동량에 따른 양만큼 상기 피사체를 상기 식별수단에 의해 식별된 피사체의 얼굴이 향하는 방향으로 옮긴 영역인 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 예측영역은, 상기 식별수단에 의해 검출된 피사체의 얼굴 방향에 따라서 크기가 바뀌는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

피사체의 이동량을 검출하는 이동량 검출수단을 추가로 구비하고,

상기 예측영역은, 상기 이동량 검출수단에 의해 검출된 이동량에 따라서 크기가 바뀌는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 제어수단은, 상기 예측영역을 측광영역으로서 노출조건을 산출하고, 해당 산출한 노출조건에 의거하여 노출 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 제어수단은, 상기 촬상수단에 의해 촬상된 화상데이터의 전체영역을 측광영역으로서 노출 조건을 산출하는 동시에, 상기 예측영역을 가중해서 노출 제어를 실행하는 것을 특징으로 하는 촬상장치.
제 9 항에 있어서,

상기 제어수단은, 상기 피사체가 상기 예측영역 내에 존재할 경우에, 상기 산출한 노출조건에 의거하여 노출 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 제어수단은, 상기 예측영역을 중시하여 상기 피사체 검출수단에 의한 다음번의 피사체의 검출을 제어하는 것을 특징으로 하는 촬상장치.
제 12 항에 있어서,

상기 제어수단은, 상기 예측영역 내에 있는 해당 피사체를 검출시키도록 상기 피사체 검출수단을 제어하는 것을 특징으로 하는 촬상장치.
제 12 항에 있어서,

상기 피사체 검출수단은, 미리 기억되고 있는 일반적인 사람의 얼굴을 모든 방향에서 본 때의 특징데이터와 일치하는 경우가 미리 정해진 임계값 이상인 영역을 피사체로서 검출하고,

상기 제어수단은, 상기 식별수단에 의해서 식별된 상기 얼굴의 향하는 방향에 의거하여 상기 피사체 검출수단에 있어서의 다음번의 검출시의 상기 예측영역 외의 영역에 있어서의 피사체 검출의 임계값이 해당 예측영역에 있어서의 피사체 검출의 임계값보다도 높은 값이 되도록 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서.

상기 제어수단은, 상기 식별수단에 의해 검출된 피사체의 얼굴 방향에 따라서 포커스 렌즈의 서치 이동범위 또는 이동방향을 바꾸어서 피사체에 핀트가 맞는 포커스 렌즈 위치를 검출하도록 포커스 제어하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 제어수단은, 상기 식별수단에 의해 식별된 복수의 피사체의 각 얼굴 방향에 의거하여 상기 예측영역을 특정하고, 해당 특정된 예측 영역을 중시한 노출제어 또는 상기 예측영역을 중시한 상기 피사체 검출수단의 제어 중에서 적어도 일방의 제어를 실행하는 것을 특징으로 하는 촬상장치.
삭제
제 1 항에 있어서,

상기 검출수단은, 상기 촬상수단에 의해 촬상된 화상데이터 내에 있는 얼굴을 검출하고,

상기 식별수단은, 상기 검출수단에 의해서 검출된 얼굴의 방향을 식별하는 것을 특징으로 하는 촬상장치.
촬상장치의 컴퓨터에 의해 실행되는 프로그램을 저장한 컴퓨터 판독가능한 정보기억매체로서,

상기 촬상장치에 의해 촬상된 화상데이터 내에 있는 피사체를 검출하는 기능,

검출된 피사체의 얼굴 방향을 식별하는 기능,

식별된 피사체의 얼굴 방향에 의거하여 상기 피사체가 이동할 것으로 예측되는 예측영역을 특정하는 기능, 및

특정된 상기 예측영역에 기초하여 노출제어 또는 피사체를 검출하는 기능의 제어 중의 적어도 일방의 제어를 실행하는 기능을 컴퓨터에 실행시키는 프로그램을 저장한 컴퓨터 판독가능한 정보기억매체.