KR20090093817A

KR20090093817A - 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치

Info

Publication number: KR20090093817A
Application number: KR1020090013671A
Authority: KR
Inventors: 가즈히사 마츠나가; 고우이치 나카고미; 데츠지 마키노
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2008-02-29
Filing date: 2009-02-19
Publication date: 2009-09-02
Also published as: CN101521747B; US20090219415A1; KR101062502B1; TWI387330B; JP2009207034A; US8248480B2; CN101521747A; JP4561845B2; TW200943934A

Abstract

패닝모드에 있어서, CMOS센서(3)를 이용하여 시간적으로 연속하는 복수장의 화상을 취득하고, 디모자이크부(11)에 의해 생성한 휘도화상데이터를 이용하며, 1장째의 기준화상에 처리대상영역을 설정하고, 그 영역을 복수 블록으로 분할하며, 주파수 특성 연산부(15)에 의해서 고주파 성분의 양을 나타내는 평가값을 블록마다 취득한다. 평가값으로부터 고주파 성분의 양이 많은 고주파 블록을 특정하고, 블록매칭부(16)에 의해서 기준화상과 다른 화상과의 사이에서 고주파 블록만을 추적대상으로 한 블록매칭을 실행하여 블록마다 움직임 벡터를 취득한다. 고주파 블록의 움직임 벡터에만 의거하여 복수장의 화상의 YUV데이터를 위치 맞춤해서 합성한다. 이에 따라 복수장의 화상의 위치맞춤작업을 효율적으로 실행할 수 있다.

Description

패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치{IMAGING APPARATUS PROVIDED WITH PANNING MODE FOR TAKING PANNED IMAGE}

본 발명은, 예를 들면 디지털카메라 등의 촬상장치에 관련되며, 특히 이동체를 피사체로서 패닝 등을 실행하는 경우에 이용하여 매우 적합한 촬상장치와, 그 촬상장치 등에 이용되는 화상처리프로그램에 관한 것이다.

종래, 이른바 패닝촬영을 할 때, 메인피사체의 움직임에 맞추어서 카메라를 적확하게 추종시키지 않아도, 그 피사체를 정지시키고, 또한 배경을 흘린 것 같은 패닝화상을 얻는 것을 가능하게 하는 기술로서, 예를 들면 일본국 특개 2006-339903호 공보에는 다음의 기술이 기재되어 있다.

즉 패닝촬영시에는, 촬영지시에 따라 연속촬영을 실행한 후, 연속촬영으로 얻어진 복수의 화상데이터를 메인피사체가 같은 위치에 겹치도록 위치맞춤을 한 상태에서 합성한다. 이와 같은 합성을 할 때에는, 우선 복수의 화상데이터를 비교하고, 화상 전체영역 내에서 화소값 및 그 배치패턴이 소정면적 이상으로 걸쳐서 연속적으로 유사하고 있는 영역부분을 추출한다. 다음으로, 추출한 복수의 영역부분에 대해 움직임 벡터를 일단 취득하고, 움직임 벡터가 서로 달리 있는 영역부분을 따로 따로의 피사체 부분으로서 식별한다. 그리고 나서, 식별한 피사체 부분의 어느 하나를 메인피사체에 상당하는 영역으로 하고, 이와 같은 영역을 기준영역으로 하여 메인피사체를 같은 위치에 겹치도록 복수의 화상데이터를 합성한다.

그러나, 상기의 기술에서는 복수의 화상데이터의 합성을 할 때에는, 복수의 화상데이터의 위치맞춤에 필요한 기준영역을 결정하기 위해, 복수의 화상데이터를 비교하여 화상 전체영역 내에서 화소값 및 그 배치패턴이 소정면적 이상으로 걸쳐서 연속적으로 유사하고 있는 영역부분을 추출하는 처리가 필요하게 되기 때문에, 복수의 화상을 위치 맞춤하여 합성할 때의 처리효율이 나쁘고, 합성처리에 상당한 시간을 요한다고 하는 문제가 있었다.

본 발명은 이와 같은 종래의 과제에 감안하여 이루어진 것이며, 시간적으로 연속하는 복수장의 화상으로부터 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적, 또한 신속하게 실행할 수 있는 촬상장치와, 그 촬상장치 등에 이용되는 화상처리프로그램을 제공하는 것을 목적으로 한다.

본 발명의 제 1 형태에 따르면, 촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과, 상기 촬영수단에 의해 취득된 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 고주파 성분을 갖는 영역을 기준영역으로서 설정하는 기준영역설정수단과, 상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치가 제공된다.

본 발명의 제 2 형태에 따르면, 컴퓨터 시스템에 의해서 실행 가능하고 해당 컴퓨터 시스템을 일련의 처리절차에 따라서 동작시키는 프로그램을 포함하는 컴퓨터 판독 가능한 기록매체가 제공되며, 상기 처리절차는 시간적으로 연속해서 촬상된 복수장의 화상을 취득하고, 취득한 복수장의 화상의 어느 하나를 기준화상으로 하며, 해당 기준화상에 있어서의 고주파 성분을 갖는 영역을 기준영역으로서 설정하고, 설정한 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤하여 합성하는 것을 포함한다.

본 발명의 제 3 형태에 따르면, 촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과, 상기 촬영수단에 의해 취득된 화상으로부터 인물의 얼굴 부분을 검출하는 얼굴검출수단과, 상기 촬영수단에 의해 취득된 시간적으로 연속하는 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 상기 얼굴검출수단에 의해 검출된 얼굴 부분에 대응하는 영역을 기준영역으로서 설정하는 기준영역설정수단과, 상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치가 제공된다.

본 발명의 제 4 형태에 따르면, 촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과, 상기 촬영수단에 의해 시간적으로 연속해서 취득되는 각각의 화상에 있어서 주목 피사체를 추미하는 추미수단과, 상기 촬영수단에 의해서 취득된 시간적으로 연속하는 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 상기 추미수단에 의해 추미되는 주목 피사체에 대응하는 영역을 기준영역으로서 설정하는 기준영역설정수단과, 상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치가 제공된다.

본 발명의 제 5 형태에 따르면, 촬상소자로부터 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과, 상기 촬영수단에 의해 취득된 복수장의 화상의 다른 화상간에 있어서의 피사체 부분의 변위량을 취득하는 변위량 취득수단과, 상기 촬영수단에 의해 취득된 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 상기 변위량 취득수단에 의해 취득된 변위량에 의거하여 메인피사체에 상당하는 기준영역을 설정하는 기준영역설정수단과, 상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치가 제공된다.

본 발명에 따르면, 시간적으로 연속하는 복수장의 화상으로부터 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적, 또한 신속하게 실행하는 것이 가능하게 된다.

도 1은 본 발명에 관련되는 디지털카메라의 전기적 구성을 나타내는 블록도이다.

도 2는 제 1 실시형태에 있어서의 패닝모드에서의 CPU의 처리순서를 나타내는 흐름도이다.

도 3은 스루화상에 겹쳐서 표시하는 그리드를 나타내는 도면이다.

도 4a는 기준화상에 설정하는 윈도우를 나타내는 도면이고, 도 4b는 윈도우 내를 구분한 블록을 나타내는 도면이다.

도 5는 제 2 실시형태에 있어서의 패닝모드에서의 CPU의 처리순서를 나타내는 흐름도이다.

도 6은 1장째의 화상을 기준화상으로 했을 때 다른 화상에 있어서의 메인피사체와 배경피사체의 위치 관계의 차이를 편의적으로 나타낸 도면이다.

도 7은 윈도우 내의 외주영역에 있어서의 피사체 부분의 움직임 벡터와, 그 이외의 피사체 부분의 움직임 벡터의 차이를 편의적으로 나타낸 도면이다.

도 8은 윈도우 내의 각각의 블록의 움직임 벡터의 값의 치우침의 일례를 나타내는 도면이다.

※도면의 주요부분에 대한 부호의 설명

3: CMOS센서 5: DRAM

7: 액정표시기 8: 셔터제어부

9: CPU 10: 수광제어부

11: 디모자이크부 12: 외부기억메모리

13: 사용자 인터페이스 14: 프로그램메모리

15: 주파수 특성 연산부 16: 블록매칭부

17: 화상변형합성가산부 18: SRAM

100: 그리드 101: 기준화상

102: 윈도우 103: 블록

103a: 고주파 블록 A: 메인피사체

B: 배경피사체 D: 외주영역

(실시형태 1)

도 1은 본 발명의 촬상장치의 실시형태인 디지털카메라의 전기적 구성을 나타낸 블록도이다. 이 디지털카메라는 기본이 되는 동작모드로서 촬영을 실행하기 위한 기록모드와, 촬영한 화상을 재생하기 위한 재생모드를 가지며, 기록모드의 하위 모드로서 패닝모드가 설치된 것이다. 또한, 패닝모드는 메인피사체의 움직임에 맞추어 카메라를 추종시키면서 촬영을 실행함으로써, 메인피사체를 정지시키고, 또한 배경을 흘린 것 같은 패닝화상을 얻기 위한 촬영모드이다.

도 1에 나타낸 바와 같이 본 실시형태의 디지털카메라는 촬영렌즈(1)와, 촬영렌즈(1)에 의해 수속된 촬영광을 셔터(2)를 통하여 수광하는 동시에, 수광면에 결상된 피사체의 광학상을 광전 변환하여 화상신호로서 출력하는 촬상소자인 CMOS센서(3)와, CMOS센서(3)의 출력신호를 디지털의 화상데이터로 변환하는 A/D변환기 (4)와, 변환 후의 화상데이터를 순차 기억하는 DRAM(5)을 구비하고 있다. 또한, DRAM(5)에는 패닝모드에서의 촬영시에 있어서는 복수장 분량의 화상데이터가 격납된다.

상기 셔터(2)의 동작은 CPU(9)의 명령에 따라 셔터제어부(8)에 의해 제어되고, 상기 CMOS센서(3) 및 A/D변환기(4)의 동작은 CPU(9)의 명령에 따라 수광제어부 (10)에 의해 제어된다. 상기 DRAM(5)에 격납된 1장 분량의 화상데이터, 즉 RAW데이터는 디모자이크부(11)에 의해 화소마다 색정보가 보간되어 YUV데이터로 변환된 후, 액정표시컨트롤러(6)를 통하여 액정표시기(7)에 스루화상(라이브 뷰 화상 (live-view image))으로서 표시된다.

또한, 상기 디모자이크부(11)는 패닝모드에서의 촬영시에 있어서는 RAW데이터를 YUV데이터(촬영화상)뿐만 아니라, 필요에 따라서 휘도정보만으로 이루어지는 휘도화상데이터(휘도화상)로 변환한다. 또, 변환된 YUV데이터 및 휘도화상데이터는 DRAM(5)에 일시적으로 기억된다.

기록모드에서의 촬영시에 디모자이크부(11)에 의해 YUV데이터로 변환된 화상데이터는 CPU(9)에 의해서 JPEG 등의 소정의 압축방식에 따라 압축된 후, 외부기억메모리(12)에 정지화상파일로서 기록된다. 외부기억메모리(12)에 정지화상파일로서 기억된 화상데이터는, 재생모드에 있어서는 필요에 따라 CPU(9)에 판독되어 신장된 후, 액정표시컨트롤러(6)를 통하여 액정표시기(7)에서 표시된다. 또한, 외부기억메모리(12)는, 예를 들면 카메라 본체에 착탈 자유로운 메모리카드나, 카메라 본체에 내장된 플래시메모리 등에 의해 구성된다.

또, CPU(9)에는 사용자 인터페이스(13), 프로그램메모리(14), 주파수 특성 연산부(15), 블록매칭부(16), 화상처리부(17)가 접속되어 있다. 사용자 인터페이스(13)는 사용자에 의한 디지털카메라의 조작에 사용되는, 전원 키나 셔터 키, 모드전환 키 등을 포함하는 복수의 스위치류로 구성된다. 프로그램메모리(14)는 CPU(9)의 동작에 필요한 여러 가지의 프로그램, 및 프로그램을 실행할 때에 사용되는 각종의 데이터가 기억된 메모리이다.

CPU(9)는 프로그램메모리(14)에 기억된 프로그램에 따라, 사용자 인터페이스(13)에 있어서의 어느 하나의 키 조작에 따라 디지털카메라의 각부의 동작을 제어하는 동시에, 상기한 화상데이터의 압축ㆍ신장처리를 실행한다. 또, 패닝모드에 있어서는 본 발명의 촬영수단, 기준영역설정수단, 처리대상영역설정수단으로서 기능한다.

주파수 특성 연산부(15)는 패닝모드에서의 촬영을 할 때에, CMOS센서(3)에 의해 촬상된 화상에 있어서의 특정의 국소영역(블록)에 대해 주파수 특성을 연산하여 CPU(9)에 출력하는 본 발명의 평가값 취득수단이다.

블록매칭부(16)는 패닝모드에서의 촬영을 할 때에, SRAM(18)을 작업메모리로서 사용하고, CMOS센서(3)에 의해 촬상된 기준화상과 다른 화상과의 사이에서 블록매칭을 실행하며, 기준화상의 특정의 국소영역(블록)에 있어서의 피사체 부분의 상대적인 변위량의 절대값 및 변위방향을 나타내는 움직임 벡터를 취득하여 CPU(9)에 출력하는 본 발명의 움직임 벡터 취득수단이다.

화상처리부(17)는 패닝모드에서의 촬영을 할 때에, CPU(9)의 지시에 따라 CMOS센서(3)에 의해 촬상된 복수장의 화상을 위치 맞춤해서 합성하는 본 발명의 화상처리수단이다.

다음으로, 이상의 구성으로 이루어지는 디지털카메라에 있어서, 기록모드의 하위 모드인 패닝모드가 설정되어 있을 때의 동작에 대해 설명한다. 도 2는 기록모드가 설정되어 있을 때 사용자에 의해서 패닝모드가 설정된 경우에 있어서의 CPU(9)의 처리 순서를 나타내는 흐름도이다.

CPU(9)는 패닝모드의 설정과 함께, 액정표시기(7)에 스루화상에 겹쳐서 도 3에 나타낸 바와 같은 그리드(100)를 주지의 OSD(On Screen Display)기술에 의해 표시시킨다(스텝SA1). 이 그리드(100)는 촬영자가 카메라의 방향을 메인피사체의 움직임에 추종시킬 때, 메인피사체를 프레임 내의 특정위치로 가이드하는 것이며, 본 실시형태에 있어서 상기 특정위치는 프레임 내의 중앙부분이다. 따라서, 패닝을 할 때에 촬영자는 메인피사체를 극력 프레임 내의 중앙부분에 위치시키도록 하여 소망의 셔터찬스로 셔터 키를 누르게 된다.

그 후, 셔터 키가 눌러졌으면(스텝SA2에서 YES), 그 시점에서 12회의 연사촬영을 실행한다(스텝SA3). 구체적으로는, 각 회의 촬영조건을 노광이 심리스 (seamless)가 되도록 설정한 상태에서, 셔터시간 1/60초, 연사속도 60fps로 CMOS센서(3)에 의해서 시간적으로 연속하는 12장 화상의 RAW데이터를 취득하고, DRAM(5)에 기억한다(스텝SA3). 이 동안(연사촬영중), 메인피사체가 촬영프레임 내의 중앙부분(특정위치)에 위치하도록 메인피사체의 움직임에 맞추어서 카메라를 추종시키는데, 통상, 카메라(촬영프레임)는 메인피사체에 대해서 흔들림을 발생하고, 각각의 화상에 있어서는 메인피사체에 위치변위가 발생하게 된다.

계속해서, DRAM(5)에 기억한 각각의 RAW데이터를 디모자이크부(11)에 의해서 YUV데이터 및, 휘도성분만으로 이루어지는 휘도화상데이터로 변환하고, 변환 후의 화상데이터를 DRAM(5)에 기억한다(스텝SA4). 여기에서, YUV데이터는 합성용의 화상데이터이며, 휘도화상데이터는 후술하는 복수장의 화상(YUV데이터)의 합성시에 있어서의 위치맞춤작업에 충분한 사이즈의 축소 화상데이터이다.

다음으로, 변환 후의 휘도화상데이터 중 1장째의 화상을 기준화상으로 하고, 그 기준화상에 미리 정해져 있는 소정사이즈의 윈도우를 촬영프레임 내의 중앙부분에 설정하는 동시에, 윈도우 내를 세로 16화소×가로 16화소를 단위로 한 복수블록으로 구분하여 블록마다의 주파수 특성을 주파수 특성 연산부(15)에 의해서 연산한다(스텝SA5).

도 4a는 기준화상(101)에 설정한 윈도우(102)를 나타내는 도면이고, 도 4b는 윈도우(102)와 블록(103)을 나타낸 도면이다. 윈도우(102)는 본 발명의 처리대상영역이며, 본 실시형태에 있어서는 도시한 바와 같이 세로방향 및 가로방향의 사이즈가 각각 기준화상(101)의 1/2인 직사각형 영역이다.

또, 주파수 특성 연산부(15)에서는 블록 내의 공간 주파수가 높을수록, 즉 그 부분의 화상이 핀트변위나 피사체의 흐름에 의한 희미함이 적을수록(화상이 선명할수록) 높은 값이 얻어지는 소정의 평가값을 주파수 특성으로서 연산한다. 또한, 본 실시형태에 있어서는 평가값으로서 해리스의 코너검출 평가값을 연산한다.

그리고, CPU(9)는 블록마다 연산된 상기 평가값에 의거하여 고주파 블록을 선출한다(스텝SA6). 이와 같은 처리에서는 각 블록(103)에 평가값에 따라 평가값이 높은 것부터 차례로 순위 매김을 실행하며, 그 순위가 미리 정해져 있는 소정 순위까지의 블록(103) 중에서 평가값이 소정값 이상인 1 또는 복수의 블록(103)을 고주파 성분이 많은 영역이라고 판단하고, 그 각각의 블록(103)을 고주파 블록으로서 선출한다. 도 4b는 여기에서 선출되는 고주파 블록(103a, 사선으로 나타낸 각각의 블록)의 일례를 나타낸 것이며, 이와 같은 복수의 고주파 블록이 본 발명의 기준영역이다.

또한, 고주파 블록의 선출기준은 임의이며, 예를 들면 평가값이 소정값(소정의 임계값) 이상인 모든 블록(103)이나, 평가값순이 일정순위까지의 모든 블록 (103)을 고주파 블록으로서 선출하도록 해도 좋다. 또, 평가값에 따른 각 블록 (103)이 순위 매김을 평가값이 낮은 것부터 차례로 실행하고, 그 순위가 미리 정해져 있는 소정순위까지의 블록(103)을 제외한 나머지의 블록(103) 중에서 평가값이 소정값 이상인 블록(103)을 고주파 블록으로서 선출해도 좋다. 또한, 순위 매김을 평가값이 낮은 것부터 차례로 실행하는 동시에, 소정순위까지의 블록(103)을 제외한 나머지의 모든 블록(103)을 고주파 블록으로서 선출해도 좋다.

다음으로, 블록매칭부(16)에 있어서, 상기한 변환 후의 휘도화상데이터 중, 기준화상 이외의 다른 화상을 대상화상(당초는 2장째의 화상)으로 하고, 기준화상과 각각의 대상화상과의 사이에서 고주파 블록(103a)의 피사체 부분만을 추적대상으로 하는 블록매칭을 실행하며, 쌍방간에 있어서의 피사체 부분의 상대적인 변위량의 절대값 및 변위방향을 나타내는 움직임 벡터를 취득한다(스텝SA7). 더욱 구체적으로는, 본 실시형태에서는 대상화상 측의 동일좌표블록을 중심으로 한 소정의 탐색범위에서 피사체 부분의 추적을 실행하고, 좌표마다 차분 제곱합을 구하며, 그 차분 제곱합이 제일 적은 위치로부터 고주파 블록마다의 움직임 벡터를 구한다.

또, 상기의 블록매칭을 할 때에는, 대상화상에 있어서 고주파 블록(103a)의 피사체 부분을 탐색할 때의 탐색범위를, 그 피사체 부분에 허용하는 미리 정해져 있는 변위량, 즉 메인피사체에 허용하는 미리 정해져 있는 흔들림 량(화소수 분량)에 따른 상정추적범위보다도 넓은 범위(예를 들면 허용하는 변위량의 2배의 변위량에 따른 범위)로 설정하여 피사체 부분을 탐색한다. 이에 따라 배경피사체 부분의 움직임 벡터도 얻을 수 있도록 하며, 또 메인피사체 부분과 배경피사체 부분의, 원리적으로 정확한 움직임 벡터가 구해지지 않는 블록을 배제하고, 더욱 정확한 움직임 벡터를 취득한다.

이것은, 고주파 블록(103a)의 피사체 부분의 탐색범위를 메인피사체에 허용하는 흔들림 량에 따른 상정추적범위와 동등하게 하여 버리면, 블록매칭에 있어서 취득한 움직임 벡터에 있어서는, 메인피사체 부분의 움직임 벡터와, 배경피사체 부분의 움직임 벡터나, 추적을 실패했을 때의 움직임 벡터의 구별을 할 수 없기 때문이다. 또한, 블록매칭에 의한 구체적인 움직임 벡터의 산출방법에 대해서는 임의이다.

다음으로, CPU(9)는 상기한 블록매칭에 의해 취득한 각각의 고주파 블록의 움직임 벡터 데이터 중에서, 소정 거리 이하의 변위량을 나타내는 특정의 움직임 벡터를 이용하여 기준화상의 피사체에 대한 대상화상의 피사체의 각부의 위치관계를 나타내는 투영변환행렬을 구한다(스텝SA8). 즉 본래는 얻을 수 없는 바와 같은(명백하게 잘못해서 취득된) 움직임 벡터를 배제한 올바른 움직임 벡터에만 의거하여 투영변환행렬을 구한다. 또한, 본 실시형태에 있어서는, RANSAC(RANdom Sample Consensus)법에 의해 아웃라이어(outlier, 피사체 이동 등에 의한 불규칙적인 움직임 벡터)를 배제해서 투영변환행렬을 구한다. 더욱 구체적으로는, RANSAC법으로 구해지는 투영변환행렬 서포트율(전체 샘플수에 대한 인라이어(변환행렬이 유효하게 되는 샘플)의 비율)이 일정값 이상이면, RANSAC법에 의한 투영변환행렬의 생성은 성공으로 간주하며, 변환행렬이 유효하다고 판단한다.

계속해서, 대상화상(휘도화상데이터)을 차례로 변경하면서 상기한 스텝SA7, 스텝SA8의 처리를 반복한다(스텝SA9에서 NO). 그때, 스텝SA7의 블록매칭을 할 때에는, 상기한 탐색범위의 중심을 1장 전의 대상화상(대상화상이 3장째의 화상이면 2장째의 화상)의 평균 움직임 벡터 분량 늦추어 설정함으로써, 움직임 벡터를 효율적으로 취득한다.

그 후, 모든 대상화상(휘도화상데이터)에 대해 상기한 투영변환행렬이 취득되었으면, 즉 모든 화상간에 있어서의 메인피사체(메인피사체라고 생각되는 부분)의 위치관계가 파악되었으면(스텝SA9에서 YES), 스텝SA8에서 취득한 투영변환행렬로부터 각각의 인접 프레임간에 있어서의 평행이동성분을 산출하고, 산출한 평행이동성분에 의거하는 소정의 선택기준에 따라서 메인피사체의 흔들림이 적다고 판단할 수 있는 연속 8장의 화상을 선택한다(스텝SA10). 이와 같은 8장의 화상의 선택을 할 때에는, 서로 인접하는 8장의 화상을 1조로 하여 각 화상에 있어서의 평행이동성분벡터의 절대값을 적산하고, 그 적산값이 가장 적은 조의 화상군을 선택한다. 단, 적산값이 동일(또는 적산값의 차가 소정 이내)한 화상군이 복수조 있을 경우에는 셔터 누름 시간에 가까운 조의 화상군을 선택한다.

또한, 이상과 같이 선택한 인접하는 1조의 화상군 중, 촬영순서가 중간(촬영순서로 4번째)인 화상의 휘도화상데이터를 새로운 기준화상으로서 설정하고, 스텝SA5∼SA9와 똑같은 처리에 의해서 다른 각각의 화상(휘도화상데이터)에 대해 움직임 벡터를 취득하여 투영변환행렬을 재계산한다(스텝SA11). 또한, 이와 같은 투영변환행렬의 재계산을 할 때에는, 기준화상의 변경 후에 있어서의 다른 각각의 화상의 움직임 벡터를, 스텝SA5∼SA7의 처리를 재차 실행하지 않고, 이미 취득되어 있는 각각의 화상의 움직임 벡터로부터 환산하여 취득함으로써, 새로운 움직임 벡터의 취득에 요하는 처리 부담을 경감하도록 해도 좋다. 단, 그 경우는 움직임 벡터의 정밀도는 불가피적으로 저하하게 된다.

그리고 나서, 산출한 투영변환행렬에 의해 화상처리부(17)에 의해서 기준화상 이외의 프레임의 각 화상(YUV데이터)을 투영 변환하는 동시에, 각 화상을 기준화상(YUV데이터)에 가산 평균해서 합성한 후(스텝SA12), 합성 후의 화상을 촬영화상으로서 외부기억메모리(12)에 기억한다(스텝SA13). 이에 따라, 패닝화상이 얻어지게 된다.

이상과 같이 본 실시형태에 있어서는, 패닝모드에서의 연속촬영에 의해 취득한 복수의 화상(YUV데이터)을 위치 맞춤해서 합성할 때, 소정의 기준화상(101, 휘도화상데이터)의 윈도우(102)를 구분한 복수의 블록(103)으로부터, 다른 블록(103)보다도 공간 주파수가 높은 고주파 블록(103a)을 선택하고(도 4 참조), 선택한 1 또는 복수의 고주파 블록(103a)의 움직임 벡터를 취득한 후, 취득한 고주파 블록 (103a)의 움직임 벡터에만 의거하여 복수의 화상을 위치 맞춤한다.

즉 기준화상(101, 윈도우(102) 내)에서 메인피사체에 대응한다고 생각되는 영역을 각 블록의 주파수 특성에 의거하여 판단하도록 했다. 따라서, 종래에 비해 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하고, 패닝화상을 생성할 때에 있어서의 복수의 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또, 주파수 특성에 의거하여 고주파 성분이 많다고 판단되는 고주파 블록 (103a)에 대해서만 움직임 벡터를 취득하고, 복수의 화상의 합성시에는 고주파 블록의 움직임 벡터에만 의거하여 복수의 화상을 위치 맞춤하도록 했다. 따라서, 연속촬영에 의해 취득한 복수의 화상(YUV데이터)의 위치 맞춤에 필요한 움직임 벡터를 최소한으로 억제할 수 있고, 패닝화상을 생성할 때에 있어서의 복수의 화상의 합성처리를 더욱 효율적으로, 또한 신속하게 실행할 수 있다.

또한, 메인피사체에 대응하는 영역의 판단에 요하는 처리를 간소화하는 것뿐이라면, 본 실시형태와는 달리, 복수의 화상의 위치 맞춤에 필요한 움직임 벡터를, 예를 들면 고주파 블록(103a)만의 움직임 벡터로 하지 않고, 1 또는 복수의 고주파 블록(103a)에 외접하는 직사각형 영역 내의 모든 블록(103)의 움직임 벡터로 해도 상관없다.

또, 기준화상(101, 휘도화상데이터)에 윈도우(102, 처리대상영역)를 설정하고, 윈도우(102) 내에서 고주파 블록(103a)을 선출하도록 했다. 따라서, 고주파 블록(103a)의 선출, 즉 메인피사체에 대응하는 영역의 판단에 요하는 처리 부담을 경감할 수 있고, 패닝화상을 생성할 때에 있어서의 복수의 화상의 합성처리를 가일층 효율적으로, 또한 신속하게 실행할 수 있다.

또한, 본 실시형태에서는 기준화상(101)에 윈도우(102)를 설치하는 것에 대해서 설명했는데, 이것에 한정하지 않고 기준화상(101)의 전체영역을 블록 나누기하고, 기준화상(101)의 전체영역을 대상으로 하여 고주파 블록을 선출하며, 그 움직임 벡터에 의거하여 각 화상의 위치 맞춤을 실행하도록 해도 좋다. 그 경우라도, 종래에 비해 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하고, 패닝화상을 생성할 때에 있어서의 복수의 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또, 기준화상(101)에 설정하는 윈도우(102)에 대해서는, 본 실시형태에서는 그 설정위치를 고정(중앙부분)으로 했는데, 윈도우(102)의 설정위치는 반드시 중앙부분이 아니라도 좋으며, 예를 들면 촬영자가 설정위치를 사전에 선택할 수 있거나, 자유롭게 설정할 수 있거나 하는 구성으로 하고, 선택 또는 설정된 임의의 위치로 해도 좋다. 또, 윈도우(102)의 사이즈에 대해서도 고정으로 했는데, 이것에 대해서도 변경 가능한 구성으로 해도 좋다.

또, 윈도우(102)를 스루화상(연사화상) 상에 표시시키도록 해도 좋다. 이에 따라 촬영자는 메인피사체를 윈도우(102) 내에 수납하기 쉬워진다.

또, 상기한 효과에 덧붙여서 본 실시형태에서는 상기한 바와 같이 스텝SA7의 블록매칭에서는 고주파 블록(103a)의 피사체 부분의 탐색범위를, 메인피사체에 허용하는 흔들림 량에 따른 상정추적범위보다도 넓은 범위로 설정하여 피사체 부분을 탐색함으로써, 고주파 블록(103a)의 움직임 벡터로서 정확한 움직임 벡터를 취득하도록 했다. 따라서, 고주파 블록(103a)의 움직임 벡터에 의거한 복수의 화상(YUV데이터)의 위치맞춤을 더욱 정확하게 실행할 수 있고, 촬영화상으로서 질이 높은 패닝화상을 얻을 수 있다.

또, 본 실시형태에서는 복수의 화상을 위치 맞춤해서 합성할 때, 기준화상 이외의 화상(YUV데이터)을, 고주파 블록(103a)의 움직임 벡터에 의거하여 연산한 투영변환행렬에 따라 변형해서 기준화상에 합성하는 것으로부터, 각각의 화상에 있어서 메인피사체에 대한 촬영각도나 촬영거리가 변화한 경우라도 메인피사체 부분에 높은 동일성을 확보할 수 있다. 따라서, 촬영화상으로서 질이 높은 패닝화상을 얻을 수 있다.

또, 본 실시형태에 있어서는 상기한 바와 같이 스텝SA8에 있어서 투영변환행렬을 구할 때에는, 본래는 얻을 수 없는 바와 같은(명백하게 잘못해서 취득된) 움직임 벡터를 배제하고, 올바른 움직임 벡터에만 의거하여 투영변환행렬을 구하도록 했다. 따라서, 상기한 투영변환에 의한 복수의 화상(YUV데이터)의 위치맞춤을 더욱 정확하게 실행할 수 있고, 동시에 상기한 각 화상의 피사체 부분에 있어서의 동일성의 확보를 확실하게 실행할 수 있으며, 이에 따라서도 촬영화상으로서 질이 높은 패닝화상을 얻을 수 있다.

또한, 본 발명에 있어서는 복수의 화상(YUV데이터)을 위치 맞춤해서 합성할 때, 반드시 기준화상(101) 이외의 화상군을 투영 변환하지 않아도 좋으며, 예를 들면 도 2의 흐름도에 있어서의 스텝SA6에서, 기준화상(101)의 윈도우(102)에 있어서의 고주파 블록(103a)을 선출한 후에는, 고주파 블록(103a)에 대해 기준화상(101)과 그 이외의 각각의 화상과의 사이에서 움직임 벡터를 취득하고, 그 움직임 벡터에 따라 복수의 화상(YUV데이터)을 위치 맞춤해서 합성하도록 해도 좋다.

그 경우에 있어서도, 복수의 화상(YUV데이터)을 위치 맞춤에 사용하는 움직임 벡터를, 소정 거리 이하의 변위량을 나타내는 특정의 움직임 벡터만으로 하고, 본래는 얻을 수 없는 바와 같은(명백하게 잘못해서 취득된) 움직임 벡터를 배제함으로써 올바른 움직임 벡터에만 의거하여 복수의 화상(YUV데이터)을 위치 맞춤하면, 촬영화상으로서 질이 높은 패닝화상을 얻을 수 있다.

또한, 연속촬영에 의해 취득한 12장의 화상 중에서, 메인피사체의 흔들림이 적은 연속하는 8장의 화상을 정해진 선택기준에 따라 자동적으로 선택하고, 선택한 화상만을 합성하는 것으로부터, 연속촬영시에 있어서의 카메라의 흔들림에 기인하는 화상 내에 있어서의 메인피사체 부분 및 배경부분의 화질저하를 방지할 수 있다. 이에 따라서도, 촬영화상으로서 질이 높은 패닝화상을 얻을 수 있다.

또한, 본 실시형태에 있어서는, 패닝모드에서는 셔터 키에 의한 촬영지시에 따라 연속촬영을 실행하고, 그곳에서 취득한 복수장(12장)의 화상으로부터 정해진 장수(8장)의 화상을 선택하여 합성하는 것에 대해서 설명했는데, 이하와 같이 해도 좋다. 예를 들면 연속촬영에 의해 취득한 모든 화상을 합성해서 패닝화상을 얻도록 해도 좋다. 즉, 도 2의 흐름도에 있어서, 스텝SA7∼SA9의 처리에서 기준화상 (101) 이외의 모든 대상화상(휘도화상데이터)에 대해 투영변환행렬이 취득되었으면(스텝SA9에서 YES), 즉시 스텝SA12로 진행하고, 스텝SA7, SA8의 처리에서 취득한 투영변환행렬에 따라, 기준화상 이외의 화상군의 YUV데이터를 투영 변환해서 기준화상의 YUV데이터에 가산 합성하도록 해도 좋다.

또, 연속촬영에 의해 취득한 모든 화상을 합성할 경우, 혹은 본 실시형태와 같이 취득한 화상으로부터 정해진 장수를 선택해서 합성할 경우의 어느 것에 있어서도, 합성시에 기준으로 하는 화상(상기한 움직임 벡터를 취득할 때에, 그 휘도화상데이터를 기준화상(101)으로 하는 화상)에는, 연사개시타이밍에 가장 가까운 화상에 한정하지 않고, 예를 들면 합성할 복수의 화상 중에서 촬영시간이 중앙에 위치하는 화상 등을 사용해도 상관없다.

또, 합성할 화상의 장수를 변경 가능하게 해도 좋다. 예를 들면 패닝화상에 있어서 나타내는 배경부분의 흐름 정도를 단계적으로 설정할 수 있는 구성으로 하고, 사용자에게 패닝모드에서의 촬영에 앞서서 배경부분의 흐름 강도를 선택시키는 동시에, 그 강도에 따른 장수의 화상을 최종적으로 합성하도록 해도 좋다. 또한, 합성할 화상의 장수를 촬영시에 있어서의 피사체의 밝기에 의거하여 자동적으로 변경하도록 해도 좋다. 예를 들면 피사체의 밝기가 촬영화상의 SN값이 나빠진다고 판단할 수 있는 임계값 이하인 것을 조건으로서, 합성할 화상의 장수를, 피사체의 밝기에 따라서 정해져 있는 장수로 자동적으로 늘리거나, 피사체의 밝기에 따라 줄이거나 해도 좋다. 이에 따라, 어두운 촬영환경하라도 화질이 좋은 패닝화상을 얻을 수 있다. 또한, 그 경우에 기준으로 하는 피사체의 밝기는, 예를 들면 화각내 전체영역의 피사체의 밝기나, 상기한 윈도우(102, 도 4 참조)와 같은 일부 영역의 피사체 부분의 밝기로 하면 좋다.

또, 패닝모드에서는 촬영지시가 있기 이전부터 연속촬영을 개시하고, 그곳에서 취득한 화상 중 최신의 화상을 일정장수 분(예를 들면 12장 분)만을 기억 홀딩하는 것으로 하며, 촬영 후에는 촬영지시가 있던 시점의 전후에 있어서 취득한 모든 화상(예를 들면 촬영지시 전에 취득한 12장과 촬영지시 후에 취득한 12장의 합계 24장)을 대상으로 하고, 상기한 스텝SA4 이후의 처리를 실행하도록 해도 좋다. 그 경우, 스텝SA5의 처리에서는 촬영지시가 있던 후(촬영지시의 직후 등)에 취득한 화상을 기준화상(101)으로서 사용하면, 촬영자가 의도한 촬영타이밍에서의 메인피사체의 상태를 중시한 패닝화상을 얻을 수 있다.

또, 본 실시형태에 있어서는 패닝모드에서 표시하는 스루화상에는, 그리드(100, 도 3)를 겹쳐서 표시하도록 했는데, 연속촬영중에 표시하는 스루화상에는, 그리드(100)의 표시에 대신하여 이하의 표시를 실행하도록 해도 좋다. 즉, 도 2 흐름도의 스텝SA5, SA6의 처리를 연속촬영중에 새로운 화상을 취득할 때마다 취득한 화상에 대해서 실행하는 것으로 하고, 스루화상의 표시를 할 때에는, 직전에 취득한 화상에 있어서 선출한 고주파 블록(103a)으로 이루어지는 기준영역, 혹은 직전에 취득한 화상에 있어서 선출한 1 또는 복수의 고주파 블록(103a)에 외접하는 직사각형 영역 내의 모든 블록(103)을 포함하는 특정영역의 화상을 화소 솎아냄 등을 실행하여 반투명 상태로 스루화상에 겹쳐서 표시하거나, 상기 특정영역을 나타내는 직사각형 프레임을 스루화상에 겹쳐서 표시하거나 해도 좋다. 즉 메인피사체일 가능성이 높은 영역을 다른 일반영역과 구별 가능한 상태로 스루화상을 표시해도 좋다. 또한, 도 2 흐름도의 스텝SA5, SA6의 처리를 연속촬영중에 있어서의 1장째의 화상을 취득한 직후에 1장째의 화상에 대해서 실행하는 것으로 하고, 스루화상의 표시를 할 때에는 1장째의 화상에 있어서 선출한 고주파 블록(103a)으로 이루어지는 기준영역, 혹은 1장째의 화상에 있어서 선출한 1 또는 복수의 고주파 블록 (103a)에 외접하는 직사각형 영역 내의 모든 블록(103)을 포함하는 특정영역의 화상을 화소 솎아냄 등을 실행하여 반투명 상태로 2장째 이후의 화상(스루화상)에 겹쳐서 표시하거나, 상기 특정영역을 나타내는 직사각형 프레임을 2장째 이후의 화상에 겹쳐서 표시하거나 해도 좋다.

그 경우에는, 연속촬영중(패닝중)에 촬영자에 대해서, 메인피사체의 촬영위치(메인피사체를 파악해야 할 화각 내의 위치)로서 더욱 적절한 촬영위치를 알려줄 수 있기 때문에, 촬영자에게 있어서는 메인피사체의 움직임에 맞추어서 카메라를 적확하게 추종시키기 쉬워진다. 물론, 이와 같은 효과는 패닝촬영시에 있어서의 촬영시간이 길수록 현저하게 된다.

또, 패닝촬영을 실행할 때에는, 셔터 키가 눌러지기 이전의 단계로부터 메인피사체의 움직임에 맞추어서 카메라를 추종시키기 때문에, 패닝화상의 생성(합성)에 사용할지 아닌지에 관계없이, 촬영대기상태라도 연속하는 촬상동작을 실행하도록 하고, 촬영대기상태의 스루화상에, 직전에 촬상한 화상에 있어서의 상기한 기준영역이나 특정영역의 화상을 반투명 상태로 겹쳐서 표시하거나, 상기 특정영역을 나타내는 직사각형 프레임을 겹쳐서 표시하거나 해도 좋다. 또한, 촬영대기상태에 있어서 취득한 스루화상에 대해서 도 2 흐름도의 스텝SA5, SA6의 처리를 실행하는 것으로 하고, 이 촬영대기상태에 있어서 취득한 스루화상에 있어서의 상기한 기준영역이나 특정영역의 화상을, 셔터 키 누름 이후에 취득되는 연사화상(스루화상)에 겹쳐서 표시하거나, 상기 특정영역을 나타내는 직사각형 프레임을 겹쳐서 표시하거나 해도 좋다.

한편, 본 발명을 화상 내에 있어서의 인물의 얼굴 부분을 검출하는 얼굴검출기능을 구비한 디지털카메라 등에 이용할 경우에 있어서는 상기한 기준화상(101)에 설정하는 윈도우(102, 처리대상영역)를 촬영개시타이밍의 직전 등에 검출되어 있던 얼굴 부분에 대응하는 영역으로 해도 좋다. 또한, 본 발명을 스루화상을 표시하고 있는 동안이나 셔터 키가 반 눌러져 있는 동안에, 미리 지정된 임의의 피사체 부분을 순차 촬상되는 화상 내에서 계속하여 검출하는 주목 피사체의 자동추미기능을 구비한 디지털카메라 등에 이용할 경우에 있어서는 상기한 기준화상(101)에 설정하는 윈도우(102, 처리대상영역)를 촬영개시타이밍으로 검출되고 있던 피사체 부분에 대응하는 영역으로 해도 좋다.

단, 상기와 같이 얼굴검출기능이나, 주목 피사체의 자동추미기능을 구비한 디지털카메라 등에 있어서는 본 실시형태와는 달리, 예를 들면 도 2의 흐름도에 있어서의 스텝SA5, SA6의 처리에 대신하여 각각의 연사화상에 대해 얼굴검출기능을 이용해서 얼굴영역을 취득하는 처리를 실행하는 동시에, 스텝SA7, SA11에서는 기준화상의 얼굴영역과 각각의 대상화상의 얼굴영역 사이의 움직임 벡터를 취득하도록 하거나 혹은, 도 2의 흐름도에 있어서의 스텝SA5, SA6의 처리에 대신하여 기준화상에 대해 얼굴검출기능을 이용해서 얼굴영역을 취득하는 처리를 실행하는 동시에, 스텝SA7, SA11에서는 기준화상의 얼굴영역을 추적대상으로 하여 다른 각 대상화상에 대해 블록매칭을 실행해서 움직임 벡터를 취득하는 처리를 실행하도록 해도 좋다.

또, 연사개시타이밍에 있어서 이미 검출(추미)되어 있던 피사체 부분에 대응하는 영역이나 기준화상 내의 소정부분(예를 들면 화각중앙부분)에 대응하는 영역을 기준화상의 기준영역(추적대상)으로 하여 다른 각 대상화상에 대해 블록매칭을 실행해서 움직임 벡터를 취득하는 처리를 실행하도록 해도 좋다.

즉, 얼굴검출기능에 의해 검출된 얼굴부분에 대응하는 영역이나, 연사개시타이밍으로 검출(추미)되어 있던 피사체 부분이나, 기준화상 내의 소정부분(예를 들면 화각중앙부분)에 대응하는 영역을, 그대로 메인피사체에 대응하는 영역이라고 판단하도록 해도 좋다. 그 경우에 있어서도, 종래에 비해 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하고, 패닝화상을 생성할 때에 있어서의 복수의 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

(실시형태 2)

다음으로, 본 발명의 제 2 실시형태에 대해 설명한다. 본 실시형태는 제 1 실시형태와 똑같이 기록모드의 하위모드로서 패닝모드를 갖는 디지털카메라에 관한 것이다. 본 실시형태의 디지털카메라에 있어서는 도 1에 나타낸 주파수 특성 연산부(15)가 폐지되는 동시에, 상기 프로그램메모리(14)에는 패닝모드에서의 촬영을 할 때에 CPU(9)에 후술하는 처리를 실행시키기 하기 위한 프로그램이 기억되어 있다.

이하, 본 실시형태의 디지털카메라에 있어서의 본 발명에 관련되는 동작에 대해 설명한다. 도 5는 사용자에 의해서 패닝모드가 설정된 경우에 있어서의 CPU(9)의 처리순서를 나타내는 흐름도이다.

스텝SB1∼SB4의 처리는 상기한 스텝SA1∼SA4의 처리와 동일하며, 본 실시형태에 있어서도 CPU(9)는 패닝모드가 설정되면, 스루화상에 겹쳐서 그리드(100)를 표시하고, 셔터 키가 눌러진 시점에서 12회의 연속촬영을 실시하여, 취득한 12장의 화상마다 YUV데이터와 휘도화상데이터를 생성해서 기억한다.

계속해서, 본 실시형태에 있어서는 12장의 휘도화상데이터 중 1장째의 화상을 기준화상으로 하고, 기준화상의 중앙부분에 윈도우(102)를 설정하여 윈도우 내를 복수 블록(103)으로 구분하는 동시에, 블록매칭부(16)에 의해서 기준화상과 그것과는 시간적으로 가장 떨어진 12장째의 화상(휘도화상데이터)과의 사이에서의 블록매칭을 실행하고, 블록(103)마다 움직임 벡터를 취득한다(스텝SB5). 또한, 상기 윈도우(102)나 각 블록(103)의 사이즈(위치), 움직임 벡터의 구체적인 취득방법에 대해서는 제 1 실시형태와 똑같다.

여기에서, 12장째의 화상을 블록매칭의 대상으로 하는 것은, 이하의 이유에 의한다. 즉 도 6a∼도 6c는 1장째, 2장째, n(3 이상)장째의 각 화상의 윈도우(102) 내에 있어서의 메인피사체(A)와 배경피사체(B)의 위치관계의 차이를 편의적으로 나타낸 도면이다. 또, 도 6b, 도 6c에 나타낸 화살표는 기준화상인 1장째의 화상에 대한 2장째, n(3 이상)장째의 화상을 대상으로 하여 움직임 벡터를 취득한 경우에 있어서의 화상 내의 각부(여기에서는 일부분만)의 움직임 벡터이며, 각각의 길이가 움직임 벡터의 크기이다. 도시한 바와 같이, 기준화상과 시간간격이 떨어지는 화상일수록 메인피사체 부분에 비해 배경 부분의 움직임 벡터의 크기가 커지고, 움직임 벡터에 있어서의 양자간의 분리성이 높아지기 때문이다.

그리고, CPU(9)는 기준화상과 12장째 화상과의 사이의 블록매칭으로 취득한 블록마다 중에서, 움직임 벡터의 크기가 일정거리 이하, 즉 그 블록에 대응하는 피사체 부분의 변위량이 기준값 이하인 1 또는 복수의 특정블록을 메인피사체에 대응하는 블록으로서 선출한다(스텝SB6). 여기에서 선출되는 1 또는 복수의 특정블록(이하, 선출블록이라고 한다)이 본 발명의 기준영역이며, 예를 들면 도 6c에 타원 프레임(C)으로 나타낸 영역 내에 위치하는 서로 인접 또는 이간하는 블록군이다.

이후, CPU(9)는 각각의 선출블록의 움직임 벡터 데이터를 이용하고, 기준화상 이외의 모든 화상(휘도화상데이터)을 대상화상으로 하여 기준화상의 피사체에 대한 대상화상의 피사체의 각부의 위치관계를 나타내는 투영변환행렬을 취득한다(스텝SB7∼SB9). 이 이후는 제 1 실시형태와 똑같으며, 취득한 투영변환행렬에 의거하여 연속하는 8장의 화상(YUV데이터)을 선택하고, 그 중에서 새로운 기준화상을 결정해서 투영변환행렬을 재계산하며, 그 투영변환행렬에 의거하여 기준화상 이외의 화상(YUV데이터)을 변형하고, 변형 후의 각 화상을 합성하며, 합성 후의 화상을 촬영화상으로서 기억한다(스텝SB10∼SB13).

이상과 같이 본 실시형태에 있어서는 기준화상(윈도우 내)에서 메인피사체에 대응한다고 생각되는 영역을, 기준화상과 기준화상에 대해서 시간적으로 가장 떨어진 화상과의 사이에서 취득한 움직임 벡터의 크기에 의거하여 판단하도록 했다. 따라서, 제 1 실시형태와 똑같이 종래에 비해 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하고, 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또한, 복수 화상의 합성시에는, 이와 같은 움직임 벡터의 크기가 일정거리 이하인 복수의 특정블록의 움직임 벡터에만 의거하여 복수의 화상을 위치 맞춤하도록 했다. 따라서, 복수 화상의 위치맞춤에 필요한 움직임 벡터의 수를 최소한으로 억제할 수 있기 때문에 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또한, 본 실시형태에 있어서는 기준화상에 설정한 윈도우를 복수의 블록으로 구분하고, 그 중에서 상기 1 또는 복수의 특정블록을 특정하는 것에 대해서 설명했는데, 이것에 한정하지 않고, 상기 1 또는 복수의 특정블록을 기준화상의 전체영역을 일정 사이즈마다 구분한 복수의 블록 중에서 특정하는 구성으로 해도 좋다. 그 경우라도, 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하고, 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또한, 기준화상에 설정하는 윈도우(처리대상영역)는, 예를 들면 얼굴검출기능을 구비한 구성이면, 촬영개시타이밍의 직전 등에 검출되어 있던 얼굴부분에 대응하는 영역으로 해도 좋고, 또, 자동추미기능을 구비한 구성이면, 촬영개시타이밍으로 검출되어 있던 주목 피사체에 대응하는 영역으로 해도 좋다.

다음으로, 상기한 제 2 실시형태와 똑같이 기준화상과 기준화상에 대해서 시간적으로 가장 떨어진 화상과의 사이에서 취득한 움직임 벡터에 의거하여 기준화상에서 메인피사체에 대응한다고 생각되는 영역(특정블록)을 판단하는 경우의 변형예에 대해 설명한다.

즉 연속촬영을 실행하고 있는 동안에 배경피사체가 멈추어 있는 것을 전제로 하면, 배경피사체에 대응하는 영역(블록)의 움직임 벡터의 크기는, 기준화상(1장째의 화상)의 촬영시점부터 기준화상과 시간적으로 가장 떨어진 화상의 촬영시점까지의 사이에 있어서의 카메라의 움직임에 동반하는 화각의 이동량(프레임 내에 있어서의 피사체의 전체적인 변위량)과 거의 일치하게 된다. 따라서, 기준화상의 촬영시점부터 기준화상과 시간적으로 가장 떨어진 화상의 촬영시점까지의 사이에 있어서의 카메라의 움직임에 동반하는 화각의 이동량과 다른 변위량을 나타내는 움직임 벡터가 얻어진 영역을 메인피사체에 대응하는 영역이라고 판단하도록 해도 좋다.

구체적으로는, 예를 들면 기준화상에 있어서의 윈도우(102, 기준화상의 전체영역이라도 좋다)에 도 7에 나타낸 바와 같은 소정 폭의 외주영역(D)을 설정하여 두고, 도 5의 스텝SB6의 처리에 대신하여, 우선, 카메라의 움직임에 동반하는 화각의 이동량을 나타내는 화각이동정보로서 기준화상에 있어서의 외주영역(D) 내의 모든 블록의 움직임 벡터에 의해 나타내어지는 각각의 블록의 피사체 부분의 변위량(이동거리)의 평균값(움직임 벡터값)을 산출한다. 그리고, 기준화상에 있어서의 외주영역(D) 외의 블록 중에서, 그 변위량(움직임 벡터값)과 산출한 평균값의 차가 소정범위 내에 있는 블록을 배경피사체(B)에 대응하는 블록으로 하고, 이와 같은 블록을 제외한 다른 블록을 메인피사체(A)에 대응하는 블록으로서 선출하는 처리를 실행하도록 하면 좋다. 그때, 상기한 변위량(이동거리)은, 예를 들면 수평방향 등의 특정방향만의 변위량으로 해도 좋다. 또한, 상기한 평균값에 의거하여 메인피사체(A)에 대응하는 블록을 선출할 때에는, 그 블록에 있어서의 피사체 부분의 변위량과 상기한 평균값의 차가 소정범위 밖에 있는 블록을 메인피사체(A)에 대응하는 블록이라고 직접적으로 판단하여 선출하도록 해도 좋다.

또, 상기와는 별도로, 본체에 있어서의 상하 및/또는 좌우방향의 이동량을 검출하는 자이로 센서 등의 소정의 이동량 검출수단을 구비한 디지털카메라 등에 있어서는 도 5의 스텝SB3에서 연속촬영을 실시할 때에, 촬영개시시점부터 촬영종료시점까지의 본체의 이동량을 취득하여 두고, 스텝SB6의 처리에 대신하여 상기 본체의 이동량을 촬영렌즈(1)의 초점거리에 따라 화상 내에 있어서의 피사체의 변위량으로 환산한다. 이것이 카메라의 움직임에 동반하는 화각의 이동량을 나타내는 화각이동정보이다. 그리고, 기준화상에 있어서의 윈도우(102, 기준화상의 전체영역이라도 좋다) 내의 블록 중에서, 그 변위량(움직임 벡터값)과 환산한 변위량의 차가 소정범위 내에 있는 블록을 배경피사체(B)에 대응하는 블록으로 하고, 이와 같은 블록을 제외한 다른 블록을 메인피사체(A)에 대응하는 블록으로서 선출하는 처리를 실행하도록 하면 좋다. 그때에도, 상기한 변위량(이동거리)은 수평방향 등의 특정방향만의 변위량이라고 해도 좋다. 또한, 상기한 바와 같이 본체의 이동량으로부터 환산한 피사체의 변위량(환산변위량)에 의거하여 메인피사체(A)에 대응하는 블록을 선출하는 경우에 대해서도, 그 블록에 있어서의 피사체 부분의 변위량과 상기 환산 변위량의 차가 소정범위 밖에 있는 블록을 메인피사체(A)에 대응하는 블록이라고 직접적으로 판단하여 선출하도록 해도 좋다.

상기한 바와 같이 카메라의 움직임에 동반하는 화각의 이동량과 일정한 범위를 넘어 다른 변위량을 나타내는 움직임 벡터가 얻어진 영역을 메인피사체에 대응하는 블록으로서 판단하는 경우에 있어서도, 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하다. 따라서, 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

또, 메인피사체에 대응하는 블록을 카메라의 움직임에 동반하는 화각의 이동량을 기준으로서 판단하는 것은 아니고, 그것을 기준화상(휘도화상데이터)과 기준화상에 대해서 시간적으로 가장 떨어진 화상(휘도화상데이터)과의 사이에서 취득한 움직임 벡터에 의거하여, 예를 들면 이하와 같이 판단해도 좋다.

즉 기준화상(휘도화상데이터)과 기준화상에 대해서 시간적으로 가장 떨어진 화상(휘도화상데이터)과의 사이에서 취득한 모든 블록의 움직임 벡터의 값은, 메인피사체에 대응하는 블록군에 있어서 근사하고, 또 배경피사체에 대응하는 블록군에 있어서도 근사한다. 동시에, 움직임 벡터의 값은 한쪽 블록군의 측과 다른 쪽 블록군의 측으로 2극화한다. 즉 모든 블록의 움직임 벡터의 값에는 항상 치우침이 발생하게 된다.

도 8은 그 치우침의 일례를 나타내는 도면으로서, X축과 Y축으로 이루어지는 직교좌표면 위에, 각각의 블록의 움직임 벡터에 의해 나타나는 X방향의 변위량과 Y방향의 변위량을 나타내는 점을 플롯으로 한 분포도, 예를 들면 X방향의 변위량이 n이고 Y방향의 변위량이 m이면 (n, m)의 위치에 점을 플롯한 분포도이다. 또, 이 도면은 연속촬영이 실행되고 있는 동안, 프레임(화각) 내에서 메인피사체가 비스듬히 오른쪽 아래 방향으로 약간 이동하고, 또한 배경피사체가 왼쪽방향으로 이동했을 때의 예이다. 이 경우, 메인피사체에 대응하는 각 블록의 점에 의해서 제 4 상한(象限)에 위치하는 동시에 원점(0)에 가까운(변위량이 적은) 제 1 분포영역(Pa)이 형성되고, 또 배경피사체에 대응하는 각 블록의 점에 의해서 제 2 상한과 제 3 상한에 걸치는 동시에 원점(0)으로부터 먼(변위량이 많은) 제 2 분포영역(Pb)이 형성되게 된다.

따라서, 각각의 블록의 움직임 벡터가 제 1 분포영역(Pa)과 제 2 분포영역 (Pb)의 어느 측에 포함되는지를 확인하고, 그것이 제 1 분포영역(Pa)에 포함되는 블록을 메인피사체에 대응하는 블록으로서 판단하면 좋다. 또, 이와 같은 판단은, 움직임 벡터에 의해 나타내어지는 피사체 부분의 변위방향을 무시하고, 그 변위량의 절대값만의 분포에 의거하여 실행해도 상관없다. 이와 같은 것으로부터 구체적인 처리를 할 때에는, 예를 들면 도 5의 스텝SB6에 있어서는, 모든 블록의 움직임 벡터로부터, 변위량(X방향과 Y방향의 쌍방의 변위량, 또는 한쪽의 변위량) 별의 도수(度數)를 적산하며, 그것에 의해 나타내어지는 히스토그램에 있어서 변위량이 작은 측의 제 1 분포영역과 변위량이 큰 측의 제 2 분포영역을 통계연산 등을 포함하는 소정의 처리에 의해서 판정하고, 상기 제 1 분포영역에 대응하는 블록을 메인피사체에 대응하는 블록으로서 판단하여 선출하는 처리를 실행하면 좋다.

상기한 바와 같이 모든 블록의 움직임 벡터(피사체 부분의 변위량)의 분포상태에 의거하여 메인피사체에 대응하는 블록으로서 판단하는 경우에 있어서도, 메인피사체에 대응하는 영역의 판단에 요하는 처리가 간단하다. 따라서, 패닝화상을 생성할 때에 있어서의 복수 화상의 합성처리를 효율적으로, 또한 신속하게 실행할 수 있다.

여기에서, 이상의 변형 예의 설명에 있어서는, 메인피사체에 대응하는 블록의 판단기준으로 하는 움직임 벡터를, 1장째의 화상을 기준화상으로 하고, 이 기준화상과 그것과 시간적으로 가장 떨어진 화상과의 사이에서 취득하는 것을 전제로 했는데, 움직임 벡터를 구할 때의 기준화상 이외의 대상화상은 기준화상과 소정시간(소정장수) 이상 떨어진 화상이면 다른 화상이라도 좋다. 물론, 앞에서 서술한 바와 같이 움직임 벡터의 분리성을 높이는 점에 있어서는 기준화상과 시간적으로 가장 떨어진 화상으로 하는 것이 바람직하다. 또, 기준화상은 1장째의 화상이 아니라도 상관없다.

또한, 이상의 각 변형예에서는, 메인피사체에 대응하는 블록의 판단을 기준화상과 기준화상에 대해서 시간적으로 가장 떨어진 화상과의 2장의 화상간에 취득한 움직임 벡터(블록마다의 움직임 벡터)에만 의거하여 실행하는 것에 대해서 설명했는데, 이것에 한정하지 않고, 메인피사체에 대응하는 블록의 판단을 연속촬영된 복수장의 화상의 각 화상간에 있어서 각각 취득한 움직임 벡터(블록마다의 움직임 벡터)에 의거하여 실행하도록 해도 좋다.

예를 들면, 연속촬영에 의해서 복수장의 화상에 대해 YUV데이터와 휘도화상데이터를 취득한 후에는, 휘도화상데이터를 이용하여 처리대상의 화상의 조를 바꾸면서 인접하는 화상간에서의 블록매칭을 반복 실행하고, 블록마다의 움직임 벡터를 복수조 취득한다. 그리고, 그곳에서 취득한 복수조의 움직임 벡터에 의해서 나타내어지는 피사체 부분의 변위량(이동거리)을 블록마다 적산하고, 그 적산값을 메인피사체에 대응하는 블록의 판단기준으로서 사용하며, 상기한 각각의 변형 예의 처리에 있어서는 블록마다의 움직임 벡터에 의해 나타내어지는 변위량에 대신하여 상기의 적산값을 이용하도록 해도 좋다.

또, 상기와는 별도로 이하와 같이 해도 좋다. 즉, 상기한 각각의 변형예의 어느 것에 대해서도, 앞에서 설명한 처리를, 움직임 벡터(블록마다의 움직임 벡터)의 취득대상을 시간적으로 가장 떨어진 2장의 화상간은 아니고 인접하는 1조의 화상에 대신해서 실행함으로써, 메인피사체에 대응한다고 판단할 수 있는 블록을 특정한다. 또, 이와 같은 처리를 1장째와 2장째의 화상, 2장째와 3장째의 화상, 3장째와 4장째의 화상, ㆍㆍㆍ과 같이 모든 조의 화상을 대상으로 해서 복수회(전체화상장수-1회) 반복하여 실행함으로써, 메인피사체에 대응한다고 판단할 수 있는 블록을 복수회 특정한다. 그리고, 복수회의 처리로 특정한 각각의 블록의 정보에 의거하여 메인피사체에 대응한다고 판단할 수 있는 블록을 최종적으로 선출하도록 해도 좋다.

예를 들면 복수회의 처리로 특정한 블록 중에서, 모든 처리에 대해서 특정된 위치의 블록만을 최종적으로 메인피사체에 대응하는 블록으로서 선출하거나, 소정회수 이상 특정된 위치의 블록만을 최종적으로 메인피사체에 대응하는 블록으로서 선출하거나 해도 좋다. 단, 이것을 상기한 각각의 변형예 중, 메인피사체에 대응하는 블록의 판단에 대해서, 움직임 벡터와 함께 자이로 센서 등에 의해 검출한 본체의 이동량을 사용하는 변형예에 적용할 경우에는 본체의 이동량을 모든 화상간에서 검출할 필요가 있다.

여기에서, 제 1 및 제 2 실시형태에서는 촬상소자가 CMOS센서인 디지털카메라에 본 발명을 적용한 경우에 대해 설명했는데, CMOS센서는 CCD 등의 다른 촬상소자에 대신할 수 있다. 또, 상기한 디모자이크부(11), 주파수 특성 연산부(15), 블록매칭부(16), 화상처리부(17) 기능의 일부 내지는 모두를, CPU(9)를 소정의 프로그램에 따라 동작시킴으로써 실현하도록 해도 좋다. 또, 본 발명은 디지털카메라에 한정하지 않고, 예를 들면 카메라 부착의 휴대전화단말 등의 정지화상 촬영기능을 갖는 다른 촬상장치에도 적용할 수 있다.

또한, 본 발명은 촬상장치에 한정하지 않고, 시간적으로 연속하는 복수장의 화상으로부터 패닝화상을 생성하는 기능을 갖는 임의의 화상처리장치에도 적용할 수 있다. 또, 이와 같은 화상처리장치에는 소정의 프로그램에 의거하여 동작함으로써 상기 기능이 실현되는 퍼스널 컴퓨터도 포함된다.

본 발명은 상기한 실시형태에 한정되는 것은 아니고, 본 발명의 요지범위를 일탈하지 않는 변형된 구성들에 의해 구현이 가능하다. 또한, 상기 실시예에 기술된 구성들의 적절한 조합에 의해 다향한 형태로 구현이 가능하다. 예를 들면, 몇 개의 구성은 실시예에서 보여진 모든 구성들에서 삭제될 수 있다. 또한 다른 실시예의 구성들이 적절하게 조합될 수 있다.

본 발명은 2008년 2월 29일에 제출한 일본국 특허 출원 제2008-049168호에 의거하며, 그 전체내용이 참고사항으로 본 발명의 명세서상에 포함되어 있다.

Claims

촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과,

상기 촬영수단에 의해 취득된 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 고주파 성분을 갖는 영역을 기준영역으로서 설정하는 기준영역설정수단과,

상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,　

상기 기준화상으로부터 고주파 성분의 양을 나타내는 평가값을 블록마다 취득하는 평가값 취득수단을 구비하고,

상기 기준영역설정수단은 상기 평가값 취득수단에 의해 블록마다 취득된 평가값이 소정값 이상, 및/또는 평가값에 의한 순위가 소정순위 이내의 특정의 블록으로 이루어지는 영역을 기준영역으로서 설정하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 기준화상에 처리대상영역을 설정하는 처리대상영역설정수단을 구비하고,

상기 기준영역설정수단은 상기 처리대상영역설정수단에 의해 설정된 처리대상영역에 있어서의 고주파 성분을 갖는 영역을 기준영역으로서 설정하는 것을 특징으로 하는 촬상장치.
제 2 항에 있어서,

상기 화상처리수단은 상기 기준영역설정수단에 의해 설정된 기준영역을 구성하는 블록마다, 상기 복수장의 화상 각각과의 사이에 있어서의 피사체 부분의 변위량 및 변위방향을 나타내는 움직임 벡터를 취득하는 움직임 벡터 취득수단을 구비하고,

상기 움직임 벡터 취득수단에 의해 취득된 블록마다의 움직임 벡터에 의거하여 상기 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 것을 특징으로 하는 촬상장치.
제 4 항에 있어서,

상기 움직임 벡터 취득수단은 상기 기준영역의 피사체 부분에 허용하는 변위량에 따른 범위보다도 넓은 범위를 탐색범위로 하고, 대상이 되는 다른 화상에 있어서 각 블록에 대응하는 피사체 부분을 탐색함으로써 상기 기준영역을 구성하는 블록마다의 움직임 벡터를 취득하는 것을 특징으로 하는 촬상장치.
제 4 항에 있어서,

상기 화상처리수단은 상기 움직임 벡터 취득수단에 의해 취득된 블록마다의 움직임 벡터 중에서, 소정거리 이하의 변위량을 나타내는 특정의 움직임 벡터에만 의거하여 상기 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 것을 특징으로 하는 촬상장치.
제 4 항에 있어서,　

상기 화상처리수단은 상기 움직임 벡터 취득수단에 의해 취득된 블록마다의 움직임 벡터에 의거하여 상기 기준화상과 다른 화상 중의 소정의 화상을 기준으로 하여 해당 소정의 화상 이외의 다른 화상을 투영 변환하는 투영변환수단을 구비하고,

상기 투영변환수단에 의한 투영 변환 후의 상기 소정의 화상 이외의 다른 화상을 상기 소정의 화상과 합성함으로써 상기 기준화상에 있어서의 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 것을 특징으로 하는 촬상장치.
제 1 항에 있어서,

상기 촬영수단에 의해 취득된 복수장의 화상으로부터, 상기 화상처리수단이 합성대상으로 하는 복수장의 화상을 소정의 선택기준에 의거하여 자동적으로 선택하는 선택수단을 구비한 것을 특징으로 하는 촬상장치.
제 8 항에 있어서,

상기 선택수단은 상기 촬영수단에 의해 취득된 복수장의 화상으로부터, 상기 화상처리수단이 합성대상으로 하는 복수장의 화상으로 하고, 시간적으로 연속하는 복수장의 화상을 소정의 선택기준에 의거하여 자동적으로 선택하는 것을 특징으로 하는 촬상장치.
컴퓨터 시스템에 의해서 실행 가능하고 해당 컴퓨터 시스템을 일련의 처리절차에 따라서 동작시키는 프로그램을 포함하는 컴퓨터 판독 가능한 기록매체에 있어서,

상기 처리절차는,

시간적으로 연속해서 촬상된 복수장의 화상을 취득하며,

취득한 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 고주파 성분을 갖는 영역을 기준영역으로서 설정하며,

설정한 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 것을 포함하는 컴퓨터 판독 가능한 기록매체.
촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과,

상기 촬영수단에 의해 취득된 화상으로부터 인물의 얼굴 부분을 검출하는 얼굴검출수단과,

상기 촬영수단에 의해 취득된 시간적으로 연속하는 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 상기 얼굴검출수단에 의해 검출된 얼굴 부분에 대응하는 영역을 기준영역으로서 설정하는 기준영역설정수단과,

상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치.
촬상소자에 의해서 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과,

상기 촬영수단에 의해 시간적으로 연속해서 취득되는 각각의 화상에 있어서 주목 피사체를 추미하는 추미수단과,

상기 촬영수단에 의해서 취득된 시간적으로 연속하는 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 있어서의 상기 추미수단에 의해 추미되는 주목 피사체에 대응하는 영역을 기준영역으로서 설정하는 기준영역설정수단과,

상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치.
촬상소자로부터 시간적으로 연속하는 복수장의 화상을 취득하는 촬영수단과,

상기 촬영수단에 의해 취득된 복수장의 화상의 다른 화상간에 있어서의 피사체 부분의 변위량을 취득하는 변위량 취득수단과,

상기 촬영수단에 의해 취득된 복수장의 화상의 어느 하나를 기준화상으로 하고, 해당 기준화상에 상기 변위량 취득수단에 의해 취득된 변위량에 의거하여 메인피사체에 상당하는 기준영역을 설정하는 기준영역설정수단과,

상기 기준영역설정수단에 의해 설정된 기준영역의 피사체 부분이 겹치도록 상기 기준화상과 다른 화상을 위치 맞춤해서 합성하는 화상처리수단을 구비한 것을 특징으로 하는 촬상장치.
제 13 항에 있어서,

상기 변위량 취득수단은 상기 복수장의 화상에 있어서의 피사체 부분의 변위량으로서, 시간적으로 소정시간 이상 떨어진 다른 화상간에 있어서의 피사체 부분의 변위량을 취득하며,

상기 기준영역설정수단은 상기 다른 화상의 한쪽을 기준화상으로 하고, 상기 변위량 취득수단에 의해 취득된 변위량에 의거하여 해당 기준화상에 메인피사체에 상당하는 기준영역을 설정하는 것을 특징으로 하는 촬상장치.
제 14 항에 있어서,

상기 기준영역설정수단은 상기 변위량 취득수단에 의해 취득된 피사체 부분의 변위량이 기준 이하인 피사체 부분에 대응하는 영역을 상기 기준영역으로서 상기 기준화상에 설정하는 것을 특징으로 하는 촬상장치.
제 13 항에 있어서,

상기 변위량 취득수단은 상기 복수장의 화상의 각각에 있어서의 피사체 부분의 변위량의 블록마다의 적산값을 취득하는 것을 특징으로 하는 촬상장치.
제 13 항에 있어서,

장치 본체의 움직임에 동반하는 화각의 이동량을 나타내는 화각이동정보를 취득하는 정보취득수단을 구비하고,

상기 기준영역설정수단은 상기 변위량 취득수단에 의해 취득된 피사체 부분의 변위량이, 상기 정보취득수단에 의해 취득된 화각이동정보에 의해 나타나는 이동량과 일정한 범위를 넘어 다른 피사체 부분에 대응하는 영역을 기준영역으로 하여 상기 기준화상에 설정하는 것을 특징으로 하는 촬상장치.
제 13 항에 있어서,

상기 변위량 취득수단에 의해 취득된 피사체 부분의 변위량의 분포를 나타내는 분포정보를 취득하는 분포정보취득수단을 구비하고,

상기 기준영역설정수단은 상기 분포정보취득수단에 의해 취득된 분포정보에 의해 나타나는 변위량의 분포상태에 의거하여 상기 기준화상에 메인피사체에 상당하는 기준영역을 설정하는 것을 특징으로 하는 촬상장치.