KR101256326B1 - 촬상 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체 - Google Patents

Abstract

화상을 촬영하는 촬영계(11~13)와, 촬영시에 발광하는 플래시부 33과, 촬영으로 얻은 화상을 보전하는 DRAM 14와, 소정의 셔터 속도로 플래시부 33에서의 발광 없이 촬영계(11~13)로 제1 화상을 촬영시키며, 소정의 셔터 속도보다 높은 셔터 속도로 플래시부 33에서의 발광 없이 촬영계(11~13)로 제2 화상을 촬영시키며, 소정의 셔터 속도보다 높은 셔터 속도로 플래시부 33에서의 발광을 동반하여 촬영계(11~13)로 제3 화상을 촬영시키는 CPU 24와, DRAM 14가 보전하는 제1 및 제2 화상으로 위치 맞춤을 수행하여 제1 변위량을 산출하고, DRAM 14가 보전하는 제2 및 제3 화상으로 위치 맞춤을 수행하여 제2 변위량을 산출하고, 산출된 제1 및 제2 변위량을 이용하여 DRAM 14가 보전하는 제1 및 제3 화상으로 위치 맞춤을 수행하여 합성 화상을 취득하는 화상 처리부 15를 포함함으로써, 야경과 보조광을 사용한 근경의 인물을 촬영할 때 다중 노광 후에 근경 부분과 배경 부분 각각의 위치 맞춤을 높은 성공률로 실현할 수 있다.

Description

촬상 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체{IMAGE CAPTURING APPARATUS, IMAGE CAPTURING METHOD, AND STORAGE MEDIUM STORING PROGRAM FOR IMAGE CAPTURING}

본 발명은 “장면 프로그램(scene program)” 기능을 갖는 디지털 카메라 등을 위한 촬상(撮像) 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체에 관한 것이다.

일반적인 디지털 카메라에는, 촬영하고자 하는 피사체의 구도나 광원 환경, 촬영 패턴 등을 미리 특정하고 촬영에 적합한 설정을 자동적으로 수행하는 장면 프로그램 기능을 가진 기종이 다수 존재한다.

이러한 종류의 장면 프로그램 기능으로 소위 “야경과 인물” 모드로 불리는 설정 모드에서는, 피사계 심도를 깊게 설정하고 야경을 배경으로 하며 보조광에 의하여 적절한 광량으로 조명된 인물을 피사체로 한 촬영을 수행한다.

이러한 종류의 “야경과 인물” 모드로서, 보조광을 사용하여 근경의 피사체 화상을 촬영한 후, 보조광을 사용하지 않고서 복수의 화상을 연속 촬영하고, 이들 복수의 화상을 그 특징점의 차이에 기초하여 보정하여 합성 화상을 생성하고, 이 합성 화상을 추가적으로 상기 근경의 피사체 화상과 합성하는 다중 노광 기술(예를 들면 특허문헌 참조)이 있을 수 있다.

일본 공개 특허 JP2010-114566

상기 특허문헌에 기재된 기술에서는, 보조광을 사용한 주화상으로서 근경의 피사체용의 화상을 취득한 후에, 보조광을 사용하지 않은 채 복수의 화상을 연속 촬영하여 이들 복수의 화상을 특징점의 차이에 기초하여 보정한 합성 화상을 생성한다.

이 합성 화상은 결과적으로 긴 셔터 시간으로 촬영한, 전체가 “약간 어두운” 화상이 된다. 한편, 상기 연속 촬영 전에 취득한 화상은 보조광을 사용한 근경만이 “매우 밝은” 또한 배경이 “매우 어두운” 화상이 된다.

따라서, 상기 연속 촬영으로부터 얻어진 합성 화상과 그 전에 촬영한 화상으로는 배경도 근경의 인물도 각각 휘도가 서로 크게 다르기 때문에 위치 맞춤을 수행하기가 어려워진다는 문제가 있다.

본 발명의 제1 태양(態樣)에 의하면, 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영 수단과, 상기 촬영 수단에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광 수단과, 상기 촬영 수단이 출력하는 화상 신호를 보전하는 보전 수단과, 소정의 셔터 속도로 상기 플래시 발광 수단에 의한 발광 없이 상기 촬영 수단에 의한 촬영을 수행시키는 제1 촬영 제어 수단과, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광 수단에 의한 발광 없이 상기 촬영 수단에 의한 촬영을 수행시키는 제2 촬영 제어 수단과, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광 수단에 의한 발광을 동반하여 상기 촬영 수단에 의한 촬영을 수행시키는 제3 촬영 제어 수단과, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 수단과, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 수단과, 상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 수단과, 상기 화상 합성 수단으로 취득한 화상 신호를 매체에 저장시키는 저장 수단을 포함하는 촬상 장치가 제공된다.

본 발명의 제2 태양에 의하면, 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영부, 상기 촬영부에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광부, 및 상기 촬영부가 출력하는 화상 신호를 보전하는 보전부를 포함하는 장치에 의한 촬상 방법에 있어서, 소정의 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제1 촬영 제어 단계와, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제2 촬영 제어 단계와, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광을 동반하여 상기 촬영부에 의한 촬영을 수행시키는 제3 촬영 제어 단계와, 상기 제1 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제2 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 단계와, 상기 제2 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 사이에서 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 단계와, 상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 단계를 포함하는 촬상 방법이 제공된다.

본 발명의 제3 태양에 의하면, 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영부, 상기 촬영부에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광부, 및 상기 촬영부가 출력하는 화상 신호를 보전하는 보전부를 포함하는 장치가 내장된 컴퓨터가 실행하는 프로그램에 있어서, 상기 플래시 발광부에 의한 발광 없이 소정의 셔터 속도로 상기 촬영부에 의한 촬영을 수행시키는 제1 촬영 제어 수단, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제2 촬영 제어 수단, 상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광을 동반하여 상기 촬영부에 의한 촬영을 수행시키는 제3 촬영 제어 수단, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 수단, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 사이에서 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 수단, 및 상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 수단으로서 상기 컴퓨터를 기능시키는 프로그램을 기록한 기록 매체가 제공된다.

본 발명의 일 실시예에 의하면, 야경과 근경의 인물을 촬영하는 경우, 플래시부 33을 사용하지 않은 촬영과 플래시부 33을 사용하는 촬영의 사이에 플래시를 사용하지 않은 더미 촬영을 추가적으로 실행하고, 각 화상과 그 사이에 위치하는 친화성 높은 더미 화상과의 변위량을 사영 변환 행렬로 구하고, 그 사영 변환 행렬에 기초하여 플래시부 33을 사용하지 않은 촬영으로 얻은 배경과, 플래시부 33을 사용한 촬영으로 얻은 근경의 인물 화상을 합성함으로써, 근경 부분과 배경 부분 각각의 위치 맞춤을 높은 성공률로 실현할 수 있게 된다.

본 발명의 다른 실시예에 의하면, 적정 노출, 구체적으로 조리개 값을 예컨대 완전 개방으로 하고 가능한 한 셔터 속도를 고속화한 설정으로 비 플래시 촬영에 의하여 1장의 정지 화상을 취득하고 그 후에 더미용의 비 플래시 촬영으로 이행하는 것도 좋다. 이 경우에는 일련의 동작을 최소 3회의 화상 촬영으로 완료할 수 있기 때문에 화상 처리부 15에서의 연산량을 감소시켜 부담을 경감시키고 또한 소요 시간과 동작을 컴팩트하게 할 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의한 화상을 적정 노출보다 높은 셔터 속도로 연속하여 여러 차례 취득하는 경우에는, 비 플래시 촬영시에 손 떨림이나 객체 떨림 등이 발생할 가능성을 감소시키고, 화상 합성의 성공률을 높일 수 있음과 함께, HDR 합성 기술을 이용하여 배경 부분 화상의 다이나믹 레인지를 높일 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의한 화상을 적정 노출보다 높은 셔터 속도로 연속하여 여러 차례 취득하는 경우에, 그 중 하나의 화상을 기준으로 하여 다른 화상과의 위치 맞춤을 수행하며 또한 더미용의 비 플래시 촬영의 화상과의 위치 맞춤을 수행하기 때문에, 처리를 간략화하여 위치 맞춤의 가부를 용이하게 판단할 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의한 연속된 복수 화상의 위치 맞춤에 실패하였다고 판단된 경우에, 합성에 실패했다고 판단된 이들 일련의 비 플래시 화상을 사용하지 않고, 플래시부 33을 이용하여 촬영된 화상만을 저장하는 것으로 하기 때문에, 화상의 어두운 영역이 커서 위치 맞춤이 곤란했던 경우 또는 손 떨림이나 객체 떨림에 의하여 화상 합성을 수행하면 보기에 좋지 않은 화상이 되어 버릴 가능성이 높은 화상에 대하여는 화상 합성을 수행하지 않으며, 플래시부 33을 사용하여 근경에 인물이 찍혀 있다고 생각되는 정지 화상만을 확실히 기록할 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의한 연속된 복수의 화상의 위치 맞춤이 성공되었다고 판단된 경우, 예를 들면 RANSAC에 의한 사영 변환 행렬을 이용한 위치 맞춤으로 최종적인 합성 화상을 얻음으로써, 안정적으로 높은 성공률의 위치 맞춤을 수행할 수 있다.

본 발명의 또 다른 실시예에 의하면, 합성을 수행하려고 하는 복수의 화상들 사이에서의 변위량이 없거나 또는 있다고 해도 소정의 문턱값보다 낮은 경우에는, 화상에 대한 변형을 수행하지 않고 합성하는 것으로 해도 좋으며, 이 경우 화상 처리부 15의 부담을 경감시키고 처리를 단순화할 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의하여 얻은 화상과 더미용의 비 플래시 촬영에 의한 화상에 대해 그 중 어느 일방의 화상에 이득 보정을 시행하여 휘도값 레벨을 상호 일치시킨 다음 타방의 화상과 위치 맞춤을 수행함으로써, 위치 맞춤 수행시의 연산 정밀도를 높여 더욱 정밀한 위치 맞춤을 실현할 수 있다.

본 발명의 또 다른 실시예에 의하면, 비 플래시 촬영에 의하여 얻은 화상과 플래시 촬영에 의하여 얻은 화상의 위치 맞춤을 수행할 때, 복수의 특징점이 되는 포인트에 기초하여 화상을 변형시킨 다음 합성한다. 이에 의하여, 서로 다른 타이밍에서 취득된 화상을 합성함에 있어서 위치의 변화 등을 감안하여 더욱 정확하고 자연스러운 화상을 합성해 낼 수 있게 된다.

도 1은 본 발명의 일 실시 형태에 관한 디지털 카메라의 기능 회로의 구성을 개략적으로 도시한 블록도이다.
도 2는 동 실시 형태에 관한 장면 프로그램 “야경과 인물” 모드 설정의 처리 내용을 도시한 흐름도이다.
도 3은 동 실시 형태에 관한 도 2의 “야경과 인물” 모드의 서브루틴의 처리 내용을 도시한 흐름도이다.
도 4는 동 실시 형태에 관한 도 3의 플래시 화상의 위치 맞춤 서브루틴의 처리 내용을 도시한 흐름도이다.
도 5는 동 실시 형태에 관한 연속 촬영 시퀀스를 도시한 도면이다.

이하, 본 발명을 디지털 카메라에 적용한 경우의 일 실시 형태에 관하여 도면을 참조하여 설명한다.

도 1은 본 실시 형태에 관한 디지털 카메라 10의 회로 구성을 도시한 것이다. 도 1에서는, 카메라 본체의 전면에 설치되는 광학 렌즈 유닛 11을 거쳐, 예를 들면 CMOS 이미지 센서 12의 촬상면 상에 피사체의 광학 이미지가 입사되어 결상된다.

“쓰루 이미지 디스플레이(through image display)” 또는 “라이브 뷰(live view) 화상 표시”로도 불리는 모니터 상태에서는, 이 CMOS 이미지 센서 12에서 얻은 화상 신호를 AGC·A/D 변환부 13으로 보내고, 상관 제곱 샘플링(correlated square sampling) 및 자동 게인 조정(automatic gain adjustment), A/D(아날로그-디지털) 변환 처리를 수행하여 디지털화한다. 이 디지털 값의 화상 데이터는 시스템 버스 SB를 거쳐 버퍼 메모리인 DRAM 14에 보전된다.

이 DRAM 14에 보전된 화상 데이터에 대하여, 화상 처리부 15가 적절히 필요한 화상 처리를 수행한다. 화상 처리부 15는, 디모자이크(de-mosaic)부 15a, 특징량 연산부 15b, 블록 매칭부 15c, 및 화상 변형 합성 가산부(image deforming/composing unit) 15d를 포함한다. 또한, 화상 처리부 15에는 주로 상기 블록 매칭부 15c에 의한 블록 단위의 화상 매칭 처리에 사용되기 위한 SRAM 16이 접속된다.

화상 처리부 15에서는, CMOS 이미지 센서 12에 포함된 베이어 배열(Bayer arrangement) 컬러 필터의 구성에 대응되는 화상 데이터(이하 “RAW 데이터”라 함)에 대하여, 매트릭스 연산, 화소 보간 처리, 감마 보정 처리 등을 디모자이크 처리함으로써 디지털 현상 처리를 수행하여 휘도색차계(YUV)의 화상 데이터로 변환한다.

화상 처리부 15는, 그 화상 데이터로부터 표시용으로 화소수 및 계조 비트를 대폭 감소시킨 화상 데이터를 작성하고, 시스템 버스 SB를 거쳐 표시 제어기 17로 보낸다. 표시 제어기 17은, 보내진 화상 데이터에 기초하여 표시부 18을 구동하고, 쓰루 이미지가 표시되게 한다.

표시부 18은, 예를 들면 백라이트가 부착된 컬러 액정 패널로 구성된다. 이 표시부 18의 상부에 투명 도전막을 사용한 터치 패널 19가 포함된다. 이 터치 패널 19에 사용자가 손가락 등으로 터치 조작을 하면, 터치 패널 제어기 20이 조작 좌표의 위치를 산출하고, 산출된 좌표 신호를 상기 시스템 버스 SB를 거쳐 후술하는 CPU 24로 송출한다.

또한, 상기 광학 렌즈 유닛 11과 동일하게 카메라 본체 전면에는 마이크로폰 21이 설치되어 피사체 방향의 음성이 입력된다. 마이크로폰 21은 입력된 음성을 전기 신호로 변환하여 음성 처리부 22로 출력한다.

음성 처리부 22는 음성만의 녹음시, 녹음과 정지 화상 촬영시 및 동화상 촬영시에 마이크로폰 21로부터 입력되는 음성 신호를 디지털화한다. 또한, 음성 처리부 22는 디지털화된 음성 데이터의 음압(音壓) 레벨을 검출하는 한편, 당해 음성 데이터를 소정의 데이터 파일 형식-예를 들어 AAC(Moving Picture Experts Group-4 Advanced Audio Coding) 형식-으로 데이터를 압축하여 음성 데이터 파일을 작성하고, 후술하는 기록 매체로 송출한다.

또한, 음성 처리부 22는, PCM 음원 등의 음원 회로를 포함하여 음성의 재생시에 보내지는 음성 데이터 파일의 압축을 해제하여 아날로그화하고, 이 디지털 카메라 10의 본체 뒷면 측에 설치된 스피커 23을 구동하여 소리를 출력한다.

이상의 회로를 CPU 24가 총괄하여 제어한다. 이 CPU 24는, 메인 메모리 25, 프로그램 메모리 26과 직접 접속된다. 메인 메모리 25는, 예를 들면 SRAM으로 구성되며, 작업 메모리로서 기능한다. 프로그램 메모리 26은, 예를 들면 플래시 메모리 등의 전기적으로 기록 가능한 불휘발성 메모리로 구성되며, 후술하는 장면 프로그램의 “야경과 인물” 모드에서의 제어를 포함하는 동작 프로그램이나 데이터 등을 안정적으로 기억한다.

CPU 24는 프로그램 메모리 26으로부터 필요한 프로그램이나 데이터 등을 독출하고, 메인 메모리 25에 적절히 일시적으로 확장시켜 기억시키면서 이 디지털 카메라 10의 본체의 제어 동작을 실행한다.

또한, 상기 CPU 24는, 키 조작부 27로부터 직접 입력되는 각종 키 조작 신호 및 상기 터치 패널 제어기 20으로부터 입력되는 터치 패널 19에서의 터치 조작에 따른 좌표 신호에 대응하여 제어 동작을 실행한다.

키 조작부 27은, 예를 들면 전원 키, 셔터 릴리즈 키, 줌업/다운 키, 촬영 모드 키, 재생 모드 키, 메뉴 키, 커서 이동 키(“↑,” “→,” “↓” 및 “←”), 세트 키, 해제 키, 디스플레이 키 등을 포함한다.

CPU 24는, 시스템 버스 SB를 거쳐 상기 AGC·A/D 변환부 13, DRAM 14, 화상 처리부 15, 표시 제어기 17, 터치 패널 제어기 20 및 음성 처리부 22 이외에도, 렌즈 구동부 28, 플래시 구동부 29, 이미지 센서(IS) 구동부 30 및 메모리 카드 제어기 31과도 접속된다.

렌즈 구동부 28은, CPU 24로부터의 제어 신호를 받아 렌즈용 DC 모터(M) 32의 회전을 제어하고, 상기 광학 렌즈 유닛 11을 구성하는 복수의 렌즈군 중의 일부, 구체적으로는 줌 렌즈 및 포커스 렌즈의 위치를 각각 개별적으로 광축 방향을 따라 이동시킨다.

플래시 구동부 29는, 정지 화상 촬영시에 CPU 24로부터의 제어 신호를 받아 복수의 백색 고휘도 LED로 구성된 플래시부 33을 촬영 타이밍에 동기시켜 점등 구동한다.

이미지 센서 구동부 30은 그 시점에서 설정되어 있는 촬영 조건 등에 따라 상기 CMOS 이미지 센서 12의 주사 구동을 수행한다.

상기 화상 처리부 15는, 상기 키 조작부 27의 셔터 릴리즈 키 조작에 의한 화상 촬영시에 AGC·A/D 변환부 13으로부터 보내져 DRAM 14에 보전된 화상 데이터를 디모자이크 처리하고, 또한 소정의 데이터 파일 형식, 예를 들어 JPEG(Joint Photographic Experts Group)이라면 DCT(이산 코사인 변환)이나 허프만 부호화(Huffman Coding) 등의 데이터 압축 처리를 시행하여 데이터량을 큰 폭으로 삭감한 화상 데이터 파일을 작성한다. 작성한 화상 데이터 파일은 시스템 버스 SB, 메모리 카드 제어기 31을 거쳐 메모리 카드 34에 기록한다.

또한, 화상 처리부 15는, 재생 모드 시에, 메모리 카드 34로부터 메모리 카드 제어기 31을 거쳐 독출된 화상 데이터를 시스템 버스 SB를 거쳐 수취하여 DRAM 14에 보전시키고, 이 DRAM 14에 보전시킨 화상 데이터를 기록시와는 반대의 순서로 압축을 해제하는 압축 해제 처리에 의하여 원래의 사이즈의 화상 데이터를 얻고, 이를 시스템 버스 SB를 거쳐 표시 제어기 17에 출력하여 표시부 18에서 표시되게 한다.

메모리 카드 제어기 31은, 카드 커넥터 35를 거쳐 메모리 카드 34와 접속된다. 메모리 카드 34는 이 디지털 카메라 10에 탈착 가능하게 장착되며, 이 디지털 카메라 10의 기억 매체가 되는 화상 데이터 등의 기록용 메모리로서, 내부에는 불휘발성 메모리인 플래시 메모리와 그 구동 회로가 포함되어 있다.

이하에 상기 실시 형태의 동작에 관하여 설명한다.

우선, 이하에 기술된 동작은, 촬영 모드하에서 장면 프로그램 중의 하나인 “야경과 인물” 모드를 설정한 후에, 당해 모드에서의 촬영을 실행할 때 CPU 24가 프로그램 메모리 26에 기억되어 있는 동작 프로그램이나 데이터를 독출하여 메인 메모리 25에 확장하여 기억시켜 실행하는 것이다.

프로그램 메모리 26에 기억되어 있는 동작 프로그램 등은, 이 디지털 카메라 10의 제조 공장 출하시에 프로그램 메모리 26에 기억되어 있던 것에 추가하여, 예를 들어 이 디지털 카메라 10을 버전 업(version up)할 때 디지털 카메라 10을 퍼스널 컴퓨터와 접속함으로써 외부로부터 새로운 동작 프로그램, 데이터 등을 다운로드하여 기억시킨 것을 포함한다.

도 2는 전원 투입 후에 촬영 모드에서 장면 프로그램의 복수의 모드 중에서 “야경과 인물” 모드를 선택하여 설정할 때의 처리 내용을 도시한다. 전원 투입 후에 CPU 24는 초기화로서 이전에 전원이 차단된 때에 기억되어 있던 각종 설정 상태의 정보를 프로그램 메모리 26으로부터 독출하여 설정을 수행한다(단계 M101).

그 후, 키 조작부 27의 메뉴 키가 조작되었는가 아닌가를 판단한다(단계 M102). 여기서 메뉴 키가 조작되지 않았다고 판단된 경우에는, 메뉴 항목이 이미 표시되고 있는가 아닌가를 판단한다(단계 M111). 여기서 메뉴 항목이 표시되고 있지 않다고 판단된 경우에는, 기타 처리를 실행한 후(단계 M103), 다시 상기 단계 M102로 돌아간다.

이렇게 기타 처리를 실행하면서 메뉴 키가 조작될 때까지 대기한다.

또한, 키 조작부 27의 메뉴 키가 조작된 경우, 상기 단계 M102에서 이를 판단하고, 다음에 각종 메뉴 항목을 표시부 18에 일람 표시한 다음(단계 M104), 그 메뉴 항목들 중에서 장면 프로그램이 선택되었는가 아닌가를 판단한다(단계 M105).

여기서 장면 프로그램 이외의 메뉴 항목이 선택되었다고 판단된 경우에는, 그 조작에 대응하여 기타 처리를 실행한다(단계 M103).

또한, 메뉴 항목으로서 장면 프로그램이 선택된 경우 상기 단계 M105에서 이를 판단하고, 다음에 장면 프로그램을 구성하는 복수의 장면 프로그램 모드를 표시부 18에서 일람 표시시키며(단계 M106), 그 모드들 중에서 “야경과 인물” 모드가 선택되었는가 아닌가를 판단한다(단계 M107).

여기서 “야경과 인물” 모드 이외의 장면 프로그램 모드가 선택된 경우에는 그 모드에 따른 처리 동작을 수행하지만(단계 M109), 본 실시 형태에서는 그 상세에 관한 설명은 생략한다.

또한, 상기 단계 M107에서 “야경과 인물” 모드가 선택되었다고 판단된 경우에는 그 조작에 따라 “야경과 인물” 모드에서의 처리 동작을 수행한다(단계 M108). 그 후, 장면 프로그램 모드가 해제되었는가 아닌가를 판단한다(단계 M110).

여기서 장면 프로그램 모드가 해제되었다고 판단된 경우에는 상기 단계 M102로 돌아간다. 또한, 장면 프로그램 모드가 해제되지 않았다고 판단된 경우에는 상기 단계 M107로 돌아간다.

도 3은 상기 단계 M108의 “야경과 인물” 모드 처리에 관한 더욱 상세한 내용을 도시한 서브루틴이다.

먼저, 이하의 동작에 있어서, 키 조작부 27의 일부를 구성하는 셔터 릴리즈 키는 2단계의 조작 스트로크를 가지며, 전체 스트로크의 절반 정도에 해당하는 제1 조작 스트로크, 즉 소위 “반누름” 조작에 의하여 그 시점에서의 AE 값(자동 노출 값) 및 AF 위치(자동 초점 위치: 광학 렌즈 유닛 11 내의 포커스 렌즈의 위치)를 고정하고, 나아가 전체 스트로크에 해당하는 제2 조작 스트로크, 즉 소위 “완전 누름” 조작에 의하여 정지 화상의 촬영을 실행하게 된다.

그 동작 당초에 CPU 24는 AE 처리 및 AF 처리를 실행하여 적절한 노출 값과 초점 위치를 취득한다. 취득한 노출값으로부터 소정의 쓰루 이미지의 프레임 레이트(frame rate)(예를 들면, 30프레임/초)에 해당하는 셔터 속도와 조리개 값을 설정하고, 또한 광학 렌즈 유닛 11의 포커스 렌즈 위치를 제어한다(단계 S101).

이 상태에서 CPU 24는, CMOS 이미지 센서 12로부터 순차적으로 취득한 화상 신호를 AGC·A/D 변환부 13에서 디지털화하여 DRAM 14에 보전시키고, 이에 화상 처리부 15의 디모자이크부 15a에 의하여 디모자이크 처리를 시행하여 원색계(RGB계)의 화상 데이터로 변환시킨다.

CPU 24는 변환된 화상 데이터로부터 화소수 및 계조 비트를 대폭 감소시킨 화상 데이터를 작성하고, 시스템 버스 SB를 거쳐 표시 제어기 17로 보내 표시부 18에서 쓰루 이미지를 표시하게 한다(단계 S102).

이 쓰루 이미지를 표시한 상태에서 CPU 24는 키 조작부 27의 일부를 구성하는 셔터 릴리즈 키가 반누름 조작되었는가 아닌가를 판단한다(단계 S103). 여기서 셔터 릴리즈 키가 반누름 조작되지 않았다고 판단된 경우에는 상기 도 2의 처리로 돌아간다.

“야경과 인물” 모드가 선택되어 있는 동안에는, 상기 단계 S101 ~ S103 의 처리를 반복하여 실행하고, 쓰루 이미지를 표시부 18에 표시하면서 셔터 릴리즈 키가 반누름 조작될 때까지 대기한다.

쓰루 이미지의 표시 상태에서 셔터 릴리즈 키가 반누름 조작된 경우, 상기 단계 S103에서 이를 판단하면 CPU 24는 그 시점에서의 AE 값과 AF 위치를 고정한다(단계 S104).

여기서 CPU 24는 CMOS 이미지 센서 12로부터 순차적으로 취득한 화상 신호에 기초하여 표시부 18에 쓰루 이미지를 표시시킨다(단계 S105).

이 쓰루 이미지를 표시한 상태에서, CPU 24는 키 조작부 27의 일부를 구성하는 셔터 릴리즈 키가 더 나아가 완전 누름 조작되었는가 아닌가를 판단한다(단계 S106). 여기서 셔터 릴리즈 키가 완전 누름 조작되지 않았다고 판단된 경우에는, 계속하여 상기 셔터 릴리즈 키가 여전히 반누름 조작된 그대로인가 아닌가를 판단한다(단계 S107).

셔터 릴리즈 키가 반누름 조작된 그대로인 것으로 확인된 경우, 다시 상기 단계 S105로 돌아간다.

이렇게 단계 S105 ~ S107의 처리를 반복하여 실행함으로써, AE 값 및 AF 위치를 고정한 상태에서 쓰루 이미지를 표시하면서 셔터 키의 완전 누름 조작의 대기 및 반누름 조작의 확인을 지속한다.

셔터 릴리즈 키의 반누름 조작이 해제된 경우, CPU 24는 상기 단계 S107에서 이를 판단하고, 그때까지 고정되어 있던 AE 값과 AF 위치를 해제한 후(단계 S108), 상기 도 2의 처리로 돌아간다.

또한, 상기 단계 S106에서 셔터 키가 완전 누름 조작되었다고 판단된 경우, CPU 24는 그 시점에서 고정되어 있는 AE 값에 기초하여 비(非) 플래시 촬영에서의 적정 노출로부터 예컨대 2단(2EV) 높은 셔터 속도(예를 들면 적정 셔터 속도가 “1/15초”라면 “1/60초”)를 설정하여 복수 매(예를 들면 6매)의 정지 화상을 연속하여 촬영한다(단계 S109).

이때의 촬영에 의하여 얻어진 정지 화상은 모두 당연히 적정 노출 값으로부터 “-2EV”의 노출이 부족한 화상이 되지만, 조리개 값이 아니라 셔터 속도를 더욱 고속화하여 대응시킨 것이므로 개개의 정지 화상에 관하여는 “손 떨림”이나 “객체(object) 떨림”이 발생하기 어려운 촬영이 된다.

또한, 소위 “롤링 셔터(rolling shutter)” 촬영이라 불리는 기술에 따라 CMOS 이미지 센서 12의 수직 전송로의 독출 타이밍을 제어하고 연속되는 화상의 전하 독출을 복수 위치에서 일부 동시에 수행함으로써, 시간상으로 인접한 연속된 정지 화상의 전하 독출 타이밍을 일부 중복시킴으로써 복수 화상의 연사 촬영을 더욱 짧은 시간 내에 완료한다.

이어서 최종적인 합성·저장에는 사용하지 않는, 비 플래시 촬영에서의 더미(dummy) 정지 화상을 1장 촬영한다(단계 S110). 계속하여, 근경에 존재하는 인물이 촬영되도록 상기 더미 화상으로부터 연속하여 플래시부 33을 발광시킨 상태에서의 정지 화상을 1장 촬영한다(단계 S111).

도 5는 플래시를 사용하지 않은(이하, “비 플래시” 또는 “비 플래시에 의한” 등으로 표현하기도 함) 상기 6장의 정지 화상의 촬영과, 이어서 역시 플래시를 사용하지 않은 더미용의 정지 화상의 촬영 및 플래시를 사용한 정지 화상의 촬영 동작의 시퀀스를 도시한다. 도 5에서 종축은 촬상 소자인 CMOS 이미지 12의 수직 방향의 촬영 위치이고, 횡축은 시간이다.

도시된 바와 같이, 6장의 비 플래시에 의한 정지 화상의 촬영은 상술한 바와 같이 적정 노출에 대하여 “-2EV”의 노출 부족 상태로 해 두고 비 플래시에 의한 촬영이기 때문에 셔터 속도는 불가피하게 느려지게(길어지게) 된다.

그 후의 비 플래시에 의한 더미 촬영에서는, 플래시 촬영과 동일한 충분히 빠른 셔터 속도 t1(예를 들면, 1/125초)로 한다.

추가적으로 계속하여 플래시부 33에 의한 발광을 동반하여 충분히 빠른 셔터 속도 t1(예를 들면, 1/125초)로 촬영을 수행한다.

이상과 같이, 합계 8장의 연속한 정지 화상의 RAW 데이터를 DRAM 14에 보전한 상태에서, 이 화상들의 화이트 밸런스(White Balance: WB) 값을 특징량 연산부 15b에 의하여 계측한다(단계 S112).

이어서, DRAM 14에 보전된 8장의 연속된 정지 화상의 RAW 데이터를 디모자이크부 15a에 의하여 디모자이크 처리하여 휘도색차계의 YUV 데이터로 변환한다(단계 S113).

다음으로, 비 플래시 촬영으로 얻은 6장의 정지 화상 간의 위치 맞춤을 수행하도록, 블록 매칭부 15c와, 예를 들면 란삭(RANSAC: Random Sample Consensus)에 의한 사영 변환 행렬(射影變換行列: projection transformation matrix)을 병용한 연산을 실행한다(단계 S114).

구체적으로, 연속하여 촬영한 정지 화상(이 실시예에서는 6장) 중에서 시간상으로 중앙에 위치한 것(이 실시예에서는 3번째 및 4번째의 정지 화상)을 후보로 하고, 또한 이후의 플래시 촬영에 의한 정지 화상과 시간상으로 가까운 것(이 실시예에서는 4번째의 정지 화상)을 기준으로 선택한다. 그리고 나서, 이 4번째 정지 화상을 기준으로 하여 1, 2, 3, 5, 6번째의 각 정지 화상과 기준이 되는 4번째 정지 화상과의 사이에서 사영 변환 행렬을 연산한다.

이 사영 변환 행렬의 연산에 의하여, 1, 2, 3, 5, 6번째의 각 정지 화상과, 기준이 되는 4번째 정지 화상과의 사이의 어긋난 정도(즉, “변위량”)의 크기와 그 방향을 나타내는 행렬을 특징량으로서 산출한다.

상기 연산의 결과에 의하여, 1, 2, 3, 5, 6번째의 각 정지 화상과, 기준이 되는 4번째 정지 화상과의 사이에서 산출된 변위량의 크기가 미리 설정된 문턱값 이하인지의 여부에 따라 비 플래시 화상군의 위치 맞춤이 성공했는지 아닌지를 판단한다(단계 S115).

여기서, 1, 2, 3, 5, 6 번째의 각 정지 화상과 기준이 되는 4번째의 정지 화상과의 사이에서 산출된 변위량의 크기가 미리 설정된 문턱값 이하로서 비 플래시 화상군의 위치 맞춤이 성공한 것으로 판단된 경우에는, 상기 6장의 비 플래시 촬영 화상 중의 기준이 되는 4번째 정지 화상과 1장의 플래시 촬영에 의한 화상과의 위치 맞춤을 수행한다(단계 S116).

도 4는 상기 단계 S116의 위치 맞춤 처리에 관한 더욱 상세한 내용을 도시한 서브루틴이다. 처음에, 상기 8번째로 촬영된 플래시부 33을 이용한 정지 화상과 7번째로 촬영된 비 플래시에 의한 정지 화상에 대해, 블록 매칭부 15c에 의한 블록 매칭 처리 및 RANSAC에 의한 사영 변환 행렬을 병용한 연산으로 위치 맞춤을 수행하고, 두 정지 화상의 변위량을 나타내는 사영 변환 행렬 A를 구한다(단계 S301).

여기서 상기 8번째에 촬영된 플래시부 33을 이용한 정지 화상에서는 셔터 속도가 높으며(빠르며) 또한 플래시를 사용하고 있기 때문에 근경(近景)에 존재하는 피사체(즉, 인물)가 밝게 촬영될 것이므로, 화상 중의 일부 피사체가 밝으며 또한 배경이 매우 어두운 화상이 된다.

한편, 비 플래시에 의한 더미 화상은 셔터 속도가 높고 또한 플래시를 사용하지 않았기 때문에 근경 및 배경이 전면에 걸쳐 매우 어두운 화상이 된다.

따라서, 이러한 2개의 정지 화상에서는 셔터 속도가 동일하고 배경의 휘도 등이 대체로 같기 때문에 사영 변환 행렬 A를 비교적 용이하고 확실하게 산출할 수 있다.

다음으로, 7번째로 촬영한 비 플래시 정지 화상과, 상기 6장의 연속으로 촬영된 비 플래시 정지 화상 중의 기준이 되는 4번째 정지 화상으로 노출을 맞추기 위한 이득(gain) 보정을 수행한다(단계 S302).

여기서 상기 7번째의 비 플래시에 의한 더미 화상은, 셔터 속도가 높고 또한 플래시를 사용하지 않았기 때문에 근경과 배경이 전면에 걸쳐 매우 어두운 화상이 된다.

한편으로, 상기 4번째로 촬영된 비 플래시 정지 화상은, 셔터 속도가 낮고(느리고) 또한 플래시를 사용하지 않았기 때문에 근경과 배경이 전체적으로 약간 어두운 화상이 된다.

이러한 2개의 정지 화상에서는 공통적으로 비 플래시 촬영으로서, 셔터 속도의 차이에 의하여 휘도값이 서로 다를 뿐이지 휘도의 변화 패턴은 동일하기 때문에, 한쪽을 기준으로 하여 셔터 속도의 비(比)에 따른 이득을 산출하고 산출된 이득을 다른 쪽의 휘도값에 곱함으로써 원리적으로는 동일한 휘도의 정지 화상이 되게 할 수 있다.

이렇게 일방의 이득을 보정하고, 7번째로 촬영된 비 플래시 정지 화상과 상기 6장의 연속으로 촬영한 비 플래시 정지 화상 중의 기준이 되는 4번째 정지 화상에 대해, 블록 매칭부 15c에 의한 블록 매칭 처리 및 RANSAC에 의한 사영 변환 행렬을 병용한 연산에 의해 위치 맞춤을 수행하고, 두 정지 화상의 변위량을 나타내는 사영 변환 행렬 B를 구한다(단계 S303).

그 다음, 상기 단계 S301 및 S303에서 사영 변환 행렬 A 및 B를 모두 구할 수 있었는지 아닌지를 판단한다(단계 S304).

여기서 두 개의 사영 변환 행렬 A 및 B를 모두 구할 수 있었다고 판단된 경우에만, 상기 8번째로 촬영한 플래시부 33을 이용한 정지 화상을 상기 6장의 연속으로 촬영된 비 플래시 정지 화상 중의 기준이 되는 4번째 정지 화상에 대하여 상기 사영 변환 행렬 A 및 B를 이용하여 복수의 특징이 되는 포인트를 기준으로 위치 맞춤을 수행한다(단계 S305). 또한, 본 실시 형태에서는 플래시 촬영에 의한 화상을 변형시켜 위치 맞춤을 수행했지만, 비 플래시에 의한 4번째 정지 화상을 변형시켜 위치 맞춤을 수행하도록 하여도 좋다. 단 그 경우에는 상기 단계 S114에서 구한 특징량(변위량)을 수정할 필요가 있다.

그 후, 플래시 촬영에 의한 정지 화상과 비 플래시 촬영에 의한 4번째 정지 화상을 합성하고(단계 S306), 이상으로 도 4의 서브루틴을 종료하여 상기 도 3의 처리로 돌아간다.

이 경우, 화상 변형 합성 가산부 15d에서 사영 변환 행렬의 곱 {A*B}에 기초하여 일방의 정지 화상의 배경 부분을 좌표 변환한 후에 위치 맞춤을 수행함으로써, 비 플래시로 촬영한 더미 정지 화상 전후의 시간차에 의한 변위량을 보정하여 근경의 인물과 배경을 올바르게 합성할 수 있게 된다.

또한, 상기 단계 S304에서 두 개의 사영 변환 행렬 A 및 B의 적어도 어느 일방을 구할 수 없다고 판단된 경우에는, 상기 단계 S305의 처리를 수행하지 않고 화상을 합성하며, 이로써 도 4의 서브루틴을 종료하고 상기 도 3의 처리로 돌아간다.

도 3에 있어서는, 상기 단계 S116에서의 플래시 촬영에 의한 화상의 위치 맞춤의 처리후에 그 합성 화상에 대하여 추가적으로 상기 6장의 연속으로 촬영된 비 플래시 정지 화상 중 기준이 되는 4번째의 정지 화상을 제외한 나머지 1, 2, 3, 5, 6번째의 5장의 정지 화상에 관하여도 상기 단계 S114에서 산출한 특징량(변위량)에 기초하여 위치 맞춤을 수행하고 화상을 합성한다(단계 S117).

이 경우, 특히 비 플래시에 의한 5장의 정지 화상에 의한 합성에 있어서, HDR(High Dynamic Range) 합성 기술을 이용하여 특히 배경 부분의 다이나믹 레인지를 확대하여 소위 “흑색 영역(Blocked-up Shadow)” 을 감소시킨다.

그 다음, 합성 후의 정지 화상을 최종 화상으로 하여, 예를 들면 JPEG 포맷을 따른 데이터 압축을 시행하여 데이터 파일화한 다음, 얻어진 화상 데이터 파일을 본 디지털 카메라 10의 기록 매체인 메모리 카드 34에 저장하고(단계 S118), 이상으로 일련의 처리를 종료하고, 상기 도 2의 처리로 돌아간다.

또한, 상기 단계 S115에서 비 플래시 촬영에 의한 1, 2, 3, 5, 6번째의 각 정지 화상과 기준이 되는 4번째 정지 화상과의 사이에서 산출된 변위량의 크기가 미리 설정된 문턱값보다 커서 비 플래시 화상군의 위치 맞춤이 실패했다고 판단된 경우에는, 화상의 어두운 영역이 커서 위치 맞춤이 곤란하거나, 또는 손 떨림이나 객체 떨림에 의하여 화상 합성을 수행하면 보기에 좋지 않은 화상으로 되어 버릴 가능성이 높은 경우로서, 8번째의 플래시부 33을 이용한 정지 화상의 화상 데이터만을 최종 화상으로서 설정한다(단계 S119).

이어서, 상기 단계 S118로 진행하여, 예를 들면 JPEG 포맷에 따라 데이터 압축을 시행하여 데이터 파일화한 후, 얻어진 화상 데이터 파일을 본 디지털 카메라 10의 기록 매체인 메모리 카드 34에 저장하고, 이상으로 일련의 처리를 종료하여 상기 도 2의 처리로 돌아간다.

이상 상세히 설명한 바와 같이, 본 실시 형태에 의하면, 야경과 근경의 인물을 촬영하는 경우, 플래시부 33을 사용하지 않은 촬영과 플래시부 33을 사용하는 촬영의 사이에 플래시를 사용하지 않은 더미 촬영을 추가적으로 실행하고, 각 화상과 그 사이에 위치하는 친화성 높은 더미 화상과의 변위량을 사영 변환 행렬로 구하고, 그 사영 변환 행렬에 기초하여 플래시부 33을 사용하지 않은 촬영으로 얻은 배경과, 플래시부 33을 사용한 촬영으로 얻은 근경의 인물 화상을 합성함으로써, 근경 부분과 배경 부분 각각의 위치 맞춤을 높은 성공률로 실현할 수 있게 된다.

또한, 상기 실시 형태에서는 상기 도 5에도 도시된 바와 같이 비 플래시 촬영에 의한 화상을 연속하여 여러 장(예를 들면 6장) 취득하는 것으로서 설명하였지만, 본 발명은 여기에 한정되지 않으며, 적정 노출, 구체적으로 조리개 값을 예컨대 완전 개방으로 하고 가능한 한 셔터 속도를 고속화한 설정으로 비 플래시 촬영에 의하여 1장의 정지 화상을 취득하고 그 후에 더미용의 비 플래시 촬영으로 이행하는 것도 좋다.

이 경우에는 일련의 동작을 최소 3회의 화상 촬영으로 완료할 수 있기 때문에 화상 처리부 15에서의 연산량을 감소시켜 부담을 경감시키고 또한 소요 시간과 동작을 컴팩트하게 할 수 있다.

이와는 반대로, 본 실시 형태에서 설명한 바와 같이, 비 플래시 촬영에 의한 화상을 적정 노출보다 높은 셔터 속도로 연속하여 여러 차례 취득하는 경우에는, 비 플래시 촬영시에 손 떨림이나 객체 떨림 등이 발생할 가능성을 감소시키고, 화상 합성의 성공률을 높일 수 있음과 함께, HDR 합성 기술을 이용하여 배경 부분 화상의 다이나믹 레인지를 높일 수 있다.

또한, 상기한 실시 형태와 같이 비 플래시 촬영에 의한 화상을 적정 노출보다 높은 셔터 속도로 연속하여 여러 차례 취득하는 경우에, 그 중 하나의 화상을 기준으로 하여 다른 화상과의 위치 맞춤을 수행하며 또한 더미용의 비 플래시 촬영의 화상과의 위치 맞춤을 수행하기 때문에, 처리를 간략화하여 위치 맞춤의 가부를 용이하게 판단할 수 있다.

또한, 상기 실시 형태에서는, 비 플래시 촬영에 의한 연속된 복수 화상의 위치 맞춤에 실패하였다고 판단된 경우에, 합성에 실패했다고 판단된 이들 일련의 비 플래시 화상을 사용하지 않고, 플래시부 33을 이용하여 촬영된 화상만을 저장하는 것으로 하기 때문에, 화상의 어두운 영역이 커서 위치 맞춤이 곤란했던 경우 또는 손 떨림이나 객체 떨림에 의하여 화상 합성을 수행하면 보기에 좋지 않은 화상이 되어 버릴 가능성이 높은 화상에 대하여는 화상 합성을 수행하지 않으며, 플래시부 33을 사용하여 근경에 인물이 찍혀 있다고 생각되는 정지 화상만을 확실히 기록할 수 있다.

또한, 상기 실시 형태에서는, 비 플래시 촬영에 의한 연속된 복수의 화상의 위치 맞춤이 성공되었다고 판단된 경우, 예를 들면 RANSAC에 의한 사영 변환 행렬을 이용한 위치 맞춤으로 최종적인 합성 화상을 얻음으로써, 안정적으로 높은 성공률의 위치 맞춤을 수행할 수 있다.

또한, 상기 실시 형태에서는 개시되지 않았지만, 합성을 수행하려고 하는 복수의 화상들 사이에서의 변위량이 없거나 또는 있다고 해도 소정의 문턱값보다 낮은 경우에는, 화상에 대한 변형을 수행하지 않고 합성하는 것으로 해도 좋으며, 이 경우 화상 처리부 15의 부담을 경감시키고 처리를 단순화할 수 있다.

또한, 상기 실시 형태에 있어서, 비 플래시 촬영에 의하여 얻은 화상과 더미용의 비 플래시 촬영에 의한 화상에 대해 그 중 어느 일방의 화상에 이득 보정을 시행하여 휘도값 레벨을 상호 일치시킨 다음 타방의 화상과 위치 맞춤을 수행함으로써, 위치 맞춤 수행시의 연산 정밀도를 높여 더욱 정밀한 위치 맞춤을 실현할 수 있다.

또한, 본 실시 형태에서는, 비 플래시 촬영에 의하여 얻은 화상과 플래시 촬영에 의하여 얻은 화상의 위치 맞춤을 수행할 때, 복수의 특징점이 되는 포인트에 기초하여 화상을 변형시킨 다음 합성한다. 이에 의하여, 서로 다른 타이밍에서 취득된 화상을 합성함에 있어서 위치의 변화 등을 감안하여 더욱 정확하고 자연스러운 화상을 합성해 낼 수 있게 된다.

또한, 상기 실시 형태에서는, 비 플래시 촬영으로 6장의 화상을 취득한 다음에 역시 비 플래시 촬영으로 더미용의 화상을 취득하고, 그 후에 플래시 촬영에 의한 화상을 취득하는 경우에 관하여 설명하였으나, 더미용의 비 플래시 촬영으로 화상을 취득하는 경우를 중간에 실행하고, 그 전후의 화상 취득 순서를 변경하여도 좋다.

그러나 인물의 촬영에 있어서는, 플래시 촬영을 끝낸 직후에 피사체인 인물이 움직이는 사태가 많다고 생각되므로, 플래시 촬영 전에 위치 맞춤용 비 플래시 촬영의 화상을 취득하도록 하는 본 실시 형태의 순서가 위치 맞춤에 성공할 확률이 높을 수 있다고 생각된다. 이런 경우, 우선 비 플래시 촬영으로 더미용 화상을 취득하고, 그 후에 비 플래시 촬영으로 6장의 화상을 취득해도 좋다.

또한, 상기에서는 디지털 카메라에 적용한 경우의 실시 형태에 관하여 설명하고 있지만, 본 발명은 여기에 한정되는 것은 아니며, 플래시를 동반한 촬영이 가능한 카메라 기능을 보유한 전자 기기라면 휴대 전화 단말기(소위, ‘스마트폰’ 포함)나 모바일 타입의 퍼스널 컴퓨터, 전자책 단말기나 PDA(Personal Digital Assistants: 개인용 휴대 정보 단말기) 등이어도 동등한 실시가 가능하다.

그 밖에 본 발명은 상술한 실시 형태에 한정되는 것은 아니며, 실시 단계에서는 그 요지를 벗어나지 않는 범위에서 다양하게 변형할 수 있다. 또한, 상술한 실시 형태로 실행되는 기능은 가능한 한 적절히 조합되어 실시되어도 좋다. 상술한 실시 형태에는 다양한 단계가 포함되어 있으며, 개시된 복수의 구성 요건에 의한 적절한 조합에 의하여 다양한 발명이 추출될 수 있다. 예를 들면, 실시 형태에 개시된 모든 구성 요건으로부터 몇몇 구성 요건이 삭제되더라도 효과가 달성되는 것이라면 이 구성 요건이 삭제된 구성이 발명으로서 추출될 수 있다.

11: 광학 렌즈 유닛, 13: AGC·A/D 변환부, 15: 화상 처리부, 15a: 디모자이크부, 15b: 특징량 연산부, 15c: 블록 매칭부, 15d: 화상 변형 합성 가산부, 17: 표시 제어기, 18: 표시부, 19: 터치 패널, 20: 터치 패널 제어기, 22: 음성 처리부, 25: 메인 메모리, 26: 프로그램 메모리, 27: 키 조작부, 28: 렌즈 구동부, 29: 플래시 구동부, 30: IS 구동부, 31: 메모리 카드 제어기, 34: 메모리 카드

Claims (11)

1. 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영 수단과,
   상기 촬영 수단에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광 수단과,
   상기 촬영 수단이 출력하는 화상 신호를 보전하는 보전 수단과,
   소정의 셔터 속도로 상기 플래시 발광 수단에 의한 발광 없이 상기 촬영 수단에 의한 촬영을 수행시키는 제1 촬영 제어 수단과,
   상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광 수단에 의한 발광 없이 상기 촬영 수단에 의한 촬영을 수행시키는 제2 촬영 제어 수단과,
   상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광 수단에 의한 발광을 동반하여 상기 촬영 수단에 의한 촬영을 수행시키는 제3 촬영 제어 수단과,
   상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 수단과,
   상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 수단과,
   상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 수단과,
   상기 화상 합성 수단에 의해 취득된 화상 신호를 매체에 저장시키는 저장 수단
   을 포함하는 촬상 장치.
   
2. 제1항에 있어서,
   촬영을 위한 조리개 값 및 셔터 속도를 결정하는 자동 노출 수단을 더 포함하되,
   상기 제1 촬영 제어 수단은, 상기 플래시 발광 수단에 의한 발광 없이 상기 자동 노출 수단에 의하여 정해진 셔터 속도로 상기 촬영 수단에 의한 촬영을 수행시키는 촬상 장치.
   
3. 제1항에 있어서,
   촬영을 위한 조리개 값 및 셔터 속도를 결정하는 자동 노출 수단을 더 포함하되,
   상기 제1 촬영 제어 수단은, 상기 플래시 발광 수단에 의한 발광 없이 상기 자동 노출 수단에 의하여 정해진 셔터 속도보다 높은 셔터 속도로, 상기 촬영 수단에 의한 촬영을 복수 회 수행시키는 촬상 장치.
   
4. 제3항에 있어서,
   상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 복수의 화상 신호 중 어느 하나를 기준으로 하여, 나머지 다른 화상 신호에 대해 위치 맞춤을 수행하는 제3 위치 맞춤 수단을 더 포함하되,
   상기 제1 위치 맞춤 수단은, 상기 제3 위치 맞춤 수단에서 기준으로 한 화상 신호와, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하는 촬상 장치.
   
5. 제4항에 있어서,
   상기 제3 위치 맞춤 수단은, 위치 맞춤 시에 제3 변위량을 산출하며,
   상기 제3 위치 맞춤 수단이 산출한 제3 변위량에 기초하여 상기 제1 촬영 제어 수단에 의한 촬영의 합격 여부를 판정하는 판정 수단을 더 포함하고,
   상기 화상 합성 수단은, 상기 판정 수단의 판정 결과 상기 제1 촬영 제어 수단에 의한 촬영이 불합격이라고 판정된 경우에 위치 맞춤에 의한 합성 화상의 화상 신호의 취득을 정지하며,
   상기 저장 수단은 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호만을 매체에 저장하는 촬상 장치.
   
6. 제4항에 있어서,
   상기 제3 위치 맞춤 수단은, 위치 맞춤시 제3 변위량을 산출하고,
   상기 제3 위치 맞춤 수단이 산출한 제3 변위량에 기초하여 상기 제1 촬영 제어 수단에 의한 촬영의 합격 여부를 판정하는 판정 수단을 더 포함하되,
   상기 화상 합성 수단은, 상기 판정 수단의 판정 결과 상기 제1 촬영 제어 수단에 의한 촬영이 합격이라고 판정된 경우에, 상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호에 사영 변환 행렬을 이용하여 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 촬상 장치.
   
7. 제1항에 있어서,
   상기 화상 합성 수단은, 상기 산출된 제1 및 제2 변위량의 적어도 어느 일방이 미리 정해진 문턱값 이하인 경우, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하지 않고 합성하여 화상 신호를 취득하는 촬상 장치.
   
8. 제1항에 있어서,
   상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호에 기초하여, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호에 대한 이득을 보정하는 이득 보정 수단을 더 포함하되,
   상기 제1 위치 맞춤 수단은, 상기 이득 보정 후의 화상 신호와 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전 수단이 보전하는 화상 신호와의 위치 맞춤을 수행하며, 상기 제1 변위량을 산출하는 촬상 장치.
   
9. 제1항에 있어서,
   상기 제1 및 제2 위치 맞춤 수단의 적어도 일방은, 화상 중의 서로 다른 복수의 포인트 각각에서 변위량을 산출하고,
   상기 화상 합성 수단은, 상기 복수의 포인트 각각에서 변위량이 영(0)이 되도록 적어도 일방의 화상을 변형시켜 합성 화상의 화상 신호를 취득하는 촬상 장치.
   
10. 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영부, 상기 촬영부에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광부, 및 상기 촬영부가 출력하는 화상 신호를 보전하는 보전부를 포함하는 장치에 의한 촬상 방법에 있어서,
    소정의 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제1 촬영 제어 단계와,
    상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제2 촬영 제어 단계와,
    상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광을 동반하여 상기 촬영부에 의한 촬영을 수행시키는 제3 촬영 제어 단계와,
    상기 제1 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제2 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 단계와,
    상기 제2 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 사이에서 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 단계와,
    상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 단계에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 단계
    를 포함하는 촬상 방법.
    
11. 피사체의 화상을 촬영하여 화상 신호를 출력하는 촬영부, 상기 촬영부에 의한 촬영에 동기되어 피사체 방향으로 빛을 발하는 플래시 발광부, 및 상기 촬영부가 출력하는 화상 신호를 보전하는 보전부를 포함하는 장치가 내장된 컴퓨터가 실행하는 프로그램에 있어서,
    상기 플래시 발광부에 의한 발광 없이 소정의 셔터 속도로 상기 촬영부에 의한 촬영을 수행시키는 제1 촬영 제어 수단,
    상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광 없이 상기 촬영부에 의한 촬영을 수행시키는 제2 촬영 제어 수단,
    상기 소정의 셔터 속도보다 높은 셔터 속도로 상기 플래시 발광부에 의한 발광을 동반하여 상기 촬영부에 의한 촬영을 수행시키는 제3 촬영 제어 수단,
    상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하고 제1 변위량을 산출하는 제1 위치 맞춤 수단,
    상기 제2 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 사이에서 위치 맞춤을 수행하고 제2 변위량을 산출하는 제2 위치 맞춤 수단, 및
    상기 산출된 제1 및 제2 변위량을 이용하여, 상기 제1 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와, 상기 제3 촬영 제어 수단에 의한 촬영으로 획득되어 상기 보전부가 보전하는 화상 신호와의 위치 맞춤을 수행하여 합성 화상의 화상 신호를 취득하는 화상 합성 수단
    으로서 상기 컴퓨터를 기능시키는 프로그램을 기록한 기록 매체.

Images