KR20100094397A - 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체 - Google Patents

촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR20100094397A
KR20100094397A KR1020100014065A KR20100014065A KR20100094397A KR 20100094397 A KR20100094397 A KR 20100094397A KR 1020100014065 A KR1020100014065 A KR 1020100014065A KR 20100014065 A KR20100014065 A KR 20100014065A KR 20100094397 A KR20100094397 A KR 20100094397A
Authority
KR
South Korea
Prior art keywords
image
group
images
shake
subject
Prior art date
Application number
KR1020100014065A
Other languages
English (en)
Other versions
KR101109532B1 (ko
Inventor
가즈히사 마쓰나가
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20100094397A publication Critical patent/KR20100094397A/ko
Application granted granted Critical
Publication of KR101109532B1 publication Critical patent/KR101109532B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체에 관한 것으로서, 본 발명의 디지털 카메라는 이하의 동작을 행한다. 높은 촬영 감도로 촬영한 피사체 떨림 억제용의 1장의 화상과, 통상 촬영의 노광 시간으로 촬영한 4장의 화상과, 통상 촬영의 노광 시간보다 짧은 노광 시간으로 촬영한 4장의 멀티 플레인 가산용의 화상을, 연사 촬영에 의해 얻는다(단계 A2). 상기 통상 촬영의 노광 시간으로 촬영한 화상군 중 손떨림이 가장 작은 화상을 추출하고, 이 화상에 피사체의 상떨림이 발생하고 있지 않고, 또한 손떨림이 소정값보다 작은 경우에는, 상기 화상을 선택한다(단계 A11). 추출된 화상에 피사체의 상떨림이 발생하고 있는 경우에는, 상기 피사체 떨림 억제용의 화상을 선택한다(단계 A9). 추출된 화상에 소정값보다 큰 손떨림이 발생하고 있는 경우에는, 상기 멀티 플레인 가산용의 화상군을 멀티 플레인 가산한 새로운 화상을 생성한다(단계 A12).

Description

촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체{IMAGE CAPTURING DEVICE, IMAGE CAPTURING METHOD, AND A STORAGE MEDIUM RECORDING THEREON A IMAGE CAPTURING PROGRAM}
본 발명은, 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체에 관한 것이다.
디지털 카메라의 손떨림을 보정하는 방법으로서는, 연속하는 복수의 화상을 촬영하여, 각 화상의 대응하는 화소끼리 가산하는 전자식 손떨림 보정이 알려져 있다.
예를 들면, 60프레임/초로 연사한 수 장의 화상을 가산 처리하는 멀티 플레인 가산 방식(multiplane addition method)을 채용하면, 한 장의 화상보다 S/N비가 수 배 양호한 화상을 얻을 수 있다.
이와 같은 멀티 플레인 가산 방식에 의한 전자식 손떨림 보정에서는, 떨림 보정을 행할 필요가 있는 상황(예를 들면, 어느 정도 큰 손떨림이 생기고 있는 상태)에서 촬영을 행한 경우에는 유효하게 된다.
일본특허출원공개번호2008-92005호공보
그러나, 떨림 보정을 행할 필요가 없는 상황(예를 들면, 손떨림이 전혀 생기지 않거나, 손떨림이 극히 작은 상태)에서 촬영을 행한 경우에도 가산 처리가 행해지므로, 무용한 화질 저하(예를 들면, 수 장 중 1장에 노이즈가 혼입되어 있거나, 정상적인 위치맞춤이 행해지지 않고 어긋난 상태에서 가산 처리되는 결과)를 초래하는 문제점이 있었다.
전술한 과제를 해결하기 위하여, 떨림 보정을 행할 필요가 있는 상황을 검지한 경우에만 가산 처리를 행하는 방식이 있다(예를 들면, 일본 특허출원 공개번호 2008-92005호 공보).
그러나, 이 방식에서는, 멀티 플레인 가산 처리를 행할 것인지의 여부는, 예를 들면, 촬영 환경이 조금 어두운지 등, 손이 떨리기 쉬운 환경에 있는지의 여부를 촬영 전(셔터 버튼의 반누름 시 등)에 디지털 카메라가 판단하여 결정하고 있다.
따라서, 결정 시점의 상황과 실제로 표시되는 시점(셔터 버튼의 완전 누름 시 등)의 상황과는 반드시 일치하지 않고, 사용자가 기대한 손떨림 보정의 결과를 얻을 수 없는 경우가 있었다.
청구항 1에 기재된 발명은, 제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 촬상 수단과; 상기 촬상 수단에 의한 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 수단과; 상기 촬상 수단에 의한 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지의 여부를 판정하는 상떨림 판정 수단과; 상기 손떨림 판정 수단에 의한 판정 결과 및 상기 상떨림 판정 수단에 의한 판정 결과에 따라, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 수단을 구비한 것을 특징으로 하는 촬상 장치이다.
청구항 9에 기재된 발명은, 제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 취득 단계와; 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 단계와; 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지의 여부를 판정하는 상떨림 판정 단계와; 상기 손떨림 판정 단계 및 상기 상떨림 판정 단계의 각각의 판정 결과에 기초하여, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 단계를 포함한 것을 특징으로 하는 촬상 방법이다.
청구항 10에 기재된 발명은, 촬상 장치가 가지는 컴퓨터에, 제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 취득 단계와; 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 단계와; 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지 여부를 판정하는 상떨림 판정 단계와; 상기 손떨림 판정 단계의 판정 결과와 상기 상떨림 판정 단계의 판정 결과에 따라, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 단계를 실행시키는 것을 특징으로 하는 촬상 프로그램이 기록된 기록 매체이다.
도 1은 본 발명의 실시예의 촬상 장치(디지털 카메라)의 전기적 구성을 나타낸 블록도이다.
도 2는 기록 모드가 설정되어 있을 때의 CPU 코어의 처리 수순을 나타내는 흐름도이다.
도 3의 (a)는 기준 화상에 설정하는 윈도우를 나타내고, (b)는 윈도우 내를 구분한 블록을 나타낸 도면이다.
도 4는 각 프레임의 사영 변환 행렬과 움직임 벡터의 산출을 설명하기 위한 도면이다.
도 5는 평행 이동 성분을 나타내는 움직임 벡터의 크기의 산출을 설명하기 위한 도면이다.
도 6은 출력하는 화상을 선택하는 처리를 설명하기 위한 도면이다.
도 7은 멀티 플레인 가산 합성을 설명하기 위한 도면이다.
도 1은, 본 발명의 일실시예의 촬상 장치인 디지털 카메라의 전기적 구성을 나타낸 블록도이다.
이 디지털 카메라는, 기본이 되는 동작 모드로서 촬영을 행하기 위한 기록 모드와, 촬영한 화상을 재생하기 위한 재생 모드를 가진다.
도 1에 나타낸 바와 같이 본 실시예의 디지털 카메라는, 촬영 렌즈(1)와, 촬영 렌즈(1)에 의해 수속(收束)된 촬영광을 셔터(2)를 통하여 수광하고, 수광면에 결상된 피사체의 광학상을 광전 변환하여 화상 신호로서 출력하는 촬상 소자인 CMOS 촬상 소자(3)와, CMOS 촬상 소자(3)의 출력 신호를 디지털의 화상 데이터로 변환하는 A/D 변환기(4)와, 변환 후의 화상 데이터를 축차(逐次) 기억하는 DRAM(5)을 구비하고 있다.
그리고, DRAM(5)에는 복수의 화상 데이터가 저장된다.
셔터(2)의 동작은, CPU 코어(7a)의 명령에 따라 셔터 제어부(7b)에 의해 제어되고, CMOS 촬상 소자(3) 및 A/D 변환기(4)의 동작은 CPU 코어(7a)의 명령에 따라 수광 제어부(7c)에 의해 제어된다.
DRAM(5)에 저장된 1장 분의 화상 데이터, 즉 RAW 데이터는 디모자이크부(7d, demosaic unit)에 의해 화상마다 색 정보를 보간하여 YUV 데이터로 변환된 후, 액정 표시 콘트롤러(6)를 통하여 액정 표시 화면(8)에 표시된다.
그리고, 변환된 YUV 데이터도 DRAM(5)에 일시적으로 기억된다.
기록 모드에서의 촬영 시에 디모자이크부(7d)에 의해 YUV 데이터로 변환된 화상 데이터는, CPU 코어(7a)에 의해 JPEG 등의 소정의 압축 방식에 따라 압축된 후, 외부 기억 매체(11)에 정지 화상 파일 또는 동영상 파일로서 기록된다.
외부 기억 매체(11)에 기록된 화상 데이터는, 재생 모드에 있어서는, 필요에 따라 CPU 코어(7a)에 판독되어 신장(伸張)된 후, 액정 표시 컨트롤러(6)를 통하여 액정 표시 화면(8)에 표시된다.
그리고, 외부 기억 매체(11)는, 예를 들면 카메라 본체에 착탈 가능한 메모리 카드나, 카메라 본체에 내장된 플래시 메모리 등에 의해 구성된다.
또한, CPU 코어(7a)에는, 특징량 연산부(7e), SRAM(7f), 블록 매칭부(7g), 화상 변형 합성 가산부(7h) 외에, 셔터 버튼(9) 및 모드 버튼(10)이 접속되어 있다.
그리고, CPU 코어(7a) 내의 메모리에는, CPU 코어(7a)의 동작에 필요한 각종 프로그램이 기록된 기록 매체 및 프로그램이 기록된 기록 매체의 실행 시에 사용되는 각종 데이터가 기억되어 있지만, 이들은 CPU 코어(7a)와는 다른 메모리에 기억되어 있어도 된다.
CPU 코어(7a)는, 프로그램이 기록된 기록 매체에 따라 셔터 버튼(9)의 누름 조작에 따라 디지털 카메라의 각 부의 동작을 제어하는, 본 발명의 촬상 수단, 손떨림 판정 수단, 상떨림 판정 수단, 및 선택 수단으로서 기능한다.
블록 매칭부(7g)는, SRAM(7f)을 작업 메모리로서 사용하고, CMOS 촬상 소자(3)에 의해 촬상된 복수의 화상끼리 매칭을 행하고, 피사체 부분의 상대적인 편차량 및 어긋남 방향을 나타내는 움직임 벡터를 취득하여 CPU 코어(7a)에 출력하는, 본 발명의 산출 수단으로서 기능한다.
화상 변형 합성 가산부(7h)는, CPU 코어(7a)의 지시에 따라, CMOS 촬상 소자(3)에 의해 촬상된 복수의 화상을 위치 맞춤하여 합성하는 본 발명의 화상 처리 수단으로서 기능한다.
다음으로, 전술한 바와 같은 구성으로 이루어지는 디지털 카메라에 있어서, 기록 모드가 설정되어 있을 때의 동작에 대하여 설명한다.
도 2는, 기록 모드가 설정되어 있을 때의 CPU 코어(7a)의 처리 수순을 나타내는 흐름도이다.
먼저, 디지털 카메라의 모드 버튼(10)을 사용자가 조작함으로써, 디지털 손떨림 보정 모드가 설정된다(단계 A1).
이로써, 디지털 카메라는 자동적으로 손떨림 보정을 실행한다.
다음으로, 디지털 카메라의 셔터 버튼(9)을 사용자가 1회 누르면, 이를 검출한 CPU 코어(7a)는, 제1 화상군, 제2 화상군 및 제3 화상으로 이루어지는 9장의 연사 촬영을 실시한다(단계 A2).
구체적으로는, CMOS 촬상 소자(3)에 의해 시간적으로 연속하는 9장의 화상을 취득한다.
9장의 화상 중, 제3 화상인 최초의 1장의 화상은, 피사체 떨림이나 어두운 장소에서의 촬영에 대응 가능한 높은 촬영 감도, 예를 들면, ISO1600에 상당하는 촬영 감도로 제3 노광 시간으로 피사체 떨림 억제용 촬영을 행하여 취득된다.
제1 화상군인 그 다음 4장의 화상은, 통상의 노광 시간(제1 노광 시간)에 촬영을 행하여 취득된다.
제2 화상군인 마지막 4장의 화상은, 통상의 노광 시간보다 셔터 시간을 2단계 짧게 한 시간(제2 노광 시간)에 촬영을 행하여 취득된다.
또한, 촬영 시에는, CMOS 촬상 소자(3)가 시프트 동작하는 광학 손떨림 보정도 동시에 행한다.
CPU 코어(7a)는, CMOS 촬상 소자(3)에 의해 시간적으로 연속하는 9장의 화상에 대하여, 각각의 RAW 데이터를 취득하고, DRAM(5)에 기록한다(단계 A3).
또한, 각각의 RAW 데이터를 디모자이크부(7d)에 의해 YUV 데이터 및 휘도 성분만으로 이루어지는 휘도 화상 데이터로 변환하고, 변환 후의 화상 데이터를 DRAM(5)에 기억시킨다(단계 A3).
여기서, YUV 데이터는 합성용 화상 데이터이며, 휘도 화상 데이터는, 복수장의 화상(YUV 데이터)의 합성 시에 있어서의 위치 맞춤 작업에 충분한 사이즈의 축소 화상 데이터이다.
다음으로, 휘도 화상 데이터 중 1장째의 화상을 기준 화상으로 하고, 이 기준 화상에, 미리 결정되어 있는 소정 사이즈의 윈도우를 프레임 내의 중앙 부분에 설정한다.
또한, 이 윈도우 내를 세로 16화소 × 가로 16화소를 단위로 한 복수 블록으로 분할하고, 인접하는 프레임 화상 사이에서 블록 매칭을 행한다(단계 A4).
구체적으로는, 도 3에 나타낸 바와 같이, 기준 화상(101)에 설정된 윈도우(102)[기준 화상(101)의 중심의 (1/2)*(1/2)의 영역]를 복수(4*4=16)의 블록(103)으로 분할한다.
이와 같이 하여 얻어진 블록(103)에 대하여, 블록 매칭부(7g)에 있어서, 피사체 부분만을 추적 대상으로 하는 블록 매칭을 행한다.
CPU 코어(7a)는, 블록 매칭에 의해 취득한 각각의 블록의 움직임 벡터 데이터 중에서, 소정 거리 이하의 편차량을 나타내는 특정한 움직임 벡터를 사용하여, 인접 프레임 화상의 위치 관계를 나타내는 사영 변환 행렬을 생성한다(단계 A5).
즉, 본래는 얻을 수 없는(명백하게 잘못 취득된) 움직임 벡터를 배제한 정확한 움직임 벡터 만에 기초하여 사영 변환 행렬을 구한다.
그리고, 본 실시예에 있어서 사영 변환 행렬은 RANSAC법에 의해 생성한다.
RANSAC법은, 랜덤하게 선택한 샘플을 기초로 하여 생성한 가설을 전체 데이터로 검증하는 것을 반복함에 의한 모델 추정 알고리즘에 따른다.
이 경우, 랜덤하게 위치의 조(組)를 선택하고, 이 선택된 위치의 조에 대응하는 사영 변환 행렬의 후보를 산출하고, 그 식에 따라, 모든 위치의 좌표를 사영 변환했을 때, 결과가 얼마나 일치하는지를 평가한다.
이러한 계산과 평가를 반복하여, 가장 양호한 평가값을 얻었을 때의 사영 변환 행렬을 채용한다.
이 방법에 따라, 도 4에 나타내는 바와 같이, 프레임 2를 기준 화상으로 하여 프레임 3과의 위치 관계를 나타내는 사영 변환 행렬 2를 구한다.
이어서, 휘도 화상 데이터를 순차적으로 변경하면서 전술한 단계 A4 및 A5의 처리를 반복하여, 시간적으로 연속하는 5장째까지의 화상에 대하여 사영 변환 행렬을 생성한다(단계 A6).
구체적으로는, 프레임 3을 기준 화상으로 하여 프레임 4와의 위치 관계를 나타내는 사영 변환 행렬 3을 구하고, 프레임 4를 기준 화상으로 하여 프레임 5와의 위치 관계를 나타내는 사영 변환 행렬 4를 구하고, 프레임 5를 기준 화상으로 하여 프레임 6과의 위치 관계를 나타내는 사영 변환 행렬 5를 구한다.
프레임 5까지의 화상(휘도 화상 데이터)에 대하여 전술한 사영 변환 행렬을 생성했다면, 즉 2장째부터 5장째까지의 화상 사이에서의 피사체의 위치 관계를 파악했다면(단계 A6에서 YES), 단계 A5에서 취득한 사영 변환 행렬로부터, 각각의 인접 프레임 사이에서의 평행 이동 성분을 산출한다(단계 A7).
평행 이동 성분(움직임 벡터의 크기)의 산출은 도 5에 나타낸 바와 같이 (s2 ＋ t2)1/2에 의해 구할 수 있다.
단계 A7에서 산출된 평행 이동 성분의 크기가 최소인 화상에 대하여, 피사체의 상떨림이 발생하고 있는지의 여부를 판단한다(단계 A8).
피사체의 상떨림은, 모든 블록(103)에 대하여, 인접 프레임의 동일 위치의 블록과 차분 제곱합을 취하여, 그 값이 1블록에서라도 소정의 임계값보다 크면, 상떨림이 발생하고 있다고 판단한다.
단계 A8에 있어서, 피사체의 상떨림이 발생하고 있다고 판단한 경우에는, 도 6에 나타낸 바와 같이, 1장째의 화상인 피사체 떨림 억제용 화상(프레임 1)을 선택하여(단계 A9), 상기 화상을 외부 기억 매체(11)에 보존한다.
한편, 단계 A8에 있어서, 피사체의 상떨림이 발생하고 있지 않다고 판단한 경우에는, 평행 이동 성분의 크기가 최소인 화상에 대하여, 평행 이동 성분의 크기가 소정값(예를 들면, 2 화소) 이하인지의 여부를 판단하여, 손떨림이 발생하고 있는지의 여부를 판단한다(단계 A10).
그리고, 본 실시예에서는, 소정값을 2 화소로서 설명하지만, 본 발명은 이에 한정되지 않는다.
실장에 따라 최적인 값을 소정값으로서 설정할 수 있다.
단계 A10에 있어서 평행 이동 성분의 크기가 2화소 이하인 경우에는, 손떨림이 충분히 작다고 판단하여, 도 6에 나타낸 바와 같이, 상기 평행 이동 성분의 크기가 최소인 화상을 선택하고(단계 A11), 상기 화상을 외부 기억 매체(11)에 보존한다.
한편, 단계 A10에 있어서 평행 이동 성분의 크기가 2 화소 이하가 아닌 경우에는, 도 6에 나타낸 바와 같이, 화상 변형 합성 가산부(7h)는, 제2 노광 시간으로 촬영한 6장째부터 9장째까지의 화상을 멀티 플레인 가산에 의해 합성하여 새로운 화상을 생성하고(단계 A12), 상기 새로운 화상을 외부 기억 매체(11)에 보존한다.
화상 변형 합성 가산부(7h)는, 6장째부터 9장째까지의 화상에 대하여 베이어(Bayer) 배열 데이터로 멀티 플레인 가산 합성 처리를 행함으로써, 증감 효과를 높인 고감도 처리를 행할 수 있다.
구체적으로는, 도 7에 나타낸 바와 같이, 각 화상의 배이어 배열 데이터 중, 휘도 성분이나 해상감을 양호하게 반영하는 G(녹) 화상의 상관도를 구하여 위치 맞춤 합성을 행하고, 또한 Bayer 배열 데이터에서는 결여되어 있는 세로, 가로, 대각 화소의 보간 처리를 행하여 풀 화소의 G 데이터를 생성한다.
R(적), B(청) 데이터는, G(녹) 데이터의 위치 맞춤 결과에 준하여 위치 맞춤과 컬러 보간 처리를 행하고, 풀 사이즈의 RGB 데이터로 변환한다.
위치 맞춤 처리에서는, 또한 회전 방향도 검출하여, 아핀 변환(affine transformation) 등에 의해 좌표 회전 변환하여 위치 맞춤하고, 회전 위치에 따라 보간 처리를 행하도록 해도 된다.
또는, 중앙이나 전경(前景)의 주된 피사체의 영역 화상을 추출하여, 피사체나 배경의 윤곽 형상이나 특징량이 중첩되는 위치로 이동하여 위치 맞춤한 후에 가산하도록 해도 된다.
이상 설명한 바와 같이, 본 실시예에서는, 먼저, 피사체 떨림 억제용의 제3 노광 시간으로 촬영한 화상을 1장, 통상의 1장 촬영의 노광 시간(제1 노광 시간)에 촬영한 화상을 복수장, 셔터 시간을 짧게 한 멀티 플레인 가산용의 제2 노광 시간으로 촬영한 화상을 복수장, 연사 촬영한다.
다음으로, 시간적으로 연속하는 화상에 있어서 인접 화상 사이의 위치 관계를 나타내는 사영 변환 행렬을 모든 인접 화상 사이에 있어서 구하고, 통상의 노광 시간으로 촬영한 제1 화상군에 있어서 손떨림이 가장 작은 화상을 선택한다.
그리고, 상기 화상에 피사체의 상떨림이 발생하고 있지 않고, 또한 손떨림이 충분히 작은 경우에, 상기 화상을 선택하므로, 촬영 상황에 따라 떨림이 적은 최적 화상을 선택하여 출력할 수 있다.
또한, 통상의 노광 시간으로 촬영한 제1 화상군에 있어서 손떨림이 가장 적은 화상을 선택하고, 이 선택된 화상에 피사체의 상떨림이 발생하고 있는 경우에는, 피사체 떨림 억제용의 화상을 선택하므로, 촬영 상황에 따라 떨림이 적은 최적 화상을 선택하여 출력할 수 있다.
또한, 전술한 바와 같이 선택된 화상에 어느 정도 큰 손떨림이 발생하고 있는 경우에는, 멀티 플레인 가산용으로 촬영한 제2 화상군을 멀티 플레인 가산한 새로운 화상을 생성하므로, 촬영 상황에 따라 떨림이 적은 최적 화상을 출력할 수 있다.
본 실시예에 있어서는, 촬영된 화상 자체에서 화상의 떨림의 유무를 판단하고 있으므로, 셔터 버튼의 반누름 시에 떨림을 판정하는 것과 같은 시간적 괴리에 의한 상황 오인이 없다.
또한, 통상의 노광 시간으로 촬영한 연사 화상 중에에서 떨림이 적은 양호한 화상이 있는지의 여부도 판단하므로, 떨림이 충분히 적은 화상을 선택하여 출력할 수 있다.
또한, 멀티 플레인 가산이 필요없는 상황에서 불필요한 멀티 플레인 가산을 행하여 화질을 저하시키는 사태를 회피할 수 있다.
또한, 화상 연사 시에 CMOS 촬상 소자를 이동시킴으로써 광학 손떨림 보정을 자이로 센서에 의해 행하고 있는 경우 등은, 화상 촬영 시에 자이로 센서 값의 대소는, 반드시 그 화상의 손떨림의 대소를 반영하고 있지는 않으므로, 자이로 센서에 의한 손떨림 판정은 부정확하게 된다.
그러나, 본 실시예에 있어서는, 이와 같은 광학 손떨림 보정 후의 촬상 화상으로부터 위치 관계를 구하게 되므로, 떨림의 발생을 정확하게 검지할 수 있다.

Claims (10)

  1. 제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 촬상 수단;
    상기 촬상 수단에 의한 상기 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 수단;
    상기 촬상 수단에 의한 상기 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지의 여부를 판정하는 상떨림 판정 수단; 및
    상기 손떨림 판정 수단에 의한 판정 결과 및 상기 상떨림 판정 수단에 의한 판정 결과에 따라, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 수단
    을 포함하는 촬상 장치.
  2. 제1항에 있어서,
    상기 선택 수단은, 상기 상떨림 판정 수단에 의해 상떨림이 생기고 있지 않다고 판정되고, 상기 손떨림 판정 수단에 의해 손떨림이 생기고 있다고 판정된 경우에, 상기 제2 화상군으로부터 얻어지는 화상을 선택하는, 촬상 장치.
  3. 제1항에 있어서,
    상기 제2 화상군의 화상을 합성하여 새로운 화상을 생성하는 화상 처리 수단을 더 포함하고,
    상기 제2 화상군으로부터 얻어지는 화상은, 상기 새로운 화상인, 촬상 장치.
  4. 제1항에 있어서,
    상기 선택 수단은, 상기 상떨림 판정 수단에 의해 상떨림이 생기지 않고 있다고 판정되고, 상기 손떨림 판정 수단에 의해 손떨림이 생기지 않고 있다고 판정된 경우에, 상기 제1 화상군으로부터 얻어지는 화상을 선택하는, 촬상 장치.
  5. 제1항에 있어서,
    상기 제1 화상군 중 시간적으로 인접하는 화상 사이에 있어서 사영 변환 행렬을 구하고, 상기 사영 변환 행렬로부터 움직임 벡터의 크기를 산출하는 산출 수단을 더 포함하고,
    상기 상떨림 판정 수단은, 상기 산출 수단에 의해 산출된 각 화상의 움직임 벡터의 크기가 최소인 화상에 대하여, 상떨림이 생겼는지의 여부를 판정하는, 촬상 장치.
  6. 제5항에 있어서,
    상기 손떨림 판정 수단은, 상기 움직임 벡터의 크기가 최소인 화상에 대하여, 상기 움직임 벡터의 크기가 소정의 임계값을 초과하는지의 여부에 의해, 손떨림이 생겼는지의 여부를 판정하는, 촬상 장치.
  7. 제1항에 있어서,
    상기 촬상 수단은, 상기 제1 화상군을 촬영했을 때의 감도 및 상기 제2 화상군을 촬영했을 때의 감도의 어느 쪽보다 높은 감도로 피사체를 촬영한 제3 화상을 취득하고,
    상기 선택 수단은, 상기 제1 화상군으로부터 얻어지는 화상, 상기 제2 화상군으로부터 얻어지는 화상, 및 상기 제3 화상 중 어느 하나를 선택하며, 상기 상떨림 판정 수단에 의해 상떨림이 생기고 있다고 판정된 경우에, 상기 제3 화상을 선택하는, 촬상 장치.
  8. 제1항에 있어서,
    상기 제2 노광 시간은, 상기 제1 노광 시간보다 짧은 시간인, 촬상 장치.
  9. 제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 취득 단계;
    상기 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 단계;
    상기 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지의 여부를 판정하는 상떨림 판정 단계; 및
    상기 손떨림 판정 단계 및 상기 상떨림 판정 단계의 각각의 판정 결과에 기초하여, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 단계
    를 포함하는, 촬상 방법.
  10. 촬상 장치가 가지는 컴퓨터에,
    제1 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제1 화상군과 제2 노광 시간으로 피사체를 촬영한 시간적으로 연속하는 제2 화상군을 취득하는 취득 단계;
    상기 제1 화상군의 취득 중에 손떨림이 생겼는지의 여부를 판정하는 손떨림 판정 단계;
    상기 제1 화상군의 취득 중에 피사체의 상떨림이 생겼는지의 여부를 판정하는 상떨림 판정 단계; 및
    상기 손떨림 판정 단계의 판정 결과와 상기 상떨림 판정 단계의 판정 결과에 따라, 상기 제1 화상군으로부터 얻어지는 화상 또는 상기 제2 화상군으로부터 얻어지는 화상 중 어느 하나를 선택하는 선택 단계
    를 실행시키는 촬상 프로그램이 기록된, 기록 매체.
KR1020100014065A 2009-02-17 2010-02-17 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체 KR101109532B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009033913A JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム
JPJP-P-2009-033913 2009-02-17

Publications (2)

Publication Number Publication Date
KR20100094397A true KR20100094397A (ko) 2010-08-26
KR101109532B1 KR101109532B1 (ko) 2012-01-31

Family

ID=42102652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100014065A KR101109532B1 (ko) 2009-02-17 2010-02-17 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체

Country Status (7)

Country Link
US (1) US8310553B2 (ko)
EP (1) EP2219366B1 (ko)
JP (1) JP4748230B2 (ko)
KR (1) KR101109532B1 (ko)
CN (1) CN101895679B (ko)
HK (1) HK1146436A1 (ko)
TW (1) TWI420901B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868053B2 (ja) * 2011-07-23 2016-02-24 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
US8928765B2 (en) * 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors
KR101904203B1 (ko) * 2012-06-20 2018-10-05 삼성전자주식회사 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법
US9449374B2 (en) 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
WO2017173585A1 (zh) * 2016-04-05 2017-10-12 华为技术有限公司 一种拍照方法及终端
TWI693577B (zh) 2018-09-19 2020-05-11 聚晶半導體股份有限公司 影像產生方法與電子裝置
CN113228102A (zh) * 2019-01-09 2021-08-06 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
WO2022097102A1 (en) * 2020-11-06 2022-05-12 Buyaladdin.com, Inc. Vertex interpolation in one-shot learning for object classification

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4285889B2 (ja) * 2000-06-30 2009-06-24 株式会社リコー 撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2005136760A (ja) * 2003-10-31 2005-05-26 Nikon Corp デジタルスチルカメラ
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
DE602005003917T2 (de) * 2005-02-03 2008-12-04 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Erzeugung von Bildern mit hoher Dynamik aus mehreren Belichtungen
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
JP4867554B2 (ja) 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JP4315971B2 (ja) 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4860568B2 (ja) * 2007-03-30 2012-01-25 富士フイルム株式会社 撮影装置
JP4936222B2 (ja) * 2007-06-14 2012-05-23 カシオ計算機株式会社 動きベクトル照合装置、画像合成装置及びプログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
TWI351219B (en) * 2007-09-28 2011-10-21 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체

Also Published As

Publication number Publication date
US8310553B2 (en) 2012-11-13
TW201101813A (en) 2011-01-01
JP2010193058A (ja) 2010-09-02
EP2219366B1 (en) 2020-05-27
CN101895679B (zh) 2012-09-26
US20100209009A1 (en) 2010-08-19
EP2219366A1 (en) 2010-08-18
CN101895679A (zh) 2010-11-24
JP4748230B2 (ja) 2011-08-17
KR101109532B1 (ko) 2012-01-31
TWI420901B (zh) 2013-12-21
HK1146436A1 (en) 2011-06-03

Similar Documents

Publication Publication Date Title
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
JP5574423B2 (ja) 撮像装置、表示制御方法及びプログラム
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5764740B2 (ja) 撮像装置
JP2007135056A (ja) 画像処理装置および方法、並びにプログラム
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2010035752A1 (ja) 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
JP5996418B2 (ja) 撮像装置および撮像方法
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2006148550A (ja) 画像処理装置及び撮像装置
JP6415330B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5831492B2 (ja) 撮像装置、表示制御方法及びプログラム
JP5548023B2 (ja) 撮像装置および撮像方法
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009200981A (ja) ビデオカメラ
JP2019041399A (ja) 画像処理装置、画像処理方法及びプログラム
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP6107882B2 (ja) 撮像装置、表示制御方法及びプログラム
JP6478481B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007201774A (ja) 移動方向検出装置、および撮像装置
JP2017135732A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006229624A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2005223384A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 9