KR20070099403A - 촬상장치 및 촬상방법 - Google Patents

촬상장치 및 촬상방법 Download PDF

Info

Publication number
KR20070099403A
KR20070099403A KR1020060102035A KR20060102035A KR20070099403A KR 20070099403 A KR20070099403 A KR 20070099403A KR 1020060102035 A KR1020060102035 A KR 1020060102035A KR 20060102035 A KR20060102035 A KR 20060102035A KR 20070099403 A KR20070099403 A KR 20070099403A
Authority
KR
South Korea
Prior art keywords
image
exposure
light shielding
images
photographing
Prior art date
Application number
KR1020060102035A
Other languages
English (en)
Other versions
KR100819809B1 (ko
Inventor
토시유키 타나카
토시히로 하마무라
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of KR20070099403A publication Critical patent/KR20070099403A/ko
Application granted granted Critical
Publication of KR100819809B1 publication Critical patent/KR100819809B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

화상에 포함되는 노이즈를 저감할 수 있는 촬상 장치 및 촬상 방법을 제공한다.
전자적으로 손떨림을 보정할 수 있는 촬상 장치가 제공된다. 이 촬상 장치는 적정 노광이 얻어지는 적정 셔터 속도를 결정하는 노광 제어부(502), 시분할 화상의 촬영수를 설정하는 분할 촬영수 설정부(504), 노광 상태에 있어서, 고속 셔터 속도에 의해 설정된 촬영수의 시분할 화상을 촬영하는 노광 촬영부(506), 차광 상태에 있어서, 고속 셔터 속도에 의해 차광 화상을 촬영하는 차광 촬영부(508), 각 시분할 화상으로부터 차광 화상을 감산 처리함으로써 차분 화상을 생성하는 감산 처리부(602), 특징점을 추출하는 특징점 추출부(604), 및 특징점을 기준으로 하여 차분 화상을 합성하는 화상 합성부(606)를 구비하는 것을 특징으로 한다.
촬상장치, 촬상방법, 손떨림, 보정, 노이즈

Description

촬상장치 및 촬상방법{Image pickup apparatus and Method of picking up images}
도 1은 본 발명의 실시형태에 따른 촬상 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 촬상 장치의 CPU의 기능을 나타내는 블록도이다.
도 3은 도 1에 도시된 촬상 장치의 화상 신호 처리부의 기능을 나타내는 블록도이다.
도 4는 고속 셔터 화상과 저속 셔터 화상을 나타내는 모식도이다.
도 5는 고속 셔터 화상이 합성되는 과정을 나타내는 모식도이다.
도 6은 차광 화상을 감산 처리하는 과정을 나타내는 모식도이다.
도 7은 합성 화상에서 차광 화상을 감산 처리하는 과정을 나타내는 모식도이다.
도 8은 본 발명의 제1 실시형태에 따른 촬상과정을 나타내는 모식도이다.
도 9는 본 발명의 제1 실시형태에 따른 촬상과정을 나타내는 흐름도이다.
도 10은 본 발명의 제2 실시형태에 따른 촬상과정을 나타내는 흐름도이다.
도 11은 본 발명의 제3 실시형태에 따른 촬상과정을 나타내는 흐름도이다.
도 12는 본 발명의 제4 실시형태에 따른 촬상과정을 나타내는 흐름도이다.
도 13은 본 발명의 제5 실시형태에 따른 촬상과정을 나타내는 모식도이다.
* 도면의 주요 부분에 대한 부호의 간단한 설명 *
120: CPU 124: 화상 신호 처리부
130: 메모리(휘도 기록부) 502: 노광 제어부
504: 분할 촬영수 설정부 506: 노광 촬영부
508: 차광 촬영부 510: 차광 촬영 제어부
512: 차광 화상 보간부 602: 감산 처리부
604: 특징점 추출부 606: 화상 합성부
본 발명은 화상을 촬영할 수 있는 촬상 장치 및 촬상 방법에 관한다.
종래 손떨림을 억제하는 기술로는 촬상면에 대한 렌즈의 위치를 손떨림 방향과 반대 방향으로 쉬프트함으로써 손떨림을 없애는 광학적 손떨림보정 방법이 알려져 있다. 또한 고속 셔터를 사용하여 복수매의 화상을 촬영하고, 피사체의 특징점을 기준으로 하여 각 화상을 합성함으로써 전자적으로 손떨림을 보정하는 기술도 일본특허공개공보 제2005-295302호에 알려져 있다. 특히, 저속 셔터에 의한 촬영이 필요한 저휘도 장면(scene)에서는 이 전자 손떨림 보정 기능이 유효하다. 또한 저휘도 장면에서 행하는 노이즈 저감 처리방법으로서, 노광 상태에서 촬영된 노광 화상으로부터 차광 상태에서 촬영된 차광 화상을 감산함으로써 고정 패턴 노이즈를 제거하는 방법 등도 일본특허공개공보 제2003-116064호에 알려져 있다.
종래의 노이즈 저감 방법에서는, 고속 셔터를 사용하여 촬영된 시분할 화상을 합성한 후, 차광 상태에서 저속 셔터에 의해 촬영된 차광 화상을 감산함으로써 고정 패턴 노이즈의 저감을 꾀하고 있었다. 그러나, 전자 손떨림 보정과 차광 화상의 제거 기능을 조합하여 사용하면 고정 패턴 노이즈가 포함되는 시분할 화상을 합성할 때, 각 화상의 고정 패턴 노이즈가 화상 영역내에 분산되어 합성 화상으로부터 차광 화상을 감산했어도 고정 패턴 노이즈를 충분히 억제하지 못하였다.
본 발명은 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적은, 화상에 포함되는 노이즈를 저감할 수 있는 신규하고 개량된 촬상 장치 및 촬상 방법을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 일 관점에 의하면, 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자적으로 손떨림을 보정할 수 있는 촬상 장치가 제공된다. 이 촬상 장치는, 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광 촬영부와, 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영부와, 시분할 노광에 의해 촬영된 각 노광 화상으로부터 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리부와, 연속하여 촬영된 복수의 화상을 합성하는 화상 합성부를 구비하는 것을 특징으로 한다.
상기 촬상 장치가 구비하는 노광 촬영부는 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영한다. 또한 상기 차광 촬영부는 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영한다. 상기 감산 처리부는 시분할 노광에 의해 촬영된 각 노광 화상으로부터 차광 화상을 감산하여 노이즈 억제 처리한다. 이러한 구성에 의해, 각 시분할 화상으로부터 고정 패턴 노이즈를 저감시킬 수 있게 되고, 합성 화상의 노이즈를 효과적으로 감소시킬 수 있다.
차광 촬영부는 시분할 노광에 의해 하나의 차광 화상을 촬영해도 된다. 감산 처리부는 시분할 노광에 의해 촬영된 각 노광 화상으로부터 하나의 차광 화상을 감산하여 노이즈 억제 처리할 수도 있다. 이러한 구성에 의해 1매의 차광 화상에 의해 노이즈 저감 처리가 가능해지고, 필요로 하는 메모리를 절약할 수 있을 뿐만 아니라 고속 처리가 가능해진다.
노광 촬영부와 차광 촬영부는 노광 화상과 차광 화상을 번갈아 촬영해도 된다. 또한 감산 처리부는 각 차광 화상으로부터 각 노광 화상이 촬영된 직후에 촬영된 각 차광 화상을 감산하여 노이즈 억제 처리를 해도 된다. 이러한 구성에 의해, 노광 화상의 촬영 시점과 차광 화상의 촬영 시점의 시간 차가 작아지고, 촬영 시점의 노이즈 상황을 더 반영한 고정밀도의 노이즈 저감 처리가 가능해진다.
적어도 두 차광 화상에 기초하여 보간 계산하고, 차광 화상이 촬영된 시점 사이의 적어도 한 시점에 대응하는 차광 화상을 생성하는 차광 화상 보간부를 더 구비해도 된다. 또한 감산 처리부는 노광 화상으로부터 보간 계산에 의해 산출된 차광 화상을 감산하여 노이즈 억제 처리를 해도 된다. 이러한 구성에 의해, 처리 시간과 필요한 메모리 용량을 절약하면서 고정밀도의 노이즈 저감 처리가 가능해진다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자적으로 손떨림을 보정할 수 있는 촬상 장치가 제공된다. 이 촬상 장치는 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광 촬영부와, 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영부와, 각 노광 화상에서 특징점을 추출하는 특징점 추출부와, 특징점의 위치를 기억하는 특징점 기억부와, 특징점이 일치하도록 노광 화상을 쉬프트하여 합성하고, 노광 화상의 쉬프트량에 따라 각 노광 화상에 대응하는 차광 화상을 쉬프트하여 합성하는 화상 합성부와, 합성된 노광 화상으로부터 합성된 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리부를 구비한다.
상기 촬상 장치가 구비하는 노광 촬영부는 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영한다. 또한 상기 차광 촬영부는 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영한다. 상기 특징점 추출부는 각 노광 화상으로부터 특징점을 추출한다. 상기 특징점 기억부는 특징점의 위치를 기억한다. 상기 화상 합성부는 특징점이 일치하도록 노광 화상을 쉬프트하여 합성하고, 노광 화상의 쉬프트량에 따라 각 노광 화상에 대응하는 차광 화상을 쉬프트하여 합성한다. 상기 감산 처리부는 합성된 노광 화상으로부터 합성된 차광 화상을 감산하여 노이즈 억제 처리한다. 이러한 구성에 의해 한 번의 감산 처리 에 의해 합성 화상의 노이즈 저감 처리를 완료할 수 있다.
또한 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자 손떨림을 보정할 수 있는 촬상 방법이 제공된다. 이 촬상 방법은, 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광촬영 과정과, 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영 과정과, 연속하여 촬영된 복수의 화상을 합성하는 화상 합성 과정과, 시분할 노광에 의해 촬영된 각 노광 화상으로부터 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리 과정을 포함하는 것을 특징으로 한다.
상기 촬상 방법이 포함하는 노광 촬영 과정에서는 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상이 촬영된다. 상기 차광 촬영 과정에서는 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상이 촬영된다. 상기 감산 처리 과정에서는 시분할 노광에 의해 촬영된 각 노광 화상으로부터 차광 화상을 감산하여 노이즈 억제 처리된다. 이러한 구성에 의해, 각 시분할 화상에서 고정 패턴 노이즈를 저감시킬 수 있게 되고, 합성 화상의 노이즈를 효과적으로 감소시킬 수 있다.
차광 촬영 과정에서는 시분할 노광에 의해 하나의 차광 화상이 촬영 될 수도 있다. 또한 감산 처리 과정에서는 시분할 노광에 의해 촬영된 각 노광 화상으로부터 하나의 차광 화상이 감산되어 노이즈 억제 처리될 수도 있다. 이러한 구성에 의해, 1매의 차광 화상에 의해 노이즈 저감 처리가 가능해지고, 필요로 하는 메모리 를 절약할 수 있을 뿐만 아니라 고속 처리가 가능해진다.
노광 촬영 과정과 차광 촬영 과정에 있어서 노광 화상과 차광 화상이 번갈아 촬영될 수 있다. 또한 감산 처리 과정에서는 각 차광 화상으로부터 각각 각 노광 화상이 촬영된 직후에 촬영된 각 차광 화상이 감산되어 노이즈 억제 처리될 수도 있다. 이러한 구성에 의해, 노광 화상의 촬영 시점과 차광 화상의 촬영 시점의 시간 차가 작아지고, 촬영 시점의 노이즈 상황을 더 반영한 고정밀도의 노이즈 저감 처리가 가능해진다.
적어도 두 차광 화상에 기초하여 보간 계산되고, 차광 화상이 촬영된 시점 사이의 적어도 한 시점에 대응하는 차광 화상이 생성되는 차광 화상 보간 과정을 더 포함할 수 있다. 또한 감산 처리 과정은 노광 화상으로부터 보간 계산에 의해 산출된 차광 화상이 감산되어 노이즈 억제 처리될 수도 있다. 이러한 구성에 의해, 처리 시간과 필요한 메모리 용량을 절약하면서 고정밀도의 노이즈 저감 처리가 가능해진다.
또한 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자 손떨림을 보정할 수 있는 촬상 방법이 제공된다. 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상이 촬영되는 노광 촬영 과정과, 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상이 촬영되는 차광 촬영 과정과, 각 노광 화상으로부터 특징점이 추출되는 특징점 추출 과정과, 특징점의 위치가 기억되는 특징점 기억 과정과, 특징점이 일치하도록 노광 화상이 쉬프트되어 합성되고, 노광 화상의 쉬프트량에 따라 각 노광 화상에 대응하는 차광 화상이 쉬프트되어 합성되는 화상 합성 과정과, 합성된 노광 화상으로부터 합성된 차광 화상이 감산되어 노이즈 억제 처리되는 감산 처리 과정을 포함하는 것을 특징으로 한다.
상기 촬상 방법이 포함하는 노광 촬영 과정에서는 노광 상태에 있어서 시분할 노광에 의해 적어도 하나의 노광 화상이 촬영된다. 또한 상기 차광 촬영 과정에서는, 차광 상태에 있어서 시분할 노광에 의해 적어도 하나의 차광 화상이 촬영된다. 상기 특징점 추출 과정에서는 각 노광 화상으로부터 특징점이 추출된다. 상기 특징점 기억 과정에서는 특징점의 위치가 기억된다. 상기 화상 합성 과정에서는 특징점이 일치하도록 노광 화상이 쉬프트되어 합성되고, 노광 화상의 쉬프트량에 따라 각 노광 화상에 대응하는 차광 화상이 쉬프트되어 합성된다. 상기 감산 처리 과정에서는 합성된 노광 화상으로부터 합성된 차광 화상이 감산되어 노이즈 억제 처리된다. 이러한 구성에 의해, 한 번의 감산 처리에 의해 합성 화상의 노이즈 저감 처리를 완료할 수 있다.
또한, 상기 촬상 장치는 예를 들어, 피사체의 명도를 기초로 적정 노광이 얻어지는 적정 셔터 속도를 결정하는 노광 제어부와, 적정 셔터 속도보다 고속인 소정의 고속 셔터 속도에 의해 적정 셔터 속도를 나누고, 적정 노광을 얻는 데 필요한 시분할 화상의 촬영수를 설정하는 분할 촬영수 설정부와, 노광 상태에 있어서 고속 셔터 속도에 의해 설정된 촬영수의 시분할 화상을 촬영하는 노광 촬영부와, 시분할 화상마다 각 화소의 휘도값이 기록되는 휘도 기록부와, 차광 상태에 있어서 고속 셔터 속도에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영부와, 각 시 분할 화상으로부터 차광 화상을 감산 처리함으로써 차분 화상을 생성하는 감산 처리부와, 각 차분 화상에 포함되는 각 화소에 대해서 인접 화소간의 휘도값의 차분량을 비교함으로써 특징점을 추출하는 특징점 추출부와, 특징점을 기준으로 하여 차분 화상을 합성하는 화상 합성부를 구비할 수 있다.
설정된 촬영수의 시분할 화상이 촬영된 후, 하나의 차광 화상이 촬영되도록 제어하는 차광 촬영 제어부를 더 구비할 수 있다. 또한 감산 처리부는 각 시분할 화상으로부터 각각 하나의 차광 화상을 감산 처리해도 된다.
각 시분할 화상이 촬영될 때마다 차광 화상이 촬영되도록 제어하는 차광 촬영 제어부를 더 구비할 수 있다. 또한 감산 처리부는 차광 화상이 촬영될 때마다 각 시분할 화상으로부터 각 차광 화상을 감산 처리해도 된다.
최초의 시분할 화상이 촬영된 후 제1 차광 화상이 촬영되고, 최후의 시분할 화상이 촬영된 후 제2 차광 화상이 촬영되도록 제어하는 차광 촬영 제어부와, 제1 차광 화상의 휘도 데이터와 제2 차광 화상의 휘도 데이터를 보간 계산함으로써 최초의 시분할 화상이 촬영된 제1 시점과 최후의 시분할 화상이 촬영된 제2 시점 사이의 각 시분할 화상의 촬영 시점에 대응하는 차광 화상을 생성하는 차광 화상 보간부를 더 구비할 수 있다. 또한 감산 처리부는 각 시분할 화상으로부터 각 시분할 화상의 촬영 시점에 대응하는 차광 화상을 감산 처리해도 된다. 상기 제1 시점과 제2 시점 사이에서 보간 계산을 수행한 것과 동일하게 제1 시점과 제2 시점 사이의 임의 시점에서의 차광 화상을 촬영하고, 각 시점에서 촬영된 차광 화상에 기초하여 제1 시점과 제2 시점 사이의 임의 시점에 대응하는 차광 화상을 보간 계산에 의해 산출해도 된다. 물론, 임의 시점은 하나의 시점에 한정되지 않으며 복수시점이어도 좋다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태에 대해서 상세히 설명한다. 더욱이, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 구성 요소에 대해서는 동일한 부호를 부가함으로써 중복 설명을 생략한다.
도 1을 참조하면서 본 발명의 실시형태에 따른 촬상 장치의 구성에 대해서 설명한다.
본 발명의 실시형태에 따른 촬상 장치는, 광학계(102), 드라이버(104, 106, 108), 타이밍 제어부(110), CCD(Charge Coupled Device)(112)와, 상관이중샘플링 회로(Correlated Double Sampling: CDS) / 증폭기(Amplifier: AMP)(114), A/D 변환부(116), 화상 입력 제어부(118), CPU(Central Processing Unit)(120), 조작부(122), 화상 신호 처리부(124), VRAM(Video Random Access Memory)(126), 압축 처리부(128), 메모리(130), 표시부(132), LCD(Liquid Crystal Display)드라이버(134), 기록 미디어 제어부(136), 및 기록 미디어(138)에 의해 구성된다.
광학계(102)는 렌즈를 통하여 피사체를 CCD(112)에 결상시킨다. 드라이버(104)는 광학계(102)의 줌 기구를 구동한다. 드라이버(106)는 광학계(102)의 조리개 기구를 구동한다. 드라이버(108)는 광학계(102)의 초점 기구를 구동한다. 타이밍 제어부(110)는 CCD(112)를 구성하는 각 화소에 의한 노광기간의 제어나 전하 읽기의 제어를 수행한다. CCD(112)는 광전변환이 가능한 소자에 의해 구성되고, 각 소자가 받은 빛에 따라서 전기 신호를 생성한다. CDS/AMP(114)는 CCD(112)로부터 얻은 전기 신호에 포함되는 저주파 노이즈를 제거하는 동시에 전기 신호를 일정 레벨까지 증폭한다. A/D 변환부(116)는 아날로그 전기 신호를 디지탈 신호로 변환한다. 화상 입력 제어부(118)는 CPU(120)로부터의 동작 명령을 받아 화상의 입력에 관계되는 CCD(112), CDS/AMP(114), 및 A/D 변환부(116)의 동작을 제어한다. 조작부(122)는 전원 스위치, 모드 전환 수단, 및 셔터 버튼 등으로 구성되고, 사용자가 셔터 속도 및 ISO 감도 등을 설정하기 위해서 사용된다. 또한 화상 신호 처리부(124)는 자동노광제어(Automatic Exposure: AE)에 의해 설정된 노광량의 평가치를 산출하는 동시에 자동초점 제어(Auto-Focus: AF)에 의해 설정된 초점거리의 평가치를 산출한다.
VRAM(126)은 화상 표시용 메모리로 표시 화상의 기록과 표시부(132)에의 표시를 동시에 실행할 수 있도록 복수의 채널을 가지는 메모리에 의해 구성된다. 압축 처리부(128)는 입력 화상 데이터를 JPEG압축 형식 또는 LZW압축 형식 등의 형식으로 압축 처리한다. 메모리(130)는 SDRAM(Synchronous DRAM) 등의 반도체 기억 소자에 의해 구성되어 있을 수 있고 시분할 촬영된 고속 셔터 화상이 저장된다. 또한 화상 신호 처리부(124)에 의해 합성된 합성 화상이 기록될 수 있고, CPU(120)의 동작 프로그램이 저장될 수도 있다. 또한 촬영된 노광 화상 또는 차광 화상에서 추출된 특징점을 기억하는 특징점 추출부로서의 역할을 하도록 할 수 있다.
표시부(132)는 LCD 등의 표시 수단에 의해 구성되고 VRAM(126)부터 읽은 화상이 표시된다. LCD드라이버(134)는 표시부(132)를 구동하고 표시부(132)의 출력을 제어한다.
기록 미디어 제어부(136)는 기록 미디어(138)에의 화상 데이터의 기록 또는 기록 미디어(138)에 기록된 화상 데이터나 설정 정보 등의 읽기(read)를 제어한다. 기록 미디어(138)는 광학식 기억 매체, 광자기 디스크, 자기 디스크, 또는 반도체 기억 매체 등에 의해 구성되고, 촬영된 화상 데이터를 기록할 수 있다. 또한 기록 미디어(138)는 해당 촬상 장치로부터 착탈가능하게 구성될 수 있다.
도 2를 참조하면, CPU(120)는 노광 제어부(502), 분할 촬영수 설정부(504), 노광 촬영부(506), 차광 촬영부(508), 차광 촬영 제어부(510), 및 차광 화상 보간부(512)를 포함한다. 즉, 상기 각 부가 맡는 기능은 CPU(120)에 의해 실현된다. 물론, 상기 각 부는 별개의 하드웨어 블록으로 구성될 수 있다. 노광 제어부(502)는 피사체의 명도에 기초하여 적정 노광이 얻어지는 적정 셔터 속도를 결정한다. 즉, 자동노광제어를 실현한다. 분할 촬영수 설정부(504)는 시분할 촬영을 실행하기 위해서, 적정 셔터 속도보다 고속인 고속 셔터 속도가 설정되어 있는 경우, 적정 셔터 속도 값을 고속 셔터 속도 값으로 나누어 촬영된 시분할 화상을 합성함으로써 적정 노광에 필요한 광분량을 확보할 수 있는 촬영 매수를 산출한다.
노광 촬영부(506)는 노광 상태에 있어서, 고속 셔터 속도에 의해 시분할 화상을 촬영한다. 이 촬영 동작 제어는 CPU(120)에 의해 수행되지만, 촬영 자체는 광학계(102), CCD(112), 화상 입력 제어부(118) 등의 각 부에 의한 제어를 통해서도 된다. 차광 촬영부(508)는 차광 상태에 있어서 고속 셔터 속도에 의해 적어도 하나의 차광 화상을 촬영한다. 후술하는 바와 같이, 차광 화상은 모든 시분할 화상의 촬영이 완료된 후 한 화상만 촬영되어도 되고 각 시분할 화상의 촬영마다 촬영되어도 된다. 물론, 최초의 시분할 화상의 촬영 직후에 차광 화상이 촬영되어도 된다. 이와 같은 차광 화상의 촬영 동작에 대해서 제어하는 것이 차광 촬영 제어부(510)이다.
차광 화상 보간부(512)는 복수의 차광 화상으로부터 보간 화상을 생성한다. 보다 상세하게는, 어느 2 이상의 시점에서 촬영된 복수의 차광 화상의 각 화소에 대응하는 휘도값의 시계열 데이터로부터 촬영 시점 사이의 임의 시점에 대응하는 휘도값이 선형 보간 또는 비선형 보간에 의해 산출된다. 보간 계산에 의해 각 화소에 대응하는 휘도값이 산출되면, 이 각 화소의 휘도값을 가지는 차광 화상이 생성될 수 있다.
도 3을 참조하면, 화상 신호 처리부(124)는 감산 처리부(602), 특징점 추출부(604), 화상 합성부(606)를 더 포함한다. 감산 처리부(602)는 하나의 시분할 화상으로부터 하나의 차광 화상을 감산 처리하여 차분 화상을 생성한다. 즉, 하나의 시분할 화상에 포함되는 각 화소의 휘도값으로부터 이 각 화소에 대응하는 차광 화상의 각 화소의 휘도값을 감산함으로써 차분 화상의 각 화소의 휘도값을 산출한다. 특징점 추출부(604)는 각 시분할 화상 또는 각 차분 화상에 포함되는 각 화소의 특징점을 추출한다. 즉, 인접하는 화소 사이에서 휘도값의 차분을 산출하고 그 차분값이 큰 점을 검출한다. 특히, 피사체 화상의 에지 부분 등이 검출되고, 각 화상마다 특징점으로서 추출된다. 화상 합성부(606)는 상기 여러 처리를 거쳐 생성된 각 차분 화상을 합성하여 합성 화상을 생성한다.
이상, 본 발명의 실시형태에 따른 촬상 장치의 구성에 대해서 설명하였다. 이하, 이 촬상 장치에 의한 촬상 방법에 대해서 설명한다.
우선, 일반적인 전자 손떨림 보정 방법에 대해서 구체적인 사례를 들어 설명한다. 일례로, 셔터 속도 1/8초, F치 2.8의 경우에 적정 노광이 얻어지는 장면에 대해서 살펴본다. 통상, 초점거리가 길어질수록 손떨림이 발생하기 쉽지만, 초점거리가 짧은 경우에서도 셔터 속도 1/8초 정도의 경우에는 손에 들고 촬영하면 손떨림이 발생하게 된다. 초점거리가 28mm정도의 경우이면 1/64초 정도의 셔터 속도로 촬영함으로써 손떨림을 억제할 수 있다. 그래서, 전자 손떨림 보정 기능을 구현한 촬상 장치는 1/8초의 셔터 속도로 촬영하는 대신에 손떨림이 발생하기 어려운 1/64초의 셔터 속도로 8매의 화상을 촬영하고 화상을 합성함으로써 손떨림을 억제한다.
일반적으로, 손떨림이 발생하기 쉬워지는 셔터 속도의 기준은 35mm필름 카메라의 초점거리로 환산하였을 때의 초점거리[mm]의 역수 초보다 길다. 예를 들어, 초점거리가 200mm의 때는 1/200초이다. 또한 촬영자가 주밍(zooming)함에 따라서 손떨림이 발생하기 쉬워지기 때문에 고속의 셔터 속도가 요구된다.
도 4에는, 셔터 속도 1/64초로 촬영된 화상과 셔터 속도1/8초로 촬영된 화상을 모식적으로 도시하였다. A도와 같이, 1/64초의 고속 셔터 속도로 촬영된 화상은 노광량이 적고 전체적으로 어두운 화상이 된다. 그러나, 상술한 바와 같이, A도에 나타낸 고속 셔터 화상을 8매 합성함으로써 B도와 같은 명도의 화상이 생성된다. 이 때, 각 화상의 특징점이 추출되고, 특징점을 기준으로 화상의 합성이 행해진다(도 5). 이 처리에 의해 손떨림이 보정된다.
이와 같이 적정 노광이 얻어지는 셔터 속도보다도 충분히 고속인 셔터 속도에 의해 복수의 시분할 화상을 촬영하여 합성하는 전자 손떨림 보정 기능은 저휘도 장면에서 유효하다. 고속 셔터 속도는 촬상소자의 감도나 사이즈, 대응하는 초점거리 등의 여러 조건에 의해 제한이 있지만, 상기 예와 같이 충분히 손떨림을 억제할 수 있다고 생각되는 셔터 속도를 미리 설정해 놓아도 된다. 적정 노광이 얻어지는 적정 셔터 속도는 자동노광제어에 의해 설정된다. 따라서, 고속 셔터에 의해 시분할 촬영되는 촬영 매수는 적정 셔터 속도를 소정의 고속 셔터 속도에 의해 나눔으로써 산출 가능하다. 물론, 고속 셔터 속도 또는 시분할 촬영되는 촬영 매수는 사용자가 적절히 설정 가능하게 구성해도 된다. 또한 피사체의 명도, 사용하는 광학계의 종류 등에 따라 설정되도록 구성해도 된다.
그런데, 상기 특징점은 화상에 포함되는 각 화소의 휘도 데이터를 해석하고, 인접하는 화소 사이에서 휘도값이 크게 다른 에지 부분을 검출함으로써 추출할 수 있다. 즉, 화소의 위치 좌표에 대해서 휘도값을 플롯(plot)하고 플롯된 각 점을 이은 휘도 그래프에 대해서, 각 점의 미분값을 계산하고 미분값이 최대가 되는 점을 특징점으로 해도 좋다. 물론, 상기 미분값에 기초하여 여러 특징점이 추출될 수도 있고, 이 특징점의 위치가 일치하도록 각 고속 셔터 화상이 합성될 수도 있다. 이 때, 각 고속 셔터 화상은 그 위치가 쉬프트(shift)될 뿐만 아니라 회전 되어도 좋다.
이상, 일반적인 전자 손떨림 보정 방법에 대해서 설명하였다. 다음으로, 차광 화상을 감산하여 고정 패턴 노이즈를 억제하는 노이즈 저감 방법에 대해서 간단 히 설명한다. 도 6에 이 고정 패턴 노이즈 억제 방법의 모식도를 나타내었다. 부호 202는 노광 화상을 나타낸다. 부호 204는 차광 화상을 나타낸다. 부호 206은 노광 화상(202)으로부터 차광 화상(204)을 감산한 차분 화상을 나타낸다.
통상, 저휘도 촬영 장면에 있어서는, 충분한 노광량을 확보하기 위해 장시간 노광이 행해진다. 일반적으로 CCD나 CMOS 등의 촬상소자에는 암 노이즈(dark noise)라고 불리는 고정 패턴의 노이즈가 발생한다. 특히, 장시간 노광을 행하면 온도 상승에 따라 고정 패턴 노이즈가 현저해진다. 예를 들어, 차광 화상(202)에 나타낸 바와 같이, 전체에 노이즈가 섞이는 동시에 부분적으로 노광오버 화상과 비슷한 밝은 줄무늬가 혼입되기도 한다. 물론, 노이즈의 형태는 이것에 한정되지 않음은 말할 것도 없다. 그래서, 차광 화상(204)을 촬영하고 노광 화상(202)으로부터 차광 화상(204)을 감산하는 처리가 행해진다. 그 결과, 차분 화상(206)과 같이 노이즈가 제거된다.
그러나, 시분할 화상을 합성하여 손떨림을 억제하는 전자 손떨림 보정 기능을 조합한 경우는, 상술한 바와 같은 노이즈 저감 효과를 얻을 수 없다. 예를 들어, 도 7에 도시한 바와 같이, 고정 패턴 노이즈가 포함된 시분할 화상을 합성하여 전자 손떨림 보정을 실행한 후, 차광 화상의 감산을 수행하는 경우에 대해서 생각해 본다. 부호 302는 고속 셔터를 사용하여 촬영된 시분할 화상을 합성하는 과정이다. 노광 상태에서 촬영된 각 시분할 화상에는 각각 고정 패턴 노이즈가 혼입되어 있다. 그러나, 전자 손떨림 보정에 있어서는 피사체의 화상으로부터 특징점을 검출하여 화상을 합성하기 때문에 고정 패턴 노이즈를 분산시켜 합성해 버리게 된다. 그 결과, 합성 화상(304)에는 분산된 고정 패턴 노이즈가 중첩되어 확대된 노이즈가 발생하게 된다. 이 합성 화상(304)으로부터 차광 화상(306)을 감산하면 확대된 노이즈의 일부를 제거할 수 없을 뿐만 아니라 차광 화상(306)에 포함된 노이즈의 영향에 의해 새로운 노이즈가 발생하는 결과(308)가 된다.
이와 같이 전자 손떨림 보정 기능과 고정 패턴 노이즈 저감 기능을 단순하게 조합하는 것 만으로는 충분한 노이즈 저감 효과를 얻을 수 없다. 그래서, 본 발명의 실시형태에 따른 촬상 장치에 있어서는, 각 시분할 화상으로부터 각각 차광 화상을 감산하여 노이즈 저감 처리를 하고 그 후 시분할 화상을 합성하는 처리방법이 실현된다.
(제1 실시형태)
우선, 본 발명의 제1 실시형태에 따른 촬상 방법에 대해서 도 8을 참조하면서 설명한다. 도 8은 고속 셔터를 사용하여 촬영된 시분할 화상으로부터 차광 화상을 감산하는 과정을 나타내는 모식도이다.
부호 402, 404, 406은 시분할 촬영된 각 고속 셔터 화상을 나타낸다. 또한 부호 408은 차광 상태에서 촬영된 차광 화상을 나타낸다. 차광 화상(408)은 노광 상태에서 촬영된 각 고속 셔터 화상(402, 404, 406)과 동일한 셔터 속도로 촬영된 화상이다. 본 실시형태에 있어서는, 각 고속 셔터 화상(402, 404, 406)으로부터 각각 차광 화상(408)을 감산하여 차분 화상을 작성한 후, 상기 모든 차분 화상을 합성하여 합성 화상(410)을 생성한다.
여기서, 도 9를 참조하면서 상기 노이즈 저감 처리 흐름에 대해서 간단히 정 리한다. 도 9는 본 실시형태에 따른 촬상과정을 나타낸 흐름도이다. 노광 상태에 있어서, 적정 노광이 얻어지는 적정 셔터 속도는 자동노광제어에 의해 미리 산출되어 있는 것으로 한다. 또한 고속 셔터 속도는 미리 설정되어 있는 것으로 한다. 뿐만 아니라, 노광 상태에서 촬영되는 고속 셔터 화상의 촬영 매수(n)는 이 고속 셔터 화상을 합성함으로서 적정 노광량이 얻어지도록 상기 적정 셔터 속도와 소정의 고속 셔터 속도의 비율로부터 산출되어 있는 것으로 한다. 이후, 단순히 고속 셔터 화상라고 하는 경우에는 비노광 상태에서 촬영된 고속 셔터 화상을 나타내는 것으로 한다. 또한 차광 화상에 대해서도 고속 셔터 화상과 동일한 셔터 속도로 촬영되는 것으로 하고 단순히 차광 화상으로 표현한다. 차광 화상이 촬영되는 타이밍은 최초 또는 마지막으로 한정되는 것은 아니며 노광 화상을 연속하여 촬영하는 도중 시점에서 촬영될 수도 있다.
우선, 노광 상태에서 고속 셔터 촬영이 행해지고 n매의 고속 셔터 화상이 메모리에 저장된다(S102, S104, S106). 뿐만 아니라, 모든 고속 셔터 화상이 메모리에 저장된 후 1매의 차광 화상이 촬영되어 메모리에 저장된다(S108). 차광 화상의 저장이 완료되면, 각 고속 셔터 화상으로부터 각각 차광 화상이 감산 처리되고, 차분 화상이 생성된다(S110, S112, S114). 이 때, 감산 처리되는 차광 화상은 공통이다. 각 차분 화상으로부터는 피사체의 휘도값 등을 기초로 특징점이 추출되고 이 특징점을 기준으로 모든 차분 화상이 합성된다(S116).
(제2 실시형태)
다음으로, 본 발명의 제2 실시형태에 따른 촬상 방법에 대해서 도 10을 참조 하면서 설명한다. 도 10은 본 실시형태에 따른 촬상과정을 나타낸 흐름도이다. 상기 실시 형태와 중복되는 부분에 대한 설명은 생략한다.
제1 실시형태에 있어서는, 소요 촬영 매수(n)에 대해서 노광 상태에서 고속 셔터 촬영이 행해져 들어온 후 차광 화상이 촬영되어 들어오고, 각 차분 화상이 생성되었다. 본 실시형태에서는 고속 셔터 화상이 1매 촬영되어 메모리에 저장될 때마다(S204), 차광 화상이 촬영되어 메모리에 저장된다(S206). 더욱이, 각 차광 화상이 저장될 때마다 고속 셔터 화상으로부터 차광 화상이 감산처리되고 차분 화상이 생성된다(S208). 차분 화상이 생성된 후는 생성에 사용한 고속 셔터 화상과 차광 화상은 메모리에서 삭제해도 된다. 이 처리가 소요 촬영 매수(n)만큼 반복된다(S202, S210). 그 후, 각 차분 화상으로부터 특징점이 추출되고 이 특징점을 기준으로 모든 차분 화상이 합성된다(S212).
본 실시형태에 따른 촬상 방법은 제1 실시형태에 따른 촬상 방법과 비교하여 처리 시간이 여분으로 필요한 데다가 필요한 메모리 용량도 크다는 단점이 있다. 그러나, 고속 셔터 화상과 차광 화상을 촬영하는 시간 차가 작기 때문에 고속 셔터 화상을 촬영한 시점의 노이즈 상황이 차광 화상에 여실히 반영된다고 생각되고 고정밀도의 노이즈 저감 효과를 기대할 수 있다.
(제3 실시형태)
다음으로, 본 발명의 제3 실시형태에 따른 촬상 방법에 대해서 도 11을 참조하면서 설명한다. 도 11은 본 실시형태에 따른 촬상과정을 나타낸 흐름도이다. 상기 실시 형태와 중복되는 부분에 대한 설명은 생략한다.
상술한 한 바와 같이, 제1 실시형태는 차광 화상의 촬상매수가 1매로 되기 때문에 고속 노이즈 저감 처리가 가능하며 필요한 메모리 용량이 적어도 된다. 한편, 제2 실시형태는 고속 셔터 화상과 차광 화상의 촬영 시점의 시간 차가 적고, 고정밀도의 노이즈 저감 효과를 기대할 수 있다. 그래서, 본 실시형태에 따른 촬상 방법은, 첫 번째(1매째) 고속 셔터 화상의 촬영 후에 제1 차광 화상을 촬영하고, 마지막(n매째) 고속 셔터 화상의 촬영 후에 제2 차광 화상을 촬영하고, 제1 차광 화상과 제2 차광 화상을 기초로 보간 계산하여 나머지의 차광 화상을 생성하는 것을 특징으로 한다. 이후, q매째에 촬영된 화상을「화상(q)」라고 표현한다.
우선, 고속 셔터 화상(1)이 촬영되어 메모리에 저장된다(S302). 또한, 차광 화상(1)이 촬영되어 메모리에 저장된다(S304). 그 후, 고속 셔터 화상(1)으로부터 차광 화상(1)이 감산 처리되고 차분 화상(1)이 생성된다(S306).
다음으로, 고속 셔터 화상(q)(q=2∼n-1)이 촬영되고 메모리에 저장된다(S308, S310, S312). 그 후, 고속 셔터 화상(n)이 촬영되고 메모리에 저장된다(S314). 또한, 차광 화상(n)이 촬영되어 메모리에 저장된 후(S316), 고속 셔터 화상(n)으로부터 차광 화상(n)이 감산 처리되고 차분 화상(n)이 생성된다(S318).
그 후, 차광 화상(1)과 차광 화상(n)에 기초하여 고속 셔터 화상(q)(q=2∼n-1)에 대응하는 차광 화상(q)이 생성된다(S320). 보다 상세하게는, 고속 셔터 화상(q)이 촬영되어 메모리에 저장된 시점(q)에서의 차광 화상(q)을 보간 계산에 의해 산출한다. 통상, 화상내에서의 고정 노이즈의 위치는 거의 변화하지 않는다. 그러나, 촬영 시간이 길어지면 고정 노이즈의 휘도가 변화한다. 그래서, 차광 화 상(1)의 각 화소에서의 휘도값과 대응하는 차광 화상(n)의 각 화소에서의 휘도값을 시계열 데이터로서 플롯하고, 두 점 사이를 직선으로 연결함으로써 임의의 시점에 대응하는 차광 화상의 휘도값이 얻어진다. 즉, 차광 화상(1)과 차광 화상(n) 사이의 선형보간이 가능하다. 동일 시간 간격으로 고속 셔터 촬영을 하는 경우에는, 단순히 두 점 사이를 촬영 매수로 등분함으로써 각 차광 화상(q)의 휘도값이 산출된다. 물론, 촬영 시간에 대한 휘도값의 변화를 나타내는 특성 곡선을 알고 있는 경우에는, 두 점 사이를 이 특성 곡선에 의해 보간하고 각 차광 화상을 산출해도 된다. 또한 소정의 비선형 함수에 의해 보간하는 것도 가능하다. 예를 들어, m(≥2)차함수에 의해 보간할 수도 있다. 이와 같이 소정의 특성 곡선 또는 직선을 이용하는 경우에는, 촬영하는 차광 화상의 촬영 타이밍 및 매수에 특단의 제한은 없고, 도중에 받은 차광 화상의 레벨에 기초하여 쉬프트시키거나 증폭시킴으로써 대응 가능하다. 복수의 차광 화상을 소정의 간격(프레임수)를 두어 복수의 차광 화상을 촬영한 경우에 촬영되지 않고 건너뛴 프레임에 대응하는 차광 화상을 시간적으로 가장 가까운 차광 화상에 의해 대체하여 이용해도 된다.
상기 보간 계산에 의해, 차광 화상(q)(q=2∼n-1)이 생성되면 고속 셔터 화상(q)으로부터 차광 화상(q)이 감산 처리되고 차분 화상(q)이 생성된다(S322, S324, S326). 그 후, 차분 화상(1)∼차분 화상(n)의 각 화상으로부터 특징점이 추출되고, 이 특징점을 기준으로 상기 모든 차분 화상이 합성된다(S328). 이와 같이 보간된 차광 화상을 이용하여 차분 화상을 생성함으로써 정밀도를 희생하는 일 없이 고속 노이즈 저감 처리를 실행할 수 있다.
(제4 실시형태)
다음으로, 본 발명의 제4 실시형태에 따른 촬상 방법에 대해서 도 12를 참조하면서 설명한다. 도 12는 본 실시형태에 따른 촬상 과정을 나타낸 흐름도이다. 상기 실시 형태와 중복되는 부분에 대한 설명은 생략한다.
제3 실시형태에서는, 차광 화상(1)과 차광 화상(n)으로부터 중간 시점의 차광 화상(q)(q=2∼n-1)을 보간 계산에 의해 생성하고, 각 고속 셔터 화상으로부터 감산 처리함으로써 노이즈 저감 처리를 실시하는 방법에 대해서 설명하였다. 그러나, 이 방법에 의하면 노이즈의 증가 특성에 강한 비선형성이 있는 경우에는 기대한 노이즈 저감 효과를 얻을 수 없는 문제가 있다. 물론, 특성 곡선을 이미 알고 있는 경우에는 문제 없지만 촬상 장치의 사용 환경 등에 따라, 노이즈의 증가 특성이 다를 수도 있고 유효하지 않은 경우도 있다. 그래서, 본 실시형태에 있어서는 보간 계산 기준이 되는 화상수를 증가시켜서 특성 곡선의 비선형성에 대응하는 것을 특징으로 한다.
우선, 고속 셔터 화상(1)이 촬영되어 메모리에 저장된다(S402). 또한 차광 화상(1)이 촬영되어 메모리에 저장된다(S404). 그 후, 고속 셔터 화상(1)으로부터 차광 화상(1)이 감산 처리되고 차분 화상(1)이 생성된다(S406).
다음으로, 고속 셔터 화상(q)(q=2∼k-1;이하, 3≤k≤n-2, n≥5)이 촬영되고 메모리에 저장된다(S408, S410, S412). 그 후, 고속 셔터 화상(k)이 촬영되고 메모리에 저장된다(S414). 또한, 차광 화상(k)이 촬영되어 메모리에 저장된다(S416).
다음으로, 고속 셔터 화상(q)(q=k+1∼n-1)이 촬영되고 메모리에 저장된 다(S418, S420, S422).
그 후, 차광 화상(1)과 차광 화상(k) 사이의 보간 계산에 기초하여 차광 화상(2)∼차광 화상(k-1)이 생성된다(S424). 또한, 차광 화상(k)과 차광 화상(n) 사이의 보간 계산에 기초하여 차광 화상(k+1)∼차광 화상(n-1)이 생성된다(S426). 보간 계산에 대해서는 제3 실시형태와 동일하다.
상기 보간 계산에 의해, 차광 화상(q)(q=2∼k-1, k+1∼n-1)이 생성되면 고속 셔터 화상(q)으로부터 차광 화상(q)이 감산 처리되고 차분 화상(q)이 생성된다(S428, S430, S432). 그 후, 차분 화상(1)∼차분 화상(n)의 각 화상으로부터 특징점이 추출되고, 이 특징점을 기준으로 하여 상기 모든 차분 화상이 합성된다(S434). 이와 같이 3 이상의 보간된 차광 화상을 이용하여 차분 화상을 생성함으로써 노이즈의 증가 특성이 비선형이더라도 고정밀도의 노이즈 저감 처리를 실행할 수 있다. 이상, 3 시점에서 촬영된 차광 화상을 기초로 보간 계산하는 방법에 대해서 설명하였으나 반드시 3 시점에 한정되지 않는다. 노이즈 증가 특성에 보다 강한 비선형성이 나타나는 것을 알고 있는 경우에는 보다 많은 시점에서 촬영된 차광 화상을 사용하여 보간 계산해도 된다. 또한 k의 결정 방법은 예를 들어, 1과 n의 중간으로 설정해도 되지만 노이즈 증가 특성에 맞추어서 빠른 시점 또는 늦은 시점으로 설정되어도 된다.
(제5 실시형태)
다음으로, 본 발명의 제5 실시형태에 따른 촬상 방법에 대해서 도 13을 참조하면서 설명한다. 도 13은 본 실시형태에 따른 촬상과정을 나타낸 모식도이다. 상 기 실시 형태와 중복되는 부분에 관한 설명은 생략한다.
상기 제1∼4 실시형태에 따른 촬상 방법은 모두 각 고속 셔터 화상으로부터 각 차광 화상을 감산 처리하여 각 차분 화상을 생성한 다음에 차분 화상의 합성을 수행하고 있다. 그래서, 본 실시형태에서는 특징점에 의해 위치 조정된 고속 셔터 화상이 합성된 후, 위치 조정된 차광 화상이 합성되고 양 합성 화상을 기초로 차분 화상이 생성됨으로써 노이즈 저감 처리가 실시된다. 따라서, 제5 실시형태에 따른 촬상 방법은 제1∼4 실시형태의 촬상 방법에 의해 얻어진 차광 화상에 대해서 적용 가능하다. 이 경우, 추출된 각 고속 셔터 화상의 특징점을 기초로 위치 조정을 하기 위한 각 화상의 화소 이동량이나 회전각 등의 보정 정보를 유지해 놓는다. 유지해 놓은 보정 정보를 기초로 차광 화상이 위치 조정되어 차광 합성 화상이 생성되는 동시에 고속 셔터 화상의 합성 화상이 생성되고, 이 합성 화상으로부터 이 차광 합성 화상이 감산 처리됨으로써 노이즈 저감된 화상이 생성된다. 이와 같이 감산 처리를 한 번에 완료할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시형태에 대해서 설명했으나, 본 발명은 이러한 예에 한정되지 않음은 말할 것도 없다. 당 분야에서 통상의 지식을 가진 자라면 특허 청구 범위에 기재된 범주에서 각종 변경예 또는 수정예에 도달할 수 있음은 명백하고, 그것들에 관해서도 당연히 본 발명 기술적 범위에 속한다고 이해된다.
본 발명에 따르면, 본 발명에 의하면 화상에 포함되는 노이즈를 저감할 수 있다. 특히, 전자 손떨림 보정을 행하면서도 노이즈를 저감할 수 있다.

Claims (10)

  1. 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자적으로 손떨림을 보정할 수 있는 촬상 장치에 있어서,
    노광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광 촬영부;
    차광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영부;
    상기 시분할 노광에 의해 촬영된 각 노광 화상으로부터 상기 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리부; 및
    상기 연속하여 촬영된 복수의 화상을 합성하는 화상 합성부를 구비하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 차광 촬영부는,
    상기 시분할 노광에 의해 1매의 차광 화상을 촬영하고,
    상기 감산 처리부는,
    상기 시분할 노광에 의해 촬영된 각 노광 화상으로부터 상기 1매의 차광 화상을 감산하여 노이즈 억제 처리하는 것을 특징으로 하는 촬상 장치.
  3. 제1 항에 있어서,
    상기 노광 촬영부와 상기 차광 촬영부는,
    상기 노광 화상과 상기 차광 화상을 번갈아 촬영하고,
    상기 감산 처리부는,
    상기 각 차광 화상으로부터 각각 상기 각 노광 화상이 촬영된 직후에 촬영된 각 차광 화상을 감산하여 노이즈 억제 처리하는 것을 특징으로 하는 촬상 장치.
  4. 제1 항에 있어서,
    적어도 2매의 차광 화상에 기초하여 보간 계산하고, 상기 차광 화상이 촬영된 시점 사이의 적어도 한 시점에 대응하는 차광 화상을 생성하는 차광 화상 보간부를 더 구비하고,
    상기 감산 처리부는,
    상기 노광 화상으로부터 상기 보간 계산에 의해 산출된 차광 화상을 감산하여 노이즈 억제 처리하는 것을 특징으로 하는 촬상 장치.
  5. 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자 손떨림을 보정할 수 있는 촬상 장치에 있어서,
    노광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광 촬영부;
    차광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 차광 화상을 촬 영하는 차광 촬영부;
    상기 각 노광 화상에서 특징점을 추출하는 특징점 추출부;
    상기 특징점의 위치를 기억하는 특징점 기억부;
    상기 특징점이 일치하도록 상기 노광 화상을 쉬프트하여 합성하고, 상기 노광 화상의 쉬프트량에 따라 상기 각 노광 화상에 대응하는 상기 차광 화상을 쉬프트하여 합성하는 화상 합성부; 및
    상기 합성된 노광 화상으로부터 상기 합성된 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리부를 구비하는 것을 특징으로 하는 촬상 장치.
  6. 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자 손떨림을 보정할 수 있는 촬상 방법에 있어서,
    노광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 노광 화상을 촬영하는 노광 촬영 과정;
    차광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 차광 화상을 촬영하는 차광 촬영 과정;
    상기 연속하여 촬영된 복수의 화상을 합성하는 화상 합성 과정; 및
    상기 시분할 노광에 의해 촬영된 각 노광 화상으로부터 상기 차광 화상을 감산하여 노이즈 억제 처리하는 감산 처리 과정을 포함하는 것을 특징으로 하는 촬상 방법.
  7. 제6항에 있어서,
    상기 차광 촬영 과정에서는,
    상기 시분할 노광에 의해 하나의 차광 화상이 촬영되고,
    상기 감산 처리 과정에서는,
    상기 시분할 노광에 의해 촬영된 각 노광 화상으로부터 상기 하나의 차광 화상이 감산되어 노이즈 억제 처리되는 것을 특징으로 하는 촬상 방법.
  8. 제6항에 있어서,
    상기 노광 촬영 과정과 상기 차광 촬영 과정에 있어서,
    상기 노광 화상과 상기 차광 화상이 번갈아 촬영되고,
    상기 감산 처리 과정에서는,
    상기 각 차광 화상으로부터, 각각 상기 각 노광 화상이 촬영된 직후에 촬영된 각 차광 화상이 감산되어 노이즈 억제 처리되는 것을 특징으로 하는 촬상 방법.
  9. 제6항에 있어서,
    적어도 두 차광 화상에 기초하여 보간 계산되고, 상기 차광 화상이 촬영된 시점 사이의 적어도 한 시점에 대응하는 차광 화상이 생성되는 차광 화상 보간 과정을 더 포함하고,
    상기 감산 처리 과정은,
    상기 노광 화상으로부터 상기 보간 계산에 의해 산출된 차광 화상이 감산되 어 노이즈 억제 처리되는 것을 특징으로 촬상 방법.
  10. 시분할 노광하여 촬영된 복수의 화상을 합성하여 전자 손떨림을 보정할 수 있는 촬상 방법에 있어서,
    노광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 노광 화상이 촬영되는 노광촬영 과정;
    차광 상태에 있어서 상기 시분할 노광에 의해 적어도 하나의 차광 화상이 촬영되는 차광 촬영 과정;
    상기 각 노광 화상으로부터 특징점이 추출되는 특징점 추출 과정;
    상기 특징점의 위치가 기억되는 특징점 기억 과정;
    상기 특징점이 일치하도록 상기 노광 화상이 쉬프트되어 합성되고, 상기 노광 화상의 쉬프트량에 따라 상기 각 노광 화상에 대응하는 상기 차광 화상이 쉬프트되어 합성되는 화상 합성 과정; 및
    상기 합성된 노광 화상으로부터 상기 합성된 차광 화상이 감산되어 노이즈 억제 처리되는 감산 처리 과정을 포함하는 것을 특징으로 하는 촬상 방법.
KR1020060102035A 2006-04-03 2006-10-19 촬상장치 및 촬상방법 KR100819809B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00101423 2006-04-03
JP2006101423A JP4662880B2 (ja) 2006-04-03 2006-04-03 撮像装置，及び撮像方法

Publications (2)

Publication Number Publication Date
KR20070099403A true KR20070099403A (ko) 2007-10-09
KR100819809B1 KR100819809B1 (ko) 2008-04-07

Family

ID=38559068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060102035A KR100819809B1 (ko) 2006-04-03 2006-10-19 촬상장치 및 촬상방법

Country Status (4)

Country Link
US (1) US7856174B2 (ko)
JP (1) JP4662880B2 (ko)
KR (1) KR100819809B1 (ko)
CN (1) CN101052101B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034109B1 (ko) * 2008-05-16 2011-05-13 가시오게산키 가부시키가이샤 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
KR101256961B1 (ko) * 2008-04-30 2013-04-26 캐논 가부시끼가이샤 촬상장치

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
CN101874408A (zh) * 2007-11-22 2010-10-27 日本电气株式会社 图像捕获设备、编码方法及程序
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
EP2321796B1 (en) * 2008-08-08 2016-12-28 Thomson Licensing Method and apparatus for detecting dark noise artifacts
US8334849B2 (en) * 2009-08-25 2012-12-18 Pixart Imaging Inc. Firmware methods and devices for a mutual capacitance touch sensing device
CN102131043B (zh) * 2010-01-19 2013-11-06 鸿富锦精密工业（深圳）有限公司 相机模组
KR101700363B1 (ko) * 2010-09-08 2017-01-26 삼성전자주식회사 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법
WO2013054402A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2013054403A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9377396B2 (en) 2011-11-03 2016-06-28 Verifood, Ltd. Low-cost spectrometry system for end-user food analysis
JP5678911B2 (ja) * 2012-03-12 2015-03-04 カシオ計算機株式会社 画像合成装置、その画像合成方法、及びプログラム
KR101933454B1 (ko) 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
JP6104060B2 (ja) * 2013-06-06 2017-03-29 オリンパス株式会社 撮像装置、撮像方法
JP6398257B2 (ja) 2013-06-27 2018-10-03 株式会社リコー 通信管理システム、通信端末、通信システム、およびプログラム
GB2529070B (en) 2013-08-02 2017-07-12 Verifood Ltd Spectrometer comprising a plurality of isolated optical paths
JP6126491B2 (ja) * 2013-08-08 2017-05-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2015101992A2 (en) 2014-01-03 2015-07-09 Verifood, Ltd. Spectrometry systems, methods, and applications
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9344638B2 (en) 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
EP3209983A4 (en) 2014-10-23 2018-06-27 Verifood Ltd. Accessories for handheld spectrometer
JP6370207B2 (ja) * 2014-12-17 2018-08-08 オリンパス株式会社 撮像装置、画像処理装置、撮像方法、およびプログラム
WO2016125165A2 (en) 2015-02-05 2016-08-11 Verifood, Ltd. Spectrometry system with visible aiming beam
USD750988S1 (en) 2015-02-05 2016-03-08 Verifood, Ltd. Sheath for a hand-held spectrometer
WO2016125164A2 (en) 2015-02-05 2016-08-11 Verifood, Ltd. Spectrometry system applications
USD751435S1 (en) 2015-02-05 2016-03-15 Verifood, Ltd. Hand-held spectrometer
JP6645494B2 (ja) * 2015-04-09 2020-02-14 ソニー株式会社 撮像装置および方法、電子機器、並びに車載用電子機器
US10066990B2 (en) 2015-07-09 2018-09-04 Verifood, Ltd. Spatially variable filter systems and methods
US10203246B2 (en) 2015-11-20 2019-02-12 Verifood, Ltd. Systems and methods for calibration of a handheld spectrometer
WO2018015951A1 (en) 2016-07-20 2018-01-25 Verifood, Ltd. Accessories for handheld spectrometer
US10791933B2 (en) 2016-07-27 2020-10-06 Verifood, Ltd. Spectrometry systems, methods, and applications
CN109816662B (zh) * 2017-11-22 2022-10-18 瑞昱半导体股份有限公司 前景影像提取的影像处理方法与电子装置
CN109788216B (zh) * 2018-12-26 2021-01-15 武汉市聚芯微电子有限责任公司 用于tof的抗干扰方法、装置及tof传感器芯片

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3394019B2 (ja) * 1990-10-08 2003-04-07 オリンパス光学工業株式会社 画像入力装置の露光制御回路
JPH0654262A (ja) * 1992-07-28 1994-02-25 Olympus Optical Co Ltd 高速度ビデオカメラにおける固定パターンノイズ抑圧方式
TW339418B (en) * 1995-11-30 1998-09-01 Sanyo Electric Co Method for controlling a video camera
JPH1169226A (ja) * 1997-08-14 1999-03-09 Konica Corp 電子カメラ
US6452633B1 (en) * 1998-02-26 2002-09-17 Foveon, Inc. Exposure control in electronic cameras by detecting overflow from active pixels
KR19990085269A (ko) * 1998-05-15 1999-12-06 윤종용 다단계 시분할 출력 방식을 이용한 시모스 이미지 센서
JP3031344B2 (ja) * 1998-07-29 2000-04-10 日本電気株式会社 撮像方法およびその装置
US6714241B2 (en) * 2001-04-25 2004-03-30 Hewlett-Packard Development Company, L.P. Efficient dark current subtraction in an image sensor
JP3510868B2 (ja) * 2001-06-19 2004-03-29 三洋電機株式会社 画像合成装置
JP2003087654A (ja) * 2001-09-14 2003-03-20 Ricoh Co Ltd 撮像装置
JP4027632B2 (ja) * 2001-10-03 2007-12-26 オリンパス株式会社 撮像装置
US6956978B2 (en) * 2002-03-12 2005-10-18 Hewlett-Packard Development Company, L.P. Multi-pass dark frame subtraction
JP4103129B2 (ja) * 2002-04-19 2008-06-18 ソニー株式会社 固体撮像装置および撮像方法
JP2004072438A (ja) * 2002-08-07 2004-03-04 Victor Co Of Japan Ltd メカニカルシャッターを用いたビデオカメラ
JP2004088560A (ja) * 2002-08-28 2004-03-18 Minolta Co Ltd 撮像装置
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2005045552A (ja) * 2003-07-22 2005-02-17 Canon Inc 撮像装置及び方法
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
JP4358606B2 (ja) * 2003-11-20 2009-11-04 オリンパス株式会社 インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法
JP4342926B2 (ja) * 2003-12-24 2009-10-14 三菱電機株式会社 画像入力方法および画像入力装置
JP2005295302A (ja) * 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP4507719B2 (ja) * 2004-06-25 2010-07-21 株式会社ニコン 画像処理装置および画像処理プログラム
JP2006005912A (ja) * 2004-05-17 2006-01-05 Olympus Corp 撮像装置、ノイズ除去方法およびノイズ除去プログラム
JP2006014117A (ja) * 2004-06-29 2006-01-12 Sony Corp 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2006050139A (ja) * 2004-08-03 2006-02-16 Canon Inc 光学機器
JP2006060628A (ja) * 2004-08-23 2006-03-02 Konica Minolta Holdings Inc 固体撮像装置
JP2006074693A (ja) * 2004-09-06 2006-03-16 Toshiba Corp 撮像装置
JP4677748B2 (ja) * 2004-09-15 2011-04-27 株式会社ニコン 撮像装置
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP4837406B2 (ja) * 2006-03-10 2011-12-14 オリンパスイメージング株式会社 電子的ぶれ補正装置および電子的ぶれ補正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256961B1 (ko) * 2008-04-30 2013-04-26 캐논 가부시끼가이샤 촬상장치
KR101034109B1 (ko) * 2008-05-16 2011-05-13 가시오게산키 가부시키가이샤 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체

Also Published As

Publication number Publication date
CN101052101B (zh) 2011-02-02
US7856174B2 (en) 2010-12-21
KR100819809B1 (ko) 2008-04-07
JP4662880B2 (ja) 2011-03-30
US20070230932A1 (en) 2007-10-04
JP2007281546A (ja) 2007-10-25
CN101052101A (zh) 2007-10-10

Similar Documents

Publication Publication Date Title
KR100819809B1 (ko) 촬상장치 및 촬상방법
JP4315971B2 (ja) 撮像装置
US7733393B2 (en) Digital camera comprising smear removal function
US7668451B2 (en) System for and method of taking image
JP4473363B2 (ja) 手振れ補正装置およびその補正方法
JP2005130045A (ja) 撮像装置及びこれに用いる撮像素子
EP2517460A1 (en) Creating a high dynamic range image using still and preview images
KR20090119687A (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
KR100835624B1 (ko) 촬상장치 및 촬상방법
JP6108854B2 (ja) 撮像装置及びその制御方法
JP2005012423A (ja) 撮像装置及び信号処理装置
KR101544742B1 (ko) 촬상 장치 및 촬상 방법
JP2007248698A (ja) 撮像方法および装置
JP4633525B2 (ja) 焦点検出装置
JP5144469B2 (ja) 撮像装置及びその制御方法
US20150085172A1 (en) Image capturing apparatus and control method thereof
JP5530569B2 (ja) 撮影装置及びファインダの表示方法
JP2021111811A (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2013197923A (ja) 電子カメラ
JP2007274731A (ja) 手振れ補正方法
JP2012065302A (ja) 画像撮像装置および信号処理方法
JP2014060486A (ja) 撮像装置
JP2007173993A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 13