KR20070080223A - 촬상장치 및 상블러링 경감방법 및 그 기록매체 - Google Patents

촬상장치 및 상블러링 경감방법 및 그 기록매체 Download PDF

Info

Publication number
KR20070080223A
KR20070080223A KR1020070011125A KR20070011125A KR20070080223A KR 20070080223 A KR20070080223 A KR 20070080223A KR 1020070011125 A KR1020070011125 A KR 1020070011125A KR 20070011125 A KR20070011125 A KR 20070011125A KR 20070080223 A KR20070080223 A KR 20070080223A
Authority
KR
South Korea
Prior art keywords
image
blurring
reduction
correction
amount
Prior art date
Application number
KR1020070011125A
Other languages
English (en)
Other versions
KR100868054B1 (ko
Inventor
게이이치 이마무라
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20070080223A publication Critical patent/KR20070080223A/ko
Application granted granted Critical
Publication of KR100868054B1 publication Critical patent/KR100868054B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

본 발명은 상블러링(image blurring) 경감기능을 구비한 디지털카메라에 이용하는 것이 가능한 촬상장치 및 상블러링 경감방법 및 그 기록매체에 관한 것으로서, 기계식 상블러링 보정과 감도식 상블러링 경감을 구비한 촬상장치에 있어서, 스루화상표시 중에 있어 취득된 움직임 벡터량에 의거하여 피사체 흔들림량을 산출해 가고, 해당 산출된 피사체 흔들림량에 의거하여 차례차례 상기 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 설정한다. 그리고, 정지화상 촬영시에 있어서는 가장 최근에 설정된 이용비율에 따라 실시된 기계식 상블러링 보정 및 감도식 상블러링 경감에 의한 흔들림 경감 후의 정지화상데이터를 기록하는 것을 특징으로 한다.
디지털카메라, 상블러링, 스루화상표시, 보정렌즈, 흔들림량

Description

촬상장치 및 상블러링 경감방법 및 그 기록매체{IMAGING DEVICE, IMAGE BLURRING REDUCTION METHOD AND RECORDING MEDIUM THEREOF}
도 1은 본 발명의 실시형태의 디지털카메라의 블록도.
도 2는 제 1 실시형태의 디지털카메라의 동작을 나타내는 흐름도.
도 3a, 도 3b는 메모리(13)에 기록되어 있는 이용비율표의 상태를 나타내는 도면.
도 4는 제 2 실시형태의 디지털카메라의 동작을 나타내는 흐름도.
도 5a, 도 5b는 변형예에 있어서의 디지털카메라의 동작을 나타내는 흐름도.
도 6a, 도 6b는 변형예에 있어서의 디지털카메라의 동작을 나타내는 흐름도 및 표시부(22)에 표시되는 화상의 상태를 나타내는 도면.
도 7a, 도 7b는 검출된 콘트라스트 성분에 대응하는 이용비율의 상태를 나타내는 도면이다.
※도면의 주요부분에 대한 부호의 설명
1: 디지털카메라 2: 촬영렌즈
3: 보정렌즈 4: 렌즈구동블록
5: 조리개 겸용 셔터 6: CCD
7: 수직드라이버 8: TG(timing generator)
9: 유니트회로
10, 15, 18, 20, 21, 23, 25: DMA
11: CPU 12: 키 입력부
13: 메모리 14: DRAM
16: 움직임 벡터 산출부 19: 화상생성부
22: 표시부 24: 압축신장부
26: 플래시메모리 27: 버스
본 발명은 상블러링 경감기능을 구비한 디지털카메라에 이용하는 것이 가능한 촬상장치 및 상블러링 경감방법 및 그 기록매체에 관한 것이다.
근래 촬상장치, 예를 들면, 디지털카메라에 있어서는 상블러링을 경감하기 위해 수많은 상블러링 경감방식이 있다.
예를 들면, 자이로센서(gyro-sensor) 등의 각속도센서에 의해서 손흔들림(손떨림)을 검출하고, 해당 검출된 손흔들림량에 따라서 CCD 등의 촬상소자나 촬영렌즈 등을 움직임으로써 광학적으로 상블러링을 보정하는 방식이나, 촬영감도를 올려 셔터속도를 빠르게 함으로써 상블러링을 경감하는 방식이 있다.
또, 복수의 흔들림 경감방식을 조합해 상의 흔들림을 보정하는 기술(하이브리드)로서, 기계식 방진장치와 전자식 방진장치를 조합해 배터리가 소정값 이하가 되었을 때에, 소비전력이 많은 기계식 방진장치를 배제하고, 소비전력이 적은 전자식 방진장치만을 이용해 상의 흔들림을 경감한다고 하는 기술이 있다(예를 들면, 일본국 공개 특허 공보인 특개 2001-311976호 공보 참조).
그러나, 자이로센서 등에 의해서 상블러링을 보정하는 방식에 있어서는 촬영자의 손흔들림에 의한 상블러링을 보정할 수 있지만, 피사체가 움직임으로써 생기는 피사체 흔들림을 보정할 수는 없다.
또, 촬영감도를 올려 셔터속도를 빠르게 함으로써 상블러링을 경감하는 방식에 있어서는 손흔들림과 피사체 흔들림의 양쪽을 경감할 수는 있지만, 셔터속도를 빠르게 하는 정도만큼 신호증폭처리나 화소가산처리에 의해 촬영감도를 올릴 필요가 있기 때문에, 촬영화상에 노이즈가 많이 혼입해 버리거나, 화소수가 적게 되어 버려 화질의 열화를 피할 수 없다고 하는 문제가 있다.
또, 상블러링의 상태에 따라서 적절하게 상블러링을 경감함으로써 상기한 바와 같은 문제를 해결할 수 있는 하이브리드 방식도 없었다.
본 발명은, 상기 종래 기술의 과제를 해결하기 위해 이루어진 것이며, 상블러링의 상태에 따라서 적절하게 흔들림을 경감하는 것이 가능한 촬상장치 및 상블러링 경감방법 및 그 기록매체를 제공하는 것을 목적으로 한다.
하나의 형태에서는,
촬상장치에, 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단과, 상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 상흔들림을 검출하는 검출수단과, 상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단을 구비하게 하도록 구성한다.
또, 다른 형태에서는,
촬상장치에, 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단과, 피사체 거리를 검출하는 검출수단과, 상기 검출수단에 의해 검출된 피사체 거리에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단을 구비하게 하도록 구성한다.
또, 다른 형태에서는,
촬상장치에, 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단과, 상기 상블러링 보정수단에 의한 상블러링 보정의 양과, 상기 상블러링 경감수단에 의한 상블러링 경감의 양의 비율을 설정하는 설정수단과, 상기 설정수단에 의해 설정된 비율에 따라서, 상기 상블러링 보정수단에 의한 상블러링 보정 및 상기 상블러링 경감수단에 의한 상블러링 경감을 실행시키는 제어수단을 구비하게 하도록 구성한다.
또, 다른 형태에서는,
피사체를 촬상하고 화상데이터를 출력하는 촬상수단과, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단을 구비한 촬상장치의 상블러링 경감방법으로서, 상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 상흔들림을 검출하는 검출스텝과, 상기 검출스텝에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어스텝을 포함하는 상블러링 경감방법을 제공한다.
또, 다른 형태에서는,
피사체를 촬상하고 화상데이터를 출력하는 촬상부를 구비한 촬상장치가 갖는 컴퓨터를, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단과, 상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 상흔들림을 검출하는 검출수단과, 상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단으로서 기능시키는 프로그램을 기록한 기록매체를 제공한다.
이하, 본 실시형태에 대해서 본 발명의 촬상장치를 디지털카메라에 적용한 일례로서 도면을 참조해 상세하게 설명한다.
[제 1 실시형태]
A. 디지털카메라의 구성
도 1은 본 발명의 촬상장치를 실현하는 디지털카메라(1)의 전기적인 개략구성을 나타내는 블록도이다.
디지털카메라(1)는 촬영렌즈(2), 보정렌즈(3), 렌즈구동블록(4), 조리개 겸용 셔터(5), CCD(6), 수직드라이버(7), TG(timing generator)(8), 유니트회로(9), DMA 컨트롤러(이하, DMA라고 한다)(10), CPU(11), 키 입력부(12), 메모리(13), DRAM(14), DMA(15), 움직임 벡터 산출부(16), 흔들림 검출부(17), DMA(18), 화상생성부(19), DMA(20), DMA(21), 표시부(22), DMA(23), 압축신장부(24), DMA(25), 플래시메모리(26), 버스(27)를 구비하고 있다.
촬영렌즈(2)는 복수의 렌즈군으로 구성되는 포커스렌즈, 줌렌즈를 포함한다.
또한 렌즈구동블록(4)에는 도시하지 않은 구동회로를 포함하고, 구동회로는 CPU(11)로부터의 제어신호에 따라서 포커스렌즈, 줌렌즈를 각각 광축방향으로 이동시킨다.
보정렌즈(3)는 손흔들림에 의한 상의 블러링을 보정하기 위한 렌즈이며, 보정렌즈(3)에는 렌즈구동블록(4)이 접속되어 있다.
렌즈구동블록(4)은 요(yaw)방향 및 피치방향으로 보정렌즈(3)를 이동시킴으로써 상블러링을 보정한다. 이 렌즈구동블록(4)은 요방향 및 피치방향으로 보정렌즈(3)를 이동시키는 모터 및 그 모터를 구동시키는 모터 드라이버로 구성되어 있다.
조리개 겸용 셔터(5)는 도시하지 않은 구동회로를 포함하고, 구동회로는 CPU(11)로부터 보내져 오는 제어신호에 따라서 조리개 겸용 셔터(5)를 동작시킨다. 이 조리개 겸용 셔터(5)는 메커니컬 조리개 및 메커니컬 셔터로서 기능한다.
메커니컬 조리개라는 것은, CCD(6)에 입사되는 빛의 양을 제어하는 기구인 것을 말하고, 메커니컬 셔터라는 것은, CCD(6)에 빛을 쬐는 시간을 제어하는 기구인 것을 말하며, CCD(6)에 빛을 쬐는 시간(노광시간)은 셔터속도에 의해서 바뀌어진다.
노출량은 이 조리개값(조리개의 정도)과 셔터속도에 의해서 정해진다.
CCD(6)는 수직드라이버(7)에 의해서 주사구동되고, 일정주기마다 피사체상의 RGB값의 각 색의 빛의 강도를 광전 변환해 촬상신호로서 유니트회로(9)에 출력한다. 이 수직드라이버(7), 유니트회로(9)의 동작 타이밍은 TG(8)를 통하여 CPU(11)에 의해서 제어된다.
유니트회로(9)에는 TG(8)가 접속되어 있고, CCD(6)로부터 출력되는 촬상신호를 상관이중샘플링 해 홀딩하는 CDS(Correlated Double Sampling)회로, 그 샘플링 후의 촬상신호의 자동이득조정을 실시하는 AGC(Automatic Gain Control)회로, 그 자동이득조정 후의 아날로그신호를 디지털신호로 변환하는 A/D변환기로 구성되어 있으며, CCD(6)에 의해서 얻어진 촬상신호는 유니트회로(9)를 거친 후, DMA(10)에 의해서 베이어데이터(생 데이터)의 상태에서 DRAM(14)(버퍼메모리)에 기억된다.
CPU(11)는 AE처리, AF처리 등을 실시하는 기능을 갖는 동시에, 디지털카메라(1)의 각부를 제어하는 원칩 마이크로컴퓨터이다.
특히, CPU(11)는 촬영상황에 따라서 감도식 상블러링 경감기능과, 기계/전자식 상블러링 보정기능의 이용비율을 설정한다. 여기에서 이용비율은 손흔들림 및 피사체 흔들림에 의해 생기는 상블러링을 감도식 상블러링 경감기능을 이용하여 몇 퍼센트 경감시키고, 기계/전자식 상블러링 보정기능을 이용하여 몇 퍼센트 경감시 키는지를 나타내는 것이다. 예를 들면, 이용비율로서 감도식 상블러링 경감기능 40％, 기계/전자식 상블러링 보정기능 60％가 설정되었다고 하면, 감도식 상블러링 경감기능을 이용하여 상블러링을 40％경감하고, 기계/전자식 상블러링 보정기능을 이용해 상블러링을 60％경감함으로써 감도식 상블러링 경감기능과 기계/전자식 상블러링 보정기능의 병용에 의해 상블러링을 100％경감하게 된다.
또, 여기에서 말하는 감도식 상블러링 경감기능이라는 것은 촬영감도를 올리고, 촬영감도를 올린 만큼만 셔터속도를 빠르게 함으로써 상블러링을 경감하는 것이다. 여기에서 「촬영감도를 올린다」라는 것은, 요점은 촬상화상의 휘도를 올리는 작용인 것을 말하며, 촬상화상의 휘도를 올리기 위한 구체적인 방법으로서는, 촬상신호에 대한 증폭률(게인)을 올리는 방법이나, CCD(6)를 화소가산구동시키는 방법이나, CCD(6)로부터 출력된 촬상신호에 대해서 화소가산처리를 실행하는 방법이라는 방법이 생각된다. 또한 화소가산에 의해 촬영감도를 올리는 경우, 화소가산의 유무를 제어하거나, 화소가산수를 증감시킨다고 하는 방법에 의해 촬영감도를 컨트롤하게 된다. 본 실시예에서는 게인을 올림으로써 촬영감도를 올리는 것으로서 설명한다.
또, 여기에서 말하는 기계/전자식 상블러링 보정기능이라는 것은, 상기 감도식 상블러링 경감 이외의 상블러링 보정방식인 것이다.
예를 들면, 각속도센서 등의 자이로센서로부터 출력되는 흔들림량, 또는 화상데이터로부터 얻어지는 움직임 벡터량에 의거하여 보정렌즈나 촬영렌즈, 또는 촬상소자를 광축과 직교하는 방향으로 움직임으로써 상블러링을 보정하는 방법(기계 식 상블러링 보정기능)이나, 자이로센서로부터 출력되는 흔들림량, 또는 화상데이터로부터 얻어지는 움직임 벡터량에 의거하여 화상데이터에 대한 트리밍 범위를 변경함으로써 상블러링을 보정하는 방법(전자식 상블러링 보정기능) 등이 있다. 본 실시예에서는 보정렌즈를 광축과 직교하는 방향으로 움직임으로써 상블러링을 보정하는 것으로서 설명한다(기계식 상블러링 보정기능을 채용한다).
키 입력부(12)는 반누름 조작과 완전누름 조작이 가능한 셔터버튼, 모드전환 키, 십자 키, SET 키 등의 복수의 조작 키를 포함하고, 사용자의 키 조작에 따른 조작신호를 CPU(11)에 출력한다.
메모리(13)에는, CPU(11)가 디지털카메라(1)의 각부를 제어하는데 필요한 제어 프로그램(예를 들면, AE, AF처리에 필요한 프로그램) 및 필요한 데이터(예를 들면, 이용비율표)가 기록된 불휘발성 메모리이고, 특히 본 실시형태에 있어서는 CPU(11)를 본 발명의 상블러링 보정수단, 상블러링 경감수단, 검출수단, 제어수단, 판단수단, 정지화상 촬영수단, 광량산출수단, 광량판정수단, 셔터 스피드 산출수단, 셔터 스피드 판정수단으로서 기능시키기 위한 프로그램이 기록되어 있다. 또한 CPU(11)는 이 메모리(13)에 기록되어 있는 프로그램에 따라 동작한다.
DRAM(14)은 CCD(6)에 의해서 촬상된 화상데이터를 일시 기억하는 버퍼메모리로서 사용되는 동시에, CPU(11)의 워킹메모리로서도 사용된다.
DMA(15)는 버퍼메모리에 기억되어 있는 베이어데이터 혹은 휘도색차신호의 화상데이터를 읽어내어 움직임 벡터 산출부(16)에 출력하는 것이다.
움직임 벡터 산출부(16)는 프레임(화상데이터)의 움직임 벡터를 산출하는 것 이며, 대표점 매칭법이나, 블록 매칭법 등을 이용하여 해당 화상데이터의 움직임 벡터를 산출한다. 또, 움직임 벡터 산출부(16)는 움직임 벡터를 산출하려고 하는 프레임과, 그 앞에 촬상된 프레임의 화상데이터에 의거하여 움직임 벡터를 산출하게 되므로, 앞의 프레임을 일정기간 저장하는 기억회로도 포함한다.
흔들림 검출부(17)는 도시하지 않은 자이로센서 등의 각속도센서를 구비하고 있고, 촬영자의 손흔들림량을 검출하는 것이다.
또한 흔들림 검출부(17)는 요(Yaw)방향의 흔들림량을 검출하는 자이로센서와, 피치(Pitch)방향의 흔들림량을 검출하는 자이로센서를 구비하고 있다.
이 흔들림 검출부(17)에 의해서 검출된 흔들림량은 CPU(11)에 보내어진다.
DMA(18)는 버퍼메모리에 기억된 베이어데이터의 화상데이터를 읽어내어 화상생성부(19)에 출력하는 것이다.
화상생성부(19)는 DMA(18)로부터 보내져 온 화상데이터에 대해서 화소보간처리, γ보정처리, 화이트 밸런스 처리 등의 처리를 실시하는 동시에, 휘도색차신호(YUV데이터)의 생성도 실시한다. 즉, 화상처리를 실시하는 부분이다.
DMA(20)는 화상생성부(19)에서 화상처리가 실시된 휘도색차계의 화상데이터(YUV데이터)를 버퍼메모리에 기억시키는 것이다.
DMA(21)는 버퍼메모리에 기억되어 있는 YUV데이터를 표시부(22)에 출력하는 것이다.
표시부(22)는 컬러LCD와 그 구동회로를 포함하고, DMA(21)로부터 출력된 YUV데이터에 의거하는 화상을 표시시킨다.
DMA(23)는 버퍼메모리에 기억되어 있는 YUV데이터나 압축된 화상데이터를 압축신장부(24)에 출력하거나, 압축신장부(24)에 의해 압축된 화상데이터나, 신장된 화상데이터를 버퍼메모리에 기억시키거나 하는 것이다.
압축신장부(24)는 화상데이터의 압축·신장(예를 들면, JPEG나 MPEG형식의 압축·신장)을 실시하는 부분이다.
DMA(25)는 버퍼메모리에 기억되어 있는 압축화상데이터를 읽어내어 플래시메모리(26)에 기록시키거나, 플래시메모리(26)에 기록된 압축화상데이터를 읽어내어 버퍼메모리에 기억시키는 것이다.
B. 이하, 본 발명의 특징으로 되는 디지털카메라(1)의 각각의 구성의 기능에 대해 설명한다.
제 1 실시형태에 있어서의 디지털카메라(1)의 동작을 도 2의 흐름도에 따라서 설명한다.
사용자의 키 입력부(12)의 모드전환 키의 조작에 의해 하이브리드 촬영모드로 설정되면, CPU(11)는 CCD(6)에 의해 피사체의 촬상을 개시시키고, 해당 촬상된 화상데이터로부터 생성된 휘도색차신호의 화상데이터를 버퍼메모리에 기억하며, 해당 기억된 화상데이터를 표시부(22)에 표시시킨다는 이른바 스루화상(동화상)표시를 개시한다(스텝 S1). 또, CPU(11)는 사용자에 의해서 하이브리드 촬영모드로 설정되면, 흔들림 검출부(17)에 의한 손흔들림 검출도 개시시킨다.
이어서, CPU(11)는 기계식 상블러링 보정을 개시한다(스텝 S2). 구체적으로는 흔들림 검출부(17)에 의해 검출된 흔들림량(요방향의 흔들림량, 피치방향의 흔 들림량)을 취득하고, 해당 취득한 흔들림량에 의거하여 보정렌즈(3)를 구동시키는 동작을 개시시킨다. 이에 따라, CCD(6)로부터 출력되는 화상데이터의 화상은 손흔들림이 없는 화상으로 된다.
이어서, CPU(11)는 스루화상표시의 개시에 의해 CCD(6)로부터 출력된 1장의 프레임의 화상데이터(베이어데이터)를 버퍼메모리에 기억시킴으로써 프레임을 취득한다(스텝 S3). 또, CPU(11)는 해당 취득한 베이어데이터를 DMA(18)를 통하여 화상생성부(19)에 출력시키고, 화상생성부(19)에 화이트 밸런스 처리, 휘도색차신호(YUV데이터)의 생성처리를 실시시키며, DMA(20)를 통하여 휘도색차신호를 버퍼메모리에 기억시킨다.
이어서, CPU(11)는 AE처리를 실시한다(스텝 S4). 즉, 해당 취득한 화상데이터의 휘도성분에 의거하여 노출량을 산출하고, 해당 산출한 노출량에 의거하여 셔터속도, 조리개값, 게인양 등을 설정한다. 이 셔터속도 등의 설정은 메모리(13)에 미리 기억되어 있는 스루화상용의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 DMA(15)를 통하여 스텝 S3에 의해 버퍼메모리에 기억된 베이어데이터(또는, YUV데이터라도 좋다)의 화상데이터를 움직임 벡터 산출부(16)에 취득시킴으로써 움직임 벡터 산출부(16)에 해당 프레임의 화상데이터의 움직임 벡터를 산출시키고(스텝 S5), 해당 산출된 움직임 벡터를 취득한다. 이 산출된 움직임 벡터는 그대로 피사체의 흔들림 벡터로 된다. 왜냐하면, 기계식 상블러링 보정을 실행시키고 있으므로, CCD(6)에 의해 촬상되는 상은 이미 손흔들림이 보정된 상태이므로, 검출된 흔들림 벡터는 그대로 피사체의 흔들림 벡터로 된다.
또한 움직임 벡터의 산출에는 현프레임 데이터(움직임 벡터를 산출하려고 하는 프레임)와 1개 앞의 프레임 데이터가 필요해지므로, 가장 최초로 촬상된 프레임의 움직임 벡터는 산출할 수 없으므로 움직임 벡터를 취득할 수는 없다.
이어서, CPU(11)는 해당 취득한 움직임 벡터의 크기(피사체의 흔들림량)가 소정값보다 큰지 크지 않은지를 판단한다(스텝 S6). 이 소정값은 미리 메모리(13)에 기록되어 있다.
스텝 S6에서, 피사체의 흔들림량이 소정값보다 크지 않은, 즉, 작다고 판단하면, 피사체 흔들림은 거의 없고, 손흔들림 보정만으로 대응할 수 있으므로, 기계식 상블러링 보정의 이용비율을 100％(감도식 상블러링 경감의 이용비율 0％)로 설정하여(스텝 S7) 스텝 S9로 진행한다. 즉, 상블러링 경감을 기계식 상블러링 보정만에 의해서 실시한다고 하는 것이다. 이 설정된 이용비율은 CPU(11)의 내장메모리의 이용비율 기억영역에 기억된다.
한편, 스텝 S6에서 피사체의 흔들림량이 소정값보다 크다고 판단하면, 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 해당 산출한 피사체의 흔들림량 및 메모리(13)에 기록되어 있는 이용비율표에 의거하여 설정하여(스텝 S8) 스텝 S9로 진행한다.
여기에서 설정된 이용비율은 정지화상 촬영에 있어서의 흔들림 경감에 이용된다.
도 3a는 메모리(13)에 기록되어 있는 이용비율표의 상태를 나타내는 것이다.
도면을 보면 알 수 있는 바와 같이, 피사체 흔들림량이 소정값보다 커짐에 따라 감도식 상블러링 경감의 이용비율(강도)이 오르고 있는 것을 알 수 있다. 이것과는 반대로 피사체 흔들림량이 소정값보다 작으면, 감도식 상블러링 경감의 이용비율(강도)이 0％가 되어 있는 것도 알 수 있다.
즉, 피사체 흔들림량이 소정값보다 작은 경우에는 피사체의 흔들림은 적다고 생각되므로 기계식 상블러링 보정만으로 대응하고, 피사체 흔들림량이 소정값보다 큰 경우에는, 그 피사체의 흔들림량이 커짐에 따라 감도식 상블러링 경감의 이용비율(강도)을 크게 해 가는 동시에, 그것에 반비례하여 기계식 상블러링 보정의 이용비율(강도)을 작게 해 간다고 하는 것이다.
구체적으로 설명하면, 예를 들면, 이용비율표에 의거하여 기계식 상블러링 보정 80％, 감도식 상블러링 경감 20％가 설정되었다고 하면, 손흔들림과 피사체 흔들림에 의해 생기는 상블러링 중 손흔들림에 기인하는 상블러링이 80％를 차지하고 있는 경우에는, 기계식 상블러링 보정기능을 풀 가동시킴으로써 손흔들림에 기인하는 상블러링이 모두 제거되는 동시에, 피사체 흔들림에 기인하는 20％분의 상블러링을 제거할 수 있을 정도의 강도로 감도식 상블러링 경감이 실행되게 된다.
또, 손흔들림에 기인하는 상블러링이 80％를 넘고 있는(예를 들면, 90％를 차지하고 있는) 경우에는, 기계식 상블러링 보정기능의 능력을 손흔들림에 기인하는 상블러링 중 8/9만을 제거하는 레벨로 제한하는 동시에, 기계식 상블러링 보정에 의해 제거되지 않았던 손흔들림에 기인하는 나머지의 10퍼센트분의 상블러링과, 피사체 흔들림에 기인하는 10％분의 상블러링을 제거할 수 있을 정도의 강도로 감도식 상블러링 경감을 실행하게 된다.
또, 손흔들림에 기인하는 상블러링이 80％미만의(예를 들면, 50％를 차지하고 있는) 경우에는, 기계식 상블러링 보정기능을 풀 가동시킴으로써 손흔들림에 기인하는 상블러링의 전부(50％분)와 피사체 흔들림에 기인하는 30％분의 상블러링을 제거하는 동시에, 피사체 흔들림에 기인하는 나머지의 20％분의 상블러링을 제거할 수 있을 정도의 강도로 감도식 상블러링 경감을 실행하게 된다. 여기에서는 기계식 상블러링 보정기능은 흔들림 검출부(17)에 의해 검출된 손흔들림량과, 움직임 벡터 산출부(16)에 의해 산출된 피사체 흔들림량의 3/5의 흔들림량을 가산한 흔들림량에 의거하여 보정렌즈를 광축과 직교하는 방향으로 움직임으로써 상블러링을 보정하게 된다.
여기에서 손흔들림에 기인하는 상블러링과 피사체 흔들림에 기인하는 상블러링의 비율은 흔들림 검출부(17)에 의해 검출된 손흔들림량과, 움직임 벡터 산출부(16)에 의해 산출된 피사체 흔들림량의 비율을 구함으로써 얻을 수 있다.
이상의 설명에서 명확한 바와 같이, 불필요하게 감도식 상블러링 경감을 실시하지 않고 완료하여 불필요하게 화질을 열화 시키는 일이 없다.
스텝 S9로 진행하면, CPU(11)는 스텝 S3에서 취득한 버퍼메모리에 기억되어 있는 프레임의 화상데이터(YUV데이터)를 DMA(21)를 통하여 표시부(22)에 표시시킨다.
이어서 CPU(11)는 사용자에 의해서 셔터버튼이 반누름 되었는지 아닌지를 판단한다(스텝 S10). 이 판단은 셔터버튼 반누름에 대응하는 조작신호가 키 입력부(12)로부터 보내져 왔는지 아닌지에 의해 판단한다.
스텝 S10에서, 셔터버튼이 반누름 되어 있지 않다고 판단하면, 스텝 S3으로 되돌아오고, 다음으로 촬상된 프레임의 화상데이터를 취득하며, 상기한 동작을 반복한다.
한편, 스텝 S10에서, 셔터버튼이 반누름 되었다고 판단하면, 직전에 촬상된 스루화상데이터의 휘도성분 및 가장 최근에 설정된 이용비율에 의거하여 셔터속도, 조리개값, 게인양을 설정한다(스텝 S11). 이 셔터속도 등의 설정은 정지화상 촬영용의 이용비율을 고려한 AE프로그램선도에 의거하여 실시된다.
또한 AE처리에 의거하여 셔터속도 등을 설정하고, 해당 설정된 셔터속도 등을 이용비율에 따라 재설정하도록 해도 좋다. 이때의 AE처리에 있어서의 셔터속도 등의 설정은 정지화상 촬영용의 이용비율을 고려하고 있지 않은 보통의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 AF처리를 실시한다(스텝 S12). 여기에서는 AF처리의 방식으로서 콘트라스트 검출방식에 의한 AF처리를 실시하므로, 포커스렌즈를 렌즈단(가장 촬영자에게 가까운 피사체에 핀트가 맞는 렌즈위치)으로부터 다른쪽의 렌즈단으로 포커스렌즈를 이동시켜 가고(서치이동), 각 렌즈위치에 있어서의 AF영역의 AF평가값을 산출해 감으로써 AF영역의 AF평가값의 피크를 검출해 가며, 피크를 검출하면 서치이동을 중지하여 해당 피크가 검출된 렌즈위치로 포커스렌즈를 이동시킴으로써 피사체에 핀트를 맞춘다.
이어서, CPU(11)는 사용자에 의해서 셔터버튼이 완전누름 되었는지 아닌지의 판단을 실시한다(스텝 S13). 이 판단은 셔터버튼 완전누름에 대응하는 조작신호가 키 입력부(12)로부터 보내져 왔는지 아닌지에 의해 판단한다.
스텝 S13에서, 셔터버튼이 완전누름 되어 있지 않다고 판단하면 완전누름 되기까지 스텝 S13에 멈추고, 완전누름이 되었다고 판단하면, 스텝 S11에서 설정한 셔터속도, 조리개값으로 노광을 개시한다(스텝 S14). 즉, 촬영렌즈(2) 등을 통하여 CCD(6)에 피사체의 빛을 투영시킨다.
이어서, CPU(11)는 흔들림 검출부(17)에 의해 검출된 흔들림량(요방향의 흔들림량, 피치방향의 흔들림량)을 취득하고(스텝 S15), 해당 취득한 흔들림량에 의거하여 보정렌즈(3)를 구동시킴으로써 상블러링 보정을 실시한다(스텝 S16).
이때는, 기계식 상블러링 보정의 이용비율에 따라 보정렌즈(3)를 구동시키는 구동량을 바꾸게 된다. 예를 들면, 기계식 상블러링 보정의 이용비율이 100％인 경우에는 검출된 흔들림량을 보정렌즈(3)의 구동범위 내에서 이동시킴으로써 상블러링을 보정하지만, 이용비율이 100％가 아닌 경우(감도식 상블러링 경감도 실시하는 경우)로, 또한 기계식 상블러링 보정의 이용비율보다도 손흔들림에 기인하는 상블러링의 비율이 높은 경우에는 흔들림 검출부(17)에 의해 검출된 흔들림량을 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라서 감소시켜 보정렌즈(3)를 이동시키든가, 혹은 보정렌즈(3)의 구동범위를 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라 제한함으로써 상블러링을 보정하게 된다.
즉, 기계식 상블러링 보정의 이용비율이 100％인 경우에는 기계식 상블러링 보정만으로 손흔들림에 대응하게 되지만, 기계식 상블러링 보정의 이용비율이 100 ％가 아니고, 또한 기계식 상블러링 보정의 이용비율보다도 손흔들림에 기인하는 상블러링의 비율이 높은 경우에는 기계식 상블러링 보정과 감도식 상블러링 경감으로 손흔들림에 기인하는 상블러링을 경감하므로, 흔들림 검출부(17)에 의해 검출된 흔들림량을 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라서 감소시켜 기계식 상블러링 보정을 실시하고, 기계식 상블러링 보정의 이용비율이 0％(감도식 상블러링 경감의 이용비율이 100％)인 경우에는 보정렌즈(3)를 구동시키지 않고, 감도식 상블러링 경감만에 의해 손흔들림과 피사체 흔들림에 기인하는 상블러링을 경감하게 된다.
이어서, CPU(11)는 노광이 종료되었는지 아닌지를 판단한다(스텝 S17). 즉, 스텝 S11에서 설정된 노광시간이 경과했는지 아닌지에 의해 판단한다.
스텝 S17에서 노광이 종료되어 있지 않다고 판단하면, 스텝 S15로 되돌아오고, 상기한 동작을 반복한다.
한편, 스텝 S17에서, 노광이 종료되었다고 판단하면, CPU(11)는 CCD(6)에 축적된 전하(정지화상데이터)를 읽어내어 DMA(10)를 통하여 버퍼메모리에 기억시키며, 화상생성부(19)에 의해서 화상처리가 실시된 정지화상데이터(YUV데이터)를 압축신장부(24)에 압축시켜 DMA(25)를 통하여 압축된 정지화상데이터를 플래시메모리(26)에 기록시킨다(스텝 S18).
이때, CCD(6)로부터 읽어내어진 정지화상데이터는 유니트회로(9)에 의해 스텝 S11에서 설정된 게인양에 의거하여 자동이득조정이 실시된다.
C. 이상과 같이, 제 1 실시형태에 있어서는 피사체의 흔들림량을 산출하고, 해당 산출된 피사체의 흔들림량이 소정값보다 작은 경우에는, 기계식 상블러링 보정의 이용비율을 100％로 설정해 상블러링 보정을 실시하므로, 흔들림의 성질이나 상태에 따른 적절한 상블러링 보정을 실시할 수 있다. 또, 이 경우는 감도식 상블러링 경감을 실시하지 않으므로, 불필요하게 화질을 열화시키지 않고서 완료된다.
또, 산출된 피사체의 흔들림량이 소정값보다 큰 경우는, 해당 피사체의 흔들림량에 따라서 기계식 상블러링 보정에 의한 흔들림 경감의 정도와 감도식 상블러링 경감에 의한 흔들림 경감의 정도의 이용비율을 설정하도록 했으므로, 감도식 상블러링 경감을 불필요하게 실시하지 않고서 완료되고, 화질의 열화를 필요 최소한으로 멈출 수 있다.
[제 2 실시형태]
다음으로 제 2 실시형태에 대해 설명한다.
제 1 실시형태에 있어서는 피사체의 흔들림량을 산출하고, 해당 산출한 피사체의 흔들림량에 따라서 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 설정하여 상블러링 보정을 실시한다고 하는 것이지만, 제 2 실시형태에 있어서는 디지털카메라(1)로부터 피사체까지의 거리를 산출하고, 피사체의 거리에 따라서 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 설정한다고 하는 것이다. 왜냐하면, 피사체가 멀면 멀수록 피사체의 흔들림은 그다지 문제가 되지 않고 손흔들림이 문제가 되며, 피사체가 가까우면 가까울수록 손흔들림 뿐만이 아니라 피사체 흔들림도 문제가 되기 때문이다.
D. 디지털카메라(1)의 동작
제 2 실시형태도, 도 1에 나타낸 것과 마찬가지의 구성을 갖는 디지털카메라(1)를 이용함으로써 본 발명의 촬상장치를 실현한다.
이하, 제 2 실시형태의 디지털카메라(1)의 동작을 도 4의 흐름도에 따라서 설명한다.
사용자의 키 입력부(12)의 모드전환 키의 조작에 의해 하이브리드 촬영모드로 설정되면, CPU(11)는 CCD(6)에 의한 촬상을 개시시키고, 차례차례 촬상된 피사체의 스루화상을 표시부(22)에 표시시킨다는 이른바 스루화상표시를 개시시킨다(스텝 S31).
이어서, CPU(11)는 콘티뉴어스 AF처리를 개시시킨다(스텝 S32). 이 콘티뉴어스 AF처리라는 것은 콘티뉴어스적으로 AF처리를 실시하는 것을 말하고, 여기에서는 콘트라스트 검출방식에 의한 AF처리를 채용하고 있으므로, 연속적으로 콘트라스트 검출방식에 의한 AF처리를 실시하게 된다.
이어서, CPU(11)는 AE처리를 실시한다(스텝 S33). 즉, 촬상된 화상데이터의 휘도성분에 의거하여 노출량을 산출하고, 해당 산출한 노출량에 의거하여 셔터속도, 조리개값, 게인양 등을 설정한다. 이 셔터속도 등의 설정은 스루화상용의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 콘티뉴어스 AF처리에 의해 포커스위치(초점맞춤렌즈위치)를 검출했는지 아닌지를 판단한다(스텝 S34).
스텝 S34에서, 포커스위치를 검출하고 있지 않다고 판단하면, 스텝 S39로 진행하고, 포커스위치를 검출했다고 판단하면, 포커스위치에 의거하여 피사체의 거 리(피사체 거리)의 산출을 실시한다(스텝 S35).
이어서, CPU(11)는 해당 산출한 피사체 거리가 소정값(소정거리)보다 작은지 작지 않은지를 판단한다(스텝 S36). 이 소정값은 미리 메모리(13)에 기록되어 있다. 또한 피사체 거리를 산출하는 일 없이, 포커스 위치에 의거하여 소정값보다 작은지 작지 않은지의 판단을 실시하도록 해도 좋다.
스텝 S36에서 피사체 거리가 소정값보다 작지 않다(피사체가 소정거리보다 가깝지 않다), 즉, 크다(피사체가 소정거리보다 멀다)고 판단하면, 피사체는 먼 위치에 있고, 피사체의 흔들림은 그다지 눈에 띄지 않으며, 손흔들림이 눈에 띄므로, 기계식 상블러링 보정의 이용비율을 100％(감도식 상블러링 경감의 이용비율 0％)로 설정하여(스텝 S37) 스텝 S39로 진행한다. 이 설정된 이용비율은 CPU(11)의 내장메모리의 이용비율 기억영역에 기억된다.
한편, 스텝 S36에서 피사체 거리가 소정값보다 작다고 판단되면, 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 해당 산출한 피사체 거리 및 메모리(13)에 기록되어 있는 이용비율표에 의거하여 설정해(스텝 S38) 스텝 S39로 진행한다.
도 3b는 제 2 실시형태에 있어서의 메모리(13)에 기록되어 있는 이용비율표의 상태를 나타내는 것이다.
도면을 보면 알 수 있는 바와 같이, 피사체 거리가 멀어짐에 따라 감도식 상블러링 경감의 이용비율(강도)이 내려가고, 피사체 거리가 소정값까지 오면 감도식 상블러링 경감의 이용비율(강도)이 0％가 되고 있다.
즉, 피사체 거리가 소정값보다 작은 경우에는 피사체 흔들림은 눈에 띄므로, 피사체 거리가 길어짐에 따라 감도식 상블러링 경감의 이용비율(강도)을 작게 해 가고, 피사체 거리가 소정거리보다도 길어진 경우에는 피사체의 흔들림은 거의 눈에 띄지 않으므로, 기계식 상블러링 보정만으로 대응시킨다고 하는 것이다.
스텝 S39로 진행하면, CPU(11)는 사용자에 의해서 셔터버튼이 반누름 되었는지 아닌지를 판단한다.
스텝 S39에서, 셔터버튼이 반누름 되어 있지 않다고 판단하면, 스텝 S33으로 되돌아오고, 상기한 동작을 반복한다.
한편, 스텝 S39에서, 셔터버튼이 반누름 되었다고 판단하면, 직전에 촬상된 스루화상데이터의 휘도성분 및 가장 최근에 설정된 이용비율에 의거하여 셔터속도, 조리개값, 게인양을 설정한다(스텝 S40). 이 셔터속도 등의 설정은 정지화상 촬영용의 이용비율을 고려한 AE프로그램선도에 의거하여 실시된다.
또한 AE처리에 의거하여 셔터속도 등을 설정하고, 해당 설정된 셔터속도 등을 이용비율에 따라 재설정하도록 해도 좋다. 이때의 AE처리에 있어서의 셔터속도 등의 설정은 정지화상 촬영용의 이용비율을 고려하고 있지 않은 보통의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 콘트라스트 검출방식에 의한 AF처리를 실시한다(스텝 S41).
이어서, CPU(11)는 사용자에 의해서 셔터버튼이 완전누름 되었는지 아닌지의 판단을 실시한다(스텝 S42).
스텝 S42에서, 셔터버튼이 완전누름 되어 있지 않다고 판단하면 완전누름 되기까지 스텝 S42에 멈추고, 완전누름이 되었다고 판단하면, 스텝 S40에서 설정한 셔터속도, 조리개값으로 노광을 개시한다(스텝 S43).
이어서, CPU(11)는 흔들림 검출부(17)에 의해 검출된 손흔들림량(요방향의 흔들림량, 피치방향의 흔들림량)을 취득하고(스텝 S44), 해당 취득한 손흔들림량에 의거하여 보정렌즈(3)를 구동시킴으로써 상블러링의 보정을 실시한다(스텝 S45).
이때는 기계식 상블러링 보정의 이용비율에 따라 보정렌즈(3)를 구동시키는 구동량을 바꾸게 된다. 예를 들면, 기계식 상블러링 보정의 이용비율이 100％인 경우에는 검출된 흔들림량을 보정렌즈(3)의 구동범위 내에서 이동시킴으로써 상블러링을 보정하지만, 이용비율이 100％가 아닌 경우(감도식 상블러링 경감도 실시하는 경우)로, 또한 기계식 상블러링 보정의 이용비율보다도 손흔들림에 기인하는 상블러링의 비율이 높은 경우에는, 흔들림 검출부(17)에 의해 검출된 흔들림량을 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라서 감소시켜 보정렌즈(3)를 이동시키든가, 혹은 보정렌즈(3)의 구동범위를 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라 제한함으로써 상블러링을 보정하게 된다.
즉, 기계식 상블러링 보정의 이용비율이 100％인 경우에는, 기계식 상블러링 보정만으로 손흔들림에 대응하게 되지만, 기계식 상블러링 보정의 이용비율이 100％가 아니고, 또한 기계식 상블러링 보정의 이용비율보다도 손흔들림에 기인하는 상블러링의 비율이 높은 경우에는 기계식 상블러링 보정과 감도식 상블러링 경감으 로 손흔들림에 기인하는 상블러링을 경감하므로, 흔들림 검출부(17)에 의해 검출된 흔들림량을 기계식 상블러링 보정의 이용비율과 손흔들림에 기인하는 상블러링의 비율에 따라 감소시켜 기계식 상블러링 보정을 실시하고, 기계식 상블러링 보정의 이용비율이 0％(감도식 상블러링 경감의 이용비율이 100％)인 경우에는, 보정렌즈(3)를 구동시키지 않고, 감도식 상블러링 경감만에 의해 손흔들림과 피사체 흔들림에 기인하는 상블러링을 경감하게 된다.
이어서, CPU(11)는 노광이 종료되었는지 아닌지를 판단한다(스텝 S46). 즉, 스텝 S40에서 설정된 노광시간이 경과했는지 아닌지에 의해 판단한다.
스텝 S46에서 노광이 종료되어 있지 않다고 판단하면, 스텝 S44로 되돌아오고, 상기한 동작을 반복한다.
한편, 스텝 S46에서 노광이 종료되었다고 판단하면, CPU(11)는 CCD(6)에 의해 축적된 전하(화상데이터)를 읽어내고, 화상생성부(19)에 화상처리를 실시시켜 그 후 압축신장부(24)에 의해 압축된 정지화상데이터를 플래시메모리(26)에 기록시킨다(스텝 S47).
이때, CCD(6)로부터 읽어내어진 정지화상데이터는 유니트회로(9)에 의해 스텝 S40에서 설정된 게인양에 의거하여 자동이득조정이 실시된다.
E. 이상과 같이, 제 2 실시형태에 있어서는 피사체 거리를 산출하고, 해당 산출된 피사체 거리가 소정값보다 큰 경우(피사체 흔들림보다 손흔들림이 눈에 띄는 경우)에는 기계식 상블러링 보정의 이용비율을 100％로 설정하여 상블러링 보정을 실시하므로, 흔들림의 성질에 따른 적절한 흔들림 보정을 실시할 수 있다. 또, 이 경우는, 감도식 상블러링 경감을 실시하지 않으므로, 불필요하게 화질을 열화 시키지 않고 완료된다.
또, 산출된 피사체 거리가 소정값보다 작은 경우(손흔들림과 함께 피사체 흔들림도 눈에 띄는 경우)는 피사체 거리에 따라 기계식 상블러링 보정에 의한 흔들림 보정의 정도와 감도식 상블러링 경감에 의한 흔들림 경감의 정도의 이용비율을 설정하도록 했으므로, 감도식 상블러링 경감을 불필요하게 실시하지 않고 완료되고, 화질의 열화를 필요 최소한으로 멈출 수 있다.
[변형예]
상기 각 실시형태는 이하와 같은 변형예도 가능하다.
(1) 상기 제 1 및 제 2 실시형태에 있어서는 피사체의 흔들림량이나 피사체 거리에 따라 기계식 상블러링 보정 및 감도식 상블러링 경감의 이용비율을 단순하게 설정하도록 했지만, AE처리에 의해 설정된 셔터속도가 소정의 셔터속도보다 빠른 경우에는, 피사체의 흔들림량이나 피사체 거리에 관계없이, 기계식 상블러링 보정의 이용비율을 100％로 설정하도록 해도 좋다.
이하, 그 동작을 도 5a의 흐름도에 따라서 설명한다.
우선, 도 2의 스텝 S10 또는, 도 4의 스텝 S39에서 셔터버튼이 반누름 되었다고 판단하면, 도 5a의 스텝 S61로 진행하고, CPU(11)는 AE처리를 실시한다. 이때의 AE처리에 있어서의 셔터속도 등의 설정은 정지화상 촬영용의 이용비율을 고려하고 있지 않은 보통의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 해당 AE처리에 의해서 설정된 셔터속도가 소정 셔터속도 보다 빠른지 빠르지 않은지의 판단을 실시한다(스텝 S62). 이 소정 셔터속도는 메모리(13)에 기록되어 있다.
스텝 S62에서, 셔터속도가 소정 셔터속도보다 빠르다고 판단되면, CPU(11)는 기계식 상블러링 보정의 이용비율을 100％(감도식 상블러링 경감의 이용비율을 0％)로 재설정하여(스텝 S63) 도 2의 스텝 S12 또는 도 4의 스텝 S41로 진행한다.
한편, 스텝 S62에서, 셔터속도가 소정 셔터속도보다 빠르지 않다고 판단되면, CPU(11)는 가장 최근에 설정된 이용비율에 따라서 스텝 S61에 의해 설정된 셔터속도, 조리개값, 게인양의 재설정을 실시하여(스텝 S64) 도 2의 스텝 S12 또는 도 4의 스텝 S41로 진행한다.
즉, AE처리에 의해서 설정된 셔터속도가 소정의 속도 이상(고속)인 경우에 감도식 상블러링 경감을 실시해 버리면 더욱 셔터속도를 빠르게 하는 동시에 촬영감도를 올리지 않으면 안되고, 화질의 열화가 눈에 띄어 버리므로, 적정 셔터속도가 소정의 속도 이상인 경우에는, 기계식 상블러링 보정의 이용비율을 100％로 하여 감도식 상블러링 경감을 실시하지 않는다고 하는 것이다. 이에 따라, 화질의 열화를 억제할 수 있다.
즉, 이와 같이 변형예(1)에 있어서는 도 2의 스텝 S11 또는 도 4의 스텝 S40의 동작으로 바꾸어 상기한 도 5a에 나타내는 바와 같은 동작을 실시한다고 하는 것이다.
(2) 또, 상기 제 1 및 제 2 실시형태에 있어서는 피사체의 흔들림량이나 피사체 거리에 따라 기계식 상블러링 보정 및 감도식 상블러링 경감의 이용비율을 단 순히 설정하도록 했지만, 피사체의 밝기를 나타내는 LV값(라이트 밸류)을 산출하고, 해당 산출한 LV값이 일정값 이상인 경우는 피사체의 흔들림량이나 피사체 거리에 관계없이 기계식 상블러링 보정의 이용비율을 100％로 설정하도록 해도 좋다.
이하, 그 동작을 도 5b의 흐름도에 따라서 설명한다.
우선, 도 2의 스텝 S10 또는, 도 4의 스텝 S39에서 셔터버튼이 반누름 되었다고 판단하면, 도 5b의 스텝 S71로 진행하고, CPU(11)는 피사체의 밝기를 나타내는 LV값의 산출을 실시한다. 이 산출은 화상데이터의 휘도성분에 의거하여 실시한다.
이어서, CPU(11)는 해당 산출한 LV값에 의거하는 AE처리를 실시한다(스텝 S72). 이 AE처리에 있어서의 셔터속도 등의 설정은 보통의 AE프로그램선도에 의거하여 실시된다.
이어서, CPU(11)는 해당 산출한 LV값이 일정값보다 큰지 크지 않은지를 판단한다(스텝 S73). 이 일정값은 메모리(13)에 기록되어 있다.
스텝 S73에서 해당 산출한 LV값이 일정값보다 크다고 판단되면, CPU(11)는 기계식 상블러링 보정의 이용비율을 100％(감도식 상블러링 경감의 이용비율을 0％)로 재설정하여(스텝 S74) 도 2의 스텝 S12 또는 도 4의 스텝 S41로 진행한다.
한편, 스텝 S73에서 해당 산출한 LV값이 일정값보다 크지 않다고 판단되면, CPU(11)는 가장 최근에 설정된 이용비율에 따라서 스텝 S72에 의해 설정된 셔터속도, 조리개값, 게인양의 재설정을 실시하여(스텝 S75) 도 2의 스텝 S12 또는 도 4의 스텝 S41로 진행한다.
즉, 산출된 LV값이 일정값 이상인 경우는, 촬영에 필요 충분한 광량을 확보할 수 있고, 이와 같은 경우에, 감도식 상블러링 경감을 실시하면, 더욱 셔터속도를 빠르게 하는 동시에 촬영감도를 올리지 않으면 안되고, 화질의 열화(예를 들면, 피사체가 하얗게 되는 현상(blown-out highlights) 등)가 눈에 띄어버리므로, LV값이 일정값 이상인 경우에는 기계식 상블러링 보정의 이용비율을 100％로 하여 감도식 상블러링 경감을 실시하지 않는다고 하는 것이다. 이에 따라, 화질의 열화를 억제할 수 있다.
즉, 이와 같이 변형예(2)에 있어서는 도 2의 스텝 S11 또는 도 4의 스텝 S40의 동작으로 바꾸어 상기한 도 5b에 나타내는 바와 같은 동작을 실시한다고 말하는 것이다.
(3) 또, 상기 제 1 및 제 2 실시형태에 있어서는 스루화상표시 중에(셔터버튼 반누름 전에) 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 설정하도록 했지만, 셔터버튼 반누름 후에 이용비율을 설정하도록 해도 좋다.
이 경우의 구체적 동작을 제 1, 제 2 실시형태로 나누어 설명한다.
우선, 제 1 실시형태의 경우에는, 도 2의 스텝 S10에서 셔터버튼이 반누름 되었다고 판단하면, CPU(11)는 직전에 촬상된 2장의 스루화상에 의거하여 가장 최근의 스루화상의 움직임 벡터를 움직임 벡터 산출부(16)에 산출시킨다. 그리고, 해당 산출한 움직임 벡터의 크기(피사체의 흔들림량)가 소정값보다 큰지 크지 않은지를 판단하며, 크지 않은 경우는 기계식 상블러링 보정의 이용비율을 100％로 설정하고, 큰 경우에는 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 해당 산출한 피사체의 흔들림량 및 메모리(13)에 기록되어 있는 이용비율표에 의거하여 설정한다. 그리고, 이용비율의 설정이 끝나면, 스텝 S11로 진행한다.
또한 이 경우에는, 도 2의 스텝 S5∼스텝 S8의 동작은 실시하지 않게 된다.
다음으로, 제 2 실시형태의 경우에는, 도 2의 스텝 S39에서 셔터버튼이 반누름 되었다고 판단하면, CPU(11)는 콘트라스트 검출방식에 의한 AF처리를 실시한다. 그리고, 포커스위치의 렌즈위치에 의거하여 피사체 거리를 산출하고, 해당 산출한 피사체 거리가 소정값(소정거리)보다 짧은지 짧지 않은지를 판단하며, 짧지 않은 경우는 기계식 상블러링 보정의 이용비율을 100％로 설정하고, 짧은 경우에는 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 해당 산출된 피사체 거리 및 메모리(13)에 기록되어 있는 이용비율에 의거하여 설정한다. 그리고, 이용비율의 설정이 끝나면, 스텝 S40의 처리를 실시하고 나서 스텝 S42로 진행한다.
또한 이 경우는, 도 4의 스텝 S34∼스텝 S38의 동작은 실시하지 않게 된다.
또, 셔터버튼 반누름 후에 이용비율을 설정하도록 했지만, 단번에 셔터버튼이 완전누름 된 경우는, 셔터버튼 완전누름 후에 실시하도록 해도 좋다. 이 경우는 도 2의 스텝 S10, 도 4의 스텝 S39의 셔터버튼 반누름의 판단을 셔터버튼 완전누름의 판단으로 치환하고, 도 2의 스텝 S13, 도 4의 스텝 S42의 동작을 실시하지 않게 된다.
(4) 또, 상기 변형예(1) 또는 (2)와, 상기 변형예(3)을 조합하도록 해도 좋다. 즉, 변형예(3)에 있어서, 도 2의 스텝 S11 또는 도 4의 스텝 S40의 동작으로 바꾸어 도 5a나 도 5b에 나타내는 바와 같은 동작을 실시하도록 해도 좋다.
(5) 또, 상기 제 1 및 제 2 실시형태에 있어서는 기계식 상블러링 보정과 감도식 상블러링 경감의 이용비율을 자동적으로 설정하도록 했지만, 사용자가 임의의 이용비율을 설정할 수 있도록 해도 좋다.
예를 들면, 피사체 흔들림이 적은 상황에서의 촬영에 있어서는 사용자가 감도식 상블러링 경감의 이용비율을 적게 할 수 있고(기계식 상블러링 보정의 이용비율을 많게 한다), 사용자가 화질을 우선하고 싶은 경우에도 감도식 상블러링 경감의 이용비율을 적게 함으로써, 화질이 좋은 화상(노이즈가 적은 화상)을 얻을 수 있다. 또, 피사체 흔들림이 많은 경우에 있어서, 화질보다 피사체 흔들림의 경감을 우선하고 싶은 경우는 사용자가 감도식 상블러링 경감의 이용비율을 많게(기계식 상블러링 보정의 이용비율을 적게 한다) 함으로써, 피사체 흔들림이 없는 화상을 얻을 수 있다.
이하, 그 동작을 도 6a의 흐름도에 따라서 설명한다.
사용자의 키 입력부(12)의 모드전환 키의 조작에 의해 하이브리드 촬영모드로 설정되면, CPU(11)는 CCD(6)에 의한 촬상을 개시시키고, 차례차례 촬상된 피사체의 스루화상을 표시부(22)에 표시시킨다는 이른바 스루화상표시를 개시시킨다(스텝 S81).
이어서, CPU(11)는 사용자에 의해서 메뉴모드가 선택되었는지 아닌지를 판단한다(스텝 S82). 이 판단은 메뉴 키의 조작에 대응하는 조작신호가 키 입력부(12)로부터 보내져 왔는지 아닌지에 의해 판단한다.
스텝 S82에서, 메뉴모드가 선택되었다고 판단하면, CPU(11)는 사용자에 의해 서 이용비율 설정모드가 선택되었는지 아닌지를 판단한다(스텝 S83).
사용자에 의해서 메뉴모드가 선택되면, CPU(11)는 피사체의 스루화상과 함께 메뉴를 표시부(22)에 표시시킨다. 표시되는 메뉴의 내용으로서는 촬영감도 설정모드나, 이용비율 설정모드 등이 있다.
그리고, 이 표시된 메뉴 중에서, 사용자가 십자 키, SET 키를 조작함으로써 이용비율 설정모드를 선택할 수 있다.
스텝 S83에서, 이용비율 설정모드가 선택되어 있지 않다고 판단하면, 해당 선택된 다른 모드의 처리를 실시한다.
한편, 스텝 S83에서, 이용비율 설정모드가 선택되었다고 판단하면, CPU(11)는 사용자에 의해서 지정된 이용비율의 설정을 실시하여(스텝 S84) 스텝 S82로 되돌아온다.
이때, 이용비율 설정모드가 선택되면, CPU(11)는 스루화상과 함께 도 6b에 나타내는 바와 같은 이용비율 설정바(bar)를 표시부(22)에 표시시킨다.
그리고, 사용자는 이 이용비율 설정바를 보면서 십자 키, 세트 키를 조작함으로써 이용비율을 지정할 수 있다.
이용비율 설정바의 화질 우선이라는 것은 기계식 상블러링 보정인 것을 말하고, 흔들림 경감 우선이라는 것은 감도식 상블러링 경감인 것을 말한다. 그리고, 이용비율 설정바의 삼각부는 현재의 이용비율을 나타내는 것이며, 이 삼각부가 왼쪽으로(화질 우선으로) 갈수록 화질이 좋아진다. 즉, 기계식 상블러링 보정의 이용비율이 오르는 동시에 감도식 상블러링 경감의 이용비율이 내려간다. 또, 삼각 부가 오른쪽으로(흔들림 경감 우선으로) 갈수록 상블러링이 경감된다. 즉, 기계식 상블러링 보정의 이용비율이 내려가는 동시에 감도식 상블러링 경감의 이용비율이 오른다.
또, 이 삼각부의 이동은 사용자의 십자 키의 조작에 의해서 실시된다. 즉, 사용자는 십자 키의 조작을 실시함으로써 이용비율을 조정할 수 있다. 예를 들면, 사용자가 십자 키의「←」을 조작하면 삼각부는 왼쪽으로 이동하고, 십자 키의「→」을 조작하면 삼각부는 오른쪽으로 이동한다.
그리고, 사용자는 이용비율을 조정하고, 이 이용비율에서 상블러링 경감을 실시하고 싶다고 판단한 경우에 SET 키의 조작을 실시함으로써, 이용비율을 지정할 수 있다.
도 6a의 흐름도로 되돌아와서 스텝 S82에서, 메뉴모드가 선택되어 있지 않다고 판단하면, 셔터버튼이 반누름 되었는지 아닌지를 판단한다(스텝 S85).
스텝 S85에서, 셔터버튼이 반누름 되어 있지 않다고 판단하면 스텝 S82로 되돌아오고, 셔터버튼이 반누름 되었다고 판단하면, 도 2의 스텝 S11, 또는 도 4의 스텝 S40으로 진행한다.
이에 따라, 사용자가 화질과 흔들림 경감의 정도를 선택할 수 있다.
(6) 또, 상기 제 1 및 제 2 실시형태에 있어서는, 정지화상 촬영모드에 있어서의 정지화상 촬영시에 본 발명의 상블러링 경감을 적용한 경우에 대해 설명했는데, 정지화상 촬영모드 혹은 동화상 촬영모드에 있어서의 스루화상표시(촬영기록대기) 중이나, 동화상 촬영모드에 있어서의 동화상 촬영 중에 있어서도 본 발명의 상 블러링 경감을 실시하도록 해도 좋다.
예를 들면, 제 1 실시형태에 있어서는 이번회의 촬상프레임으로부터 얻어지는 움직임 벡터량에 의거하여 이용비율을 설정하고, 해당 설정된 이용비율에 의거한 기계식 상블러링 보정 및 감도식 상블러링 경감을 다음의 촬상 프레임에 대해서 실행한다고 하는 동작을 반복 실시하도록 해도 좋다.
또, 제 2 실시형태에 있어서는 피사체 거리의 산출마다 이용비율을 설정하고, 해당 설정한 이용비율에 의거한 기계식 상블러링 보정 및 감도식 상블러링 경감을 다음으로 피사체 거리가 산출되기(피사체 거리가 변화하기)까지 촬상프레임에 대해서 실행하도록 해도 좋다.
(7) 또, 상기 제 1 및 제 2 실시형태에 있어서는, 피사체의 흔들림량(화상으로부터 얻어지는 움직임 벡터량)이나 피사체 거리에 따라 기계식 상블러링 보정 및 감도식 상블러링 경감의 이용비율을 설정하도록 했지만, 흔들림 검출부(17)에 의해 검출된 흔들림량에 따른 기계식 상블러링 보정을 검출되는 피사체의 흔들림량이나 피사체 거리와는 무관하게 제한하는 일 없이 실시하고(흔들림 검출부(17)에 의해 검출된 흔들림량을 구동가능 범위에서 보정렌즈(3)를 구동시키고), 검출되는 피사체의 흔들림량이나 피사체 거리에 따라 감도식 상블러링 경감의 정도(강도)만을 바꾸도록 해도 좋다. 즉, 검출되는 피사체의 흔들림량이 커짐(피사체 거리가 가까워진다)에 따라 감도식 상블러링 경감의 강도를 크게 해 가도록 해도 좋다. 이 경우도, 상기 제 1 및 제 2 실시형태와 마찬가지로, 불필요하게 감도식 상블러링 경감을 실시하지 않고 완료되고, 불필요하게 화질을 열화 시키는 일이 없다.
또, 기계식 상블러링 보정이 검출되는 피사체의 흔들림량이나 피사체 거리 와는 무관하게 제한하는 일 없이 실시하고, 피사체의 흔들림량이나 피사체 거리에 따라 감도식 상블러링 경감의 강도를 100％(ON)로 하는지 0％(OFF)로 하는지만을 결정하도록 해도 좋다. 이 경우, 감도식 상블러링 경감이 ON된 경우는, 기계식 상블러링 보정 및 감도식 상블러링 경감 모두 제한하는 일 없이 실시되고, 감도식 상블러링 경감이 OFF된 경우는, 기계식 상블러링 보정만으로 상블러링 보정을 실시하게 된다.
이 방법은 기계식 상블러링 보정에 의해서도 손흔들림을 완전하게 보정할 수 없는 경우에, 특히 유효하다.
(8) 또, 제 1 실시형태에 있어서는, 스루화상표시 중에 기계식 상블러링 보정을 실시하고, 촬상된 프레임에 의거하여 피사체의 흔들림량(움직임 벡터)을 산출하도록 했는데, 스루화상표시 중은 기계식 상블러링 보정을 실시하지 않고, 촬상된 프레임 화상 전체를 복수 영역으로 나누며, 해당 복수 영역의 움직임 벡터를 각각 산출하고, 1부의 영역의 움직임 벡터의 크기나 방향이 다르고 있는 경우에는 피사체 흔들림이 있다고 판단하며, 해당 다르고 있는 움직임 벡터의 크기나 방향에 의거하여 피사체 흔들림을 산출하도록 해도 좋다.
또, 스루화상표시 중에 기계식 상블러링 보정을 실시하지 않고, 산출된 움직임 벡터(이 경우의 움직임 벡터에는 손흔들림과 피사체 흔들림이 포함된다)로부터 검출된 흔들림량(손흔들림량)을 감산함으로써 피사체 흔들림을 산출하도록 해도 좋다.
(9) 또, 상기 제 1 실시형태에 있어서는, 피사체 흔들림량에 의거하여 이용비율을 설정하도록 했지만, 화상의 콘트라스트 성분에 의거하는 값에 따라 이용비율을 설정하도록 해도 좋다.
상블러링이 없는 화상만큼 콘트라스트 성분이 높아지고, 상블러링이 있는 만큼 화상의 콘트라스트 성분이 낮아지며, 스루화상표시 중에 있어서는 기계식 상블러링 보정을 실시하고 있으므로, 콘트라스트 성분이 낮아지면 낮아질수록 피사체 흔들림이 크다고 하는 것이 된다.
따라서, 촬상된 프레임의 화상의 콘트라스트 성분을 검출하고, 해당 검출한 콘트라스트 성분에 의거하는 값(예를 들면, 평균값)이 소정값보다 높은 경우에는 기계식 상블러링 보정의 이용비율을 100％로 설정하며, 콘트라스트 성분에 의거하는 값이 소정값보다 낮은 경우에는 해당 콘트라스트 성분에 따라 이용비율을 설정하도록 한다.
도 7a 및 도 7b는 검출된 콘트라스트 성분에 대응하는 이용비율의 상태를 나타내는 도면이다.
도 7a에 나타내는 바와 같이, 콘트라스트 성분이 높은 경우는, 기계식 상블러링 보정의 이용비율을 높게 설정하고, 도 7b에 나타내는 바와 같이, 콘트라스트 성분이 낮은 경우는, 감도식 상블러링 경감의 이용비율을 높게 설정한다.
(10) 또, 상기 제 2 실시형태에 있어서는, 콘트라스트 검출방식에 의해 검출된 포커스 위치에 의거하여 피사체 거리를 얻도록 했는데, 피사체까지의 거리를 측정하는 거리측정센서를 설치함으로써, 피사체 거리를 얻도록 해도 좋다.
(11) 또, 상기 변형예(1) 내지 (10)을 자유롭게 조합한 변형예라도 좋다.
(12) 또한 상기 각 실시형태에 있어서는, 본 발명을 디지털카메라(1)에 적용한 경우에 대해 설명했지만, 카메라 부착 휴대전화, 카메라 부착 PDA, 카메라 부착 퍼스널컴퓨터, 카메라 부착 IC레코더, 또는 디지털 비디오 카메라 등에 본 발명을 적용해도 좋고, 요점은 피사체의 촬영을 실시할 수 있는 기기이면 본 발명을 적용할 수 있다.
본 발명에 따르면, 상블러링 보정이 실시된 화상데이터에 의거하여 상블러링을 검출하고, 이 검출된 상블러링에 의거하여 상블러링 경감을 실시하도록 했으므로, 상블러링 보정과 상블러링 경감에 의해 상블러링을 효율 좋게 경감시킬 수 있다.

Claims (29)

  1. 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과,
    상블러링을 보정하는 상블러링 보정수단과,
    상블러링을 경감하는 상블러링 경감수단과,
    상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 상흔들림을 검출하는 검출수단과,
    상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단을 구비한 것을 특징으로 하는 촬상장치.
  2. 제 1 항에 있어서,
    상기 상블러링 보정수단은 손흔들림에 의한 상블러링을 보정하고,
    상기 검출수단은 상기 상블러링 보정수단에 의해 손흔들림에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 피사체 흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  3. 제 2 항에 있어서,
    손흔들림을 검출하는 손흔들림 검출수단을 구비하고,
    상기 상블러링 보정수단은,
    상기 손흔들림 검출수단에 의해 검출된 손흔들림에 의거하여 손흔들림에 의한 상블러링을 보정하는 것을 특징으로 하는 촬상장치.
  4. 제 3 항에 있어서,
    상기 손흔들림 검출수단은 자이로센서를 이용해 손흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  5. 제 1 항에 있어서,
    상기 검출수단은 상흔들림의 강도(양)를 검출하는 수단을 포함하는 것을 특징으로 하는 촬상장치.
  6. 제 5 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출되는 상흔들림의 강도가 늘어남에 따라서, 상기 상블러링 경감수단에 의한 상블러링 경감의 양을 늘려 가는 제어를 실시하는 것을 특징으로 하는 촬상장치.
  7. 제 5 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출되는 상흔들림의 강도가 늘어남에 따라서, 상기 상블러링 보정수단에 의한 상블러링 보정의 양을 줄여 가는 제어를 실시하는 것을 특징으로 하는 촬상장치.
  8. 제 1 항에 있어서,
    상기 검출수단에 의해 검출된 상흔들림의 강도가 소정값보다 작은지 작지 않은지를 판단하는 판단수단을 구비하고,
    상기 제어수단은,
    상기 판단수단에 의해 상흔들림의 강도가 소정값보다 작다고 판단된 경우, 상기 상블러링 경감수단에 의한 상블러링 경감의 실행을 금지하는 것을 특징으로 하는 촬상장치.
  9. 제 1 항에 있어서,
    상기 검출수단은,
    상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 해당 화상데이터의 움직임 벡터를 산출함으로써 상흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  10. 제 1 항에 있어서,
    상기 검출수단은,
    상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터의 콘트 라스트 성분을 검출함으로써 상흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  11. 제 1 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의한 상블러링 경감의 양(강도)을 제어하는 동시에, 상기 상블러링 보정수단에 의한 상블러링 보정을 실행시키는 것을 특징으로 하는 촬상장치.
  12. 제 1 항에 있어서,
    상기 상블러링 경감수단은 상기 촬상수단에 촬영을 실시시킬 때의 셔터 스피드를 빠르게 함으로써 상블러링을 경감하는 수단을 포함하고,
    상기 제어수단은,
    상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 셔터 스피드를 빠르게 하는 양을 제어하는 것을 특징으로 하는 촬상장치.
  13. 제 12 항에 있어서,
    상기 제어수단은 상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 화상데이터의 휘도를 제어하는 수단을 추가로 포함하는 것을 특징으로 하는 촬상장치.
  14. 제 13 항에 있어서,
    상기 제어수단은 상기 화상데이터의 화소가산수를 제어함으로써, 상기 화상데이터의 휘도를 제어하는 것을 특징으로 하는 촬상장치.
  15. 제 13 항에 있어서,
    상기 제어수단은 상기 화상데이터의 증폭율을 제어함으로써, 상기 화상데이터의 휘도를 제어하는 것을 특징으로 하는 촬상장치.
  16. 제 12 항에 있어서,
    상기 제어수단은 상기 검출수단에 의해 검출되는 상흔들림의 강도가 늘어남에 따라서, 상기 상블러링 경감수단에 의해 실행되는 셔터 스피드를 빠르게 하는 양을 늘려 가는 동시에, 상기 화상데이터의 휘도를 올려 가는 제어를 실시하는 것을 특징으로 하는 촬상장치.
  17. 제 1 항에 있어서,
    상기 촬상수단은 상블러링 보정용 렌즈를 포함하고,
    상기 상블러링 보정수단은 상기 상블러링 보정용 렌즈를 광축과 직교하는 방향으로 이동 제어함으로써, 상블러링을 보정하는 것을 특징으로 하는 촬상장치.
  18. 제 1 항에 있어서,
    상기 촬상수단은 촬상소자를 포함하고,
    상기 상블러링 보정수단은 상기 촬상소자를 광축과 직교하는 방향으로 이동 제어함으로써, 상블러링을 보정하는 것을 특징으로 하는 촬상장치.
  19. 제 1 항에 있어서,
    상기 촬상수단을 이용하여 피사체의 정지화상을 촬영하는 정지화상 촬영수단을 구비하고,
    상기 제어수단은,
    상기 정지화상 촬영수단에 의한 정지화상의 촬영을 실시할 때에, 상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의한 상블러링 경감의 양을 제어하는 것을 특징으로 하는 촬상장치.
  20. 제 1 항에 있어서,
    피사체의 빛에 의거하여 광량을 산출하는 광량산출수단과,
    상기 광량산출수단에 의해 산출된 광량이 촬영에 필요 충분한 광량인지 아닌지를 판정하는 광량판정수단을 구비하고,
    상기 제어수단은,
    상기 광량판정수단에 의해 필요 충분한 광량이라고 판정된 경우에는 상기 상블러링 경감수단에 의한 상블러링 경감의 실행을 금지하며, 상기 상블러링 보정수 단에 의한 상블러링 보정을 실행시키는 것을 특징으로 하는 촬상장치.
  21. 제 1 항에 있어서,
    적정 노출을 산출하고, 해당 산출한 적정 노출에 의거하여 셔터 스피드를 산출하는 셔터 스피드 산출수단과,
    상기 셔터 스피드 산출수단에 의해 산출된 상기 셔터 스피드가 소정의 셔터 스피드보다 빠른지 빠르지 않은지를 판정하는 셔터 스피드 판정수단을 구비하고,
    상기 제어수단은,
    상기 셔터 스피드 판정수단에 의해 소정의 셔터 스피드보다 빠르다고 판정된 경우에는 상기 상블러링 경감수단에 의한 상블러링 경감의 실행을 금지하며, 상기 상블러링 보정수단에 의한 상블러링 보정을 실행시키는 것을 특징으로 하는 촬상장치.
  22. 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과,
    상블러링을 보정하는 상블러링 보정수단과,
    상블러링을 경감하는 상블러링 경감수단과,
    피사체 거리를 검출하는 검출수단과,
    상기 검출수단에 의해 검출된 피사체 거리에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단을 구비한 것을 특징으로 하는 촬상장치.
  23. 제 22 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출된 피사체 거리가 길어짐에 따라서, 상기 상블러링 경감수단에 의한 상블러링 경감의 양을 줄여 가는 제어를 실시하는 것을 특징으로 하는 촬상장치.
  24. 제 22 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출된 피사체 거리가 길어짐에 따라서, 상기 상블러링 보정수단에 의한 상블러링 보정의 양을 늘려 가는 제어를 실시하는 것을 특징으로 하는 촬상장치.
  25. 제 22 항에 있어서,
    상기 검출수단에 의해 검출된 피사체 거리가 소정거리보다 긴지 길지 않은지를 판단하는 판단수단을 구비하고,
    상기 제어수단은,
    상기 판단수단에 의해 피사체 거리가 소정거리보다 길다고 판단된 경우에는 상기 상블러링 경감수단에 의한 상블러링 경감의 실행을 금지하는 것을 특징으로 하는 촬상장치.
  26. 제 22 항에 있어서,
    상기 제어수단은,
    상기 검출수단에 의해 검출된 피사체 거리에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 동시에, 상기 상블러링 보정수단에 의한 상블러링 보정을 실행시키는 것을 특징으로 하는 촬상장치.
  27. 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과,
    상블러링을 보정하는 상블러링 보정수단과,
    상블러링을 경감하는 상블러링 경감수단과,
    상기 상블러링 보정수단에 의한 상블러링 보정의 양과, 상기 상블러링 경감수단에 의한 상블러링 경감의 양의 비율을 설정하는 설정수단과,
    상기 설정수단에 의해 설정된 비율에 따라서, 상기 상블러링 보정수단에 의한 상블러링 보정 및 상기 상블러링 경감수단에 의한 상블러링 경감을 실행시키는 제어수단을 구비한 것을 특징으로 하는 촬상장치.
  28. 피사체를 촬상하고 화상데이터를 출력하는 촬상수단과, 상블러링을 보정하는 상블러링 보정수단과, 상블러링을 경감하는 상블러링 경감수단을 구비한 촬상장치의 상블러링 경감방법으로서,
    상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거 하여 상흔들림을 검출하는 검출스텝과,
    상기 검출스텝에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어스텝을 포함하는 것을 특징으로 하는 상블러링 경감방법.
  29. 　피사체를 촬상하고 화상데이터를 출력하는 촬상부를 구비한 촬상장치가 갖는 컴퓨터를,
    상블러링을 보정하는 상블러링 보정수단과,
    상블러링을 경감하는 상블러링 경감수단과,
    상기 상블러링 보정수단에 의한 상블러링 보정이 실시된 화상데이터에 의거하여 상흔들림을 검출하는 검출수단과,
    상기 검출수단에 의해 검출된 상흔들림에 의거하여 상기 상블러링 경감수단에 의해 실행되는 상블러링 경감의 양(강도)을 제어하는 제어수단으로서 기능시키는 프로그램을 기록한 기록매체.
KR1020070011125A 2006-02-06 2007-02-02 촬상장치 및 상블러링 경감방법 및 그 기록매체 KR100868054B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00027968 2006-02-06
JP2006027968A JP4766320B2 (ja) 2006-02-06 2006-02-06 撮像装置及びそのプログラム

Publications (2)

Publication Number Publication Date
KR20070080223A true KR20070080223A (ko) 2007-08-09
KR100868054B1 KR100868054B1 (ko) 2008-11-11

Family

ID=38334171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070011125A KR100868054B1 (ko) 2006-02-06 2007-02-02 촬상장치 및 상블러링 경감방법 및 그 기록매체

Country Status (6)

Country Link
US (2) US7853134B2 (ko)
JP (1) JP4766320B2 (ko)
KR (1) KR100868054B1 (ko)
CN (1) CN100531312C (ko)
HK (1) HK1106906A1 (ko)
TW (1) TWI360348B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106296B1 (ko) * 2009-11-26 2012-01-18 삼성전자주식회사 손떨림 보정 방법 및 이를 적용한 촬영 장치
US8373761B2 (en) 2008-12-11 2013-02-12 Samsung Electronics Co., Ltd. Shake correcting apparatus and method thereof in digital photographing apparatus
KR20160058195A (ko) * 2013-10-11 2016-05-24 페이스북, 인크. 멀티미디어 클립에 대한 비디오 안정화 적용

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4766320B2 (ja) * 2006-02-06 2011-09-07 カシオ計算機株式会社 撮像装置及びそのプログラム
EP1874043B1 (en) 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
JP4594257B2 (ja) * 2006-03-10 2010-12-08 富士フイルム株式会社 ディジタル撮像装置
JP4974704B2 (ja) * 2007-02-22 2012-07-11 パナソニック株式会社 撮像装置
JP4976160B2 (ja) 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
WO2009008164A1 (ja) * 2007-07-09 2009-01-15 Panasonic Corporation デジタル一眼レフカメラ
KR20090015251A (ko) * 2007-08-08 2009-02-12 삼성전자주식회사 이미지 센서를 구비한 카메라 모듈
TWI338241B (en) * 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
US8405759B2 (en) * 2007-09-27 2013-03-26 Olympus Imagining Corp. Imaging device with contrast AF, and control method for imaging device with contrast AF
JP4926920B2 (ja) 2007-11-16 2012-05-09 キヤノン株式会社 防振画像処理装置及び防振画像処理方法
KR20090066368A (ko) 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US10503376B2 (en) * 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
US8922518B2 (en) 2007-12-20 2014-12-30 Samsung Electronics Co., Ltd. Mobile terminal having touch screen and function controlling method of the same
JP5179859B2 (ja) 2007-12-27 2013-04-10 三星電子株式会社 撮像装置及び撮像方法
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ｕｉ 제공방법 및이를 적용한 촬영장치
JP2010087598A (ja) * 2008-09-29 2010-04-15 Fujifilm Corp 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム
US8345150B2 (en) * 2009-07-27 2013-01-01 Panasonic Corporation Imaging apparatus
JP5003769B2 (ja) * 2010-01-18 2012-08-15 株式会社Ｊｖｃケンウッド 撮像装置および画像振れ補正方法
JP5517746B2 (ja) * 2010-05-26 2014-06-11 キヤノン株式会社 画像処理装置およびその方法
US9204047B2 (en) * 2011-04-08 2015-12-01 Nokia Technologies Oy Imaging
US9609217B2 (en) * 2011-11-02 2017-03-28 Mediatek Inc. Image-based motion sensor and related multi-purpose camera system
JP5720556B2 (ja) * 2011-12-14 2015-05-20 株式会社Ｊｖｃケンウッド 撮像装置及び画像ぶれ補正方法
JP2012124939A (ja) * 2012-02-07 2012-06-28 Canon Inc 撮像装置及び撮像装置の制御方法
US9300873B2 (en) * 2012-06-22 2016-03-29 Apple Inc. Automated tripod detection and handling in video stabilization
JP6074298B2 (ja) * 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
JP5968944B2 (ja) * 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10270973B2 (en) * 2015-12-08 2019-04-23 Canon Kabushiki Kaisha Control device and imaging apparatus with a subject selectable mode with higher image blur correction
JP6700874B2 (ja) * 2016-03-08 2020-05-27 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP7030446B2 (ja) * 2017-08-14 2022-03-07 キヤノン株式会社 像振れ補正装置およびその制御方法
JP2019083364A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 画像処理装置、撮像装置および制御方法
JP2019117977A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム
CN110708465B (zh) * 2019-10-21 2020-12-25 厦门美图之家科技有限公司 视频抖动校正方法、装置、可读存储介质及电子设备
KR20210074010A (ko) * 2019-12-11 2021-06-21 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
CN113038021B (zh) * 2021-03-26 2022-08-19 歌尔股份有限公司 图像抖动的检测方法、检测装置和可读存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307113A (en) * 1986-11-20 1994-04-26 Canon Kabushiki Kaisha Imaging apparatus with means for detecting and preventing hand shake
JP2870816B2 (ja) * 1989-06-21 1999-03-17 ミノルタ株式会社 カメラ
JP2687246B2 (ja) * 1989-11-08 1997-12-08 キヤノン株式会社 撮影条件決定装置
DE69121627T2 (de) * 1990-04-27 1997-01-23 Canon Kk Vorrichtung zur Detektion von Bewegungsvektor
US5596366A (en) * 1990-05-14 1997-01-21 Canon Kabushiki Kaisha Camera apparatus having camera movement detection
JPH04163534A (ja) * 1990-10-29 1992-06-09 Olympus Optical Co Ltd カメラのブレ防止装置
DE69319677T2 (de) * 1992-09-11 1999-01-21 Canon Kk Vorrichtung zur Ausgleichung von Bildzittern
JP3473064B2 (ja) 1992-11-20 2003-12-02 ソニー株式会社 画像動きベクトル検出装置及びビデオカメラ
JP3642793B2 (ja) * 1992-11-25 2005-04-27 ソニー株式会社 固体撮像装置及び撮像装置の制御方法
JPH10191136A (ja) 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
JPH10336511A (ja) 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
JPH11326980A (ja) 1998-05-13 1999-11-26 Minolta Co Ltd 手振れ補正機能を有するカメラシステム
US6630951B1 (en) * 1998-06-11 2003-10-07 Ricoh Company, Ltd. Apparatus for detecting hand movement of an optical device
JP2000089287A (ja) * 1998-09-14 2000-03-31 Canon Inc 焦点距離可変カメラ
US6165047A (en) * 1999-08-27 2000-12-26 Scott; Hester B. Two-in-one brassiere for breast enhancement and support
JP2001194701A (ja) * 2000-01-13 2001-07-19 Ricoh Co Ltd デジタルカメラ
JP2001311976A (ja) 2000-04-28 2001-11-09 Canon Inc ブレ補正装置、撮像装置、ブレ補正制御方法及びブレ補正制御方法を提供するコンピュータ読み取り可能な媒体
JP2001339632A (ja) 2000-05-26 2001-12-07 Hitachi Ltd 撮像装置
JP3424666B2 (ja) * 2000-09-29 2003-07-07 ミノルタ株式会社 デジタルカメラのカメラボディ、および、デジタルカメラのカメラボディを制御するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002214659A (ja) * 2001-01-16 2002-07-31 Canon Inc ぶれ補正機能付きカメラ
JP2002258341A (ja) * 2001-02-28 2002-09-11 Asahi Optical Co Ltd 防振処理機能を備えた光学機器
JP2002330335A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 静止画像撮像装置
JP2003043540A (ja) * 2001-07-30 2003-02-13 Canon Inc 振れ補正機能付きカメラ
JP3926707B2 (ja) 2002-08-20 2007-06-06 株式会社リコー 画像入力装置
JP4272863B2 (ja) 2002-09-20 2009-06-03 キヤノン株式会社 カメラおよびカメラシステム
JP4076148B2 (ja) * 2003-03-20 2008-04-16 株式会社リコー デジタルカメラ
JP2005292740A (ja) 2004-04-06 2005-10-20 Canon Inc 電子カメラ
US7450832B2 (en) * 2004-12-01 2008-11-11 Hoya Corporation Imaging device having an optical image stabilizer
JP2007041570A (ja) * 2005-07-01 2007-02-15 Nikon Corp 電子カメラ
JP4766320B2 (ja) * 2006-02-06 2011-09-07 カシオ計算機株式会社 撮像装置及びそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8373761B2 (en) 2008-12-11 2013-02-12 Samsung Electronics Co., Ltd. Shake correcting apparatus and method thereof in digital photographing apparatus
KR101106296B1 (ko) * 2009-11-26 2012-01-18 삼성전자주식회사 손떨림 보정 방법 및 이를 적용한 촬영 장치
US8384786B2 (en) 2009-11-26 2013-02-26 Samsung Electronics Co., Ltd Method for compensating for vibration and imaging apparatus using the same
KR20160058195A (ko) * 2013-10-11 2016-05-24 페이스북, 인크. 멀티미디어 클립에 대한 비디오 안정화 적용

Also Published As

Publication number Publication date
KR100868054B1 (ko) 2008-11-11
TWI360348B (en) 2012-03-11
JP2007206583A (ja) 2007-08-16
US20110085784A1 (en) 2011-04-14
TW200737947A (en) 2007-10-01
US8290356B2 (en) 2012-10-16
CN101018292A (zh) 2007-08-15
US20070183765A1 (en) 2007-08-09
JP4766320B2 (ja) 2011-09-07
CN100531312C (zh) 2009-08-19
HK1106906A1 (en) 2008-03-20
US7853134B2 (en) 2010-12-14

Similar Documents

Publication Publication Date Title
KR100868054B1 (ko) 촬상장치 및 상블러링 경감방법 및 그 기록매체
JP4919160B2 (ja) 撮像装置及びそのプログラム
US7706674B2 (en) Device and method for controlling flash
JP4594257B2 (ja) ディジタル撮像装置
JP4916513B2 (ja) 撮像装置
JP2007178576A (ja) 撮像装置及びそのプログラム
KR101013830B1 (ko) 촬영 장치 및 프로그램을 기록한 기록 매체
JP2009130577A (ja) 撮像装置及びそのプログラム
JP2009065573A (ja) 撮像装置、フォーカス制御方法、フォーカス制御プログラム
JP4614143B2 (ja) 撮像装置及びそのプログラム
JP2010093679A (ja) 撮像装置及び撮像制御方法
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
JP4761048B2 (ja) 撮像装置及びそのプログラム
US20060197866A1 (en) Image taking apparatus
JP2005055746A (ja) 撮像装置、合焦制御方法、およびプログラム
JP6758950B2 (ja) 撮像装置、その制御方法とプログラム
JP2007318292A (ja) 動きベクトル検出装置及びそのプログラム
JP5067475B2 (ja) 撮像装置及びそのプログラム
JP5371474B2 (ja) 撮像装置、制御方法、及びプログラム
JP2004328606A (ja) 撮像装置
KR101421940B1 (ko) 촬상장치 및 촬상방법
JP5105298B2 (ja) 撮像装置及びそのプログラム
US11356611B2 (en) Image capture apparatus and control method thereof
JP2002044495A (ja) 電子カメラ
JP4807218B2 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121023

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 12