KR20090119687A - 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 - Google Patents

촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20090119687A
KR20090119687A KR1020090031728A KR20090031728A KR20090119687A KR 20090119687 A KR20090119687 A KR 20090119687A KR 1020090031728 A KR1020090031728 A KR 1020090031728A KR 20090031728 A KR20090031728 A KR 20090031728A KR 20090119687 A KR20090119687 A KR 20090119687A
Authority
KR
South Korea
Prior art keywords
image
images
pickup device
imaging device
shooting
Prior art date
Application number
KR1020090031728A
Other languages
English (en)
Other versions
KR101034109B1 (ko
Inventor
가즈히사 마츠나가
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20090119687A publication Critical patent/KR20090119687A/ko
Application granted granted Critical
Publication of KR101034109B1 publication Critical patent/KR101034109B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

촬영장치(100)는 손떨림이 발생한 경우에 있어서의 연사촬영시의 각 촬영개시시점에서, 손떨림보정정보를 나타내는 보정신호(R)에 화소시프팅정보를 나타내는 오프셋신호(O)를 반영시킨 제어신호(C)에 의거하여 촬상소자(19)를 이동시킨다. 이에 따라, 손떨림에 의한 촬상소자(19)의 촬영범위의 변화가 거의 지워지는 동시에, 촬영 때마다 촬영범위가 1화소분만큼 변화하게 된다. 따라서, 손떨림이 발생한 경우에 있어서도, 연사촬영된 각 화상상에서 특징부분(주요 피사체)과 고정패턴 노이즈의 거리를 서로 다른 것으로 할 수 있다. 그 결과, 손떨림이 발생한 경우라도, 특징부분을 기준으로 하여 연사촬영된 각 화상을 합성함으로써, 고정패턴 노이즈가 분산된 합성화상을 얻을 수 있다.
Figure P1020090031728
촬영장치, 손떨림, 촬상소자, 오프셋신호, 고정패턴 노이즈, 연사촬영, 보정정보

Description

촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체{IMAGE CAPTURE APPARATUS AND COMPUTER READABLE RECORDING MEDIUM STORING WITH A PROGRAM}
본 발명은 고체촬상소자를 이용한 촬영장치에 관한 것이다.
종래부터, 고체촬상소자를 이용한 촬상장치에 있어서는, 촬상소자로부터 출력되는 화상신호와, 촬상소자를 구동하기 위한 펄스가 회로 내에 혼재하고 있다. 또, 촬상장치 내에서는 신호처리용으로 여러 가지 펄스가 혼재한다. 이들 펄스는 공통의 기준클록으로 만들어지고, 서로 동기한 신호인 것이 많다. 그들 동기한 신호의 고주파성분이 배선패턴간의 용량결합 등에 의해 화상신호에 혼입되면, 이 화상신호에 의거하는 화상상에서 눈에 보이는 선형상이나 점형상의 고정패턴 노이즈가 발생하므로, 이 고정패턴 노이즈가 화질열화의 요인이 되는 경우가 있다.
그래서, 종래, 연속촬영시에 피사체상을 2차원 광검출소자로 유도하는 미러(mirror)를 소정각도씩 회전시킴으로써, 피사체상의 위치가 소정량씩 벗어난 복수장의 화상을 촬영하고, 각 촬영화상상의 특정의 피사체상을 기준으로 하여 이들 각 촬영화상을 합성해서 합성화상을 생성하는 촬상장치가 제안되어 있다(예를 들면, 일본국 특개2007-214662호 공보를 참조). 
이 종래의 촬상장치에 따르면, 미러의 회전에 의해 각 촬영화상에 있어서 합성의 기준이 되는 특정의 피사체상과 고정패턴 노이즈의 위치관계가 서로 다른 것이 되므로, 각 촬영화상상에 발생하는 고정패턴 노이즈를 합성화상상에서 분산시키고, 합성화상상에서 고정패턴 노이즈의 영향을 저감시킬 수 있다.
그러나, 이 종래의 촬상장치에서는 연속촬영중에 촬상장치의 사용자에 의한 손떨림이 발생한 경우, 이 손떨림에 의해서 미러의 회전에 의한 각 촬영화상상의 피사체상의 위치의 벗어남이 지워지는 경우가 있다. 이 경우, 각 촬영화상에 있어서 합성의 기준이 되는 특정의 상과 고정패턴 노이즈의 위치관계가 같은 것으로 되어 버린다. 즉, 이 종래의 촬상장치에서는 손떨림이 발생한 경우에, 각 촬영화상을 합성해도 합성화상상에서 고정패턴 노이즈를 분산시킬 수 없는 경우가 있다.
그래서, 본 발명의 목적은 촬영중에 손떨림이 발생한 경우라도, 촬영화상상의 고정패턴 노이즈의 영향을 확실하게 저감시키는 것에 있다.
본 발명의 촬영장치의 하나의 형태는,
촬상소자에 의해 피사체상을 복수회 촬영함으로써, 고정패턴 노이즈가 발생한 복수의 화상을 생성하는 촬영수단과,
손떨림에 의한 상기 촬상소자의 촬영범위의 벗어남을 보정하고, 또한 촬영 때마다 상기 촬상소자의 촬영범위가 다르도록, 상기 촬상소자를 이동시키는 보정수단과,
상기 복수의 화상상의 특정의 부분을 기준으로 하여 상기 복수의 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 합성수단을 구비한다.
본 발명의 다른 형태는,
촬상소자에 의해 피사체상을 복수회 촬영함으로써, 고정패턴 노이즈가 발생한 복수의 화상을 생성하는 촬영수단과, 상기 촬상소자를 이동시키는 구동수단을 구비하는 컴퓨터에,
손떨림에 의한 상기 촬상소자의 촬영범위의 벗어남을 보정하고, 또한 촬영 때마다 상기 촬상소자의 촬영범위가 다르도록, 상기 구동수단으로 상기 촬상소자를 이동시키는 보정처리와,
상기 복수의 화상상의 특정의 부분을 기준으로 하여 상기 복수의 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 합성처리를 실행시키는 프로그램이 기억된 컴퓨터 판독 가능한 기록매체이다.
본 발명에 따르면, 촬영중에 손떨림이 발생한 경우라도, 촬영화상상의 고정패턴 노이즈의 영향을 확실하게 저감시킬 수 있다.
이하, 도면에 의거하여 본 발명의 일 실시형태에 관련되는 촬영장치(100)에 대해 설명한다.
도 1은 본 실시형태에 관련되는 촬영장치(100)의 기능적 구성을 나타내는 블록도이다. 도 1을 이용하여 본 실시형태에 관련되는 촬영장치(100)의 구성을 설명한다. 촬영장치(100)는 디지털카메라 등에 의해 구성할 수 있다.
촬영장치(100)는 제어부(10)와, RAM(11)과, ROM(12)과, 광학렌즈장치(13)와, 광학계 제어부(14)와, 광학계 구동부(15)와, 조리개(16)와, 조리개 제어부(17)와, 조리개 구동부(18)와, 촬상소자(19)와, 드라이버(20)와, 손떨림보정계(21)와, 전(前)처리부(22)와, 화상입력컨트롤러(23)와, 화상메모리(24)와, 화상처리부(25)와, AF/AE평가부(26)와, 특징추출부(27)와, 화상합성부(28)와, 표시제어부(29)와, 표시부(30)와, 기록매체(31)와, 조작부(32)를 구비한다.
제어부(10)는 촬영장치(100) 전체의 동작을 제어한다. 제어부(10)는 CPU (Central Processing Unit) 등으로 구성된다.
RAM(11)은 제어부(10)가 각 처리를 실행할 때에 작업영역으로서 기능한다. RAM(11)은 DRAM(Dynamic Random Access Memory) 등으로 구성된다. ROM(12)은 촬영장치(100)가 촬상소자시프트식 손떨림보정제어용의 프로그램이나, 도 4의 흐름도에 나타내어지는 각 처리를 실행하는데에 필요한 프로그램 등을 기억한다. ROM (12)은 플래시메모리 등으로 구성된다. 제어부(10)는 RAM(11)을 작업영역으로 하여 ROM(12)에 기억되어 있는 프로그램과의 협동에 의해 각 처리를 실행한다.
광학렌즈장치(13)는 포커스렌즈나 줌렌즈 등으로 구성된다. 포커스렌즈는 피사체상을 촬상소자(19)의 수광면에 결상시키기 위한 렌즈이다.
광학계 제어부(14)는 제어부(10)에 의한 제어에 따라 광학계 구동부(15)를 제어함으로써, 광학계 구동부(15)에 광학렌즈장치(13)의 포커스렌즈를 광축방향으로 진퇴시킨다. 이에 따라, 포커스렌즈의 위치가 변화해서 초점이 조절된다. 광학계 구동부(15)는 스텝모터 등으로 구성된다. 광학계 제어부(14)는 광학계 구동부(15)를 제어하는 제어회로 등으로 구성된다.
조리개 날개(16)는 촬상소자(19)에 입사하는 피사체상의 광량을 조절하는 조 리개로서 기능하는 기구이다. 조리개 날개(16)는 조리개를 예를 들면 F3.1∼F8의 범위에서 단계적으로 전환한다.
조리개 제어부(17)는 제어부(10)에 의한 제어에 따라 조리개 구동부(18)를 제어함으로써, 조리개 구동부(18)에 조리개 날개(16)를 구동시킨다.
촬상소자(19)는 광학렌즈장치(13)로부터 입사되어 수광면에 결상한 피사체상을 광전변환(촬영)함으로써 화상신호를 축적하는 소자이다. 촬상소자(19)의 수광면에는 광전변환소자인 포토다이오드가 행렬형상으로 배치되어 있다. 촬상소자 (19)는 노광시간을 조절하는 전자셔터기능을 갖고 있다. 촬영시에는 이 전자셔터기능에 의해 노광시간인 셔터속도가 조절된다. 또한, 촬상소자(19)의 노광시간은 전자셔터기능에 대신하여 기계식 셔터에 의해 제어해도 좋다. 촬상소자(19)는 CMOS(Complementary Metal-Oxide Semiconductor)형의 이미지센서 등으로 구성된다. 또한, 촬상소자(19)는 CCD(Charge Coupled Device)형의 이미지센서에 의해 구성해도 좋다.
드라이버(20)는 제어부(10)에 의한 제어에 따라서 촬상소자(19)에 축적된 화상신호를 아날로그신호로서 일정시간마다 순차 출력시킨다. 또, 촬상소자(19)의 전자셔터에 의한 셔터속도는 제어부(10)가 드라이버(20)에 대해 설정하는 파라미터를 조절함으로써, 예를 들면 1/4초∼1/512초의 범위에서 변화시킬 수 있다.
손떨림보정계(21)는 제어부(10)에 의한 촬상소자시프트식 손떨림보정제어 등에 따라 촬영장치(100)의 광축에 직교하는 면내에 있어서 촬상소자(19)를 이동시킨다. 이에 따라, 손떨림이 발생해도 촬상소자(19)상에 결상되는 피사체상의 위치가 거의 변화하지 않도록 촬상소자(19)의 위치가 보정된다. 또한, 손떨림보정의 수법은 별도 설치한 손떨림보정렌즈를 광축에 대해 직교하는 면내에서 이동시키는 광학계 시프트식 손떨림보정제어라도 좋다.
도 2는 손떨림보정계(21)의 상세를 나타내는 도면이다. 도 2에 나타내어지는 바와 같이, 손떨림보정계(21)는 손떨림센서(211)와, 손떨림보정제어회로(212)와, 화소시프팅제어회로(213)와, 가산회로(214)와, 액추에이터(215)를 포함한다.
손떨림센서(211)는 사용자가 촬영장치(100)를 취하는 자세 등이 변화한 것에 의해 손떨림이 발생한 경우 등에 있어서, 피치방향 및 요(yaw)방향에 있어서의 촬상장치(100)의 각(角)속도를 검출한다. 손떨림센서(211)는 검출한 각속도를 전기신호로 변환하고, 이 전기신호를 검출신호(D)로서 출력한다. 손떨림센서(211)는 각속도센서 등으로 구성된다.
손떨림보정제어회로(212)는 손떨림센서(211)로부터 공급된 검출신호(D)가 나타내는 각속도를 시간적으로 적분함으로써, 촬상장치(100)의 편향각인 색변이량을 산출한다. 그리고 손떨림보정제어회로(212)는 제어부(10)에 의한 촬상소자시프트식 손떨림보정제어에 따라서, 산출한 촬상소자(19)의 각변위량과 포커스렌즈의 초점거리에 의거하여 손떨림에 의해서 발생한 촬상소자(19)의 위치의 변화량을 화소단위로 산출한다. 손떨림보정제어회로(212)는 산출한 위치의 변화량을 지우기 위한 손떨림보정정보를 산출하고, 산출한 손떨림보정정보를 나타내는 보정신호(R)를 출력한다.
화소시프팅제어회로(213)는 후술하는 연사합성모드에 있어서의 각 촬영의 개 시시점에 있어서만, 광축에 직교하는 면내에 있어서 촬상소자(19)를 소정거리만큼 이동시키는 지시를 나타내는 오프셋신호(O)를 출력한다. 이 오프셋신호(O)는 검출신호(D)가 나타내는 촬영장치(100)의 각속도의 크기에 좌우되지 않는 정상적인 신호이다.
가산회로(214)는 손떨림보정제어회로(212)로부터 공급된 보정신호(R)와, 화소시프팅제어회로(213)로부터 공급된 오프셋신호(O)를 가산하고, 가산한 신호를 제어신호(C)로서 출력한다. 즉, 이 제어신호(C)가 나타내는 보정정보는 보정신호(R)가 나타내는 손떨림보정정보에 대해 오프셋신호(O)가 나타내는 화소시프팅정보를 반영시킨 보정정보가 된다.
액추에이터(215)는 가산회로(214)로부터 공급되는 제어신호(C)에 따라 촬상소자(19)를 구동함으로써 촬영장치(100)의 광축에 직교하는 면내에 있어서 촬상소자(19)를 이동시킨다.
도 1로 되돌아가서, 전처리부(22)는 촬상소자(19)로부터 공급된 아날로그신호에 대해, 상관이중샘플링처리, 이득제어처리, A/D(Analog/Digital)변환처리 등의 각 신호 전처리를 시행하여 디지털신호를 생성하고, 생성한 디지털신호를 출력한다. 전처리부(22)는 A/D변환기 등에 의해 구성된다.
화상입력컨트롤러(23)는 전처리부(22)로부터 출력된 디지털신호를 화상메모리(24)에 기억시킨다.
화상메모리(24)는 전처리부(22)에 의해 생성된 디지털신호나, 화상처리부 (25)에 의해 생성되는 화상데이터를 일시적으로 기억한다. 화상메모리(24)는 DRAM (Dynamic Random Access Memory) 등으로 구성된다.
화상처리부(25)는 화상메모리(24)에 기억된 디지털신호를 판독하고, 판독한 디지털신호에 화이트밸런스제어처리, γ보정처리, YC변환처리 등의 각종 화상처리를 시행하여 휘도신호와 색차신호가 중첩된 화상데이터를 생성한다. 이 화상데이터에 의해 피사체상이 표현된다. 화상처리부(25)는 셔터버튼이 완전 누름 조작되었을 때는 비교적 고화질이며 대용량의 촬영화상용의 화상데이터를 생성한다. 한편, 화상처리부(25)는 라이브뷰 화상을 표시할 때는 비교적 저화질이며 소용량의 라이브뷰 화상용의 화상데이터를 생성한다. 화상처리부(25)는 생성한 화상데이터를 화상메모리(24)에 재차 기억시킨다. 또, 화상처리부(25)는 소정의 압축형식에 의해, 화상데이터에 대해 압축처리를 시행한다. 화상처리부(25)는 DSP(Digital Signal Processor) 등으로 구성된다.
본 실시형태에 있어서는, 촬상장치(100) 내에서 동기한 클록펄스의 고주파성분이 배선패턴간의 용량결합 등에 의해 촬상소자(19)로부터 출력되는 화상신호에 혼입한다. 이에 따라서, 촬영동작에 의해 생성된 화상데이터에 의해 표현되는 각 화상의 같은 위치에, 예를 들면 세로선 형상의 고정패턴 노이즈가 발생한다.
AF/AE평가부(26)는 화상메모리(24)에 순차 기억된 라이브뷰 화상용의 각 화상데이터로부터 고주파수 성분인 AF평가값을 추출하고, 추출한 AF평가값을 제어부 (10)에 순차 공급한다. 또, AF/AE평가부(26)는 화상메모리(24)에 기억된 화상데이터의 휘도의 적분값을 연산하고, 연산한 휘도의 적분값을 측광데이터로서 제어부 (10)에 공급한다.
특징추출부(27)는 화상메모리(24)에 기억된 화상데이터로부터 미리 지정된 피사체의 종별에 대응한 특징부분을 검출한다. 지정되는 피사체의 종별은 가변이다. 지정되는 피사체의 종별로서는, 예를 들면 인물의 전체 형상이나 얼굴 등이 있다. 특징추출부(27)에 의해 검출되는 피사체의 종별은 사용자가 조작부(32)를 통하여 설정하던지, 촬상장치(100)의 촬영모드(풍경촬영모드, 인물촬영모드 등)에 따라서 설정된다.
그리고 특징추출부(27)는 화상메모리(24)에 기억된 화상데이터에 의해 표현되는 화상상의 소정샘플링점에서 지정된 피사체의 종별에 대응하는 특징부분의 추출을 실행한다. 구체적으로는, 특징추출부(27)는 화상메모리(24)에 기억된 화상데이터와 모델데이터의 매칭처리에 의해 이들의 유사도를 산출하고, 산출한 유사도가 소정의 임계값 이상의 샘플링점에 있어서의 화상성분을 특징부분으로서 추출한다. ROM(12)에는 미리 복수의 피사체의 종별의 특징부분의 정보가 모델데이터로서 기억되어 있다. 예를 들면, 인물의 얼굴에 관한 모델데이터로서는 얼굴화상을 표현하는 화상데이터나, 얼굴의 눈, 입 등의 국소적인 특징데이터가 있다. 소정사이즈의 모델데이터가 지정된 피사체의 종별로 따라서 ROM(12)으로부터 판독된다.
특징추출부(27)가 실행하는 매칭처리로서는, 예를 들면 일본국 특개평9-130714호 공보에 기재한 수법을 이용할 수 있다. 이 수법은 피사체거리에 따른 사이즈의 템플릿화상(모델데이터)을 예를 들면 4×4의 블록화소단위로 촬상화상 내에서 주사시키면서, 정규화 상관계수 등을 계산함으로써 촬상화상의 국소부분과 모델데이터의 블록화소의 유사도 분포를 산출한다. 또한, 매칭처리는 이 수법에 한정 되는 것이 아니고, 공지의 방법을 적절하게 이용할 수 있다.
화상합성부(28)는 특징추출부(27)에 의해 추출된 특징부분을 기준으로 하고, 즉 각 특징부분의 위치를 일치시킨 상태에서 복수의 화상데이터에 의해 표현되는 각 화상을 합성함으로써, 합성화상을 표현하는 합성화상데이터를 생성한다.
표시제어부(29)는 제어부(10)에 의한 제어에 따라서 화상메모리(24)에 기억되어 있는 화상데이터를 판독하고, 판독한 화상데이터를 아날로그신호로 변환해서 출력한다. 표시제어부(29)는 VRAM(Video Random Access Memory)이나 D/A (Digital/Analog)변환기 등으로 구성된다.
표시부(30)는 표시제어부(29)로부터 공급된 아날로그신호에 의해 표현되는 화상 등을 표시한다. 표시부(30)는 촬영장치(100)의 케이스의 배면에 설치된 액정 디스플레이 등으로 구성된다.
기록매체(31)는 화상처리부(25)에 의해 생성된 화상데이터를 기록한다. 기록매체(31)는 촬영장치(100)에 착탈 가능한 반도체메모리카드 등으로 구성된다.
조작부(32)는 사용자로부터 각종 버튼의 조작을 접수한다. 조작부(32)는 전원버튼, 셔터버튼, 줌버튼, 커서키, 결정버튼, 메뉴버튼 등을 구비한다. 조작부 (32)는 사용자로부터 접수한 각종의 키 조작을 나타내는 신호를 제어부(10)에 공급한다. 셔터버튼은 촬영준비(AF처리 등)를 지시하기 위한 반 누름 조작과, 촬영을 지시하기 위한 완전 누름 조작을 사용자로부터 접수하는 것이 가능한 구성이다. 제어부(10)는 조작부(32)로부터 이들 신호를 수신하면, 수신한 신호에 의거한 처리를 실행한다.
도 3은 촬영장치(100)의 본 실시형태에 관련되는 연사합성모드에 있어서의 동작을 나타내는 흐름도이다. 도 3을 이용하여 본 실시형태에 관련되는 연사합성모드에 있어서 촬영장치(100)가 실행하는 동작을 설명한다. 이하의 실시형태에서는 세로선 형상의 고정패턴 노이즈의 선폭이 1개의 화소분에 상당하는 것으로서 설명한다. 또, 이하의 설명에서는 광학렌즈장치(13)를 통하여 촬상소자(19)의 수광면에 결상되는 피사체상의 범위를 「촬영범위」라고 부르는 것으로 한다.
본 실시형태에 있어서는, 사용자가 촬영장치(100)를 자신의 손에 의해 취하고 있는 상태에서 정지하고 있는 주요 피사체를 촬영하는 것으로 한다. 또, 본 실시형태에 있어서는, 촬영중에 손떨림이 상시 발생하고 있으며, 촬영장치(100)의 자세가 상시 변화하고 있는 것으로 한다.
사용자에 의한 메뉴버튼 등의 조작에 의해 연사합성모드가 설정되면, 제어부 (10)는 ROM(12)에 기억되어 있는 연사합성모드용의 프로그램을 판독하고, 이 프로그램과의 협동에 의해 도 3의 흐름도에 의해 나타내어지는 처리를 개시한다.
우선 스텝S1에 있어서, 제어부(10)는 라이브뷰 표시를 개시한다. 구체적으로는, 제어부(10)는 화상처리부(25)에 라이브뷰 화상용의 화상데이터를 생성시킨다. 그리고 제어부(10)는 생성된 라이브뷰 화상용의 화상데이터를 표시제어부(29)에 공급함으로써, 라이브뷰 화상을 표시부(30)에 표시시킨다. 이후, 제어부(10)는 화상처리부(25)가 순차 생성하는 라이브뷰 화상용의 화상데이터를 표시제어부(29)에 순차 공급함으로써, 라이브뷰 화상을 표시부(30)에 표시시킨다.
다음으로 스텝S2에 있어서, 제어부(10)는 사용자에 의해 셔터버튼이 반 누름 조작되어 있는지 아닌지를 판단한다. 구체적으로는, 제어부(10)는 조작부(32)로부터의 셔터버튼의 반 누름 조작에 따른 신호를 감시함으로써, 사용자에 의해 셔터버튼이 반 누름 조작되어 있는지 아닌지를 판단한다. 제어부(10)는 셔터버튼이 반 누름 조작되어 있지 않다고 판단한 경우(스텝S2: NO), 조작부(32)로부터의 셔터버튼의 반 누름 조작에 따른 신호를 검지할 때까지 대기상태가 된다. 한편, 제어부 (10)는 셔터버튼이 반 누름 조작되어 있다고 판단한 경우(스텝S2: YES), 스텝S3으로 처리를 진행시킨다.
다음으로 스텝S3에 있어서, 제어부(10)는 AF처리를 실행한다. 구체적으로는, 제어부(10)는 광학계 제어부(14)를 통하여 광학계 구동부(15)를 제어함으로써, 광학계 구동부(15)에 포커스렌즈를 광축방향으로 진퇴시키고, AF/AE평가부(26)로부터 공급되는 AF평가값이 가장 높게 되는 렌즈위치에서 포커스렌즈를 정지시킨다.
다음으로 스텝S4에 있어서, 제어부(10)는 AE처리를 실행한다. 구체적으로는, 제어부(10)는 ROM(12)으로부터 판독한 프로그램 선도(線圖)와, AF/AE평가부 (26)로부터 공급된 측광데이터에 의거하여 셔터속도, 조리개값, ISO감도로 이루어지는 노출조건을 결정한다. 그리고, 제어부(10)는 결정된 노출조건을 나타내는 제어신호를 각부에 공급함으로써, 적정한 노출이 얻어지도록 조리개 제어부(17) 등의 각부를 제어한다.
다음으로 스텝S5에 있어서, 제어부(10)는 사용자에 의해 셔터버튼이 완전 누름 조작되어 있는지 아닌지를 판단한다. 구체적으로는, 제어부(10)는 조작부(32)로부터의 셔터버튼의 완전 누름 조작에 따른 신호를 감시함으로써, 사용자에 의해 셔터버튼이 완전 누름 조작되어 있는지 아닌지를 판단한다. 제어부(10)는 셔터버튼이 완전 누름 조작되어 있지 않다고 판단한 경우(스텝S5: NO), 스텝S2로 처리를 되돌린다. 한편, 제어부(10)는 셔터버튼이 완전 누름 조작되어 있다고 판단한 경우(스텝S5: YES), 스텝S6으로 처리를 진행시킨다. 촬영장치(100)는 사용자에 의한 1회의 셔터버튼의 완전 누름 조작에 응답하고, 연속해서 3회의 촬영을 실행한다.
다음으로 스텝S6에 있어서, 제어부(10)는 1번째의 촬영을 실행한다. 구체적으로, 제어부(10)는 드라이버(20)에 스텝S4에 있어서 결정된 셔터속도로 촬상소자 (19)를 노광시킴으로써 촬상소자(19)에 화상신호를 축적시킨다. 노광시간이 경과한 후, 제어부(10)는 드라이버(20)에 촬상소자(19)에 축적된 화상신호를 아날로그신호로서 출력시킨다. 전처리부(22)는 이 아날로그신호로부터 디지털신호를 생성해서 출력한다. 화상입력컨트롤러(23)는 이 디지털신호를 화상메모리(24)에 기억시킨다. 화상처리부(25)는 화상메모리(24)에 기억된 디지털신호로부터 화상데이터를 생성하고, 생성된 화상데이터를 화상메모리(24)에 재차 기억시킨다.
또, 제어부(10)는 1번째의 촬영중에 손떨림보정제어를 실행한다.
도 4는 촬영장치(100)의 광축에 대한 주요 피사체의 상대적인 위치관계와, 촬영장치(100)의 광축에 대한 촬상소자(19)의 상대적인 위치관계를 나타내는 도면이다.
도 4에 있어서, 가로축은 1번째의 촬영개시시점으로부터의 경과시간(t)을 나타내는 시간축이다. 원점(O, 경과시간(t)=0)은 1번째의 촬영의 개시시점을 나타낸다. 이 가로축에 있어서의 1 눈금분의 시간(t)은 1회당의 촬영동작에 요하는 시간 이다. 또, 세로축은 요방향에 있어서의 촬영장치(100)의 광축에 대한 주요 피사체 또는 촬상소자(19)의 상대적인 거리를 나타낸다. 세로축은 요방향에 있어서의 오른쪽방향이 플러스로, 요방향에 있어서의 왼쪽방향이 마이너스로 설정되어 있다. 이 세로축의 단위는 1개의 화소분의 거리이다. 여기에서, 1개의 화소분의 거리란, 촬상소자(19)의 촬영범위가 1개의 화소분 벗어나도록 촬상소자(19)를 실공간에 있어서 이동시키기 위해 필요하게 되는 거리이다.
도 4에는 요방향에 있어서의 촬영장치(100)의 광축으로부터 주요 피사체의 중심까지의 거리 A(t)가 파선에 의해서 나타내어져 있다. 도 5는 거리 A(t)를 모식적으로 나타내는 도면이다. 도 5에 있어서, 부호 “40”은 주요 피사체를 나타낸다. 손떨림의 발생에 동반하는 촬상장치(100)의 자세의 변화 때문에 요방향에 있어서의 촬영장치(100)의 광축으로부터 주요 피사체까지의 거리 A(t)는 시시각각으로 변화하고 있다. 경과시간(t)에 있어서의 주요 피사체의 위치는 요방향에 있어서, 촬영장치(100)의 광축에 대해서 A(t)개의 화소분의 거리만큼 벗어나 있게 된다.
본 실시형태에 있어서는 1번째의 촬영개시시점(t=0)에 있어서, 주요 피사체의 위치는 광축상에 있는 것으로 한다. 또, 상기한 대로, 주요 피사체는 정지하고 있다. 도 4에 나타내어지는 바와 같이, 요방향에 있어서의 촬영장치(100)의 광축에서 주요 피사체의 중심까지의 거리 A(t)의 값은 상시 플러스이다. 그로 인해, 도 4에 나타내어지는 예는, 손떨림에 의해 촬영장치(100)의 자세가 변화했기 때문에, 연사촬영중에 있어서의 촬영장치(100)의 광축이, 촬영개시시점보다 A(t)개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 것을 의미하고 있다. 바꾸어 말하면, 연사촬영중에 있어서, 상시, 주요 피사체가 촬영장치(100)에 대해 상대적으로 오른쪽방향으로 벗어나 있는 것을 의미한다.
도 4에는 요방향에 있어서의 촬영장치(100)의 광축에서 촬상소자(19)의 중심까지의 거리 B(t)가 실선에 의해서 나타내어져 있다. 도 6은 거리 B(t)를 모식적으로 나타내는 도면이다. 손떨림의 발생에 동반하는 촬상소자시프트식 손떨림보정제어를 위해, 요방향에 있어서의 촬영장치(100)의 광축에서 촬상소자(19)의 중심까지의 거리 B(t)는 시시각각으로 변화하고 있다. 경과시간(t)에 있어서의 촬상소자 (19)의 위치는 요방향에 있어서, 촬영장치(100)의 광축에 대해 B(t)개의 화소분의 거리만큼 벗어나 있게 된다. 1번째의 촬영개시시점(t=0)에 있어서, 촬영장치 (100) 내에 있어서의 촬상소자(19)의 중심은 [, 촬상소자(19)의 중심이] 광축상에 있다.
다음으로, 1번째의 촬영시의 손떨림보정제어를 할 때에, 손떨림보정계(21)에 있어서의 처리의 모양을 설명한다.
1번째의 촬영중에, 손떨림센서(211)는 손떨림에 의한 촬영장치(100)의 각속도를 나타내는 검출신호(D)를 일정시간마다 출력한다.
손떨림보정제어회로(212)는 손떨림센서(211)로부터 공급되는 검출신호(D)에 의거하여 손떨림에 의한 촬상소자(19)의 위치의 변화량을 지우기 위한 손떨림보정정보(촬상소자(19)를 이동시킬 방향이나 이동량 등)를 산출한다. 그리고 손떨림보정제어회로(212)는 산출한 손떨림보정정보를 나타내는 보정신호(R)를 일정시간마다 출력한다. 촬상소자(19)상의 임의의 화소의 위치를 (n, m)으로 한다. 촬영장치 (100)의 광축이 주요 피사체(40)에 대해서 A(t)개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 경우, 보정신호(R)가 나타내는 보정정보는 (A(t), 0)가 된다. 그로 인해, 보정신호(R)는 「각 화소의 위치 (n, m)을 (n+A(t), m)으로 이동시킨다」, 즉 「촬상소자(19)를 A(t)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
한편, 화소시프팅제어회로(213)는 1번째의 촬영개시시점(t=0)에 있어서만, 화소시프팅정보 (-3, 0)를 나타내는 오프셋신호(O)를 출력한다. 1번째의 촬영시점에 있어서 출력되는 이 오프셋신호(O)는 「촬상소자(19)를 연사촬영의 촬영회수와 같은 화소수분의 거리만큼 왼쪽방향으로 이동시킨다」라고 하는 지시를 나타내고 있다. 본 실시형태에 있어서는, 연사촬영의 촬영회수는 3회이다. 그로 인해, 이 오프셋신호(O)는 「각 화소의 위치 (n, m)을 (n-3, m)으로 이동시킨다」, 즉 「촬상소자(19)를 3개의 화소분의 거리만큼 왼쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
1번째의 촬영개시시점(t=0)에서, 가산회로(214)는 보정신호(R)가 나타내는 손떨림보정정보와 오프셋신호(O)가 나타내는 화소시프팅정보를 반영시킨 신호를 제어신호(C)로서 출력한다. 그로 인해, 1번째의 촬영개시시점에서의 제어신호(C)가 나타내는 보정정보는 (A(t)-3, 0)이다. 즉, 1번째의 촬영개시시점에서의 제어신호 (C)는 「촬상소자(19)를 (A(t)-3)개의 화소분의 거리만큼 오른쪽방향으로 이동한다」라고 하는 지시를 나타낸다.
1번째의 촬영개시시점(t=0)에서, 액추에이터(215)는 가산회로(214)로부터 공급되는 제어신호(C)에 따라 광축에 직교하는 면내에 있어서 촬상소자(19)를 (A(t)-3)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다.
1번째의 촬영개시시점(t=0)에 있어서는 아직 손떨림이 발생하고 있지 않으므로, 보정신호(R)가 나타내는 보정정보는 (0, 0)가 된다. 그로 인해, 도 4에 나타내어지는 바와 같이, 1번째의 촬영개시시점(t=0)에서는 오프셋신호(O)의 영향에 의해서 촬영장치(100)의 광축에 대해 촬상소자(19)가 3개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 상태로 되어 있다. 그리고 상기한 대로, 1번째의 촬영개시시점(t=0)에 있어서 주요 피사체의 위치는 광축상에 있기 때문에, 이 시점에서는 주요 피사체에 대해 촬상소자(19)가 3개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 상태로 되어 있다.
1번째의 촬영개시시점에서 2번째의 촬영개시시점까지의 사이(0<t<T)에 있어서는, 화소시프팅제어회로(213)는 오프셋신호(O)의 출력을 정지한다. 따라서, 가산회로(214)로부터는, 손떨림센서(211)로부터 공급된 검출신호(D)에 의거하여 손떨림보정제어회로(212)가 출력한 보정신호(R)가 그대로 제어신호(C)로서 액추에이터 (215)에 입력된다. 그리고 이 사이에 있어서, 제어신호(C)에 따라 액추에이터 (215)가 손떨림에 의한 촬상소자(19)의 위치의 변화량을 지우도록 촬상소자(19)를 이동시키게 된다. 이에 따라, 도 4에 나타내어지는 바와 같이, 1번째의 촬영개시시점에서 2번째의 촬영개시시점까지의 사이(0<t<T), 주요 피사체에 대해 촬상소자(19)가 3개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 상태가 유지된 채, 촬상소자(19)의 위치가 주요 피사체의 위치에 대해서 추종하게 된다.
도 7a에 1번째의 촬영에 의해 생성된 화상데이터에 의해 표현되는 1장째의 화상의 일례인 화상(P1)이 나타내어져 있다. 1장째의 화상(P1)에는 촬영된 주요 피사체(40)와 함께 고정패턴 노이즈(51)가 찍혀져 있다. 이 1장째의 화상(P1)이 후술하는 화상데이터의 합성처리에 있어서의 기준화상이 된다.
도 3으로 되돌아가서, 스텝S7에 있어서, 제어부(10)는 촬영회수(n)로서 「1」을 설정한다. 구체적으로는, 제어부(10)는 촬영회수(n)가 1인 것을 나타내는 정보를 RAM(11)에 기억시킨다.
다음으로 스텝S8에 있어서, 제어부(10)는 2번째의 촬영을 실행한다. 2번째의 촬영의 구체적인 처리내용은 1번째의 촬영의 것과 똑같다. 또, 제어부(10)는 2번째의 촬영중에 손떨림보정제어를 실행한다.
2번째의 촬영시의 손떨림보정제어를 할 때에 손떨림보정계(21)에 있어서의 처리의 모양을 설명한다.
2번째의 촬영중에 손떨림센서(211)는 손떨림에 의한 촬상장치(100)의 각속도를 나타내는 검출신호(D)를 일정시간마다 출력한다.
손떨림보정제어회로(212)는 손떨림센서(211)로부터 공급되는 검출신호(D)에 의거하여 손떨림에 의한 촬상소자(19)의 위치의 변화량을 지우기 위한 손떨림보정정보를 산출한다. 그리고 손떨림보정제어회로(212)는 산출한 손떨림보정정보를 나타내는 보정신호(R)를 일정시간마다 출력한다.
한편, 화소시프팅제어회로(213)는 2번째의 촬영개시시점(t=T)에 있어서, 화 소시프팅정보 (1, 0)를 나타내는 오프셋신호(O)를 출력한다. 2번째의 촬영개시시점에 대해 화소시프팅제어회로(213)가 발생하는 이 오프셋신호(O)는 「각 화소의 위치 (n, m)을 (n+1, m)로 이동시킨다」, 즉 「촬상소자(19)를 1개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
2번째의 촬영개시시점(t=T)에서, 가산회로(214)는 보정신호(R)가 나타내는 손떨림보정정보와 오프셋신호(O)가 나타내는 화소시프팅정보를 반영시킨 신호를 제어신호(C)로서 출력한다. 그로 인해, 2번째의 촬영개시시점에서의 제어신호(C)가 나타내는 보정정보는 (A(t)+1, 0)이다. 즉, 2번째의 촬영개시시점에서의 제어신호 (C)는 「촬상소자(19)를 (A(t)+1)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
2번째의 촬영개시시점(t=T)에서, 액추에이터(215)는 가산회로(214)로부터 공급되는 제어신호(C)에 따라 광축에 직교하는 면내에 있어서 촬상소자(19)를 (A(t)+1)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다.
도 4에 나타내어지는 바와 같이, 이 오프셋신호(O)의 영향에 의해서 촬상소자(19)의 촬영범위는 1번째의 촬영중(0≤t<T)에 주요 피사체의 위치에 대한 촬상소자(19)의 위치가 3화소분의 거리 벗어나 있던 상태로부터, 2번째의 촬영개시시점 (t=T)에서 주요 피사체의 위치에 대한 촬상소자(19)의 위치가 2화소분의 거리 벗어나는 상태로 보정된다.
2번째의 촬영개시시점에서 3번째의 촬영개시시점까지의 사이(T<t<2T)에 있어서는, 화소시프팅제어회로(213)는 오프셋신호(O)의 출력을 정지한다. 따라서, 가산회로(214)로부터는 손떨림센서(211)로부터 공급된 검출신호(D)에 의거하여 손떨림보정제어회로(212)가 출력한 보정신호(R)가 그대로 제어신호(C)로서 액추에이터 (215)에 입력된다. 그리고, 이 사이에 있어서, 제어신호(C)에 따라서 액추에이터 (215)가 손떨림에 의한 촬상소자(19)의 위치의 변화량을 지우도록 촬상소자(19)를 이동시킨다. 이에 따라, 도 4에 나타내어지는 바와 같이, 2번째의 촬영개시시점에서 3번째의 촬영개시시점까지의 사이(T<t<2T), 주요 피사체에 대해 촬상소자(19)가 2개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 상태가 유지된 채, 촬상소자(19)의 위치가 주요 피사체의 위치에 대해서 추종하게 된다. 그러면, 2번째의 촬영중에 있어서의 촬상소자(19)의 촬영범위는 1번째의 촬영중에 있어서의 촬상소자(19)의 촬영범위에 비해 1개의 화소분만큼 상시 벗어나 있게 된다.
도 7b에 2번째의 촬영에 의해 생성된 화상데이터에 의해 표현되는 2장째의 화상의 일례인 화상(P2)가 나타내어져 있다. 화상(P2)의 피사체는 정지하고 있으므로 화상(P1)의 피사체와 같다. 2장째의 화상(P2)에는 촬영된 주요 피사체(40)와 함께, 고정패턴 노이즈(52)가 찍혀져 있다. 이 2장째의 화상(P2)의 촬영범위(2번째의 촬영에 있어서의 촬영범위)는 1장째의 화상(P1)의 촬영범위(1번째의 촬영에 있어서의 촬영범위)와는 1화소분 벗어나 있다. 그로 인해, 2장째의 화상(P2) 내에 있어서의 주요 피사체(40)의 위치는 1장째의 화상(P1) 내에 있어서의 주요 피사체 (40)의 위치와 1화소분만큼 벗어나 있다.
한편, 고정패턴 노이즈(51, 52)는 촬상소자(19)의 위치와 관계없이 촬상소자 (19) 내에 소정의 화소영역상의 소정영역에 발생하는 것이다. 그로 인해, 서로 촬 영범위가 다른 1장째의 화상(P1)과 2장째의 화상(P2)의 사이에 있어서, 고정패턴 노이즈(51, 52)가 발생하는 위치는 같은 것이 된다. 그로 인해, 1장째의 화상(P1)에 있어서의 주요 피사체(40)와 고정패턴 노이즈(51)의 사이의 거리와 2장째의 화상(P2)에 있어서의 주요 피사체(40)와 고정패턴 노이즈(52)의 사이의 거리는, 1화소분만큼 다르다.
도 3으로 되돌아가서, 스텝S9에 있어서, 제어부(10)는 직전의 스텝S8의 처리에 의해 새롭게 촬영된 화상에 주요 피사체가 찍혀져 있는지 없는지를 판단한다. 구체적으로는, 제어부(10)는 화상메모리(24)에 기억되어 있는 새롭게 촬영된 화상과 기준화상(1장째의 촬영화상)에서 근사한 화상부분이 있는지 없는지를 판단한다. 제어부(10)는 근사한 화상부분이 있다고 판단한 경우, 새롭게 촬영된 화상에 주요 피사체가 찍혀져 있다고 판단한다. 한편, 제어부(10)는 근사한 화상부분이 없다고 판단한 경우, 새롭게 촬영된 화상에 주요 피사체가 찍혀져 있지 않다고 판단한다. 이 스텝S9에 있어서의 판단이 NO가 되는 것은, 예를 들면 손떨림에 의해 촬영장치 (100)의 위치가 매우 크게 변화했기 때문에, 손떨림보정에 의한 촬상소자(19)의 이동에 의해서도 손떨림에 의한 촬상소자(19)의 촬영범위의 변화를 지울 수 없는 경우를 생각할 수 있다.
제어부(10)가 새롭게 촬영된 화상과 기준화상(1장째의 촬영화상)에서 근사한 화상부분이 있는지 없는지를 판단하는 방법은 임의인데, 예를 들면 이하와 같은 수법을 생각할 수 있다. 또한, 이해를 용이하게 하기 위해, 각 촬영화상이 640×480의 화소로 구성되는 것으로서 설명한다. 우선, 제어부(10)는 4×4의 화소로 구성 되는 200×125의 블록에 화상을 분할한다. 그리고 제어부(10)는 새롭게 촬영된 화상과 기준화상의 각각에 대해, 각 블록에 포함되는 화소의 휘도의 총합을 블록마다 구한다. 그리고 제어부(10)는 새롭게 촬영된 화상의 휘도의 총합과 기준화상의 휘도의 총합의 차분의 절대값을 블록마다 구한다. 여기에서, 제어부(10)는 절대값이 소정의 값 이하인 블록을 근사블록으로 설정한다. 그리고, 제어부(10)는 근사블록의 밀도가 높은 화상부분을 검출한다. 예를 들면, 제어부(10)는 근사블록이 세로방향, 가로방향 모두 4개 이상 연속하는 근사블록군이 있는지 없는지를 판단한다. 제어부(10)는 근사블록군이 없다고 판단한 경우는, 근사한 화상부분이 없다고 판단한다. 한편, 제어부(10)는 근사블록군이 있다고 판단한 경우는, 근사한 화상부분이 있다고 판단하고, 해당 근사블록군을 근사한 화상부분으로서 설정한다.
제어부(10)는 새롭게 촬영된 화상에 주요 피사체가 찍혀져 있다고 판단한 경우(스텝S9; YES), 스텝S11로 처리를 진행시킨다. 한편, 제어부(10)는 새롭게 촬영된 화상에 주요 피사체가 찍혀져 있지 않다고 판단한 경우(스텝S9; NO), 스텝S10으로 처리를 진행시킨다.
스텝S10에 있어서, 제어부(10)는 직전의 스텝S8의 처리에 의해 생성된 화상데이터를 화상메모리(24)로부터 소거한다.
스텝S11에 있어서, 제어부(10)는 촬영회수(n)를 인크리먼트(increment)한다. 구체적으로는, 제어부(10)는 RAM(11)에 기억되어 있는 촬영회수(n)에 1을 가산하는 처리를 실행한다.
스텝S12에 있어서, 제어부(10)는 촬영회수(n)가 3 이상인지 아닌지를 판단한 다. 구체적으로는, 제어부(10)는 RAM(11)에 기억되어 있는 촬영회수(n)를 확인함으로써, 촬영회수(n)가 3 이상인지 아닌지를 판단한다. 제어부(10)는 촬영회수(n)가 3보다 작다고 판단한 경우, 스텝S8로 처리를 되돌린다. 한편, 제어부(10)는 촬영회수(n)가 3 이상이라고 판단한 경우, 스텝S13으로 처리를 진행시킨다.
촬영회수(n)가 2인 경우에 스텝S8로 처리가 되돌아가면, 제어부(10)는 3번째의 촬영을 실행한다. 3번째의 촬영의 구체적인 처리내용은 1번째의 촬영의 것과 똑같다. 또, 제어부(10)는 3번째의 촬영중에 손떨림보정제어를 실행한다.
다음으로, 3번째의 촬영시의 손떨림보정제어를 할 때에 손떨림보정계(21)에 있어서의 처리의 모양을 설명한다.
3번째의 촬영중에 손떨림센서(211)는 손떨림에 의한 촬상장치(100)의 각속도를 나타내는 검출신호(D)를 일정시간마다 출력한다.
손떨림보정제어회로(212)는 손떨림센서(211)로부터 공급되는 검출신호(D)에 의거하여 손떨림에 의한 촬상소자(19)의 위치의 변화량을 지우기 위한 손떨림보정정보를 산출한다. 그리고, 손떨림보정제어회로(212)는 산출한 손떨림보정정보를 나타내는 보정신호(R)를 일정시간마다 출력한다.
한편, 화소시프팅제어회로(213)는 3번째의 촬영개시시점(t=2T)에 있어서, 화소시프팅정보 (1, 0)를 나타내는 오프셋신호(O)를 출력한다. 3번째의 촬영개시시점에 있어서 화소시프팅제어회로(213)가 발생하는 이 오프셋신호(O)는, 「각 화소의 위치 (n, m)을 (n+1, m)로 이동시킨다」, 즉 「촬상소자(19)를 1개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
3번째의 촬영개시시점(t=2T)에서, 가산회로(214)는 보정신호(R)가 나타내는 손떨림보정정보와 오프셋신호(O)가 나타내는 화소시프팅정보를 반영시킨 신호를 제어신호(C)로서 출력한다. 그로 인해, 3번째의 촬영개시시점에서의 제어신호(C)가 나타내는 보정정보는 (A(t)+1, 0)이다. 즉, 3번째의 촬영개시시점에서의 제어신호 (C)는 「촬상소자(19)를 (A(t)+1)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다」라고 하는 지시를 나타낸다.
3번째의 촬영개시시점(t=2T)에서, 액추에이터(215)는 가산회로(214)로부터 공급되는 제어신호(C)에 따라 광축에 직교하는 면내에 있어서 촬상소자(19)를 (A(t)+1)개의 화소분의 거리만큼 오른쪽방향으로 이동시킨다.
도 4에 나타내어지는 바와 같이, 이 오프셋신호(O)의 영향에 의해서 촬영범위는 2번째의 촬영중(T≤t<2T)에 주요 피사체의 위치에 대한 촬상소자(19)의 위치가 2화소분의 거리 벗어나 있던 상태에서 3번째의 촬영개시시점(t=2T)에 있어서 주요 피사체의 위치에 대한 촬상소자(19)의 위치가 1화소분의 거리 벗어나는 상태로 보정된다.
3번째의 촬영개시시점 이후(2T<t)에 있어서는 화소시프팅제어회로(213)는 오프셋신호(O)의 출력을 정지한다. 따라서, 가산회로(214)로부터는 손떨림센서(211)로부터 공급된 검출신호(D)에 의거하여 손떨림보정제어회로(212)가 출력한 보정신호(R)가 그대로 제어신호(C)로서 액추에이터(215)에 입력된다. 그리고 이 사이에 있어서, 제어신호(C)에 따라서 액추에이터(215)가 손떨림에 의한 촬상소자 (19)의 위치의 변화량을 지우도록 촬상소자(19)를 이동시킨다. 이에 따라, 도 4에 나타내어지는 바와 같이, 3번째의 촬영개시시점 이후(2T<t), 주요 피사체에 대해 촬상소자(19)가 1개의 화소분의 거리만큼 왼쪽방향으로 벗어나 있는 상태가 유지된 채, 촬상소자(19)의 위치가 주요 피사체의 위치에 대해서 추종하게 된다. 그러면, 3번째의 촬영중에 있어서의 촬상소자(19)의 촬영범위는 2번째의 촬영중에 있어서의 촬상소자(19)의 촬영범위에 비해, 1개의 화소분만큼 상시 벗어나 있게 된다.
도 7c에 3번째의 촬영에 의해 생성된 화상데이터에 의해 표현되는 3장째의 화상의 일례인 화상(P3)이 나타내어져 있다. 화상(P3)의 피사체는 화상(P1, P2)의 피사체와 같다. 3장째의 화상(P3)에는 촬영된 주요 피사체(40)와 함께, 고정패턴 노이즈(53)가 찍혀져 있다. 이 3장째의 화상(P3)의 촬영범위(3번째의 촬영에 있어서의 촬영범위)는 2장째의 화상(P2)의 촬영범위(2번째의 촬영에 있어서의 촬영범위)와는 1화소분 벗어나 있다. 그로 인해, 3장째의 화상(P3) 내에 있어서의 주요 피사체(40)의 위치는 2장째의 화상(P2) 내에 있어서의 주요 피사체(40)의 위치와 1화소분만큼 벗어나 있다. 또, 3장째의 화상(P3) 내에 있어서의 주요 피사체(40)의 위치는 1장째의 화상(P1) 내에 있어서의 주요 피사체(40)의 위치와 2화소분만큼 벗어나 있는 것이 된다.
한편, 서로 촬영범위가 다른 1∼3장째의 화상(P1, P2, P3)에 있어서, 고정패턴 노이즈(51, 52, 53)가 발생하는 위치는 같은 것이 된다. 그로 인해, 2장째의 화상(P2)에 있어서의 주요 피사체(40)와 고정패턴 노이즈(52) 사이의 거리와 3장째의 화상(P3)에 있어서의 주요 피사체(40)와 고정패턴 노이즈(53) 사이의 거리는 1화소분 다르게 된다. 또, 1장째의 화상(P1)에 있어서의 주요 피사체(40)와 고정패 턴 노이즈(51) 사이의 거리와, 3장째의 화상(P3)에 있어서의 주요 피사체(40)와 고정패턴 노이즈(53) 사이의 거리는 2화소분 다르게 된다.
도 8에 상기의 3장의 화상(P1, P2, P3)을 주요 피사체(40)의 수평방향에 있어서의 중심위치를 기준으로 하여 시계열적으로 나열한 모양을 나타낸다. 도 8로부터 명백한 바와 같이, 화상(P1)에 있어서의 주요 피사체(40)의 위치에서 고정패턴 노이즈(51)의 위치까지의 거리와, 화상(P2)에 있어서의 주요 피사체(40)의 위치에서 고정패턴 노이즈(52)의 위치까지의 거리와, 화상(P3)에 있어서의 주요 피사체 (40)의 위치에서 고정패턴 노이즈(53)의 위치까지의 거리는 서로 다르다.
도 3으로 되돌아가서, 스텝S12에서 촬영회수(n)가 3 이상이라고 판단되면, 스텝S13에 있어서, 제어부(10)는 화상메모리(24)에 기억되어 있는 각 화상데이터에 의해 표현되는 화상으로부터 각각 특징부분을 추출한다. 구체적으로는, 제어부 (10)는 특징추출부(27)에 화상메모리(24)에 기억된 화상데이터와 ROM(12)에 기억되어 있는 모델데이터의 매칭처리에 의해 유사도를 산출시키고, 산출한 유사도가 소정의 임계값 이상의 샘플링점에 있어서의 화상성분을 특징부분으로서 추출시킨다. 예를 들면, 검출하는 피사체의 종별로서 인물의 얼굴이 지정되어 있는 경우, 얼굴의 눈, 입 등의 국소적인 특징부분이 추출된다.
다음으로 스텝S14에 있어서, 제어부(10)는 합성화상데이터를 생성한다. 구체적으로는, 제어부(10)는 화상합성부(28)에 스텝S13에 있어서 추출된 각 특징부분의 위치를 일치시킨 상태에서 화상메모리(24)에 기억되어 있는 각 화상데이터에 의해 표현되는 각 화상을 합성시킴으로써, 합성화상데이터를 생성시킨다. 이때, 화 상합성부(28)는 각 화상데이터에 의해 표현되는 각 화상의 특징부분이 완전하게 서로 겹치도록 화상간의 위치나 크기를 조정하고, 특징부분의 위치를 일치시킨 상태에서 각 화상데이터를 합성한다. 예를 들면, 화상(P1, P2, P3)으로부터 각각 주요 피사체(40)의 눈, 입 등의 특징부분이 추출되어 있는 경우에는, 이 특징부분을 일치시킨 상태에서 화상(P1, P2, P3)이 합성된다.
도 9는 화상(P1, P2, P3)을 합성한 합성화상(CP)을 나타내는 도면이다. 도 9에 나타내어지는 바와 같이, 주요 피사체(40)의 특징부분을 일치시킨 상태에서 각 화상을 합성하므로, 주요 피사체(40)는 완전하게 일치한 상태에서 서로 겹쳐지는데, 고정패턴 노이즈(51, 52, 53)는 1화소분씩 벗어난 상태에서 서로 겹쳐진다.
화상합성부(28)는 일단, 합성화상에 있어서의 각 화소의 휘도값과 색차값을 원래의 각 화상상에서 대응하는 위치에 있는 각 화소의 휘도값 및 색차값을 합계한 값으로 한다. 이 결과, 예를 들면 합성화상(CP)에 대해 주요 피사체(40)의 영역을 구성하는 각 화소의 휘도값과 색차값은 원래의 화상(P1, P2, P3)의 것에 비해 3배의 값이 된다. 한편, 도 9에 나타내어지는 바와 같이, 합성화상(CP)에 있어서의 고정패턴 노이즈(51, 52, 53)는 그 구성 화소의 휘도값과 색차값이 합성전의 것과 변함없이, 그 위치가 분산된 상태가 된다. 그러나, 이대로는, 원래의 화상(P1, P2, P3)에 비해, 단지 합성화상(CP)상에서 고정패턴 노이즈의 수가 증가한 것만으로 되어 버린다.
그래서, 스텝S15에 있어서, 제어부(10)는 합성화상데이터를 평균화한다. 구체적으로는, 제어부(10)는 화상합성부(28)에 합성화상에 있어서의 모든 화소의 휘 도값과 색차값을 평균화하는 처리를 시행시킨다. 이 평균화 처리를 할 때에 화상합성부(28)는 합성화상에 있어서의 모든 화소의 휘도값과 색차값을 3(합성하는 화상의 장수)으로 나눈 값을 합성화상에 있어서의 모든 화소의 새로운 휘도값과 색차값으로 한다. 예를 들면 합성화상(CP)의 경우, 평균화 처리에 의해서 주요 피사체 (40)의 영역을 구성하는 각 화소의 휘도값과 색차값은 원래의 화상(P1, P2, P3)의 것과 같은 값이 된다. 한편, 고정패턴 노이즈(51, 52, 53)의 구성 화소의 휘도값과 색차값은 합성전의 것에 비해 1/3의 값이 된다.
도 10에 합성화상(CP)에 평균화 처리가 시행된 화상인 합성화상(CPa)이 나타내어져 있다. 도 10에 나타내어지는 바와 같이, 고정패턴 노이즈(51, 52, 53)의 휘도값과 색차값은 합성전의 것에 비해 1/3의 값으로 되었기 때문에, 원래의 화상 (P1, P2, P3)에 비해 고정패턴 노이즈(51, 52, 53)가 눈에 띄지 않게 되어 있다.
도 3으로 되돌아가서, 스텝S16에 있어서, 제어부(10)는 평균화 처리가 시행된 합성화상데이터를 기록매체(31)에 기록시킨다.
이상으로, 제어부(10)는 도 3에 나타내어지는 연사합성모드의 처리를 종료시킨다.
이상 설명한 바와 같이, 본 실시형태에 관련되는 촬영장치(100)는 손떨림이 발생한 경우에 있어서의 연사촬영시의 각 촬영개시시점에서, 손떨림보정정보를 나타내는 보정신호(R)에 화소시프팅정보를 나타내는 오프셋신호(O)를 반영시킨 제어신호(C)에 의거하여 촬상소자(19)를 이동시키도록 했다. 이에 따라, 손떨림에 의한 촬상소자(19)의 촬영범위의 변화가 거의 지워지는 동시에, 촬영 때마다 촬영범 위가 1화소분만큼 변화하게 된다.
또한, 설명을 간단하게 하기 위해 이 실시형태에서는 손떨림보정을 요방향에서만 실행하도록 했는데, 고정패턴 노이즈가 연사된 각 화상의 피치방향의 같은 위치에 발생할 경우에는 손떨림센서(211)로부터의 검출신호를 이용해서 피치방향에 있어서의 손떨림도 똑같이 보정하는 동시에, 연사된 각 화상의 촬영범위를 똑같이 피치방향으로 이동시키면 좋다.
여기에서, 촬영범위가 달라도, 촬영된 각 화상상에서는 같은 위치에 고정패턴 노이즈가 발생한다. 이로 인해, 본 실시형태에 관련되는 촬영장치(100)에 따르면, 손떨림이 발생한 경우에 있어서도, 연사촬영된 각 화상상에서 특징부분(주요 피사체)과 고정패턴 노이즈의 거리를 서로 다른 것으로 할 수 있다. 그 결과, 손떨림이 발생한 경우라도, 특징부분을 기준으로 하여 연사촬영된 각 화상을 합성함으로써, 고정패턴 노이즈가 분산된 합성화상을 얻을 수 있다.
그리고 본 실시형태에 관련되는 촬영장치(100)에 있어서는, 합성화상에 대해서 평균화 처리를 시행하도록 했다. 이와 같이 하면, 합성화상에 있어서 분산되어 있는 각 고정패턴 노이즈의 휘도값과 색차값이 원래의 각 화상에 있어서의 고정패턴 노이즈의 휘도값과 색차값보다도 작아지므로, 합성화상에 있어서 고정패턴 노이즈를 눈에 띄지 않게 할 수 있다.
이상으로부터, 본 실시형태에 관련되는 촬영장치(100)에 따르면, 촬영중에 손떨림이 발생한 경우라도, 촬영화상상에 발생하는 고정패턴 노이즈의 영향을 확실하게 저감시킬 수 있다.
또, 본 실시형태에 관련되는 촬영장치(100)는 촬상소자시프트식 손떨림보정제어에 따르는 보정신호(R)에 의해 촬상소자(19)를 이동시켜서 손떨림을 보정하도록 했다. 이와 같이 하면, 연사촬영된 각 화상에 있어서 손떨림을 요인으로 하는 피사체상의 흔들림이 없어지므로, 각 화상의 화질의 열화를 방지할 수 있다. 그리고 본 실시형태에 관련되는 촬영장치(100)에 있어서는, 이들 화질의 열화가 없는 각 화상데이터의 합성에 의해 합성화상데이터가 생성된다. 그 결과, 합성화상데이터에 의해 표현되는 합성화상의 화질도 열화하는 일이 없어진다.
또, 본 실시형태에 관련되는 촬영장치(100)는 연사촬영에 있어서의 1번째의 촬영개시시에, 오프셋신호(O)에 의해 촬상소자(19)를 연사촬영회수와 같은 화소수분의 거리만큼 왼쪽방향으로 이동시키도록 했다. 촬상소자(19)의 위치는 액추에이터(215)가 촬상소자(19)를 이동시킬 수 있는 한계위치를 넘을 수 없다. 그러나 이와 같이 하면, 연사촬영중의 2번째 이후의 각 촬영에 있어서의 오프셋신호(O)의 영향에 의해서 촬상소자(19)를 오른쪽방향으로 순차 이동시켜서 갈 때에 촬영장치 (100)의 내부에 있어서 촬상소자(19)를 이동시킬 수 있는 범위에 미리 여유를 갖게할 수 있다. 즉, 촬상소자(19)가 2번째 이후의 각 촬영시에 오른쪽방향으로 순차 이동하여 갈 때에 한계위치를 넘음으로써 손떨림보정제어가 불가능하게 될 가능성을 저감할 수 있다. 이것은, 연사촬영에 있어서의 촬영회수가 많고, 촬상소자(19)의 오른쪽방향으로의 이동량의 총합이 많아지는 경우에 특히 유효하게 된다.
본 실시형태에 관련되는 촬영장치(100)는 연사촬영에 의해 얻어진 화상 중, 주요 피사체가 찍혀져 있지 않은 화상을 소거하도록 했다. 이와 같이 하면, 합성 할 때의 기준이 되는 특징정보를 갖는 주요 피사체가 찍혀져 있지 않은 화상을 합성대상으로부터 제거할 수 있다. 그 결과, 합성에 적정한 화상데이터만을 이용해서 합성화상데이터를 생성할 수 있다.
본 실시형태에 관련되는 촬영장치(100)는 1번째의 촬영시에 생성하는 오프셋신호(O)가 나타내는 촬상소자(19)의 이동방향을 왼쪽방향으로 하고, 2번째 이후의 촬영시에 생성하는 오프셋신호(O)가 나타내는 촬상소자(19)의 이동방향을 오른쪽방향으로 했다. 그러나, 이것과는 반대로, 1번째의 촬영시에 생성하는 오프셋신호 (O)가 나타내는 촬상소자(19)의 이동방향을 오른쪽방향으로 하고, 2번째 이후의 촬영시에 생성하는 오프셋신호(O)가 나타내는 촬상소자(19)의 이동방향을 왼쪽방향으로 해도 좋다.
본 실시형태에 관련되는 촬영장치(100)는 연사촬영에 의해 생성된 각 화상의 특징부분의 위치를 일치시킨 상태에서 이들 각 화상을 합성시킴으로써, 합성화상데이터를 생성시키도록 했다. 그러나, 제어부(10)는 화상합성부(28)에 1장째의 화상과, 2장째의 화상을 오른쪽방향으로 1화소 시프팅한 화상과 3장째의 화상을 오른쪽방향으로 2화소 시프팅한 화상을 합성시킴으로써, 합성화상을 생성시키도록 해도 좋다. 이 수법에 의해서도 각 화상에 있어서 수평방향에 있어서의 주요 피사체의 위치를 일치시킨 상태에서 각 화상을 합성할 수 있다.
본 실시형태에 관련되는 촬영장치(100)는 1번째의 촬영시에 생성하는 오프셋신호(O)가 나타내는 화소시프팅정보를 3화소로 했다. 그러나, 1번째의 촬영시에 생성하는 오프셋신호(O)가 나타내는 화소시프팅정보는 4화소 이상(예를 들면 100화 소)이라도 좋다.
본 실시형태에 관련되는 촬영장치(100)는 2번째 이후의 촬영시에 생성하는 오프셋신호(O)가 나타내는 화소시프팅정보를 1화소로 했다. 그러나, 2번째 이후의 오프셋신호(O)가 나타내는 화소시프팅정보는 2화소 이상이라도 좋다. 즉, 고정패턴 노이즈의 선폭이 넓은 경우에는, 촬영 때마다 촬영범위를 변화시키도록, 이 선폭에 대응하는 화소의 수만큼 촬상소자를 이동시키도록 하면 좋다.
본 실시형태에 관련되는 촬영장치(100)는 연사촬영으로서 3회의 연속촬영을 실행하도록 했다. 그러나, 연사촬영에 의한 촬영회수는 3회가 아니라도 좋다. 즉, 합성화상데이터의 생성에 이용하는 화상데이터의 장수는 3장이 아니라도 좋다.
본 실시형태에 관련되는 촬영장치(100)는 손떨림에 의한 촬영장치(100)의 자세의 변화를 손떨림센서(211)의 각속도센서에 의해 검출했다. 그러나, 촬영장치 (100)의 위치나 자세의 변화를 촬영화상상의 움직임 벡터에 의해 검출해도 좋다. 움직임 벡터의 검출방법은 공지의 방법을 적절하게 이용할 수 있다.
본 실시형태에 관련되는 촬영장치(100)는 합성화상데이터가 생성된 후에, 합성화상데이터에 평균화 처리를 시행하도록 했다. 그러나, 화상데이터가 1장 생성된 시점에서, 새롭게 생성된 화상데이터의 각 화소의 휘도값과 색차값을 1/3의 값으로 하는 평균화 처리를 시행하고 나서, 평균화 처리가 시행된 각 화상데이터를 합성함으로써, 합성화상데이터를 생성해도 좋다.
본 실시형태에 있어서는, 각 화상데이터의 합성에 있어서의 기준화상을 연사촬영에 의해 생성된 1장째의 화상으로 했다. 그러나, 합성할 때의 기준화상을 2장 째 이후의 화상으로 해도 좋다.
또한, 주요 피사체가 정지체가 아니고 연사 동안에 움직이는 바와 같은 경우에는 그 특징부분을 기준으로 해서 합성할 수 없기 때문에, 예를 들면 연사된 각 화상상에서 고정패턴 노이즈와의 상대위치가 순차 소정화소분만큼 벗어나는 바와 같은 소정의 마크를 화상상에 형성하고, 이 마크를 기준으로 해서 합성화상을 얻도록 해도 좋다.
본 발명은 카메라 부착 휴대전화기나 카메라 부착 게임기 등, 전자카메라를 내장하는 기기에도 적용할 수 있다. 또, 본 발명은 복수의 기기(예를 들면 호스트컴퓨터, 인터페이스기기, 카메라헤드 등)로 구성되는 시스템에 적용해도 좋다.
본 발명의 목적은 이하와 같이 해서 달성하는 것도 가능하다. 우선, 본 실시형태의 기능을 실현하는 소프트웨어의 프로그램코드를 기록한 기록매체를 시스템 혹은 장치에 공급한다. 그리고, 그 시스템 혹은 장치의 컴퓨터가 기록매체에 격납된 프로그램코드를 판독한다. 이 경우, 기록매체로부터 판독된 프로그램코드 자체가 본 실시형태의 기능을 실현하게 되고, 그 프로그램코드를 기억한 기록매체는 본 발명을 구성하게 된다. 여기에서 프로그램코드를 기록하는 기록매체로서는, 예를 들면 플렉시블디스크, 하드디스크, ROM, RAM, 자기테이프, 불휘발성의 메모리카드, CD-ROM, CD-R, DVD, 광디스크, 광자기디스크, MO 등을 생각할 수 있다. 또, LAN(로컬ㆍ에리어ㆍ네트워크)이나 WAN(와이드ㆍ에리어ㆍ네트워크) 등의 컴퓨터네트워크를 프로그램코드를 공급하기 위해 이용할 수 있다.
도 1은 본 발명의 실시형태에 관련되는 촬영장치의 기능적 구성의 일례를 나타내는 블록도이다.
도 2는 손떨림보정계의 상세를 나타내는 도면이다.
도 3은 본 발명의 실시형태에 관련되는 촬상장치가 실행하는 연사합성모드의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 4는 촬영장치의 광축에 대한 주요 피사체, 촬상소자의 상대적인 위치관계의 일례를 나타내는 도면이다.
도 5는 요방향에 있어서의 촬영장치의 광축에서 주요 피사체의 중심까지의 거리 A(t)를 모식적으로 나타내는 도면이다.
도 6은 요방향에 있어서의 촬영장치의 광축에서 촬상소자의 중심까지의 거리 B(t)를 모식적으로 나타내는 도면이다.
도 7a는 본 실시형태에 관련되는 연사촬영에 의해 얻어진 1장째의 화상의 일례를 나타내는 도면이다.
도 7b는 본 실시형태에 관련되는 연사촬영에 의해 얻어진 2장째의 화상의 일례를 나타내는 도면이다.
도 7c는 본 실시형태에 관련되는 연사촬영에 의해 얻어진 3장째의 화상의 일례를 나타내는 도면이다.
도 8은 주요 피사체를 기준으로 하여 연사촬영에 의해 얻어진 각 화상을 나열한 모양을 나타내는 도면이다.
도 9는 본 실시형태에 관련되는 촬영장치에 의해 생성된 합성화상의 일례를 나타내는 도면이다.
도 10은 평균화 처리가 시행된 합성화상의 일례를 나타내는 도면이다.
※도면의 주요부분에 대한 부호의 설명
10: 제어부 11: RAM
12: ROM 13: 광학렌즈장치
14: 광학계 제어부 15: 광학계 구동부
16: 조리개 17: 조리개 제어부
18: 조리개 구동부 19: 촬상소자
20: 드라이버 21: 손떨림보정계
22: 전처리부 23: 화상입력컨트롤러
24: 화상메모리 25: 화상처리부
26: AF/AE평가부 27: 특징추출부
28: 화상합성부 29: 표시제어부
30: 표시부 31: 기록매체
32: 조작부 100: 촬영장치

Claims (10)

  1. 촬상소자에 의해 피사체상을 복수회 촬영함으로써, 고정패턴 노이즈가 발생한 복수의 화상을 생성하는 촬영수단과,
    손떨림에 의한 상기 촬상소자의 촬영범위의 벗어남을 보정하고, 또한 촬영 때마다 상기 촬상소자의 촬영범위가 다르도록, 상기 촬상소자를 이동시키는 보정수단과,
    상기 복수의 화상상의 특정의 부분을 기준으로 하여 상기 복수의 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 합성수단을 구비하는 것을 특징으로 하는 촬영장치.
  2. 제 1 항에 있어서,
    상기 보정수단은,
    손떨림을 검출하고, 손떨림에 의한 상기 촬상소자의 위치의 벗어남을 보정하기 위한 손떨림보정정보를 출력하는 제 1 출력수단과,
    상기 촬상소자의 위치를 시프팅하기 위한 화소시프팅정보를 출력하는 제 2 출력수단과,
    상기 손떨림보정정보와 상기 화소시프팅정보를 반영시켜서 상기 촬상소자의 이동정보를 산출하는 산출수단과,
    상기 산출수단에 의해 산출된 이동정보에 따라서 상기 촬상소자를 이동시키 는 구동수단을 갖는 것을 특징으로 하는 촬영장치.
  3. 제 2 항에 있어서,
    상기 제 2 출력수단은,
    상기 촬상소자가 1번째의 촬영을 실행할 때에 상기 촬상소자를 소정의 방향으로 이동시키는 화소시프팅정보를 출력하는 동시에, 상기 촬상소자가 2번째 이후의 각 촬영을 실행할 때에 상기 촬상소자를 상기 소정의 방향과는 반대방향으로 이동시키는 화소시프팅정보를 출력하는 것을 특징으로 하는 촬영장치.
  4. 제 3 항에 있어서,
    상기 제 2 출력수단은,
    상기 촬상소자가 1번째의 촬영을 실행할 때에 상기 촬상소자를 상기 소정의 방향으로 제 1 이동량만큼 이동시키는 화소시프팅정보를 출력하는 동시에, 상기 촬상소자가 2번째 이후의 각 촬영을 실행할 때에 상기 촬상소자를 상기 반대방향으로 상기 제 1 이동량보다 작은 제 2 이동량만큼 이동시키는 화소시프팅정보를 출력하는 것을 특징으로 하는 촬영장치.
  5. 제 4 항에 있어서,
    상기 제 2 출력수단은,
    상기 촬상소자가 각 촬영을 개시하는 시점에 있어서만 상기 화소시프팅정보 를 출력하는 것을 특징으로 하는 촬영장치.
  6. 제 1 항에 있어서,
    상기 촬영수단에 의해 생성된 복수의 화상으로부터 각각 특징부분을 추출하는 추출수단을 추가로 구비하고,
    상기 합성수단은,
    상기 추출수단에 의해 추출된 특징부분을 기준으로 하여 상기 복수의 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 것을 특징으로 하는 촬영장치.
  7. 제 1 항에 있어서,
    상기 합성수단은,
    상기 복수의 화상상의 특정의 부분을 기준으로 하여 상기 합성화상의 휘도값과 색차값이 각각 상기 복수의 화상의 휘도값의 평균값과 색차값의 평균값이 되도록 상기 복수의 화상을 합성하는 것을 특징으로 하는 촬영장치.
  8. 제 6 항에 있어서,
    상기 촬영수단에 의해 생성된 복수의 화상 중 주요 피사체가 찍혀져 있지 않은 화상을 소거하는 소거수단을 추가로 구비하고,
    상기 합성수단은,
    상기 추출수단에 의해 추출된 특징부분을 기준으로 하여 상기 복수의 화상 중 상기 소거수단에 의해 소거되지 않았던 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 것을 특징으로 하는 촬영장치.
  9. 제 2 항에 있어서,
    상기 제 2 출력수단은 적어도 상기 고정패턴 노이즈의 화상폭에 대응하는 화소수만큼 상기 촬상소자의 위치를 시프팅하기 위한 화소시프팅정보를 출력하는 것을 특징으로 하는 촬영장치.
  10. 촬상소자에 의해 피사체상을 복수회 촬영함으로써, 고정패턴 노이즈가 발생한 복수의 화상을 생성하는 촬영수단과, 상기 촬상소자를 이동시키는 구동수단을 구비하는 컴퓨터에,
    손떨림에 의한 상기 촬상소자의 촬영범위의 벗어남을 보정하고, 또한 촬영 때마다 상기 촬상소자의 촬영범위가 다르도록 상기 구동수단으로 상기 촬상소자를 이동시키는 보정처리와,
    상기 복수의 화상상의 특정의 부분을 기준으로 하여 상기 복수의 화상을 평균적으로 합성함으로써, 합성화상을 생성하는 합성처리를 실행시키는 프로그램이 기억된 컴퓨터 판독 가능한 기록매체.
KR1020090031728A 2008-05-16 2009-04-13 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체 KR101034109B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2008-128987 2008-05-16
JP2008128987 2008-05-16
JPJP-P-2009-027968 2009-02-10
JP2009027968A JP4900401B2 (ja) 2008-05-16 2009-02-10 撮影装置およびプログラム

Publications (2)

Publication Number Publication Date
KR20090119687A true KR20090119687A (ko) 2009-11-19
KR101034109B1 KR101034109B1 (ko) 2011-05-13

Family

ID=40848447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090031728A KR101034109B1 (ko) 2008-05-16 2009-04-13 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체

Country Status (7)

Country Link
US (1) US8711230B2 (ko)
EP (1) EP2120450A3 (ko)
JP (1) JP4900401B2 (ko)
KR (1) KR101034109B1 (ko)
CN (1) CN101582989B (ko)
HK (1) HK1136725A1 (ko)
TW (1) TWI399977B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988661B2 (en) * 2009-05-29 2015-03-24 Microsoft Technology Licensing, Llc Method and system to maximize space-time resolution in a time-of-flight (TOF) system
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
KR101700363B1 (ko) * 2010-09-08 2017-01-26 삼성전자주식회사 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법
EP2688279A4 (en) * 2011-03-15 2014-09-24 Nec Casio Mobile Comm Ltd PICTURE DEVICE, INFORMATION PROCESSING DEVICE AND NON-TEMPERATURE COMPUTER-READABLE MEDIA WITH A PROGRAM SAVED THEREIN
JP5778469B2 (ja) * 2011-04-28 2015-09-16 日本アビオニクス株式会社 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム
TWI427618B (zh) * 2011-06-16 2014-02-21 Hon Hai Prec Ind Co Ltd 電子裝置及其螢幕資訊調整方法
US9049374B2 (en) * 2011-11-28 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with camera shake correction function
US8913141B2 (en) 2012-06-28 2014-12-16 Gopro, Inc. Edge-based electronic image stabilization
CN103565402A (zh) * 2012-08-01 2014-02-12 华晶科技股份有限公司 眼底摄像装置及其成像方法
JP6098874B2 (ja) * 2012-09-04 2017-03-22 パナソニックIpマネジメント株式会社 撮像装置および画像処理装置
JP6128458B2 (ja) * 2012-09-04 2017-05-17 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
US9282259B2 (en) 2012-12-10 2016-03-08 Fluke Corporation Camera and method for thermal image noise reduction using post processing techniques
CN104427242B (zh) * 2013-09-10 2018-08-31 联想(北京)有限公司 图像拼接方法、装置及电子设备
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6128109B2 (ja) * 2014-12-12 2017-05-17 カシオ計算機株式会社 撮影装置、撮影方向の制御方法及びプログラム
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置
CL2015003495A1 (es) * 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
KR102449354B1 (ko) * 2016-02-04 2022-09-30 삼성전기주식회사 이미지 안정화 모듈 및 카메라 모듈
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
JP6240301B1 (ja) * 2016-12-26 2017-11-29 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20180352154A1 (en) * 2017-06-02 2018-12-06 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
CN110769146B (zh) * 2018-07-25 2021-01-15 北京小米移动软件有限公司 拍摄方法及电子设备
JP6944196B2 (ja) * 2018-11-16 2021-10-06 株式会社ジェイエイアイコーポレーション 撮像装置
CN112073608B (zh) * 2020-08-28 2021-08-27 中航测控(深圳)有限公司 一种基于机器视觉技术的智能相机

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141242A (ja) 1992-10-26 1994-05-20 Mitsubishi Electric Corp 撮像装置
JPH07177424A (ja) * 1993-12-20 1995-07-14 Konica Corp 画像入力装置
JPH0965219A (ja) * 1995-08-24 1997-03-07 Sony Corp 撮像装置
JP3774495B2 (ja) 1995-11-01 2006-05-17 キヤノン株式会社 画像情報抽出装置および方法
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP2002027300A (ja) 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP4097966B2 (ja) * 2002-03-22 2008-06-11 オリンパス株式会社 画像取得装置
JP2004072371A (ja) 2002-08-06 2004-03-04 Sony Corp カメラ装置およびその露光制御方法
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP2004343483A (ja) 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
JP2005191987A (ja) * 2003-12-26 2005-07-14 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2007081682A (ja) 2005-09-13 2007-03-29 Canon Inc 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP2007178708A (ja) 2005-12-28 2007-07-12 Samsung Techwin Co Ltd 撮像装置および撮影方法
JP2007214662A (ja) 2006-02-07 2007-08-23 Mitsubishi Electric Corp 固体撮像装置
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
JP5157895B2 (ja) * 2006-03-24 2013-03-06 株式会社ニコン 信号処理方法、信号処理システム、係数生成装置、およびデジタルカメラ
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置,及び撮像方法
JP4700555B2 (ja) 2006-05-02 2011-06-15 三星電子株式会社 像ぶれ補正装置
JP4968885B2 (ja) 2006-06-05 2012-07-04 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
CN101512596B (zh) 2006-09-14 2012-06-13 富士通株式会社 图像处理方法和装置
US20080094481A1 (en) * 2006-10-19 2008-04-24 Barinder Singh Rai Intelligent Multiple Exposure
KR100819301B1 (ko) * 2006-12-20 2008-04-03 삼성전자주식회사 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치
TWI351219B (en) * 2007-09-28 2011-10-21 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
TWI376942B (en) * 2007-10-19 2012-11-11 Altek Corp Camera and method and system for stabilizing vibration and calibration method thereof
JP4501994B2 (ja) 2007-11-19 2010-07-14 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
EP2120450A3 (en) 2014-03-12
TWI399977B (zh) 2013-06-21
CN101582989A (zh) 2009-11-18
HK1136725A1 (en) 2010-07-02
EP2120450A2 (en) 2009-11-18
JP2009303196A (ja) 2009-12-24
US8711230B2 (en) 2014-04-29
US20090284609A1 (en) 2009-11-19
TW201004329A (en) 2010-01-16
KR101034109B1 (ko) 2011-05-13
CN101582989B (zh) 2011-12-28
JP4900401B2 (ja) 2012-03-21

Similar Documents

Publication Publication Date Title
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
KR100840856B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을기록한 기록 매체, 및 촬상 장치
CN108462830B (zh) 摄像装置及摄像装置的控制方法
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2008288975A (ja) 撮像装置、撮像方法および撮像プログラム
JP2009284394A (ja) 撮像装置および撮像方法
US10901174B2 (en) Camera for limiting shifting of focus adjustment optical system
JP6391304B2 (ja) 撮像装置、制御方法およびプログラム
JP2005215373A (ja) 撮像装置
JP2008277896A (ja) 撮像装置および撮像方法
JP7142507B2 (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP2020107956A (ja) 撮像装置、撮像方法およびプログラム
JP2020108119A (ja) 報知装置、撮像装置、報知方法、撮像方法、及びプログラム
JP4898151B2 (ja) 撮像装置及び撮像方法
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2009017427A (ja) 撮像装置
JP2015232620A (ja) 撮像装置、制御方法およびプログラム
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP5613145B2 (ja) 撮影装置およびプログラム
JP6869841B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2005064749A (ja) カメラ
JP7475846B2 (ja) 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
CN113079313B (zh) 图像处理装置、图像拾取装置、图像处理方法及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150428

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 8