KR20130069478A - 촬상 장치, 촬상 방법 및 기계로 읽을 수 있는 저장 매체 - Google Patents
촬상 장치, 촬상 방법 및 기계로 읽을 수 있는 저장 매체 Download PDFInfo
- Publication number
- KR20130069478A KR20130069478A KR1020120145991A KR20120145991A KR20130069478A KR 20130069478 A KR20130069478 A KR 20130069478A KR 1020120145991 A KR1020120145991 A KR 1020120145991A KR 20120145991 A KR20120145991 A KR 20120145991A KR 20130069478 A KR20130069478 A KR 20130069478A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel line
- pixel
- correction value
- exposure time
- correcting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 102
- 238000003384 imaging method Methods 0.000 claims abstract description 95
- 230000000903 blocking effect Effects 0.000 claims abstract 4
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 13
- 230000008859 change Effects 0.000 abstract description 10
- 230000006835 compression Effects 0.000 abstract description 9
- 238000007906 compression Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명의 일 측면에 따른 촬상 장치는, 각각 복수의 화소들로 구성된 제1 화소 라인 및 제2 화소 라인을 포함하는 촬상 소자와, 상기 제1 화소 라인에 축적된 전하에 대한 제1 리셋 동작을 행하는 제1 리셋부와, 상기 제2 화소 라인에 축적된 전하에 대한 제2 리셋 동작을 행하는 제2 리셋부와, 상기 제1 리셋 동작으로부터 제1 노광 시간 경과시에 차광막을 상기 제1 화소 라인 위로 주행시키고, 상기 제2 리셋 동작으로부터 제2 노광 시간 경과시에 상기 차광막을 상기 제2 화소 라인 위로 주행시키는 주행 제어부와, 상기 제1 화소 라인에 축적된 전하를 상기 차광막이 상기 제1 화소 라인 위를 주행한 후에 제1 화소 데이터로서 출력하고, 상기 제2 화소 라인에 축적된 전하를 상기 차광막이 상기 제2 화소 라인 위를 주행한 후에 제2 화소 데이터로서 출력하는 화소 데이터 출력부와, 상기 제1 화소 데이터, 상기 제2 화소 데이터, 상기 제1 노광 시간 및 상기 제2 노광 시간에 근거하여, 상기 제1 화소 라인을 위한 제1 보정 값과 상기 제2 화소 라인을 위한 제2 보정 값을 연산하는 연산부를 포함한다.
Description
본 발명은, 카메라, 카메라 모듈을 구비한 휴대 단말 등과 같은 촬상 장치 및 촬상 방법에 관한 것이다.
최근, DSLR(Digital Single Lens Reflex camera)이라고 하는 초점면 셔터(focal plane shutter)를 탑재한 디지털 카메라에 있어서, 기계적(mechanical) 후막 셔터의 동작 특성과 일치하도록 화소 라인(즉, 화소 행 또는 화소 열)마다 노광 개시 타이밍을 제어하는 전자 선막(또는 전막) 셔터(front shutter)기술을 이용한 디지털 카메라가 상품화되어 있다. 종래의 기계적 선막 기계적 셔터를 이용한 디지털 카메라에서는, 라이브 뷰 상태로부터 정지 화상 촬영 동작으로 이행할 때, 기계적 셔터를 닫아서(charge) 촬상 소자를 차광 상태로 하고 나서, 기계적 선막 기계적 셔터, 기계적 후막 셔터(rear shutter)의 순서로 촬상 소자의 앞을 주행, 즉 지나도록 함으로써 노광을 행한다.
이에 대하여, 전자 선막 셔터 기술을 이용하면, 라이브 뷰로부터 정지 화상 촬영 동작으로 이행할 때, 기계적 셔터를 닫을 필요가 없게 되며, 촬영 지시부터 촬영 개시까지의 시간 지연(time lag) 또는 셔터 지연(shutter lag) 최소한으로 억제할 수 있다. 또한, 기계적 셔터 자체를 소형화, 저가격화하는 것이 가능하다.
그러나, 전자 선막 셔터 기술에는 노광 얼룩(unevenness of exposure)의 문제가 존재한다. 노광 얼룩이란, 화면의 영역마다 노광량이 분산되는 것이며, 노광 얼룩의 주된 요인으로서는, 전자 선막 셔터의 주행 특성과 기계적 후막 셔터의 주행 특성 간의 오차를 들 수 있다. 특히 기계적 셔터의 주행 특성은, 자세 차이나 온도, 습도 등의 환경이나 시간 경과의 변화 등에 의해 변화되는 것에 반하여, 전자 선막 셔터는, 이들 조건에 따라 변화되지 않기 때문에 노광 얼룩이 문제가 된다.
또한, 전자 선막 셔터가 촬상면을 주행하는 것에 대해, 기계적 셔터는 촬상면에서 떨어져 주행하기 때문에, 촬상면에 대한 광속의 입사 각도에 의해서도 오차가 생긴다. 이들 오차는, 렌즈의 초점 거리, 줌 위치, 조리개 값 등에 의해서도 변화될 수 있다. 이들 오차에 기인하는 노광 얼룩을 억제하기 위해서, 이와 같은 조건을 토대로 전자 선막 셔터의 주행 특성을 보정하는 기술이 제안되고 있다. 그러나, 이들 조건을 바탕으로 전자 선막 셔터의 주행 특성을 보정하는 기술은, 실시간으로 노광량을 모니터링하여 주행 특성을 보정하는 것은 아니므로 보정 정밀도에 문제가 남는다.
따라서, 정지 화상 촬영을 행하기 직전의 라이브 뷰 화상과, 실제로 전자 선막 셔터 및 기계적 후막 셔터를 주행시켜 노광된 화상의 차분을 보완하도록 화소 라인마다 이득을 가하여 화상을 보정하는 기술이 제안되어 있다(예를 들면, 일본 특허 공개공보 제2008-219523호). 또한, 그 보정을 그 후의 전자 선막 셔터의 주행 특성에 피드백하여 오차를 최소한으로 억제하는 기술이 제안되어 있다(예를 들면, 일본 특허공개 공보 제2008-022198호 및 제2008-219524호). 이와 같은 기술에 의하면, 효율적으로 보정 처리를 행할 수 있지만, 직전의 라이브 뷰 화상과 기계적 후막 셔터를 이용한 화상 사이에는 노광에 있어서 시간 지연이 있고, 특히 피사체가 고속으로 움직이는 경우에 정확하게 보정할 수 없는 경우가 발생한다.
한편, 이러한 전자 선막 셔터 기술을 이용한 다른 응용 기술도 제안되어 있다. 복수의 화소 라인마다 교대로 노광 시간을 변화시키고, 획득된 복수의 노광 상태의 화상을 합성 처리함으로써 해상도는 약간 열화되지만 동적 레인지 (dynamic range)가 넓은 화상을 얻는 응용 기술도 고안되어 있다(예를 들면, 일본 특허공개 공보 제2008-118573호). 이러한 합성 처리에 있어서는, 미리 합성하는 화상의 노광 차를 기억하고, 이러한 노광 차분만큼 곱셈을 행한 후 가산한다.
그러나, 상기 전자 선막 셔터 기술에 따른 노광 얼룩의 문제가 존재하면, 실제의 노광 차와 계산상의 노광 차에 오차가 생기기 때문에, 합성시에 지장을 초래하게 된다.
그래서, 본 발명은, 미리 설정된 화소폭(화소들의 수)을 가지는 화소 라인마다 전하의 축적 시간을 바꾸는 것에 의해, 화소 라인마다 노광 시간이 다른 화상을 생성하고, 이 화상을 바탕으로 정밀하게 노광 얼룩을 감소하기 위한 보정 값을 연산할 수 있는 기술을 제공하고자 하는 것이다.
본 발명의 일 실시예에 의하면, 각각 복수의 화소들로 구성된 제1 화소 라인 및 제2 화소 라인을 포함하는 촬상 소자와, 상기 제1 화소 라인에 축적된 전하에 대한 제1 리셋 동작을 행하는 제1 리셋부와, 상기 제2 화소 라인에 축적된 전하에 대한 제2 리셋 동작을 행하는 제2 리셋부와, 상기 제1 리셋 동작으로부터 제1 노광 시간 경과시에 차광막을 상기 제1 화소 라인 위로 주행시키고, 상기 제2 리셋 동작으로부터 제2 노광 시간 경과시에 상기 차광막을 상기 제2 화소 라인 위로 주행시키는 주행 제어부와, 상기 제1 화소 라인에 축적된 전하를 상기 차광막이 상기 제1 화소 라인 위를 주행한 후에 제1 화소 데이터로서 출력하고, 상기 제2 화소 라인에 축적된 전하를 상기 차광막이 상기 제2 화소 라인 위를 주행한 후에 제2 화소 데이터로서 출력하는 화소 데이터 출력부와, 상기 제1 화소 데이터, 상기 제2 화소 데이터, 상기 제1 노광 시간 및 상기 제2 노광 시간에 근거하여, 상기 제1 화소 라인을 위한 제1 보정 값과 상기 제2 화소 라인을 위한 제2 보정 값을 연산하는 연산부를 포함하는 것을 특징으로 하는 촬상 장치가 제공된다.
이러한 구성에 의하면, 제1 화소 데이터, 제2 화소 데이터, 제1 노광 시간과 제2 노광 시간에 근거하여 제1 보정값과 제2 보정값을 연산할 수 있다. 제1 화소 데이터와 제2 화소 데이터는 측정값이며, 제1 노광 시간과 제2 노광 시간은 미리 결정된 시간이다. 제1 보정값과 제2 보정값을 이용하여 보정이 이루어지면, 정밀하게 노광얼룩을 감소시킬 수 있다. 아울러, 제1 보정값과 제2 보정값을 이용하여 무엇을 보정할 것인가에 대해서는 특별히 한정되지 않는다.
상기 연산부는, 상기 제1 화소 라인의 제1 화소 데이터를 보정하기 위한 제1 보정 값과 상기 제2 화소 라인의 제2 화소 데이터를 보정하기 위한 제2 보정 값을 연산하여도 된다. 이러한 구성에 의하면, 제1 화소 라인의 제1 화소 데이터를 보정하기 위한 제1 보정값과 제2 화소 라인의 제2 화소 데이터를 보정하기 위한 제2 보정값을 연산할 수 있다. 제1 화소 라인의 제1 화소 데이터와 제2 화소 라인의 제2 화소 데이터는, 예를 들면 이득 보정된다.
상기 촬상 장치는, 상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정함과 동시에 상기 제2 보정 값에 의거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정하는 보정부를 더 구비하여도 된다. 이러한 구성에 의하면, 제 1 보정값에 근거하여 제1 화소 라인의 제1 화소 데이터가 보정되고 제2 보정 값에 근거하여 제2 화소 라인의 제2 화소 데이터가 보정된다. 이들의 보정에 있어서는, 예를 들면 화소 값에 대한 이득 보정이 이루어진다.
상기 촬상 장치는, 상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정한 결과와 상기 제2 보정 값에 근거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정한 결과를 합성하는 합성부를 더 구비하여도 된다. 이러한 구성에 의하면, 합성 처리를 정밀하게 행할 수 있다.
상기 연산부는, 다음 번의 촬영시에 상기 제1 화소 라인에 적용되는 제3 노광 시간을 보정하기 위한 제1 보정 값과 다음 번의 촬영시에 상기 제2 화소 라인에 적용되는 제4 노광 시간을 보정하기 위한 제2 보정 값을 연산하여도 된다. 이러한 구성에 의하면, 다음 번 촬영시에 전하의 리셋 동작과 차광막의 주행 특성과의 오차를 효율적으로 억제하기 위한 보정 값을 연산할 수 있다.
상기 촬상 장치는, 상기 제1 보정 값에 근거하여 다음 번의 촬영시에 사용되는 제3 노광 시간을 보정하고, 상기 제2 보정 값에 근거하여 다음 번의 촬영시에 사용되는 제4 노광 시간을 보정하는 보정부를 더 구비하여도 된다. 이러한 구성에 의하면, 다음 번의 촬영시에 전하의 리셋 동작과 차광막의 주행 특성과의 오차를 효율적으로 억제하기 위한 보정을 행할 수 있다.
또, 본 발명의 다른 실시 예에 의하면, 각각 복수의 화소들로 구성된 제1 화소 라인 및 제2 화소 라인을 포함하는 촬상 소자의 상기 제1 화소 라인에 축적된 전하에 대한 제1 리셋 동작을 행하는 과정과; 상기 제2 화소 라인에 축적된 전하에 대한 제2 리셋 동작을 행하는 과정과; 상기 제1 리셋 동작으로부터 제1 노광 시간 경과시에 차광막을 상기 제1 화소 라인 위로 주행시키고, 상기 제2 리셋 동작으로부터 제2 노광 시간 경과시에 상기 차광막을 상기 제2 화소 라인 위로 주행시키는 과정과; 상기 제1 화소 라인에 축적된 전하를 상기 차광막이 상기 제1 화소 라인 위를 주행한 후에 제1 화소 데이터로서 출력하고, 상기 제2 화소 라인에 축적된 전하를 상기 차광막이 상기 제2 화소 라인 위를 주행한 후에 제2 화소 데이터로서 출력하는 과정과; 상기 제1 화소 데이터, 상기 제2 화소 데이터, 상기 제1 노광 시간 및 상기 제2 노광 시간에 근거하여, 상기 제1 화소 라인을 위한 제1 보정 값과 상기 제2 화소 라인을 위한 제2 보정 값을 연산하는 과정을 포함하는 것을 특징으로 하는 촬상 방법이 제공된다.
이상 설명한 바와 같이, 본 발명에 의하면, 미리 설정된 화소 폭을 가지는 화소 라인마다 전하의 축적 시간을 바꾸는 것에 의해, 화소 라인마다 노광 시간이 다른 화상을 생성하고, 이 화상을 바탕으로 정밀하게 노광 얼룩을 감소시키기 위한 보정 값을 연산하는 것이 가능하다.
도 1은 본 발명의 실시 예에 관련된 촬상 장치의 구성 예를 나타낸 도면,
도 2는 전자 선막 셔터와 기계적 후막 셔터의 주행 특성의 예를 나타낸 도면,
도 3는 본 발명의 실시 예에 관련된 촬상 장치에 의한 보정 값의 연산을 설명하기 위한 도면,
도 4는 보정 값을 평활화한 경우의 예를 나타낸 도면,
도 5는 동적 레인지를 확대하기 위한 보정 값 적용을 설명하기 위한 도면,
도 6은 노광 얼룩이 생기지 않는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면,
도 7는 노광 얼룩이 생기는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면.
도 2는 전자 선막 셔터와 기계적 후막 셔터의 주행 특성의 예를 나타낸 도면,
도 3는 본 발명의 실시 예에 관련된 촬상 장치에 의한 보정 값의 연산을 설명하기 위한 도면,
도 4는 보정 값을 평활화한 경우의 예를 나타낸 도면,
도 5는 동적 레인지를 확대하기 위한 보정 값 적용을 설명하기 위한 도면,
도 6은 노광 얼룩이 생기지 않는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면,
도 7는 노광 얼룩이 생기는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면.
이하, 첨부의 도면을 참조하여 본 발명의 바람직한 실시 예에 대해서 상세하게 설명한다. 한편, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
도 1은 본 발명의 바람직한 실시 예에 관련된 촬상 장치(10)의 구성 예를 나타낸 도면이다. 도 1에 나타낸 바와 같이, 촬상 장치(10)는, 렌즈계(110), 렌즈 구동 장치(111D), 조리개 구동 장치(112D), 셔터 구동 장치(113D), 촬상 소자(120), 전처리 회로(preprocessing circuit, 130), 화상 신호 처리 회로(140), 압축 처리 회로(141) 및 제어 회로(150)를 구비한다.
또한, 촬상 장치(10)는, 타이밍 발생부(151), 측광 장치(161), 초점 검출 장치(162), 스위치 등과 같은 조작 부재(163), 압축 처리 회로(141), SDRAM(Synchronous Dynamic Random Access Memory, 171), VRAM(Video RAM, 172), 액정 디스플레이 (Liquid Crystal Display: LCD, 181), LCD 구동부(182), 미디어 제어부(183), 및 기록 미디어(184)를 구비한다. SDRAM(171) 및 VRAM(172)은 제1 및 제2 메모리로 칭할 수도 있다.
전처리 회로(preprocessing circuit, 130), 화상 신호 처리 회로(140), 압축 처리 회로(141), 초점 검출 장치(162) 및 미디어 제어부(183)의 일부 또는 전체는 제어 회로(150)에 통합될 수 있다.
렌즈계(110)는, 적어도 하나의 렌즈(111), 조리개(112) 및 기계적 후막 셔터(113)를 구비하고, 피사체로부터의 빛을 투과시켜 촬상 소자(120)의 촬상면(즉, 화소들의 표면)에 결상시키는 광학계 또는 광학 시스템이다. 렌즈(111)는, 광축(optical axis)을 따라 일측에서 타측으로 또는 타측에서 일측으로 이동함으로써 촬상 소자(120)의 촬상면에 피사체의 상을 포커싱시킨다. 상기 렌즈(111)는 그 중심을 지나는 광축에 대해 대칭성을 가지며, 상기 광축은 이러한 중심 축으로 정의된다. 조리개(112)는, 투과하는 빛의 양(즉, 광량)을 조절하는 기구이다. 기계적 후막 셔터(113)는 차광막으로서 기능한다. 또한, 렌즈계(110)는, 제1 내지 제3 모터(111M, 112M, 113M)를 구비한다.
촬상 소자(120)는, 광전 변환 소자이며, 렌즈계(110)를 투과하여 입사한 광 또는 광정보를 전기 신호로 변환하는 광전 변환이 가능한 복수의 소자, 즉 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel)를 구비하며, 촬상 소자(120)로서는, 예를 들면 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등이 사용된다.
아울러, 촬상 소자(120)의 노광 시간을 제어하기 위해서, 비촬영 시에 빛을 차단하고 촬영시에만 촬상 소자(120)에 빛을 받도록, 기계적 후막 셔터(113) 및 전자 선막 셔터를 적용할 수 있다. 또한, 기계적 후막 셔터(113) 및 전자 선막 셔터의 동작은, 제어 회로(150)에 접속된 셔터 버튼(즉, 조작 부재(163))의 스위칭에 의해 행해진다.
전처리 회로(130)는, 촬상 소자(120)에서 출력된 디지털 신호에 대하여 처리를 실시하고, 화상 처리가 가능한 화상 신호를 생성하고, 생성된 화상 신호를, 예를 들면 화상 신호 처리 회로(140)로 출력한다. 또한, 전처리 회로(130)는, SDRAM(171)으로의 화상 데이터의 기입(즉, 쓰기(write)) 또는 그로부터의 독출(즉, 리드(read))을 제어한다.
화상 신호 처리 회로(140)는, 전처리 회로(130)로부터 화상 신호를 수신하고, 화이트 밸런스 제어값, 감마(γ)값, 윤곽 강조 제어값 등에 근거하여, 화상 신호에 대하여 각종 화상 처리를 행하고, 화상 처리후의 화상 신호를 생성한다.
VRAM(172)은, 화상 표시용 메모리이며, 복수의 채널(도 1에 나타낸 예에서는, 채널 A 및 채널 B)을 갖는다. VRAM(172)은, SDRAM(171)으로부터의 화상 표시용 화상 데이터의 입력과, LCD 구동부(182)로의 화상 데이터의 출력을 동시에 실행할 수 있다. LCD(181)의 해상도나 최대 발색 수는 VRAM(172)의 용량에 의존한다.
SDRAM(171)은, 기억부 또는 메모리의 일 예이며, 촬영한 화상의 화상 데이터를 일시적으로 보존한다. SDRAM(171)은, 복수의 화상 데이터를 기억할 수 있는 기억 용량을 가지며, 초점 제어시의 화상 신호를 차례로 유지하며, 화상 신호를 출력한다. 또한, 제어 회로(150)의 동작 프로그램을 보존한다. SDRAM(171)으로부터의 화상 데이터의 독출과, SDRAM(171)으로의 화상 데이터의 기입은, 전처리 회로(130)에 의해 제어된다.
LCD 구동부(182)는, 예를 들어 VRAM(172)으로부터 화상 데이터를 수신하여 LCD(181)에 화상을 표시하는 표시 구동부이다.
LCD(181)는, 촬상 장치(10)의 본체에 설치된 표시부의 일 예이며, 예를 들면 VRAM(172)으로부터 독출된 촬영 전의 화상(라이브 뷰 표시), 각종 설정 화면, 촬상하여 기록된 화상 등을 표시한다. 본 실시 예에서는, LCD(181)가 표시부로서 기능하고, LCD 구동부(182)가 그 표시부의 표시 구동부로서 기능한다고 하였지만, 본 발명은 이러한 예에 한정되지 않으며, 예를 들면 유기 EL(Organic Electro Luminescence) 디스플레이가 표시부로서 기능하고, 유기 EL 디스플레이 구동부가 표시 구동부로서 기능하여도 된다.
미디어 제어부(183)는, 기록 미디어(184)로의 화상 데이터의 기입, 또는 기록 미디어(184)에 기록된 화상 데이터나 설정 정보 등의 독출을 제어한다.
기록 미디어(184)는, 예를 들면 광 디스크(CD, DVD, 블루레이(Blu-ray) 디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억 매체 등이며, 촬영된 화상 데이터를 기록한다. 여기서, 미디어 제어부(183), 기록 미디어(184)는, 촬상 장치(10)로부터 착탈 가능하게 구성되어도 된다.
압축 처리 회로(141)는, 압축 처리전의 화상 신호를 받고, 예를 들면 JPEG 등의 압축 형식으로 화상 신호를 압축 처리한다. 압축 처리 회로(141)는, 압축 처리에 의해 생성된 화상 데이터를, 예를 들면 미디어 제어부(183)로 전송한다.
조작 부재(163)는, 예를 들면 촬상 장치(10)에 설치된 상하 좌우 키, 전원 스위치, 모드 다이얼, 셔터 버튼 등이며, 사용자에 의한 조작에 근거하여 조작 신호를 제어 회로(150) 등으로 전송한다. 예를 들면, 셔터 버튼은, 사용자에 의한 반누름, 완전 누름, 해제가 가능하다. 셔터 버튼은 반누름 되었을 때 초점 제어 개시의 조작 신호를 출력하고, 반누름 해제로 초점 제어 종료의 조작 신호를 출력한다. 또한, 셔터 버튼은, 완전 누름된 경우 촬영 개시의 조작 신호를 출력한다.
제어 회로(150)는, 프로그램에 의해 연산 처리 장치 및 제어 장치로서 기능하고, 촬상 장치(10) 내에 설치된 각 구성 요소의 처리를 제어한다. 제어 회로(150)는, 예를 들면 초점 제어나 노출 제어에 의거하여 렌즈 구동 장치(111D), 조리개 구동 장치(112D) 및/또는 셔터 구동 장치(113D) 로 신호를 출력하여 렌즈계(110)를 구동시킨다. 또한, 조작 부재(163)로부터의 조작 신호에 의거하여 촬상 장치(10)의 각 구성 요소를 제어한다. 한편, 본 실시 예에 있어서는, 제어 회로(150)가 하나만으로 이루어지는 구성이지만, 신호계의 명령과 조작계의 명령을 각각의 CPU에서 행하는 등 복수의 CPU로 구성되어도 된다. 제어 회로(150)는 메인 제어부 또는 주 제어부라고 칭할 수도 있다.
제어 회로(150)는, 초점 제어 개시의 조작 신호를 수신하면, 렌즈(111)를 일방향으로 이동하기 위한 제어 신호를 생성하여 렌즈 구동 장치(111D)로 출력한다. 또한, 제어 회로(150)는, 조리개 제어 개시의 조작 신호를 수신하면, 조리개(112)를 조정하기 위한 제어 신호를 생성하여 조리개 구동 장치(112D)로 출력한다. 또한, 제어 회로(150)는, 셔터 제어 개시의 조작 신호를 수신하면, 기계적 후막 셔터(113)를 주사(scan) 또는 주행시키기 위한 제어 신호를 생성하여 셔터 구동 장치(113D)로 출력한다.
또한, 제어 회로(150)는, LCD(181)에 의한 화면 표시를 관리한다. 예를 들면, 제어 회로(150)는, 조작 부재(163)로부터 출력되는 조작 신호에 근거하여 선택되는 화면을 LCD(181)에 표시하기 위한 제어 신호를 LCD 구동부(182)로 출력한다.
타이밍 발생부(151)는, 촬상 소자(120)로 타이밍 신호를 출력하고, 촬상 소자(120)를 구성하고 있는 각 화소의 노광 시간의 제어나, 각 화소에 축적된 전하(즉, 각 화소 데이터 또는 화소 값)의 독출 제어를 행한다. 측광 장치(161)는, 화상 신호 처리 회로(140)로부터의 화상 신호로부터 적정한 노광량을 연산하고, 셔터 관련 데이터, 조리개 관련 데이터, 이득 관련 데이터를 결정한다.
결정된 셔터 관련 데이터는, 라이브 뷰 중, 타이밍 발생부(151)를 통한 전자 선막 셔터의 제어를 위해 제어 회로(150)에 제공된다. 결정된 조리개 관련 데이터는, 조리개 구동 장치(112D)를 통한 렌즈(110) 내에 배치된 조리개(112)의 구동 제어를 위해 제어 회로(150)에 제공된다. 결정된 이득 관련 데이터는, 촬상 소자(120) 또는 전처리 회로(130) 등에 있는 화상 신호 증폭 장치의 제어를 위해 제어 회로(150)에 제공된다.
초점 검출 장치(162)는, 촬상 소자(120)로부터 출력되는 화상 신호의 콘트라스트 성분 등을 사용하여 초점을 검출하고, 이러한 초점 관련 데이터는 렌즈 구동 장치(111D)에 의해 렌즈(111)를 구동하면서 초점을 조절하기 위해 제어 회로(150)에 제공된다.
렌즈 구동 장치(111D)는, 제어 회로(150)로부터 수신한 제어 신호에 근거하여 구동 신호를 생성하고, 생성된 구동 신호를 제1 모터(111M)로 전송하여 제1 모터(111M)를 구동한다. 그 결과, 제1 모터(111M)는 렌즈(111)의 위치 또는 이동을 제어한다.
조리개 구동 장치(112D)는, 제어 회로(150)로부터 수신한 제어 신호에 근거하여 구동 신호를 생성하고, 생성된 구동 신호를 제2 모터(112M)로 전송하여 제2 모터(112M)를 구동한다. 그 결과, 제2 모터(112M)는 조리개(112)의 개구 크기를 제어한다.
셔터 구동 장치(113D)는, 제어 회로(150)로부터 수신한 제어 신호에 의거하여 구동 신호를 생성하고, 생성된 구동 신호를 제3 모터(113M)로 전송하여 제3 모터(113M)를 구동한다. 그 결과, 제3 모터(113M)는, 기계적 후막 셔터(113)의 개구 위치 또는 이동을 제어한다.
한편, 촬상 장치(10)에 있어서의 일련의 처리는, 하드웨어에 의해 처리하여도 되며, 컴퓨터 상의 프로그램에 의한 소프트웨어 처리로 실현하여도 된다.
이상, 본 발명의 실시 예에 관련된 촬상 장치(10)의 구성 예에 대해서 설명하였다. 여기서, 촬상 소자(120)가 노광된 후, 노광에 의해 축적된 전하량을 독출하는데, 통상적으로 CMOS 센서는 노광이 종료하여도, 노광 종료 시점에서 축적되어 있는 전하량을 촬상 소자 상에 유지해 둘 수 없으며, 전하의 축적이 계속된다. 그러나, 전체 화면의 데이터를 독출하는 경우, 화소 데이터를 독출하는 타이밍에 시간차가 있으면 시간차가 노광 차와 관련된다.
도 2는 전자 선막 셔터와 기계적 후막 셔터의 주행 특성의 예를 나타낸 도면이다.
도 2에 나타낸 바와 같이, 화소 라인마다 전하의 축적 개시 타이밍을 엇갈리게 하는 것, 즉 화소 라인마다 서로 다른 전하 축적 개시 타이밍을 갖도록 하는 것에 의해, 이러한 영향을 억제할 수 있다. 이것을 롤링 셔터라 칭한다.
라이브 뷰 시에는 프레임 레이트를 빠르게 하기 위해서, 독출 화소를 추출해 냄으로써, 즉 데이터를 독출할 일부 화소들을 선택함으로써, 라이브 뷰의 전체 화면의 독출 시간 자체를 단축시킨다. 그러나, 정지 화상 촬영시에는 전체 화소를 독출하는데 걸리는 독출 시간이 길어지게 된다. 정지 화상 촬영시에 라이브 뷰의 경우처럼 롤링 셔터를 이용하여 독출하면, 상측 화소 라인과 하측 화소 라인의 노광 시간 지연(time lag)이 커지고, 초점면(focal plane) 현상이라고 하는 문제가 발생하기 때문에, 기계적 셔터를 병용하는 경우가 많다.
종래에는 초점면 셔터를 사용하여 촬상 소자의 모든 화소의 전하 축적을 시작한 후에, 선막 및 후막을 주행시켰지만, 최근에는 그 선막을 전자 셔터로 바꾸는 전자 선막 셔터라고 하는 기술이 실용화되어 있다. 이것은, 도 2에 나타낸 바와 같이, 화소 라인마다의 전하 축적 개시 타이밍을 후막의 주행 특성과 같도록 제어함으로써, 전체 화면을 구성하는 화소들이 균일하게 노광되도록 한다. 기계적 셔터를 닫은 후, 화소값 독출까지는 전하 축적 자체는 계속되지만, 광학적으로 차광되어 있으므로 전체 화소 독출 시간이 다소 길어도 문제는 적다.
그러나, 기계적 셔터의 주행 특성은, 촬상 장치(10)의 자세 차이, 온도, 시간 경과의 변화 등의 조건으로 변화되지만, 전자 선막 셔터의 주행 특성은 이들 조건에 의해 변화되지 않기 때문에, 이러한 부정합(mismatch)에 의해 노광 얼룩이 생긴다. 또한, 전자 선막 셔터가 촬상면을 주행하는 것에 대해, 기계적 후막 셔터는 촬상면에서 떨어져서 주행하기 때문에, 광속의 입사각에 의해서도 노광량에 오차가 생긴다. 또, 노광량은, 렌즈의 초점 거리, 줌 위치, 조리개 값 등에 의해서도 변화된다. 도 2는 전자 선막 셔터에 의한 노광 개시 타이밍 라인(210)과 기계적 후막 셔터에 의한 차광 타이밍 라인(220)을 도시한다. 전자 선막 셔터는 전자 회로에 의해 구현되며, 전자 선막 셔터가 촬상면을 주행한다는 것은 이러한 전자 선막 셔터가 촬상면을 이루는 화소 라인들을 차례로 노광시킨다는 것이다. 또한, 전자 선막 셔터는 기계적 셔터가 아니므로, 화소 라인의 노광은 화소 라인에 축적된 전하를 리셋 또는 제거하는 것, 즉 축적된 전하량을 0으로 만드는 것을 말한다. 기계적 후막 셔터를 촬상면 상에 주행시킨다는 것은 기계적 후막 셔터가 화소 라인들을 차례로 가리도록 이동된다는 것을 말한다.
렌즈 정보나 자세 차이, 온도 정보 등을 토대로 전자 선막 셔터의 주행 특성의 변화를 예측하고, 그 변화에 맞춘 주행 특성으로 전자 선막 셔터를 주행시키는 것에 의해 이 문제에 대비한 기술도 존재한다. 반드시 예측 값이 정확하다고는 한정할 수 없다. 한편, 본 발명의 실시 예에서는, 촬상 장치(10)는, 제1 전자 선막 셔터(131)(제1 리셋부)와 제2 전자 선막 셔터(132)(제2 리셋부)를 구비한다.
도 3은 본 발명의 실시 예에 관련된 촬상 장치에 의한 보정 값의 연산을 설명하기 위한 도면이다. 도 3은 제1 전자 선막 셔터(131)에 의한 노광 개시 타이밍 라인(310)과, 제2 전자 선막 셔터(132)에 의한 노광 개시 타이밍 라인(320)과, 기계적 후막 셔터(113)에 의한 차광 타이밍 라인(330)을 도시한다.
도 3에 나타낸 바와 같이, 촬상 소자(120)의 촬상면은 제1 화소 라인(2n)과 제2 화소 라인(2n+1)이 교대로 배열되어 있다. 제1 화소 라인(2n)과 제2 화소 라인(2n+1)의 각각은 미리 설정된 화소폭(화소들의 수)을 가진다. 즉, 제1 화소 라인(2n)과 제2 화소 라인(2n+1)의 각각은 1화소의 폭을 가지고 있어도 되며, 복수의 화소의 폭을 가지고 있어도 된다. 단, 제1 화소 라인(2n)과 제2 화소 라인(2n+1)의 각각이 과도한 화소폭을 가지게 하면 보정 연산상 바람직하지 않다. n은 1 이상의 정수이다.
제1 화소 라인(2n)과 제2 화소 라인(2n+1)은 홀수 화소 라인과 짝수 화소 라인이라고 칭할 수도 있으며, 각 화소 라인은 적어도 하나의 화소 행 또는 화소 열로 구성될 수 있다.
제1 전자 선막 셔터는, 제1 화소 라인(2n)에 축적된 전하의 리셋 동작(제1 리셋 동작)을 행하고, 제2 전자 선막 셔터는, 제2 화소 라인(2n+1)에 축적된 전하의 리셋 동작(제2 리셋 동작)을 행한다. 제1 전자 선막 셔터(131) 및 제2 전자 선막 셔터(132)는, 촬상 소자(120)의 일부를 구성하고, 타이밍 발생부(151)로부터 송신되는 리셋 신호에 의거하여, 각각의 리셋 동작을 행한다. 촬상 소자(120)에 리셋 신호를 송신하기 위한 지시는, 예를 들면 소망하는 시간이 되면 제어 회로(150)로부터 타이밍 발생부(151)로 전송된다.
t1은 원래 소망하는 노광 시간을 나타낸다. t2은 t1보다 작은 값으로 제1 전자 선막 셔터(131)와 제2 전자 선막 셔터(132)의 주행 타이밍의 시간차를 나타낸다. t1은 제1 노광 시간에 상당하고, t1-t2는 제2 노광 시간에 상당한다. 제3 모터(113M)(즉, 주행 제어부)는, 제1 리셋 동작으로부터 t1 경과시에 기계적 후막 셔터(113)를 제1 화소 라인(2n)상으로 주행시킨다. 또한, 제3 모터(113M)는, 제2 리셋 동작으로부터 t1-t2 경과시에 기계적 후막 셔터(113)를 제2 화소 라인(2n+1) 상으로 주행시킨다. 제3 모터(113M)는, 셔터 구동 장치(113D)로부터 송신되는 구동 신호에 근거하여 기계적 후막 셔터(113)를 주행시킨다.
촬상 소자(120)의 일부를 구성하는 화소 데이터 출력부(121)는, 제1 화소 라인(2n)에 축적된 전하를 기계적 후막 셔터(113)가 제1 화소 라인(2n) 상을 주행한 후에 화소값의 누적값 S(2n)로서 출력한다. 또, 화소 데이터 출력부(121)는, 제2 화소 라인(2n+1)에 축적된 전하를 기계적 후막 셔터(113)가 제2 화소 라인(2n+1) 상을 주행한 후에 화소값의 누적값 S(2n+1)로서 출력한다. S(2n)은 제1의 화소 데이터에 상당하고, S(2n+1)는 제2의 화소 데이터에 상당한다.
연산부(142)는, S(2n)과 S(2n+1)과 t1과 t2에 의거하여 제1 보정값 β(2n)과 제2 보정값 β(2n+1)을 연산한다. 연산부(142)는, 화상 신호 처리 회로(140)의 일부를 구성하여도 되며, 제어 회로(150)의 일부를 구성하여도 된다. β(2n) 및 β(2n+1)의 연산 기법의 예는 이하에 나타낸 바와 같다. 우선, 기계적 후막 셔터(113)가 이상적인 주행을 한 경우의 S(2n)을 S0(2n)이라 하면, 이하의 수학식 1이 성립한다.
여기서, 제1 화소 라인(2n)과 제2 화소 라인(2n+1)은 충분히 근접해 있다고 하는 경우(예를 들면, 도 3에 나타낸 바와 같이 인접한 경우), 이들 화소 라인들은, 피사체상의 동일한 영역이라고 간주된다. 이하의 수학식 2가 성립한다고 한 경우, β(2n)은 제1 화소 라인(2n)에 있어서의 보정 값을 나타낸다.
수학식 2를 이용하면, 이하의 수학식 3이 성립한다.
마찬가지로, 제2 화소 라인(2n+1)의 보정값 β(2n+1)은, 이하의 수학식 4와 같이 연산된다.
여기서, 연산된 β(2n) 및 β(2n+1)은 다양하게 이용된다. 예를 들면, β(2n)은 S(2n)을 이득 보정하기 위한 보정 값이며, β(2n+1)은 S(2n+1)을 이득 보정하기 위한 보정값이어도 된다. 그 경우, 화상 신호 처리 회로(140)의 일부를 구성하는 보정부(143)는, β(2n)에 의거하여 제1 화소 라인(2n)의 각 화소값을 보정함과 동시에 β(2n+1)에 의거하여 제2 화소 라인(2n+1)의 각 화소값을 보정하여도 된다.
예를 들면, 보정부(143)는, β(2n)을 제1 화소 라인(2n)의 각 화소값에 합산 또는 중첩하는 것에 의해 제1 화소 라인(2n)의 각 화소값을 보정함과 동시에 β(2n+1)을 제2 화소 라인(2n+1)의 각 화소값에 합산 또는 중첩하는 것에 의해 제2 화소 라인(2n+1)의 각 화소값을 보정하여도 된다. 이와 같은 보정이 이루어지는 것에 의해, 노광 얼룩을 감소시킬 수 있게 될 뿐만 아니라, 노광 레벨 자체도 이상적인 노광 시간으로 노광된 레벨로 보정된다.
또한, 보정부(143)는, β(2n)을 직접적으로 제1 화소 라인(2n)의 각 화소값에 적용하고, β(2n+1)을 직접적으로 제2 화소 라인(2n+1)의 각 화소값에 적용하여도 되지만, 노이즈의 영향 등에 의해, 서로 인접하는 화소 라인들 사이에 평균값에서 벗어난 오차가 발생할 가능성도 예측된다. 따라서, 보정부(143)는, 도 4에 나타낸 바와 같이 β(2n)(410) 및 β(2n+1)(420)의 각각에 대하여 스플라인(spline) 처리 등의 보간 처리를 이용하여 보정값을 평활화(smoothing)하는 것이 바람직하다.
또한, 연산부(142)는, 제1 화소 라인(2n)에 있어서의 이상적인 기계적 후막 셔터의 주행 특성과 실제의 기계적 후막 셔터의 주행 특성 사이의 시간차 t3(2n)를 보정 값으로서 이하의 수학식 5를 사용하여 산출할 수 있다.
또한, 연산부(142)는, 제2 화소 라인(2n+1)에 있어서의 이상적인 기계적 후막 셔터의 주행 특성과 실제의 기계적 후막 셔터의 주행 특성 간의 시간차 t3(2n+1)를 보정 값으로서 이하의 수학식 6을 사용하여 산출할 수 있다.
보정부는, 이 t3(2n)을 제1 전자 선막 셔터(131)의 주행 특성에 가미하는 것으로, 제1 전자 선막 셔터(131)의 주행 특성과 기계적 후막 셔터(113)의 주행 특성 사이의 차분이 커지지 않도록 보정할 수 있다. 또한, 보정부(143)는, 이 t3(2n+1)을 제2 전자 선막 셔터(132)의 주행 특성에 가미함으로써, 제2 전자 선막 셔터(132)의 주행 특성과 기계적 후막 셔터(113)의 주행 특성 사이의 차분이 커지지 않도록 보정할 수 있다.
더욱 상세하게는, 보정부(143)는, 예를 들어 다음 번 촬영시에 사용되는 제1 노광 시간을 보정하기 위해 t3(2n)을 사용하고, 다음 번의 촬영시에 사용되는 제2 노광 시간을 보정하기 위해서 t3(2n+1)을 사용하여도 된다. 이때, 현재 촬영시에 사용된 제1 및 제2 노광 시간과 구별하기 위하여, 다음 번 촬영시에 사용되는 제1 및 제2 노광 시간은 제3 및 제4 노광 시간이라고 칭할 수도 있다.
보정된 결과는, 다음 번 촬영시의 주행 특성에 반영되어도 된다. 예를 들면, 보정된 결과는, SDRAM(171)을 통하여 제어 회로(150)에 의해 취득되고, 타이밍 발생부(151)로부터 촬상 소자(120)로의 다음 번의 리셋 신호 송신 타이밍을 제어하기 위해서 사용되는 것에 의해, 다음 번 촬영시의 전자 선막 셔터의 주행 특성에 반영된다.
보정부(143)는, 예를 들면 t1에서 t3(2n)을 감산한 것에 의해 다음 번의 촬영시에 사용되는 제1 노광 시간을 보정하고, t1-t2로부터 t3(2n+1)을 감하는 것에 의해 다음 번의 촬영시에 사용되는 제2 노광 시간을 보정하여도 된다. 이와 같이, 보정부는, 이번의 촬영에 의해 산출된 t3(2n) 및 t3(2n+1)을 그대로 다음 번 촬영시의 주행 특성에 반영시켜도 된다. 그러나, t3(2n) 및 t3(2n+1)에는, 자세 차이, 온도 등에 의한 기계적 후막 셔터의 주행 특성의 변화에 더하여, 조리개 값, 초점거리 등에 기인하는 입사각의 영향도 포함되는 것을 예측할 수 있다. 따라서, 보정부(143)는, t3(2n) 및 t3(2n+1)의 과거 복수회 값들을 다음 번 촬영시의 주행 특성에 반영시켜도 된다. 그 경우, 예를 들면, 과거 복수회 값들의 평균값이 채용되어도 된다.
과거 복수회 값들의 평균값이 채용될 경우, 보정부(143)는, 예를 들면 t3(2n)의 과거 복수회 값들의 평균값을 t1으로부터 감산하는 것에 의해 다음 번 촬영시에 사용되는 제1 노광 시간을 보정하고, t3(2n+1)의 과거 복수회 값들의 평균값을 t1-t2로부터 감하는 것에 의해 다음 번의 촬영시에 사용되는 제2의 노광 시간을 보정하여도 된다. 이와 같이, 과거 복수회 값들의 평균값이 사용되는 것에 의해 오차가 더 감소되는 것이 기대된다.
화소 라인마다 교대로 노광 시간을 바꾸는 기술을 사용하여 넓은 동적 레인지 화상의 촬영에 응용하는 기술이, 일본 특허공개 공보 제2008-228573호에 소개되어 있다.
도 5는 동적 레인지의 확대시 보정 값 적용을 설명하기 위한 도면이고, 도 6은 노광 얼룩이 생기지 않는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면이고, 도 7은 노광 얼룩이 생기는 경우에 있어서의 화소값의 합성 결과를 나타낸 도면이다. 도 5는 제1 전자 선막 셔터(131)에 의한 노광 개시 타이밍 라인(510)과, 제2 전자 선막 셔터(132)에 의한 노광 개시 타이밍 라인(520)과, 기계적 후막 셔터(113)에 의한 차광 타이밍 라인(530)을 도시한다.
도 5에 나타낸 바와 같이, 예를 들면, 제1 화소 라인(2n)의 노광 시간을 t1, 제2 화소 라인(2n+1)의 노광 시간을 t1-t2=t1/4 라고 하면, 도 6에 나타낸 바와 같이, 제2 화소 라인(2n+1)의 화상 값(620)을 4배로 한 결과와 제1 화소 라인(2n)의 화상 값(610)을 합성함으로써 12dB의 동적 레인지를 확대할 수 있다. 이때, 화상 값은 화상의 휘도를 나타낸다.
도 6에 나타낸 바와 같이, 이상적으로는 화상 값(620)을 4배로 하여 합성하면 되지만, 실제로는, 상기한 바와 같은 전자 선막 셔터의 주행 특성과 기계적 후막 셔터의 주행 특성의 차이에 의한 노광 얼룩에 의해 문제가 발생한다. 도 7에 나타낸 바와 같이, 셔터 오차 t3를 가질 경우, 제1 화소 라인(2n)에서의 노광 시간은 t1-t3, 제2 화소 라인(2n+1)에서의 노광 시간은 t1/4-t3가 되기 때문에, 제2 화소 라인(2n+1)의 화상 값(720)을 4배로 한 결과와 제1 화소 라인(2n)의 화상 값(710)을 합성한 경우, 휘도의 단차가 생기고, 부자연스러운 합성 화상(730)이 생성되게 된다.
이와 같은 문제를 해소하기 위해, 상기한 바와 같은 기법에 의해, 보정 값 β(2n) 및 β(2n+1)을 연산하고, 보정값 β(2n) 및 β(2n+1)을 적용하여도 된다. 보다 상세하게는, 촬상 장치(10)는, 보정값 β(2n)에 근거하여 제1 화소 라인(2n)의 각 화소값이 보정된 결과와 제2 보정값에 의거하여 제2 화소 라인(2n+1)의 각 화소값이 보정된 결과를 합성하는 합성부(144)를 더 구비하여도 된다. 이러한 합성이 이루어지면, 휘도의 단차 자체가 감소하고, 품질이 좋은 넓은 동적 레인지 화상이 합성된다. 합성부(144)는, 화상 신호 처리 회로(140)의 일부를 구성하여도 된다.
이상에 설명한 바와 같이, 본 실시 예에 관련되는 촬상 장치(10)는, 전자 선막 셔터와 기계적 후막 셔터를 이용하여 정지 화상 촬상을 하는 경우에, 화소 라인마다 전자 선막 셔터의 타이밍을 미리 설정된 시간만큼 교대로 엇갈려 노광하고, 각각의 노광 상태가 다른 화소 라인들의 화소를 비교함으로써, 노광 얼룩을 감소하기 위한 이득 보정 값을 연산할 수 있다. 노광 얼룩의 문제는, 특히 고속 셔터시에 현저해진다.
또, 본 실시 예에 관련된 촬상 장치(10)에 의하면, 화소 라인마다 이득 보정하는 것으로 노광 얼룩을 감소시키는 것이 가능해진다. 또한, 본 실시 예에 관련되는 촬상 장치(10)에 따르면, 이번 촬영시의 보정 연산 결과를 다음번 촬영시의 전자 선막 셔터 타이밍의 제어에 피드백함으로써 기계적 셔터특성의 시간경과의 변화 등이 생겼을 경우라도 정밀하게 보정할 수 있다. 또, 본 실시 예에 관련된 촬상 장치(10)에 의하면, 노광 상태가 다른 복수의 화상을 이용하여 하이 동적 레인지의 화상을 합성할 경우, 마찬가지로 보정 값을 연산하고, 그 보정 값을 이용하여 합성 처리함으로써 정밀한 합성 화상을 얻을 수 있다.
한편, 본 실시 예에 관련된 기술은, 이미 개시되어 있는 선행 기술문헌에 기재된 기술과는 다르다. 예를 들면, 선행 기술문헌에는, 전자 선막 셔터에 의한 노광 얼룩 문제에 대하여, 조리개, 초점거리 등의 렌즈의 정보, 기계적 셔터의 시간경과의 변화 특성 등을 고려하여, 전자 선막 셔터의 타이밍을 엇갈리게 하는 방법 등이 소개되어 있다. 또한, 캡처 직전의 라이브 뷰의 화소값과의 비교에 의해 전자 선막 셔터의 타이밍을 제어하거나, 캡처한 화상의 노광 얼룩을 이득 보정하는 방법이 소개되어 있다.
이에 대하여, 본 발명의 실시 예에 따르면, 캡처시에 화소 라인마다 교대로 전자 선막 셔터의 개시 시간을 엇갈리게 하여 얻을 수 있는 화상으로부터, 상기 선행 기술과 같은 노광 얼룩 등의 이득 보정을 행할 수 있다. 화소 라인마다 교대로 개시 시간을 엇갈리게 하는 기술은, 일본 특허공개 공보 제2008-118573호에 소개되어 있는데, 이것은 동적 레인지의 넓은 화상을 얻기 위한 기술이며, 이 수단을 이용하여 노광 얼룩을 보정하거나 전자 선막 셔터의 타이밍을 제어하는 것에 대해서는 언급하지 않는다.
또, 넓은 동적 레인지 화상을 얻기 위한 합성 처리를 행할 경우에도, 본 발명의 실시 예에 의해 합성 전의 화상을 이득 보정하고 나서 합성함으로써 정밀하게 합성할 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 촬상 장치 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 촬상 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 촬상 장치가 촬상 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 기타 정보 또는 데이터 등을 저장하기 위한 메모리와, 상기 촬상 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 촬상 장치의 요청 또는 자동으로 해당 프로그램을 상기 촬상 장치로 전송하는 제어부를 포함할 수 있다.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시 예에 대해서 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 가진 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 다양한 변경 예 또는 수정 예가 가능함은 자명하며, 이에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것임을 이해하여야 한다.
10: 촬상 장치, 110: 렌즈, 111D: 렌즈 구동장치, 112D: 조리개 구동장치, 113: 기계적 후막 셔터(차광막), 113D: 셔터 구동장치, 113M: 모터(주행 제어부), 120: 촬상 소자(화상 데이터 출력부), 140: 화상신호 처리 회로(보정부, 합성부), 150: 제어 회로(연산부), 151: 타이밍 발생부
Claims (13)
- 각각 복수의 화소들로 구성된 제1 화소 라인 및 제2 화소 라인을 포함하는 촬상 소자와,
상기 제1 화소 라인에 축적된 전하에 대한 제1 리셋 동작을 행하는 제1 리셋부와,
상기 제2 화소 라인에 축적된 전하에 대한 제2 리셋 동작을 행하는 제2 리셋부와,
상기 제1 리셋 동작으로부터 제1 노광 시간 경과시에 차광막을 상기 제1 화소 라인 위로 주행시키고, 상기 제2 리셋 동작으로부터 제2 노광 시간 경과시에 상기 차광막을 상기 제2 화소 라인 위로 주행시키는 주행 제어부와,
상기 제1 화소 라인에 축적된 전하를 상기 차광막이 상기 제1 화소 라인 위를 주행한 후에 제1 화소 데이터로서 출력하고, 상기 제2 화소 라인에 축적된 전하를 상기 차광막이 상기 제2 화소 라인 위를 주행한 후에 제2 화소 데이터로서 출력하는 화소 데이터 출력부와,
상기 제1 화소 데이터, 상기 제2 화소 데이터, 상기 제1 노광 시간 및 상기 제2 노광 시간에 근거하여, 상기 제1 화소 라인을 위한 제1 보정 값과 상기 제2 화소 라인을 위한 제2 보정 값을 연산하는 연산부를 포함하는 것을 특징으로 하는 촬상 장치. - 제 1항에 있어서,
상기 연산부는,
상기 제1 화소 라인의 제1 화소 데이터를 보정하기 위한 제1 보정 값과 상기 제2 화소 라인의 제2 화소 데이터를 보정하기 위한 제2 보정 값을 연산하는 것을 특징으로 하는 촬상 장치. - 제 2항에 있어서,
상기 촬상 장치는,
상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정함과 동시에 상기 제2 보정 값에 의거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정하는 보정부를 더 포함하는 것을 특징으로 하는 촬상 장치. - 제 3항에 있어서,
상기 촬상 장치는,
상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정한 결과와 상기 제2 보정 값에 근거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정한 결과를 합성하는 합성부를 더 포함하는 것을 특징으로 하는 촬상 장치. - 제 1항에 있어서,
상기 연산부는,
다음 번의 촬영시에 상기 제1 화소 라인에 적용되는 제3 노광 시간을 보정하기 위한 제1 보정 값과 상기 다음 번의 촬영시에 상기 제2 화소 라인에 적용되는 제4 노광 시간을 보정하기 위한 제2 보정 값을 연산하는 것을 특징으로 하는 촬상 장치. - 제 5항에 있어서,
상기 촬상 장치는,
상기 제1 보정 값에 근거하여 상기 다음 번의 촬영시에 사용되는 제3 노광 시간을 보정하고, 상기 제2 보정 값에 근거하여 상기 다음 번의 촬영시에 사용되는 제4 노광 시간을 보정하는 보정부를 더 포함하는 것을 특징으로 하는 촬상 장치. - 각각 복수의 화소들로 구성된 제1 화소 라인 및 제2 화소 라인을 포함하는 촬상 소자의 상기 제1 화소 라인에 축적된 전하에 대한 제1 리셋 동작을 행하는 과정과;
상기 제2 화소 라인에 축적된 전하에 대한 제2 리셋 동작을 행하는 과정과;
상기 제1 리셋 동작으로부터 제1 노광 시간 경과시에 차광막을 상기 제1 화소 라인 위로 주행시키고, 상기 제2 리셋 동작으로부터 제2 노광 시간 경과시에 상기 차광막을 상기 제2 화소 라인 위로 주행시키는 과정과;
상기 제1 화소 라인에 축적된 전하를 상기 차광막이 상기 제1 화소 라인 위를 주행한 후에 제1 화소 데이터로서 출력하고, 상기 제2 화소 라인에 축적된 전하를 상기 차광막이 상기 제2 화소 라인 위를 주행한 후에 제2 화소 데이터로서 출력하는 과정과;
상기 제1 화소 데이터, 상기 제2 화소 데이터, 상기 제1 노광 시간 및 상기 제2 노광 시간에 근거하여, 상기 제1 화소 라인을 위한 제1 보정 값과 상기 제2 화소 라인을 위한 제2 보정 값을 연산하는 과정을 포함하는 것을 특징으로 하는 촬상 방법. - 제7항에 있어서,
상기 제1 화소 라인의 제1 화소 데이터를 보정하기 위한 제1 보정 값과 상기 제2 화소 라인의 제2 화소 데이터를 보정하기 위한 제2 보정 값을 연산하는 것을 특징으로 하는 촬상 방법. - 제8항에 있어서,
상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정함과 동시에 상기 제2 보정 값에 의거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정하는 과정을 더 포함하는 것을 특징으로 하는 촬상 방법. - 제9항에 있어서,
상기 제1 보정 값에 근거하여 상기 제1 화소 라인의 제1 화소 데이터를 보정한 결과와 상기 제2 보정 값에 근거하여 상기 제2 화소 라인의 제2 화소 데이터를 보정한 결과를 합성하는 과정을 더 포함하는 것을 특징으로 하는 촬상 방법. - 제7항에 있어서,
다음 번의 촬영시에 상기 제1 화소 라인에 적용되는 제3 노광 시간을 보정하기 위한 제1 보정 값과 상기 다음 번의 촬영시에 상기 제2 화소 라인에 적용되는 제4 노광 시간을 보정하기 위한 제2 보정 값을 연산하는 것을 특징으로 하는 촬상 방법. - 제11항에 있어서,
상기 제1 보정 값에 근거하여 상기 다음 번의 촬영시에 사용되는 제3 노광 시간을 보정하고, 상기 제2 보정 값에 근거하여 상기 다음 번의 촬영시에 사용되는 제4 노광 시간을 보정하는 과정을 더 포함하는 것을 특징으로 하는 촬상 방법. - 제7항 내지 제12항의 어느 한 항에 따른 촬상 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011276468A JP2013128184A (ja) | 2011-12-16 | 2011-12-16 | 撮像装置及び撮像方法 |
JPJP-P-2011-276468 | 2011-12-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130069478A true KR20130069478A (ko) | 2013-06-26 |
Family
ID=48609788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120145991A KR20130069478A (ko) | 2011-12-16 | 2012-12-14 | 촬상 장치, 촬상 방법 및 기계로 읽을 수 있는 저장 매체 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130155301A1 (ko) |
JP (1) | JP2013128184A (ko) |
KR (1) | KR20130069478A (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5644400B2 (ja) * | 2010-11-15 | 2014-12-24 | セイコーエプソン株式会社 | 撮影装置、撮影方法および撮影プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
US20040212723A1 (en) * | 2003-04-22 | 2004-10-28 | Malcolm Lin | Image pickup apparatus and operating method |
JP2007159061A (ja) * | 2005-12-08 | 2007-06-21 | Sony Corp | 撮像ユニット及び撮像装置 |
JP2011044966A (ja) * | 2009-08-21 | 2011-03-03 | Samsung Electronics Co Ltd | 撮像装置および撮像方法 |
KR101170459B1 (ko) * | 2009-11-03 | 2012-08-07 | 삼성전자주식회사 | 촬영 장치 제어 방법 및 이를 이용한 촬영 장치 |
JP2012182657A (ja) * | 2011-03-01 | 2012-09-20 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
-
2011
- 2011-12-16 JP JP2011276468A patent/JP2013128184A/ja active Pending
-
2012
- 2012-12-14 KR KR1020120145991A patent/KR20130069478A/ko not_active Application Discontinuation
- 2012-12-17 US US13/716,809 patent/US20130155301A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2013128184A (ja) | 2013-06-27 |
US20130155301A1 (en) | 2013-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102137234B (zh) | 摄像装置 | |
JP4214926B2 (ja) | 電子スチルカメラ | |
US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
JP5219778B2 (ja) | 撮像装置及びその制御方法 | |
JP5889323B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4018705B2 (ja) | シェーディング補正装置及び補正方法並びに撮像装置 | |
JP5002412B2 (ja) | 撮像装置 | |
JP5513024B2 (ja) | 撮像装置、ズーム補正情報作成方法およびプログラム | |
JP5889324B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4764712B2 (ja) | ディジタル・カメラおよびその制御方法 | |
JP5199736B2 (ja) | 画像撮像装置 | |
JP2007214892A (ja) | 撮像装置 | |
JP2007336394A (ja) | 撮像装置及び画像合成方法 | |
CN110392203A (zh) | 摄像装置、记录介质和摄像方法 | |
JP2005269130A (ja) | 手振れ補正機能を有する撮像装置 | |
JP2008311711A (ja) | 撮像装置 | |
JP6108854B2 (ja) | 撮像装置及びその制御方法 | |
JP6604216B2 (ja) | 撮像装置 | |
KR20130069478A (ko) | 촬상 장치, 촬상 방법 및 기계로 읽을 수 있는 저장 매체 | |
JP7478006B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP2007282134A (ja) | 撮像装置 | |
JP5142807B2 (ja) | 撮像装置及びその制御方法 | |
WO2015182021A1 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
JP6604215B2 (ja) | 撮像装置 | |
JP2008227839A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |