KR20130138360A - 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램 - Google Patents

화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램 Download PDF

Info

Publication number
KR20130138360A
KR20130138360A KR1020137011525A KR20137011525A KR20130138360A KR 20130138360 A KR20130138360 A KR 20130138360A KR 1020137011525 A KR1020137011525 A KR 1020137011525A KR 20137011525 A KR20137011525 A KR 20137011525A KR 20130138360 A KR20130138360 A KR 20130138360A
Authority
KR
South Korea
Prior art keywords
pixel
sensitivity
pixel information
image
exposure
Prior art date
Application number
KR1020137011525A
Other languages
English (en)
Inventor
마사노리 가사이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130138360A publication Critical patent/KR20130138360A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

하나의 촬영 화상에 기초하여 넓은 다이내믹 레인지 화상을 생성하는 장치 및 방법을 제공한다. 화소부의 행 단위 등, 화소 영역 단위로 서로 다른 노광 시간으로 설정하는 노광 시간 제어를 실행하고, 다른 노광 시간으로 설정한 화소의 화소값인 복수의 서로 다른 화소 정보를 취득한다. 예를 들면 장시간 노광 화소로부터 고감도 화소 정보, 단시간 노광 화소로부터 저감도 화소 정보를 취득하고, 이들 서로 다른 감도의 화소 정보에 기초하여 출력 화상의 화소값을 산출한다. 예를 들면 고휘도 영역에서는, 감도 화소 정보가 포화값으로 될 가능성이 있으므로 저감도 화소 정보의 가중치를 크게 설정하고, 또한 저휘도 영역에서는 저감도 화소 정보의 SN비가 나쁘다고 추정되므로, 고감도 화소 정보의 가중치를 크게 설정하여 출력 화소값을 결정한다.

Description

화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PICKUP APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM}
본 발명은 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램에 관한 것이다. 특히, 다이내믹 레인지가 넓은 화상을 생성하는 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램에 관한 것이다.
비디오 카메라나 디지털 스틸 카메라 등에 이용되는 CCD 이미지 센서나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서와 같은 고체 촬상 소자는 입사광량에 따른 전하를 축적하고, 축적한 전하에 대응하는 전기 신호를 출력하는 광전 변환을 행한다. 그러나, 광전 변환 소자에서의 전하 축적량에는 상한이 있으며, 일정 이상의 광량을 받으면 축적 전하량이 포화 레벨에 도달하게 되어, 일정 이상 밝기의 피사체 영역은 포화된 휘도 레벨로 설정되는 소위 백화 상태가 발생해버린다.
이와 같은 현상을 방지하기 위해서, 외광의 변화 등에 따라서, 광전 변환 소자에서의 전하 축적 기간을 제어하여 노광 시간을 조정하고, 감도를 최적값으로 제어하는 등의 처리가 행해진다. 예를 들면, 밝은 피사체에 대해서는, 셔터를 고속으로 누름으로써 노광 시간을 단축하고 광전 변환 소자에서의 전하 축적 기간을 짧게 하여 축적 전하량이 포화 레벨에 도달하기 이전에 전기 신호를 출력시킨다. 이와 같은 처리에 의해 피사체에 따른 계조를 정확하게 재현한 화상의 출력이 가능하게 된다.
그러나, 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영에서는, 셔터를 고속으로 누르면, 어두운 부분에서 충분한 노광 시간이 취해지지 않기 때문에 S/N이 열화되어 화질이 떨어지게 된다. 이와 같이 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영 화상에서, 밝은 부분, 어두운 부분의 휘도 레벨을 정확하게 재현하기 위해서는, 이미지 센서 상에서의 입사광이 적은 화소에서는 긴 노광 시간으로서 높은 S/N을 실현하고, 입사광이 많은 화소에서는 포화를 회피하는 처리가 필요하게 된다.
이와 같은 처리를 실현하는 방법으로서, 연속적으로 노광 시간이 서로 다른 복수의 화상을 촬영하여 합성하는 방법이 알려져 있다. 즉, 장시간 노광 화상과 단시간 노광 화상을 연속적으로 개별로 촬영하여, 어두운 화상 영역에 대해서는 장시간 노광 화상을 이용하고, 장시간 노광 화상에서는 백화 상태로 되어버리는 밝은 화상 영역에서는 단시간 노광 화상을 이용하는 합성 처리에 의해, 하나의 화상을 생성하는 방법이다. 이와 같이, 복수의 서로 다른 노광 화상을 합성함으로써, 백화 상태가 없는 다이내믹 레인지가 넓은 화상을 얻을 수 있다.
예를 들면 특허문헌 1(일본 특허 공개 제2008-99158호 공보)은 복수의 서로 다른 노광량의 화상을 합성하여 넓은 다이내믹 레인지의 화상을 얻는 구성을 개시하고 있다. 도 1을 참조하여, 이 처리에 대하여 설명한다. 촬상 디바이스는, 예를 들면 동화상 촬영에서는, 비디오 레이트(30-60fps) 내에 2개의 서로 다른 노광 시간의 화상 데이터를 출력한다. 또한, 정지 화상 촬영에서도, 2개의 서로 다른 노광 시간의 화상 데이터를 생성하여 출력한다. 도 1은, 촬상 디바이스가 생성하는 2개의 서로 다른 노광 시간을 갖는 화상(장시간 노광 화상과, 단시간 노광 화상)의 특성에 대하여 설명한 도면이다. 횡축은 시간(t)이며, 종축은 고체 촬상 소자의 1개의 화소에 대응하는 광전 변환 소자를 구성하는 수광 포토다이오드(PD)에서의 축적 전하량(e)이다.
예를 들면, 수광 포토다이오드(PD)의 수광량이 많은, 즉 밝은 피사체에 대응하는 경우, 도 1에 도시한 고휘도 영역(11)으로 나타낸 바와 같이, 시간 경과에 수반하는 전하 축적량은 급격히 상승한다. 한편, 수광 포토다이오드(PD)의 수광량이 적은, 즉 어두운 피사체에 대응하는 경우, 도 1에 도시한 저휘도 영역(12)으로 나타낸 바와 같이, 시간 경과에 수반하는 전하 축적량은 완만하게 상승한다.
시간 t0∼t3이 장시간 노광 화상을 취득하기 위한 노광 시간 TL에 상당한다. 이 장시간의 노광 시간 TL로서도 저휘도 영역(12)으로 나타낸 라인은, 시간 t3에서 전하 축적량은 포화 레벨에 도달하지 않고(비포화점 Py), 이 전하 축적량(Sa)에 기초하여 얻어지는 전기 신호를 이용하여 결정하는 화소의 계조 레벨에 의해, 정확한 계조 표현을 얻을 수 있다.
그러나, 고휘도 영역(11)으로 나타낸 라인은, 시간 t3에 이르기 이전에, 이미 전하 축적량은 포화 레벨(포화점 Px)에 도달하는 것이 명백하다. 따라서, 이와 같은 고휘도 영역(11)은 장시간 노광 화상으로부터는 포화 레벨의 전기 신호에 대응하는 화소값밖에 얻어지지 않아, 결과적으로 백화 상태 화소로 되어버린다.
따라서, 이와 같은 고휘도 영역(11)에서는, 시간 t3에 이르기 전의 시간, 예를 들어 도면에 나타낸 시간 t1(전하 방전 개시점 P1)에서, 일단, 수광 포토다이오드(PD)의 축적 전하를 방전한다. 전하 방전은, 수광 포토다이오드(PD)에 축적된 모든 전하가 아니라, 포토다이오드(PD)에서 제어되는 중간 전압 유지 레벨까지로 한다. 이 전하 방전 처리의 후, 다시, 노광 시간 TS(t2∼t3)로 한 단시간 노광을 실행한다. 즉, 도면에 나타낸 단시간 노광 개시점 P2부터 단시간 노광 종료점 P3까지 기간의 단시간 노광을 행한다. 이 단시간 노광에 의해 전하 축적량(Sb)이 얻어지고, 이 전하 축적량(Sb)에 기초하여 얻어지는 전기 신호에 기초하여, 화소의 계조 레벨을 결정한다.
또한, 저휘도 영역(12)에서의 장시간 노광에 의해 얻어지는 전하 축적량(Sa)에 기초하는 전기 신호와, 고휘도 영역(251)에서의 단시간 노광에 의해 얻어지는 전하 축적량(Sb)에 기초하는 전기 신호에 기초하여 화소값을 결정할 때에는, 동일 시간 노광을 행한 경우의 추정 전하 축적량 또는 그 추정 전하 축적량에 대응하는 전기 신호 출력값을 산출하여, 산출한 결과에 기초하여 화소값 레벨을 결정한다.
이와 같이, 단시간 노광 화상과 장시간 노광 화상을 조합함으로써, 백화 상태가 없는 다이내믹 레인지가 넓은 화상을 얻을 수 있다.
또한, 특허문헌 2(일본 특허 공개 제2000-50151호 공보)는 특허문헌 1에 기재된 구성과 마찬가지로, 서로 다른 노광량의 복수 화상을 촬영하고, 그 합성 처리 시에, 서로 다른 노광량의 복수 화상을 비교하여 움직임이 있는 화소 영역을 특정하여 보정을 행하고, 합성에 수반하는 위색(僞色)의 발생을 억제하는 구성을 개시하고 있다.
그러나, 상기한 특허문헌 1, 2에 기재된 구성은, 모두 장시간 노광 화상과 단시간 노광 화상을 개별로 촬영하여 합성하는 등의 처리를 행하는 것이 필요해진다. 이 처리를 행하기 위해서, 적어도 화상 1매만큼의 데이터를 유지하는 프레임 메모리가 필요해져서, 비용 상승을 초래한다고 하는 문제가 있었다. 또한 화상 처리를 행하는 DSP(Digital Signal Processor)에서는, 서로 다른 노광 시간의 2개의 화상 데이터를 입력하여 처리를 행하는 것이 필요하게 된다. 결과적으로 고기능의 프로세서가 필요해져서, 이 점에 있어서도 카메라의 비용 상승을 초래한다고 하는 문제가 있었다.
또한, 적어도 2매의 화상 촬영을 실행해야만 하기 때문에, 촬영 시간과 처리 시간에 많은 시간이 필요해진다고 하는 문제가 있다. 또한 움직이는 피사체가 있는 경우에는 2매의 화상의 촬영 기간에 피사체의 움직임이 발생하면, 양호한 화상의 합성이 불가능하여 출력하는 합성 화상의 품질이 저하한다고 하는 문제도 있었다.
일본 특허 공개 제2008-99158호 공보 일본 특허 공개 제2000-50151호 공보
본 발명은 예를 들면 상술한 문제점을 감안하여 이루어진 것으로, 서로 다른 노광 시간의 화상을 개별로 촬영하지 않고, 1회의 촬영 화상을 이용하여 다이내믹 레인지가 넓은 화상의 생성을 가능하게 한 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
화소 또는 화소 영역 단위의 노광 시간 제어를 실행하는 제어부와,
상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력하는 화소부와,
상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출하는 화소 정보 합성부를 갖는 화상 처리 장치에 있다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 제어부는, 상기 화소부의 행 단위로 노광 시간 제어를 실행하고, 상기 화소부는, 복수의 서로 다른 행으로부터 서로 다른 노광 시간의 화소 정보를 출력하고, 상기 화소 정보 합성부는, 복수의 서로 다른 행으로부터 입력되는 복수의 화소 정보를 이용한 연산 처리에 의해 출력 화상의 1개의 화소의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소부는, 장시간 노광 영역으로부터 고감도 화소 정보를 출력하고, 단시간 노광 영역으로부터 저감도 화소 정보를 출력하고, 상기 화소 정보 합성부는, 상기 출력 화상의 화소값의 산출 처리에서, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보와, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보에 대하여 피사체 밝기에 따른 가중치를 설정한 가산 처리를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소 정보 합성부는, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보가 미리 정해진 임계값 이상인 경우, 상기 고감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리에 의해 출력 화상의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소 정보 합성부는, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보가 미리 정해진 임계값 미만인 경우, 상기 저감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리에 의해 출력 화상의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소 정보 합성부는, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보가 미리 정해진 임계값 이상인 경우, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리로부터 출력 화상의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 제어부는, 상기 화소부의 2행 단위로 장시간 노광 영역과 단시간 노광 영역을 설정한 노광 시간 제어를 실행하고, 상기 화소부는, 상기 장시간 노광 영역과 단시간 노광 영역의 각각으로부터 적어도 1개 이상의 화소 정보를 출력하고, 상기 화소 정보 합성부는, 상기 장시간 노광 영역으로부터 입력되는 고감도 화소 정보와, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보의 각각으로부터 입력되는 적어도 1개 이상의 화소 정보를 이용한 연산 처리에 의해 출력 화상의 1개의 화소의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 제어부는, 상기 화소부의 행 단위의 셔터 제어에 의해, 행 단위의 노광 시간 제어를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 제어부는, 상기 화소부의 색 단위의 셔터 제어에 의해, 색 단위의 노광 시간 제어를 실행한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화상 처리 장치는, 상기 화소부로부터 출력되는 장시간 노광 영역의 고감도 화소의 화소값에 상당하는 디지털값을 카운트하는 카운터와, 상기 카운터가 카운트하는 고감도 화소의 화소값이 미리 정해진 임계값 미만인 경우, 상기 고감도 화소의 화소값을 상기 출력 화상의 산출용 화소값으로서 선택 출력하고, 상기 카운터가 카운트하는 고감도 화소의 화소값이 미리 정해진 임계값 이상인 경우, 상기 고감도 화소와 동일 색의 단시간 노광 영역의 저감도 화소의 화소값을 상기 출력 화상의 산출용 화소값으로서 선택 출력하는 출력 선택부를 더 갖는다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소부는, 장시간 노광 영역으로부터 고감도 화소 정보를 출력하고, 단시간 노광 영역으로부터 저감도 화소 정보를 출력하고, 상기 장시간 노광과 단시간 노광 사이의 노광 시간인 중시간 노광 영역으로부터 중감도 화소 정보를 출력하고, 상기 화소 정보 합성부는, 상기 출력 화상의 화소값의 산출 처리에서, 상기 고감도 화소 정보와 저감도 화소 정보와 중감도 화소 정보에, 피사체 밝기에 따른 가중치를 설정하여 연산 처리를 실행하여 출력 화상의 화소값을 산출한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화상 처리 장치는, 상기 화소 정보 합성부가 생성한 출력 화상의 각 화소의 화소값의 비트 삭감 처리를 실행하는 계조 변환부를 더 갖는다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화상 처리 장치는, 상기 화소 정보 합성부가 생성한 출력 화상에 대한 신호 처리를 실행하는 신호 처리부를 더 갖는다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화상 처리 장치는, 상기 화소 정보 합성부가 생성한 출력 화상에 대한 부호화 처리를 실행하는 코덱을 더 갖는다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소부는, 3×3 화소 영역 이상의 영역으로부터 동일 색의 서로 다른 노광 시간의 화소 정보를 출력하는 구성이다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에서, 상기 화소부는, 베이어 배열 또는 RGBW 배열을 갖는다.
또한, 본 발명의 제2 측면은,
촬상부와,
청구항 1항 내지 16항 중 어느 한 항에 기재된 처리를 실행하는 화상 처리부를 갖는 촬상 장치에 있다.
또한, 본 발명의 제3 측면은,
화상 처리 장치에서 실행하는 화상 처리 방법으로서,
제어부가, 화소 또는 화소 영역 단위의 노광 시간 제어를 실행하는 제어 스텝과,
화소부가, 상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력하는 화소 정보 출력 스텝과,
화소 정보 합성부가, 상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출하는 화소 정보 합성 스텝을 실행하는 화상 처리 방법에 있다.
또한, 본 발명의 제4 측면은,
화상 처리 장치에서 화상 처리를 실행시키는 프로그램으로서,
제어부에, 화소 또는 화소 영역 단위의 노광 시간 제어를 실행시키는 제어 스텝과,
화소부에, 상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력시키는 화소 정보 출력 스텝과,
화소 정보 합성부에, 상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출시키는 화소 정보 합성 스텝을 실행시키는 프로그램에 있다.
또한, 본 발명의 프로그램은, 예를 들면 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여 컴퓨터 가독 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이와 같은 프로그램을 컴퓨터 가독 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한 보다 상세한 설명에 의해 명백해질 것이다. 또한, 본 명세서에서 시스템이란, 복수 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것으로는 한정되지 않는다.
본 발명의 일 실시예의 구성에 의하면, 1개의 촬영 화상에 기초하여 넓은 다이내믹 레인지 화상을 생성하는 장치 및 방법이 실현된다. 구체적으로는, 화소부의 행 단위 등, 화소 영역 단위로 서로 다른 노광 시간으로 설정하는 노광 시간 제어를 실행하고, 서로 다른 노광 시간으로 설정한 화소의 화소값인 복수의 서로 다른 화소 정보를 취득한다. 예를 들면 장시간 노광 화소로부터 고감도 화소 정보, 단시간 노광 화소로부터 저감도 화소 정보를 취득하고, 이들 서로 다른 감도의 화소 정보에 기초하여 출력 화상의 화소값을 산출한다. 예를 들면 고휘도 영역에서는, 감도 화소 정보가 포화값으로 될 가능성이 있으므로 저감도 화소 정보의 가중치를 크게 설정하고, 또한 저휘도 영역에서는 저감도 화소 정보의 SN비가 나쁘다고 추정되므로, 고감도 화소 정보의 가중치를 크게 설정하여 출력 화소값을 결정한다.
이들 처리에 의해, 1개의 촬영 화상에 기초한 넓은 다이내믹 레인지 화상의 생성이 실현된다.
도 1은 복수의 서로 다른 노광량의 화상을 합성하여 넓은 다이내믹 레인지의 화상을 얻는 처리에 대하여 설명한 도면.
도 2는 본 발명의 화상 처리 장치의 구성예를 나타낸 도면.
도 3은 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 구성과 처리에 대하여 설명한 도면.
도 4는 본 발명의 실시예 1에 따른 화상 처리 장치에서의 화소 정보 합성 처리의 구체예에 대하여 설명한 도면.
도 5는 고감도 화소와 저감도 화소의 밝기와 출력의 대응 관계와, 저감도 화소의 출력의 조정 처리로서의 게인 제어에 대하여 설명한 도면.
도 6은 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 화소부의 노광 시간 제어 처리예에 대하여 설명한 도면.
도 7은 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 화소 정보 합성부에서의 출력 화소의 결정 알고리즘의 일례에 대하여 설명한 도면.
도 8은 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 화소 정보 합성부에서의 출력 화소의 결정 알고리즘의 일례에 대하여 설명한 도면.
도 9는 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 화소 정보 합성부에서의 출력 화소의 결정 알고리즘의 일례에 대하여 설명한 도면.
도 10은 본 발명의 실시예 1에 따른 화상 처리 장치에서의 촬상 디바이스의 화소 정보 합성부에서의 출력 화소의 결정 알고리즘의 일례에 대하여 설명한 도면.
도 11은 본 발명의 실시예 2에 따른 화상 처리 장치에서의 촬상 디바이스의 구성과 처리에 대하여 설명한 도면.
도 12는 본 발명의 실시예 2에 따른 화상 처리 장치에서의 촬상 디바이스의 출력 선택부의 구성과 처리에 대하여 설명한 도면.
도 13은 본 발명의 실시예 2에 따른 화상 처리 장치의 촬상 디바이스에서 실행하는 화소 정보 합성 화상의 화소값 결정 시퀀스에 대하여 설명하는 플로우 차트를 나타낸 도면.
도 14는 본 발명의 실시예 3에 따른 화상 처리 장치에서의 촬상 디바이스의 구성과 처리에 대하여 설명한 도면.
도 15는 본 발명의 실시예 3에 따른 화상 처리 장치의 촬상 디바이스로 설정된 계조 변환부가 실행하는 처리의 구체예에 대하여 설명한 도면.
도 16은 본 발명의 실시예 4에 따른 화상 처리 장치에서의 촬상 디바이스의 구성과 처리에 대하여 설명한 도면.
도 17은 본 발명의 실시예 5에 따른 화상 처리 장치에서의 촬상 디바이스의 화소부의 구성과 노광 제어 처리에 대하여 설명한 도면.
도 18은 본 발명의 실시예 5에 따른 화상 처리 장치에서의 촬상 디바이스의 화소부의 노광 제어 처리의 구체예에 대하여 설명한 도면.
도 19는 본 발명의 실시예 6에 따른 화상 처리 장치에서의 촬상 디바이스의 화소부의 구성과 노광 제어 처리에 대하여 설명한 도면.
도 20은 본 발명의 실시예 7에 따른 화상 처리 장치에서의 촬상 디바이스의 구성과 화소 정보 합성 처리에 대하여 설명한 도면.
도 21은 본 발명의 실시예 8에 따른 화상 처리 장치에서의 촬상 디바이스의 구성에 대하여 설명한 도면.
이하, 도면을 참조하면서, 본 발명의 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램에 대하여 설명한다. 설명은 이하의 항목 순으로 행한다.
1. 화상 처리 장치의 전체 구성예에 대하여
2. 화상 처리 장치의 구체적 구성과 처리의 실시예에 대하여
(2-1. 실시예 1) 내지 (2-8. 실시예 8)
[1. 화상 처리 장치의 전체 구성예에 대하여]
우선, 본 발명의 화상 처리 장치의 전체 구성예에 대하여 도 2를 참조하여 설명한다.
도 2는, 본 발명의 화상 처리 장치의 일례인 촬상 장치의 구성을 나타낸 블록도이다. 광학 렌즈(101)를 통하여 입사되는 광은, 예를 들면 CMOS 이미지 센서 등에 의해 구성되는 촬상 디바이스(102)에 입사하고, 광전 변환에 의한 화상 데이터를 출력한다. 출력 화상 데이터는 신호 처리부(103)에 입력된다. 신호 처리부(103)는 예를 들면 화이트 밸런스(WB) 조정, 감마 보정 등, 일반적인 카메라에서의 신호 처리를 실행하여 출력 화상(120)을 생성한다. 출력 화상(120)은 기억부(도시생략)에 저장되거나 또는 표시부에 출력된다.
제어부(105)는 예를 들면 메모리(도시생략)에 저장된 프로그램에 따라서 각 부에 제어 신호를 출력하고, 각종 처리 제어를 행한다.
이하, 촬상 디바이스의 구성과 처리를 중심으로 하여 복수의 실시예에 대하여 설명한다.
[2. 화상 처리 장치의 구체적 구성과 처리의 실시예에 대하여]
(2-1. 실시예 1)
우선, 본 발명의 화상 처리 장치의 실시예 1에 따른 촬상 디바이스의 구성과 처리에 대하여 설명한다.
실시예 1의 촬상 디바이스(102)는 도 3에 도시한 바와 같이 화소부(201)와, 연산부(202)를 갖는다.
화소부(201)는 예를 들면 RGB 화소를 포함하여 이루어지는 베이어 배열의 화소 배열의 각 화소에서의 광전 변환에 의해, 노광 시간에 따른 전하 정보를 출력한다. 본 실시예 1의 구성에서, 화소부(201)는 제어부(105)의 제어(셔터 제어)에 의해, 화소 영역 단위(예를 들면 행(라인) 단위)로 서로 다른 노광 시간으로 설정된다. 장시간 노광이 이루어지는 행으로부터는 장시간 노광에 기초하는 축적 전하에 대응하는 고감도 화소 정보(251)가 출력된다. 또한, 단시간 노광이 이루어지는 행으로부터는 단시간 노광에 기초하는 축적 전하에 대응하는 저감도 화상 정보(252)를 출력한다. 노광 시간의 제어 구성의 구체예에 대해서는 후단에서 상세히 설명한다. 또한, 촬상 디바이스 내에 제어부를 설정하고, 촬상 디바이스에서의 처리 제어는, 촬상 디바이스 내의 제어부의 제어에 의해 실행하는 구성으로 하여도 된다.
연산부(202)는 화소부(201)로부터 출력되는 고감도 화소 정보(251)와, 저감도 화상 정보(252)를 입력하고, 이들 입력 정보에 기초하여 1개의 화상 정보를 생성하는 화소 정보 합성부(211)를 갖는다. 화소 정보 합성부(211)의 출력이 신호 처리부(103)에 입력된다. 신호 처리부(103)는 예를 들면 화이트 밸런스(WB) 조정, 감마 보정 등, 일반적인 카메라에서의 신호 처리를 실행하여 출력 화상(120)을 생성한다. 출력 화상(120)은 기억부(도시생략)에 저장되거나 또는 표시부에 출력된다.
도 4는, 본 발명의 실시예 1의 촬상 디바이스의 화소 정보 합성부에서 실행하는 합성 처리의 예를 나타낸 도면이다.
도 4에는,
(a) 화소부의 촬영 화상,
(b) 화소 정보 합성부의 합성 처리에 의해 생성되는 출력 화상
을 나타내었다.
또한, (a), (b) 모두 촬영 화상 또는 화소 정보 합성 화상의 일부 영역만을 나타낸 도면이다.
도 4의 (a)에 도시한 화소부의 촬영 화상은, 도 3의 촬상 디바이스(102)의 화소부(201)의 구성에 대응하는 도면이다. 본 예에서, 화소부(201)의 컬러 필터의 배열은 베이어 배열이며, R, Gb, Gr, B 화소가 규정된 배열에 따라서 설정된 구성을 갖는다.
도 3의 촬상 디바이스(102)의 연산부(202)의 화소 정보 합성부(211)는 도 4의 (a)에 도시한 화소부(201)의 복수의 화소 정보를 합성하여, 도 4의 (b)에 도시한 화소 정보 합성 화상을 생성하여 다음 단의 신호 처리부(103)에 출력한다.
도 4에는, 서로 다른 감도를 갖는 화소, 즉 2개의 고감도 화소와 2개의 저감도 화소의 총 4개의 화소로부터, 출력 화상의 1개의 화소의 화소값을 결정하는 처리예를 나타내었다.
즉, 본 실시예에서 화소 정보 합성부(211)는 화소부(201)에서 촬영되는 화상에 포함되는 4화소에 기초하여, 출력 화상의 1화소의 화소값을 결정한다. 이 처리에 의해, 화소부의 화소 수의 1/4인 화소 수의 출력 화상을 생성하여 출력한다.
도 4의 (b)에 도시한 화소 정보 합성부(211)가 생성하는 출력 화상의 좌측 상단의 화소 Gb(out)의 화소값은, 도 4의 (a)에 도시한 촬영 화상인 화소부(201)의 좌측 상단의 4개의 화소, 즉, Gb(0, 0), Gb(1, 0), Gb(0, 1), Gb(1, 1), 이들 4개의 화소의 화소값에 기초하여 산출된다.
도 4의 (a)의 화소부의 촬영 화상의 좌측에 도시한 바와 같이, 이 촬영 화상은 2행 단위로 고감도 화소 영역, 저감도 화소 영역이 교대로 설정된다.
고감도 화소 영역은 장시간 노광을 행하는 영역이며,
저감도 화소 영역은 단시간 노광을 행하는 영역이다.
본 실시예의 구성에서는, 이와 같이, 화소부(201)의 행 단위로 노광 시간 제어를 행하고, 2행 단위로 고감도 화소 영역과, 저감도 화소 영역을 교대로 설정한 화상을 촬영한다. 화소 정보 합성부(211)는 이들 고감도 화소 영역 중 화소의 화소값과, 저감도 영역 중 화소의 화소값을 입력하여 1개의 출력 화소의 화소값을 결정한다.
일례로서, 도 4의 (b)의 화소 정보 합성 화상의 좌측 상단의 화소 Gb(out)의 화소값의 산출예에 대하여 설명한다. 화소 정보 합성부(211)는 도 4의 (b)의 화소 정보 합성 화상의 좌측 상단의 화소 Gb(out)의 화소값을, 도 4의 (a)의 촬영 화상의 좌측 상단의 4개의 화소, 즉,
고감도 화소: Gb(0, 0), Gb(1, 0),
저감도 화소: Gb(0, 1), Gb(1, 1),
이들 2개의 고감도 화소와 2개의 저감도 화소의 화소값에 기초하여 산출한다.
화소 정보 합성부(211)는 마찬가지의 화소값 산출 처리를, 도 4의 (b)의 화소 정보 합성 화상의 모든 화소, 즉, Gb(out), Gr(out), B(out), R(out)에 대하여 실행한다. 즉, 이들 모든 출력 화상의 화소값을, 도 4의 (a)의 촬영 화상의 2개의 고감도 화소와 2개의 저감도 화소의 화소값을 이용하여 산출한다. 단, 1개의 출력 화소값을 산출할 때, 4개의 입력 화소의 화소값의 기여도(배분 비율)는 일정하지 않아, 예를 들면 피사체의 밝기에 의존하여 결정하는 등의 처리를 행한다. 이 처리에 대해서는 후단에서 설명한다.
또한, 도 4에 도시한 예에서는, 2행 단위로 고감도 화소 영역과, 저감도 화소 영역을 교대로 설정한 예를 나타내었지만, 이것은 일례이며, 화소 영역의 전환 단위는 2행 이외의 설정으로 하여도 된다.
화소 정보 합성부(211)의 화소값 산출 처리예에 대하여, 도 4의 (b)에 도시한 Gb(out)의 화소값 산출을 예로서 설명한다.
도 4의 (b)에 도시한 Gb(out)의 화소값은 예를 들면 이하의 수학식 1에 따라서 산출한다.
Figure pct00001
단,
Gb(x, y)는 촬영 화상의 (x, y) 좌표 위치에서의 화소값,
Gain: 감도비를 보상하는 게인값(기정값),
α, β, γ, ε: 입력 화소의 기여도를 설정하는 계수이며, α+β+γ+ε=1의 관계를 만족하는 계수이다.
이와 같이, 화소 정보 합성부(211)는 도 4의 (b)에 도시한 출력 화상의 화소 위치에 대응하는 위치의 입력 화상의 복수의 화소로부터, 적어도 고감도 화소와 저감도 화소를 포함하는 복수 화소의 화소값을 입력하고, 상기 수학식에 따라서 도 4의 (b)에 도시한 화소 정보 합성 화상의 각 화소값을 산출한다. 본 실시예에서는, 2개의 고감도 화소와 2개의 저감도 화소의 화소값을 입력하고, 상기 수학식에 따라서 도 4의 (b)에 도시한 화소 정보 합성 화상의 각 화소값을 산출한다.
Gb 이외의 Gr, R, B에 대해서도, 상기 수학식 1과 마찬가지의 화소값 산출 처리를 실행한다.
즉, 도 4의 (b)의 출력 화상의 Gr(out)의 화소값은, 화소 정보 합성 화상의 Gr(out)의 화소 위치에 대응하는 촬영 화상의 화소 영역에서의 고감도 화소 영역의 2개의 Gr 화소값과 저감도 화소 영역의 2개의 Gr 화소값을 이용하여 산출한다.
도 4의 (b)의 출력 화상의 R(out)의 화소값은, 화소 정보 합성 화상의 R(out)의 화소 위치에 대응하는 촬영 화상의 화소 영역에서의 고감도 화소 영역의 2개의 R 화소값과 저감도 화소 영역의 2개의 R 화소값을 이용하여 산출한다.
도 4의 (b)의 출력 화상의 B(out)의 화소값은, 화소 정보 합성 화상의 B(out)의 화소 위치에 대응하는 촬영 화상의 화소 영역에서의 고감도 화소 영역의 2개의 B 화소값과 저감도 화소 영역의 2개의 B 화소값을 이용하여 산출한다.
상기 수학식 1에서 설명한 바와 같이, 출력 화상의 화소값 산출 처리일 때에는, 입력 화상인 촬영 화상의 4개의 화소값에 대하여 계수 α, β, γ, ε에 따른 가중치 부여 평균을 이용한 처리를 행하고 있다.
수학식 중의 Gain은, 감도차를 보상하기 위한 계수이다.
예를 들면, 저감도 화소:고감도 화소의 감도비가 1:4인 경우, 저감도 화소로부터의 출력에는 4배의 게인을 부여하고, 상기 수학식 1에서,
Gain=4.0
으로 하여 설정한다.
이것에 의해, 밝기에 대한 선형성이 유지되어, 넓은 다이내믹 레인지를 실현할 수 있다.
도 5는, 게인 제어에 대하여 설명한 도면이다.
저감도 화소:고감도 화소의 감도비가 1:4인 경우, 도 5에 도시한 바와 같이, 저감도 화소로부터의 출력에 대하여 4배의 게인을 부여하고, 저감도 화소의 출력을 고감도 화소의 출력과 정합시킨다.
상기 수학식 1의 α, β, γ, ε은, 전술한 바와 같이 각 화소의 기여도를 설정하는 계수이다. 이 계수: α, β, γ, ε의 값은, 출력 화소의 색, 예를 들면 Gb, Gr, B, R 각각에 대하여 각각 다른 값을 이용하여도 된다. 또한, 피사체의 밝기에 따라서 변경하는 설정으로 하여도 된다.
예를 들면, 밝은 피사체에 대해서는, 고감도 화소의 화소값이 포화 상태, 즉 최대 화소값으로 되어, 정확한 화소값을 반영할 수 없는 경우가 있다. 이와 같은 경우에는,
예를 들면, 상기 수학식 1에서,
α=β=0으로 하여, 고감도 화소의 Gb(0, 0)과 Gb(1, 0)의 화소값을 적용하지 않고,
γ+ε=1로 하여, 저감도 화소의 Gb(0, 1)과 Gb(1, 1)의 화소값만을 적용하여 출력 화소값을 산출하는 처리를 실행한다.
즉, 상기한 수학식 1은
Gb(out)＝［Gb(0,0)×α］＋［Gb(1,0)×β］＋［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
　＝［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
로 하여,
출력 화소의 화소값: Gb(out)을 저감도 화소인 Gb(0, 1)과 Gb(1, 1)의 화소값만을 적용하여 산출한다.
이와 같은 처리에 의해, 포화된 고감도 화소의 화소값의 영향을 받지 않고, 저감도 화소의 유효 화소값 정보만을 이용하여 출력 화소값을 설정할 수 있다.
상기 수학식 1에서의 Gain의 값과, 예를 들면 피사체의 밝기에 따른 α, β, γ, ε의 설정값, 또는 이들 값의 산출 처리 알고리즘에 대해서는 미리 규정하고, 촬상 장치 내의 메모리에 저장해 두거나 또는 하드웨어로서 실장해 둔다. 화소 정보 합성부(211)는 예를 들면 메모리 저장값이나 하드웨어 또는 알고리즘을 적용하여 Gain값과, 계수: α, β, γ, ε을 취득 또는 산출하고, 상기 수학식 1에 따라서 출력값, 즉 화소 정보 합성 화상의 구성 화소의 화소값을 산출한다.
도 6은, 화소부(201)의 고감도 화소 영역과 저감도 화소 영역과의 노광 시간의 제어예에 대하여 설명한 도면이다.
도 6의 종축이 화소부의 화소행을 나타내며, 횡축이 경과 시간을 나타낸다. 종축의 행은, 최상부가 화소부의 제1행이며, 이하, 아래를 향하여 하위 행(행 번호=2, 3, 4, 5…)으로 된다.
횡축 시간은, 우측 방향으로 진행함에 따라서 시간이 경과되고 있는 것을 나타낸다.
도 6은, 저감도 화소:고감도 화소의 감도비가 1:4인 경우에서의, 고감도 화소 영역과 저감도 화소 영역의 노광 시간의 제어 처리예를 나타내었다.
본 예에서, 고감도 화소의 노광 시간은 저감도 화소의 노광 시간의 4배로 설정된다.
고감도 화소 영역과 저감도 화소 영역을 설정하기 위해서, 전자 셔터의 노광 시간을 행 단위로 제어하고 있다. 예를 들면, 도 3에 도시한 촬상 디바이스(102)의 화소부(201)로서 이용되는 CMOS 이미지 센서는, 행 단위의 전자 셔터 제어가 가능한 구성을 갖는다. 즉, 행 단위로 임의의 노광 시간을 설정 가능한 구성이다. 예를 들면 도 3에 도시한 제어부(105)로부터 촬상 디바이스(102)의 화소부(201)에 대하여 출력되는 제어 신호에 기초하여 행 단위의 노광 시간 제어가 실행된다.
도 6에 도시한 노광 시간 제어예는, 도 4의 (a)의 화소부의 촬영 화상의 좌측에 도시한 바와 같이 2행 단위로 고감도 화소 영역과 저감도 화소 영역을 교대로 설정한 구성에 대응하는 노광 시간 제어예이다.
1행째와 2행째가 장시간 노광 처리가 이루어지는 고감도 화소 영역으로 된다.
3행째와 4행째가 단시간 노광 처리가 이루어지는 저감도 화소 영역으로 된다.
이하의 5행째 이후에도 2행 단위로 장시간 노광 처리가 실행되는 고감도 화소 영역과, 단시간 노광 처리가 실행되는 저감도 화소 영역이 교대로 설정된다.
도 6에 도시한 바와 같이,
1행째와 2행째, 5행째와 6행째 등의 고감도 화소 영역에서는, 제1행의 셔터 개시(노광 개시) 시간 t1로부터, 순차적으로 상위 행으로부터 하위 행을 향하여 노광이 개시된다. 시간 t1로부터의 우측 하향 점선(S1)이 고감도 화소행(행 번호=1, 2, 5, 6, …)의 각 행의 셔터 개시(노광 개시) 위치를 나타낸다. 또한, 셔터의 개폐 동작은, 상위 행으로부터 순차적으로 하위 행을 향하여 실행되므로, 하위 행으로 진행함에 따라서 처리 시간이 지연된다. 이 영향에 의해 라인이 우측 하향으로 설정된다.
3행째와 4행째, 7행째와 8행째 등의 저감도 화소 영역에서는, 제3행의 셔터 개시(노광 개시) 시간 t2로부터, 순차적으로 상위 행으로부터 하위 행을 향하여 노광이 개시된다. 시간 t2로부터의 우측 하향 점선(S2)이 저감도 화소행(행 번호=3, 4, 7, 8, …)의 각 행의 셔터 개시(노광 개시) 위치를 나타낸다. 또한, 셔터의 개폐 동작은, 상위 행으로부터 순차적으로 하위 행을 향하여 실행되므로, 하위 행으로 진행함에 따라서 처리 시간이 지연된다. 이 영향에 의해 라인이 우측 하향으로 설정된다.
또한, 도 6의 우측 단부의 우측 하향 점선(E1)이 각 화소에 축적된 전하의 판독 개시(노광 종료) 위치를 나타낸다. 이 화소값 판독 처리는, 고감도 화소행(1, 2, 5, 6, …)과, 저감도 화소행(3, 4, 7, 8, …)의 구별 없이, 모든 행에 대하여 실행된다. 시간 t3으로부터, 제1행의 판독이 개시되고, 이하, 제2, 제3, 제4, 제5, 제6, 제7…의 각 행에 대하여, 시간 경과에 따라서 하위 행을 향하여 모든 행의 화소값(축적 전하)의 판독이 행해진다.
즉, 도 6에 도시한 셔터 제어는, 이하와 같은 제어로 된다.
고감도 화소행(1, 2, 5, 6, …)의 노광 개시 시간을 이르게(t1) 설정하고,
저감도 화소행(3, 4, 7, 8, …)의 노광 개시 시간을 늦게(t2) 설정한다.
또한, 판독(노광 종료)을 시간(t3)으로부터 상위 행으로부터 순차적으로 실행한다.
이 처리에 의해, 고감도 화소행(1, 2, 5, 6, …)의 노광 시간을, 저감도 화소행(3, 4, 7, 8, …)의 노광 시간보다 길게(본 예에서는 4배) 설정하여, 각 화소로부터 서로 다른 노광 시간에 기초한 축적 전하(화소값)를 취득하는 것을 가능하게 하였다.
도 4, 도 6을 참조하여 설명한 바와 같이 본 실시예에서는, 2행마다 노광 시간의 장단(長短)을 바꾸고 있다. 노광 시간이 긴 쪽이 고감도, 노광 시간이 짧은 쪽이 저감도로 된다.
도 7은, 도 6에 도시한 노광 제어의 결과로서 화소 정보 합성부(211)가 생성하는 합성 화상, 즉 화소 정보 합성 화상의 생성 처리의 예를 설명한 도면이다.
수학식 1이나 도 4를 참조하여 설명한 바와 같이, 도 3에 도시한 화소 정보 합성부(211)는 복수의 화소의 화소값을 적용하여, 도 4의 (b)에 도시한 출력 화상의 1개의 화소의 화소값을 결정한다.
화소 정보 합성부(211)는 합성 화상의 화소값 산출식(수학식 1)인, 즉,
Gb(out)＝［Gb(0,0)×α］＋［Gb(1,0)×β］＋［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
상기 수학식에 따라서, 촬영 화상의 복수의 화소값으로부터 1개의 화소값을 산출한다.
전술한 바와 같이, 상기 수학식 중의 계수: α, β, γ, ε은, 예를 들면 피사체의 밝기에 따라서 변경하는 설정으로 하여도 된다. 예를 들면, 밝은 피사체에 대해서는, 고감도 화소의 화소값이 포화 상태, 즉 최대 화소값으로 되어, 정확한 화소값을 반영할 수 없는 경우가 있다. 이와 같은 경우에는, α=β=0으로 하여, 고감도 화소의 Gb(0, 0)과 Gb(1, 0)의 화소값을 적용하지 않고, γ+ε=1로 하여, 저감도 화소의 Gb(0, 1)과 Gb(1, 1)의 화소값만을 적용하여 출력 화소값을 산출하는 처리를 실행한다.
도 7은, 이와 같은 처리 형태에 대하여, 3개의 처리 형태를 나타낸다. 즉,
(1) 밝은 피사체(고감도 화소가 포화값)
(2) 중간 정도의 피사체(고감도 화소가 포화값 이하이고, 고감도 화소, 저감도 화소 모두 미리 정해진 허용 SN비 이상)
(3) 어두운 피사체(고감도 화소가 포화값 이하이고, 저감도 화소가 미리 정해진 허용 SN비 미만)
이들 피사체의 촬영 영역에 대응하는 합성 처리의 형태를 설명한 도면이다.
각 처리 형태에 대하여 설명한다.
(1) 밝은 피사체(고감도 화소가 포화값)
도 7의 (1)에 도시한 바와 같이 피사체가 밝고, 고감도 화소가 포화값인 경우에는, 고감도 화소의 화소값은, 화소부의 각 화소에서 축적 가능한 최대 전하량에 대응하는 최대 화소값으로 되어, 정확한 화소값을 반영할 수 없는 상태에 있다.
이와 같은 경우에는, 고감도 화소의 화소값은, 화소 정보 합성 화상의 출력 화소의 화소값 산출에 적용하지 않는다. 이 도 7의 (1)에 도시한 예에서는, 전술한 수학식 1에서의 계수: α, β, γ, ε의 설정은 이하와 같은 설정으로 된다.
즉, α=β=0으로 하여, 고감도 화소의 Gb(0, 0)과 Gb(1, 0)의 화소값을 적용하지 않고, γ+ε=1로 하여, 저감도 화소의 Gb(0, 1)과 Gb(1, 1)의 화소값만을 적용하여 출력 화소값을 산출하는 처리를 실행한다.
즉, 예를 들면, 도 4에서의 Gb(out)의 산출 처리에서,
Gb(out)＝［Gb(0,0)×α］＋［Gb(1,0)×β］＋［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
　＝［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
상기한 바와 같이 고감도 화소의 화소값: Gb(0, 0), Gb(1, 0)을 이용하지 않고, 저감도 화소의 화소값: Gb(0, 1)Gb(1, 1)만을 적용하여 화소 정보 합성 화상의 출력 화소값을 산출한다.
도 7의 (1)에 도시한 예에서는,
α=β=0
γ+ε=1
상기 제약을 만족하는 범위에서 다양한 설정이 가능하다. 일례로서, 예를 들면,
γ=ε=0.5
이와 같은 설정으로 하여, 저감도 화소 2화소의 평균값을 화소 정보 합성 화상에서의 1개의 출력 화소의 화소값으로서 설정하여도 된다.
(2) 중간 정도의 피사체(고감도 화소가 포화값 이하이고, 고감도 화소, 저감도 화소 모두 미리 정해진 허용 SN비 이상)
도 7의 (2)에 도시한 바와 같이, 밝기가 중간 정도인 피사체, 즉, 고감도 화소가 포화값 이하이고, 고감도 화소, 저감도 화소 모두 미리 정해진 허용 SN비 이상인 경우에는 이하의 처리를 행한다.
고감도 화소, 저감도 화소 모두 정확한 화소값을 반영하고 있다고 판단할 수 있기 때문에, 어느 한쪽을 선택하여 이용하여 화소 정보 합성 화상의 화소값으로서 설정하여도 되고, 모두를 이용한 블렌드(blend) 처리를 실행하여 화소 정보 합성 화상의 화소값을 산출하여도 된다.
이 경우, 전술한 수학식 1에서의 계수: α, β, γ, ε의 설정은,
α+β+γ+ε=1
상기 제약을 만족하는 범위에서, 다양한 설정이 가능하다. 일례로서, 예를 들면,
α=β=γ=ε=0.25
이와 같은 설정으로 하여, 고감도 화소 2화소와 저감도 화소 2화소의 총 4화소의 평균값을 화소 정보 합성 화상에서의 1개의 출력 화소의 화소값으로서 설정하여도 된다.
(3) 어두운 피사체(고감도 화소가 포화값 이하이고, 저감도 화소가 미리 정해진 허용 SN비 미만)
도 7의 (3)에 도시한 바와 같이, 어두운 피사체, 즉, 고감도 화소가 포화값 이하이고, 저감도 화소가 미리 정해진 허용 SN비 미만인 경우에는 이하의 처리를 행한다.
저감도 화소의 화소값은, 미리 정한 허용 SN비 미만이고, 정확한 화소값을 반영하고 있다고 할 수 없다. 이와 같은 경우에는, 저감도 화소의 화소값을 적용하지 않고, 고감도 화소의 화소값에만 기초하여 화소 정보 합성 화상의 출력 화소값을 산출한다.
이 경우, 전술한 수학식 1에서의 계수: α, β, γ, ε의 설정은,
γ=ε=0
α+β=1
로 한다.
즉, 예를 들면 도 4에서의 Gb(out)의 산출 처리에서,
Gb(out)＝［Gb(0,0)×α］＋［Gb(1,0)×β］＋［Gb(0,1)×(Gain)×γ］＋［Gb(1,1)×(Gain)×ε]
　＝［Gb(0,0)×α］＋［Gb(1,0)×β]
상기한 바와 같이 저감도 화소의 화소값: Gb(0, 1)Gb(1, 1)을 이용하지 않고, 고감도 화소의 화소값: Gb(0, 0), Gb(1, 0)만을 적용하여 화소 정보 합성 화상의 출력 화소값을 산출한다.
γ=ε=0
α+β=1
상기 제약을 만족하는 범위에서, 다양한 설정이 가능하다. 일례로서, 예를 들면
α=β=0.5
이와 같은 설정으로 하여, 고감도 화소 2화소의 평균값을 화소 정보 합성 화상에서의 1개의 출력 화소의 화소값으로서 설정하여도 된다.
도 7을 참조하여 설명한 바와 같이, 화소 정보 합성부(211)는 생성하는 화소 정보 합성 화상의 각 화소값 결정을 할 때에, 피사체의 밝기에 의해, 고감도 화소와 저감도 화소 중 어느 한쪽을 사용할지, 양쪽 모두를 사용할지를 결정하게 된다. 밝은 경우에는, 고감도 화소가 포화(무효)하고 있는 경우가 있고, 이때에는, 저감도 화소의 정보를 그대로 사용하는 것이 바람직한데, 양쪽 화소 정보가 모두 유효한 경우에는 어느 쪽을 사용할지 SN비를 고려하여 정하는 것이 좋다.
화소 정보 합성부(211)의 처리의 구체예에 대하여, 도 8을 참조하여 설명한다.
도 8에 도시한 처리는, 화소 정보 합성부(211)가 실행하는 처리의 하나인 시퀀스예이다. 도 8에 도시한 예에서는, 이하의 시퀀스에서 화소 정보 합성 화상의 화소값 산출을 실행하고 있다.
우선, 스텝 S11에서, 세로 방향의 2화소에 기초한 중간적인 합성 화소값을 산출한다.
다음으로, 스텝 S12에서, 세로 방향의 2화소에 기초한 중간적인 합성 화소값끼리를 이용하여 최종적으로 출력하는 화상의 화소값 산출을 실행한다.
즉, 스텝 S11에서, 1개의 고감도 화소와 1개의 저감도 화소만을 선택하여 중간적인 합성 화소값을 산출하고, 그 후, 스텝 S12에서, 이들 중간적인 합성 화소값에 기초하여 최종적으로 출력하는 화상의 화소값 산출을 실행하고 있다.
이 시퀀스를 실행하는 경우의 각 화소의 기여도에 대응하는 가중치 계수의 설정예에 대하여 도 9를 참조하여 설명한다.
도 9의 (1)에는, 도 8의 스텝 S11에서의 세로 방향의 2화소에 기초한 중간적인 합성 화소값을 산출하는 처리에 적용하는 연산과 계수의 예를 나타내었다.
도 9의 (2)에는, 도 8의 스텝 S12에서의 2개의 중간적인 합성 화소값에 기초한 최종적인 화소값 산출 처리에 적용하는 연산예를 나타내었다.
도 9의 (1)에 도시한 바와 같이, 도 8의 스텝 S11에서의 세로 방향의 2화소에 기초한 중간적인 합성 화소값의 산출 처리로서 실행하는 연산은, 이하와 같은 연산으로 된다.
Figure pct00002
또한, 상기 수학식 2는 앞에서 도 4를 참조하여 설명한 화소 정보 합성 화상의 화소값: Gb(out)의 산출 처리에서, 도 8의 스텝 S11에서 실행하는 1개의 중간적인 합성 화소값 [Gb(1)]의 산출식을 나타내었다.
또 하나의 중간적인 합성 화소값 [Gb(2)]의 산출은, 이하의 수학식에 따라서 실행된다.
Figure pct00003
상기 수학식 2, 수학식 3에서,
Gb(x, y)는 촬영 화상의 (x, y) 좌표 위치에서의 화소값,
Gain: 감도비를 보상하는 게인값(기정값),
WH: 입력 화소의 고감도 화소에 대응하는 가중치 계수,
WL: 입력 화소의 저감도 화소에 대응하는 가중치 계수,
단, WH+WL=1의 관계를 만족하는 계수이다.
도 9의 (1)에는, 입력 화소의 고감도 화소에 대응하는 가중치 계수 WH와, 저감도 화소에 대응하는 가중치 계수 WL의 설정예를 나타내었다.
여기에서는, 저감도 화소의 화소값에 따라, 서로 다른 계수를 이용하는 설정으로 하였다.
구체적으로는, 예를 들면 도 9의 (1)에 도시한 이하의 설정의 계수를 이용한다.
또한, 각 화소의 화소값은 10bit(0∼1023)의 출력인 것으로 한다.
저감도 화소의 화소값(data)에 따라서 이하의 설정으로 한다.
(a) 0≤data<50인 경우: WH=1.0, WL=0
(b) 50≤data<100인 경우: WH=0.5, WL=0.5
(c) 100≤data<1023인 경우: WH=0, WL=1.0
이 계수 설정은, 이하와 같은 상정에 기초한 것이다.
(a) 0≤data<50인 경우
이와 같이, 저감도 화소의 화소값(data)이 작은 경우, 피사체의 밝기가 낮고, 저감도 화소의 화소값의 SN비가 낮다고 추정된다. 이 경우, 저감도 화소의 화소값(data)의 신뢰도가 낮다고 판단되고, 또한, 근방의 고감도 화소의 화소값이 포화하지 않았다고 추정된다. 이와 같은 경우에는, 저감도 화소의 화소값에 대한 승산 계수: WL을 0으로 하고, 고감도 화소의 화소값에 대한 승산 계수: WH를 1로 하여, 고감도 화소의 화소값에만 의존한 중간적인 합성 화소의 화소값 [Gb(1)]을 산출한다.
(b) 50≤data<100인 경우
이와 같이, 저감도 화소의 화소값(data)이 중간 정도인 경우, 피사체의 밝기가 중간 정도이고, 저감도 화소의 화소값의 SN비가 양호하다고 추정된다. 이 경우, 저감도 화소의 화소값(data)의 신뢰도가 높다고 판단되고, 또한, 근방의 고감도 화소의 화소값도 포화하지 않았다고 추정된다. 이와 같은 경우에는, 저감도 화소의 화소값과 고감도 화소의 화소값을 블렌드한다. 즉, 저감도 화소의 화소값에 대한 승산 계수: WL을 0.5로 하고, 고감도 화소의 화소값에 대한 승산 계수: WH도 0.5로 하여, 고감도 화소와 저감도 화소의 2개의 화소값의 평균에 의해 중간적인 합성 화소의 화소값 [Gb(1)]을 산출한다.
(c) 100≤data<1023인 경우
이와 같이, 저감도 화소의 화소값(data)이 높은 경우, 피사체의 밝기가 극히 밝다고 판단된다. 이 경우, 저감도 화소의 화소값의 SN비는 양호하며, 저감도 화소의 화소값(data)의 신뢰도가 높다고 판단되지만, 근방의 고감도 화소의 화소값은 포화하고 있을 가능성이 높다고 추정된다. 이와 같은 경우에는, 고감도 화소의 화소값에 대한 승산 계수: WH를 0으로 하고, 저감도 화소의 화소값에 대한 승산 계수: WL을 1로 하여, 저감도 화소의 화소값에만 의존한 중간적인 합성 화소의 화소값 [Gb(1)]을 산출한다.
이와 같이, 저감도 화소 정보를 이용하여 계수의 설정을 행할 수 있다. 또한, 여기서는 간편화를 위해 3종류로 하였지만, 저감도 화소 정보에 기초하여 가중치를 산출하는 함수를 미리 설정하여, 도 3에 도시한 화소 정보 합성부(211)가 화소부(201)로부터 입력되는 저감도 화소 정보(252)에 기초하여 미리 정해진 함수를 적용한 연산을 실행하여 계수 WH, WL을 산출하는 구성으로 하여도 된다.
도 9의 (2)에는. 도 8의 스텝 S12의 처리, 즉, 2개의 중간적인 합성 화소값에 기초한 최종적인 화소값 산출 처리에 적용하는 연산예를 나타내었다.
이 도 9의 (2)에 도시한 바와 같이, 도 8의 스텝 S12에서의 중간적인 합성 화소값에 기초한 최종적인 화소값 산출 처리로서 실행하는 연산은, 이하와 같은 연산으로 된다.
Figure pct00004
또한, 상기 수학식 4는 앞에서 도 4를 참조하여 설명한 화소 정보 합성 화상의 화소값: Gb(out)의 산출 처리에서, 도 8의 스텝 S12에서 실행하는 2개의 중간적인 합성 화소값에 기초한 최종적인 화소값 산출 처리의 산출식을 나타내었다.
여기서는 2개의 중간적인 합성 화소값의 단순 평균에 의해, 최종적인 화소값 산출을 행하는 예를 나타낸다.
또한, 도 8, 도 9를 참조하여 설명한 화소 정보 합성 화상의 화소값 산출 처리예는 일례이며, 예를 들면 가중치 계수의 설정시에 가산에 의한 무게 중심의 어긋남을 보상하는 계수를 설정하는 등, 그 밖의 다양한 처리가 가능하다.
또한, 예를 들면 도 2를 참조하여 설명한 R, Gr, Gb, B의 화소를 포함하여 이루어지는 베이어 배열 등의 화소 구성을 갖는 경우, 화소 정보 합성 화상의 각 화소의 산출에 적용하는 가중치 계수, 예를 들면 WH, WL을 개별로 산출하여도 되지만, 선행 처리한 근방 화소의 산출이 끝난 가중치의 값을 이용하는 구성으로 하여도 된다.
이 산출이 끝난 가중치 계수의 이용예에 대하여 도 10을 참조하여 설명한다.
도 10에 도시한 예는, 화소 정보 합성부에서 선행하여 출력 화상의 Gb 화소의 산출이 실행되고, 그 후에 B 화소의 산출을 행하는 경우의 처리예에 대하여 설명한 도면이다.
도 10에서, 중간적인 합성 화소값 [Gb(1)], [Gb(2)]의 산출은, 앞에서, 도 9의 (1)을 참조하여 설명한 계수 설정에 따라, 이하의 식에 따라서 실행된다.
출력 [Gb(1)]=[Gb(0, 0)×WH1+[Gb(0, 1)×(Gain)×WL1]
출력 [Gb(2)]=[Gb(1, 0)×WH2+[Gb(1, 1)×(Gain)×WL2]
출력 [Gb(1)]의 산출식으로 표현되는 계수, WH1, WL1은, 도 9의 (1)을 참조하여 설명한 계수의 설정 형태에 따라서 설정된 계수이다.
출력 [Gb(2)]의 산출식으로 표현되는 계수, WH2, WL2도, 도 9의 (1)을 참조하여 설명한 계수의 설정 형태에 따라서 설정된 계수이다.
이들 계수가 이미 산출되어 있는 경우, 화소 정보 합성 화상에서의 B 화소의 산출에 이용하는 계수, 즉, 도 10에 도시한 화소 B(p)와, 화소 B(q)에 승산하는 가중치 계수를, 상기한 [Gb(1)]의 산출식에 이용한 계수, WH1, WL1과, [Gb(2)]의 산출식에 이용한 계수, WH2, WL2를 이용하여 산출하는 구성으로 하여도 된다.
예를 들면, 도 8의 스텝 S11에 대응하는 처리로서, B의 중간적인 합성 화소값 B(1)의 산출식은, 이하의 산출식으로 된다.
출력 [B(1)]=[B(p)×WHb+[B(q)×(Gain)×WLb]
이와 같은 산출식으로 된다.
이 식에서 이용하는 계수 WHb, WLb를 예를 들면 이하와 같이 하여 산출한다.
WHb=(WH1+WH2)/2
WLb=(WL1+WL2)/2
이와 같이, B의 가중치 부여 계수를, Gb의 계수에 기초하여 산출하는 구성으로 하여도 된다.
가중치 계수를, 출력 화상의 각 화소의 색에 따라 크게 변화시키지 않고 안정화시키는 처리는, 결과적으로, 출력 화상의 각 화소의 색에 따라 고감도, 저감도 중 어느 쪽의 화소 정보의 기여도를 높게 할지를 색에 따라서 크게 변화시키지 않고 안정화시키게 된다. 이것은 출력 화상에서의 화소 영역의 노광 시간을 균일화하여 안정화시키는 것으로 이어져서, 결과적으로 촬영하고 있는 물체가 움직인 경우 등, 노광 기간의 어긋남에 의한 위색의 발생을 방지하는 것에 공헌한다.
(2-2. 실시예 2)
다음으로, 본 발명의 실시예 2로서, AD 변환 회로에서 복수의 화소로부터 하나의 화소를 선택하고, 선택 화소에 기초하여 출력 화상의 화소값의 설정을 행하는 구성을 갖는 촬상 디바이스의 구성과 처리예에 대하여 설명한다.
도 11은, 본 발명의 실시예 2에 따른 촬상 디바이스(300)의 구성예를 나타낸 도면이다. 촬상 디바이스(300)는 도면에 나타낸 바와 같이 화소부(301), 출력 선택부(302), 연산부(303)를 갖는다. 출력 선택부(302)는 도 12에 도시한 바와 같이, 화소부(301)의 각 열로부터의 출력 화소에 대한 개별의 출력 선택부(302a, 302b…)로서 구성되어 있으며, 각 출력 선택부는 비교기(321), 카운터(322), 판정부(323)를 갖는 구성으로 되어 있다. 연산부(303)는 화소 정보 합성부(311)를 갖는다.
또한, 화상 처리 장치(촬상 장치)의 전체 구성은, 실시예 1과 마찬가지로, 앞에서 도 2를 참조하여 설명한 구성을 갖는다. 도 11에는 도시되어 있지 않지만, 화소부(301), 출력 선택부(302), 연산부(303)에는, 도 2에 도시한 제어부(105)로부터의 제어 신호가 입력되고, 각종 제어가 실행된다.
화소부(301)의 구성과 처리는, 실시예 1과 마찬가지이며,
장시간 노광이 이루어지는 고감도 화소행과, 단시간 노광이 이루어지는 저감도 화소행이 2행 단위로 설정된다.
노광 처리는, 실시예 1과 마찬가지로, 앞에서 도 6을 참조하여 설명한 바와 마찬가지의 셔터 제어에 의해 행해지고, 2행 단위로 장시간 노광이 이루어지는 고감도 화소행과, 단시간 노광이 이루어지는 저감도 화소행이 설정된다.
단, 본 처리예에서는, 노광 후의 축적 전하의 판독 시퀀스가, 앞의 실시예 1과는 다르다.
앞의 실시예 1에서는, 도 6을 참조하여 설명한 바와 같이, 제1행으로부터, 2, 3, 4, 5…의 각 행에 대하여, 위에서부터 순서대로 판독을 행하고 있었다.
이에 반하여, 실시예 2에서는, 도 11에 도시한 바와 같이, 판독 순서가 이하와 같은 설정으로 된다.
제1행(고감도 화소행),
제3행(저감도 화소행),
제2행(고감도 화소행),
제4행(저감도 화소행),
제5행(고감도 화소행),
제7행(저감도 화소행),
제6행(고감도 화소행)
…
상기한 바와 같이,
고감도 화소행과, 저감도 화소행을 교대로 위에서부터 판독하는 처리를 실행한다.
이와 같이 하여 판독되는 화소값(축적 전하)은 출력 선택부(302)의 비교기(321)에 순차적으로 출력된다. 비교기(321)에는, 각 열 각각에서, 동일한 색의 고감도 화소값과 저감도 화소값이 순차적으로 입력된다.
예를 들면, 좌측 단부의 열(제1열)에서는,
우선, 고감도 화소행인 제1행의 [Gb(0, 0)]이 입력되고, 이어서, 저감도 화소행인 제3행이 동일한 색의 [Gb(0, 1)]이 입력된다.
마찬가지로, 제2열에서는, 고감도 화소행인 제1행의 [B]가 입력되고, 이어서, 저감도 화소행인 제3행이 동일한 색의 [B]가 입력된다.
이와 같이, 비교기(321)에는, 각 열 각각에서, 동일한 색의 화소값에 대하여, 먼저 고감도 화소값이 입력되고, 그 후에 저감도 화소값이 입력된다.
비교기(321)는 각 화소로부터의 출력 전하량에 기초하는 디지털 데이터를 생성하여 카운터(322)에 출력한다. 본 실시예에서는, 각 화소에 대하여 10bit(0∼1032)의 디지털 화소값을 출력 가능한 설정으로 하여 설명한다.
비교기(321)는 각 화소에 대하여,
화소값=0∼1023
이 범위의 디지털 데이터를 각 화소로부터의 출력 전하량에 따라서 설정하여 카운터(322)에 출력한다.
비교기(321)는 우선 고감도 화소의 화소값을 나타내는 디지털 데이터를 생성하여 카운터(322)에 출력하고, 그 후, 동일한 색의 저감도 화소의 화소값을 나타내는 디지털 데이터를 카운터(322)에 출력한다.
카운터(322)는 우선, 선행하여 비교기(321)로부터 입력되는 고감도 화소의 디지털값을 카운트한다.
판정부(323)는 선행하여 비교기(321)로부터 입력되는 고감도 화소의 디지털값이 10bit(0∼1032)의 절반값인 512 이상으로 되었는지 여부를 판정한다. 고감도 화소의 디지털값이 512 이상인 경우, 고감도 화소 정보, 즉 고감도 화소의 화소값을 나타내는 디지털 데이터를 파기(초기화)한다.
계속해서, 저감도 화소가 판독되어, 저감도 화소의 화소 정보가 카운터(322)에 디지털값으로서 입력된다. 그 후, 이 디지털값을 출력한다.
한편, 고감도 화소의 디지털값이 512 미만인 경우에는, 카운터(322)는 고감도 화소 정보를 그대로 유지하고, 저감도 화소의 정보로 덮어 쓰이지 않도록 한다.
이 처리는, 고감도 화소의 디지털값이 512 이상인 경우, 고감도 화소가 포화하고 있을 가능성이 있으며, 또한, 저감도 화소 정보의 SN비도 양호한 것이라는 판단에 따라, 고감도 화소 정보를 파기하여, 저감도 화소 정보를 카운터(322)에 입력하는 것이다.
한편, 고감도 화소의 디지털값이 512 미만인 경우, 고감도 화소가 포화하고 있을 가능성은 없으며, 또한, 저감도 화소 정보의 SN비가 나쁘다고 하는 판단에 따라, 고감도 화소 정보를 카운터(322)에 그대로 유지시킨다.
또한, 상기 설명에서는, 어느 쪽을 선택할 지의 판정 임계값을 절반의 화소값으로서 설명하였지만, 임계값의 값은, 촬상 소자의 성능 등에 의해 정해지게 된다.
이와 같이, AD 변환 회로부를 구성하는 출력 선택부로서의 비교기(321), 카운터(322), 판정부(323)에서 화소 정보의 선택을 행하고, 그 후, 전술한 실시예 1과 마찬가지로, 가로 방향의 화소 정보를 합성(도 8의 스텝 S12의 처리)하고, 하나의 화상 정보로서 출력한다. 또한, 세로 방향의 선택까지를 촬상 소자 내에서 행하고, 가로 방향을 촬상 소자의 외부의 LSI에서 처리하여도 된다.
도 13에 나타낸 플로우 차트는, 도 11에 도시한 본 발명의 실시예 2에 따른 촬상 디바이스(300)에서의 화소값 선택 처리의 시퀀스를 설명하는 플로우 차트이다.
우선, 스텝 S101에서, 비교기(321)가, 선행하여 화소부(301)로부터 판독되는 고감도 화소의 화소값의 디지털 데이터를 생성한다. 또한, 도 13에 나타낸 플로우 차트에서는 Gb의 화소의 판독 처리예로서 설명하고 있다.
스텝 S102에서, 카운터(322)가 비교기(321)로부터 입력되는 고감도 화소의 화소값의 디지털 데이터를 카운트하여, 10bit(0∼1023)의 절반인 512 미만인지 여부를 판정한다.
고감도 화소의 화소값의 디지털 데이터가 512 미만인 경우에는, 스텝 S103으로 진행하고, 한편, 512 이상인 경우에는, 스텝 S105로 진행한다.
고감도 화소의 화소값의 디지털 데이터가 512 미만인 경우에는, 스텝 S103으로 진행하고, 고감도 화소의 화소값의 디지털 데이터를 유지하여, 다음 입력값인 동일한 색의 저감도 화소의 화소값에 대응하는 데이터로 덮어 쓰이지 않도록 한다.
다음으로, 스텝 S104로 진행하고, 고감도 화소의 화소값의 디지털값을 출력한다.
한편, 스텝 S102에서, 고감도 화소의 화소값의 디지털 데이터가 512 이상이라고 판정된 경우에는, 스텝 S105로 진행하고, 고감도 화소의 화소값 대응 데이터를 파기하여, 다음 입력값인 동일한 색의 저감도 화소의 화소값에 대응하는 디지털값을 유지한다.
다음으로, 스텝 S106으로 진행하여, 저감도 화소의 화소값의 디지털값을 출력한다.
이와 같이, 본 실시예에서는, 화소부로부터, 동일한 색의 고감도 화소의 화소값과 저감도 화소의 화소값을 계속하여 판독하고, 선행하여 판독하는 고감도 화소의 화소값이 규정의 임계값(예를 들면 최대값의 절반의 값) 미만이면 고감도 화소의 화소값을 선택 출력하고, 고감도 화소의 화소값이 규정의 임계값(예를 들면 최대값의 절반의 값) 이상이면, 저감도 화소의 화소값을 선택 출력한다.
이 처리에 의해, 밝은 화소 영역에서는 저감도 화소의 화소값을 선택 출력하고, 비교적 어두운 영역에서는 고감도 화소의 화소값을 선택 출력하는 구성이 실현되고, 포화 화소값이나 SN비가 나쁜 화소값이 기각되어, 정밀도가 높은 화소값을 선택하여 출력 화소의 화소값을 결정하는 것이 가능하게 된다.
(2-3. 실시예 3)
다음으로, 본 발명의 실시예 3으로서, 화소 정보 합성부의 후에, 계조 변환부를 구성한 실시예에 대하여 도 14를 참조하여 설명한다.
도 14는, 실시예 3에 따른 촬상 디바이스(400)의 구성을 나타낸 도면이다. 이 도 14에 도시한 구성은, 앞에서 실시예 1로서 설명한 도 3에 도시한 촬상 디바이스의 후에 계조 변환부(412)를 형성한 구성이다. 그 밖의 구성은 도 3에 도시한 실시예 1의 구성과 동일하다. 또한, 화상 처리 장치(촬상 장치)의 전체 구성은, 실시예 1과 마찬가지로, 앞에서 도 2를 참조하여 설명한 구성을 갖는다.
도 14에 도시한 촬상 디바이스(400)에서, 화소부(401)는 예를 들면 앞의 실시예 1에서 도 4를 참조하여 설명한 RGbGrB 화소를 포함하여 이루어지는 베이어 배열을 갖고, 제어부(105)의 제어하에, 2행 단위로 장시간 노광과 단시간 노광이 실행된다. 노광 시퀀스는, 실시예 1에서 설명한 도 6에 도시한 시퀀스에 따라서 행해진다.
화소부(401)는 제어부(105)의 제어(셔터 제어)에 의해, 화소 영역 단위(예를 들면 행(라인) 단위)로 서로 다른 노광 시간으로 설정되고, 장시간 노광이 이루어지는 행으로부터는 장시간 노광에 기초하는 축적 전하인 고감도 화소 정보(451)가 출력된다. 또한, 단시간 노광이 이루어지는 행으로부터는 단시간 노광에 기초하는 축적 전하인 저감도 화상 정보(452)를 출력한다.
연산부(402)는 화소부(401)로부터 출력되는 고감도 화소 정보(451)와, 저감도 화상 정보(452)를 입력하고, 이들 입력 정보에 기초하여 화소 정보 합성부(411)에서 1개의 화소 정보 합성 화상을 생성한다. 이 합성 처리는, 앞의 실시예 1에서 도 4나, 도 7 내지 도 10을 참조하여 설명한 합성 처리와 마찬가지의 처리로서 행해진다. 즉 동일 색의 고감도 화소 정보와 저감도 화소 정보를 입력하고, 전술한 수학식 1, 또는 수학식 2 내지 수학식 4를 적용하여 화소 정보 합성 화상의 화소값 산출을 실행하여 화소 정보 합성 화상을 생성한다.
본 실시예 3에서는, 이 화소 정보 합성부(411)의 후에, 계조 변환부(412)를 형성하였다.
계조 변환부(412)는 화소 정보 합성부(411)의 생성한 화소 정보 합성 화상(예를 들면 도 4의 (b))의 각 화소의 화소값의 계조를 변환한다. 구체적으로는, 예를 들면 화소 정보 합성부(411)가 생성한 화소 정보 합성 화상의 각 화소의 화소값이 14bit(0∼16383)인 계조를 갖는 경우, 각 화소의 화소값을 10bit(0∼1023)인 계조로 변환하여 출력하는 등의 처리를 행한다. 즉, 각 화소의 비트 수를 삭감한 화상을 생성하여 출력한다.
장시간 노광 화상과 단시간 노광 화상의 합성에 의해 생성하는 넓은 다이내믹 레인지 화상은, 각 화소의 정보인 비트 수가 증가하는 경향이 있다. 예를 들면, 통상 상태가 10bit인 촬상 소자에서, 내부에서 16배의 감도비를 갖게 하고, 16배의 넓은 다이내믹 레인지 화상을 생성한 경우, 그 비트 수는 14bit로 된다. 이와 같은 비트 수가 증가한 화상은, 후단의 신호 처리부인 DSP가 처리할 수 없는 경우가 있다. 이와 같은 사태를 방지하기 위해서, 계조 변환부(412)는 후단의 신호 처리부인 DSP가 처리할 수 있는 비트 레벨까지 각 화소의 비트 수를 압축하는 계조 변환 처리를 실행한다.
계조 변환부(412)가 실행하는 비트 수 압축 처리예에 대하여 도 15를 참조하여 설명한다. 도 15는, 횡축이 계조 변환부(412)의 입력 화상인 각 화소의 계조 [14bit(0∼16383)]을 나타내며, 종축이 계조 변환 후의 출력 화상에서의 각 화소의 계조 [10bit(0∼1023)]을 나타내었다. 이와 같이, 계조 변환부(412)는 화소 정보 합성부(411)가 출력하는 다계조의 화소값을 보다 적은 비트 수로 삭감하는 처리를 행한다.
이 계조 변환 후의 화상 데이터, 예를 들면 각 화소가 10bit 데이터를 포함하여 이루어지는 화상을 다음 단의 신호 처리부(103: DSP)에 제공함으로써, 신호 처리부(103: DSP)에서 문제없이 처리가 가능하게 된다.
또한, 계조 변환부(412)가 실행하는 비트 수 압축 처리는, 예를 들면 함수를 이용하여 비트 수를 저감한다. 이 함수는 처음부터 결정된 것이어도 되고, 화상에 따른 함수를 외부로부터 입력 또는 내부에서 산출하여도 된다.
(2-4. 실시예 4)
다음으로, 본 발명의 실시예 4로서, 실시예 3에서 설명한 계조 변환부의 후에, 디모자이크나 노이즈 리덕션(NR) 등의 카메라 신호 처리를 실행하는 신호 처리부나, 화상 압축(JPEG 등) 처리를 실행하는 코덱을 구비한 실시예에 대하여 도 16을 참조하여 설명한다.
도 16은, 실시예 4에 따른 촬상 디바이스(500)의 구성을 나타낸 도면이다. 이 도 16에 도시한 구성은, 앞에서 실시예 1로서 설명한 도 3에 도시한 촬상 디바이스의 후에 디모자이크나 노이즈 리덕션(NR) 등의 카메라 신호 처리를 실행하는 신호 처리부(513)와, 화상 압축(JPEG 등) 처리를 실행하는 코덱(514)을 구비한 구성이다. 또한, 화상 처리 장치(촬상 장치)의 전체 구성은, 실시예 1과 마찬가지로, 앞에서 도 2를 참조하여 설명한 구성, 또는 도 2의 구성으로부터 신호 처리부(103)를 생략한 구성을 갖는다.
도 2의 구성의 신호 처리부(103)에서 실행하는 처리를, 도 16에서의 신호 처리부(513)에서 모두 실행하는 경우에는, 후단의 신호 처리부(103)를 생략할 수 있다. 각각의 신호 처리부에서 서로 다른 처리를 실행하는 경우에는, 2개의 신호 처리부를 구비한 구성으로 하여도 된다.
도 16에 도시한 촬상 디바이스(500)에서, 화소부(501)는 예를 들면 앞의 실시예 1에서 도 4를 참조하여 설명한 RGbGrB 화소를 포함하여 이루어지는 베이어 배열을 갖고, 제어부(520)의 제어하에, 2행 단위로 장시간 노광과 단시간 노광이 실행된다. 노광 시퀀스는, 실시예 1에서 설명한 도 6에 도시한 시퀀스에 따라서 행해진다. 본 실시예에서는 제어부(520)는 촬상 디바이스 내에 설정된 예로서 나타내었다.
화소부(501)는 제어부(520)의 제어(셔터 제어)에 의해, 화소 영역 단위(예를 들면 행(라인) 단위)로 서로 다른 노광 시간으로 설정되어, 장시간 노광이 이루어지는 행으로부터는 장시간 노광에 기초하는 축적 전하인 고감도 화소 정보(551)가 출력된다. 또한, 단시간 노광이 이루어지는 행으로부터는 단시간 노광에 기초하는 축적 전하인 저감도 화상 정보(552)를 출력한다.
연산부(502)는 화소부(501)로부터 출력되는 고감도 화소 정보(551)와, 저감도 화상 정보(552)를 입력하고, 이들 입력 정보에 기초하여 화소 정보 합성부(511)에서 1개의 화소 정보 합성 화상을 생성한다. 이 합성 처리는, 앞의 실시예 1에서 도 4나, 도 7 내지 도 10을 참조하여 설명한 합성 처리와 마찬가지의 처리로서 행해진다. 즉 동일 색의 고감도 화소 정보와 저감도 화소 정보를 입력하고, 전술한 수학식 1, 또는 수학식 2 내지 수학식 4를 적용하여 화소 정보 합성 화상의 화소값 산출을 실행하여 화소 정보 합성 화상을 생성한다.
본 실시예 4에서는, 이 화소 정보 합성부(511)의 후에, 실시예 3에서 설명한 계조 변환부(512)와, 디모자이크나 노이즈 리덕션(NR) 등의 카메라 신호 처리를 실행하는 신호 처리부(513)와, 화상 압축(JPEG 등) 처리를 실행하는 코덱(514)을 더 구비하였다. 이와 같은 기능을 탑재함으로써, 촬상 소자의 후단의 신호 처리부를 생략 또는 간이화할 수 있다.
(2-5. 실시예 5)
다음으로, 본 발명의 실시예 5로서, 촬상 디바이스에서의 화소부의 노광 제어의 새로운 실시예에 대하여 설명한다.
전술한 실시예 1에서는, 도 4를 참조하여 설명한 바와 같이, 화소부의 2행 단위로 장시간 노광 처리를 실행하는 고감도 화소 영역과, 단시간 노광 처리를 실행하는 저감도 화소 영역을 설정하는 구성으로 하였다.
즉, 각 행은 장시간 노광 또는 단시간 노광 중 어느 한쪽만의 노광 처리를 고정적으로 실행하는 설정으로 되어 있었다.
본 실시예 5는, 이와 같은 행 단위로 고정된 노광 시간을 설정하는 것이 아니라, 제어 신호에 기초하여, 각 행의 색 신호(R, Gr, Gb, B) 단위로 장시간 노광 처리 또는 단시간 노광 처리 중 어느 하나로 설정하는 것을 가능한 구성으로 한 실시예이다.
도 17에, 본 실시예에 따른 촬상 디바이스의 화소부의 구성예를 나타낸다.
도 17에 도시한 바와 같이, 화소부의 각 구성 화소(R, Gr, Gb, B)의 각각에는, 2개의 제어 라인이 접속되어 있다. 제어 신호 A와 제어 신호 B의 각 라인이다.
이들 제어 신호는 제어부로부터 입력되는 제어 신호이며, 도 17에 도시한 바와 같이,
제1, 3, 5, …의 홀수 행에서는,
제어 신호 A1, A3, A5…가 Gb 화소에 접속되고,
제어 신호 B1, B3, B5…가 B 화소에 접속되어 있다.
또한,
제2, 4, 6, …의 짝수 행에서는,
제어 신호 A2, A4, A6…이 R 화소에 접속되고,
제어 신호 B2, B4, B6…이 Gr 화소에 접속되어 있다.
이와 같이, 각 제어 라인이 하나의 색만의 제어 신호로서 이용되는 구성으로 되어 있다.
또한, 이와 같은 색 대응의 제어 신호 접속 구성에 대해서는, 예를 들면 비특허문헌 [ISSCC 2006 Dig. tech. Papers, pp.492-493(2)]에 기재가 있으며, 이 기재 구성을 이용함으로써 각 화소에 대한 제어 신호에 의한 제어가 가능하다.
본 실시예 5에서는, 각 색 대응의 제어 신호에 의해, 각 색 대응의 노광 시간 제어를 실행한다.
도 17에 도시한 제어 신호 A1∼An, B1∼Bn 중 어느 것도, 제어부(105: 도 3을 참조)에서 임의의 제어 신호의 설정이 가능하여, 다양한 노광 시간의 설정이 가능하게 된다.
구체적으로는,
(1) 장시간 노광 제어를 위한 노광 개시와 노광 종료(판독 개시)의 타이밍 제어 신호,
(2) 단시간 노광 제어를 위한 노광 개시와 노광 종료(판독 개시)의 타이밍 제어 신호,
이들 신호 중 어느 하나를 제어 신호 A1∼An, B1∼Bn으로 설정하는 것이 가능하다.
또한, 장시간 노광과 단시간 노광의 2개의 노광 시간의 설정에 한하지 않고 색 단위로 노광 시간을 다르게 하는 것도 가능하게 된다.
즉, 화소부의 각 색 단위의 제어가 가능하게 되어, 색마다 최적의 감도를 선택한 출력 화상의 생성이 가능하게 된다.
구체적인 노광 시간의 제어예에 대하여 도 18을 참조하여 설명한다. 도 18은, 앞의 실시예 1에서 도 6을 참조하여 설명한 노광 시간 제어예에 대응하는 도면이다. 종축이 화소부의 화소행을 나타내며, 횡축이 경과 시간을 나타낸다. 종축의 행은, 최상부가 화소부의 제1행이며, 이하, 아래를 향하여 하위의 행(행 번호=2, 3, 4, 5…)으로 된다.
앞에서 도 6을 참조하여 설명한 예에서는,
1∼2행, 5∼6행, 9∼10행…이 장시간의 노광 처리가 이루어지는 고감도 화소 영역,
3∼4행, 7∼8행, 11∼12행…이 단시간의 노광 처리가 이루어지는 저감도 화소 영역과 같이 설정되어 있으며,
1개의 행에 포함되는 화소는, 모두 동일한 노광 시간으로 설정되어 있었다.
이에 반하여, 본 실시예에서는, R, Gr, Gb, B 각 색 단위로 서로 다른 노광 시간 제어가 가능하게 된다. 구체예를 도 18에 나타내었다.
도 18에 도시한 예는,
Gb, R의 제1 긴 노광 시간과, 제1 짧은 노광 시간을 설정하고,
Gr, B의 제2 긴 노광 시간과, 제2 짧은 노광 시간을 설정하고,
Gb, R로 설정하는 장시간 노광 시간 및 단시간 노광 시간과, Gr, B로 설정하는 장시간 노광 시간 및 단시간 노광 시간의 설정을 바꾼 예이다.
또한, 도 18에서는, Gb, R의 색 페어와, Gr, B의 색 페어를 설정하고, 1개의 페어의 2색에 대해서는 동일한 노광 시간의 조합으로 하고 있지만, R, Gr, Gb, B의 각각에 대하여 모두 장시간 노광 시간 및 단시간 노광 시간의 설정을 바꾸는 것도 가능하다.
이와 같이, 본 실시예를 적용하면, 화소부의 각 색 단위의 제어가 가능하게 되고, 색마다 최적의 감도를 선택한 출력 화상의 생성이 가능하게 된다.
(2-6. 실시예 6)
다음으로, 본 발명의 실시예 6으로서, 촬상 디바이스에서의 화소부의 새로운 구성예에 대하여 설명한다.
도 19에, 본 실시예 6의 촬상 디바이스에서의 화소부의 구성예를 나타낸다.
도 19에 도시한 화소 배열(어레이 구조)은 실시예 1에서 도 4의 (a)를 참조하여 설명한 화소부의 배열을 45°회전시킨 배열로 되어 있다.
이 도 19에 도시한 배열에 대하여 행 단위의 노광 시간 제어를 행한다.
도 19에 도시한 바와 같이,
제1행은, Gb, Gr의 각 화소에 의해 구성되는 행,
제2행은, B, R의 각 화소에 의해 구성되는 행,
이하, 제3, 4, 5…의 각 행이,
Gb, Gr의 각 화소에 의해 구성되는 행,
B, R의 각 화소에 의해 구성되는 행이 교대로 반복된다.
이 도 19에 도시한 화소 배열에 대하여 행 단위의 노광 제어를 실행하면, Gb와 Gr의 조합,
B와 R의 조합,
상기한 색 화소 페어 단위로, 노광 시간 제어를 실행하는 것이 가능하게 된다.
(2-7. 실시예 7)
다음으로, 본 발명의 실시예 7로서, 촬상 디바이스에서의 노광 제어와 화소 정보 합성부의 합성 처리의 변경예에 대하여 설명한다.
도 20에, 본 실시예 7의 촬상 디바이스에서의 노광 제어와 합성 처리예를 나타낸다.
도 20은, 전술한 실시예 1의 도 4와 마찬가지의 도면으로,
(a) 화소부의 촬영 화상,
(b) 화소 정보 합성부의 합성 처리에 의해 생성되는 출력 화상을 나타내었다.
또한, (a), (b) 모두 촬영 화상 또는 화소 정보 합성 화상의 일부 영역만을 나타낸 도면이다.
앞의 실시예 1에서는, 화소부의 2행 단위로 장시간 노광 처리를 실행하는 고감도 화소 영역과, 단시간 노광 처리를 실행하는 저감도 화소 영역을 설정하는 구성으로 하였다.
이 실시예 7에서는, 도 20의 (a)에 도시한 바와 같이,
제1∼2행째가 장시간 노광을 행하는 고감도 화소 영역,
제3∼4행째가 중시간 노광을 행하는 중감도 화소 영역,
제5∼6행째가 단시간 노광을 행하는 저감도 화소 영역,
이하, 2행 단위로, 고감도 화소 영역, 중감도 화소 영역, 저감도 화소 영역을 반복하는 구성으로 되어 있다.
본 실시예의 촬상 디바이스 구성은, 예를 들면 실시예 1과 마찬가지로, 도 3에 도시한 구성을 갖는다.
화소 정보 합성부는, 예를 들면 동일 색의 고감도 화소와, 중감도 화소와, 저감도 화소를 3개씩 입력하고, 총 9개의 화소값에 기초하여 화소 정보 합성 화상의 1개의 출력 화소의 화소값을 결정한다.
예를 들면, 도 20에 도시한 바와 같이, 도 20의 (b)의 화소 정보 합성 화상의 1개의 화소 Gb(out)의 화소값을 결정하는 경우, 이하의 화소값을 입력한다.
(1) 고감도 화소: Gb(0, 0), Gb(1, 0), Gb(2, 0),
(2) 중감도 화소: Gb(0, 1), Gb(1, 1), Gb(2, 1),
(3) 저감도 화소: Gb(0, 2), Gb(1, 2), Gb(2, 2),
화소 정보 합성부는, 이들 9개의 화소의 화소값에 기초하여 화소 정보 합성 화상의 1개의 화소의 화소값 Gb(out)를 산출한다.
화소 정보 합성부는, 예를 들면 도 20의 (b)에 도시한 Gb(out)의 화소값을 이하의 수학식 5에 따라서 산출한다.
Figure pct00005
단,
Gb(x, y)는 촬영 화상의 (x, y) 좌표 위치에서의 화소값,
Gain1, Gain2: 감도비를 보상하는 게인값(기정값),
k1∼k9: 입력 화소의 기여도를 설정하는 계수이며, k1+k2+k3+k4+k5+k6+k7+k8+k9=1의 관계를 만족하는 계수이다.
또한, 계수 k1∼k9의 설정은, 예를 들면 피사체의 밝기에 따른 설정값으로 하는 등의 처리를 행한다.
본 실시예에서는, 화소 정보 합성 화상의 1개의 화소의 화소값의 산출 처리에, 촬상 화상에 포함되는 고감도 화소와 중감도 화소와 저감도 화소를 포함하는 9개의 화소값을 이용하는 구성으로 하였다. 3단계의 감도의 화소값을 이용함으로써, 예를 들면 밝기에 따른 최적의 화소값을 산출하는 것이 가능하게 된다.
(2-8. 실시예 8)
다음으로, 본 발명의 실시예 8로서, 촬상 디바이스에서의 화소부의 변경예에 대하여 설명한다.
실시예 1에서는, 앞에서 도 4를 참조하여 설명한 바와 같이, R, Gr, Gb, B의 각 화소로 구성되는 베이어 배열을 사용한 예에 대하여 설명하였다.
본 발명의 화상 처리 장치는, 이 베이어 배열 이외의 배열을 포함하여 이루어지는 화소부를 갖는 구성에 대해서도 대응 가능하다. 도 21에 도시한 화소 배열은 그 일례를 나타내는 도면이다.
도 21에 도시한 화소 배열은, RGBW의 화소 배열을 갖는다. 여기에서 W는 투명(화이트)을 나타낸다.
화상의 합성 처리 시에는,
W 화소와 G 화소에 대해서는, 앞에서 도 4를 참조하여 설명한 바와 마찬가지로, 고감도 화소와 저감도 화소, 각각 2개의 총 4화소를 입력하여 전술한 수학식 1에 따라서 산출한다.
단, R, B 화소에 대해서는, 도 21에 도시한 3×3 화소 영역에는, 고감도 화소와 저감도 화소가 각각 1개씩밖에 포함되지 않기 때문에, 1개의 고감도 화소의 화소값과 1개의 저감도 화소의 화소값에 기초하여 화소 정보 합성 화상의 출력 화소값을 산출한다.
본 실시예에 따른 RGBW의 배열을 적용한 화소 정보 합성 처리 시에도, 고감도 화소와 저감도 화소 중 적어도 각각 1화소씩이 입력되어, 이들의 서로 다른 감도의 화소값을 적용하여 화소 정보 합성 화상의 화소값을 결정한다. 예를 들면, 피사체가 밝고 고감도 화소가 포화값인 경우에는 저감도 화소의 화소값을 이용하여 화소 정보 합성 화상의 화소값을 설정하고, 피사체가 어둡고 저감도 화소의 화소값의 SN비가 나쁜 경우에는 고감도 화소의 화소값을 이용하거나, 또는 가중치를 크게 설정하여 블렌드하는 등의 처리를 실행한다.
이와 같은 처리에 의해, 보다 정밀도가 높은 화소값을 설정한 넓은 다이내믹 레인지 화상을 생성하여 출력하는 것이 가능하게 된다.
이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있는 것은 명백하다. 즉, 예시라고 하는 형태에서 본 발명을 개시한 것으로서, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위의 란을 참작해야 할 것이다.
또한, 본원 명세서에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들면, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷 등의 네트워크를 통하여 프로그램을 수신하고, 내장하는 하드디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 본원 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것으로는 한정되지 않는다.
이상, 설명한 바와 같이, 본 발명의 일 실시예의 구성에 의하면, 1개의 촬영 화상에 기초하여 넓은 다이내믹 레인지 화상을 생성하는 장치 및 방법이 실현된다. 구체적으로는, 화소부의 행 단위 등, 화소 영역 단위로 서로 다른 노광 시간으로 설정하는 노광 시간 제어를 실행하고, 서로 다른 노광 시간으로 설정한 화소의 화소값인 복수의 서로 다른 화소 정보를 취득한다. 예를 들면 장시간 노광 화소로부터 고감도 화소 정보, 단시간 노광 화소로부터 저감도 화소 정보를 취득하고, 이들 서로 다른 감도의 화소 정보에 기초하여 출력 화상의 화소값을 산출한다. 예를 들면 고휘도 영역에서는, 감도 화소 정보가 포화값으로 될 가능성이 있으므로 저감도 화소 정보의 가중치를 크게 설정하고, 또한 저휘도 영역에서는 저감도 화소 정보의 SN비가 나쁘다고 추정되므로, 고감도 화소 정보의 가중치를 크게 설정하여 출력 화소값을 결정한다.
이들 처리에 의해, 1개의 촬영 화상에 기초하는 넓은 다이내믹 레인지 화상의 생성이 실현된다.
10: 휘도 임계값 레벨
11: 고휘도 영역
12: 저휘도 영역
101: 광학 렌즈
102: 촬상 디바이스
103: 신호 처리부
105: 제어부
201: 화소부
202: 연산부
211: 화소 정보 합성부
251: 고감도 화소 정보
252: 저감도 화소 정보
300: 촬상 디바이스
301: 화소부
302: 출력 선택부
303: 연산부
321: 비교기
322: 카운터
323: 판정부
311: 화소 정보 합성부
351: 고감도 화소 정보
352: 저감도 화소 정보
400: 촬상 디바이스
401: 화소부
402: 연산부
411: 화소 정보 합성부
412: 계조 변환부
451: 고감도 화소 정보
452: 저감도 화소 정보
500: 촬상 디바이스
501: 화소부
502: 연산부
511: 화소 정보 합성부
512: 계조 변환부
513: 신호 처리부
514: 코덱
520: 제어부
551: 고감도 화소 정보
552: 저감도 화소 정보

Claims (19)

  1. 화상 처리 장치로서,
    화소 또는 화소 영역 단위의 노광 시간 제어를 실행하는 제어부와,
    상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력하는 화소부와,
    상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출하는 화소 정보 합성부를 갖는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 화소부의 행 단위로 노광 시간 제어를 실행하고,
    상기 화소부는, 복수의 서로 다른 행으로부터 서로 다른 노광 시간의 화소 정보를 출력하고,
    상기 화소 정보 합성부는, 복수의 서로 다른 행으로부터 입력되는 복수의 화소 정보를 이용한 연산 처리에 의해 출력 화상의 1개의 화소의 화소값을 산출하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 화소부는,
    장시간 노광 영역으로부터 고감도 화소 정보를 출력하고, 단시간 노광 영역으로부터 저감도 화소 정보를 출력하고,
    상기 화소 정보 합성부는,
    상기 출력 화상의 화소값의 산출 처리에서,
    장시간 노광 영역으로부터 입력되는 고감도 화소 정보와, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보에 대하여 피사체 밝기에 따른 가중치를 설정한 가산 처리를 실행하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 화소 정보 합성부는, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보가 미리 정해진 임계값 이상인 경우, 상기 고감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리에 의해 출력 화상의 화소값을 산출하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 화소 정보 합성부는, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보가 미리 정해진 임계값 미만인 경우, 상기 저감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리에 의해 출력 화상의 화소값을 산출하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 화소 정보 합성부는, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보가 미리 정해진 임계값 이상인 경우, 장시간 노광 영역으로부터 입력되는 고감도 화소 정보의 가중치를 제로 또는 작게 설정하고, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보만을 이용하거나 가중치를 크게 설정한 연산 처리에 의해 출력 화상의 화소값을 산출하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 제어부는, 상기 화소부의 2행 단위로 장시간 노광 영역과 단시간 노광 영역을 설정한 노광 시간 제어를 실행하고,
    상기 화소부는, 상기 장시간 노광 영역과 단시간 노광 영역의 각각으로부터 적어도 1개 이상의 화소 정보를 출력하고,
    상기 화소 정보 합성부는, 상기 장시간 노광 영역으로부터 입력되는 고감도 화소 정보와, 단시간 노광 영역으로부터 입력되는 저감도 화소 정보의 각각으로부터 입력되는 적어도 1개 이상의 화소 정보를 이용한 연산 처리로부터 출력 화상의 1개의 화소의 화소값을 산출하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 제어부는, 상기 화소부의 행 단위의 셔터 제어에 의해, 행 단위의 노광 시간 제어를 실행하는, 화상 처리 장치.
  9. 제1항에 있어서,
    상기 제어부는, 상기 화소부의 색 단위의 셔터 제어에 의해, 색 단위의 노광 시간 제어를 실행하는, 화상 처리 장치.
  10. 제1항에 있어서,
    상기 화상 처리 장치는,
    상기 화소부로부터 출력되는 장시간 노광 영역의 고감도 화소의 화소값에 상당하는 디지털값을 카운트하는 카운터와,
    상기 카운터가 카운트하는 고감도 화소의 화소값이 미리 정해진 임계값 미만인 경우, 상기 고감도 화소의 화소값을 상기 출력 화상의 산출용 화소값으로서 선택 출력하고, 상기 카운터가 카운트하는 고감도 화소의 화소값이 미리 정해진 임계값 이상인 경우, 상기 고감도 화소와 동일색의 단시간 노광 영역의 저감도 화소의 화소값을 상기 출력 화상의 산출용 화소값으로서 선택 출력하는 출력 선택부를 더 갖는, 화상 처리 장치.
  11. 제1항에 있어서,
    상기 화소부는,
    장시간 노광 영역으로부터 고감도 화소 정보를 출력하고, 단시간 노광 영역으로부터 저감도 화소 정보를 출력하고, 상기 장시간 노광과 단시간 노광 사이의 노광 시간인 중시간 노광 영역으로부터 중감도 화소 정보를 출력하고,
    상기 화소 정보 합성부는,
    상기 출력 화상의 화소값의 산출 처리에서,
    상기 고감도 화소 정보와 저감도 화소 정보와 중감도 화소 정보에, 피사체 밝기에 따른 가중치를 설정하여 연산 처리를 실행하여 출력 화상의 화소값을 산출하는, 화상 처리 장치.
  12. 제1항에 있어서,
    상기 화상 처리 장치는,
    상기 화소 정보 합성부가 생성한 출력 화상의 각 화소의 화소값의 비트 삭감 처리를 실행하는 계조 변환부를 더 갖는, 화상 처리 장치.
  13. 제1항에 있어서,
    상기 화상 처리 장치는,
    상기 화소 정보 합성부가 생성한 출력 화상에 대한 신호 처리를 실행하는 신호 처리부를 더 갖는, 화상 처리 장치.
  14. 제1항에 있어서,
    상기 화상 처리 장치는,
    상기 화소 정보 합성부가 생성한 출력 화상에 대한 부호화 처리를 실행하는 코덱을 더 갖는, 화상 처리 장치.
  15. 제1항에 있어서,
    상기 화소부는, 3×3 화소 영역 이상의 영역으로부터 동일 색의 서로 다른 노광 시간의 화소 정보를 출력하는 구성인, 화상 처리 장치.
  16. 제1항에 있어서,
    상기 화소부는, 베이어 배열 또는 RGBW 배열을 갖는, 화상 처리 장치.
  17. 촬상부와,
    제1항 내지 제16항 중 어느 한 항에 기재된 처리를 실행하는 화상 처리부를 갖는 촬상 장치.
  18. 화상 처리 장치에서 실행하는 화상 처리 방법으로서,
    제어부가, 화소 또는 화소 영역 단위의 노광 시간 제어를 실행하는 제어 스텝과,
    화소부가, 상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력하는 화소 정보 출력 스텝과,
    화소 정보 합성부가, 상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출하는 화소 정보 합성 스텝을 실행하는, 화상 처리 방법.
  19. 화상 처리 장치에서 화상 처리를 실행시키는 프로그램으로서,
    제어부에, 화소 또는 화소 영역 단위의 노광 시간 제어를 실행시키는 제어 스텝과,
    화소부에, 상기 제어부의 제어하에서의 촬영 처리에 의해 복수의 서로 다른 노광 시간의 화소 정보를 출력시키는 화소 정보 출력 스텝과,
    화소 정보 합성부에, 상기 화소부가 출력하는 복수의 서로 다른 노광 시간의 화소 정보를 입력하고, 상기 복수의 화소 정보를 이용한 연산 처리를 실행하여 출력 화상의 화소값을 산출시키는 화소 정보 합성 스텝을 실행시키는, 프로그램.
KR1020137011525A 2010-11-12 2011-10-24 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램 KR20130138360A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010254291A JP2012105225A (ja) 2010-11-12 2010-11-12 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JPJP-P-2010-254291 2010-11-12
PCT/JP2011/074467 WO2012063634A1 (ja) 2010-11-12 2011-10-24 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20130138360A true KR20130138360A (ko) 2013-12-18

Family

ID=46050786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137011525A KR20130138360A (ko) 2010-11-12 2011-10-24 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램

Country Status (9)

Country Link
US (1) US9531958B2 (ko)
EP (1) EP2640065A4 (ko)
JP (1) JP2012105225A (ko)
KR (1) KR20130138360A (ko)
CN (1) CN103190145A (ko)
BR (1) BR112013011051A2 (ko)
CA (1) CA2812737A1 (ko)
MX (1) MX2013005017A (ko)
WO (1) WO2012063634A1 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9029753B2 (en) * 2012-09-27 2015-05-12 National Tsing Hua University Optical recognition system and method thereof
US9113097B2 (en) 2013-02-06 2015-08-18 Canon Kabushiki Kaisha Image capturing apparatus that controls performing of short-term and long-term exposures and corresponding read operations, and control method thereof
DE102014223858B4 (de) 2013-11-25 2021-09-23 Canon Kabushiki Kaisha Bildaufnahmevorrichtung und Bildsignalsteuerverfahren
CN103700329B (zh) * 2013-12-13 2015-11-11 北京京东方光电科技有限公司 显示面板的显示方法
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
US9307161B2 (en) * 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
US10104388B2 (en) * 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
KR101580178B1 (ko) * 2014-07-30 2015-12-24 주식회사 동부하이텍 이미지 센서
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
US9819889B2 (en) * 2015-08-07 2017-11-14 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
CN108174117B (zh) * 2015-08-10 2021-04-02 Oppo广东移动通信有限公司 消除闪烁的方法、系统及移动终端和介质产品
US10298888B2 (en) * 2015-08-25 2019-05-21 Kabushiki Kaisha Toshiba Adaptive analyzer of sensitivity difference of same color pixels and adaptive corrector of sensitivity difference of same color pixels
US10638037B2 (en) * 2015-09-30 2020-04-28 Nikon Corporation Image-capturing device and image processing device
JP6516014B2 (ja) * 2015-09-30 2019-05-22 株式会社ニコン 撮像装置および画像処理装置
CN112714252B (zh) 2015-09-30 2023-04-07 株式会社尼康 摄像装置
CN105578074B (zh) * 2015-12-18 2017-11-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
CN105611198B (zh) * 2015-12-18 2017-06-27 广东欧珀移动通信有限公司 图像传感器及具有其的终端
SG11201800816VA (en) 2015-12-18 2018-02-27 Guangdong Oppo Mobile Telecommunications Corp Ltd Image sensor, control method, and electronic device
CN105578065A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105554419B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 图像传感器及具有其的终端
JP6762714B2 (ja) * 2015-12-28 2020-09-30 ブリルニクス インク 固体撮像装置およびその駆動方法、電子機器
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
US10846826B2 (en) * 2016-04-06 2020-11-24 Sony Corporation Image processing device and image processing method
JP6771944B2 (ja) * 2016-04-27 2020-10-21 キヤノン株式会社 撮像装置及び撮像装置の制御方法
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서
CN106954329B (zh) * 2016-05-17 2018-07-13 江苏康众数字医疗设备有限公司 成像设备的自动曝光控制方法及曝光系统
CN106507080B (zh) 2016-11-29 2018-07-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
EP3565259A1 (en) * 2016-12-28 2019-11-06 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
JP6827240B2 (ja) * 2017-03-22 2021-02-10 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
CN108200354B (zh) * 2018-03-06 2020-09-25 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
JP6833751B2 (ja) * 2018-03-20 2021-02-24 株式会社東芝 撮像制御装置、撮像装置、及び撮像制御方法
US10554902B2 (en) * 2018-05-01 2020-02-04 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
CN113691738B (zh) 2018-06-07 2023-04-18 杜比实验室特许公司 从单拍摄hdr彩色图像传感器生成hdr图像
JP7310098B2 (ja) * 2018-07-10 2023-07-19 富士通株式会社 赤外線検出器の制御回路及び制御方法、撮像装置
KR20200019432A (ko) * 2018-08-14 2020-02-24 에스케이하이닉스 주식회사 픽셀 장치 및 그를 이용한 비교 장치와 씨모스 이미지 센서
WO2020054373A1 (ja) * 2018-09-14 2020-03-19 パナソニックＩｐマネジメント株式会社 撮像装置および撮像方法
CN112075073A (zh) * 2018-09-14 2020-12-11 松下知识产权经营株式会社 摄像装置及摄像方法
US11653101B2 (en) 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
JP2020198470A (ja) * 2019-05-30 2020-12-10 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
JP7217211B2 (ja) * 2019-08-23 2023-02-02 日立Astemo株式会社 撮像装置及び撮像方法
CN110661982B (zh) * 2019-09-27 2021-08-10 思特威(上海)电子科技股份有限公司 图像传感器成像中led频闪抑制的方法
KR20220156242A (ko) * 2021-05-18 2022-11-25 에스케이하이닉스 주식회사 이미지 처리 장치
CN117793540A (zh) * 2022-09-27 2024-03-29 华为技术有限公司 光敏处理装置和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2000069491A (ja) * 1998-08-19 2000-03-03 Nikon Corp 撮像素子およびこれを用いた撮像装置
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4076109B2 (ja) * 1999-06-08 2008-04-16 富士フイルム株式会社 固体撮像装置の制御方法
WO2006049098A1 (ja) * 2004-11-02 2006-05-11 Matsushita Electric Industrial Co., Ltd. イメージセンサ
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP4759363B2 (ja) * 2005-10-27 2011-08-31 Ｈｏｙａ株式会社 画像信号処理ユニット
JP4777798B2 (ja) * 2006-03-02 2011-09-21 富士フイルム株式会社 固体撮像装置とその駆動方法
JP4973115B2 (ja) 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images

Also Published As

Publication number Publication date
CA2812737A1 (en) 2012-05-18
EP2640065A4 (en) 2014-05-07
WO2012063634A1 (ja) 2012-05-18
CN103190145A (zh) 2013-07-03
US9531958B2 (en) 2016-12-27
MX2013005017A (es) 2013-08-01
JP2012105225A (ja) 2012-05-31
US20130242152A1 (en) 2013-09-19
EP2640065A1 (en) 2013-09-18
BR112013011051A2 (pt) 2016-08-23

Similar Documents

Publication Publication Date Title
KR20130138360A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램
US9288399B2 (en) Image processing apparatus, image processing method, and program
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US7911507B2 (en) Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled
WO2013008596A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP4424292B2 (ja) 撮像装置、露出制御方法およびプログラム
US8218036B2 (en) Image sensing apparatus and control method therefor
US9118828B2 (en) Imaging device and control method for imaging device
KR20040057927A (ko) 화상합성방법 및 촬상장치
JP2014154982A (ja) 撮像装置およびその制御方法
JP4852321B2 (ja) 撮像装置
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP2002084449A (ja) 固体撮像素子を用いた撮像装置
JP2008271123A (ja) 撮像装置
US20060197854A1 (en) Image capturing apparatus and computer software product
US8026965B2 (en) Image pickup apparatus and method for controlling the same
JP4335728B2 (ja) 画像処理装置および方法
JP2009164859A (ja) 撮像装置及び撮像制御方法
JP4279562B2 (ja) 固体撮像装置の制御方法
JP2002112108A (ja) 画像処理装置
JP2006109046A (ja) 撮像装置
JP2008091437A (ja) 固体撮像装置
JP4769851B2 (ja) 撮像装置
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法
US8797438B2 (en) Digital camera and pixel adding method of same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid