WO2012133551A1 - 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 - Google Patents

固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2012133551A1
WO2012133551A1 PCT/JP2012/058182 JP2012058182W WO2012133551A1 WO 2012133551 A1 WO2012133551 A1 WO 2012133551A1 JP 2012058182 W JP2012058182 W JP 2012058182W WO 2012133551 A1 WO2012133551 A1 WO 2012133551A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
sensitivity
pixels
solid
low
Prior art date
Application number
PCT/JP2012/058182
Other languages
English (en)
French (fr)
Inventor
和田 哲
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280001263.3A priority Critical patent/CN102959959B/zh
Priority to JP2012540202A priority patent/JP5150796B2/ja
Publication of WO2012133551A1 publication Critical patent/WO2012133551A1/ja
Priority to US13/665,510 priority patent/US8830364B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a solid-state imaging device driving method, a solid-state imaging device, and an imaging apparatus, and more particularly to a single-plate solid-state imaging device driving method and a solid-state imaging device suitable for capturing a subject color image with a high resolution and a wide dynamic range. And an imaging apparatus.
  • Patent Documents 1 and 2 describe solid-state imaging devices capable of capturing a subject color image with high resolution in the horizontal and vertical directions.
  • the pixel array and color filter array of this solid-state image sensor will be described with reference to FIGS.
  • FIG. 8 shows an arrangement of three primary color filters R (red) G (green) B (blue) stacked on a plurality of pixels (photoelectric conversion elements: photodiodes) arranged in a square lattice.
  • the R filter and the B filter are marked with a circle so that the arrangement positions of RGB can be easily understood.
  • G filters are stacked on the pixels in even columns and even rows, and R filters and B filters are alternately stacked in the column direction and row direction on the remaining pixels. ing.
  • the stacked pixel (G pixel) of the G filter is arranged at the position of the line forming the cell, and the stacked pixel (R pixel) of the R filter and the stacked pixel (B pixel) of the B filter are arranged at the position of the cell.
  • FIG. 9 is a diagram showing an array in which the pixel array and the color filter array in FIG. 8 are inclined at an angle of 45 degrees.
  • the pixel arrangement is a so-called honeycomb pixel arrangement, in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows.
  • a picked-up image signal of a honeycomb pixel arrangement that is, a checkered position
  • a picked-up image signal at the center position of a total of four pixels of two adjacent vertical and horizontal pixels is obtained by interpolation calculation of surrounding picked-up image signals, the number of pixels is doubled
  • Captured image signals can be obtained, and subject image signals with high resolution in the vertical and horizontal directions can be obtained.
  • the above-described solid-state imaging device having the pixel array and color filter array shown in FIG. 9 can capture a high-resolution subject color image.
  • images having a wide dynamic range cannot be taken.
  • it is possible to expand the dynamic range by a pixel addition method for adding captured image signals of adjacent pixels of the same color in this case, there is a problem that the resolution is sacrificed.
  • An object of the present invention is to provide a solid-state imaging device driving method, a solid-state imaging device, and an imaging apparatus that can capture a subject color image with a wide dynamic range while maintaining high resolution.
  • a driving method of a solid-state imaging device includes a pixel line in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows and extend obliquely upward to the right.
  • the pixel lines extending diagonally upward to the left are composed of only green filter laminated pixels every other line, and the odd rows or even numbers of pixels arranged in the remaining checkered positions where the green filter laminated image is not arranged
  • a solid-state image pickup device driving method in which a pixel constituting one of the rows is a red filter laminated pixel and a pixel constituting the other is a blue filter laminated pixel, the pixel line extending diagonally upward to the right or the diagonally left
  • a solid-state imaging device includes low-sensitivity pixels and high-sensitivity pixels, and even-numbered pixel rows are arranged with a half-pixel pitch shifted from odd-numbered pixel rows.
  • the pixel lines extending in the diagonally upward right direction and the pixel lines extending in the diagonally upward left direction are each composed of only one green filter laminated pixel, and are arranged at the remaining checkered positions where the green filter laminated image is not arranged.
  • the pixels constituting one of the odd-numbered rows or even-numbered rows are red filter laminated pixels and the pixels constituting the other are blue filter laminated pixels, and the pixel lines extending diagonally upward to the right or the diagonally upper left
  • the red filter laminated pixel, the blue filter laminated pixel, and the red filter existing on one line of every four of the pixel lines extending in the direction
  • an imaging apparatus includes the above-described solid-state imaging device, a driving unit that drives the solid-state imaging device, and a captured image signal at a pixel position of the low-sensitivity pixel. And a signal processing unit that is obtained by performing an interpolation operation on the captured image signal of the pixel.
  • a subject color image with high resolution, low false color, and wide dynamic range can be captured.
  • FIG. 2 is a functional block diagram of the digital signal processing unit shown in FIG. 1 in a high resolution shooting mode. It is explanatory drawing of the drive method of the solid-state image sensor which concerns on 1st Embodiment of this invention.
  • FIG. 2 is a functional block diagram of the digital signal processing unit shown in FIG. 1 in a wide dynamic range shooting mode. It is explanatory drawing of embodiment replaced with FIG. It is explanatory drawing of embodiment replaced with FIG. It is explanatory drawing of embodiment of FIG. It is explanatory drawing of a pixel arrangement
  • FIG. 1 is a functional block configuration diagram of a digital camera (imaging device) 10 equipped with a solid-state imaging device 22a according to an embodiment of the present invention.
  • the digital camera 10 includes a photographic optical system 21 that includes a photographic lens 21a, a diaphragm 21b, and the like, and an imaging element chip 22 that is disposed at a subsequent stage of the photographic optical system 21.
  • the image pickup device chip 22 has a signal reading unit of a single plate type solid-state image pickup device 22a for color image pickup such as a CCD type or a CMOS type, and analog image data output from the solid-state image pickup device 22a.
  • An analog signal processing unit (AFE) 22b that performs analog processing such as correlated double sampling processing, and an analog / digital conversion unit (A / D) 22c that converts analog image data output from the analog signal processing unit 22b into digital image data; Is provided.
  • AFE analog signal processing unit
  • a / D analog / digital conversion unit
  • a CMOS type is described as an example of the solid-state imaging element 22a.
  • the digital camera 10 further includes a driving unit (including a timing generator TG) 23 that controls driving of the solid-state imaging device 22a, the analog signal processing unit 22b, and the A / D 22c in accordance with an instruction from a system control unit (CPU) 29 described later. And a flash 25 that emits light in response to an instruction from the CPU 29.
  • the drive unit 23 may be mounted together in the image sensor chip 22 in some cases.
  • the digital camera 10 of this embodiment further includes a digital signal processing unit 26 that takes in digital image data output from the A / D 22c and performs known image processing such as interpolation processing, white balance correction, and RGB / YC conversion processing, and an image.
  • the compression / decompression processing unit 27 that compresses data into JPEG format image data or the like, and the display unit 28 that displays menus and displays through images and captured images, and the entire digital camera.
  • a system control unit (CPU) 29 for controlling, an internal memory 30 such as a frame memory, and a media interface (I / F) unit 31 for performing interface processing between a recording medium 32 for storing JPEG image data and the like; Are connected to each other, and the system controller 29 receives instructions from the user. It is connected with an operation unit 33 that performs.
  • the pixel arrangement and color filter arrangement of the CMOS type solid-state image pickup device 22a are the same as those of the solid-state image pickup device described with reference to FIG. 9, and the light receiving area of each pixel is formed the same, and the light shielding film opening is also formed in the same width.
  • the structure is the same, such as mounting microlenses of the same shape.
  • a so-called honeycomb pixel arrangement in which even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows. That is, a G filter is stacked on all the pixels in every other line in a pixel row inclined rightward by 45 degrees (a pixel row inclined obliquely is hereinafter referred to as a “line”), and the left diagonal The G filter is laminated on every other pixel line that is inclined 45 degrees upward.
  • the remaining pixel positions where the G filters are not stacked are the checkered positions.
  • this checkered position is divided into a first square array position at an odd-numbered row position and a second square array position at an even-numbered row position, an R filter is stacked on each pixel at the first square array position.
  • a B filter is stacked on each pixel at the second square array position. That is, an odd row (or even row) at the checkered position is an R filter stacked pixel, and an even row (or odd row) at the checkered position is a B filter stacked pixel.
  • the digital camera 10 shown in FIG. 1 is provided with a high-resolution shooting mode and a wide dynamic range shooting mode as modes for shooting a color image of a subject. It is also possible for the user to manually select either the high resolution shooting mode / wide dynamic range shooting mode from the operation unit 33 in FIG. In addition, when the automatic setting of the shooting mode is selected, the digital signal processing unit 26 analyzes the captured image signal output as a through image from the solid-state imaging device 22a. It is also possible to automatically select the range shooting mode.
  • the exposure time of all the pixels in FIG. 9 is set to the same time, and the captured image signal of each pixel is read.
  • captured image signals are read in the order of one pixel row in FIG. 9, and the digital signal processing unit 26 in FIG. 1 performs the R signal amount of all pixel positions by the image processing procedure shown in FIG. , G signal amount and B signal amount are calculated to generate color image data of the subject.
  • This captured image signal includes a high-sensitivity G signal output from the G pixel (in order to distinguish it from a “low-sensitivity” signal used in the wide dynamic range shooting mode described in the next embodiment, Signal is a “high sensitivity” signal), a high sensitivity R signal from the R pixel, and a high sensitivity B signal from the B pixel.
  • FIG. 2 is a functional block diagram of a required portion that functions when the digital signal processing unit 26 is in the high-resolution shooting mode.
  • the high sensitivity G signal input to the digital signal processing unit 26 is first input to the all pixel unit G pixel interpolation processing unit 26a.
  • a high sensitivity R signal is output at the pixel position of the R pixel 41 in FIG. 9, but there is no high sensitivity G signal and high sensitivity B signal at the position of the R pixel 41. Therefore, the high sensitivity G signal and the high sensitivity B signal at the position of the R pixel 41 are calculated from the output signals of the surrounding G pixels and the output signals of the surrounding B pixels.
  • the total pixel part G pixel interpolation processing unit 26a of the digital signal processing unit 26 determines how much the high sensitivity G signal amount at the R pixel position is based on the high sensitivity G signal captured from the solid-state imaging device 22a.
  • the amount of the high-sensitivity G signal at the B pixel position is calculated as an average value of output signals of eight G pixels around the R pixel and the B pixel position, for example, and output.
  • the G pixel outputs the detection signal high-sensitivity G signal amount.
  • the high-sensitivity R signal and high-sensitivity B signal output from the solid-state imaging device 22a are taken into the RB pixel unit GR difference / GB difference calculation processing unit 26b of the digital signal processing unit 26.
  • the calculation processing unit 26b also incorporates the high sensitivity G signal amount calculated by the G pixel interpolation processing unit 26a. Therefore, the high-sensitivity G signal amount and the high-sensitivity R signal amount detected by itself are known at each position of each R pixel 41 in FIG. Therefore, the high sensitivity [GR] value for each position of the R pixel 41 is calculated by the calculation processing unit 26b. Similarly, the high sensitivity [GB] value for each position of the B pixel 42 is also calculated by the calculation processing unit 26b.
  • the GR difference / GB difference interpolation processing unit 26c of the digital signal processing unit 26 uses the high sensitivity [GR] value calculated for each position of the R pixel 41 to use the remaining all G pixel positions and all B pixel positions.
  • High sensitivity [GR] value is calculated by linear interpolation or the like, and the high sensitivity [GB] value calculated for each position of the B pixel 42 is used to determine the remaining all G pixel positions and all the G pixel values.
  • the high sensitivity [GB] value at the R pixel position is calculated by linear interpolation or the like.
  • the high sensitivity G signal amount for each pixel position is output from the interpolation processing unit 26a, and the high sensitivity R signal amount and the high sensitivity B signal amount for each pixel position are output from the generation processing unit 26d.
  • An image processing unit (not shown) of the digital signal processing unit 26 performs well-known image processing such as gamma correction, RGB / YC conversion processing, and square conversion processing using these R, G, and B signal amounts to increase the height of the subject. Color image data with low resolution and low false color is generated.
  • the exposure time of the pixel driven for low sensitivity shooting is controlled to be shorter than the exposure time of the pixel driven for high sensitivity shooting.
  • FIG. 3 is a diagram illustrating an example of a method for driving the solid-state imaging device 22a in the wide dynamic range photographing mode. Pixels marked with uppercase RGB indicate pixels for high-sensitivity shooting, and pixels marked with lowercase rgb indicate pixels for low-sensitivity shooting. A low-sensitivity pixel line 45 (oblique pixel row) for low-sensitivity imaging driving is also indicated by a broken line frame.
  • the diagonal pixel lines are only G pixels every other row, and the remaining pixel lines include B pixels and R pixels.
  • diagonal pixel lines including B pixels and R pixels are alternately used as a high-sensitivity imaging drive pixel line and a low-sensitivity imaging drive pixel line. That is, generally speaking, one line including the R filter (B filter) for every four diagonal pixel lines is set as a low-sensitivity imaging drive pixel line.
  • one or two of the green filter stacked pixels that are closest to the r pixel or b pixel (adjacent in the oblique direction) on the low-sensitivity imaging drive pixel line become g pixels that are driven with low sensitivity. .
  • FIG. 4 is a functional block diagram of a portion that functions in the wide dynamic range shooting mode of the digital signal processing unit 26.
  • the picked-up image signals (low sensitivity g signal, low sensitivity r signal, low sensitivity b signal) output from the constituent pixels of the low sensitivity pixel line 45 driven by low sensitivity imaging shown in FIG. 26f.
  • the interpolation processing unit 26f has a low-sensitivity r signal amount, a low-sensitivity g signal amount, a low-sensitivity at each of all pixel positions (each pixel position driven with high-sensitivity shooting and each pixel position driven with low-sensitivity shooting).
  • the b signal amount is obtained by linear interpolation using the captured image signal amount (low sensitivity r signal amount, low sensitivity g signal amount, low sensitivity b signal amount) acquired by the actual low sensitivity photographing drive pixel, and the calculation result is obtained. All pixel units are output to the high sensitivity RGB level determination & low sensitivity / high sensitivity data synthesis processing unit 26g.
  • the interpolation processing unit 26f performs linear interpolation calculation, since the number of pixels is small with respect to all pixels driven by low-sensitivity imaging, the resolution is further reduced if linear interpolation is performed using a low-sensitivity signal in a very wide area. End up. For this reason, for example, neighborhood interpolation calculation processing using only adjacent low-sensitivity signals of the same color is performed.
  • the composite processing unit 26g In addition to the low-sensitivity signal from the interpolation processing unit 26f, the composite processing unit 26g also captures the captured image signal (high-sensitivity R signal, high-sensitivity G signal, and high-sensitivity B signal) from the high-sensitivity shooting drive pixel. It is. The composition processing unit 26g obtains the high sensitivity R signal amount, the high sensitivity G signal amount, and the high sensitivity B signal amount at each of all the pixel positions by using the captured image signal that has been taken in, for example, by interpolation calculation.
  • the composition processing unit 26g mainly uses a high-sensitivity signal for the normal exposure portion of the subject image (the low-sensitivity signal cannot be resolved because the number of low-sensitivity pixels is small. The signal does not need to be used.)
  • Subject image data is generated, and the subject image data is generated mainly for the highlight portion of the subject image with the low sensitivity signal.
  • the highlight portion even if the resolution is too fine, the image quality is not improved. Therefore, the dynamic range is given priority mainly on the low-sensitivity signal where the resolution cannot be obtained. Whether or not it is a highlight portion can be detected based on whether or not the level of the high-sensitivity signal amount is equal to or higher than a predetermined threshold value.
  • the red signal, the green signal, and the blue signal resulting from the synthesis result of the synthesis processing unit 26g are subjected to known image processing by the subsequent image processing unit, and subject color image data having a high resolution and a wide dynamic range is generated.
  • the oblique low-sensitivity pixel line 45 driven for low-sensitivity shooting in the embodiment of FIG. 3 described above is for dynamic range expansion and cannot acquire high-luminance information, and the contribution of the captured image to the high resolution is as follows. difficult.
  • the top, bottom, left, and right of each pixel (low sensitivity pixel) driven with low sensitivity shooting are always G pixels driven with high sensitivity shooting, and image data at the low sensitivity pixel position is interpolated by the detection signals of the surrounding G pixels. Therefore, a decrease in resolution due to the provision of low sensitivity pixels is suppressed. As a result, high resolution and wide dynamic range image data can be obtained.
  • the sensitivity per unit time of the pixel itself is equivalent to that of the high-sensitivity pixel. Therefore, when the dynamic range is not expanded, the exposure time of all the pixels is the same. As described above, high-resolution image data can be obtained in the high-resolution shooting mode.
  • the exposure time of the low-sensitivity pixels When expanding the dynamic range, it is necessary to make the exposure time of the low-sensitivity pixels shorter than the exposure time of the high-sensitivity pixels.
  • the low sensitivity pixels since the low sensitivity pixels are arranged on the diagonal pixel line, the address difference between the low sensitivity pixels adjacent in the horizontal direction is fixed, and addressing to the low sensitivity pixels can be easily performed. it can.
  • FIG. 5 is an explanatory diagram of another embodiment instead of the embodiment of FIG.
  • all the pixels of the low sensitivity pixel line 45 are low sensitivity pixels.
  • every other g pixel on the low sensitivity pixel line 45 of FIG. 3 is made a high sensitivity G pixel, and the low sensitivity pixel line 46 is divided every three pixels between the G pixels.
  • one green filter stacked pixel of the green filter stacked pixels closest to the r pixel or b pixel (adjacent in the oblique direction) on the low sensitivity shooting drive pixel line becomes the g pixel driven with low sensitivity.
  • FIG. 6 is an explanatory diagram of still another embodiment of the present invention.
  • every other g pixel in the low sensitivity pixel line 45 of FIG. 3 is replaced with a high sensitivity G pixel. If the high-sensitivity G pixel is arranged on the low-sensitivity pixel line 45 in this way, the number of low-sensitivity pixels is reduced and the low-sensitivity resolution is lowered.
  • FIG. 7 which is a reprint of FIG. 3, the positions of the high-sensitivity G pixel and the low-sensitivity g pixel indicated by double-headed arrows are exchanged (the positional relationship is rotated 90 degrees with respect to the adjacent b pixel or r pixel).
  • the high-sensitivity resolution in the oblique direction can be improved similarly to the embodiment of FIG. 5 without reducing the number of low-sensitivity pixels.
  • a pair of low-sensitivity adjacent r pixels and g pixels and one pair of r pixels and b pixels are arranged one by one inside the grid array of 5 ⁇ 5 diagonal high-sensitivity G pixels.
  • one green filter stacked pixel of the green filter stacked pixels closest to the r pixel or b pixel (adjacent in the oblique direction) on the low sensitivity shooting drive pixel line becomes the g pixel driven with low sensitivity.
  • high-sensitivity G pixels are arranged in stripes every other line of pixel lines extending diagonally upward to the left, and the pixel spacing is narrow in the horizontal and vertical directions. Therefore, high resolution information can be obtained in the vertical and horizontal directions.
  • the high-sensitivity G pixel being arranged in the vertical and horizontal directions of the high-sensitivity R pixel, B pixel, and low-sensitivity r pixel, g pixel, and b pixel
  • a high-sensitivity image with high resolution can be created in the vertical and horizontal directions.
  • the low-sensitivity r pixel and g pixel adjacently and arranging the low-sensitivity r pixel and b pixel adjacently, it is possible to obtain low-sensitivity information with little color shift. Therefore, it is possible to obtain a subject color image with high resolution and a wide dynamic range with little color misregistration.
  • a pixel whose exposure time is shorter than the exposure time of other pixels is a low sensitivity pixel.
  • the exposure time of all the pixels may be the same, and the gain when gain amplification is performed by the AFE 22b in FIG. 1 may be large for high-sensitivity pixels and small for low-sensitivity pixels.
  • the difference between the high sensitivity pixel and the low sensitivity pixel is given by changing the driving method
  • the difference between the high sensitivity pixel and the low sensitivity pixel can be given by the pixel structure.
  • the opening area of the light shielding film opening of the low sensitivity pixel may be made smaller than the opening area of the light shielding film opening of the high sensitivity pixel.
  • the high sensitivity pixel has a structure in which microlenses are stacked
  • the low sensitivity pixel has a structure in which microlenses are not stacked, so that the driving method of all the pixels can be the same.
  • even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows, and pixel lines extending diagonally upward to the right and diagonally left Both the pixel lines extending in the upward direction are composed of only the green filter laminated pixels every other line, and one of the odd rows or even rows among the pixels arranged at the remaining checkered positions where the green filter laminated pixels are not arranged.
  • a solid-state imaging device driving method in which a pixel constituting the pixel is a red filter laminated pixel and a pixel constituting the other is a blue filter laminated pixel, the pixel line extending in the diagonally upward right direction or the diagonally upward left direction
  • the red filter stacked pixel, the blue filter stacked pixel, and the red filter existing on one line of every four of the extending pixel lines.
  • the green filter laminate pixel that is the closest to the data stack pixels or the blue filter laminate pixel driving a low-sensitivity pixels, and drives the rest of the pixels as the high-sensitivity pixels.
  • the green filter stacked pixel driven as the low sensitivity pixel is only on the same line as the red filter stacked pixel and the blue filter stacked pixel driven as the low sensitivity pixel.
  • the green filter stacked pixels driven as the low-sensitivity pixels are every other green filter stacked pixels among the green filter stacked pixels existing on the same line. It is.
  • the green filter stacked pixels included in the pixel line including the red filter stacked pixels and the blue filter stacked pixels constituting the low sensitivity pixels are driven as high sensitivity pixels.
  • the red filter stacked pixel of the low sensitivity pixel and the green filter stacked pixel adjacent to the blue filter stacked pixel are set as low sensitivity pixels.
  • the exposure time of the low-sensitivity pixel is set shorter than the exposure time of the high-sensitivity pixel. Reduce sensitivity.
  • the amplification factor for amplifying the output signal of the low-sensitivity pixel is lower than the amplification factor for amplifying the output signal of the high-sensitivity pixel as compared with the high-sensitivity pixel. Reduce the sensitivity of the low-sensitivity pixels.
  • the imaging apparatus interpolates the captured image signal of the pixel position of the low-sensitivity pixel and the captured image signal of the surrounding high-sensitivity pixel with the driving unit that is driven by any one of the driving methods described above.
  • a signal processing unit is obtained.
  • the high-sensitivity pixel used in the interpolation calculation is a captured image signal of a green filter stacked pixel.
  • the interpolation calculation is performed on the captured image signal at the pixel position of the high-sensitivity pixel using the captured image signal of the low-sensitivity pixel close to the high-sensitivity pixel.
  • the solid-state imaging device of the embodiment includes low-sensitivity pixels and high-sensitivity pixels, and even-numbered pixel rows are shifted by 1/2 pixel pitch with respect to odd-numbered pixel rows.
  • the pixels arranged at the remaining checkered positions where the green line and the pixel line extending obliquely in the upper left direction are composed of only green filter laminated pixels every other line, and the green filter laminated pixels are not arranged.
  • the pixel line extending in the diagonally upper right direction or the pixel line extending in the diagonally upper left direction is a pixel that configures one of the odd or even rows as a red filter multilayer pixel and the pixel that configures the other as a blue filter multilayer pixel.
  • Ku is the green filter laminate pixel that is the closest to the blue filter stack pixels constituted by the low-sensitivity pixels, constituting the remainder of the pixels in the high-sensitivity pixels.
  • the green filter stacked pixel of the low sensitivity pixel exists only on the same line as the red filter stacked pixel and the blue filter stacked pixel of the low sensitivity pixel.
  • the green filter stacked pixels of the low sensitivity pixels are every other green filter stacked pixels among the green filter stacked pixels existing on the same line.
  • the green filter stacked pixel included in the pixel line including the red filter stacked pixel and the blue filter stacked pixel constituting the low sensitivity pixel is changed to a high sensitivity pixel, and Among the green filter stacked pixels constituting the pixel line adjacent to the pixel line, the red filter stacked pixel of the low sensitivity pixel and the green filter stacked pixel adjacent to the blue filter stacked pixel are defined as low sensitivity pixels.
  • the opening area of the light shielding film opening of the low sensitivity pixel is smaller than the opening area of the light shielding film opening of the high sensitivity pixel.
  • a microlens is mounted on the high sensitivity pixel and a microlens is not mounted on the low sensitivity pixel.
  • the imaging apparatus includes a drive unit that drives the solid-state imaging device, and signal processing that is obtained by performing interpolation calculation on the captured image signal of the pixel position of the low-sensitivity pixel with the captured image signal of the surrounding high-sensitivity pixel. A part.
  • the captured image signal of the high-sensitivity pixel used in the interpolation calculation is a captured image signal of the green filter stacked pixel.
  • the signal processing unit captures the captured image signal of the pixel position of the high-sensitivity pixel when the high-sensitivity pixel is saturated.
  • the signal is used for interpolation calculation.
  • the driving method of the solid-state imaging device according to the present invention can capture a subject color image with a high resolution and a small dynamic range and a wide dynamic range, and is useful when applied to a digital camera, a camera-equipped mobile phone, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

 固体撮像素子の駆動方法であって、右斜め上方向に延びる画素ライン又は左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する赤色フィルタ積層画素及び青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する緑色フィルタ積層画素を低感度画素として駆動し、残りの画素を高感度画素として駆動する。

Description

固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
 本発明は固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置に係り、特に、高解像度,広ダイナミックレンジの被写体カラー画像を撮像するのに好適な単板式固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置に関する。
 水平方向,垂直方向の解像度が高い被写体カラー画像を撮像することができる固体撮像素子が下記の特許文献1,2に記載されている。この固体撮像素子の画素配列,カラーフィルタ配列について図8,図9を用いて説明する。
 図8は、正方格子配列された複数の画素(光電変換素子:フォトダイオード)の上に積層された3原色カラーフィルタR(赤)G(緑)B(青)の配列を示している。RGBの各配置位置が容易に分かる様に、RフィルタとBフィルタには○印を付けてある。
 この図8に示すカラーフィルタ配列では、偶数列と偶数行の各画素上にGフィルタを積層し、残りの位置の画素には、列方向,行方向でRフィルタとBフィルタを交互に積層している。換言すると、Gフィルタの積層画素(G画素)は、升目を形成する線の位置に配置され、升目状の目の位置にRフィルタの積層画素(R画素)とBフィルタの積層画素(B画素)が配置される
 この図8の画素配列,カラーフィルタ配列を、斜め45度に傾けた配列を示す図が図9である。画素配列は、所謂ハニカム画素配列となり、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずれた配置となる。
 ハニカム画素配列つまり市松位置の撮像画像信号が得られるため、隣接する縦横2画素の計4画素の中心位置の撮像画像信号を周囲の撮像画像信号を補間演算して求めると、画素数の2倍の撮像画像信号が得られ、縦方向,横方向に高解像度な被写体画像信号を得ることができる。
日本国特開平11―355790号公報 日本国特開2006―211631号公報
 上述した図9に示す画素配列,カラーフィルタ配列の固体撮像素子では、高解像度の被写体カラー画像を撮影することができる。しかし、ダイナミックレンジの広い画像を撮影できないという問題がある。隣接同色画素の撮像画像信号を加算する画素加算の手法でダイナミックレンジを拡大することも可能であるが、この場合には、解像度が犠牲になってしまうという問題がある。
 本発明の目的は、高解像度を維持したまま広ダイナミックレンジの被写体カラー画像を撮像することができる固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置を提供することである。
 本発明のある観点によれば、固体撮像素子の駆動方法は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画像が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を低感度画素として駆動し、残りの画素を高感度画素として駆動する。
 本発明の他の観点によれば、固体撮像素子は、低感度画素と、高感度画素を備え、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画像が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を上記低感度画素で構成し、残りの画素を上記高感度画素で構成する。
 本発明の他の観点によれば、撮像装置は、上記記載の固体撮像素子と、上記固体撮像素子を駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部とを備える。
 本発明によれば、高解像度かつ低偽色,広ダイナミックレンジの被写体カラー画像を撮像することができる。
本発明の一実施形態に係る撮像装置の機能ブロック図である。 図1に示すデジタル信号処理部の高解像度撮影モード時における機能ブロック図である。 本発明の第1実施形態に係る固体撮像素子の駆動方法の説明図である。 図1に示すデジタル信号処理部の広ダイナミックレンジ撮影モード時における機能ブロック図である。 図3に代わる実施形態の説明図である。 図5に代わる実施形態の説明図である。 図6の実施形態の説明図である。 画素配列,カラーフィルタ配列の説明図である。 図8の画素配列,カラーフィルタ配列を45度回転させた図である。
 以下、本発明の一実施形態について、図面を参照して説明する。
 図1は、本発明の一実施形態に係る固体撮像素子22aを搭載したデジタルカメラ(撮像装置)10の機能ブロック構成図である。このデジタルカメラ10は、撮影レンズ21aや絞り21b等を備える撮影光学系21、この撮影光学系21の後段に配置された撮像素子チップ22とを備える。
 撮像素子チップ22は、信号読出部がCCD型やCMOS型等のカラー画像撮像用単板式の固体撮像素子22aと、固体撮像素子22aから出力されるアナログの画像データを自動利得調整(AGC)や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部(AFE)22bと、アナログ信号処理部22bから出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部(A/D)22cとを備える。本実施形態では、固体撮像素子22aとしてCMOS型を例に説明する。
 このデジタルカメラ10は更に、後述のシステム制御部(CPU)29からの指示によって,固体撮像素子22a,アナログ信号処理部22b,A/D22cの駆動制御を行う駆動部(タイミングジェネレータTGを含む)23と、CPU29からの指示によって発光するフラッシュ25とを備える。駆動部23を撮像素子チップ22内に一緒に搭載する場合もある。
 本実施形態のデジタルカメラ10は更に、A/D22cから出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等の周知の画像処理を行うデジタル信号処理部26と、画像データをJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部(CPU)29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェース(I/F)部31と、これらを相互に接続するバス34とを備え、また、システム制御部29には、ユーザからの指示入力を行う操作部33が接続されている。
 CMOS型の固体撮像素子22aの画素配列,カラーフィルタ配列は、図9で説明した固体撮像素子と同じであり、各画素の受光面積は同一に形成され、遮光膜開口も同一広さに形成され、同一形状のマイクロレンズが搭載されるなど、その構造は同じである。
 そして、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずれた所謂ハニカム画素配列となっている。即ち、右斜め上に45度傾いた画素行(斜めに傾いた画素行を、以下、「ライン」ということにする。)のうち1ライン置きの全ての画素にGフィルタが積層され、左斜め上に45度傾いた画素ラインも1ライン置きの全ての画素にGフィルタが積層されている。
 Gフィルタを積層しない残りの画素位置は市松位置となる。この市松位置を、市松位置の奇数行の位置にくる第1正方配列位置と偶数行の位置にくる第2正方配列位置とに分けたとき、第1正方配列位置の各画素にRフィルタが積層され、第2正方配列位置の各画素にBフィルタが積層される。つまり、市松位置の奇数行(又は偶数行)をRフィルタ積層画素とし、市松位置の偶数行(又は奇数行)をBフィルタ積層画素としている。
 図1に示すデジタルカメラ10には、被写体のカラー画像を撮影するモードとして、高解像度撮影モードと、広ダイナミックレンジ撮影モードとが設けられている。ユーザが図1の操作部33から、高解像度撮影モード/広ダイナミックレンジ撮影モードのいずれかを手動で選択することも可能である。また、撮影モードの自動設定が選択されている場合には、固体撮像素子22aからスルー画像として出力される撮像画像信号をデジタル信号処理部26が解析し、明暗差が所定閾値より大きいとき広ダイナミックレンジ撮影モードが自動選択されるようにすることもできる。
 高解像度撮影モードが設定されている場合には、図9の全画素の露光時間を同一時間とし、各画素の撮像画像信号を読み出す。この実施形態では、CMOS型であるため、図9の1画素行順に撮像画像信号を読み出し、図1のデジタル信号処理部26が、図2に示す画像処理手順によって全画素位置の、R信号量,G信号量,B信号量を算出して、被写体のカラー画像データを生成する。
 固体撮像素子22aから撮像画像信号が読み出されると、この撮像画像信号は、図1のデジタル信号処理部26に入力される。この撮像画像信号には、G画素から出力される高感度G信号(次の実施形態で説明する広ダイナミックレンジ撮影モードで使用する「低感度」信号と区別するため、この高解像度撮影モード時の信号を「高感度」信号とする。)と、R画素からの高感度R信号と、B画素からの高感度B信号とがある。
 図2は、デジタル信号処理部26の高解像度撮影モード時に機能する所要部分の機能ブロック図である。デジタル信号処理部26に入力された高感度G信号は、先ず、全画素部G画素補間処理部26aに入力される。例えば、図9のR画素41の画素位置では、高感度R信号は出力されるが、このR画素41の位置における高感度G信号,高感度B信号は無い。このため、R画素41の位置の高感度G信号と高感度B信号とは、周りのG画素の出力信号、周りのB画素の出力信号から算出することになる。
 そこで、デジタル信号処理部26の全画素部G画素補間処理部26aは、固体撮像素子22aから取り込んだ高感度G信号に基づき、R画素位置の高感度G信号量がどの程度であるかを、また、B画素位置の高感度G信号量がどの程度であるかを、例えば当該R画素,B画素位置の周囲8個のG画素の出力信号の平均値として算出し、出力する。G画素位置の高感度G信号量は、当該G画素が検出信号高感度G信号量を出力する。
 固体撮像素子22aから出力された高感度R信号と高感度B信号は、デジタル信号処理部26のRB画素部GR差/GB差算出処理部26bに取り込まれる。この算出処理部26bには、G画素補間処理部26aで算出された高感度G信号量も取り込まれている。このため、図9の各R画素41の位置の夫々において、高感度G信号量と、自身の検出した高感度R信号量とが分かっている。このため、R画素41の位置毎の高感度〔G-R〕値が算出処理部26bにより算出される。同様に、B画素42の位置毎における高感度〔G-B〕値も算出処理部26bにより算出される。
 デジタル信号処理部26のGR差・GB差補間処理部26cは、R画素41の位置毎に算出された高感度〔G-R〕値を用いて、残りの全G画素位置及び全B画素位置の高感度〔G-R〕値を、線形補間演算等により算出すると共に、B画素42の位置毎に算出された高感度〔G-B〕値を用いて、残りの全G画素位置及び全R画素位置の高感度〔G-B〕値を、線形補間演算等により算出する。
 以上の線形補間演算等により、補間処理部26cからは、全画素(G画素,R画素,B画素)位置毎の高感度〔G-R〕値及び高感度〔G-B〕値がR信号量・B信号量生成処理部26dに出力される。生成処理部26dには、補間処理部26aからの全画素位置毎の高感度G信号量が入力されるため、生成処理部26dは、全画素位置毎に、{G-〔G-R〕}=R,{G-〔G-B〕}=Bの演算を行い、全画素位置毎の高感度R信号量と高感度B信号量とを求めて出力する。
 以上により、全画素位置毎の高感度G信号量が補間処理部26aから出力され、全画素位置毎の高感度R信号量と高感度B信号量とが生成処理部26dから出力されるため、デジタル信号処理部26の図示省略の画像処理部はこれら各R,G,B信号量を用いてガンマ補正やRGB/YC変換処理,正方変換処理等の周知の画像処理を施して、被写体の高解像度,低偽色のカラー画像データが生成される。
 広ダイナミックレンジ撮影モードが設定された場合には、全画素のうち大部分の画素を高感度撮影駆動し、残りの画素を低感度撮影駆動する。例えば、高感度撮影駆動する画素の露光時間に対して低感度撮影駆動する画素の露光時間を短く制御する。
 図3は、広ダイナミックレンジ撮影モード時における固体撮像素子22aの駆動方法の一例を示す図である。大文字のRGBを標記した画素が高感度撮影駆動する画素を示し、小文字のrgbを標記した画素が低感度撮影駆動する画素を示している。低感度撮影駆動する低感度画素ライン45(斜め画素行)を破線枠でも示している。
 図3に示す画素配列,カラーフィルタ配列では、斜めの画素ラインが1行置きにG画素のみとなっており、残りの画素ラインに、B画素とR画素が入っている。このため、B画素とR画素が含まれる斜め画素ラインを交互に、高感度撮影駆動画素ライン,低感度撮影駆動画素ラインとしている。つまり、全体的に言えば、斜め画素ラインの4ライン毎にRフィルタ(Bフィルタ)を含む1ラインを低感度撮影駆動画素ラインとしている。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つ又は2つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
 図4は、デジタル信号処理部26の広ダイナミックレンジ撮影モード時に機能する部分の機能ブロック図である。図3に示す低感度撮影駆動された低感度画素ライン45の構成画素から出力される撮像画像信号(低感度g信号,低感度r信号,低感度b信号)が全画素部rgb近傍補間処理部26fに取り込まれる。
 この補間処理部26fは、全画素位置(高感度撮影駆動される各画素位置、低感度撮影駆動される各画素位置)の各々の位置における低感度r信号量,低感度g信号量,低感度b信号量を、実際の低感度撮影駆動画素が取得した撮像画像信号量(低感度r信号量,低感度g信号量,低感度b信号量)を用いて線形補間して求め、算出結果を全画素部高感度RGBレベル判定&低感度・高感度データ合成処理部26gに出力する。
 補間処理部26fが線形補間演算を行う場合、低感度撮影駆動される全画素に対して画素数が少ないため、あまり広い領域の低感度信号を用いて線形補間してしまうと更に解像度が低下してしまう。このため、例えば隣接する同色低感度信号だけを用いた近傍補間演算処理を行う。
 合成処理部26gには、補間処理部26fからの低感度信号が取り込まれる他に、高感度撮影駆動画素からの撮像画像信号(高感度R信号,高感度G信号,高感度B信号)が取り込まれる。合成処理部26gは、取り込まれた撮像画像信号を用いて、全画素位置の各々の位置における高感度R信号量,高感度G信号量,高感度B信号量を補間演算等で求める。
 そして次に、合成処理部26gは、被写体画像の通常露光部分については、高感度信号を主体(低感度信号は、低感度画素数が少ないため解像度がとれないので、通常露光部分については低感度信号は使わなくても良い。)として被写体画像データを生成し、被写体画像のハイライト部分については低感度信号を主体として被写体画像データを生成する。ハイライト部分については、あまり解像度を細かくしても画像品質を向上させることにはならないため、解像度のとれない低感度信号を主体としてダイナミックレンジを優先する。ハイライト部分であるか否かは、高感度信号量のレベルが所定閾値以上であるか否かで検出できる。
 合成処理部26gの合成結果による赤色信号,緑色信号,青色信号は、後段の画像処理部により周知の画像処理が施され、高解像度かつ広ダイナミックレンジの被写体カラー画像データが生成される。
 以上述べた図3の実施形態における低感度撮影駆動される斜め低感度画素ライン45は、ダイナミックレンジ拡大用であり高輝度な情報を取得することはできず、撮像画像の高解像度への寄与は難しい。しかし、低感度撮影駆動される各画素(低感度画素)の上下左右が必ず高感度撮影駆動されるG画素となり、この周囲のG画素の検出信号によって低感度画素位置の画像データが補間されるため、低感度画素を設けることによる解像度低下は抑制される。この結果、高解像度かつ広ダイナミックレンジの画像データを得ることができる。
 画素の低感度化を露光時間で行う場合、画素自体の単位時間当たりの感度は高感度画素と同等なため、ダイナミックレンジの拡大を行わない場合には、全画素の露光時間を同一とし、上述した様に、高解像度撮影モードによって高解像度な画像データを得ることができる。
 ダイナミックレンジの拡大を行う場合は、低感度画素の露光時間を高感度画素の露光時間に比べて短時間にする必要が生じる。この駆動制御は、本実施形態の場合、低感度画素が斜め画素ライン上に配置されているため、水平方向に隣接する低感度画素のアドレス差は固定となり、容易に低感度画素へのアドレッシングができる。
 図5は、図3の実施形態に代わる別実施形態の説明図である。図3の実施形態では、低感度画素ライン45の全ての画素を低感度画素としている。これに対し、図5の実施形態では、図3の低感度画素ライン45上のg画素を1つ置きに高感度G画素とし、低感度画素ライン46をこのG画素間の3画素毎に分断して設けている。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
 この様に、斜めの低感度画素ラインのうち4画素に1画素を高感度G画素とすることで、斜め画素ライン方向の解像度低下を抑制することができる。
 図6は、本発明の更に別実施形態の説明図である。図5の実施形態では、図3の低感度画素ライン45の中のg画素を1つ置きに高感度G画素に置き換えている。この様にして、低感度画素ライン45上に高感度G画素を配置すると、低感度画素数が減少し、低感度解像度が低下してしまう。
 そこで、図3を再掲した図7に示す様に、双頭矢印で示した高感度G画素と低感度g画素の位置を交換(隣接b画素又はr画素に対して位置関係を90度回転させる)して図6の構成とすることで、低感度画素数を減らさずに、斜め方向の高感度解像度を、図5の実施形態と同様に改善することができる。この結果、5×5の斜め高感度G画素の升目配列の内部に、低感度の隣接するr画素g画素のペアとr画素b画素のペアとを1組みづつ配置したことになる。これにより、低感度撮影駆動画素ライン上のr画素又はb画素に最隣接(斜め方向に隣接)する緑色フィルタ積層画素の1つの緑色フィルタ積層画素が低感度駆動されるg画素となる。
 高感度G画素は、輝度情報に占める割合が高いため、G画素が多いと解像度を高めることができ、また、画像の解像度は縦横方向の解像度に大きく影響されることも知られている。低感度r画素,b画素及び高感度R画素,B画素は、高感度G画素ほど解像度には寄与しない。また、低感度g画素も、ハイライト部分以外では解像度に寄与しない。
 この図6に示す実施形態では、高感度G画素を左斜め上方向に延びる画素ラインの1行置きにストライプ状に配置したことになり、水平方向及び垂直方向では狭い画素間隔となる。このため、縦横方向に高い解像度の情報を得ることができる。
 高感度R画素,B画素及び低感度r画素,g画素,b画素の上下左右方向に必ず高感度G画素が配置される結果、縦横方向に高解像度の高感度画像を作成することができ、また、低感度r画素,g画素を隣接配置し、低感度r画素,b画素を隣接配置することで、色ズレが少ない低感度情報を得ることが可能となる。このため、高解像かつ色ズレの少ない広ダイナミックレンジの被写体カラー画像を得ることができる。
 なお、上述した実施形態では、同一受光面積の各画素のうち露光時間を他の画素(高感度画素)の露光時間より短くした画素を低感度画素としているが、露光時間を変えるのではなく、全画素の露光時間を同一とし、図1のAFE22bで利得増幅するときのゲインを高感度画素では大きく、低感度画素では小さくしても良い。
 また、駆動方法を変えることで高感度画素と低感度画素の違いを出したが、画素構造で高感度画素と低感度画素の違いを出すことも可能である。例えば、低感度画素の遮光膜開口の開口面積を高感度画素の遮光膜開口の開口面積よりも小さくしてもよい。また、高感度画素のみがマイクロレンズを積層した構造を有し、低感度画素がマイクロレンズを積層しない構造とし、全画素の駆動方法を同一とすることも可能である。
 以上述べた実施形態の固体撮像素子の駆動方法は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を低感度画素として駆動し、残りの画素を高感度画素として駆動する。
 また、実施形態の固体撮像素子の駆動方法では、上記低感度画素として駆動する上記緑色フィルタ積層画素が、上記低感度画素として駆動する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素と同一ライン上のみに存在する。
 また、実施形態の固体撮像素子の駆動方法では、上記低感度画素として駆動する上記緑色フィルタ積層画素が、上記同一ライン上に存在する上記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である。
 また、実施形態の固体撮像素子の駆動方法では、上記低感度画素を構成する上記赤色フィルタ積層画素と上記青色フィルタ積層画素を含む上記画素ラインに含まれる上記緑色フィルタ積層画素を高感度画素として駆動すると共に、上記画素ラインに隣接する画素ラインを構成する上記緑色フィルタ積層画素のうち上記低感度画素の上記赤色フィルタ積層画素と上記青色フィルタ積層画素に隣接する上記緑色フィルタ積層画素を低感度画素として駆動する。
 また、実施形態の固体撮像素子の駆動方法では、上記低感度画素の露光時間を上記高感度画素の露光時間に比べて短時間とすることで、上記高感度画素に比べて上記低感度画素の低感度化をはかる。
 また、実施形態の固体撮像素子の駆動方法では、上記低感度画素の出力信号を増幅する増幅率を上記高感度画素の出力信号を増幅する増幅率より低くすることで上記高感度画素に比べて上記低感度画素の低感度化をはかる。
 また、実施形態の撮像装置は、上記のいずれかに記載の駆動方法で駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部を備える。
 また、実施形態の撮像装置では、上記補間演算で用いる上記高感度画素が緑色フィルタ積層画素の撮像画像信号である。
 また、実施形態の撮像装置では、上記高感度画素が飽和したとき上記高感度画素の画素位置の上記撮像画像信号を上記高感度画素に近接する上記低感度画素の撮像画像信号を用いて補間演算し求める。
 また、実施形態の固体撮像素子は、低感度画素と、高感度画素を備え、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、上記緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、上記右斜め上方向に延びる画素ライン又は上記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する上記赤色フィルタ積層画素及び上記青色フィルタ積層画素及び上記赤色フィルタ積層画素若しくは上記青色フィルタ積層画素に最隣接する上記緑色フィルタ積層画素を上記低感度画素で構成し、残りの画素を上記高感度画素で構成する。
 また、実施形態の固体撮像素子では、上記低感度画素の上記緑色フィルタ積層画素が、上記低感度画素の上記赤色フィルタ積層画素及び上記青色フィルタ積層画素と同一ライン上のみに存在する。
 また、実施形態の固体撮像素子では、上記低感度画素の上記緑色フィルタ積層画素が、上記同一ライン上に存在する上記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である。
 また、実施形態の固体撮像素子では、上記低感度画素を構成する上記赤色フィルタ積層画素と上記青色フィルタ積層画素を含む上記画素ラインに含まれる上記緑色フィルタ積層画素を高感度画素にすると共に、上記画素ラインに隣接する画素ラインを構成する上記緑色フィルタ積層画素のうち上記低感度画素の上記赤色フィルタ積層画素と上記青色フィルタ積層画素に隣接する上記緑色フィルタ積層画素を低感度画素とする。
 また、実施形態の固体撮像素子では、上記低感度画素の遮光膜開口の開口面積が上記高感度画素の遮光膜開口の開口面積より小さい。
 また、実施形態の固体撮像素子では、上記高感度画素にマイクロレンズを搭載し上記低感度画素にマイクロレンズを非搭載とする。
 また、実施形態の撮像装置は、上記固体撮像素子を駆動する駆動部と、上記低感度画素の画素位置の撮像画像信号を周囲の上記高感度画素の撮像画像信号で補間演算して求める信号処理部を備える。
 また、実施形態の撮像装置では、上記補間演算で用いる上記高感度画素の撮像画像信号が緑色フィルタ積層画素の撮像画像信号である。
 また、実施形態の撮像装置では、上記信号処理部は、上記高感度画素が飽和したとき上記高感度画素の画素位置の上記撮像画像信号を上記高感度画素に近接する上記低感度画素の撮像画像信号を用いて補間演算し求める。
 以上述べた実施形態によれば、高解像度かつ低偽色の広ダイナミックレンジの被写体カラー画像を撮像することが可能となる。
 本発明を詳細に又は特定の実施形態を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。本出願は、2011年3月30日出願の日本特許出願(特願2011-076343)に基づくものであり、その内容はここに参照として取り込まれる。
 本発明に係る固体撮像素子の駆動方法は、高解像度かつ色ズレの少ない広ダイナミックレンジの被写体カラー画像を撮像でき、デジタルカメラやカメラ付携帯電話機等に適用すると有用である。
10 デジタルカメラ(撮像装置)
21 撮影光学系
22 撮像素子チップ
22a 固体撮像素子
22b アナログ信号処理部(AFE)
23 駆動部
26 デジタル信号処理部
29 システム制御部
45,46 低感度撮影画素ライン

Claims (15)

  1.  奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、該緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とした固体撮像素子の駆動方法であって、
     前記右斜め上方向に延びる画素ライン又は前記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する前記赤色フィルタ積層画素及び前記青色フィルタ積層画素及び該赤色フィルタ積層画素若しくは該青色フィルタ積層画素に最隣接する前記緑色フィルタ積層画素を低感度画素として駆動し、
     残りの画素を高感度画素として駆動する固体撮像素子の駆動方法。
  2.  請求項1に記載の固体撮像素子の駆動方法であって、
     前記低感度画素として駆動する前記緑色フィルタ積層画素は、前記低感度画素として駆動する該赤色フィルタ積層画素及び該青色フィルタ積層画素と同一ライン上のみに存在する固体撮像素子の駆動方法。
  3.  請求項2に記載の固体撮像素子の駆動方法であって、
     前記低感度画素として駆動する前記緑色フィルタ積層画素は、前記同一ライン上に存在する前記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である固体撮像素子の駆動方法。
  4.  請求項1に記載の固体撮像素子の駆動方法であって、
     前記低感度画素を構成する前記赤色フィルタ積層画素と前記青色フィルタ積層画素を含む前記画素ラインに含まれる前記緑色フィルタ積層画素を高感度画素として駆動すると共に、該画素ラインに隣接する画素ラインを構成する前記緑色フィルタ積層画素のうち前記低感度画素の前記赤色フィルタ積層画素と前記青色フィルタ積層画素に隣接する前記緑色フィルタ積層画素を低感度画素として駆動する固体撮像素子の駆動方法。
  5.  請求項1から請求項4のいずれか一項に記載の固体撮像素子の駆動方法であって、
     前記低感度画素の露光時間を前記高感度画素の露光時間に比べて短時間とすることで、前記高感度画素に比べて前記低感度画素の低感度化をはかる固体撮像素子の駆動方法。
  6.  請求項1から請求項4のいずれか一項に記載の固体撮像素子の駆動方法であって、
     前記低感度画素の出力信号を増幅する増幅率を前記高感度画素の出力信号を増幅する増幅率より低くすることで、前記高感度画素に比べて前記低感度画素の低感度化をはかる固体撮像素子の駆動方法。
  7.  低感度画素と、
     高感度画素を備え、
     奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置され、右斜め上方向に延びる画素ラインと左斜め上方向に延びる画素ラインとが共に1ライン置きに緑色フィルタ積層画素のみで構成され、
     該緑色フィルタ積層画素が配置されていない残りの市松位置に配置される画素のうち奇数行又は偶数行の一方を構成する画素を赤色フィルタ積層画素にすると共に他方を構成する画素を青色フィルタ積層画素とし、
     前記右斜め上方向に延びる画素ライン又は前記左斜め上方向に延びる画素ラインのうち一方の画素ラインの4ライン毎に1ライン上に存在する前記赤色フィルタ積層画素及び前記青色フィルタ積層画素及び該赤色フィルタ積層画素若しくは該青色フィルタ積層画素に最隣接する前記緑色フィルタ積層画素を前記低感度画素で構成し、残りの画素を前記高感度画素で構成した固体撮像素子。
  8.  請求項7に記載の固体撮像素子であって、
     前記低感度画素の前記緑色フィルタ積層画素は、前記低感度画素の前記赤色フィルタ積層画素及び前記青色フィルタ積層画素と同一ライン上のみに存在する固体撮像素子。
  9.  請求項8に記載の固体撮像素子であって、
     前記低感度画素の前記緑色フィルタ積層画素は、前記同一ライン上に存在する前記緑色フィルタ積層画素のうちの1個おきの緑色フィルタ積層画素である固体撮像素子。
  10.  請求項7に記載の固体撮像素子であって、
     前記低感度画素を構成する前記赤色フィルタ積層画素と前記青色フィルタ積層画素を含む前記画素ラインに含まれる前記緑色フィルタ積層画素を高感度画素にすると共に、該画素ラインに隣接する画素ラインを構成する前記緑色フィルタ積層画素のうち前記低感度画素の前記赤色フィルタ積層画素と前記青色フィルタ積層画素に隣接する前記緑色フィルタ積層画素を低感度画素とする固体撮像素子。
  11.  請求項7から請求項10のいずれか一項に記載の固体撮像素子であって、
     前記低感度画素の遮光膜開口の開口面積が前記高感度画素の遮光膜開口の開口面積より小さい固体撮像素子。
  12.  請求項7から請求項11のいずれか一項に記載の固体撮像素子であって、
     前記高感度画素にマイクロレンズを搭載し、前記低感度画素にマイクロレンズを非搭載とした固体撮像素子。
  13.  請求項7から請求項12のいずれか一項に記載の固体撮像素子と、
     前記固体撮像素子を駆動する駆動部と、
     前記低感度画素の画素位置の撮像画像信号を周囲の前記高感度画素の撮像画像信号で補間演算して求める信号処理部と、を備える撮像装置。
  14.  請求項13に記載の撮像装置であって、
     前記補間演算で用いる前記高感度画素の撮影画像信号が緑色フィルタ積層画素の撮像画像信号である撮像装置。
  15.  請求項13又は請求項14に記載の撮像装置であって、
     前記信号処理部は、前記高感度画素が飽和したとき該高感度画素の画素位置の前記撮像画像信号を該高感度画素に近接する前記低感度画素の撮像画像信号を用いて補間演算し求める撮像装置。
PCT/JP2012/058182 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 WO2012133551A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280001263.3A CN102959959B (zh) 2011-03-30 2012-03-28 固态成像装置驱动方法、固态成像装置及成像设备
JP2012540202A JP5150796B2 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
US13/665,510 US8830364B2 (en) 2011-03-30 2012-10-31 Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-076343 2011-03-30
JP2011076343 2011-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/665,510 Continuation US8830364B2 (en) 2011-03-30 2012-10-31 Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2012133551A1 true WO2012133551A1 (ja) 2012-10-04

Family

ID=46931259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058182 WO2012133551A1 (ja) 2011-03-30 2012-03-28 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US8830364B2 (ja)
JP (1) JP5150796B2 (ja)
CN (1) CN102959959B (ja)
WO (1) WO2012133551A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014766A (ja) * 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法
US11212461B2 (en) 2016-01-05 2021-12-28 Sony Corporation Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014006929A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
CN104253946B (zh) * 2013-06-27 2018-03-20 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN103680325A (zh) * 2013-12-17 2014-03-26 京东方科技集团股份有限公司 显示基板、显示面板和立体显示装置
CN106298826A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种图像传感器
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
WO2018170918A1 (en) * 2017-03-24 2018-09-27 Huawei Technologies Co., Ltd. Multi-camera system for low light

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005286104A (ja) * 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355790A (ja) 1998-06-09 1999-12-24 Fuji Film Microdevices Co Ltd 二次元カラー撮像素子
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP2004112768A (ja) * 2002-08-29 2004-04-08 Sanyo Electric Co Ltd 撮像装置
US7570290B2 (en) 2004-12-27 2009-08-04 Sony Corporation Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
JP2006211631A (ja) 2004-12-27 2006-08-10 Sony Corp 固体撮像装置および撮像装置
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5292689B2 (ja) * 2006-10-31 2013-09-18 日本電気株式会社 熱型赤外線撮像装置及びその動作方法
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5002738B2 (ja) * 2010-07-12 2012-08-15 パナソニック株式会社 画像生成装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125209A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 固体撮像装置および信号読出し方法
JP2005286104A (ja) * 2004-03-30 2005-10-13 Fuji Film Microdevices Co Ltd 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212461B2 (en) 2016-01-05 2021-12-28 Sony Corporation Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges
US11895408B2 (en) 2016-01-05 2024-02-06 Sony Group Corporation Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges
JP2018014766A (ja) * 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法

Also Published As

Publication number Publication date
US20130057736A1 (en) 2013-03-07
US8830364B2 (en) 2014-09-09
CN102959959A (zh) 2013-03-06
JP5150796B2 (ja) 2013-02-27
CN102959959B (zh) 2016-02-24
JPWO2012133551A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP5150796B2 (ja) 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置
JP6440844B2 (ja) 固体撮像装置
US9729805B2 (en) Imaging device and defective pixel correction method
US8576315B2 (en) Imaging device and imaging apparatus for performing focus alignment
JP4448889B2 (ja) 撮像素子及び撮像装置
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP4253634B2 (ja) デジタルカメラ
JP2009268073A (ja) 撮像装置及び撮像装置の信号処理方法
JP4291793B2 (ja) 固体撮像素子および固体撮像装置
US8111298B2 (en) Imaging circuit and image pickup device
WO2012147515A1 (ja) 撮像装置及び撮像方法
JP2009065478A (ja) 固体撮像素子の駆動方法及び撮像装置
JP4512504B2 (ja) マイクロレンズ搭載型単板式カラー固体撮像素子及び画像入力装置
JP5033711B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2007235877A (ja) 多板式固体撮像素子モジュール及び撮像装置
JP5066476B2 (ja) 撮像装置
JP4848349B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5256084B2 (ja) 撮像装置及び撮像装置の駆動方法
JP6451315B2 (ja) 撮像装置
JP2016063467A (ja) 画像信号処理方法及びそれを用いた撮像装置
JP2012080297A (ja) 撮像装置及びその撮像制御方法
JP2009033015A (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001263.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012540202

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12765956

Country of ref document: EP

Kind code of ref document: A1