WO2015097776A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
WO2015097776A1
WO2015097776A1 PCT/JP2013/084650 JP2013084650W WO2015097776A1 WO 2015097776 A1 WO2015097776 A1 WO 2015097776A1 JP 2013084650 W JP2013084650 W JP 2013084650W WO 2015097776 A1 WO2015097776 A1 WO 2015097776A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pixel
incident light
imaging device
image
Prior art date
Application number
PCT/JP2013/084650
Other languages
English (en)
French (fr)
Inventor
吉田　大輔
雄一 野中
朋和 石原
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to PCT/JP2013/084650 priority Critical patent/WO2015097776A1/ja
Publication of WO2015097776A1 publication Critical patent/WO2015097776A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Definitions

  • the present invention relates to an imaging element and an imaging apparatus.
  • Patent Document 1 As background art in this technical field.
  • the summary of the publication describes, as a problem, “Providing an image processing apparatus and an imaging apparatus capable of improving the visibility of a target object”, and as a solving means, “This image processing apparatus constitutes a visible image. An address of a pixel having a high luminance is obtained from the pixels to be reduced, and the luminance of the pixel of the infrared image at the address corresponding to the obtained address is decreased, and the infrared light source 4 is intermittently synchronized with the income of the infrared image. Since the user can see the visible image, the brightness of the pixels of the infrared image corresponding to this portion can be reduced to selectively obtain only the image of the invisible object. , The visibility of a target object, that is, an object that is difficult to see can be improved. "
  • Patent Document 1 in order to cover the band from the visible light region to the infrared region, an image is captured using two cameras, a visible light camera and an infrared light camera, and the captured images are merged and displayed.
  • the method is described.
  • the method of photographing using two cameras there is a problem that it is necessary to adjust the photographing timing and the angle of view in order to perform appropriate image composition, and adjustment is troublesome.
  • it is necessary to incorporate two cameras or image sensors in the system and there is room for improvement in terms of manufacturing cost.
  • an object of the present invention is to provide an imaging apparatus that performs high-quality imaging with high contrast and color reproducibility while simultaneously capturing images with visible light and invisible light.
  • an imaging device that realizes high sensitivity by superimposing an object that emits invisible light on a visible light image or by expanding the sensitivity band to not only visible light but also invisible light is provided.
  • an imaging apparatus capable of simultaneously capturing visible light and infrared light will be described with reference to the drawings. This embodiment is particularly effective when shooting is performed using a surveillance camera equipped with an infrared light source, a vehicle-mounted camera, or the like.
  • an imaging device capable of simultaneously capturing visible light and infrared light will be described as an example. However, in addition to infrared light, invisible light such as ultraviolet light and visible light may be simultaneously captured. Is also applicable.
  • FIG. 1 is a block diagram illustrating the overall configuration of the imaging apparatus of the present embodiment.
  • the imaging apparatus includes an imaging element 101, a signal processing unit 102, a driving unit 103, an input unit 104, and a control unit 105.
  • the signal processing unit 102 includes a linearization processing unit 1021, a luminance matrix calculation unit 1022, a gamma processing unit 1023, an RGB matrix calculation unit 1024, a gamma processing unit 1025, and a color difference matrix processing unit 1026.
  • the image sensor 101 operates by receiving a control signal such as a timing pulse necessary for driving from the driving unit 103.
  • a control signal such as a timing pulse necessary for driving from the driving unit 103.
  • the imaging element 101 A signal (W signal) of a pixel configured to photoelectrically convert light in all wavelength bands that can be photoelectrically converted is output.
  • the R signal, G signal, and B signal have linear characteristics
  • the W signal has nonlinear characteristics.
  • Each signal is subjected to serial-parallel conversion processing, demosaicing processing, and the like at the input unit 104, and then input to the signal processing unit 102 to generate and output a luminance signal and a color signal.
  • the control unit 105 controls the operations of the image sensor 101 and the signal processing unit 102.
  • the W signal is input to the linearization processing unit 1021 and subjected to linearization processing. The contents of the linearization process will be described later.
  • the R signal, the G signal, the B signal, and the W signal after the linearization process are input to the luminance matrix calculation unit 1022, where the matrix calculation is performed and converted into the luminance signal. Then, after the conversion processing is performed by the gamma processing unit 1023, the final luminance signal (Y signal) is output.
  • the R signal, G signal, and B signal are simultaneously input to the RGB matrix calculation unit 1024, and the signal level is adjusted by matrix calculation.
  • the gamma processing unit 1025 performs conversion processing
  • the color difference matrix processing unit 1026 converts the color difference signals (Cr signal, Cb signal) by matrix calculation and outputs them.
  • an imaging device capable of obtaining a high-quality image while maintaining color reproducibility by generating color difference signals only from visible light while superimposing non-visible light as luminance information. Is feasible.
  • the image sensor 101 may be a CCD or a CMOS, but is provided with a photodiode for performing photoelectric conversion for each pixel, an amplifying unit, and a pixel selecting unit, which are arranged in a two-dimensional array.
  • a color filter is provided on the surface of each pixel. By transmitting only light of a specific wavelength, the amount of light in that wavelength band is selectively photoelectrically converted into an electric signal. By changing the characteristics of the color filter for each pixel, it is possible to know how much light of which wavelength is present at each position in the screen in a sampling manner.
  • FIG. 2 is a diagram for explaining the arrangement of color filters added to an image sensor used in a general camera.
  • R indicates a pixel to which a color filter that selectively transmits wavelengths near red is added.
  • G denotes a pixel to which a color filter that selectively transmits a wavelength near green and B selectively transmits a wavelength near blue is added.
  • FIG. 3 is a diagram for explaining the arrangement of the color filters added to the image sensor 101 in FIG.
  • the difference from the configuration shown in FIG. 2 is that one of the G pixels in the 2 pixel ⁇ 2 pixel array pattern is configured to photoelectrically convert light in all wavelength bands without adding a color filter. This is a point replaced with a pixel (W pixel).
  • W pixel In a general imaging device using silicon, light in a wavelength band from 190 nm to 1100 nm can be photoelectrically converted.
  • a signal (W signal) corresponding to a wavelength from visible light (actually ultraviolet light) to near infrared light is used. It can be acquired. By utilizing this signal, infrared light that cannot be seen by human eyes can be reflected in the image.
  • FIG. 4 is a diagram for explaining the sensitivity of each pixel of the image sensor shown in FIG. 2 and FIG.
  • the horizontal axis represents the wavelength of light
  • the vertical axis represents the wavelength vs. sensitivity characteristic of each pixel for light of that wavelength.
  • the light from the subject and the illumination light are not monochromatic light but have a distribution with a width.
  • sunlight has a very wide distribution.
  • the output of each pixel is the integrated value (that is, area) of the sensitivity curve shown in FIG.
  • the output of the W pixel is much larger than the output of the R pixel, the G pixel, and the B pixel, and is easily saturated as the light amount increases.
  • the W signal is saturated, the information in the bright part is lost.
  • the signal level is lowered by exposure adjustment so that the W signal is not saturated, the signal levels of the R pixel, G pixel, and B pixel are also lowered, and the S / N is lowered.
  • FIG. 5 shows output characteristics of the R pixel, the G pixel, and the B pixel in the image sensor 101.
  • FIG. 6 shows the output characteristics of the W pixel in the image sensor 101 (solid line).
  • the characteristics of the R pixel, G pixel, and B pixel are indicated by dotted lines.
  • the R pixel, G pixel, and B pixel have output characteristics in which the incident light amount and the output signal level have a linear relationship, and the W pixel has a nonlinear relationship, for example, a signal level that is substantially proportional to the logarithm of the incident light amount.
  • the characteristics are as follows.
  • the “linear relationship” means that when a characteristic curve is drawn with the incident light amount and the signal level as axes, the inclination is substantially constant regardless of the incident light amount.
  • the “non-linear relationship” indicates that the inclination varies according to the amount of incident light.
  • the characteristic curve As shown in FIG. 6, by setting the characteristic curve so that the slope of the characteristic curve decreases as the amount of incident light increases, the signal is less likely to be saturated even when the amount of incident light is large. However, in other words, it can be said that the change in the signal amount becomes smaller with respect to the change in the amount of incident light. Therefore, if the output characteristics of the R pixel, G pixel, and B pixel are non-linear characteristics as shown in FIG. 6, the difference in signal level between the R signal, G signal, and B signal is small, and the color is light. Therefore, there is a problem from the viewpoint of color reproducibility. Therefore, the R pixel, G pixel, and B pixel have linear characteristics as shown in FIG. 5, and the W pixel has nonlinear characteristics as shown in FIG. 6, so that both color reproducibility and dynamic range can be achieved. Yes.
  • FIGS. 7A and 7B show a circuit configuration for one pixel for providing output characteristics as shown in FIGS.
  • FIG. 7A is an example of a circuit configuration of a pixel having an output with a linear characteristic as shown in FIG. 5, and includes one photodiode and three transistors.
  • 201 is a photodiode
  • 202 is a detection node
  • 203 is a reset transistor
  • 204 is a drain
  • a power supply VD is applied thereto.
  • Reference numeral 205 denotes an amplification transistor
  • 206 denotes a selection transistor
  • 207 denotes a signal line
  • ⁇ RS denotes a reset clock
  • ⁇ S denotes a pixel selection clock.
  • the photodiode 201 is reset to the potential VD by a reset operation by the reset transistor 203, and then signal charges generated by incident light are accumulated.
  • the detection node potential VS decreases from VD, and the amount of decrease is proportional to the amount of incident light and the accumulation period. Accordingly, in the accumulation for a certain period, the change amount ⁇ VS of VS is proportional to the amount of incident light, and the value is amplified by the amplifying transistor 205 and then selected by the selecting transistor 206 and read out to the signal line 207. In this way, a signal proportional to the amount of incident light can be extracted.
  • FIG. 7B is an example of a circuit configuration of a pixel having a nonlinear characteristic output as shown in FIG. 6, and is composed of one photodiode and three transistors as in FIG. 7A.
  • the reference numerals in the figure are the same as those in FIG. 7A.
  • 7A is different from the configuration shown in FIG. 7A in that a DC (direct current) potential is applied to the gate of the reset transistor 203. Since the gate voltage of the reset transistor 203 is fixed, the potential thereof is a constant value ⁇ G (H). When the charge generated by the incident light is accumulated to some extent and the source potential VS becomes deeper than ⁇ G (H), the transistor 203 enters a weak inversion state and the subthreshold current Isubth flows.
  • K1 and K2 are constants.
  • VS K1 ⁇ log (Ip) + K2
  • the R signal, G signal, B signal, and W signal are analog quantities at this point. Therefore, the signal amount is converted into a digital amount by A / D conversion.
  • the quantization accuracy of the R signal, G signal, B signal, and W signal may be the same or different.
  • the bit accuracy of the R signal, G signal, and B signal may be 12 bits
  • the bit accuracy of the W signal may be 16 bits.
  • the W signal is subjected to linearization processing, which will be described later. In a region where the amount of incident light is relatively high, the change in the amount of incident light has a relatively small effect on the change in the output signal. There is a possibility of causing a quantization error during the quantization process. In order to prevent this, it is very effective to improve the bit accuracy of A / D conversion only for the W signal.
  • the image sensor 101 outputs an R signal, a G signal, and a B signal proportional to the incident light amount and a W signal proportional to the logarithm of the incident light amount.
  • FIG. 8 is a diagram illustrating an example of a conversion method into a linear signal in the linearization processing unit 1021.
  • the W signal 301 before conversion When the relationship between the incident light amount and the W signal 301 before conversion is known, it can be converted into a linear signal by performing inverse conversion from the W signal to the incident light amount.
  • the inverse transformation may be performed by calculation or by table reference. By performing the inverse transformation in this way, the W signal can be handled as a linear signal, and a signal exceeding the saturation level of the sensor that cannot be obtained by the linear characteristic can be obtained.
  • the linearization facilitates handling in the subsequent luminance matrix calculation.
  • FIG. 9 is a block diagram showing another example of a conversion method into a linear signal in the linearization processing unit 1021.
  • 10A to 10C are diagrams showing correction characteristics of the W signal.
  • the signal corresponding to the linear signal is generated by improving the contrast of the W signal instead of performing the conversion to the linear signal by inverse conversion.
  • the linearization processing unit 1021 includes a local average calculation unit 10211, a correction coefficient calculation unit 10212, a bright part gradation enlargement part 10213, a dark part gradation enlargement part 10214, and an intermediate gradation enlargement part 10215. Part 10216.
  • the W signal input to the linearization processing unit 1021 is input to the local average calculation unit 10211, and the average value of the signal levels of the currently processed pixel and its surrounding pixels is calculated.
  • the average value may be an arithmetic average, a weighted average, a result obtained by applying a low-pass filter with an arbitrary number of taps / coefficients, or other means.
  • the pixel currently being processed is simultaneously input to the dark part gradation enlargement part 10214, the bright part gradation enlargement part 10213, and the intermediate gradation enlargement part 10215.
  • the dark part gradation enlargement unit 10214 corrects the input signal with the characteristics shown in FIG. 10A, and enlarges the dark part gradation.
  • the bright portion gradation enlargement unit 10213 emphasizes the bright portion gradation with the characteristics as shown in FIG. 10C
  • the intermediate gradation enlargement portion 10215 emphasizes the intermediate gradation with the properties as shown in FIG. 10B.
  • FIG. 11 is a diagram showing a correction method for enlarging the contrast of the W signal.
  • the horizontal axis represents the position in the image, and the vertical axis represents the signal level of the W signal.
  • the W signal is actually a two-dimensional signal, but is expressed in one dimension for the sake of explanation.
  • the signal level of the W signal is generally low (that is, the local average value is low) and there is a small signal amplitude (which corresponds to a picture) as in the region of FIG.
  • the minute amplitude in the dark part is amplified, and the contrast is improved as shown in (g) of FIG.
  • the W signal is in the vicinity of the intermediate level as shown in FIG.
  • the contrast is corrected as shown in FIG. 11H by correcting with the correction characteristics as shown in FIG. 11E. Enlarged. If the W signal is at a high level as shown in (c) of FIG. 11, the contrast is expanded as shown in (i) of FIG. 11 by correcting with the correction characteristics as shown in (f) of FIG.
  • the average value obtained by the local average calculation unit 10211 is input to the correction coefficient calculation unit 10212, a coefficient to be multiplied by the output of the dark part gradation enlargement part 10213, and a coefficient to be multiplied by the output of the bright part gradation enlargement part 10214
  • the coefficients to be multiplied with the output of the intermediate gradation enlargement unit 10215 are calculated. Specifically, each coefficient is obtained according to the average value, and when the average value is low, control is performed so as to increase the coefficient of the output of the dark part gradation enlargement unit 10213. When the average value is intermediate, control is performed to increase the coefficient of the output of the intermediate gradation enlarging unit 10215.
  • control is performed so as to increase the coefficient of the output of the bright gradation expanding unit 10214.
  • the arithmetic unit 10216 weights and averages the outputs of the dark part gradation enlarging part 10213, the bright part gradation enlarging part 10214, and the intermediate gradation enlarging part 10215 according to the respective coefficients, thereby calculating the W signal after the linearization processing. Calculate to find.
  • the contrast of the W signal can be increased by appropriately expanding the gradation according to the local average value.
  • the gradation of the dark part and the gradation of the bright part are enhanced in an easy-to-see manner, so that the information possessed by the W signal is included in the final luminance signal output of the imaging apparatus. It becomes possible to reflect more.
  • the matrix calculation is performed by the luminance matrix calculation unit 1022 together with the R signal, the G signal, and the B signal.
  • the matrix operation is expressed as follows.
  • ⁇ to ⁇ are matrix calculation coefficients, which are set by the control unit 105 described later.
  • Y represents a luminance signal (Y signal).
  • ⁇ to ⁇ may be constant values or values that change according to the situation. For example, when the signal amount of the R signal, the G signal, and the B signal is detected by a signal amount detection unit (not shown) and these signal amounts exceed a predetermined threshold (that is, a condition that the visible light is sufficiently irradiated) ) Can be controlled to decrease the coefficient ⁇ of the W signal, and can be controlled to increase ⁇ when the signal amount is less than the threshold value.
  • a predetermined threshold that is, a condition that the visible light is sufficiently irradiated
  • control By controlling in this way, it is possible to obtain sensitivity by maintaining the luminance reproducibility in a bright environment and reflecting the influence of non-visible light on the luminance when the environment becomes dark.
  • control is an example, and appropriate control differs depending on the purpose of using the imaging apparatus, and therefore other control methods may be used.
  • the Y signal obtained by the matrix operation is subjected to gamma processing by the gamma processing unit 1023 and output as the final Y signal.
  • the R signal, G signal, and B signal are input to the RGB matrix calculation unit 1024 in parallel, and R ′ signal, G ′ signal, and B ′ signal are obtained by matrix calculation processing. These signals are essentially the same as the R signal, the G signal, and the B signal, but the signal level is finely adjusted to improve the color reproducibility of the imaging apparatus.
  • the R ′ signal, the G ′ signal, and the B ′ signal are obtained as follows.
  • R ′ ⁇ 1 ⁇ R + ⁇ 1 ⁇ G + ⁇ 1 ⁇ B
  • G ′ ⁇ 2 ⁇ R + ⁇ 2 ⁇ G + ⁇ 2 ⁇ B
  • B ′ ⁇ 3 ⁇ R + ⁇ 3 ⁇ G + ⁇ 3 ⁇ B
  • ⁇ 1 to ⁇ 3 are matrix calculation coefficients, which are set by the control unit 105 described later.
  • the obtained R ′ signal, G ′ signal, and B ′ signal are subjected to gamma processing in the gamma processing unit 1025 and output. Thereafter, the color difference matrix calculation unit 1026 obtains color difference signals (Cb signal, Cr signal) by matrix calculation.
  • the method of generating the color difference signal is determined by the image signal standard. For example, ITU-R Recommendation BT. 709 defines that the color difference signals are calculated as follows.
  • the characteristic of the W signal has been described as a logarithmic characteristic so far, but may be another characteristic that is not a logarithmic characteristic. For example, it may be a two-stage broken line as shown in FIG. 12, or another non-linear characteristic.
  • an imaging device capable of simultaneously capturing visible light and infrared light will be described using an example. This embodiment is particularly effective when shooting is performed using a surveillance camera equipped with an infrared light source, a vehicle-mounted camera, or the like. In this embodiment, an imaging device capable of simultaneously capturing visible light and infrared light will be described as an example. However, in addition to infrared light, invisible light such as ultraviolet light and visible light may be simultaneously captured. Is also applicable.
  • FIG. 13 is a block diagram showing the overall configuration of the present embodiment. The difference from the first embodiment is that there is no linearization processing unit.
  • the image sensor 101 operates by receiving a control signal such as a timing pulse necessary for driving from the driving unit 103.
  • a control signal such as a timing pulse necessary for driving from the driving unit 103.
  • the imaging element 101 A signal (W signal) of a pixel configured to photoelectrically convert light in all wavelength bands that can be photoelectrically converted is output.
  • the R signal, the G signal, and the B signal have a linear characteristic
  • the W signal has a linear characteristic, but has a characteristic that is less sensitive than other signals.
  • Each signal is subjected to serial-parallel conversion processing, demosaicing processing, and the like at the input unit 104, and then input to the signal processing unit 102 to generate and output a luminance signal and a color signal.
  • the control unit 105 controls the operations of the image sensor 101 and the signal processing unit 102.
  • the R signal, the G signal, the B signal, and the W signal are input to the luminance matrix calculation unit 1022 and subjected to matrix calculation to be converted into a luminance signal. Thereafter, the gamma processing unit 1023 performs conversion processing, and then outputs the final luminance signal.
  • the R signal, G signal, and B signal are simultaneously input to the RGB matrix calculation unit 1024, and the signal level is adjusted by matrix calculation. Subsequently, the gamma processing unit 1025 performs conversion processing, and the color difference matrix processing unit 1026 converts the color difference signal into a color difference signal by matrix calculation and outputs the color difference signal.
  • FIG. 14 shows the output characteristics of each pixel of the image sensor 101.
  • the output characteristics of the R pixel, G pixel, and B pixel are indicated by solid lines, and the output characteristics of the W pixel are indicated by dotted lines.
  • the output characteristic of the W pixel is less sensitive than the other three pixels, and compensates for the fact that the signal amount of the W pixel is increased in principle.
  • the method of reducing the sensitivity may be a method of placing a filter for reducing the amount of light such as an ND filter in the W pixel, or an electrical means such as changing the gain of signal amplification in the transistor. By this method, the saturation of the W signal can be suppressed and the dynamic range can be maintained.
  • the dynamic range of the W signal can be improved by increasing the number of A / D conversion bits for only the W signal, which is effective.
  • an imaging device capable of simultaneously capturing visible light and infrared light will be described using an example. This embodiment is particularly effective when shooting is performed using a surveillance camera equipped with an infrared light source, a vehicle-mounted camera, or the like. In this embodiment, an imaging device capable of simultaneously capturing visible light and infrared light will be described as an example. However, in addition to infrared light, invisible light such as ultraviolet light and visible light may be simultaneously captured. Is also applicable.
  • the overall configuration of the imaging apparatus of the present embodiment is the same as that shown in FIGS. 1 and 12, for example, but the configuration of the imaging device 101 is different.
  • FIG. 15 shows a configuration of a color filter added to the image sensor 101 used in the imaging apparatus of the present embodiment.
  • an IR (near infrared) pixel is employed instead of the W pixel in the arrangement of FIG. 3 used in the above description.
  • IR pixels By using IR pixels in this way, it is possible to acquire an image signal of only infrared light that does not include visible light.
  • a special reagent that emits infrared fluorescence is used. When observing the affected area, there is a merit that only the affected area can be selectively imaged, which is effective.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • the arrangement order of the color filters added to the image sensor can be appropriately replaced.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • 101 Image sensor
  • 102 Signal processing unit
  • 1021 Linearization processing unit
  • 10211 Local average calculation unit
  • 10212 Correction coefficient calculation unit
  • 10213 Bright part gradation enlargement part
  • 10214 Dark part gradation enlargement part
  • 10215 Intermediate gradation enlargement unit
  • 1022 luminance matrix calculation unit
  • 1023 gamma processing unit
  • 1024 RGB matrix calculation unit
  • 1025 gamma processing unit
  • 1026 color difference matrix calculation unit
  • 103 drive unit
  • 104 input unit
  • 105 control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

可視光と非可視光を同時に撮影しつつ、コントラストや色再現性の高い高画質な撮像を行うことのできる撮像装置を提供する。 被写体からの入射光量に対して、出力する信号量が第一の光電変換特性を有する画素と、第二の光電変換特性を有する画素を備えた撮像素子を用いる。前者の画素はＲＧＢ信号を出力し、後者の画素は非可視光を含め光電変換できるすべての波長帯の光に応じたＷ信号を出力する。Ｗ信号はその信号レベルに応じてコントラストが強調される。これによりＲＧＢ信号の色再現性を保ったうえで、コントラストの高い画像が得られる。

Description

撮像素子および撮像装置
　本発明は、撮像素子および撮像装置に関する。
　本技術分野の背景技術として、特許文献１がある。該公報の要約には、課題として、「目的対象物の視認性を向上可能な画像処理装置及び撮像装置を提供する」と記載され、解決手段として、「この画像処理装置は、可視画像を構成する画素のうち輝度の高い画素のアドレスを求め、求められたアドレスに対応するアドレスの赤外画像の画素の輝度を低下させる。また、赤外光源４を赤外画像の所得時に同期して間欠的に点灯させる。使用者は可視画像を目視することができるので、この部分に対応する赤外画像の画素の輝度を低下させることにより、目視できない物体の画像のみを選択的に得ることができ、目的対象物、すなわち見えにくい物体の視認性を向上させることができる。」と記載されている。
特開２００３－１８９２９７号公報
　近年、広い撮影ダイナミックレンジを持つ撮像装置に対するニーズが高まっている。また、可視光のみならず赤外光や紫外光などの非可視光を画像として記録し、可視光画像と融合して表示することにより、画像に含まれる情報量を増やして利用することも行われている。このような用途では、すべての波長帯域において適切な信号レベルを得ることが好ましい。
　前記特許文献１では、可視光域から赤外域までの帯域をカバーするため、可視光用カメラと赤外光用カメラの２台を用いて画像を撮影し、撮影した画像を融合して表示する手法が記載されている。本手法では、可視光用カメラと赤外光用カメラでそれぞれ露光制御ができるため、それぞれに最適な露光で撮影を行うことができる。しかしながら、２台のカメラを用いて撮影する手法では、適切な画像合成を行うために、撮影タイミングや画角を合わせる必要があり、調整に手間がかかるという問題がある。また、カメラもしくは撮像素子をシステムに２つ組み込む必要があり、製造コストの点からも改善の余地がある。
　そこで、本発明は、可視光と非可視光で同時に撮影しつつ、コントラストや色再現性の高い高画質な撮像を行う撮像装置を提供することを目的とする。例えば、非可視光を発する物体を可視光画像に重畳して表示し、或いは、可視光だけでなく非可視光まで感度帯域を広げることによって高感度を実現する撮像装置を提供する。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
　本発明によれば、高画質な撮像装置を提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第１の実施形態の撮像装置の構成を説明するブロック図である。 一般的なカメラに用いられる撮像素子のカラーフィルタの構成を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子のカラーフィルタの構成を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子の画素ごとの波長－感度特性を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子のＲ画素、Ｇ画素、Ｂ画素の出力特性を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子のＷ画素の出力特性を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子の各画素を実現するための回路構成を示す図である。 第１の実施形態の撮像装置で用いられる撮像素子の各画素を実現するための回路構成を示す図である。 線形化処理の一例を説明する図である。 線形化処理の実現方法の一例を説明するブロック図である。 Ｗ信号の補正特性を示す図である。 Ｗ信号の補正特性を示す図である。 Ｗ信号の補正特性を示す図である。 Ｗ信号の補正方法を示す図である。 Ｗ画素の入出力特性を示す図である。 第２の実施形態の撮像装置の構成を説明するブロック図である。 第２の実施形態の撮像装置で用いられる撮像素子のＲ画素、Ｇ画素、Ｂ画素、Ｗ画素の出力特性を示す図である。 第３の実施形態の撮像装置で用いられる撮像素子のカラーフィルタの構成を示す図である。
　以下、本発明の実施形態について図面を用いて説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
　本実施形態では、可視光と赤外光を同時に撮影できる撮像装置について、図面を用いて説明する。本実施形態は、赤外光源を備えた監視カメラや車載カメラなどを用いて撮影を行う場合などに、特に有効である。なお、本実施形態では可視光と赤外光を同時に撮影できる撮像装置を例に挙げて説明するが、赤外光以外にも紫外光など別の非可視光と可視光を同時に撮影する場合にも適用できる。
　図１は、本実施形態の撮像装置の全体構成を説明するブロック図である。本実施形態の撮像装置は、撮像素子１０１、信号処理部１０２、駆動部１０３、入力部１０４、制御部１０５を有している。また、信号処理部１０２は、線形化処理部１０２１、輝度マトリクス演算部１０２２、ガンマ処理部１０２３、ＲＧＢマトリクス演算部１０２４、ガンマ処理部１０２５、色差マトリクス処理部１０２６を有している。
　本実施形態の撮像装置の動作について説明する。撮像素子１０１は駆動部１０３より駆動に必要なタイミングパルス等の制御信号を受けて動作する。撮像素子１０１からは、赤色近傍の波長に対応する信号（Ｒ信号）、緑色近傍の波長に対応する信号（Ｇ信号）、青色近傍の波長に対応する信号（Ｂ信号）に加え、撮像素子１０１が光電変換できるすべての波長帯の光を光電変換するように構成された画素の信号（Ｗ信号）が出力される。ここで、Ｒ信号、Ｇ信号、Ｂ信号は線形特性、Ｗ信号は非線形特性を有している。撮像素子１０１の特徴及び線形特性・非線形特性の定義は後述する。各信号は入力部１０４にてシリアル－パラレル変換処理やデモザイキング処理などが施された後、信号処理部１０２へ入力され、輝度信号及び色信号が生成されて出力される。制御部１０５は撮像素子１０１および信号処理部１０２の動作を制御する。
　続いて、信号処理部１０２の動作について説明する。Ｗ信号は線形化処理部１０２１へ入力され、線形化処理が施される。線形化処理の内容については後述する。Ｒ信号、Ｇ信号、Ｂ信号、線形化処理後のＷ信号は輝度マトリクス演算部１０２２へ入力され、マトリクス演算が施されて輝度信号へ変換される。その後、ガンマ処理部１０２３にて変換処理が施された後、最終的な輝度信号（Ｙ信号）として出力される。
　Ｒ信号、Ｇ信号、Ｂ信号は同時にＲＧＢマトリクス演算部１０２４へ入力され、マトリクス演算による信号レベルの調整が行われる。次いで、ガンマ処理部１０２５にて変換処理が施され、色差マトリクス処理部１０２６にてマトリクス演算で色差信号（Ｃｒ信号、Ｃｂ信号）へ変換されて出力される。
　上記のような構成をとることにより、非可視光を輝度情報として重畳しながら、色差信号は可視光のみから生成することによって色再現性を維持し、高画質な画像を得ることのできる撮像装置を実現可能である。
　以下、本実施形態の撮像装置を構成する各要素について、詳細な説明を加える。
　撮像素子１０１はＣＣＤでもＣＭＯＳでもよいが、各画素について光電変換を行うためのフォトダイオード、増幅部、画素選択部が備わっており、これが２次元のアレイ状に整列した構造となっている。各画素の表面にはカラーフィルタが備わっており、特定波長の光のみを透過することによって、その波長帯の光の量を選択的に光電変換して電気信号に変換する。カラーフィルタの特性を画素ごとに変えることにより、どの波長の光がどの程度存在するのかを画面内の各位置についてサンプリング的に知ることができる。
　図２は、一般的なカメラに用いられる撮像素子に付加されているカラーフィルタの配列を説明する図である。Ｒは赤色近傍の波長を選択的に透過するようなカラーフィルタが付加された画素を示している。同様に、Ｇは緑色近傍の波長を、Ｂは青色近傍の波長を選択的に透過するようなカラーフィルタが付加された画素を示す。このような撮像素子を用いることにより、赤色近傍の波長に対応する信号（Ｒ信号）、緑色近傍の波長に対応する信号（Ｇ信号）、青色近傍の波長に対応する信号（Ｂ信号）をそれぞれ取得することができ、これらを適切に処理することによって、カラー画像を生成することができる。
　図３は、これに対し、図１の撮像素子１０１に付加されているカラーフィルタの配列を説明する図である。図２に示した構成と異なる点は、２画素×２画素の配列パターンのうち、Ｇ画素の１つが、カラーフィルタを付加せず、すべての波長帯の光を光電変換するように構成された画素（Ｗ画素）に置き換えられている点である。シリコンを用いた一般的な撮像素子では、１９０ｎｍから１１００ｎｍの波長帯の光を光電変換することができる。このような撮像素子を用いる場合、図２に示した撮像素子を用いた場合に加えて、可視光（実際には紫外光）から近赤外光までの波長に対応する信号（Ｗ信号）を取得することが可能となる。この信号を活用することによって、人間の目では見えない赤外光も画像に反映することができる。
　図４は、図２および図３に示した撮像素子の各画素の感度を説明する図である。横軸が光の波長、縦軸がその波長の光に対する各画素の波長対感度の特性を表す。通常、被写体からの光や照明光は単色光ではなく、幅を持った分布になっている。たとえば太陽光などは非常に幅広い分布をしている。説明のために、すべての波長の光が一様の強度で分布する仮想的な光源を仮定すると、各画素の出力は、図４に示した感度曲線の積分値（つまり面積）となる。つまり、Ｒ画素、Ｇ画素、Ｂ画素の出力と比較して、Ｗ画素の出力は飛びぬけて大きく、光量の増大に伴って容易に飽和してしまう。Ｗ信号が飽和すると明部の情報が損なわれ、Ｗ信号が飽和しないように露光調整によって信号レベルを下げると、Ｒ画素、Ｇ画素、Ｂ画素の信号レベルも下がってしまい、Ｓ／Ｎが低下して画質を損なう。したがって、Ｗ画素の扱いには工夫が必要である。そこで、本実施形態のカメラでは、Ｗ画素の光電変換の特性をＲ画素、Ｇ画素、Ｂ画素と異なるものにすることによって、上述の問題に対応している。
　図５は、撮像素子１０１におけるＲ画素、Ｇ画素、Ｂ画素の出力特性を表す。
　図６は、撮像素子１０１におけるＷ画素の出力特性を表す（実線）。比較のため、Ｒ画素、Ｇ画素、Ｂ画素の特性を点線で付記してある。Ｒ画素、Ｇ画素、Ｂ画素については、入射光量と出力信号レベルが線形関係にあるような出力特性とし、Ｗ画素については非線形関係、たとえば入射光量の対数にほぼ比例するような信号レベルとなるような特性とする。ここで、「線形関係」とは、入射光量と信号レベルをそれぞれ軸にとった特性曲線を描いた場合に、その傾きが入射光量によらずほぼ一定であることを指すものとする。同様に、「非線形関係」とは、傾きが入射光量に応じて変動することを指すものとする。図６のように、入射光量が大きくなればそれだけ特性曲線の傾きが小さくなるような特性とすることにより、入射光量が大きい場合でも信号が飽和しにくくなる。しかしながら、これは言い換えると、入射光量の変化に対して信号量の変化が小さくなるともいえる。したがって、もしＲ画素、Ｇ画素、Ｂ画素の出力特性を図６のような非線形の特性とした場合、Ｒ信号、Ｇ信号、Ｂ信号の相互の信号レベルの差は小さくなるため、色が薄くなり、色再現性の観点から問題がある。そこで、Ｒ画素、Ｇ画素、Ｂ画素は図５のように線形特性とし、Ｗ画素は図６のような非線形な特性とすることにより、色再現性とダイナミックレンジを両立できるように工夫している。
　図７Ａと図７Ｂは、図５および図６のような出力特性を持たせるための１画素分の回路構成を示す。
　図７Ａは図５のような線形特性の出力を持つ画素の回路構成の一例であり、１つのフォトダイオードと３つのトランジスタから構成される。２０１はフォトダイオード、２０２は検出ノード、２０３はリセット用トランジスタ、２０４はドレインで電源ＶＤが印加される。２０５は増幅用トランジスタ、２０６は選択用トランジスタ、２０７は信号線、φＲＳはリセットクロック、φＳは画素選択クロックを表す。動作させる際には、まずリセット用トランジスタ２０３によるリセット動作によりフォトダイオード２０１を電位ＶＤにリセットした後、入射光により発生した信号電荷が蓄積される。電荷の蓄積に伴い検出ノード電位ＶＳはＶＤから低下し、その低下量は入射光量と蓄積期間に比例する。従って一定期間の蓄積ではＶＳの変化量ΔＶＳは入射光量に比例し、その値を増幅用トランジスタ２０５で増幅した後、選択用トランジスタ２０６で選択して信号線２０７に読み出す。このようにして、入射光量に比例する信号を取り出すことができる。
　図７Ｂは図６のような非線形特性の出力を持つ画素の回路構成の一例であり、図７Ａと同様、１つのフォトダイオードと３つのトランジスタから構成される。図中の符号は図７Ａと同じである。リセット用トランジスタ２０３のゲートにはＤＣ（直流）電位が印加されている点が図７Ａで示した構成と異なる。リセット用トランジスタ２０３のゲート電圧が固定されているため、そのポテンシャルは一定値ψＧ（Ｈ）となる。入射光によって発生した電荷がある程度蓄積し、ソース電位ＶＳがψＧ（Ｈ）よりも深くなると、トランジスタ２０３は弱反転状態となり、サブスレッショルド電流Ｉｓｕｂｔｈが流れるようになる。このとき、ソース電位ＶＳとサブスレッショルド電流Ｉｓｕｂｔｈの関係は、
　　　　ＶＳ＝Ｋ１・ｌｏｇ（Ｉｓｕｂｔｈ）＋Ｋ２
と表される。ここで、Ｋ１とＫ２は定数である。ここで、光電流Ｉｐはサブスレッショルド電流Ｉｓｕｂｔｈと等しくなるように変化するため、
　　　　ＶＳ＝Ｋ１・ｌｏｇ（Ｉｐ）＋Ｋ２
と表すことができ、ソース電位ＶＳが光電流Ｉｐと対数関係となる状態が出現する。このように、フォトダイオードとトランジスタを用いることにより、線形特性と非線形特性を作り出すことが可能であり、かつ、その特性はトランジスタ２０３のゲートに印加する電圧のみで制御することができるため、１つの撮像素子に両者を混在させることには大きな技術的ハードルは存在しないといえる。
　Ｒ信号、Ｇ信号、Ｂ信号、Ｗ信号は、この時点ではアナログ量である。そこで、Ａ／Ｄ変換によって、信号量はデジタル量に変換される。ここで、Ｒ信号、Ｇ信号、Ｂ信号とＷ信号の量子化精度は同じであってもよいし、異なっていてもよい。たとえば、Ｒ信号、Ｇ信号、Ｂ信号のビット精度は１２ビットとし、Ｗ信号のビット精度は１６ビットなどとしてもよい。Ｗ信号には後述の線形化処理が施されるが、入射光量の比較的高い領域においては入射光量の変化が出力信号の変化に及ぼす影響が比較的小さくなるため、量子化精度が粗いと線形化処理の際に量子化誤差を生じる可能性がある。これを防ぐために、Ｗ信号のみＡ／Ｄ変換のビット精度を向上させることは非常に有効である。
　以上のようにして、撮像素子１０１からは入射光量に比例したＲ信号、Ｇ信号、Ｂ信号と入射光量の対数に比例したＷ信号が出力される。
　図８は、線形化処理部１０２１における線形信号への変換の方式の例を示した図である。入射光量と変換前のＷ信号３０１の関係が判明している場合には、Ｗ信号から入射光量へ逆変換を行うことによって線形信号へ変換することができる。逆変換は、演算によるものでも、テーブル参照によるものでもよい。このように逆変換を行うことにより、Ｗ信号を線形信号として取り扱うことができるようになり、かつ線形特性では得られないようなセンサの飽和レベルを超えた信号を得ることができる。また、線形化を行うことにより、後段の輝度マトリクス演算においても取り扱いが容易となる。
　図９は、線形化処理部１０２１における線形信号への変換の方式の別の例を示したブロック図である。
　図１０Ａ乃至図１０Ｃは、Ｗ信号の補正特性を示す図である。
　この例では、線形信号への変換を逆変換によって行うのではなく、Ｗ信号のコントラストを改善することによって線形信号相当の信号を生成する。この例における線形化処理部１０２１は、局所平均算出部１０２１１と、補正係数算出部１０２１２と、明部階調拡大部１０２１３と、暗部階調拡大部１０２１４と、中間階調拡大部１０２１５と、演算部１０２１６とを有する。まず、線形化処理部１０２１へ入力されたＷ信号は局所平均算出部１０２１１へ入力され、現在処理している画素とその周辺画素の信号レベルの平均値が算出される。平均値は算術平均でもよいし、重み付け平均でもよいし、任意のタップ数・係数のローパスフィルタをかけた結果でも、またその他の手段でもよいものとする。
　現在処理している画素は同時に暗部階調拡大部１０２１４、明部階調拡大部１０２１３、中間階調拡大部１０２１５へ入力される。暗部階調拡大部１０２１４では、図１０Ａに示すような特性で入力信号が補正され、暗部の階調が拡大される。同様に、明部階調拡大部１０２１３では図１０Ｃのような特性で明部階調が、中間階調拡大部１０２１５では図１０Ｂのような特性で中間階調が強調される。
　階調の拡大処理について、図を用いて補足する。
　図１１は、Ｗ信号のコントラストを拡大する補正方法を示す図である。横軸は画像内の位置、縦軸はＷ信号の信号レベルとする。Ｗ信号は実際には２次元の信号であるが、説明のため１次元で表現している。図１１の（ａ）の領域のように、Ｗ信号の信号レベルが総じて低く（つまり局所平均値が低く）、微小な信号振幅（これが絵柄に相当する）が存在する場合には、図１１の（ｄ）のような補正特性で補正することにより、暗部の微小振幅が増幅され、図１１の（ｇ）のようにコントラストが向上する。同様に、図１１の（ｂ）のようにＷ信号が中間レベル付近であれば、図１１の（ｅ）のような補正特性で補正することにより、図１１の（ｈ）のようにコントラストが拡大される。図１１の（ｃ）のようにＷ信号が高レベルにあれば、図１１の（ｆ）のような補正特性で補正することにより、図１１の（ｉ）のようにコントラストが拡大される。
　一方、局所平均算出部１０２１１で求められた平均値は、補正係数算出部１０２１２へ入力され、暗部階調拡大部１０２１３の出力に掛け算する係数、明部階調拡大部１０２１４の出力に掛け算する係数、中間階調拡大部１０２１５の出力に掛け算する係数がそれぞれ算出される。具体的には、平均値に応じてそれぞれの係数を求めるようになっており、平均値が低い場合には暗部階調拡大部１０２１３の出力の係数を上げるように制御する。平均値が中間の場合には中間階調拡大部１０２１５の出力の係数を上げるように制御する。平均値が高い場合には明部階調拡大部１０２１４の出力の係数を上げるように制御する。演算部１０２１６は、それぞれの係数に応じて暗部階調拡大部１０２１３、明部階調拡大部１０２１４、中間階調拡大部１０２１５のそれぞれの出力を重み付け平均することによって線形化処理後のＷ信号を計算して求める。
　このように、局所的な平均値に応じて適切に階調を拡大することにより、Ｗ信号のコントラストを上げることができる。図８のような方式で線形化した場合と比較して、暗部の階調も明部の階調も見やすく強調されるため、本撮像装置の最終的な輝度信号出力にＷ信号の持つ情報をより多く反映させることが可能となる。
　以上は線形化処理の例を示したものであり、同様の効果が得られる変換処理であれば上記の２例に限定されるものではないものとする。
　図１の線形化処理部１０２１でＷ信号の線形化処理が施された後、Ｒ信号、Ｇ信号、Ｂ信号とともに輝度マトリクス演算部１０２２にてマトリクス演算が施される。マトリクス演算は以下のように表される。
　　　　Ｙ＝α・Ｒ＋β・Ｇ＋γ・Ｂ＋δ・Ｗ
　ここで、α～δはマトリクス演算の係数であり、後述する制御部１０５によって設定される。また、Ｙは輝度信号（Ｙ信号）を表す。α～δはある一定値であってもよいし、状況に応じて変化する値でもよい。たとえば、図示していない信号量検出部においてＲ信号、Ｇ信号、Ｂ信号の信号量を検出し、これらの信号量が所定の閾値を超える場合（つまり可視光が十分に照射されるような条件）には、Ｗ信号の係数δを下げる方向に制御し、信号量が閾値に満たない場合にはδを上げる方向に制御することもできる。このように制御することにより、明るい環境における輝度再現性を維持しつつ、環境が暗くなった場合には非可視光の影響を輝度に多く反映することによって感度を得ることができる。なお、上記の制御は一例であり、適切な制御は撮像装置を使用する目的によって異なるため、他の制御方法でもよいものとする。
　マトリクス演算によって得られたＹ信号は、ガンマ処理部１０２３でガンマ処理が施され、最終的なＹ信号として出力される。
　Ｒ信号、Ｇ信号、Ｂ信号については、並行してＲＧＢマトリクス演算部１０２４へ入力され、マトリクス演算処理によりＲ’信号、Ｇ’信号、Ｂ’信号が得られる。これらの信号はＲ信号、Ｇ信号、Ｂ信号と本質的には同じものであるが、撮像装置の色再現性を高めるために、信号レベルの微調整が加えられたものである。Ｒ’信号、Ｇ’信号、Ｂ’信号は次のようにして得られる。
　　　　Ｒ’＝α１・Ｒ＋β１・Ｇ＋γ１・Ｂ
　　　　Ｇ’＝α２・Ｒ＋β２・Ｇ＋γ２・Ｂ
　　　　Ｂ’＝α３・Ｒ＋β３・Ｇ＋γ３・Ｂ
　ここで、α１～γ３はマトリクス演算の係数であり、後述する制御部１０５によって設定される。
　得られたＲ’信号、Ｇ’信号、Ｂ’信号は、ガンマ処理部１０２５においてガンマ処理が施され、出力される。その後、色差マトリクス演算部１０２６において、マトリクス演算により色差信号（Ｃｂ信号、Ｃｒ信号）が得られる。色差信号の生成の仕方は画像信号の規格により定められており、たとえばＩＴＵ－Ｒ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ＢＴ．７０９によれば、色差信号はそれぞれ次のように演算するよう規定されている。
Ｃｂ＝－０．１１４５７２・Ｒ’－０．３８５４２８・Ｇ’＋０．５・Ｂ’
Ｃｒ＝０．５・Ｒ’－０．４１８６８８・Ｇ’－０．０８１３１２・Ｂ’
このようにして、最終的な色差信号を得る。
　以上のような構成により、可視光から赤外光までの広い帯域の光を活用しつつ、ダイナミックレンジも広く取れる撮像装置を実現することが可能となる。
　なお、Ｗ信号の特性は対数特性としてこれまで説明してきたが、対数特性ではない別の特性であってもよい。たとえば、図１２に示すような２段階の折れ線であってもよいし、別の非線形特性であってもよい。
　本実施形態では、可視光と赤外光を同時に撮影できる撮像装置について、例を用いて説明する。本実施形態は、赤外光源を備えた監視カメラや車載カメラなどを用いて撮影を行う場合などに、特に有効である。なお、本実施形態では可視光と赤外光を同時に撮影できる撮像装置を例に挙げて説明するが、赤外光以外にも紫外光など別の非可視光と可視光を同時に撮影する場合にも適用できる。
　図１３は、本実施形態の全体構成を示したブロック図である。第１の実施形態と異なる点は、線形化処理部が存在しないことである。
　本実施形態の撮像装置の動作について説明する。撮像素子１０１は駆動部１０３より駆動に必要なタイミングパルス等の制御信号を受けて動作する。撮像素子１０１からは、赤色近傍の波長に対応する信号（Ｒ信号）、緑色近傍の波長に対応する信号（Ｇ信号）、青色近傍の波長に対応する信号（Ｂ信号）に加え、撮像素子１０１が光電変換できるすべての波長帯の光を光電変換するように構成された画素の信号（Ｗ信号）が出力される。ここで、Ｒ信号、Ｇ信号、Ｂ信号は線形特性を有し、Ｗ信号は線形特性であるが他の信号よりも感度を落とした特性を有している。各信号は入力部１０４にてシリアル－パラレル変換処理やデモザイキング処理などが施された後、信号処理部１０２へ入力され、輝度信号及び色信号が生成されて出力される。制御部１０５は撮像素子１０１および信号処理部１０２の動作を制御する。
　続いて、信号処理部１０２の動作について説明する。Ｒ信号、Ｇ信号、Ｂ信号、Ｗ信号は輝度マトリクス演算部１０２２へ入力され、マトリクス演算が施されて輝度信号へ変換される。その後、ガンマ処理部１０２３にて変換処理が施された後、最終的な輝度信号として出力される。
　Ｒ信号、Ｇ信号、Ｂ信号は同時にＲＧＢマトリクス演算部１０２４へ入力され、マトリクス演算による信号レベルの調整が行われる。次いで、ガンマ処理部１０２５にて変換処理が施され、色差マトリクス処理部１０２６にてマトリクス演算で色差信号へ変換されて出力される。
　本実施形態の撮像装置を構成する各要素については、第１の実施形態の撮像装置について説明した際に言及されているので、説明を省略し、本実施形態に特有のもののみを説明する。
　図１４は、撮像素子１０１の各画素の出力特性を示したものである。Ｒ画素、Ｇ画素、Ｂ画素の出力特性を実線で、Ｗ画素の出力特性を点線で示してある。Ｗ画素の出力特性は他の３画素と比較して感度を落としてあり、Ｗ画素の信号量が原理的に大きくなる点を補っている。感度を落とす方法は、Ｗ画素にＮＤフィルタのような光量低減のためのフィルタを置く方式でもよいし、トランジスタでの信号増幅のゲインを変更するなどの電気的な手段でもよいものとする。この方式により、Ｗ信号の飽和を抑制することができ、ダイナミックレンジを維持することが可能となる。
　また、本実施形態においても、Ｗ信号のみＡ／Ｄ変換のビット数を上げることによって、Ｗ信号のダイナミックレンジを向上させることができ、有効である。
　本実施形態の撮像装置では、線形化のための演算が不要であり、輝度算出もすべて線形信号として扱うことができるため、可視光・赤外光同時撮像の可能な撮像装置を手軽に構成することが可能である。
　本実施形態では、可視光と赤外光を同時に撮影できる撮像装置について、例を用いて説明する。本実施形態は、赤外光源を備えた監視カメラや車載カメラなどを用いて撮影を行う場合などに、特に有効である。なお、本実施形態では可視光と赤外光を同時に撮影できる撮像装置を例に挙げて説明するが、赤外光以外にも紫外光など別の非可視光と可視光を同時に撮影する場合にも適用できる。
　本実施形態の撮像装置の全体構成はたとえば図１及び図１２と同様であるが、撮像素子１０１の構成が異なる。
　図１５は、本実施形態の撮像装置で用いる撮像素子１０１に付加されるカラーフィルタの構成を示している。これまでの説明で用いてきた図３の配列におけるＷ画素に代えてＩＲ（近赤外）画素を採用している点が異なる。このようにＩＲ画素を用いることにより、可視光を含まない赤外光のみの画像信号を取得することが可能であり、たとえば医療用途などで、赤外光の蛍光を発する特殊な試薬を用いて患部を観察する場合などに、当該患部のみを選択的に画像化できるなどのメリットがあり、有効である。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、撮像素子に付加されるカラーフィルタの配列順序についても適宜置換することが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１０１：撮像素子、１０２：信号処理部、１０２１：線形化処理部、１０２１１：局所平均算出部、１０２１２：補正係数算出部、１０２１３：明部階調拡大部、１０２１４：暗部階調拡大部、１０２１５：中間階調拡大部、１０２１６：演算部、１０２２：輝度マトリクス演算部、１０２３：ガンマ処理部、１０２４：ＲＧＢマトリクス演算部、１０２５：ガンマ処理部、１０２６：色差マトリクス演算部、１０３：駆動部、１０４：入力部、１０５：制御部。

Claims (9)

  1. 　被写体からの入射光を光電変換して画像信号を出力する撮像装置であって、
    　可視光の波長帯の前記入射光を光電変換してＲＧＢ色信号を生成する前記入射光量と前記画像信号レベルとの間の特性が線形な画素と、非可視光の波長帯を含めて前記入射光を光電変換して第１の輝度信号を生成する前記入射光量と前記画像信号レベルとの間の特性が前記ＲＧＢ信号とは異なる画素とを有し、生成した前記ＲＧＢ色信号と第１の輝度信号を出力する撮像素子と、
    　該撮像素子から供給されたＲＧＢ色信号と第１の輝度信号とを演算処理し、色信号と第２の輝度信号とを生成して出力する信号処理部とを有する
    　ことを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記第１の輝度信号は可視光の波長帯を含めた前記入射光を光電変換して生成される
    　ことを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記第１の輝度信号は近赤外光の波長帯を含めた前記入射光を光電変換して生成される
    　ことを特徴とする撮像装置。
  4. 　請求項１に記載の撮像装置において、
    　前記第１の輝度信号を生成するための画素は、前記入射光量と前記画像信号レベルとの間の特性が非線形であり、
    　前記信号処理部は、
    　前記第１の輝度信号を線形化処理して前記第２の輝度信号を生成する
    　ことを特徴とする撮像装置。
  5. 　請求項１に記載の撮像装置において、
    　前記第１の輝度信号を生成するための画素は、前記入射光量と前記画像信号レベルとの間の特性が線形であり、画素感度が前記ＲＧＢ信号を生成する画素よりも低い
    　ことを特徴とする撮像装置。
  6. 　請求項１に記載の撮像装置において、
    　前記信号処理部が出力する色信号は前記ＲＧＢ色信号に基づき、前記第２の輝度信号は前記第１の輝度信号と前記ＲＧＢ色信号に基づいて生成される
    　ことを特徴とする撮像装置。
  7. 　請求項１に記載の撮像装置において、
    　前記信号処理部は、第１の輝度信号に対して輝度レベルに応じたコントラスト調整をして前記第２の輝度信号を生成する
    　ことを特徴とする撮像装置。
  8. 　請求項１に記載の撮像装置において、
    　前記信号処理部は、前記撮像素子から供給されたＲＧＢ信号と第１の輝度信号を演算処理するための量子化処理を行い、該量子化処理のための量子化分解能において前記第１の輝度信号は前記ＲＧＢ色信号よりも高い
    　ことを特徴とする撮像装置。
  9. 　被写体からの入射光を光電変換して画像信号を量子化して出力する撮像素子であって、
    　可視光の波長帯の前記入射光を光電変換してＲＧＢ色信号を生成する前記入射光量と前記画像信号レベルとの間の特性が線形な画素と、非可視光の波長帯を含めて前記入射光を光電変換して輝度信号を生成する前記入射光量と前記画像信号レベルとの間の特性が非線形な画素とを有し、
    　前記ＲＧＢ信号と輝度信号を量子化して出力する際の量子化分解能において前記輝度信号は前記ＲＧＢ信号よりも高い
    　ことを特徴とする撮像素子。
PCT/JP2013/084650 2013-12-25 2013-12-25 撮像素子および撮像装置 WO2015097776A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/084650 WO2015097776A1 (ja) 2013-12-25 2013-12-25 撮像素子および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/084650 WO2015097776A1 (ja) 2013-12-25 2013-12-25 撮像素子および撮像装置

Publications (1)

Publication Number Publication Date
WO2015097776A1 true WO2015097776A1 (ja) 2015-07-02

Family

ID=53477718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/084650 WO2015097776A1 (ja) 2013-12-25 2013-12-25 撮像素子および撮像装置

Country Status (1)

Country Link
WO (1) WO2015097776A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068598A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 成像方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03237888A (ja) * 1990-02-14 1991-10-23 Matsushita Electric Ind Co Ltd カラー撮像装置
JP2005143038A (ja) * 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2011243817A (ja) * 2010-05-20 2011-12-01 Sony Corp 固体撮像装置及び電子機器
WO2013027326A1 (ja) * 2011-08-23 2013-02-28 コニカミノルタアドバンストレイヤー株式会社 固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03237888A (ja) * 1990-02-14 1991-10-23 Matsushita Electric Ind Co Ltd カラー撮像装置
JP2005143038A (ja) * 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2011243817A (ja) * 2010-05-20 2011-12-01 Sony Corp 固体撮像装置及び電子機器
WO2013027326A1 (ja) * 2011-08-23 2013-02-28 コニカミノルタアドバンストレイヤー株式会社 固体撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068598A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 成像方法和装置

Similar Documents

Publication Publication Date Title
JP6597636B2 (ja) 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US10560642B2 (en) Image processing device, image processing method and imaging device
JP2013093914A (ja) 画像入力装置
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
US11006055B2 (en) Imaging device and method for driving the same, and imaging apparatus
TW200803537A (en) Method and apparatus providing automatic color blancing for digital imaging systems
JP2013121132A (ja) 撮像装置及び撮像方法
WO2017086155A1 (ja) 撮像装置、撮像方法、およびプログラム
US20030184673A1 (en) Automatic exposure control for digital imaging
JP2009130395A (ja) 撮像装置および電子情報機器
US11200647B2 (en) Image processing
JP5375168B2 (ja) 調整装置及び調整方法、並びに撮像装置
WO2015097776A1 (ja) 撮像素子および撮像装置
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
US8508613B2 (en) Image capturing apparatus
JP2017063362A (ja) 撮像装置および撮像方法
JP5464008B2 (ja) 画像入力装置
JP2009290795A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2013219452A (ja) 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
JP2009081526A (ja) 撮像装置
JP5520135B2 (ja) 画像処理装置
WO2022113917A1 (ja) 撮像素子、撮像方法および撮像装置
JP2018037741A (ja) イメージセンサを有する撮像装置及びその制御プログラム
JP2011234148A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13900347

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 13900347

Country of ref document: EP

Kind code of ref document: A1