WO2011155135A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2011155135A1
WO2011155135A1 PCT/JP2011/002843 JP2011002843W WO2011155135A1 WO 2011155135 A1 WO2011155135 A1 WO 2011155135A1 JP 2011002843 W JP2011002843 W JP 2011002843W WO 2011155135 A1 WO2011155135 A1 WO 2011155135A1
Authority
WO
WIPO (PCT)
Prior art keywords
visible
signal
color difference
luminance
image
Prior art date
Application number
PCT/JP2011/002843
Other languages
English (en)
French (fr)
Inventor
掃部　幸一
片桐　哲也
Original Assignee
コニカミノルタオプト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタオプト株式会社 filed Critical コニカミノルタオプト株式会社
Priority to US13/702,961 priority Critical patent/US20130083157A1/en
Priority to JP2012519226A priority patent/JPWO2011155135A1/ja
Priority to EP11792097.5A priority patent/EP2579573A4/en
Publication of WO2011155135A1 publication Critical patent/WO2011155135A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • the present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that generates color images by performing image processing on original image data having a wide dynamic range.
  • An image sensor having a general linear photoelectric conversion characteristic has a narrow dynamic range, the luminance distribution in a dark part or a bright part cannot be accurately imaged even for a normal subject.
  • An image sensor having logarithmic conversion type photoelectric conversion characteristics has a sufficiently wide dynamic range for a normal subject, but has a difficulty in sensitivity on the low luminance side.
  • a linear logarithm conversion type imaging device (hereinafter referred to as a linear log) having two photoelectric conversion characteristics (hereinafter referred to as linear log characteristics) of a linear characteristic and a logarithmic characteristic in accordance with the amount of incident light.
  • linear log characteristics two photoelectric conversion characteristics
  • a sensor Known as a sensor.
  • the linear log sensor it is possible to achieve both sensitivity and a wide dynamic range by imaging the low luminance side with a highly sensitive linear characteristic and imaging the high luminance side with a logarithmic characteristic having a wide dynamic range.
  • Patent Document 2 a method of obtaining an image with a wide dynamic range by synthesizing images picked up with different exposure times using an image sensor having linear photoelectric conversion characteristics is known. ing. In addition, a sensor having a bent linear linear photoelectric conversion characteristic whose inclination varies depending on the amount of incident light called a knee characteristic has been proposed.
  • Non-Patent Document 1 a so-called night view function has been developed in which a near-infrared camera is mounted on an automobile and a pedestrian or a vehicle ahead is projected on a monitor.
  • the image of the near-infrared camera is monochrome, and the image is different from that seen with the naked eye.
  • Patent Document 3 discloses R, G, and B color components using image data captured by an image sensor that includes three color filters of R, G, and B and an Ir filter that transmits infrared light.
  • the pseudo-color image is generated by extracting the visible image data and the infrared image data, and generating the luminance information by weighting the luminance information obtained from the visible image data and the luminance information obtained from the infrared image data.
  • An imaging device that generates a signal is disclosed.
  • Patent Document 3 does not consider this.
  • Non-Patent Document 1 there is a problem that it is difficult to see an image because it is dazzled by strong light such as a headlight of an oncoming vehicle.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus that has a high nighttime S / N ratio, a wide dynamic range, and a beautiful color image.
  • an imaging apparatus has an imaging optical system that forms a subject image, and a sensitivity range that includes an infrared wavelength range and selectively includes a visible wavelength range.
  • An image sensor that includes at least three types of pixels having different spectral sensitivities, images the subject image, and generates original image data including at least three types of original image components output from each of the pixels;
  • a luminance signal generation unit that generates a luminance signal including an infrared wavelength component from the original image data, a color difference signal generation unit that generates a color difference signal of a visible wavelength component from the original image data, and a visible signal from the visible wavelength component
  • a visible luminance signal generating unit that generates a visible luminance signal that is a luminance signal in a wavelength region; a color difference low frequency signal generating unit that generates a color difference low frequency signal that is a low frequency component of the color difference signal; Frequency A correction color difference corresponding to the luminance signal based on the luminance
  • An imaging apparatus has an imaging optical system that forms a subject image and a sensitivity range that selectively includes a visible wavelength range, and at least three types of pixels having different spectral sensitivities are arranged.
  • An image sensor that captures the subject image and generates original image data including at least three types of original image components output from each of the pixels; and a luminance signal that generates a luminance signal from the original image data
  • a generation unit a color difference signal generation unit that generates a color difference signal of a visible wavelength component from the original image data; and a visible luminance signal generation unit that generates a visible luminance signal that is a luminance signal in a visible wavelength region from the visible wavelength component;
  • a color difference low frequency signal generation unit that generates a color difference low frequency signal that is a low frequency component of the color difference signal; and a visible luminance low frequency signal generation unit that generates a visible luminance low frequency signal that is a low frequency component of the visible luminance signal; Based on the luminance signal, the color difference low frequency
  • the imaging apparatus including the imaging optical system, the imaging element, and the image processing unit includes the infrared wavelength range and selectively includes the visible wavelength range.
  • Original image data including at least three types of original image components is imaged using an imaging device having at least three types of pixels having a sensitivity range and different spectral sensitivities.
  • a luminance signal including an infrared wavelength component, a color difference signal of a visible wavelength component, and a visible luminance signal which is a luminance signal in the visible wavelength region
  • a color image is generated based on the low frequency component of the luminance signal, the color difference signal, and the low frequency component of the visible luminance signal.
  • the same effect as the imaging apparatus according to the above aspect can be obtained when the imaging element does not have sensitivity in the infrared light region.
  • FIG. 1 is a block diagram illustrating a first embodiment of an imaging apparatus according to the present invention. It is a schematic diagram which shows the structure and characteristic of an image pick-up element. It is a schematic diagram which shows the spectral characteristic of each filter of an image sensor, and the spectral sensitivity characteristic of a photodiode. It is a block diagram which shows the structure of an image process part. It is a flowchart which shows operation
  • FIG. 1 is a block diagram showing a first embodiment of an imaging apparatus according to the present invention.
  • an imaging apparatus 1 includes an imaging optical system 2, an imaging element 3, an image processing unit 4, a control unit 5, a storage unit 6, a display unit 7, an interface unit (hereinafter referred to as an I / F unit) 8, and the like. Composed.
  • the imaging optical system 2 is composed of a lens or the like, and forms an image of a subject on the optical axis 21.
  • the image pickup device 3 photoelectrically converts an object image formed on the optical axis 21 by the image pickup optical system 2 and performs analog / digital conversion (hereinafter referred to as A / D conversion) to obtain digital original image data. Output.
  • a / D conversion analog / digital conversion
  • the image sensor 3 will be described in detail with reference to FIGS. It is desirable that the subject is at least illuminated with infrared light or emits infrared light.
  • the image processing unit 4 performs image processing on the original image data output from the image sensor 3 and outputs a color image under the control of the control unit 5 described later.
  • the configuration and operation of the image processing unit 4 will be described in detail with reference to FIGS.
  • the control unit 5 includes, for example, a CPU and the like, and controls the operation of the imaging device 1 according to a program stored in a storage unit 6 to be described later, and is connected to the external device to which the imaging device 1 is connected via the I / F unit 8. Communicate with the system.
  • the storage unit 6 includes a ROM, a RAM, and the like, stores a program that defines the operation of the CPU that constitutes the control unit 5, and stores the color image output from the image processing unit 4 under the control of the control unit 5. Store and output, and store and output adjustment data and the like regarding each part of the imaging apparatus 1.
  • the display unit 7 displays the color image stored in the storage unit 6 under the control of the control unit 5.
  • the I / F unit 8 communicates with the imaging device 1 and an external system under the control of the control unit 5.
  • FIG. 2 is a schematic diagram illustrating the configuration and characteristics of the image sensor 3
  • FIG. 2A is a schematic diagram illustrating the optical filter configuration of the image sensor 3
  • FIG. 2B is the photoelectric conversion characteristic of the image sensor 3. It is a schematic diagram which shows.
  • the image sensor 3 is a linear log sensor, and has a plurality of pixels 31 arranged in a two-dimensional matrix, and includes a yellow (Ye) filter, a red (Re) filter, and an infrared transmission (
  • the four types of pixels 31 are defined as a pixel 31 provided with any one of the three types of filters (IR) filter and a pixel 31 provided with no filter (for convenience, a W filter is provided).
  • IR three types of filters
  • W filter for convenience, a W filter is provided.
  • a pixel 31 provided with an Re filter and a pixel 31 provided with a W filter are alternately arranged in a certain row, and a pixel 31 provided with an IR filter and a Ye filter are arranged in the next row.
  • the provided pixels 31 are alternately arranged, and this is repeated alternately for each row.
  • the arrangement of the filters is not limited to this.
  • FIG. 3 shows an example of spectral characteristics of the image sensor 3.
  • FIG. 3 is a schematic diagram illustrating an example of spectral characteristics of each filter of the image sensor 3 and an example of spectral sensitivity characteristics of the photodiode PD.
  • the Ye filter transmits a wavelength region excluding a blue region of visible wavelengths and an infrared wavelength region.
  • the Re filter transmits a wavelength region excluding a blue region and a green region of visible wavelengths and an infrared wavelength region.
  • the IR filter transmits the infrared wavelength region.
  • the W filter transmits the visible wavelength region and the infrared wavelength region. For convenience, IR and W are also called colors.
  • the photodiode PD of the image sensor 3 has sensitivity in a range of approximately 300 nm to 1100 nm, and has a sensitivity peak around 650 nm to 700 nm.
  • the sensitivity range and the sensitivity peak vary depending on the structure of the photodiode PD, the impurity concentration, and the like.
  • the pixel 31 (hereinafter referred to as Ye pixel, which is the same for each color) provided with the Ye filter of the image sensor 3 has a sensitive wavelength region from green in the visible wavelength region to 1100 nm in the infrared wavelength region.
  • the Re pixel has a sensitive wavelength range from red in the visible wavelength range to 1100 nm in the infrared wavelength range
  • the IR pixel has a sensitive wavelength range from 700 nm to 1100 nm in the infrared wavelength range
  • the W pixel has a sensitivity range from 300 nm to 1100 nm. Is a sensitive wavelength region.
  • the horizontal axis of the graph indicates the incident light amount IL of the light incident on the pixel 31 of the image sensor 3 on the logarithmic axis
  • the vertical axis indicates the output VL after A / D conversion of the output of the pixel 31. Is shown.
  • the photoelectric conversion characteristic of each pixel 31 of the image sensor 3 shows a linear characteristic in the low luminance region A1 where the incident light amount IL is smaller than the inflection point Pt, and in the high luminance region A2 where the incident light amount IL is larger than the inflection point Pt. It is a linear log characteristic indicating a logarithmic characteristic, and has a wide dynamic range (hereinafter referred to as D range).
  • the linear characteristic and the logarithmic characteristic are not completely switched at the inflection point Pt, and there is a region of a transient characteristic that is neither linear nor logarithmic in the vicinity of the inflection point.
  • This characteristic is called a linear logarithmic characteristic, and a transient region is called a linear logarithmic region.
  • the linear logarithmic region is described in, for example, Japanese Patent Application Laid-Open No. 2007-251898.
  • the configuration and driving method of the pixel 31 of the image pickup device 3, the adjustment method of the inflection point Pt of the linear log characteristics, and the like are described in detail in many documents including the above-mentioned Patent Document 1.
  • the image pickup device 3 includes an A / D converter, and the image pickup device 3 has, for example, 14-bit linear log characteristics Ye image component, Re image component, IR image component, and W image component color images.
  • Original image data D3 composed of components is output.
  • the A / D converter may be provided outside the image sensor 3 or may be built in the control unit 5.
  • FIG. 4 is a block diagram illustrating a configuration of the image processing unit 4.
  • the image processing unit 4 includes a pixel correction unit 41, a luminance signal generation unit 43, a color processing unit 45, a color image generation unit 47, and the like.
  • Each unit may be configured by hardware, may be configured by a CPU and software, or may be configured by a mixture of hardware, CPU, and software.
  • the pixel correction unit 41 performs processing such as black offset correction, inflection point correction, conversion of linear log characteristics to logarithmic characteristics, defective pixel correction, exposure correction, and the like on the original image data D3 output from the image pickup device 3, Pixel corrected image data D41 is output.
  • the pixel-corrected image data D41 is composed of 16-bit logarithmic characteristics Ye, Re, IR, and W image components. Details of the operation of the pixel correction unit 41 will be described with reference to FIG.
  • the luminance signal generation unit 43 subjects the pixel correction image data D41 output from the pixel correction unit 41 to processing such as D-range compression, conversion to logarithmic characteristics to linear characteristics, color pixel interpolation, and the like to obtain 12-bit linear characteristics.
  • the second corrected image data D43 composed of the Ye, Re, IR, and W image components is obtained, and the luminance signal Yadd is generated from the second corrected image data D43.
  • the luminance signal Yadd is 12-bit linear data. Details of the operation of the luminance signal generator 43 will be described with reference to FIG.
  • the color processing unit 45 uses the luminance signal Yadd output from the luminance signal generation unit 43 and the pixel correction image data D41 output from the pixel correction unit 41 to perform each process improved on the method of Patent Document 3.
  • the color signal D45 is output.
  • the color signal D45 includes 8-bit linear red (R) image components, green (G) image components, and blue (B) image components. Details of the operation of the color processing unit 45 will be described with reference to FIGS.
  • the color image generation unit 47 performs processes such as white balance correction, color correction, gamma correction, color space conversion, and edge enhancement on the color signal D45 output from the color processing unit 45, and outputs a color image D4.
  • the color image D4 is composed of an 8-bit linear luminance signal Y4 and color difference signals Cb4 and Cr4. Details of the operation of the color image generation unit 47 will be described with reference to FIG.
  • FIG. 5 is a flowchart showing the operation of the pixel correction unit 41 of the image processing unit 4.
  • step S411 the original image data D3 output from the image sensor 3 is subjected to black level offset correction in units of pixels, and the black corrected original image data D411 (Ye1, Re1, IR1, W1). Is generated.
  • the offset value of each pixel is measured in advance and stored in the storage unit 6.
  • the black offset correction is described in detail in, for example, Japanese Patent Application Laid-Open No. 2005-079766.
  • step S413 the photoelectric conversion characteristic of the black corrected original image data D411 subjected to the black offset correction in step S411 is converted from the linear log characteristic to the reference logarithmic characteristic, and the log original image data D413 (Ye2, Re2, IR2,. W2) is generated.
  • the logarithmic original image data D413 is 16-bit logarithmic characteristic data.
  • Characteristic conversion is performed for each block by dividing the linear log characteristic into three blocks: a linear characteristic, a linear logarithmic characteristic that is a transient characteristic near the inflection point, and a logarithmic characteristic.
  • the inflection point variation for each pixel is also corrected by the characteristic conversion.
  • the characteristic conversion is described in detail in, for example, Japanese Unexamined Patent Application Publication No. 2007-074488 and Japanese Unexamined Patent Application Publication No. 2007-251898.
  • the logarithmic characteristic may be divided into two blocks of a first logarithmic characteristic and a second logarithmic characteristic having different slopes, and characteristic conversion may be performed by dividing the block into a total of four areas.
  • step S415 pixel defect correction is performed on the position of the logarithmic original image data D413 where there is a pixel defect, and defect corrected original image data D415 (Ye3, Re3, IR3, W3) is generated.
  • the pixel defect correction may be performed by a known method using a digital camera or the like such as linear interpolation using data of adjacent pixels of the same color.
  • step S417 a gain is calculated such that the average value of each data of the defect correction original image data D415 becomes a predetermined value, and the defect correction original image data D415 is multiplied by the pixel correction image data D41 (Ye4, Re4, IR4). , W4) is generated. As a result, the dark portion of the image is reproduced without black blurring.
  • FIG. 6 is a schematic diagram illustrating the operation and configuration of the luminance signal generation unit 43 of the image processing unit 4
  • FIG. 6A is a flowchart illustrating the operation of the luminance signal generation unit 43
  • FIG. 4 is a block diagram illustrating a configuration of an illumination component extraction unit and an illumination component compression unit in a luminance signal generation unit 43.
  • step S431 the illumination component L of the pixel corrected image data D41 is extracted, and the reflectance component R is obtained by subtracting the illumination component L from the pixel corrected image data D41.
  • step S433 the illumination component L is compressed to generate a compressed illumination component L ′, and the compressed illumination component L ′ and the reflectance component R are added to compress the illumination component, that is, the D range is compressed.
  • D-range compressed image data D433 (Ye5, Re5, IR5, W5) is generated.
  • the illumination component extraction unit 431 is configured by, for example, a hierarchical low-pass filter, and the low frequency component of the input pixel correction image data D41 is extracted as the illumination component L.
  • the illumination component compression unit 433 includes, for example, a multiplier and multiplies the predetermined value Gdrc and the illumination component L to obtain a compressed illumination component L ′.
  • the compressed illumination component L ′ is expressed by (Expression 1).
  • the reflectance component R is obtained by subtracting the illumination component L from the pixel corrected image data D41 by the subtractor 432.
  • the adder 434 adds the compressed illumination component L ′ and the reflectance component R, thereby generating D range compressed image data D433 in which the illumination component is compressed, that is, the D range is compressed.
  • the D range compression processing is described in detail in, for example, Japanese Patent Application Laid-Open Nos. 2001-275015 and 2009-081526.
  • step S435 the D range compressed image data D433 obtained by compressing the D range of the logarithmic characteristic is converted into the linear D range compressed image data D435 (Ye6, Re6, IR6, W6) of the linear characteristic. Converted. The conversion is performed by a predetermined conversion table, and the D range compressed image data D433 in which the D range of the 16-bit logarithmic characteristic is compressed is converted into the linear D range compressed image data D435 of the 12-bit linear characteristic.
  • step S437 the missing portions of the image components of Ye, Re, IR, and W for each pixel position of the linear D-range compressed image data D435 are interpolated, and color pixel interpolated image data D437 (Ye7, Re7, IR7, W7). Is generated.
  • the interpolation process may be performed by a well-known method performed by a normal digital camera or the like, such as a method of linearly complementing adjacent pixel data of the same color.
  • step S439 the luminance components Yadd of the color space of the original image data D3 that is the object of the image processing are generated by averaging the image components at each pixel of the color pixel interpolated image data D437.
  • the luminance signal Yadd is expressed by (Expression 2).
  • the luminance signal Yadd is a luminance signal obtained by adding signals subjected to D-range compression processing based on the original image data D3 including infrared light. As described above, since a luminance component visually conspicuous at the time of image display is generated only by addition, noise can be reduced. In addition, when infrared light is strong with respect to visible light, an image with high resolution can be obtained by using the luminance signal Yadd.
  • the luminance signal generation unit 43 functions as a luminance signal generation unit in the present invention by executing the operation of step S439.
  • the luminance signal Yadd may be obtained by weighting and adding each image component in each pixel of the color pixel interpolated image data D437.
  • the luminance signal Yadd is expressed by (Expression 2 ′).
  • Yadd (a1 ⁇ Ye7 + a2 ⁇ Re7 + a3 ⁇ IR7 + a4 ⁇ W7) / 4 .. (2 'type)
  • a1, a2, a3, and a4 are weighting coefficients
  • a1 + a2 + a3 + a4 1.
  • a predetermined value may be used as the weighting coefficient.
  • FIG. 7 is a flowchart showing the operation of the color processing unit 45 of the image processing unit 4.
  • the color processing unit 45 functions as a color difference signal generation unit, a visible luminance signal generation unit, a color difference low frequency signal generation unit, a visible luminance low frequency signal generation unit, and a correction color difference signal generation unit.
  • step S451 by applying a predetermined conversion table to the 16-bit logarithmic pixel correction image data D41 generated by the pixel correction unit 41 in step S451, characteristic conversion is performed to a 32-bit linear characteristic, and a linear image is obtained.
  • Data D451 (Ye8, Re8, IR8, W8) is obtained.
  • step S452 the missing portion of each image component of Ye, Re, IR, and W for each pixel position of the linear image data D451 is interpolated to generate interpolated image data D452 (Ye9, Re9, IR9, W9).
  • the interpolation process may be performed by a well-known method performed by a normal digital camera or the like, such as a method of linearly complementing adjacent pixel data of the same color.
  • step S453 red (R), green (G), and blue (B) color signals, which are visible light color signals, are calculated from the interpolated image data D452, and the color signal data D453 (R, G, B). Is obtained.
  • the calculation formulas for the respective color signals are obtained by formulas (3-1) to (3-3).
  • the color signal data D453 is a signal obtained by extracting only the visible light component of the interpolated image data D452 subjected to color pixel interpolation from the original image data D3 including infrared light.
  • the interpolated image data D452 is subjected to D range compression. It has not been.
  • step S454 a predetermined first WB gain (R, G, B) is added to the color signal data D453 (R, G, B) in order to obtain white balance (hereinafter referred to as WB) of the color signal data D453 distorted by the above-described processes.
  • WB white balance
  • gr, gg, gb is multiplied to generate the first WB correction color signal D454 (R1, G1, B1).
  • the first WB correction color signal D454 (R1, G1, B1) is expressed by (4-1 expression) to (4-3 expression).
  • step S455 the visible luminance signal Y and the color difference signals Cb, Cr are calculated from the first WB correction color signal D454, and the luminance color difference signal D455 (Y, Cb, Cr) is generated.
  • the arithmetic expressions of the luminance color difference signal D455 (Y, Cb, Cr) are expressed by (Expression 5-1) to (5-3).
  • step S491 is provided after step S453, and the D range similar to steps S431 and S433 described above is provided in the color signal data D453. Compression may be applied to generate a D-range compressed color signal.
  • step S492 is provided after step S455, and the same D range compression as in steps S431 and S433 described above is performed on the luminance color difference signal D455. And a D-range compressed color difference signal may be generated.
  • the illumination component can be compressed, and the entire D range can be compressed while preserving local contrast. Can be easily.
  • step S456 the color difference signals Cb ′, Cr suppressing the false color generated in the edge portion of the original image from the color difference signals Cb, Cr of the luminance color difference signal D455 and the luminance signal Yadd obtained in step S439 of FIG. 'Is generated. Details will be described with reference to FIG.
  • FIG. 8 is a schematic diagram showing the configuration and operation of the false color suppression unit 456 of the color processing unit 45 corresponding to step S456 in FIG. 7, and FIG. 8A is a block diagram showing the configuration of the false color suppression unit 456.
  • FIG. 8B is a configuration diagram of a filter used in the false color suppression unit 456, and
  • FIG. 8C is a graph showing coefficients used in the false color suppression unit 456.
  • the false color suppression unit 456 is composed of two blocks, a luminance high frequency detection unit 456a and a color difference signal modulation unit 456b.
  • the luminance high frequency detection unit 456a adds the Prewitt filter shown in FIG. 8B (gHS in the horizontal direction and gVS in the vertical direction) to the luminance signal Yadd generated in step S439 in FIG. ) To calculate the edge amount Yedge.
  • the edge amount Yedge is expressed by (Expression 6).
  • the luminance high-frequency signal Y′edge is calculated from the edge amount Yedge, and is output to the color difference signal modulator 456b.
  • the high-frequency luminance signal Y′edge is expressed by (Expression 7).
  • the luminance high-frequency signal Y′edge may be 1 or more.
  • the color difference signal modulation unit 456b determines the false color suppression coefficient k shown in FIG. 8C based on the luminance high frequency signal Y′edge generated by the luminance high frequency detection unit 456a.
  • the false color suppression coefficient k is expressed as follows.
  • the color difference signals Cb and Cr of the luminance color difference signal D455 generated in step S455 of FIG. 7 are modulated, thereby modulating the color difference signal D456 (Cb1) in which the color signal at the edge portion is suppressed. Cr1) is obtained.
  • the modulated color difference signal D456 (Cb1, Cr1) is expressed by (Expression 8-1) and (Expression 8-2).
  • step S456 before smoothing processing in step S458, which will be described later, false colors generated at the edge portion can be more effectively suppressed.
  • step S457 in order to prevent the saturation of the image from becoming too high when the visible light component is smaller than the infrared light component, the modulated color difference signal D456 is displayed with respect to the infrared light.
  • Saturation suppression color difference signal D457 (Cb2, Cr2) in which the saturation of modulated color difference signal D456 is suppressed according to the amount of visible light with respect to infrared light by multiplying by predetermined coefficients vb and vr according to the amount of light. Is generated.
  • the saturation suppression color difference signal D457 (Cb2, Cr2) is expressed by (Equation 9-1) and (Equation 9-2).
  • the amount of visible light component is determined by the difference (W-IR) between the W image component and the IR image component of the interpolated image data D452 obtained in step S452, or the ratio between the W image component and the IR image component (W / IR). ) Etc.
  • the predetermined coefficients (vb, vr) are prepared in advance in the form of a look-up table (hereinafter referred to as LUT) according to, for example, the difference or ratio between the W image component and the IR image component, and the storage unit 6 may be stored.
  • step S458 a low-pass filter having a relatively small size of about 3 ⁇ 3 or 5 ⁇ 5 is added to the saturation suppression color difference signal D457 (Cb2, Cr2) obtained in step S457 in order to reduce noise in units of pixels.
  • smoothing processing is performed, and noise components are blurred and color difference low frequency signals Cbs and Crs having an improved S / N ratio are obtained.
  • step S453 Since the subtraction is used in the calculation of the color signal in step S453, the noise increases, but the noise is reduced by the smoothing process in step S458, and the smoothing process is blurred due to the visual characteristics of the human eye. None see.
  • a smoothing process is performed by applying a low-pass filter having a relatively small size of about 3 ⁇ 3 or 5 ⁇ 5 to the visible luminance signal Y of the luminance-chrominance signal D455 of visible light obtained in step S455.
  • the visible luminance low frequency signal Ys from which the low frequency component of the visible luminance signal Y is extracted is extracted.
  • step S459 the color difference low frequency signals Cbs and Crs generated in step S439 in FIG. 6 are corrected based on the luminance signal Yadd including the infrared light region and the visible luminance signal Y, and the corrected color difference signal D459 (Cbm , Crm) is generated.
  • the false frequency is prevented from occurring in the edge region having a large luminance difference by aligning the spatial frequency bands of the luminance and the color.
  • Cbm Cbs ⁇ (Yadd / Y)
  • the ratio (Y / Ys) between the visible luminance signal Y including the high frequency component and the low frequency component of the luminance of visible light and the visible luminance low frequency signal Ys including only the low frequency component is determined.
  • the corrected color difference signal D459 (Cbm, Crm) is expressed by (10-1) and (10-2).
  • Cbm Cbs ⁇ (Yadd / Y) ⁇ (Y / Ys) (Equation 10-1)
  • Crm Crs ⁇ (Yadd / Y) ⁇ (Y / Ys) (10-2)
  • the color difference low frequency signals Cbs and Crs are 12-bit linear characteristics signals.
  • (Expression 10-1 ') or (Expression 10-2') in which the visible luminance signal Y is reduced by divergence from (Expression 10-1) and (Expression 10-2) may be used.
  • the corrected color difference signal D459 based on the luminance signal Yadd and the visible luminance signal Y including the infrared light region, or the luminance low frequency signal Yadds and the visible luminance low frequency signal Ys, the color to be converted
  • the color difference signal and the luminance signal in the space can be calculated with good balance.
  • correction color difference signal D459 is obtained by superimposing the high frequency component extracted from the luminance component, so that the spatial frequency band of the luminance signal and the color signal is aligned. Occurrence is mitigated.
  • step S460 the color signal D45 (R2, G2, B2) is calculated from the corrected color difference signal D459 (Cbm, Crm) obtained in step S459 and the luminance signal Yadd generated in step S439 in FIG. .
  • the arithmetic expressions are expressed by (Expression 11-1) to (Expression 11-3).
  • the color signal D45 is 8-bit linear characteristic data.
  • the color signal D45 (R2, G2, B2) is calculated through the above processing
  • the color signal data D453 (R, G, B) calculated by the subtraction process from the interpolation image data D452 in step S453.
  • the color signal is much more accurate.
  • the configuration not including an infrared light region is a combination of a normal primary color or complementary color filter and an infrared cut filter, for example, a pixel in which a yellow (Ye) filter is provided in a row of an image sensor. (Referred to as Ye pixels) and pixels not provided with filters (referred to as W pixels) are alternately arranged, and pixels (Re pixels) provided with red (Re) filters in adjacent rows and W pixels are alternately arranged.
  • Ye pixels yellow (Ye) filter
  • W pixels pixels not provided with filters
  • W pixels pixels
  • a configuration in which an infrared cut filter is provided in the entire combination in which this is alternately repeated for each row is conceivable.
  • pixel arrays include the following. 1) A pixel in which Ye pixels and W pixels are alternately arranged in a row with an image sensor, and a pixel (G pixel) and a W pixel in which green filters are provided in adjacent rows are alternately arranged. 2) A pixel (C pixel) provided with a cyan filter and a pixel (M pixel) provided with a magenta filter are alternately arranged in a row with an image sensor, and Ye pixels and G pixels are alternately arranged in adjacent rows. What was done. 3) Re pixels and G pixels are alternately arranged in a row of the image sensor, and G pixels and pixels (B pixels) provided with blue (B) filters are alternately arranged in adjacent rows.
  • the pixel arrangement is not limited to this.
  • the S / N of the luminance can be improved by obtaining the RGB image from the CMY image and replacing the luminance obtained from the RGB image with the added luminance.
  • the difference between the luminance and the added luminance appears as a color difference.
  • FIG. 9 is a flowchart showing the operation of the color image generation unit 47 of the image processing unit 4.
  • step S471 a predetermined second WB gain (gr2) is added to the color signal D45 (R2, G2, B2) obtained in step S460 in order to correct the WB distorted in each process after step S454. , Gg2, and gb2), the second WB corrected color signal D471 (R3, G3, B3) is obtained.
  • the second WB correction color signal D471 (R3, G3, B3) is expressed by (12-1) to (12-3).
  • step S473 the second WB correction color signal D471 is color-corrected using a predetermined matrix to generate a color correction color signal D473 (R4, G4, B4).
  • the color correction color signal D473 (R4, G4, B4) is expressed as follows.
  • the predetermined matrix may be determined in advance and stored in the storage unit 6.
  • step S475 the color correction color signal D473 is subjected to gamma correction in accordance with the gamma characteristics of the output device such as the display unit 7 or an external display, and a gamma correction color signal D474 (R5, G5, B5) is generated. Is done.
  • the gamma correction may be performed by converting the color correction color signal D473 (R4, G4, B4) using a gamma correction LUT prepared in advance according to the gamma characteristics of the output device such as the display unit 7, for example.
  • gamma correction may be performed in accordance with a standard display standard such as IEC 61966-2-1 sRGB standard.
  • step S477 the luminance signal Y3 and the color difference signals Cb3, Cr3 are calculated from the gamma correction color signal D474 (R5, G5, B5) to generate the second luminance color difference signal D477 (Y3, Cb3, Cr3).
  • the arithmetic expression is the same as that in step S455, and is expressed below.
  • step S479 the second luminance color difference signal D477 is edge-enhanced to generate a color image D4 (Y4, Cb4, Cr4) and output from the image processing unit 4.
  • Each of the color images D4 is an 8-bit linear signal.
  • FIG. 10 is a schematic diagram illustrating a second example of the configuration of the image sensor.
  • an image sensor 3 is the same linear log sensor as shown in FIG. 2, and has a plurality of pixels 31 arranged in a two-dimensional matrix, and includes a blue (B) filter, a green (G) filter, and a red Pixels 31 provided with any one of four types of filters (R) filters and infrared transmission (IR) filters are regularly arranged.
  • B blue
  • G green
  • IR infrared transmission
  • pixels 31 provided with a B filter and pixels 31 provided with an R filter are alternately arranged in a certain row, and pixels 31 provided with a G filter and an IR filter are arranged in the next row.
  • the provided pixels 31 are alternately arranged, and this is repeated alternately for each row.
  • the arrangement of the filters is not limited to this.
  • FIG. 11 shows an example of the spectral characteristics of the image sensor 3.
  • FIG. 11 is a schematic diagram showing the spectral characteristics of each filter in the second example of the configuration of the image sensor 3 and the spectral sensitivity characteristics of the photodiode.
  • the B filter transmits the blue region of the visible wavelength.
  • the G filter transmits the green region of the visible wavelength.
  • the R filter transmits the red region of visible wavelengths.
  • the IR filter transmits the infrared wavelength region. For convenience, IR is also called color.
  • the photodiode PD of the image sensor 3 has sensitivity in a range of approximately 300 nm to 1100 nm, and has a sensitivity peak around 650 nm to 700 nm.
  • the sensitivity range and the sensitivity peak vary depending on the structure of the photodiode PD, the impurity concentration, and the like.
  • a pixel 31 (hereinafter referred to as a B pixel, which is the same for each color) provided with a B filter of the image sensor 3 uses blue in the visible wavelength range as a sensitive wavelength range, and the G pixel in the visible wavelength range. Green is the sensitive wavelength range, the R pixel is the visible wavelength range red, and the IR pixel is the infrared wavelength range 700 nm to 1100 nm.
  • Yadd (B7 + G7 + R7 + IR7) / 4 (Expression 2)
  • Yadd (a1 ⁇ B7 + a2 ⁇ G7 + a3 ⁇ R7 + a4 ⁇ IR7) / 4 (Formula 2 ')
  • R R9 (Equation 3-1)
  • G G9 (Equation 3-2)
  • B B9 (Expression 3-3)
  • FIG. 12 is a schematic diagram illustrating a third example of the configuration of the image sensor.
  • an image pickup device 3 is the same linear log sensor as shown in FIG. 2, has a plurality of pixels 31 arranged in a two-dimensional matrix, and includes a blue (Bl) filter, a green (Gr) filter, and a red
  • the pixels 31 provided with any of the four types of filters (Re) filter and infrared transmission (IR) filter are regularly arranged.
  • the reason why the symbols differ from those in the second example in FIG. 10 is that the spectral sensitivities of the filters shown in FIG. 13 are different.
  • a pixel 31 provided with a Bl filter and a pixel 31 provided with an Re filter are alternately arranged in a certain row, and a pixel 31 provided with a Gr filter and an IR filter are arranged in the next row.
  • the provided pixels 31 are alternately arranged, and this is repeated alternately for each row.
  • the arrangement of the filters is not limited to this.
  • FIG. 13 shows an example of the spectral characteristics of the image sensor 3.
  • FIG. 13 is a schematic diagram showing the spectral characteristics of each filter in the third example of the configuration of the image sensor and the spectral sensitivity characteristics of the photodiode.
  • the Bl filter transmits the blue wavelength region and the infrared wavelength region of visible wavelengths.
  • the Gr filter transmits the green region of the visible wavelength and the infrared wavelength region.
  • the Re filter transmits a red wavelength region and an infrared wavelength region of visible wavelengths.
  • the IR filter transmits the infrared wavelength region. For convenience, IR is also called color.
  • the photodiode PD of the image sensor 3 has sensitivity in a range of approximately 300 nm to 1100 nm, and has a sensitivity peak around 650 nm to 700 nm.
  • the sensitivity range and the sensitivity peak vary depending on the structure of the photodiode PD, the impurity concentration, and the like.
  • the Bl pixel of the image pickup device 3 has a visible wavelength range of blue and an infrared wavelength range of 700 nm to 1100 nm as sensitive wavelengths
  • the Gr pixel has a visible wavelength range of green and infrared wavelengths of 700 nm to 1100 nm.
  • the Re pixel has a sensitive wavelength range from red in the visible wavelength range to 1100 nm in the infrared wavelength range
  • the IR pixel has a sensitive wavelength range from 700 nm to 1100 nm in the infrared wavelength range.
  • R Re9-IR9 (Equation 3-1)
  • G Gr9-IR9 (3-2)
  • B Bl9-IR9 (Equation 3-3)
  • a visible wavelength range is selected including an infrared wavelength range.
  • the original image data is imaged using an imaging element having four types of pixels having different sensitivity ranges and having different spectral sensitivities.
  • a luminance signal including an infrared wavelength component and a color difference signal are extracted from the captured original image data, and the color difference signal is modulated based on a high frequency component of the luminance signal including the infrared wavelength component.
  • FIG. 14 is a schematic diagram illustrating the characteristics and configuration of the image sensor used in the second embodiment of the imaging apparatus
  • FIG. 14A is a schematic diagram illustrating the photoelectric conversion characteristics of the image sensor
  • b) is a schematic diagram showing a filter configuration of an image sensor.
  • the image sensor 3 has a normal linear characteristic photoelectric conversion characteristic.
  • the first photoelectric conversion characteristic S1 is obtained by imaging the low luminance area A1 with the first exposure time T1 using the imaging element 3 having the normal linear photoelectric conversion characteristic.
  • 2 photoelectric conversion characteristics S2 are obtained by imaging a high brightness area A2 that is brighter than the low brightness area A1 and has a brightness area A3 that overlaps the low brightness area A1, with a second exposure time T2 that is shorter than the first exposure time T1, 2 photoelectric conversion characteristics S2 are obtained.
  • the image processing unit 4 connects the first photoelectric conversion characteristic S1 and the second photoelectric conversion characteristic S2 at the overlapping luminance area A3, thereby covering a wide D range that covers the low luminance area A1 and the high luminance area A2. Can be synthesized. Theoretically, it is not necessary to have the overlapping luminance region A3, and therefore, a D range that is twice as large as the photoelectric conversion characteristic of the normal linear characteristic can be obtained by this method.
  • the photoelectric conversion characteristic S3 is a maximum of 28-bit data. Similarly, it is possible to connect three or more luminance ranges.
  • the image pickup device 3 has a plurality of pixels 31 arranged in a two-dimensional matrix, and has three types of complementary colors: a yellow (Ye) filter, a magenta (M) filter, and a cyan (C) filter.
  • Ye yellow
  • M magenta
  • C cyan
  • the pixels 31 provided with any of the filters and the pixels 31 provided with no filters are regularly arranged.
  • a pixel 31 provided with an M filter and a pixel 31 provided with a W filter are alternately arranged in a row, and a pixel 31 provided with a C filter and a Ye filter are arranged in the next row.
  • the provided pixels 31 are alternately arranged, and this is repeated alternately for each row.
  • the arrangement of the filters is not limited to this.
  • FIG. 15 shows an example of spectral characteristics of the image sensor 3.
  • FIG. 15 is a schematic diagram illustrating an example of spectral characteristics of each filter of the image sensor 3 and an example of spectral sensitivity characteristics of the photodiode PD.
  • the Ye filter transmits the wavelength region excluding the blue region of the visible wavelength and the infrared wavelength region.
  • the M filter transmits the wavelength region excluding the green region of the visible wavelength and the infrared wavelength region.
  • the C filter transmits a wavelength region excluding a visible wavelength red region and an infrared wavelength region.
  • the W filter transmits the visible wavelength region and the infrared wavelength region. For convenience, W is also called a color.
  • the photodiode PD of the image sensor 3 has sensitivity in a range of approximately 300 nm to 1100 nm, and has a sensitivity peak around 650 nm to 700 nm.
  • the sensitivity range and the sensitivity peak vary depending on the structure of the photodiode PD, the impurity concentration, and the like.
  • the pixel 31 (hereinafter referred to as Ye pixel, which is the same for each color) provided with the Ye filter of the image sensor 3 has a sensitive wavelength region from green in the visible wavelength region to 1100 nm in the infrared wavelength region.
  • the M pixel has a visible wavelength range of blue, red and infrared wavelengths up to 1100 nm
  • the C pixel has a visible wavelength range of blue, green and infrared wavelengths from 700 nm to 1100 nm.
  • the W pixel has a sensitive wavelength range from 300 nm to 1100 nm.
  • FIG. 16 is a block diagram illustrating a configuration of the image processing unit 4 according to the second embodiment.
  • the image processing unit 4 has a D range expansion unit 49 in front of the pixel correction unit 41 of the first embodiment shown in FIG.
  • the D range expansion unit 49 is configured to obtain the image data D31 (Ye, M, C, W) imaged by the imaging device 3 for the first exposure time T1, and the first exposure time T1 in succession to the image data D31. Based on the image data D32 (Ye, M, C, W) captured at a different second exposure time T2, the original image data D3 (D range expanded by the method described in FIG. Synthesize Ye, M, C, W). Thereafter, image processing is performed using the original image data D3.
  • the configuration after the pixel correction unit 41 is the same as that in FIG. Note that the image data D31 and the image data D32 are not limited to those captured continuously. In addition, original image data may be synthesized using three or more pieces of image data captured at different exposure times.
  • step S413 linear logarithmic conversion
  • step S435 logarithmic linear conversion
  • step among the operations of the respective units of the image processing unit 4 shown in FIGS. S451 logarithmic linear conversion
  • step S413 linear logarithmic conversion
  • step S435 logarithmic linear transformation
  • step S451 logarithmic linear transformation
  • Yadd (Ye7 + M7 + C7 + W7) / 4 (Expression 2)
  • Yadd (a1 ⁇ Ye7 + a2 ⁇ M7 + a3 ⁇ C7 + a4 ⁇ W7) / 4 (Expression 2 ′)
  • R W9-C9 (Equation 3-1)
  • G W9-M9 (Equation 3-2)
  • B W9-Ye9 (Expression 3-3)
  • the visible wavelength range is selected including the infrared wavelength range.
  • At least two pieces of image data are imaged at different exposure times using an imaging device having four types of pixels with different spectral sensitivities.
  • a luminance signal including an infrared wavelength component and a color difference signal are extracted from original image data obtained by combining at least two captured images, and the color difference is determined based on a high frequency component of the luminance signal including the infrared wavelength component. Modulate the signal.
  • an imaging device that prevents the occurrence of false color at the edge due to the color filter array of the imaging device, has a high nighttime S / N ratio, and has a wide D range and can provide an imaging device. be able to.
  • FIG. 17 is a schematic diagram illustrating photoelectric conversion characteristics of an image sensor used in the third embodiment of the imaging apparatus.
  • the image sensor 3 has a bent linear linear photoelectric conversion characteristic called a knee characteristic.
  • the knee characteristic has a linear first photoelectric conversion characteristic S1 having a large inclination in the low luminance area A1 where the incident light amount IL is small, and a linear second photoelectric conversion having a small inclination in the high luminance area A2 where the incident light amount IL is large. It has characteristic S2.
  • the second photoelectric conversion characteristic S2 is extended on the extension line of the first photoelectric conversion characteristic S1 by the D range expansion unit 49 of the image processing unit 4 shown in FIG.
  • a linear photoelectric conversion characteristic S3 having a wide D range covering the low luminance region A1 + the high luminance region A2 can be obtained.
  • the bit that covers the low luminance area A1 + the high luminance area A2 by laying down the inclination of the first photoelectric conversion characteristic S1 in accordance with the inclination of the second photoelectric conversion characteristic and connecting it to the second photoelectric conversion characteristic S2.
  • a small number of linear photoelectric conversion characteristics S4 can also be obtained.
  • step S413 linear logarithmic conversion
  • step S435 logarithmic linear conversion
  • step S451 logarithmic linear conversion
  • the visible wavelength range is selected including the infrared wavelength range.
  • the original image data is imaged using an imaging element having four types of pixels having different sensitivity ranges and having different spectral sensitivities.
  • a luminance signal including an infrared wavelength component and a color difference signal are extracted from the captured original image data, and the color difference signal is modulated based on a high frequency component of the luminance signal including the infrared wavelength component.
  • the imaging device 3 is provided with four different types of filters.
  • the present invention is not limited to this, and at least three types of filters may be provided. That's fine.
  • a type of filter that can generate red (R), green (G), and blue (B) color signals from the spectral transmission characteristics of each filter may be employed.
  • an imaging apparatus including an imaging optical system, an imaging element, and an image processing unit
  • sensitivity including an infrared wavelength range and a visible wavelength range is selectively included.
  • Original image data including at least three types of original image components is imaged using an image sensor in which at least three types of pixels having different areas and different spectral sensitivities are arranged.
  • a luminance signal including an infrared wavelength component, a color difference signal of a visible wavelength component, and a visible luminance signal which is a luminance signal in the visible wavelength region
  • a color image is generated based on the low frequency component of the luminance signal, the color difference signal, and the low frequency component of the visible luminance signal.
  • an imaging device including an imaging optical system, an imaging element, and an image processing unit
  • at least three types having a sensitivity range that selectively includes a visible wavelength range and different spectral sensitivities
  • Original image data including at least three types of original image components is imaged using an imaging device in which the pixels are arranged.
  • a luminance signal, a color difference signal of a visible wavelength component, and a visible luminance signal that is a luminance signal in the visible wavelength region are generated from the captured original image data including at least three types of original image components, and the luminance signal A color image is generated based on the low frequency component of the color difference signal and the low frequency component of the visible luminance signal.
  • an imaging apparatus that can prevent generation of a false color in an edge region or the like having a large luminance difference, obtain a clean color image with a high nighttime S / N ratio, a wide dynamic range, and the like. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成することを特徴とする撮像装置。

Description

撮像装置
　本発明は、撮像装置に関し、特に広ダイナミックレンジな原画像データを画像処理してカラー画像を生成する撮像装置に関する。
　一般的な線形の光電変換特性を有する撮像素子は、そのダイナミックレンジが狭いために、通常の被写体であっても、暗部あるいは明部の輝度分布が正確に撮像されない。また、対数変換型の光電変換特性を有する撮像素子は、通常の被写体に対しては十分広いダイナミックレンジを有するが、低輝度側の感度に難点がある。
　そこで、例えば特許文献１に示すように、入射光量に応じて線形特性と対数特性との２つの光電変換特性（以下、リニアログ特性と言う）を有する、線形対数変換型撮像素子（以下、リニアログセンサと言う）が知られている。リニアログセンサによれば、低輝度側を感度の高い線形特性で撮像し、高輝度側をダイナミックレンジの広い対数特性で撮像することで、感度と広ダイナミックレンジとを両立させることができる。
　あるいは、例えば特許文献２に示すように、線形の光電変換特性を有する撮像素子を用いて、露出時間を変えて撮像された画像を合成することで、ダイナミックレンジの広い画像を得る方法が知られている。その他に、ニー特性と呼ばれる入射光量によって傾きの異なる折れ線形の線形の光電変換特性を有するセンサも提案されている。
　一方、例えば非特許文献１に示したように、自動車に近赤外カメラを搭載し、夜間の歩行者や前方車両等をモニタに映し出す所謂ナイトビュー機能が開発されている。しかし、近赤外カメラの画像はモノクロであり、肉眼で見たものとはイメージが異なり、違和感がある。
　また、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば特許文献３には、Ｒ、Ｇ、Ｂの３色のカラーフィルタと赤外光を透過するＩｒフィルタとを備えた撮像素子で撮像した画像データを用いて、Ｒ、Ｇ、Ｂの色成分からなる可視画像データと赤外画像データとを抽出し、可視画像データから得られる輝度情報と赤外画像データから得られる輝度情報とに重み付けを施して輝度情報を生成することで、疑似カラー画像を生成する撮像装置が開示されている。
　しかしながら、夜間はフォトンの量が少ないため、撮像された画像のＳ／Ｎ比が小さくなると言う問題があるが、特許文献３ではこのようなことが考慮されていない。
　また、非特許文献１では、対向車のヘッドライト等の強い光によって幻惑されて、画像が見にくくなるという問題もある。
特開２００２－７７７３３号公報 特開平６－１４１２２９号公報 特開２００７－１８４８０５号公報
トヨタ自動車株式会社→テクノロジー→ＩＴＳ→ＩＴＳによるアプローチ（詳しくはこちら）→安全→予防安全（詳しくはこちら）→視界支援→ナイトビュー（http://www.toyota.co.jp/jpn/tech/safety/technology/techonolgy_file/active/night_view.html）２０１１年５月６日検索
　本発明は、上記事情に鑑みてなされたもので、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することを目的とする。
　上述した課題を解決するために、本発明の一局面による撮像装置は、被写体像を結像させる撮像光学系と、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えている。
　本発明の別の一局面による撮像装置は、被写体像を結像させる撮像光学系と、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、前記原画像データから、輝度信号を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えている。
　上述した本発明の一局面による撮像装置によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種対の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像が生成される。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることができる。
　また、上述した本発明の別の一局面による撮像装置によれば、撮像素子が赤外光領域に感度を持たない場合において、上記の一局面の撮像装置と同様の効果が得られる。
本発明における撮像装置の第１の実施の形態を示すブロック図である。 撮像素子の構成および特性を示す模式図である。 撮像素子の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。 画像処理部の構成を示すブロック図である。 画像処理部の画素補正部の動作を示すフローチャートである。 画像処理部の輝度信号生成部の動作と構成とを示す模式図である。 画像処理部の色処理部の動作を示すフローチャートである。 色処理部の偽色抑制部の構成と動作とを示す模式図である。 画像処理部のカラー画像生成部の動作を示すフローチャートである。 撮像素子の構成の第２の例を示す模式図である。 撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。 撮像素子の構成の第３の例を示す模式図である。 撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。 撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図である。 撮像素子の各フィルタの分光特性の例と、フォトダイオードの分光感度特性の例とを示す模式図である。 第２の実施の形態における画像処理部の構成を示すブロック図である。 撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
　以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限定されない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略することがある。
　最初に、本発明における撮像装置の第１の実施の形態について、図１を用いて説明する。図１は、本発明における撮像装置の第１の実施の形態を示すブロック図である。
　図１において、撮像装置１は、撮像光学系２、撮像素子３、画像処理部４、制御部５、記憶部６、表示部７およびインターフェース部（以下、Ｉ／Ｆ部と言う）８等で構成される。
　撮像光学系２は、レンズ等で構成され、光軸２１上に被写体の像を結像させる。
　撮像素子３は、撮像光学系２によって光軸２１上に結像された被写体の像を光電変換し、アナログ／デジタル変換（以下、Ａ／Ｄ変換と言う）して、デジタルの原画像データとして出力する。撮像素子３については、図２および図３で詳述する。被写体は、少なくとも赤外光によって照明されている、あるいは赤外光を発光していることが望ましい。
　画像処理部４は、後述する制御部５の制御下で、撮像素子３から出力された原画像データに画像処理を施して、カラー画像を出力する。画像処理部４の構成および動作については、図４から図８で詳述する。
　制御部５は、例えばＣＰＵ等で構成され、後述する記憶部６に格納されたプログラムに従って撮像装置１の動作を制御するとともに、Ｉ／Ｆ部８を介して、撮像装置１が接続される外部システムと交信を行う。
　記憶部６は、ＲＯＭ、ＲＡＭ等で構成され、制御部５を構成するＣＰＵの動作を規定するプログラムを格納するとともに、制御部５の制御下で、画像処理部４から出力されたカラー画像を記憶及び出力し、撮像装置１の各部に関する調整データ等を記憶及び出力する。
　表示部７は、制御部５の制御下で、記憶部６に記憶されたカラー画像を表示する。
　Ｉ／Ｆ部８は、制御部５の制御下で、撮像装置１と外部システムとの交信を行う。
　次に、撮像素子３の構成および特性について、図２を用いて説明する。図２は、撮像素子３の構成および特性を示す模式図で、図２（ａ）は撮像素子３の光学フィルタ構成を示す模式図であり、図２（ｂ）は撮像素子３の光電変換特性を示す模式図である。
　図２（ａ）において、撮像素子３は、リニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、レッド（Ｒｅ）フィルタ、赤外透過（ＩＲ）フィルタの３種類のフィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１との４種類の画素３１が規則的に配置されている。
　図示の例では、ある行に、Ｒｅフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＩＲフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
　図３に、撮像素子３の分光特性の例を示す。図３は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
　図３において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｒｅフィルタは、可視波長の青色領域と緑色領域とを除く波長域と、赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、ＩＲおよびＷについても、色と呼ぶ。
　一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
　従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでを有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度波長域とする。
　このように、フォトンをなるべく受けられる分光感度を持つフィルタを用いることで、フォトダイオードで発生するショットノイズを低減することができる。
　図２（ｂ）において、グラフの横軸は撮像素子３の画素３１に入射する光の入射光量ＩＬを対数軸で示してあり、縦軸は画素３１の出力のＡ／Ｄ変換後の出力ＶＬを示してある。撮像素子３の各画素３１の光電変換特性は、変曲点Ｐｔよりも入射光量ＩＬが少ない低輝度領域Ａ１では線形特性を示し、変曲点Ｐｔよりも入射光量ＩＬが多い高輝度領域Ａ２では対数特性を示すリニアログ特性であり、広いダイナミックレンジ（以下、Ｄレンジと言う）を有している。
　ただし、実際には、線形特性と対数特性とは、変曲点Ｐｔを境に完全に切り替わるのではなく、変曲点近傍では、線形でも対数でもない過渡的な特性の領域が存在する。この特性を線形対数特性と呼び、過渡的な領域を線形対数領域と呼ぶ。線形対数領域については、例えば特開２００７－２５１８９８号公報等に記載されている。また、撮像素子３の画素３１の構成や駆動方法、リニアログ特性の変曲点Ｐｔの調整方法等は、上述した特許文献１を始め、多くの文献に詳述されている。
　また、撮像素子３にはＡ／Ｄ変換器が内蔵されており、撮像素子３からは、例えば各々１４ｂｉｔのリニアログ特性のＹｅ画像成分、Ｒｅ画像成分、ＩＲ画像成分およびＷ画像成分の各色の画像成分で構成される原画像データＤ３が出力される。なお、Ａ／Ｄ変換器は、撮像素子３の外部に設けられてもよいし、制御部５に内蔵されてもよい。
　次に、画像処理部４の構成について、図４を用いて説明する。図４は、画像処理部４の構成を示すブロック図である。
　図４において、画像処理部４は、画素補正部４１、輝度信号生成部４３、色処理部４５およびカラー画像生成部４７等で構成される。各部は、ハードウェアで構成されてもよいし、ＣＰＵとソフトウェアとで構成されてもよいし、ハードウェアとＣＰＵおよびソフトウェアとの混成で構成されてもよい。
　画素補正部４１は、撮像素子３から出力された原画像データＤ３に、黒オフセット補正、変曲点補正、リニアログ特性の対数特性への変換、欠陥画素補正、露出補正等の処理を施して、画素補正画像データＤ４１を出力する。画素補正画像データＤ４１は、各々１６ｂｉｔの対数特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される。画素補正部４１の動作の詳細は図５で説明する。
　輝度信号生成部４３は、画素補正部４１から出力された画素補正画像データＤ４１に、Ｄレンジ圧縮、対数特性の線形特性への変換、色画素補間等の処理を施して、各々１２ｂｉｔの線形特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される第２補正画像データＤ４３を得、第２補正画像データＤ４３から輝度信号Ｙａｄｄを生成する。輝度信号Ｙａｄｄは、１２ｂｉｔの線形データである。輝度信号生成部４３の動作の詳細は図６で説明する。
　色処理部４５は、輝度信号生成部４３から出力された輝度信号Ｙａｄｄと、画素補正部４１から出力された画素補正画像データＤ４１とを用いて、特許文献３の方法を改良した各処理を行い、色信号Ｄ４５を出力する。色信号Ｄ４５は、各々８ｂｉｔの線形の赤（Ｒ）画像成分、緑（Ｇ）画像成分、青（Ｂ）画像成分の各画像成分で構成される。色処理部４５の動作の詳細は図７および図８で説明する。
　カラー画像生成部４７は、色処理部４５から出力された色信号Ｄ４５に対して、ホワイトバランス補正、色補正、ガンマ補正、色空間変換、エッジ強調等の処理を施し、カラー画像Ｄ４を出力する。カラー画像Ｄ４は、各々８ｂｉｔの線形の輝度信号Ｙ４と色差信号Ｃｂ４、Ｃｒ４とで構成される。カラー画像生成部４７の動作の詳細は図９で説明する。
　図５は、画像処理部４の画素補正部４１の動作を示すフローチャートである。
　図５において、ステップＳ４１１で、撮像素子３から出力された原画像データＤ３に、画素単位での黒レベルのオフセット補正が施されて、黒補正原画像データＤ４１１（Ｙｅ１、Ｒｅ１、ＩＲ１、Ｗ１）が生成される。各画素のオフセット値は、予め測定されて、記憶部６に記憶されている。黒オフセット補正については、例えば特開２００５－０７９７６６号公報等に詳述されている。
　ステップＳ４１３で、ステップＳ４１１で黒オフセット補正が施された黒補正原画像データＤ４１１の光電変換特性が、リニアログ特性から基準の対数特性に特性変換され、対数原画像データＤ４１３（Ｙｅ２、Ｒｅ２、ＩＲ２、Ｗ２）が生成される。対数原画像データＤ４１３は、１６ｂｉｔの対数特性データである。
　特性変換は、リニアログ特性を、線形特性、変曲点近傍の過渡的な特性である線形対数特性および対数特性の３つのブロックに分けて、各ブロック毎に行われる。特性変換によって、画素毎の変曲点バラツキも補正される。特性変換については、例えば特開２００７－０７４４８８号公報や特開２００７－２５１８９８号公報等に詳述されている。
　また、さらに必要に応じて、対数特性を、傾きの異なる第１対数特性と第２対数特性との２つのブロックに分け、合計４つの領域に分けて特性変換してもよい。
　ステップＳ４１５で、対数原画像データＤ４１３の画素欠陥のある位置に、画素欠陥補正が施され、欠陥補正原画像データＤ４１５（Ｙｅ３、Ｒｅ３、ＩＲ３、Ｗ３）が生成される。画素欠陥補正は、隣接の同色の画素のデータを用いて線形補間する等のデジタルカメラ等で周知の方法で行われればよい。
　ステップＳ４１７で、欠陥補正原画像データＤ４１５の各データの平均値が所定値になるようなゲインが演算され、欠陥補正原画像データＤ４１５に乗算されて、画素補正画像データＤ４１（Ｙｅ４、Ｒｅ４、ＩＲ４、Ｗ４）が生成される。これによって、画像の暗部が黒ツブレすることなく再現される。
　図６は、画像処理部４の輝度信号生成部４３の動作と構成とを示す模式図で、図６（ａ）は輝度信号生成部４３の動作を示すフローチャートであり、図６（ｂ）は輝度信号生成部４３の中の照明成分抽出部および照明成分圧縮部の構成を示すブロック図である。
　図６（ａ）において、ステップＳ４３１で、画素補正画像データＤ４１の照明成分Ｌが抽出され、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。
　ステップＳ４３３で、照明成分Ｌが圧縮されて圧縮照明成分Ｌ’が生成され、圧縮照明成分Ｌ’と反射率成分Ｒとが加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３（Ｙｅ５、Ｒｅ５、ＩＲ５、Ｗ５）が生成される。
　ステップＳ４３１およびＳ４３３の動作は、図６（ｂ）に示す構成によって実現される。図６（ｂ）において、照明成分抽出部４３１は、例えば階層化ローパスフィルタ等で構成され、入力された画素補正画像データＤ４１の低周波成分が照明成分Ｌとして抽出される。照明成分圧縮部４３３は、例えば乗算器等で構成され、所定値Ｇｄｒｃと照明成分Ｌとを乗算することで、圧縮照明成分Ｌ’を得る。ここに、圧縮照明成分Ｌ’は（１式）で表される。
　　Ｌ’＝Ｌ×Ｇｄｒｃ　・・・（１式）
　一方、減算器４３２によって、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。圧縮照明成分Ｌ’と反射率成分Ｒとが加算器４３４によって加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が生成される。照明成分を圧縮することで、局所的なコントラストを保存したまま全体のＤレンジを圧縮することができる。なお、Ｄレンジ圧縮処理については、例えば特開２００１－２７５０１５号公報や特開２００９－０８１５２６号公報等に詳述されている。
　図６（ａ）に戻って、ステップＳ４３５で、対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が、線形特性の線形Ｄレンジ圧縮画像データＤ４３５（Ｙｅ６、Ｒｅ６、ＩＲ６、Ｗ６）に変換される。変換は所定の変換テーブルによって行われ、１６ｂｉｔの対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が１２ｂｉｔの線形特性の線形Ｄレンジ圧縮画像データＤ４３５に変換される。
　ステップＳ４３７で、線形Ｄレンジ圧縮画像データＤ４３５の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、色画素補間画像データＤ４３７（Ｙｅ７、Ｒｅ７、ＩＲ７、Ｗ７）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
　ステップＳ４３９で、色画素補間画像データＤ４３７の各画素での各画像成分を加算平均することで、画像処理の対象となっている原画像データＤ３の色空間の輝度信号Ｙａｄｄが生成される。ここに、輝度信号Ｙａｄｄは（２式）で表される。
　　Ｙａｄｄ＝（Ｙｅ７＋Ｒｅ７＋ＩＲ７＋Ｗ７）／４　・・・（２式）
　輝度信号Ｙａｄｄは、赤外光を含む原画像データＤ３に基づいて、Ｄレンジ圧縮処理を施した信号を加算して得られた輝度信号である。このように、画像表示時に視覚的に目立つ輝度成分を加算のみで生成するために、ノイズを低減することができる。また、可視光に対して赤外光が強い場合には、輝度信号Ｙａｄｄを用いることで解像度の高い画像を得ることができる。なお、輝度信号生成部４３は、ステップＳ４３９の動作を実行することで、本発明における輝度信号生成部として機能する。
　なお、輝度信号Ｙａｄｄは、色画素補間画像データＤ４３７の各画素での各画像成分に重み付けをして加算することで求められてもよい。ここに、輝度信号Ｙａｄｄは、（２’式）で表される。
　　Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｒｅ７＋ａ３×ＩＲ７＋ａ４×Ｗ７）／４　　・
・・（２’式）
　ただし、ａ１、ａ２、ａ３、ａ４は重み付け係数で、ａ１＋ａ２＋ａ３＋ａ４＝１である。重み付け係数は、例えば予め決められた値を用いればよい。
　図７は、画像処理部４の色処理部４５の動作を示すフローチャートである。ここに、色処理部４５は、色差信号生成部、可視輝度信号生成部、色差低周波信号生成部、可視輝度低周波信号生成部、及び補正色差信号生成部として機能する。
　図７において、ステップＳ４５１で、画素補正部４１で生成された１６ｂｉｔの対数特性の画素補正画像データＤ４１に所定の変換テーブルを適用することで、３２ｂｉｔの線形特性に特性変換が行われ、線形画像データＤ４５１（Ｙｅ８、Ｒｅ８、ＩＲ８、Ｗ８）が得られる。
　ステップＳ４５２で、線形画像データＤ４５１の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、補間画像データＤ４５２（Ｙｅ９、Ｒｅ９、ＩＲ９、Ｗ９）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
　ステップＳ４５３で、補間画像データＤ４５２から、可視光の色信号である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号が演算され、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）が得られる。各色信号の演算式は、（３－１式）～（３－３式）で得られる。
　　Ｒ＝Ｒｅ９－ＩＲ９　・・・（３－１式）
　　Ｇ＝Ｙｅ９－Ｒｅ９　・・・（３－２式）
　　Ｂ＝Ｗ９－Ｙｅ９　　・・・（３－３式）
　ただし、演算結果が負になった場合には、０（ゼロ）に置き換える。
　色信号データＤ４５３は、赤外光を含む原画像データＤ３から色画素補間された補間画像データＤ４５２の可視光成分のみが抽出された信号であり、補間画像データＤ４５２には、Ｄレンジ圧縮は施されていない。
　これは、ステップＳ４３７で生成された色画素補間画像データＤ４３７のような赤外光を含んだ原画像データにＤレンジ圧縮を施した信号を用いて色信号を生成すると、原画像データ中の可視光成分のＤレンジに関係なくＤレンジ圧縮された信号に基づいて色信号が生成されるために、色信号の彩度が低下するので、それを防止するためである。
　ステップＳ４５４で、上述した各処理で歪んだ色信号データＤ４５３のホワイトバランス（以下、ＷＢと言う）をとるために、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に所定の第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）が乗算されて、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）が生成される。ここに、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）は、（４－１式）～（４－３式）で表される。
　　Ｒ１＝Ｒ×ｇｒ　・・・（４－１式）
　　Ｇ１＝Ｇ×ｇｇ　・・・（４－２式）
　　Ｂ１＝Ｂ×ｇｂ　・・・（４－３式）
　なお、第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）は、予め求められて記憶部６に記憶されていればよい。
　ステップＳ４５５で、第１ＷＢ補正色信号Ｄ４５４から、可視輝度信号Ｙと色差信号Ｃｂ、Ｃｒとが演算されて、輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）が生成される。輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）の演算式は、（５－１式）～（５－３式）で表される。
　　Ｙ＝０．２９９×Ｒ１＋０．５８７×Ｇ１＋０．１１４×Ｂ１　　・・・（５－１式）
　　Ｃｂ＝－０．１６９×Ｒ１－０．３３１×Ｇ１＋０．５００×Ｂ１・・・（５－２式）
　　Ｃｒ＝０．５００×Ｒ１－０．４１９×Ｇ１－０．０８１×Ｇ１　・・・（５－３式）
　ここで、ステップＳ４５３で得られた色信号データＤ４５３は、可視光成分のみのデータであるので、ステップＳ４５３の後にステップＳ４９１を設け、色信号データＤ４５３に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色信号を生成してもよい。
　あるいは、ステップＳ４５５で得られた輝度色差信号Ｄ４５５も可視光成分のみのデータであるので、ステップＳ４５５の後にステップＳ４９２を設け、輝度色差信号Ｄ４５５に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色差信号を生成してもよい。
　いずれにしても、Ｄレンジ圧縮を施すことで、照明成分を圧縮して、局所的なコントラストを保存したま全体のＤレンジを圧縮することができ、データサイズを小さくして、以後の演算を容易にすることができる。
　ステップＳ４５６で、輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒと、図６のステップＳ４３９で求められた輝度信号Ｙａｄｄとから、原画像のエッジ部に発生する偽色を抑制した色差信号Ｃｂ’、Ｃｒ’が生成される。詳細は、図８で説明する。
　図８は、図７のステップＳ４５６に相当する色処理部４５の偽色抑制部４５６の構成と動作とを示す模式図で、図８（ａ）は偽色抑制部４５６の構成を示すブロック図であり、図８（ｂ）は偽色抑制部４５６で使用されるフィルタの構成図であり、図８（ｃ）は偽色抑制部４５６で使用される係数を示すグラフである。
　図８（ａ）において、偽色抑制部４５６は、輝度高周波検出部４５６ａと色差信号変調部４５６ｂとの２つのブロックで構成されている。
　輝度高周波検出部４５６ａは、原画像のエッジ検出を行うために、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄに、図８（ｂ）で示すＰｒｅｗｉｔｔフィルタ（水平方向がｇＨＳ、垂直方向がｇＶＳ）を適用して、エッジ量Ｙｅｄｇｅを算出する。ここに、エッジ量Ｙｅｄｇｅは（６式）で表される。
　　Ｙｅｄｇｅ＝｜ｇＨＳ×Ｙａｄｄ｜＋｜ｇＶＳ×Ｙａｄｄ｜　・・・（６式）
　次に、エッジ量Ｙｅｄｇｅから、輝度高周波信号Ｙ’ｅｄｇｅが算出され、色差信号変調部４５６ｂに出力される。ここに、輝度高周波信号Ｙ’ｅｄｇｅは（７式）で表される。
　　Ｙ’ｅｄｇｅ＝Ｙｅｄｇｅ／（Ｙａｄｄ×９）　・・・（７式）
　輝度高周波信号Ｙ’ｅｄｇｅは、１以上となる場合もある。
　一方、色差信号変調部４５６ｂは、輝度高周波検出部４５６ａで生成された輝度高周波信号Ｙ’ｅｄｇｅに基づいて、図８（ｃ）に示す偽色抑制係数ｋを決定する。ここに、偽色抑制係数ｋは、下記で表される。
　　Ｙ’ｅｄｇｅ＜閾値αの時、
　　　ｋ＝１
　　閾値α≦Ｙ’ｅｄｇｅ≦閾値βの時、
　　　ｋ＝－Ｙ’ｅｄｇｅ／（β－α）－β／（β－α）
　　閾値β＜Ｙ’ｅｄｇｅの時、
　　　ｋ＝０
　閾値αおよびβは、画像の種類や用途等によって予め決定され、記憶部６に記憶されればよい。
　この偽色抑制係数ｋを用いて、図７のステップＳ４５５で生成された輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒを変調することで、エッジ部の色信号が抑制された変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）が得られる。ここに、変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）は、（８－１式）、（８－２式）で表される。
　　Ｃｂ１＝ｋ×Ｃｂ　・・・（８－１式）
　　Ｃｒ１＝ｋ×Ｃｒ　・・・（８－２式）
　これによって、撮像素子３の光学フィルタ配列に起因して原画像のエッジ部に発生する偽色を抑制することができる。また、後述するステップＳ４５８でのスムージング処理の前にステップＳ４５６で偽色抑制を行っておくことで、エッジ部に発生する偽色を、より効果的に抑制することができる。
　図７に戻って、ステップＳ４５７で、赤外光成分に比べて可視光成分が少ない場合に画像の彩度が高くなりすぎるのを防止するために、変調色差信号Ｄ４５６に、赤外光に対する可視光の量に応じた所定の係数ｖｂ、ｖｒを乗算することで、変調色差信号Ｄ４５６の彩度を赤外光に対する可視光の量に応じて抑圧した彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）が生成される。ここに、彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）は、（９－１式）、（９－２式）で表される。
　　Ｃｂ２＝Ｃｂ１×ｖｂ　・・・（９－１式）
　　Ｃｒ２＝Ｃｒ１×ｖｒ　・・・（９－２式）
　可視光の成分の量は、ステップＳ４５２で得られた補間画像データＤ４５２のＷ画像成分とＩＲ画像成分との差（Ｗ－ＩＲ）や、Ｗ画像成分とＩＲ画像成分との比（Ｗ／ＩＲ）等で算出できる。また、所定の係数（ｖｂ、ｖｒ）は、例えば、Ｗ画像成分とＩＲ画像成分との差や比等に応じて、予めルックアップテーブル（以下、ＬＵＴと言う）の形で用意され、記憶部６に記憶されればよい。
　ステップＳ４５８で、画素単位でのノイズ低減のために、ステップＳ４５７で得られた彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）に３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、ノイズ成分がぼかされてＳ／Ｎ比が向上された色差低周波信号Ｃｂｓ、Ｃｒｓが得られる。
　ステップＳ４５３での色信号の演算では減算が用いられているのでノイズが増えるが、ステップＳ４５８でのスムージング処理によってノイズが減り、かつ人間の目の視覚特性のために、スムージング処理してもぼけて見えることはない。
　同様に、ステップＳ４５５で得られた可視光の輝度色差信号Ｄ４５５の可視輝度信号Ｙに、３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、可視輝度信号Ｙの低周波成分が抽出された可視輝度低周波信号Ｙｓが抽出される。
　ステップＳ４５９で、図６のステップＳ４３９で生成された色差低周波信号Ｃｂｓ、Ｃｒｓが、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙとに基づいて補正されて、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）が生成される。補正に際して、輝度と色との空間周波数帯域を揃えることによって、輝度差の大きいエッジ領域に偽色が発生することを防止する。
　そこで、単に、
　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）
として補正するだけでなく、例えば、可視光の輝度の高周波成分と低周波成分とを含む可視輝度信号Ｙと、低周波成分のみを含む可視輝度低周波信号Ｙｓとの比（Ｙ／Ｙｓ）をとることで抽出した高輝度成分を、上述した補正項に重畳することで、輝度と色との空間周波数帯域を揃える。ここに、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）は、（１０－１式）、（１０－２式）で表される。
　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）　・・・（１０－１式）
　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）　・・・（１０－２式）
　色差低周波信号Ｃｂｓ、Ｃｒｓは１２ビットの線形特性の信号である。
　あるいは、（１０－１式）および（１０－２式）から可視輝度信号Ｙを約分して消去した、（１０－１’式）、（１０－２’式）を用いても良い。
　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－１’式）
　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－２’式）
　このように、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙ、あるいは輝度低周波信号Ｙａｄｄｓと可視輝度低周波信号Ｙｓとに基づいて補正色差信号Ｄ４５９を求めることで、変換対象となる色空間における色差信号と輝度信号とをバランスよく算出することができる。
　さらに、補正色差信号Ｄ４５９を求めるのに、輝度成分から抽出した高周波成分を重畳することで、輝度信号と色信号との空間周波数帯域がそろうために、輝度差の大きいエッジ領域等に偽色が発生することが緩和される。
　ステップＳ４６０で、ステップＳ４５９で得られた補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）と、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄとから、色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）が演算される。演算式は、（１１－１式）～（１１－３式）で表さされる。
　　Ｒ２＝Ｙａｄｄ＋１．４０２×Ｃｒｍ　　　　　　　　　　・・・（１１－１式）
　　Ｇ２＝Ｙａｄｄ－０．３４４×Ｃｂｍ－０．７１４×Ｃｒｍ・・・（１１－２式）
　　Ｂ２＝Ｙａｄｄ＋１．７７２×Ｃｂｍ　　　　　　　　　　・・・（１１－３式）
　色信号Ｄ４５は、各々８ｂｉｔの線形特性のデータである。
　色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）は、上述の処理を経て演算されたものであるため、ステップＳ４５３で補間画像データＤ４５２から減算処理によって演算された色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に比べてはるかに精度の高い色信号となっている。
　なお、上述した（１０－１式）および（１０－２式）、あるいは（１０－１’式）および（１０－２’式）の処理は、赤外光領域を含まない構成であっても成り立つ。赤外光領域を含まない構成とは、通常の原色系あるいは補色系のフィルタと、赤外カットフィルタとの組み合わせであって、例えば、撮像素子のある行にイェロー（Ｙｅ）フィルタを設けた画素（Ｙｅ画素と言う）とフィルタを設けない画素（Ｗ画素と言う）とが交互に配列され、隣接する行にレッド（Ｒｅ）フィルタを設けた画素（Ｒｅ画素）とＷ画素とが交互に配列され、これが行毎に交互に繰り返されている組み合わせの全体に赤外カットフィルタを設けた構成が考えられる。
　その他に考えられる画素配列としては、下記のものが挙げられる。
１）撮像素子のある行にＹｅ画素とＷ画素とが交互に配列され、隣接する行にグリーンフィルタを設けた画素（Ｇ画素）とＷ画素とが交互に配列されたもの。
２）撮像素子のある行にシアンフィルタを設けた画素（Ｃ画素）とマゼンタフィルタを設けた画素（Ｍ画素）とが交互に配列され、隣接する行にＹｅ画素とＧ画素とが交互に配列されたもの。
３）撮像素子のある行にＲｅ画素とＧ画素とが交互に配列され、隣接する行にＧ画素とブルー（Ｂ）フィルタを設けた画素（Ｂ画素）とが交互に配列されたもの。
　ただし、画素配列は、これに限定されるものではない。
　従来の可視補色フィルタを用いた場合、ＣＭＹ画像からＲＧＢ画像を得て、ＲＧＢ画像から求めた輝度を加算輝度に置き換えることで輝度のＳ／Ｎを向上させることができるが、以降の処理で再度ＲＧＢに置換した場合に、輝度と加算輝度との違いが色の違いとして現れるという問題がある。
　しかし、上述した（１０－１式）および（１０－２式）、あるいは（１０－１’式）および（１０－２’式）の処理を施すことで、ＲＧＢの色の比が保存されるので、色再現性が向上する効果がある。
　図９は、画像処理部４のカラー画像生成部４７の動作を示すフローチャートである。
　図９において、ステップＳ４７１で、ステップＳ４５４以降の各処理で歪んだＷＢを補正するために、ステップＳ４６０で得られた色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）に所定の第２のＷＢゲイン（ｇｒ２、ｇｇ２、ｇｂ２）が乗算されて、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）が得られる。ここに、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）は、（１２－１式）～（１２－３式）で表される。
　　Ｒ３＝Ｒ２×ｇｒ２　・・・（１２－１式）
　　Ｇ３＝Ｇ２×ｇｇ２　・・・（１２－２式）
　　Ｂ３＝Ｂ２×ｇｂ２　・・・（１２－３式）
　ステップＳ４７３で、第２ＷＢ補正色信号Ｄ４７１に所定の行列を用いて色補正が施され、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）が生成される。ここに、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）は下記で表される。
Figure JPOXMLDOC01-appb-I000001
　所定の行列は、予め決定されて、記憶部６に記憶されればよい。
　ステップＳ４７５で、例えば表示部７や外部のディスプレイ等のような出力機器のガンマ特性に合わせて、色補正色信号Ｄ４７３にガンマ補正を施し、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）が生成される。
　ガンマ補正は、例えば表示部７のような出力機器のガンマ特性に合わせて予め用意されたガンマ補正ＬＵＴを用いて、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）を変換すればよい。あるいは、例えばＩＥＣ　６１９６６－２－１　ｓＲＧＢ規格のような標準的なディスプレイの規格に合わせてガンマ補正してもよい。
　ステップＳ４７７で、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）から輝度信号Ｙ３と色差信号Ｃｂ３、Ｃｒ３とが演算されて、第２輝度色差信号Ｄ４７７（Ｙ３、Ｃｂ３、Ｃｒ３）が生成される。演算式はステップＳ４５５と同様で、下記で表される。
　　Ｙ３＝０．２９９×Ｒ５＋０．５８７×Ｇ５＋０．１１４×Ｂ５　　・・・（１４－１式）
　　Ｃｂ３＝－０．１６９×Ｒ５－０．３３１×Ｇ５＋０．５００×Ｂ５・・・（１４－２式）
　　Ｃｒ３＝０．５００×Ｒ５－０．４１９×Ｇ５－０．０８１×Ｇ５　・・・（１４－３式）
　ステップＳ４７９で、第２輝度色差信号Ｄ４７７にエッジ強調処理が施されて、カラー画像Ｄ４（Ｙ４、Ｃｂ４、Ｃｒ４）が生成され、画像処理部４から出力される。カラー画像Ｄ４は、各々８ｂｉｔの線形の信号である。
　上述した第１の実施の形態は、図２に示した例とは異なる構成の撮像素子にも適用できる。そこで、撮像素子の構成の第２の例について、図１０および図１１を用いて説明する。図１０は、撮像素子の構成の第２の例を示す模式図である。
　図１０において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂ）フィルタ、緑（Ｇ）フィルタ、赤（Ｒ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。
　図示の例では、ある行に、Ｂフィルタが設けられた画素３１とＲフィルタが設けられた画素３１とが交互に配列され、次の行にはＧフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
　図１１に、撮像素子３の分光特性の一例を示す。図１１は、撮像素子３の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
　図１１において、Ｂフィルタは可視波長の青色領域を透過させる。Ｇフィルタは可視波長の緑色領域を透過させる。Ｒフィルタは可視波長の赤色領域を透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
　一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
　従って、撮像素子３のＢフィルタが設けられた画素３１（以下、Ｂ画素と言う。各色とも同じである。）は、可視波長域の青色を有感度波長域とし、Ｇ画素は可視波長域の緑色を有感度波長域とし、Ｒ画素は可視波長域の赤色を有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とする。
　撮像素子３の構成の第２の例を用いる場合には、色フィルタの構成が図２の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３－１式）、（３－２式）、（３－３式）を以下のように修正する必要がある。
ここに、これらの式は下記のように修正される。
　　Ｙａｄｄ＝（Ｂ７＋Ｇ７＋Ｒ７＋ＩＲ７）／４　・・・（２式）
　　Ｙａｄｄ＝（ａ１×Ｂ７＋ａ２×Ｇ７＋ａ３×Ｒ７＋ａ４×ＩＲ７）／４　　・・・
（２’式）
　　Ｒ＝Ｒ９　・・・（３－１式）
　　Ｇ＝Ｇ９　・・・（３－２式）
　　Ｂ＝Ｂ９　・・・（３－３式）
　さらに、撮像素子の構成の第３の例について、図１２および図１３を用いて説明する。図１２は、撮像素子の構成の第３の例を示す模式図である。
　図１２において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂｌ）フィルタ、緑（Ｇｒ）フィルタ、赤（Ｒｅ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。図１０の第２の例と記号が異なるのは、図１３に示す各フィルタの分光感度が異なるからである。
　図示の例では、ある行に、Ｂｌフィルタが設けられた画素３１とＲｅフィルタが設けられた画素３１とが交互に配列され、次の行にはＧｒフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
　図１３に、撮像素子３の分光特性の一例を示す。図１３は、撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
　図１３において、Ｂｌフィルタは可視波長の青色領域と赤外波長域とを透過させる。Ｇｒフィルタは可視波長の緑色領域と赤外波長域とを透過させる。Ｒｅフィルタは可視波長の赤色領域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
　一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
　従って、撮像素子３のＢｌ画素は、可視波長域の青色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度波長域とし、Ｇｒ画素は可視波長域の緑色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度波長域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでとを有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とする。
　撮像素子３の構成の第３の例を用いる場合には、色フィルタの構成が図２および図１０の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３－１式）、（３－２式）、（３－３式）を以下のように修正する必要がある。ここに、これらの式は下記のように修正される。
　　Ｙａｄｄ＝（Ｂｌ７＋Ｇｒ７＋Ｒｅ７＋ＩＲ７）／４　・・・（２式）
　　Ｙａｄｄ＝（ａ１×Ｂｌ７＋ａ２×Ｇｒ７＋ａ３×Ｒｅ７＋ａ４×ＩＲ７）／４　　・・・（２’式）
　　Ｒ＝Ｒｅ９－ＩＲ９　・・・（３－１式）
　　Ｇ＝Ｇｒ９－ＩＲ９　・・・（３－２式）
　　Ｂ＝Ｂｌ９－ＩＲ９　・・・（３－３式）
　上述したように、第１の実施の形態によれば、撮像光学系と、リニアログ特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて原画像データを撮像する。そして、撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
　次に、本発明における撮像装置の第２の実施の形態について、図１４から図１６を用いて説明する。撮像装置の第２の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１４は、撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図で、図１４（ａ）は撮像素子の光電変換特性を示す模式図であり、図１４（ｂ）は撮像素子のフィルタ構成を示す模式図である。
　図１４（ａ）において、撮像素子３は、通常の線形特性の光電変換特性を有している。通常の線形特性の光電変換特性を有する撮像素子３を用いて、低輝度領域Ａ１を第１の露出時間Ｔ１で撮像することで、第１の光電変換特性Ｓ１が得られる。同様に、低輝度領域Ａ１よりも明るく、低輝度領域Ａ１と重なる輝度領域Ａ３を有する高輝度領域Ａ２を、第１の露出時間Ｔ１よりも短い第２の露出時間Ｔ２で撮像することで、第２の光電変換特性Ｓ２が得られる。
　画像処理部４によって、第１の光電変換特性Ｓ１と第２の光電変換特性Ｓ２とを、重なる輝度領域Ａ３の部分で連結することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーする広いＤレンジを有する光電変換特性Ｓ３を合成することができる。理論的には重なる輝度領域Ａ３を有する必要はないので、この方法で通常の線形特性の光電変換特性の最大２倍のＤレンジを得ることができる。
　従って、第１の光電変換特性Ｓ１および第２の光電変換特性Ｓ２が例えば１４ビットのデータの場合、光電変換特性Ｓ３は最大２８ビットのデータとなる。同様にして３つ以上の輝度範囲を連結することも可能である。
　図１４（ｂ）において、撮像素子３は、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、マゼンタ（Ｍ）フィルタ、シアン（Ｃ）フィルタの３種類の補色フィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１とが規則的に配置されている。
　図示の例では、ある行に、Ｍフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＣフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
　図１５に、撮像素子３の分光特性の例を示す。図１５は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
　図１５において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｍフィルタは、可視波長の緑色領域を除く波長域と赤外波長域とを透過させる。Ｃフィルタは、可視波長の赤色領域を除く波長域と赤外波長域とを透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、Ｗについても、色と呼ぶ。
　一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
　従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｍ画素は可視波長域の青色と赤色と赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｃ画素は可視波長域の青色と緑色と赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度波長域とする。
　図１６は、第２の実施の形態における画像処理部４の構成を示すブロック図である。
　図１６において、画像処理部４は、図４に示した第１の実施の形態の画素補正部４１の前に、Ｄレンジ拡大部４９を有している。
　Ｄレンジ拡大部４９は、撮像素子３で第１の露出時間Ｔ１で撮像された画像データＤ３１（Ｙｅ、Ｍ、Ｃ、Ｗ）と、画像データＤ３１に連続して第１の露出時間Ｔ１とは異なる第２の露出時間Ｔ２で撮像された画像データＤ３２（Ｙｅ、Ｍ、Ｃ、Ｗ）とに基づいて、図１４（ａ）で説明した方法により、Ｄレンジが拡大された原画像データＤ３（Ｙｅ、Ｍ、Ｃ、Ｗ）を合成する。これ以降は、原画像データＤ３を用いて画像処理を行う。画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。なお、画像データＤ３１と画像データＤ３２とは、連続して撮像されたものに限るものではない。また、異なる露出時間で撮像された３枚以上の画像データを用いて原画像データを合成してもよい。
　原画像データＤ３は線形特性のデータであるので、図５から図９に示した画像処理部４の各部の動作の中で、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要であり、画像処理部４の各部の動作は全て線形特性で取り扱うことができる。
　ただし、上述したように、原画像データＤ３はビット数の大きいデータであるので、ステップＳ４１３（線形対数変換）で対数圧縮することで、ビット数の小さいデータに変換してから、それ以降の演算を行うことでもよい。その場合には、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）での線形伸張が必要となる。
　また、第２の実施の形態の撮像素子３は、色フィルタの構成が第１の実施の形態とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３－１式）、（３－２式）、（３－３式）を以下のように修正する必要がある。ここに、これらの式は下記のように修正される。
　　Ｙａｄｄ＝（Ｙｅ７＋Ｍ７＋Ｃ７＋Ｗ７）／４　・・・（２式）
　　Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｍ７＋ａ３×Ｃ７＋ａ４×Ｗ７）／４　　・・・（２’式）
　　Ｒ＝Ｗ９－Ｃ９　・・・（３－１式）
　　Ｇ＝Ｗ９－Ｍ９　・・・（３－２式）
　　Ｂ＝Ｗ９－Ｙｅ９　　・・・（３－３式）
　第２の実施の形態の画像処理部４の各部のその他の動作は、図５から図９に示したものと同じであるので、説明は省略する。
　上述したように、第２の実施の形態によれば、撮像光学系と、線形特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて異なる露出時間で少なくとも２枚の画像データを撮像する。そして、撮像された少なくとも２枚の画像を合成した原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
　次に、本発明における撮像装置の第３の実施の形態について、図１７を用いて説明する。撮像装置の第３の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１７は、撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
　図１７において、撮像素子３は、ニー特性と呼ばれる折れ線形の線形の光電変換特性を有している。ニー特性は、入射光量ＩＬが少ない低輝度領域Ａ１では傾きの大きい線形の第１の光電変換特性Ｓ１を有し、入射光量ＩＬが多い高輝度領域Ａ２では傾きの小さい線形の第２の光電変換特性Ｓ２を有している。
　第２の実施の形態と同様に、図１６に示した画像処理部４のＤレンジ拡大部４９によって、第２の光電変換特性Ｓ２を、第１の光電変換特性Ｓ１の延長線上に伸張することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーする広いＤレンジを有する線形の光電変換特性Ｓ３を得ることができる。あるいは、第１の光電変換特性Ｓ１の傾きを第２の光電変換特性の傾きに合わせて寝かせ、第２の光電変換特性Ｓ２と連結することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーするビット数の小さい線形の光電変換特性Ｓ４を得ることもできる。
　画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。また、得られる原画像データは線形特性であるので、第２の実施の形態と同様に、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要である。さらに、色処理に関しては、用いるフィルタに合わせて、第１の実施の形態の式か第２の実施の形態の式かを使い分ければよい。
　上述したように、第３の実施の形態によれば、撮像光学系と、ニー特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて原画像データを撮像する。そして、撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
　なお、上述した第１から第３の実施の形態では、撮像素子３は４種類の異なるフィルタを備えているとしたが、これに限定されるものではなく、少なくとも３種類のフィルタを備えていればよい。この場合、フィルタの種類として、各フィルタの分光透過特性から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を生成することができる種類のものを採用すればよい。
　以上に述べたように、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種類の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成する。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
　また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種類の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成する。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
　なお、本発明に係る撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
　１　撮像装置
　２　撮像光学系
　２１　光軸
　３　撮像素子
　３１　画素
　４　画像処理部
　４１　画素補正部
　４３　輝度信号生成部
　４３１　照明成分抽出部
　４３３　照明成分圧縮部
　４５　色処理部
　４５６　偽色抑制部
　４５６ａ　輝度高周波検出部
　４５６ｂ　色差信号変調部
　４７　カラー画像生成部
　４９　Ｄレンジ拡大部
　５　制御部
　６　記憶部
　７　表示部
　８　インターフェース（Ｉ／Ｆ）部
　Ｌ　照明成分
　Ｌ’　圧縮照明成分
　ＩＬ　入射光量
　ＶＬ　出力
　Ｐｔ　変曲点
　Ｙａｄｄ　輝度信号
　Ｙ　可視輝度信号
　Ｃｂ、Ｃｒ　色差信号
　Ｄ４　カラー画像

Claims (13)

  1. 　被写体像を結像させる撮像光学系と、
    　赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
    　前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
    　前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
    　可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、
    　前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、
    　前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、
    　前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、
    　前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
  2. 　前記補正色差信号は、以下の演算式を用いて生成されることを特徴とする請求項１に記載の撮像装置。
    　ここに、前記補正色差信号をＣｂｍ、Ｃｒｍ、前記色差低周波信号をＣｂｓ、Ｃｒｓ、前記輝度信号をＹａｄｄ、前記可視輝度信号をＹ、前記可視輝度低周波信号をＹｓとすると、演算式は、
    　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０－１式）
    　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０－２式）
    あるいは、
    　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－１’式）
    　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－２’式）
    である。
  3. 　前記撮像素子は、
    　可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
    　可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
    　全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
    　赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
  4. 　前記撮像素子は、
    　可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
    　可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
    　可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
    　赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
  5. 　前記撮像素子は、
    　可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
    　可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
    　可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
    　赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
  6. 　前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項１に記載の撮像装置。
  7. 　前記撮像素子は、線形の光電変換特性を有し、
    　前記画像処理部は、露出時間の異なる少なくとも２枚の画像データに基づいて、１枚の原画像データを生成し、前記原画像データを用いてカラー画像を生成することを特徴とする請求項１に記載の撮像装置。
  8. 　前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項１に記載の撮像装置。
  9. 　被写体像を結像させる撮像光学系と、
    　可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
    　前記原画像データから、輝度信号を生成する輝度信号生成部と、
    　前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
    　可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、
    　前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、
    　前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、
    　前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、
    　前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
  10. 　前記補正色差信号は、以下の演算式を用いて生成されることを特徴とする請求項９に記載の撮像装置。
    　ここに、前記補正色差信号をＣｂｍ、Ｃｒｍ、前記色差低周波信号をＣｂｓ、Ｃｒｓ、前記輝度信号をＹａｄｄ、前記可視輝度信号をＹ、前記可視輝度低周波信号をＹｓとすると、演算式は、
    　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０－１式）
    　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０－２式）
    あるいは、
    　　Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－１’式）
    　　Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）　・・・（１０－２’式）
    である。
  11. 　前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項９に記載の撮像装置。
  12. 　前記撮像素子は、線形の光電変換特性を有し、
    　前記画像処理部は、露出時間の異なる少なくとも２枚の画像データに基づいて、１枚の原画像データを生成し、前記原画像データを用いてカラー画像を生成することを特徴とする請求項９に記載の撮像装置。
  13. 　前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項９に記載の撮像装置。
PCT/JP2011/002843 2010-06-07 2011-05-23 撮像装置 WO2011155135A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/702,961 US20130083157A1 (en) 2010-06-07 2011-05-23 Imaging Device
JP2012519226A JPWO2011155135A1 (ja) 2010-06-07 2011-05-23 撮像装置
EP11792097.5A EP2579573A4 (en) 2010-06-07 2011-05-23 IMAGING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010129728 2010-06-07
JP2010-129728 2010-06-07

Publications (1)

Publication Number Publication Date
WO2011155135A1 true WO2011155135A1 (ja) 2011-12-15

Family

ID=45097756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002843 WO2011155135A1 (ja) 2010-06-07 2011-05-23 撮像装置

Country Status (4)

Country Link
US (1) US20130083157A1 (ja)
EP (1) EP2579573A4 (ja)
JP (1) JPWO2011155135A1 (ja)
WO (1) WO2011155135A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699395B2 (en) 2016-10-14 2020-06-30 Mitsubishi Electric Corporation Image processing device, image processing method, and image capturing device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
US9538100B1 (en) * 2013-05-10 2017-01-03 Amazon Technologies, Inc. Systems and methods for image processing using visible and near-infrared spectral information
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141229A (ja) 1992-10-27 1994-05-20 Matsushita Electric Ind Co Ltd 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2001275015A (ja) 2000-03-23 2001-10-05 Sony Corp 画像処理回路及び画像処理方法
JP2002077733A (ja) 2000-08-31 2002-03-15 Minolta Co Ltd 固体撮像装置
JP2005079766A (ja) 2003-08-29 2005-03-24 Minolta Co Ltd 撮像装置
JP2007074488A (ja) 2005-09-08 2007-03-22 Konica Minolta Holdings Inc 撮像装置
JP2007174277A (ja) * 2005-12-22 2007-07-05 Sony Corp 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2007184805A (ja) 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007251898A (ja) 2006-03-20 2007-09-27 Konica Minolta Holdings Inc 撮像装置
JP2009081526A (ja) 2007-09-25 2009-04-16 Konica Minolta Opto Inc 撮像装置
WO2010053029A1 (ja) * 2008-11-04 2010-05-14 コニカミノルタオプト株式会社 画像入力装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011251A (en) * 1997-06-04 2000-01-04 Imec Method for obtaining a high dynamic range read-out signal of a CMOS-based pixel structure and such CMOS-based pixel structure
JP4185771B2 (ja) * 2002-12-27 2008-11-26 シャープ株式会社 固体撮像装置
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
KR100866718B1 (ko) * 2005-06-17 2008-11-05 도판 인사츠 가부시키가이샤 촬상 소자
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06141229A (ja) 1992-10-27 1994-05-20 Matsushita Electric Ind Co Ltd 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JP2001275015A (ja) 2000-03-23 2001-10-05 Sony Corp 画像処理回路及び画像処理方法
JP2002077733A (ja) 2000-08-31 2002-03-15 Minolta Co Ltd 固体撮像装置
JP2005079766A (ja) 2003-08-29 2005-03-24 Minolta Co Ltd 撮像装置
JP2007074488A (ja) 2005-09-08 2007-03-22 Konica Minolta Holdings Inc 撮像装置
JP2007174277A (ja) * 2005-12-22 2007-07-05 Sony Corp 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2007184805A (ja) 2006-01-10 2007-07-19 Toyota Central Res & Dev Lab Inc カラー画像再生装置
JP2007251898A (ja) 2006-03-20 2007-09-27 Konica Minolta Holdings Inc 撮像装置
JP2009081526A (ja) 2007-09-25 2009-04-16 Konica Minolta Opto Inc 撮像装置
WO2010053029A1 (ja) * 2008-11-04 2010-05-14 コニカミノルタオプト株式会社 画像入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2579573A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699395B2 (en) 2016-10-14 2020-06-30 Mitsubishi Electric Corporation Image processing device, image processing method, and image capturing device

Also Published As

Publication number Publication date
US20130083157A1 (en) 2013-04-04
EP2579573A4 (en) 2014-09-10
JPWO2011155135A1 (ja) 2013-08-01
EP2579573A1 (en) 2013-04-10

Similar Documents

Publication Publication Date Title
WO2011155136A1 (ja) 撮像装置
JP5206796B2 (ja) 画像入力装置
JP5168353B2 (ja) 撮像装置及び撮像素子
EP2866445B1 (en) Imaging device
US8411176B2 (en) Image input device
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
WO2011118071A1 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
KR20070024333A (ko) 화상 신호 처리 장치 및 화상 신호 처리 방법
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
JP5474586B2 (ja) 画像処理装置
WO2011155135A1 (ja) 撮像装置
JP2011259060A (ja) 撮像装置
JP2005142832A (ja) 輪郭補正回路及び撮像装置
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
JP5464008B2 (ja) 画像入力装置
JP3966866B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP7121538B2 (ja) 撮像装置及び撮像方法
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
KR100999885B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
CN112335233B (zh) 图像生成装置以及摄像装置
JP3933649B2 (ja) 撮像装置及び信号処理方法
KR100949188B1 (ko) Ｃｃｄ의 영상신호 처리 방법
JP2005303702A (ja) 撮像装置、カメラ、及び信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792097

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012519226

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13702961

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011792097

Country of ref document: EP