WO2020017638A1 - 画像生成装置及び撮像装置 - Google Patents

画像生成装置及び撮像装置 Download PDF

Info

Publication number
WO2020017638A1
WO2020017638A1 PCT/JP2019/028470 JP2019028470W WO2020017638A1 WO 2020017638 A1 WO2020017638 A1 WO 2020017638A1 JP 2019028470 W JP2019028470 W JP 2019028470W WO 2020017638 A1 WO2020017638 A1 WO 2020017638A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
color
infrared light
visible light
image
Prior art date
Application number
PCT/JP2019/028470
Other languages
English (en)
French (fr)
Inventor
光一朗 石神
角　博文
基史 祖父江
Original Assignee
株式会社ナノルクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ナノルクス filed Critical 株式会社ナノルクス
Priority to JP2020531386A priority Critical patent/JP7203441B2/ja
Priority to CN201980040150.6A priority patent/CN112335233B/zh
Priority to US17/251,215 priority patent/US11284044B2/en
Publication of WO2020017638A1 publication Critical patent/WO2020017638A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image generation device and an imaging device that generate a color image from visible light and near-infrared light.
  • Patent Document 1 There has been proposed an image capturing apparatus that detects infrared light reflected by a subject or infrared light emitted by the subject to form a color image of the subject.
  • a color image is generated from near-infrared light by utilizing the fact that the same subject spectral reflectance characteristic as that in the visible wavelength region is observed in the near-infrared wavelength region. I have. Specifically, light in the near-infrared region having a high correlation with the color when the same subject is visually observed under visible light is detected, and a display color is pseudo-generated from the detected information. If this technology is used, it is possible to capture a color image even in an extremely low illuminance environment or darkness.
  • the imaging devices described in Patent Documents 2 and 3 described above have a problem that a color image cannot be captured in an environment where there is almost no visible light because color information is obtained from a visible light signal.
  • the imaging device described in Patent Literature 1 can generate a color image using only near-infrared light, and thus can shoot even in darkness (0 lux).
  • the color is set based on the correlation with visible light. Therefore, there is a problem in color reproducibility.
  • an object of the present invention is to provide an image generation device and an imaging device capable of generating a color image with clear and excellent color reproducibility even when photographing in an environment where there is not enough visible light. I do.
  • the image generating apparatus the three or more types of visible light signals based on visible light having different wavelengths or wavelength ranges output from the solid-state imaging device, the mutual wavelength or wavelength output from the solid-state imaging device
  • a first color signal generation unit configured to combine at least two types of near-infrared light signals based on near-infrared light having different regions to generate three or more types of first color signals;
  • the above-described near-infrared light signal is obtained simultaneously with the three or more kinds of visible light signals, and at least the first near-infrared light based on the near-infrared light having a peak wavelength in the range of 700 to 870 nm.
  • the first color reproduction signal generator may perform signal processing on the three or more types of visible light signals and the two or more types of near-infrared light signals, and then combine them.
  • the image generation device of the present invention has a signal separation unit that separates the optical signal output from the solid-state imaging device into the visible light signal and the near-infrared light signal and outputs the separated signal.
  • the separated visible light signal and near infrared light signal may be input to the first color signal generation unit.
  • the image generation device of the present invention may further include the three or more types of visible light signals output from the solid-state imaging device, the two or more types of near-infrared light signals or components based on the visible light, and the near-infrared light component.
  • a second color signal generator that generates three or more second color signals from two or more mixed light signals containing both light-based components, and combines the first color signal and the second color signal.
  • An image generation unit that generates a color image.
  • the second color signal generation unit adds three or more types of near-infrared light signals or the mixed light signal to the three or more types of visible light signals, and generates three or more types of second color signals. Generate.
  • the second signal generation unit may generate the second color signal by selecting any one of the visible light signal, the near infrared light signal, and the mixed light signal.
  • the image generation unit may add a difference between the first color signal and the second color signal to the second color signal. At this time, after performing a noise reduction process on a difference between the first color signal and the second color signal, the difference can be added to the second signal. Further, the second color signal may be added to the first signal after being subjected to a sharpening process.
  • An imaging device is a solid-state imaging device that detects three or more visible lights having different wavelengths or wavelength ranges and two or more near-infrared lights having mutually different wavelengths or wavelength ranges, with the image generation device described above. And an imaging unit that converts visible light and near-infrared light received from a subject into respective electric signals.
  • the imaging device of the present invention may include an illumination unit that irradiates the subject with the two or more near-infrared lights.
  • a color signal is generated by combining three or more types of visible light signals and two or more types of near-infrared light signals under specific conditions.
  • FIG. 1 is a block diagram illustrating a configuration of an image generation device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an optical signal input to the image generation device 10 illustrated in FIG. 1.
  • FIG. 2 is a block diagram illustrating a configuration example of signal processing units 3a and 3b illustrated in FIG. 1.
  • FIG. 4 is a block diagram illustrating another configuration example of the signal processing units 3a and 3b illustrated in FIG. 1. It is a block diagram showing the composition of the image generation device of the 1st modification of a 1st embodiment of the present invention. It is a block diagram showing the composition of the image generation device of a 2nd embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a configuration example of a signal processing unit 6 illustrated in FIG. 6.
  • FIG. 7 is a block diagram illustrating a configuration example of an image generation unit 22 illustrated in FIG. 6.
  • FIG. 7 is a block diagram illustrating another configuration example of the image generation unit 22 illustrated in FIG. 6.
  • FIG. 14 is a block diagram illustrating a configuration of an image generation device according to a first modification of the second embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of separation calculation in a signal separation unit 4 illustrated in FIG. 10. It is a block diagram showing the composition of the imaging device of a 3rd embodiment of the present invention.
  • FIGS. 3A to 3D are diagrams illustrating examples of pixel arrangement of a solid-state imaging device.
  • FIG. 9 is a diagram illustrating another example of a pixel arrangement of a solid-state imaging device.
  • FIG. 14A and 14B are diagrams showing a method of generating a color image using the image pickup device having the pixel arrangement shown in FIG. 14, wherein A is for capturing an image based on visible light, and B is for capturing an image based on near-infrared light. The case where an image is taken is shown.
  • FIG. 15 is a diagram illustrating a method of generating a black-and-white image using the imaging device having the pixel arrangement illustrated in FIG. 14.
  • FIG. 1 is a block diagram illustrating the configuration of the image generating apparatus according to the present embodiment.
  • an image generation device 10 of the present embodiment generates a color image from three or more types of visible light signals and two or more types of near-infrared light signals, and includes a first color signal generation unit. 1 and an image generation unit 2, and signal processing units 3a and 3b are further provided as necessary.
  • FIG. 2 is a diagram showing an optical signal input to the image generation device 10 shown in FIG.
  • the visible light signals S R , S G , and S B input to the image generation device 10 of the present embodiment are output from the solid-state imaging device, respectively, This is based on three types of visible light having different wavelengths or wavelength ranges detected by the pixels R, G, and B.
  • the near-infrared light signals S IR1 and S IR2 are obtained at the same time as the visible light signals S R , S G and S B , and are mutually detected by the near-infrared pixels IR 1 and IR 2 of the solid-state imaging device. And two types of near-infrared light having different wavelengths or wavelength ranges.
  • At least two types of near-infrared light signals include at least a first near-infrared light signal SIR1 based on near-infrared light having a peak wavelength in the range of 700 to 870 nm and a near-infrared light signal SIR1 having a peak wavelength of 870 to 2500 nm.
  • a second near-infrared light signal SIR2 based on near-infrared light in the range, preferably in the range of 870 to 1100 nm.
  • the present invention shows a case where three kinds of visible light signals and two kinds of near-infrared light signals are used, but the present invention is not limited to this, and the visible light signal is Three or more types and near-infrared light signals may be two or more types.
  • the present invention also includes a case where one or two or more of the visible light and the near-infrared light to be detected are not detected in the solid-state imaging device. In that case, the corresponding visible light signal or near-infrared light signal is used. Is treated as having a signal strength of 0.
  • the first color signal generation unit 1 combines the near-infrared light signals S IR1 and S IR2 with the visible light signals S R , S G and S B at an arbitrary ratio to generate three or more types of color images. This is to generate one-color signals Rl, Gl, Bl.
  • the synthesis ratio of the visible light signals S R , S G , S B and the near-infrared light signals S IR1 , S IR2 depends on the light signals such as luminance and chroma level (chroma) from the viewpoint of emphasizing color reproducibility. And / or the intensity (signal level) of the optical signal.
  • the combination ratio of the visible light signal and the near infrared light signal may be determined in consideration of the exposure amount, the irradiation amount of the illumination light, and the like in addition to the quality and intensity of each optical signal.
  • the composition ratio in one image may be the same for the entire image, but may be locally changed.
  • the composition ratio can be determined using, for example, an integral value in a certain pixel range.
  • the pixel range at that time is desirably within an effective area that is emphasized during observation, but if it is difficult to provide a detection unit for each response level for the effective area, as a simple alternative method, A small detection-dedicated area may be provided at the end outside the effective pixel, and the determination may be made based on the detection result of only that area.
  • the synthesis ratio can be determined by using a result of performing a filtering process on a response of an adjacent pixel or a response of a peripheral pixel locally.
  • the two types of pairs to be compared are not limited to one set of information, but may be a plurality of sets, or may be converted into one representative component ratio information by an arbitrary weighted average or the like.
  • composition ratio is locally modulated, for example, by giving a different composition ratio independently for each pixel, it is possible to optimize the image quality of the entire image finally obtained.
  • a different combination ratio is given independently for each pixel, there are disadvantages in that the load for calculation and the cost increase, but the near-infrared light signal can compensate for the shortage of the amount of visible light. Since the amount of visible light irradiation is not always uniform within the angle of view, changing the composition ratio for each position or area can compensate for the visible light response and reduce excess / shortage on the entire screen. Appropriate image quality can be obtained.
  • the image generation unit 2 generates a color image from the first color signals Rl, Gl, Bl generated by the first color signal generation unit 1. At that time, if necessary, white balance (White Balance: WB), image interpolation (Interpolation: ITP), color correction (Color Correction), gradation correction (Tone Correction), noise reduction (Noise Reduction: NR), etc. Perform development processing.
  • white Balance White Balance: WB
  • image interpolation Interpolation: ITP
  • color correction Color Correction
  • gradation correction gradation correction
  • noise reduction Noise Reduction: NR
  • the image generation device 10 of the present embodiment has the visible light signals S R , S G , S B and the near-infrared light signals S IR1 , S IR2 input to the first color signal generation unit 1. May be provided with signal processing sections 3a and 3b for performing various signal processing.
  • FIG. 3 is a block diagram illustrating a configuration example of the signal processing units 3a and 3b. As shown in FIG. 3, each of the signal processing units 3a and 3b includes a white balance adjustment unit WB, an image interpolation processing unit ITP, a color correction processing unit CC, a tone correction unit Tone, and the like.
  • visible light signal S R as achromatic surface of the object is represented as achromatic, S G, is S B and the near infrared light signal S IR1, the level of S IR2 are trimmed.
  • the processing may be performed as red R, green G, and blue B, respectively.
  • the near-infrared light signal SIR1 is regarded as red (R)
  • the near-infrared light signal SIR2 is regarded as green (G)
  • B there is no blue
  • the image interpolation processing unit ITP performs an interpolation operation on a signal having a different pixel position for each type of color filter (a signal having a different type of color filter for each pixel position) according to the color filter array.
  • Three types of signals of red (R), green (G) and blue (B) are obtained.
  • the near-infrared light signal SIR1 is regarded as red (R)
  • the near-infrared light signal SIR2 is regarded as green (G), similarly to the above-described white balance.
  • processing may be performed assuming that there is no blue (B).
  • the color correction processing unit CC performs color correction by, for example, a 3 ⁇ 3 linear matrix operation. At that time, by adjusting the linear matrix coefficient, it is possible to appropriately represent various colors of the subject. More specifically, coefficients of the visible light signals S R , S G , S B and the near-infrared light signals S IR1 , S IR2 are determined in advance so that desired color reproducibility can be obtained. Is calculated by using, for example, the following Expressions 1 and 2.
  • the tone correction unit Tone corrects each optical signal having a linear response characteristic with respect to the amount of light so that the tone becomes appropriate as an image. Specifically, a non-linear conversion is performed on an input signal that has a linear response to the amount of light in accordance with a coding standard that assumes display display or the like.
  • the conversion characteristic (conversion function) in the tone correction unit Tone may add an intentional non-linear characteristic in order to correct or express the appearance of the image. Interpolation can be performed by providing a one-dimensional numerical table, and various operation methods can be applied.
  • the processes performed by the signal processing units 3a and 3b are not limited to the above-described white balance, image interpolation, color correction, and gradation correction, and may be performed in addition to or instead of these processes. Processing such as black level correction (BK), color space conversion (CSC), and noise reduction (NR) can also be performed. In addition, the order of each process is not limited to the order shown in FIG. 3, and the execution position can be set as appropriate.
  • different processing may be performed on the visible light signals S R , S G , and S B and the near-infrared light signals S IR1 , S IR2 , and a part or all of these processing may be performed by the first color signal generation.
  • the first color signals Rl, Gl, output from the first color signal generation unit 1, Bl may be performed.
  • FIG. 4 is a block diagram showing another example of the configuration of the signal processing units 3a and 3b.
  • the near-infrared light signal output from the solid-state imaging device does not have sufficient color separation as compared with the visible light signal, and is concentrated around an achromatic color.
  • the difference in state is large depending on the position in the signal space (color space), and the distribution is complicated. Therefore, in the image generating apparatus of the present embodiment, by making the signal processing units 3a and 3b have a configuration as shown in FIG. 4, a reliable correction effect can be obtained for such an optical signal.
  • the signal processing unit 3a that processes the visible light signals S R , S G , and S B includes a white balance adjustment unit WB, an image interpolation processing unit ITP, a color correction processing unit CC1, a tone correction unit Tone,
  • the color space conversion unit CSC is provided in this order
  • the signal processing unit 3b that processes the near infrared light signals S IR1 and S IR2 includes a white balance adjustment unit WB, an image interpolation processing unit ITP, a gradation correction unit Tone, a color space
  • the conversion unit CSC and the color correction processing unit CC2 are provided in this order.
  • the color space conversion unit CSC converts a visible light signal and a near-infrared signal into a luminance chromaticity signal by a matrix calculation represented by the following Expression 3.
  • the conversion destination space is a virtual separation space for distinguishing coefficients in the next correction stage, and is a temporary temporary signal space (Y ′, Cb ′, Cr ′).
  • Y ′ conforms to the ITU-RBT.709 standard
  • a RY 0.2126
  • a GY 0.7152
  • a BY 0.0722
  • a Rb -0.1146
  • a Gb -0.3854
  • a Bb 0.5
  • a Rr 0.5
  • a Gr -0.4542
  • a Br -0.0458
  • the processing in the color space conversion unit CS does not necessarily have to conform to the standard of the output signal, and can be adjusted to a convenient space in order to give a correction effect to each optical signal.
  • the color correction processing unit CC2 performs color correction on the luminance and chromaticity signals S Y , S Cb , and S Cr that have been subjected to the color space correction after the gradation correction. This is performed using
  • each coefficient has the following values and the correction is invalid, but by changing and adjusting each coefficient from this state, the colors of various subjects can be expressed to some extent independently with few parameter operations. can do.
  • the image generating apparatus uses three or more types of visible light signals and two or more near-infrared light signals acquired simultaneously by the solid-state imaging device, and responds to the signal quality and intensity. Because color images are generated from color signals obtained by adjusting the combination ratios, clear and excellent color reproducibility can be obtained even when shooting in an environment where there is not enough visible light. .
  • the image generation apparatus of the present embodiment instead of changing the shooting conditions (visible light shooting or near-infrared light shooting) in the imaging system, changing the synthesis conditions in the developing system enables shooting. Since it is possible to cope with changes in the brightness of the environment, it is possible to realize an imaging device capable of obtaining a high-quality color image regardless of the amount of visible light.
  • the image generation device of the present embodiment is particularly suitable for an imaging device that captures a moving image for a long time, such as a monitoring camera.
  • FIG. 5 is a block diagram showing a configuration of an image generation device according to a first modification of the first embodiment of the present invention.
  • the same components as those of the image generation device 10 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the image generation device 11 of the present modification includes a signal separation unit 4 in addition to the first color signal generation unit 1, the image generation unit 2, and the signal processing units 3a and 3b.
  • the signal separation unit 4 separates an optical signal output from the solid-state imaging device into a visible light signal and a near-infrared light signal and outputs the separated signals.
  • mixed light signals SR + IR1 , SG + IR2 , and SB + IR3 including both the visible light component and the near infrared light component output from the near infrared light pixel of the solid-state imaging device are converted into near infrared light.
  • the signals are separated into signals S IR1 , S IR2 , S IR3 and visible light signals S R , S G , S B.
  • the separated visible light signals S R , S G , S B are output together with the visible light signals S R , S G , S B output from the visible light pixels, and are output to the signal processing unit 3 a or the first signal generation unit. 1 and the separated near-infrared light signals S IR1 , S IR2 , and S IR3 are input to the signal processing unit 3b or the first signal generation unit 1.
  • the near-infrared light pixel of the solid-state imaging device is configured to detect only near-infrared light, that is, when a signal including both visible light and near-infrared light is not output from the solid-state imaging device, signal separation is performed.
  • the unit 4 is unnecessary.
  • the signal separating unit 4 outputs two types of near-infrared light signals S IR1 and S IR2 .
  • the image generation device of the present modified example includes the signal separation unit 4, even if the pixel of the solid-state imaging device is configured to detect both visible light and near-infrared light, the above-described first image generation device can be used. As in the case of the embodiment, it is possible to generate a clear and excellent color reproducibility color image even when photographing in an environment where there is not enough visible light.
  • the configurations and effects of the present modification other than those described above are the same as those of the above-described first embodiment.
  • FIG. 6 is a block diagram illustrating the imaging apparatus according to the present embodiment. 6, the same components as those of the image generating apparatus 10 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the image generation device 20 according to the present embodiment includes a second color signal generation unit 5 and a signal in addition to the first color signal generation unit 1, the image generation unit 22, and the signal processing units 3a and 3b.
  • a processing unit 6 is provided.
  • the second color signal generation unit 5 converts the visible light signals S R , S G , S B and the near-infrared light signals S IR1 , S IR2 , S IR3 output from the solid-state imaging device into second color signals Rh, Gh. , Bh.
  • the visible light signal and the near-infrared light signal are combined with emphasis on color reproducibility, but in the second color signal generation unit 5, the signal-to-noise ratio (signal- A visible light signal and a near-infrared light signal are combined with emphasis on to-noise ratio (SN ratio).
  • Second color signal Rh, Gh as a method of generating Bh, for example, a method of adding the visible light signals S R, S G, S B and the near-infrared light signal S IR1, S IR2, S IR3 , or, A method of selecting any of the visible light signals S R , S G , S B and the near-infrared light signals S IR1 , S IR2 , S IR3 can be used.
  • FIG. 7 is a block diagram illustrating a configuration example of the signal processing unit 6.
  • the signal processing unit 6 performs various kinds of signal processing on the second color signals Rh, Gh, and Bh generated by the above-described second signal generation unit 5, and includes a white balance adjustment unit. It includes a WB, an image interpolation processing unit ITP, a tone correction unit Tone, and the like.
  • the processes of the white balance adjustment unit WB, the image interpolation processing unit ITP, and the tone correction unit Tone are the same as those of the signal processing units 3a and 3b described above.
  • the image generation unit 22 includes first color signals Rl, Gl, and Bl generated by the first color signal generation unit 1 and emphasizing color reproducibility, and a second color signal generated by the second color signal generation unit 5 and emphasized by the SN ratio.
  • a color image is generated from Rh, Gh, and Bh. At this time, it is possible to reduce noise included in the first color signals Rl, Gl, Bl emphasizing color reproducibility, and adjust the edge expression and sharpness of the second color signals Rh, Gh, Bh emphasizing the SN ratio. preferable.
  • FIGS. 8 and 9 are block diagrams showing a configuration example of the image generation unit 22.
  • the image generation unit 22 calculates a difference between the first color signals Rl, Gl, Bl and the second color signals Rh, Gh, Bh. Perform noise reduction processing. Then, the noise-reduced difference is added again to the second color signals Rh, Gh, Bh to obtain a color image.
  • a sharpening processing unit SH may be provided in addition to the noise reduction processing unit NR, and the second color signals Rh, Gh, and Bh may be subjected to sharpening processing such as edge enhancement and sharpness.
  • the noise-reduced difference is added to the second color signals Rh, Gh, and Bh that have been subjected to the sharpening processing.
  • the first color signals Rl, Gl, Bl emphasizing color reproducibility contain a relatively large amount of noise.
  • the noise contained in the first color signals Rl, Gl, Bl may be directly reduced from the input signal.
  • the second color signals Rh, Gh, Bh with an emphasis on the SN ratio By performing the noise reduction processing on the difference from the above, noise can be effectively reduced.
  • the image generating apparatus of the present embodiment uses the visible light signal and the near-infrared signal simultaneously acquired by the solid-state imaging device to use the first color signals Rl, Gl, Bl emphasizing color reproducibility. And the second color signals Rh, Gh, and Bh with an emphasis on the SN ratio, and a color image is generated from these two types of signals. Therefore, regardless of the amount of visible light, clear and excellent color reproducibility are obtained. A color image can be obtained.
  • the configuration and effects of the present embodiment other than those described above are the same as those of the above-described first embodiment and its modifications.
  • FIG. 10 is a block diagram showing a configuration of an image generating apparatus according to the present modification.
  • the same components as those of the image generating apparatus 20 shown in FIG. 6 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the image generation device 21 of the second embodiment has the same configuration as that of the image generation device 20 of the above-described second embodiment except that the signal separation unit 4 is provided before the signal processing units 3a and 3b. Is the same as
  • FIG. 11 is a diagram illustrating an example of separation calculation in the signal separation unit 4.
  • the image generation device 21 sends visible light signals S R , S G , and S B to the image generation device 21.
  • Mixed light signals S R + IR1 and SG + IR2 including both visible light components and near-infrared light components.
  • the signal separating unit 4 a visible light signal S R, S G, is separated into S B and the near-infrared light signal S IR1, S IR2.
  • a method for separating the visible light signal and the near-infrared light signal is not particularly limited, for example, as shown in FIG. 11, a visible light signal S R corresponding to the red light R, The visible light signal SG corresponding to the green light G and the visible light signal SB corresponding to the blue light B are output as they are. Furthermore, by the mixed light signal S R + IR1 containing a component corresponding to the component and the near infrared light IR1 corresponding to the red light R subtract visible light signal S R, the near-infrared light signal S IR1 obtained.
  • These five types of optical signals are input to the first color signal generator 1 after being subjected to signal processing as needed.
  • a visible light signal S R which is outputted from the solid-state imaging device, S G, the mixed light signal SS R + IR1, S G + IR2 and S B, the second color signal Rh, Gh, the Bh Generated.
  • Second color signal Rh, Gh, the generation of Bh like the second embodiment described above, Ya method adding the visible light signals S R, S G, the mixed light signal S B S R + IR1, S G + IR2 , A method of selecting one of the visible light signals S R , S G , S B and the mixed light signal S R + IR1 , S G + IR2 .
  • FIG. 12 is a block diagram illustrating a configuration of the imaging device of the present embodiment.
  • the imaging device 30 of the present embodiment includes an imaging unit 31 and a developing unit 32, and the developing unit 32 includes the above-described image generation devices 10, 11, 20, and 21. Further, the imaging device 30 of the present embodiment may be provided with an illumination unit 33 that irradiates the subject 40 with two or more near-infrared lights.
  • the imaging unit 31 includes a solid-state imaging device that detects three or more visible lights having different wavelengths or wavelength ranges from each other and two or more near-infrared lights having different wavelengths or wavelength ranges from each other. It converts near-infrared light into respective electric signals and outputs them.
  • FIGS. 13A to 13D and FIG. 14 are diagrams showing examples of the pixel arrangement of the solid-state imaging device.
  • the pixel arrangement of the solid-state imaging device is not particularly limited. For example, when visible light and near-infrared light are detected by different pixels, the pixel arrangement shown in FIG. 13A can be adopted. When detecting visible light and near-infrared light with the same pixel, the pixel arrangement shown in FIG. 13B can be adopted.
  • a spectroscopic element for dispersing the reflected light from the subject 40 may be provided in the imaging unit 31, and visible light and near-infrared light may be detected by two or more solid-state imaging elements.
  • a configuration in which one solid-state imaging device detects visible light and another solid-state imaging device detects visible light and near-infrared light may be adopted.
  • a configuration in which one solid-state imaging device detects only visible light and another solid-state imaging device detects only near-infrared light may be employed in which one solid-state imaging device detects only visible light and another solid-state imaging device detects only near-infrared light.
  • the imaging element of the imaging unit 31 includes a red pixel R for detecting red light, a blue pixel B for detecting blue light, and two green pixels G for detecting green light. Visible light detection region, a first near-infrared pixel IR1 for detecting the first near-infrared light, a second near-infrared pixel IR2 for detecting the second near-infrared light, and a third near-infrared pixel IR2. It is also possible to adopt a configuration in which the near-infrared-light detection areas configured by two third near-infrared pixels IR3 that detect infrared light are alternately arranged.
  • FIG. 15A and 15B are diagrams illustrating a method of generating a color image using the image pickup device having the pixel arrangement illustrated in FIG. 14.
  • FIG. 15A illustrates a case where an image based on visible light is captured, and FIG. The case where an image based on the image is captured will be described.
  • a visible light color image is generated using the image pickup device having the pixel arrangement shown in FIG. 14, a visible light signal S R based on light detected by each of the pixels R, G, and B in the visible light detection area shown in FIG. 15A. , S G, using S B.
  • the near-infrared light signals S IR1 , S IR2 , and S IR3 detected in step (1) are synthesized to generate a color image.
  • the image is based on the light detected by the pixels IR1, IR2, and IR3 in the near-infrared light detection area illustrated in FIG. 15B.
  • the near infrared light signals SIR1 , SIR2 and SIR3 are used. Specifically, each pixel IR1, IR2, IR3 near infrared light signal S outputted from IR1, S IR2, S IR3 performs signal processing, if necessary visible light signals S R, S G, S B Are combined to generate a color image.
  • FIG. 16 is a diagram illustrating a method of generating a black-and-white image using the imaging device having the pixel arrangement illustrated in FIG.
  • the imaging apparatus can generate not only a color image but also a two-dimensional black-and-white image based on light of a specific wavelength.
  • the image pickup device having the pixel arrangement shown in FIG. 14 it is possible to generate six types of images of red light, blue light, green light, and three types of near-infrared light having different wavelengths.
  • the visible light signals S R , S G , and S B and the near-infrared light signals S IR1 , S IR2 , and S IR3 are individually processed to generate a black-and-white image. I do.
  • the solid-state imaging device used in the imaging apparatus according to the present invention is not limited to those shown in FIGS. 13A to 13D or FIG. 14, but may include three or more visible lights having different wavelengths or wavelength ranges. What is necessary is just to be able to detect two or more near-infrared lights having different wavelengths or wavelength ranges.
  • the imaging device of the present embodiment uses the above-described image generation device, it is possible to generate a clear and excellent color reproducibility color image regardless of the amount of visible light. Further, the imaging device according to the present embodiment does not need to switch between imaging with visible light and imaging with near-infrared light according to the brightness of the imaging environment unlike the conventional imaging device. No sensor or the like is required for detecting the error.
  • the configurations and effects of the imaging device according to the embodiment other than those described above are the same as those of the above-described first and second embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像を生成することが可能な画像生成装置及び撮像装置を提供する。　画像生成装置１０に、固体撮像素子から出力された３種以上の可視光信号ＳＲ，ＳＧ，ＳＢに、可視光信号ＳＲ，ＳＧ，ＳＢと同時に取得された２種以上の近赤外光信号ＳＩＲ１，ＳＩＲ２を任意の割合で合成して３種以上の第１色信号Ｒｌ，Ｇｌ，Ｂｌを生成する第１色信号生成部１を設け、近赤外光信号ＳＩＲ１，ＳＩＲ２は、それぞれピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく信号及びピーク波長が８７０～１１００ｎｍの範囲にある近赤外光に基づく信号とし、第１色信号生成部１では、各光信号の品質及び／又は強度に応じて可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２の合成比率を変える。

Description

画像生成装置及び撮像装置
　本発明は、可視光と近赤外光とからカラー画像を生成する画像生成装置及び撮像装置に関する。
　被写体で反射された赤外線や被写体が放射する赤外線を検出し、被写体のカラー画像を形成する画像撮影装置が提案されている（特許文献１参照）。特許文献１に記載の画像撮影装置では、近赤外波長領域においても、可視波長領域と同様の被写体分光反射率特性が見られることを利用して、近赤外光からカラー画像を生成している。具体的には、同一被写体を可視光下で目視したときの色と相関関係が高い近赤外領域の光を検出し、その検出情報から疑似的に表示色を生成している。この技術を利用すれば、極低照度環境や暗闇においても、カラー画像を撮像することが可能となる。
　また、従来、近赤外光を利用して、低照度下で撮影したカラー画像を鮮明化する方法が提案されている（例えば、特許文献２，３参照）。特許文献２に記載の撮像装置では、赤外線照明装置を用いて撮影したモノクロ画像と、可視光により撮影したカラー画像を合成することで、低照度下で撮影したカラー画像のコントラストを向上させている。一方、特許文献３に記載の撮像装置では、赤外線照射撮影においてホワイトバランスを適正化し、色再現性を向上させるために、赤外線撮像信号と可視光撮像信号に分けて演算処理している。
国際公開第２０１１／０１３７６５号 特開２０１１－２３３９８３号公報 特開２０１０－１６１４５３号公報
　しかしながら、前述した特許文献２，３に記載の撮像装置は、色情報を可視光信号から得ているため、可視光がほとんどない環境下ではカラー画像を撮影することはできないという問題点がある。これに対して、特許文献１に記載の撮像装置は、近赤外光のみでカラー画像を生成できるため、暗闇（０ルクス）でも撮影可能であるが、可視光との相関関係により色を設定しているため色再現性に課題がある。
　そこで、本発明は、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像を生成することが可能な画像生成装置及び撮像装置を提供することを目的とする。
　本発明に係る画像生成装置は、固体撮像素子から出力された相互に波長又は波長域が異なる可視光に基づく３種以上の可視光信号に、前記固体撮像素子から出力された相互に波長又は波長域が異なる近赤外光に基づく２種以上の近赤外光信号を任意の割合で合成して３種以上の第１色信号を生成する第１色信号生成部を有し、前記２種以上の近赤外光信号は、前記３種以上の可視光信号と同時に取得されたものであり、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号とピーク波長が８７０～２５００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号とを含み、前記第１色信号生成部では、各光信号の品質及び／又は強度に応じて、前記可視光信号と前記近赤外光信号の合成比率を変える。
　前記第１色再現信号生成部では、前記３種以上の可視光信号及び前記２種以上の近赤外光信号に信号処理を施した後、これらを合成してもよい。
　本発明の画像生成装置は、前記固体撮像素子から出力された光信号を、前記可視光信号と前記近赤外光信号とに分離して出力する信号分離部を有し、前記信号分離部で分離された可視光信号及び近赤外光信号が前記第１色信号生成部に入力される構成とすることもできる。
　また、本発明の画像生成装置は、前記固体撮像素子から出力された前記３種以上の可視光信号と、前記２種以上の近赤外光信号又は前記可視光に基づく成分と前記近赤外光に基づく成分の両方を含む２種以上の混合光信号から３種以上の第２色信号を生成する第２色信号生成部と、前記第１色信号と前記第２色信号を合成してカラー画像を生成する画像生成部とを有していてもよい。
　その場合、前記第２色信号生成部では、例えば前記３種以上の可視光信号に前記２種以上の近赤外光信号又は前記混合光信号を足し合わせて３種以上の第２色信号を生成する。
　又は、前記第２信号生成部において、前記可視光信号、前記近赤外光信号及び前記混合光信号のいずれかを選択して前記第２色信号を生成してもよい。
　一方、前記画像生成部では、前記第１色信号と前記第２色信号の差分を、前記第２色信号に足し合わせてもよい。
　その際、前記第１色信号と前記第２色信号の差分にノイズ低減処理を施した後、前記第２信号に足し合わせることもできる。
　また、前記第２色信号は、鮮鋭化処理が施された後、前記第１信号と足し合わせてもよい。
　本発明に係る撮像装置は、前述した画像生成装置と、相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換する撮像部とを備える。
　本発明の撮像装置は、被写体に前記２以上の近赤外光を照射する照明部を備えていてもよい。
　本発明によれば、３種以上の可視光信号と２種以上の近赤外光信号とを特定の条件で合成して色信号を生成しているため、可視光が十分にない環境下においても、鮮明で色再現性に優れたカラー画像を生成することができる。
本発明の第１の実施形態の画像生成装置の構成を示すブロック図である。 図１に示す画像生成装置１０に入力される光信号を示す図である。 図１に示す信号処理部３ａ，３ｂの構成例を示すブロック図である。 図１に示す信号処理部３ａ，３ｂの他の構成例を示すブロック図である。 本発明の第１の実施形態の第１変形例の画像生成装置の構成を示すブロック図である。 本発明の第２の実施形態の画像生成装置の構成を示すブロック図である。 図６に示す信号処理部６の構成例を示すブロック図である。 図６に示す画像生成部２２の構成例を示すブロック図である。 図６に示す画像生成部２２の他の構成例を示すブロック図である。 本発明の第２の実施形態の第１変形例の画像生成装置の構成を示すブロック図である 図１０に示す信号分離部４での分離演算例を示す図である。 本発明の第３の実施形態の撮像装置の構成を示すブロック図である。 Ａ～Ｄは固体撮像素子の画素配置例を示す図である。 固体撮像素子の他の画素配置例を示す図である。 Ａ，Ｂは図１４に示す画素配置の撮像素子を用いてカラー画像を生成する方法を示す図であり、Ａは可視光に基づく画像を撮像する場合、Ｂは近赤外光に基づく画像を撮像する場合を示す。 図１４に示す画素配置の撮像素子を用いて白黒画像を生成する方法を示す図である。
　以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
（第１の実施形態）
　先ず、本発明の第１の実施形態に係る画像生成装置について説明する。図１は本実施形態の画像生成装置の構成を示すブロック図である。図１に示すように、本実施形態の画像生成装置１０は、３種以上の可視光信号及び２種以上の近赤外光信号からカラー画像を生成するものであり、第１色信号生成部１と、画像生成部２とを備え、更に必要に応じて信号処理部３ａ，３ｂが設けられている。
［光信号］
　図２は図１に示す画像生成装置１０に入力される光信号を示す図である。図２に示すように、本実施形態の画像生成装置１０に入力される可視光信号ＳＲ，ＳＧ，ＳＢは、それぞれ固体撮像素子から出力されたものであり、固体撮像素子の可視光画素Ｒ，Ｇ，Ｂで検出された相互に波長又は波長域が異なる３種の可視光に基づくものである。また、近赤外光信号ＳＩＲ１，ＳＩＲ２は、可視光信号ＳＲ，ＳＧ，ＳＢと同時に取得されたものであり、固体撮像素子の近赤外画素ＩＲ１，ＩＲ２で検出された相互に波長又は波長域が異なる２種の近赤外光に基づくものである。
　ここで、２種以上の近赤外光信号は、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号ＳＩＲ１と、ピーク波長が８７０～２５００ｎｍの範囲、好ましくは８７０～１１００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号ＳＩＲ２とを含む。これらの波長域の近赤外光信号ＳＩＲ１，ＳＩＲ２を用いることで、赤色光Ｒ及び緑色光Ｇなどの可視光の分光特性を近似的に再現することが可能となるため、可視光が十分にない環境でも色再現性に優れたカラー画像を得ることができる。
　なお、図１及び図２には、３種の可視光信号及び２種の近赤外光信号を用いる場合を示しているが、本発明はこれに限定されるものではなく、可視光信号は３種以上、近赤外光信号は２種以上であればよい。また、本発明は、固体撮像素子において検出対象の可視光及び近赤外光のうち１又は２以上の光が検出されない場合も含み、その場合は、該当する可視光信号又は近赤外光信号は信号強度が０として扱う。
［第１色信号生成部１］
　第１色信号生成部１は、可視光信号ＳＲ，ＳＧ，ＳＢに近赤外光信号ＳＩＲ１，ＳＩＲ２を任意の割合で合成して、カラー画像生成用の３種以上の第１色信号Ｒｌ，Ｇｌ，Ｂｌを生成するものである。その際、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２の合成比率は、色再現性重視の観点から、輝度やクロマレベル（彩度）などの光信号の品質及び／又は光信号の強度（信号レベル）に応じて変更する。
　例えば、可視光信号ＳＲ，ＳＧ，ＳＢの品質や強度が低いとき、近赤外光信号ＳＩＲ１，ＳＩＲ２の品質や強度が高いとき、又は、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２との相互関係から近赤外光信号ＳＩＲ１，ＳＩＲ２が有効なときは、近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３の比率を高くする。これにより、近赤外光固有の偽色を目立たなくなり、生成されるカラー画像の画質を高め、被写体の動的な変化に自然な連続性を確保した動画を得ることができる。なお、可視光信号と近赤外光信号の合成比率は、各光信号の品質や強度に加えて、露光量や照明光の照射量などを考慮して決定してもよい。
　また、一の画像における合成比は、画像全体で同じにしてもよいが、局所的に変えることもできる。画像全体で一様な合成比をとする場合は、例えば一定画素範囲の積分値などを用いて合成比を決定することができる。その際の画素範囲は、観察時に重視されるような有効領域内であることが望ましいが、有効領域に対して、各応答レベルの検出部を設けることが難しい場合は、簡易な代替手法として、有効画素の外側である端部に、小規模な検出専用領域を設けて、その領域だけの検出結果から判断してもよい。
　一方、画素領域ごとに異なる比率で合成する場合は、隣接画素の応答や、局所的に周辺画素の応答にフィルタ処理を行った結果を用いて合成比を決定することができる。比較する２種のペアは１組の情報だけでなく、複数組を用いてもよく、任意の重み平均などにより１つの代表的な成分比情報に換算して利用してもよい。
　更に、合成比率を局所的に変調する場合は、例えば、画素毎に独立して異なる合成比を与えることによって、最終的に得られる画像全体の画質を最適化することができる。画素毎に独立して異なる合成比を与える場合は、演算のための負荷やコストが高くなるデメリットもあるが、近赤外光信号が可視光の光量不足を補うことができる。撮影画角の中で可視光の照射光量は必ずしも均一ではないため、位置や領域ごとに合成比を変えることにより、可視光の応答を補い、画面全体での過不足が抑えることができるため、適正な画質が得られる。
［画像生成部２］
　画像生成部２は、第１色信号生成部１で生成した第１色信号Ｒｌ，Ｇｌ，Ｂｌからカラー画像を生成する。その際、必要に応じて、ホワイトバランス（White Balance：ＷＢ）、画像補間（Interpolation：ＩＴＰ）、色補正（Color Correction）、階調補正（Tone Correction）及びノイズ低減（Noise Reduction：ＮＲ）などの現像処理を行う。
［信号処理部３ａ，３ｂ］
　本実施形態の画像生成装置１０には、前述した構成に加えて、第１色信号生成部１に入力する可視光信号ＳＲ，ＳＧ，ＳＢ及び近赤外光信号ＳＩＲ１，ＳＩＲ２に対して各種信号処理を施す信号処理部３ａ，３ｂが設けられていてもよい。図３は信号処理部３ａ，３ｂの構成例を示すブロック図である。図３に示すように、信号処理部３ａ，３ｂには、それぞれ、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、色補正処理部ＣＣ及び階調補正部Ｔｏｎｅなどが設けられている。
　ホワイトバランス調整部ＷＢでは、被写体の無彩色表面が無彩色として表現されるように可視光信号ＳＲ，ＳＧ，ＳＢ及び近赤外光信号ＳＩＲ１，ＳＩＲ２のレベルが整えられる。その際、近赤外光信号が３種であればそれぞれ赤色Ｒ，緑色Ｇ、青色Ｂとして処理をすればよいが、図３に示すように近赤外光信号が２種の場合は、例えば近赤外光信号ＳＩＲ１を赤色（Ｒ）とみなし、近赤外光信号ＳＩＲ２を緑色（Ｇ）とみなし、青色（Ｂ）はないとみなして処理すればよい。
　画像補間処理部ＩＴＰは、カラーフィルタ配列によって、カラーフィルタの種類ごとに画素位置が異なる信号（画素位置ごとにカラーフィルタの種類が異なる信号）に対して、補間演算を行い、全画素位置について、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３種類の信号を得る。ここで、近赤外光信号が２種の場合は、前述したホワイトバランスと同様に、近赤外光信号ＳＩＲ１を赤色（Ｒ）とみなし、近赤外光信号ＳＩＲ２を緑色（Ｇ）とみなし、青色（Ｂ）はないとみなして処理すればよい。
　色補正処理部ＣＣでは、例えば３×３のリニアマトリクス演算による色補正を実行する。その際、リニアマトリクス係数を調整することにより、多様な被写体の色を適切に表現することができる。具体的には、可視光信号ＳＲ，ＳＧ，ＳＢ及び近赤外光信号ＳＩＲ１，ＳＩＲ２のそれぞれについて、目的とする色再現性が得られるように予め係数を決めておき、それらの係数を用いて例えば下記数式１及び数式２により計算される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　階調補正部Ｔｏｎｅは、光量に対して線形な応答特性をもつ各光信号に対して、画像として適正な階調となるように補正を行う。具体的には、光量に対して線形な応答である入力信号に対して、ディスプレイ表示などを想定した符号化規格に合わせて非線形変換を行う。階調補正部Ｔｏｎｅでの変換特性（変換関数）は、画像の見え方を補正したり表現するために、意図的な非線形特性を加える場合もあり、また、変換処理も、数式を用いたり、１次元の数値テーブルを与えて補間したり、多様な操作方法を適用することができる。
　なお、信号処理部３ａ，３ｂで行う各処理は、前述したホワイトバランス、画像補間、色補正及び階調補正に限定されるものではなく、これらの処理に加えて又はこれらの処理に代えて、黒レベル補正（ＢＫ）、色空間変換（ＣＳＣ）及びノイズ低減（ＮＲ）などの処理を行うこともできる。また、各処理の順番は図３に示す順に限定されるものではなく、その実施位置も適宜設定することができる。
　更に、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２で異なる処理を行ってもよく、また、これらの処理の一部又は全部を、第１色信号生成部１に入力前の可視光信号ＳＲ，ＳＧ，ＳＢ及び近赤外光信号ＳＩＲ１，ＳＩＲ２ではなく、第１色信号生成部１から出力された第１色信号Ｒｌ，Ｇｌ，Ｂｌに対して行ってもよい。
　図４は信号処理部３ａ，３ｂの他の構成例を示すブロック図である。固体撮像素子から出力された近赤外光信号は、可視光信号に比べて色分離が十分でなく、無彩色付近に集約される。また、信号空間（色空間）内の位置によって、状態の差が大きく、分布が複雑である。そこで、本実施形態の画像生成装置では、信号処理部３ａ，３ｂを図４に示すような構成とすることにより、このような光信号に対して確実な補正効果を得ることができる。
　具体的には、可視光信号ＳＲ，ＳＧ，ＳＢを処理する信号処理部３ａには、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、色補正処理部ＣＣ１、階調補正部Ｔｏｎｅ及び色空間変換部ＣＳＣをこの順に設け、近赤外光信号ＳＩＲ１，ＳＩＲ２を処理する信号処理部３ｂには、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ、階調補正部Ｔｏｎｅ、色空間変換部ＣＳＣ及び色補正処理部ＣＣ２をこの順に設ける。
　色空間変換部ＣＳＣは、下記数式３に示すマトリクス計算により、可視光信号及び近赤外信号を輝度色度信号に変換するものである。変換先の空間は、次の補正段階の係数を区別するための仮想の分離空間であり、一時的な仮の信号空間（Ｙ’，Ｃｂ’，Ｃｒ’）である。
Figure JPOXMLDOC01-appb-M000003
　上記数３における各係数は、任意に設定することができるが、例えばＹ’をＩＴＵ－ＲＢＴ.７０９規格に適合させる場合は、以下のようになる。
ａＲＹ＝０．２１２６，　　ａＧＹ＝０．７１５２，　　ａＢＹ＝０．０７２２
ａＲｂ＝－０．１１４６，　ａＧｂ＝－０．３８５４，　ａＢｂ＝０．５
ａＲｒ＝０．５，　　　　　ａＧｒ＝－０．４５４２，　ａＢｒ＝－０．０４５８
　なお、色空間変換部ＣＳにおける処理は、必ずしも出力信号の規格に従う必要はなく、各光信号に補正効果を与えるために都合のよい空間に調整することもできる。例えば、Ｃｂ’、Ｃｒ’の各軸をそれぞれＢ＝Ｇ及びＲ＝Ｇの条件に割り当てる場合は、下記のように変更すればよい。
　ａＲｂ＝０，　　　ａＧｂ＝－０．５，　ａＢｂ＝０．５
　ａＲｒ＝０．５，　ａＧｒ＝－０．５，　ａＢｒ＝０
　色補正処理部ＣＣ２は、階調補正後に色空間補正が行われた輝度色度信号ＳＹ，ＳＣｂ，ＳＣｒに対して色補正を行うものであり、例えば下記数式４に示すマトリクス計算式を用いて行われる。
Figure JPOXMLDOC01-appb-M000004
　上記数式４における係数は、４×３種類あるが、適用時にＣｂ’、Ｃｒ’の各入力信号の極性を参照して、次のように２×３種類を選択すればよい。
　Ｃｂ’≧０のとき　ｓｂＹ＝ｓｂＹ＋，　ｓｂｂ＝ｓｂｂ＋，　ｓｂｒ＝ｓｂｒ＋
　Ｃｂ’＜０のとき　ｓｂＹ＝ｓｂＹ－，　ｓｂｂ＝ｓｂｂ－，　ｓｂｒ＝ｓｂｒ－
　Ｃｒ’≧０のとき　ｓｒＹ＝ｓｒＹ＋，　ｓｒｂ＝ｓｒＢ＋，　ｓｒｒ＝ｓｒｒ＋
　Ｃｒ’＜０のとき　ｓｒＹ＝ｓｒＹ－，　ｓＲＢ＝ｓｒｂ－，　ｓｒｒ＝ｓｒｒ－
　また、各係数の設定は、次のような値で補正は無効であるが、この状態から各係数を変更して調整することによって、少ないパラメータ操作でも、多様な被写体の色をある程度独立に表現することができる。
　ｓｂＹ＋＝ｓｂＹ－＝０，　　　ｓｒＹ＋＝ｓｒＹ－＝０
　ｓｂｂ＋＝ｓｂｂ－＝１．０，　ｓｒｂ＋＝ｓｒｂ－＝０
　ｓｂｒ＋＝ｓｂｒ－＝０，　　　ｓｒｒ＋＝ｓｒｒ－＝１．０
　このように、図４に示す信号処理部３ａ，３ｂでは、可視光については、階調補正前の線形な光信号ＳＲ，ＳＧ，ＳＢに対して色補正を行い、近赤外光については、階調補正後に色空間補正が行われた輝度色度信号ＳＹ，ＳＣｂ，ＳＣｒに対して色補正を行う。これにより、近赤外光信号を用いても、色再現性の高いカラー画像を生成することができる。
　以上詳述したように、本実施形態の画像生成装置は、固体撮像素子において同時に取得された３種以上の可視光信号と２以上の近赤外光信号を用い、信号の品質や強度に応じてこれらの合成比を調整して得た色信号からカラー画像を生成しているため、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像が得られる。
　そして、本実施形態の画像生成装置を適用することにより、撮像系で撮影条件（可視光撮影か近赤外光撮影か）を変更するのではなく、現像系で合成条件を変えることで、撮影環境の明るさの変化に対応することが可能となるため、可視光の量にかかわらず、高品質なカラー画像が得られる撮像装置を実現することができる。本実施形態の画像生成装置は、監視カメラのように長時間動画を撮影する撮像装置に特に好適である。
（第１の実施形態の第１変形例）
　前述した第１の実施形態では、可視光と近赤外光がそれぞれ異なる画素で検出される撮像素子を用いた場合を例に説明したが、本発明はこれに限定されるものではなく、可視光と近赤外光を同一画素で検出する撮像素子にも適用することができる。
　図５は本発明の第１の実施形態の第１変形例の画像生成装置の構成を示すブロック図である。なお、図５においては、図１に示す画像生成装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図５に示すように、本変形例の画像生成装置１１は、第１色信号生成部１、画像生成部２及び信号処理部３ａ，３ｂに加えて、信号分離部４が設けられている。
［信号分離部４］
　信号分離部４は、固体撮像素子から出力された光信号を、可視光信号と近赤外光信号とに分離して出力するものである。この信号分離部４では、固体撮像素子の近赤外光画素から出力された可視光成分と近赤外光成分の両方を含む混合光信号ＳＲ＋ＩＲ１，ＳＧ＋ＩＲ２，ＳＢ＋ＩＲ３が、近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３と、可視光信号ＳＲ，ＳＧ，ＳＢに分離される。
　そして、分離された可視光信号ＳＲ，ＳＧ，ＳＢは、可視光画素から出力された可視光信号ＳＲ，ＳＧ，ＳＢと共に出力されて信号処理部３ａ又は第１信号生成部１に入力し、分離された近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３は、信号処理部３ｂ又は第１信号生成部１に入力される。なお、固体撮像装置の近赤外光画素が近赤外光のみを検出する構成の場合、即ち、固体撮像装置から可視光と近赤外光の両方を含む信号が出力されない場合は、信号分離部４は不要である。また、固体撮像素子で検出される近赤外光が２波長（域）の場合は、信号分離部４からは２種類の近赤外光信号ＳＩＲ１，ＳＩＲ２が出力される。
　本変形例の画像生成装置は、信号分離部４を備えているため、固体撮像装置の画素が可視光と近赤外光の両方を検出するような構成であっても、前述した第１の実施形態と同様に、可視光が十分にない環境下で撮影しても、鮮明で色再現性に優れたカラー画像を生成することが可能である。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る画像生成装置について説明する。図６は本実施形態の撮像装置を示すブロック図である。なお、図６においては、図１に示す画像生成装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図６に示すように、本実施形態の画像生成装置２０には、第１色信号生成部１、画像生成部２２及び信号処理部３ａ，３ｂに加えて、第２色信号生成部５及び信号処理部６が設けられている。
［第２色信号生成部５］
　第２色信号生成部５は、固体撮像素子から出力された可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３から、第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成するものである。前述した第１色信号生成部１では、色再現性を重視して可視光信号と近赤外光信号を合成しているが、第２色信号生成部５では、信号対雑音比（signal-to-noise ratio：ＳＮ比）を重視して、可視光信号と近赤外光信号を合成する。
　第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成する方法としては、例えば、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３を足し合わせる方法、或いは、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３のいずれかを選択する方法などを用いることができる。
［信号処理部６］
　図７は信号処理部６の構成例を示すブロック図である。図７に示すように、信号処理部６は、前述した第２信号生成部５で生成した第２色信号Ｒｈ，Ｇｈ，Ｂｈに対して、各種信号処理を施すものであり、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ及び階調補正部Ｔｏｎｅなどを備えている。これら、ホワイトバランス調整部ＷＢ、画像補間処理部ＩＴＰ及び階調補正部Ｔｏｎｅの処理は、前述した信号処理部３ａ，３ｂと同様である。
［画像生成部２２］
　画像生成部２２は、第１色信号生成部１で生成した色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌと、第２色信号生成部５で生成したＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈからカラー画像を生成するものである。その際、色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌに含まれるノイズの低減や、ＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈにおけるエッジ表現や鮮鋭度の調整を行うことが好ましい。
　図８及び図９は画像生成部２２の構成例を示すブロック図である。画像生成部２２では、例えば、図８に示すように、第１色信号Ｒｌ，Ｇｌ，Ｂｌと第２色信号Ｒｈ，Ｇｈ，Ｂｈの差分をとり、この差分に対してノイズ低減処理部ＮＲでノイズ低減処理を施す。そして、ノイズ低減された差分を、再度第２色信号Ｒｈ，Ｇｈ，Ｂｈに加算してカラー画像を得る。
　また、図９に示すように、ノイズ低減処理部ＮＲの他に鮮鋭化処理部ＳＨを設け、第２色信号Ｒｈ，Ｇｈ，Ｂｈにエッジ強調やシャープネスなどの鮮鋭化処理を施してもよい。この場合、鮮鋭化処理が施された第２色信号Ｒｈ，Ｇｈ，Ｂｈに、ノイズ低減された差分が加算される。
　色再現性重視の第１色信号Ｒｌ，Ｇｌ，Ｂｌにはノイズが比較的多く含まれる。この第１色信号Ｒｌ，Ｇｌ，Ｂｌに含まれるノイズは、入力信号から直接低減してもよいが、図８及び図９に示すように、ＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈとの差分に対してノイズ低減処理をすることにより、効果的にノイズを低減することができる。
　以上詳述したように、本実施形態の画像生成装置では、固体撮像素子で同時に取得された可視光信号と近赤外信号を用いて、色再現性重視の第１色信号Ｒｌ，Ｇｌ，ＢｌとＳＮ比重視の第２色信号Ｒｈ，Ｇｈ，Ｂｈを生成し、これら２種類の信号からカラー画像を生成しているため、可視光の量に関わらず、鮮明でかつ色再現性に優れたカラー画像を得ることができる。なお、本実形態における上記以外の構成及び効果は、前述した第１の実施形態及びその変形例と同様である。
（第２の実施形態の第１変形例）
　前述した第２の実施形態では、可視光と近赤外光がそれぞれ異なる画素で検出される撮像素子を用いた場合を例に説明したが、本発明はこれに限定されるものではなく、可視光と近赤外光を同一画素で検出する撮像素子にも適用することができる。
　図１０は本変形例の画像生成装置の構成を示すブロック図である。なお、図１０においては、図６に示す画像生成装置２０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図１０に示すように、本変形例の画像生成装置２１は、信号処理部３ａ，３ｂの手前に信号分離部４が設けられている以外は、前述した第２の実施形態の画像生成装置２０と同じである。
　図１１は信号分離部４での分離演算例を示す図である。例えば、固体撮像素子において可視光を３波長、近赤外光検出を２波長検出した場合、図１０に示すように、画像生成装置２１には、可視光信号ＳＲ，ＳＧ，ＳＢと、可視光成分と近赤外光成分の両方を含む混合光信号ＳＲ＋ＩＲ１，ＳＧ＋ＩＲ２が入力される。そして、これらの光信号は、信号分離部４において、可視光信号ＳＲ，ＳＧ，ＳＢと近赤外光信号ＳＩＲ１，ＳＩＲ２に分離される。
　その際、可視光信号と近赤外光信号とに分離する方法は、特に限定されるものではないが、例えば、図１１に示すように、赤色光Ｒに対応する可視光信号ＳＲと、緑色光Ｇに対応する可視光信号ＳＧ、青色光Ｂに対応する可視光信号ＳＢはそのまま出力する。また、赤色光Ｒに対応する成分と近赤外光ＩＲ１に対応する成分を含む混合光信号ＳＲ＋ＩＲ１から可視光信号ＳＲを引くことで、近赤外光信号ＳＩＲ１が得られる。
　更に、緑色光Ｇに対応する成分と近赤外光ＩＲ２に対応する成分を含む混合光信号ＳＧ＋ＩＲ２から可視光信号ＳＧを引いた信号と、青色光Ｂに対応する成分と近赤外光ＩＲ２に対応する成分を含む光信号ＳＢ＋ＩＲ２から可視光信号ＳＢを引いた信号との平均をとることで、近赤外光信号ＳＩＲ２が得られる。そして、これらの５種類の光信号は、必要に応じて信号処理が施された後、第１色信号生成部１に入力される。
　一方、第２色信号生成部５では、固体撮像素子から出力された可視光信号ＳＲ，ＳＧ，ＳＢと混合光信号ＳＳＲ＋ＩＲ１，ＳＧ＋ＩＲ２から、第２色信号Ｒｈ，Ｇｈ，Ｂｈが生成される。第２色信号Ｒｈ，Ｇｈ，Ｂｈの生成には、前述した第２の実施形態と同様に、可視光信号ＳＲ，ＳＧ，ＳＢと混合光信号ＳＲ＋ＩＲ１，ＳＧ＋ＩＲ２を足し合わせる方法や、可視光信号ＳＲ，ＳＧ，ＳＢと混合光信号ＳＲ＋ＩＲ１，ＳＧ＋ＩＲ２のどちらかを選択する方法などを用いることができる。
　なお、本実施形態の画像生成装置における上記以外の構成及び効果は、前述した第１の実施形態、その変形例及び第２の実施形態と同様である。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る撮像装置について説明する。図１２は本実施形態の撮像装置の構成を示すブロック図である。図１２に示すように、本実施形態の撮像装置３０は、撮像部３１と、現像部３２とを備え、現像部３２が前述した画像生成装置１０，１１，２０，２１で構成されている。また、本実施形態の撮像装置３０には、被写体４０に２以上の近赤外光を照射する照明部３３が設けられていてもよい。
［撮像部３１］
　撮像部３１は、相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換して出力するものである。
　図１３Ａ～Ｄ及び図１４は固体撮像素子の画素配置例を示す図である。固体撮像素子の画素配置は、特に限定されるものではないが、例えば可視光と近赤外光とを別画素で検出する場合は、図１３Ａに示す画素配置を採ることができる。また、可視光と近赤外光とを同一画素で検出する場合は、図１３Ｂに示す画素配置を採ることができる。
　更に、撮像部３１に被写体４０からの反射光を分光する分光素子を設け、２以上の固体撮像素子で可視光と近赤外光を検出してもよく、その場合、例えば図１３Ｃに示すように、一の固体撮像素子で可視光を検出し、他の固体撮像素子で可視光と近赤外光を検出する構成としてもよい。又は、図１３Ｄに示すように、一の固体撮像素子で可視光のみを検出し、他の固体撮像素子で近赤外光のみを検出する構成としてもよい。
　また、撮像部３１の撮像素子は、図１４に示すように、赤色光を検出する赤色画素Ｒと、青色光を検出する青色画素Ｂと、緑色光を検出する２つの緑色画素Ｇとで構成される可視光検出領域と、第１の近赤外光を検出する第１近赤外画素ＩＲ１と、第２の近赤外光を検出する第２近赤外画素ＩＲ２と、第３の近赤外光を検出する２つの第３近赤外画素ＩＲ３で構成される近赤外光検出領域とが、交互に配置された構成とすることもできる。
　図１５Ａ，Ｂは図１４に示す画素配置の撮像素子を用いてカラー画像を生成する方法を示す図であり、図１５Ａは可視光に基づく画像を撮像する場合、図１５Ｂは近赤外光に基づく画像を撮像する場合を示す。図１４に示す画素配置の撮像素子を用いて可視光カラー画像を生成する場合は、図１５Ａに示す可視光検出領域の各画素Ｒ，Ｇ，Ｂで検出された光に基づく可視光信号ＳＲ，ＳＧ，ＳＢを用いる。具体的には、各画素Ｒ，Ｇ，Ｂから出力された可視光信号ＳＲ，ＳＧ，ＳＢに信号処理を施し、必要に応じて近赤外光検出領域の画素ＩＲ１，ＩＲ２，ＩＲ３で検出された近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３を合成して、カラー画像を生成する。
　また、図１４に示す画素配置の撮像素子を用いて近赤外光カラー画像を生成する場合は、図１５Ｂに示す近赤外光検出領域の画素ＩＲ１，ＩＲ２，ＩＲ３で検出された光に基づく近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３を用いる。具体的には、各画素ＩＲ１，ＩＲ２，ＩＲ３から出力された近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３に信号処理を施し、必要に応じて可視光信号ＳＲ，ＳＧ，ＳＢを合成して、カラー画像を生成する。
　図１６は図１４に示す画素配置の撮像素子を用いて白黒画像を生成する方法を示す図である。本実施形態の撮像装置では、カラー画像だけでなく特定波長の光に基づく二次元白黒画像を生成することもできる。図１４に示す画素配置の撮像素子を用いた場合、赤色光、青色光、緑色光及び波長の異なる３種の近赤外光の６種類の画像を生成することが可能である。その場合、例えば図１６に示すように、可視光信号ＳＲ，ＳＧ，ＳＢ及び近赤外光信号ＳＩＲ１，ＳＩＲ２，ＳＩＲ３について、それぞれ個別に信号処理を行い、白黒画像を生成する。
　なお、本発明の撮像装置に用いられる固体撮像素子は、図１３Ａ～Ｄ又は図１４に示すものに限定されるものではなく、相互に波長又は波長域が異なる３以上の可視光と、相互に波長又は波長域が異なる２以上の近赤外光を検出可能なものであればよい。
　本実施形態の撮像装置は、前述した画像生成装置を用いているため、可視光の量にかかわらず、鮮明で色再現性に優れたカラー画像を生成することができる。また、本実施形態の撮像装置は、従来の撮像装置のように撮影環境の明るさに応じて、可視光による撮影と、近赤外光による撮影を切り替える必要がないため、切り替え機構や明るさを検出するためのセンサなどが不要となる。なお、実施形態の撮像装置における上記以外の構成及び効果は、前述した第１及び第２の実施形態と同様である。
　１　第１色信号生成部
　２、２２　画像生成部
　３ａ，３ｂ，６　信号処理部
　４　信号分離部
　５　第２色信号生成部
　１０、１１、２０，２１　画像生成装置
　３０　撮像装置
　３１　撮像部
　３２　現像部
　３３　照明部
　４０　被写体

Claims (11)

  1. 　固体撮像素子から出力された相互に波長又は波長域が異なる可視光に基づく３種以上の可視光信号に、前記固体撮像素子から出力された相互に波長又は波長域が異なる近赤外光に基づく２種以上の近赤外光信号を任意の割合で合成して３種以上の第１色信号を生成する第１色信号生成部を有し、
    　前記２種以上の近赤外光信号は、前記３種以上の可視光信号と同時に取得されたものであり、少なくとも、ピーク波長が７００～８７０ｎｍの範囲にある近赤外光に基づく第１近赤外光信号とピーク波長が８７０～２５００ｎｍの範囲にある近赤外光に基づく第２近赤外光信号とを含み、
    　前記第１色信号生成部では、各光信号の品質及び／又は強度に応じて、前記可視光信号と前記近赤外光信号の合成比率を変える画像生成装置。
  2. 　前記第１色再現信号生成部では、前記３種以上の可視光信号及び前記２種以上の近赤外光信号に信号処理を施した後でこれらを合成する請求項１に記載の画像生成装置。
  3. 　前記固体撮像素子から出力された光信号を、前記可視光信号と前記近赤外光信号とに分離して出力する信号分離部を有し、
    　前記信号分離部で分離された可視光信号及び近赤外光信号が前記第１色信号生成部に入力される請求項１又は２に記載の画像生成装置。
  4. 　前記固体撮像素子から出力された前記３種以上の可視光信号と、前記２種以上の近赤外光信号又は前記可視光に基づく成分と前記近赤外光に基づく成分の両方を含む２種以上の混合光信号から３種以上の第２色信号を生成する第２色信号生成部と、
    　前記第１色信号と前記第２色信号を合成してカラー画像を生成する画像生成部と
    を有する請求項１～３のいずれか１項に記載の画像生成装置。
  5. 　前記第２色信号生成部では、前記３種以上の可視光信号に前記２種以上の近赤外光信号又は前記混合光信号を足し合わせて３種以上の第２色信号を生成する請求項４に記載の画像生成装置。
  6. 　前記第２信号生成部では、前記可視光信号、前記近赤外光信号及び前記混合光信号のいずれかを選択して前記第２色信号を生成する請求項４に記載の画像生成装置。
  7. 　前記画像生成部では、前記第１色信号と前記第２色信号の差分が、前記第２色信号に足し合わされる請求項４～６のいずれか１項に記載の画像生成装置。
  8. 　前記第１色信号と前記第２色信号の差分は、ノイズ低減処理が施された後、前記第２信号に足し合わされる請求項７に記載の画像生成装置。
  9. 　前記第２色信号は、鮮鋭化処理が施された後、前記第１信号と足し合わされる請求項７又は８に記載の画像生成装置。
  10. 　請求項１～９のいずれか１項に記載の画像生成装置と、
    　相互に波長又は波長域が異なる３以上の可視光及び相互に波長又は波長域が異なる２以上の近赤外光を検出する固体撮像素子を備え、被写体から受光した可視光及び近赤外光をそれぞれの電気信号に変換する撮像部と
    を備える撮像装置。
  11. 　被写体に前記２以上の近赤外光を照射する照明部を備える請求項１０に記載の撮像装置。
PCT/JP2019/028470 2018-07-20 2019-07-19 画像生成装置及び撮像装置 WO2020017638A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020531386A JP7203441B2 (ja) 2018-07-20 2019-07-19 画像生成装置及び撮像装置
CN201980040150.6A CN112335233B (zh) 2018-07-20 2019-07-19 图像生成装置以及摄像装置
US17/251,215 US11284044B2 (en) 2018-07-20 2019-07-19 Image generation device and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136621 2018-07-20
JP2018-136621 2018-07-20

Publications (1)

Publication Number Publication Date
WO2020017638A1 true WO2020017638A1 (ja) 2020-01-23

Family

ID=69164644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028470 WO2020017638A1 (ja) 2018-07-20 2019-07-19 画像生成装置及び撮像装置

Country Status (4)

Country Link
US (1) US11284044B2 (ja)
JP (1) JP7203441B2 (ja)
CN (1) CN112335233B (ja)
WO (1) WO2020017638A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2015173451A (ja) * 2009-07-30 2015-10-01 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置
WO2017159041A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278701A (ja) * 1999-03-24 2000-10-06 Sony Corp 赤外線撮像装置
JP4630781B2 (ja) 2005-09-26 2011-02-09 キヤノン株式会社 波長成分の割合検出装置及びそれを用いた撮像装置
JP2010161453A (ja) 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
JP2011015087A (ja) * 2009-06-30 2011-01-20 Panasonic Corp 撮像装置および撮像方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
JP5485004B2 (ja) 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
CN105432076B (zh) 2013-07-25 2017-10-10 日立麦克赛尔株式会社 摄像装置
JP6136948B2 (ja) * 2014-01-24 2017-05-31 株式会社Ｊｖｃケンウッド 撮像装置、映像信号処理方法及び映像信号処理プログラム
WO2016171087A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
DE112017005193T5 (de) * 2016-10-14 2019-07-04 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung
TWI666935B (zh) * 2017-07-12 2019-07-21 謝基生 增強近紅外擷取影像的微型熱像儀
US11343434B2 (en) * 2018-12-20 2022-05-24 Canon Kabushiki Kaisha Image processing apparatus and control method for same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173451A (ja) * 2009-07-30 2015-10-01 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2017005484A (ja) * 2015-06-10 2017-01-05 株式会社 日立産業制御ソリューションズ 撮像装置
WO2017159041A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法

Also Published As

Publication number Publication date
US11284044B2 (en) 2022-03-22
CN112335233A (zh) 2021-02-05
CN112335233B (zh) 2022-07-12
US20210250556A1 (en) 2021-08-12
JPWO2020017638A1 (ja) 2021-08-02
JP7203441B2 (ja) 2023-01-13

Similar Documents

Publication Publication Date Title
JP6725613B2 (ja) 撮像装置および撮像処理方法
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US6995791B2 (en) Automatic white balance for digital imaging
EP2426928B1 (en) Image processing apparatus, image processing method and program
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
EP2866445B1 (en) Imaging device
WO2010053029A1 (ja) 画像入力装置
JP2002232906A (ja) ホワイトバランス制御装置
JP2011176773A (ja) 信号処理装置、固体撮像装置、電子情報機器、信号処理方法、制御プログラムおよび記録媒体
KR20180080297A (ko) 이미지 프로세싱 장치 및 이미지 프로세싱 방법
JP2017005484A (ja) 撮像装置
CN115802183B (zh) 图像处理方法及其相关设备
Nonaka et al. Monocular color-IR imaging system applicable for various light environments
JP2003304556A (ja) 映像信号処理装置及び映像信号処理方法
WO2020017638A1 (ja) 画像生成装置及び撮像装置
JP2012010141A (ja) 画像処理装置
JP3966868B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP6717660B2 (ja) 撮像装置
JP4298595B2 (ja) 撮像装置及びその信号処理方法
JP2001057680A (ja) ホワイトバランス調整方法および装置並びに記録媒体
KR100999885B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
JP4024230B2 (ja) 撮像装置
JP6384595B2 (ja) 撮像装置、データ生成装置および画像処理装置
JP2023090493A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837695

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020531386

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19837695

Country of ref document: EP

Kind code of ref document: A1