WO2016009728A1 - 信号処理装置、撮像装置および信号処理方法 - Google Patents

信号処理装置、撮像装置および信号処理方法 Download PDF

Info

Publication number
WO2016009728A1
WO2016009728A1 PCT/JP2015/065575 JP2015065575W WO2016009728A1 WO 2016009728 A1 WO2016009728 A1 WO 2016009728A1 JP 2015065575 W JP2015065575 W JP 2015065575W WO 2016009728 A1 WO2016009728 A1 WO 2016009728A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
color difference
noise
adjusted
image
Prior art date
Application number
PCT/JP2015/065575
Other languages
English (en)
French (fr)
Inventor
龍平 秦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/323,139 priority Critical patent/US10321022B2/en
Publication of WO2016009728A1 publication Critical patent/WO2016009728A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Definitions

  • the present technology relates to a signal processing device, an imaging device, and a signal processing method.
  • the present invention relates to an imaging device used for a camera or the like, a signal processing device and a signal processing method in the imaging device, and a program for causing a computer to execute the method.
  • an imaging device that performs photographing using an image sensor that can detect infrared light from a subject is used.
  • an image signal is generated by mixing a visible light signal based on a visible light component and an infrared signal based on an infrared light component among image signals output from an image sensor.
  • Patent Document 1 a system for constructing a pseudo color image has been proposed (see, for example, Patent Document 1).
  • the luminance signal obtained by mixing contains a noise component derived from a visible light signal, and there is a problem that a clear image cannot be obtained.
  • This technology was created in view of such a situation, and aims to generate a low-noise image signal even when shooting in a low-light environment.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology is that noise is removed by removing noise between a non-visible light signal or a color difference signal and a luminance signal.
  • a noise reduction unit for generating a signal group, and adjusting the luminance signal and the chrominance signal to generate an image signal including an adjusted luminance signal and an adjusted chrominance signal at a ratio approximately equal to the ratio of the luminance signal and the chrominance signal
  • the signal processing device includes an image signal generation unit that generates either the adjusted luminance signal or the adjusted color difference signal based on the invisible light signal and the signal group from which the noise is removed. Accordingly, the luminance signal and the color difference signal are adjusted while maintaining the ratio between the luminance signal and the color difference signal, and any one of the luminance signal and the color difference signal is adjusted based on the signal group from which noise is removed. Bring.
  • the noise reduction unit removes noise from the invisible light signal and the luminance signal to generate the signal group
  • the image signal generation unit includes the invisible light signal and
  • the adjusted luminance signal may be generated based on the invisible light signal from which the noise has been removed and the luminance signal from which the noise has been removed. This brings about the effect that the adjusted luminance signal is generated based on the non-visible light signal, the non-visible light signal from which noise has been removed, and the luminance signal from which noise has been removed.
  • the image signal generation unit may generate the adjusted color difference signal based on the color difference signal.
  • the adjustment color difference signal is generated based on the color difference signal.
  • a mixing unit that mixes the generated adjusted luminance signal and the invisible light signal based on a predetermined mixing ratio may be further included.
  • the adjusted luminance signal and the invisible light signal are mixed based on a predetermined mixing ratio.
  • the mixing unit mixes the adjusted luminance signal and the invisible light signal included in a predetermined selection area of the image signal, and a mixing ratio different from the mixing ratio. You may mix based on. As a result, the adjusted luminance signal and the invisible light signal included in the predetermined selection area in the image signal are mixed based on a mixing ratio different from the mixing ratio.
  • the noise reduction unit removes the noise of the color difference signal and the luminance signal to generate the signal group
  • the image signal generation unit includes the invisible light signal and the noise.
  • the adjusted color difference signal may be generated based on the color difference signal from which noise has been removed and the luminance signal from which noise has been removed. This brings about the effect that the adjusted color difference signal is generated based on the invisible light signal, the color difference signal from which noise has been removed, and the luminance signal from which noise has been removed.
  • the image signal generation unit may generate the adjusted luminance signal based on the invisible light signal. This brings about the effect that the adjusted luminance signal is generated based on the invisible light signal.
  • the invisible light signal may be an infrared signal corresponding to infrared light.
  • the luminance signal and the color difference signal are adjusted based on the infrared signal.
  • an image sensor including a pixel surface in which pixels that output an image signal are two-dimensionally arranged, and a signal processing device that processes the image signal output from the image sensor.
  • the signal processing device includes: an image signal processing unit that generates a luminance signal, a color difference signal, and a non-visible light signal based on the image signal; and either the non-visible light signal or the color difference signal and the luminance signal.
  • a noise reduction unit that generates a signal group from which noise has been removed, and an adjusted luminance signal having a ratio approximately equal to the ratio of the luminance signal and the color difference signal by adjusting the luminance signal and the color difference signal And an image signal including the adjusted color difference signal, and the adjusted luminance signal or the adjusted color difference signal is based on the signal group from which the invisible light signal and the noise are removed.
  • An image pickup apparatus and an image signal generator for generating and are. Accordingly, the luminance signal and the color difference signal are adjusted while maintaining the ratio between the luminance signal and the color difference signal, and any one of the luminance signal and the color difference signal is adjusted based on the signal group from which noise is removed. Bring.
  • the third aspect of the present technology includes a noise reduction procedure for generating a signal group from which noise is removed by removing noise between either the invisible light signal or the color difference signal and the luminance signal, the luminance signal or the above
  • an adjustment ratio for calculating an adjustment ratio for adjusting the luminance signal and the color difference signal while maintaining the ratio between the luminance signal and the color difference signal based on the signal group from which the noise is removed.
  • a signal processing method comprising: a calculation procedure; and an image signal generation procedure for adjusting the luminance signal and the color difference signal using the calculated adjustment ratio to generate an adjustment luminance signal and an adjustment color difference signal. Accordingly, the luminance signal and the color difference signal are adjusted while maintaining the ratio between the luminance signal and the color difference signal, and any one of the luminance signal and the color difference signal is adjusted based on the signal group from which noise is removed. Bring.
  • an excellent effect of generating a low-noise image signal can be obtained even in shooting in a low illumination environment.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • First Embodiment Example of adjusting a luminance signal based on a signal from which noise has been removed
  • Second Embodiment Example of adjusting a color difference signal based on a signal from which noise has been removed
  • Third embodiment example of mixing an infrared signal with an adjusted luminance signal
  • FIG. 1 is a diagram illustrating a configuration example of an imaging device according to an embodiment of the present technology.
  • the imaging device 10 in the figure includes a lens 100, an imaging device 200, a signal processing device 300, a control device 400, and an infrared light irradiation unit 500.
  • the lens 100 optically forms a subject on the image sensor 200.
  • the image sensor 200 converts an optical image formed by the lens 100 into an image signal and outputs the image signal.
  • pixels that generate image signals are two-dimensionally arranged on a surface on which an optical image is formed.
  • the image signal output from this pixel includes a visible light signal corresponding to the visible light component and an infrared signal corresponding to the infrared light component.
  • Examples of the image sensor 200 having such pixels include pixels that output image signals corresponding to red light and infrared light, pixels that output image signals corresponding to green light and infrared light, and blue light and red light.
  • An imaging device having three types of pixels that output image signals corresponding to external light can be given. It is also possible to use an image sensor having four types of pixels in which pixels that output image signals corresponding to infrared light are added to these pixels.
  • an image signal corresponding to red light and infrared light, an image signal corresponding to green light and infrared light, an image signal corresponding to blue light and infrared light, and an image signal corresponding to infrared light are respectively R + IR signals.
  • pixels that output the R + IR signal, the G + IR signal, the B + IR signal, and the IR signal are referred to as an R + IR pixel, a G + IR pixel, a B + IR signal, and an IR pixel, respectively.
  • each pixel is provided with a color filter.
  • the above-described three or four types of pixels are configured by making the spectral characteristics of the color filter correspond to specific light.
  • the signal processing device 300 processes an image signal.
  • the signal processing device 300 separates and generates a luminance signal, a color difference signal, and an IR signal from the image signal, and processes these signals. Then, it converts into an image signal containing only a visible light signal, and outputs it.
  • the control device 400 controls the entire imaging device 10.
  • the control device 400 also has a function of outputting the image signal output from the signal processing device 300 to the outside of the imaging device 10.
  • the infrared light irradiation unit 500 irradiates the subject with infrared light.
  • the infrared light irradiation unit 500 is controlled by the control device 400.
  • FIG. 2 is a diagram illustrating a configuration example of the signal processing device according to the embodiment of the present technology.
  • the signal processing apparatus 300 in the figure includes a demosaic unit 310, a separation unit 320, a YC conversion unit 330, a processing unit 340, and an RGB conversion unit 350.
  • the demosaic unit 310 performs demosaic processing on the image signal.
  • This demosaic process is a process of generating image signals for other colors that the respective pixels do not have for the R + IR, G + IR, B + IR pixels and IR pixels.
  • a known method can be used as the demosaic process. For example, when a target pixel is an R + IR pixel and a G + IR signal is generated by demosaic processing, an average value of G + IR signals output by G + IR pixels around the pixel is calculated, and this is calculated as the G + IR signal of the pixel Can be used.
  • the separation unit 320 separates the image signal into an IR signal and a visible light signal.
  • This visible light signal includes an image signal corresponding to red light, an image signal corresponding to green light, and an image signal corresponding to blue light.
  • R signal an image signal corresponding to red light
  • G signal an image signal corresponding to blue light.
  • B signal an image signal corresponding to blue light.
  • the process in the separation unit 320 selects a process corresponding to the configuration of the image sensor 200 described above.
  • the image sensor 200 has R + IR, G + IR, B + IR, and IR pixels
  • the R, G, and B signals can be separated by subtracting the IR signal output from the IR pixel from the R + IR, G + IR, and B + IR signals. .
  • the R, G, B, and IR signals can be separated from the R + IR, G + IR, and B + IR signals by an arithmetic expression obtained from the spectral characteristics of the color filter of the image sensor 200. it can.
  • the YC conversion unit 330 converts R, G, and B signals into luminance signals and color difference signals.
  • Y represents a luminance signal
  • Cb and Cr represent color difference signals.
  • the color difference signal Cb is a signal based on the difference between the B signal and the luminance signal
  • the color difference signal Cr is a signal based on the difference between the R signal and the luminance signal.
  • the conversion in the YC conversion unit 330 can be performed by the following conversion formula, for example.
  • R, G, and B represent R signal, G signal, and B signal, respectively.
  • the processing unit 340 generates the adjusted luminance signal Y ′ and the adjusted color difference signals Cb ′ and Cr ′ by adjusting the luminance signal Y and the color difference signals Cb and Cr based on the luminance signal, the color difference signal, and the IR signal. It is. The operation of the processing unit 340 will be described later.
  • the RGB converter 350 converts the adjusted luminance signal and the adjusted color difference signal into new image signals (hereinafter referred to as R ′, G ′, and B ′ signals).
  • the R ′, G ′, and B ′ signals converted by the RGB conversion unit 350 are output to the outside of the imaging device via the control device 400 and used for display on a monitor or the like.
  • the conversion in the RGB conversion unit 350 can be performed by the following conversion formula, for example.
  • R ′ 1.000 ⁇ Y ′ + 1.402 ⁇ Cr ′
  • G ′ 1.000 ⁇ Y′ ⁇ 0.344 ⁇ Cb′ ⁇ 0.714 ⁇ Cr ′
  • B ′ 1.000 ⁇ Y ′ + 1.772 ⁇ Cb ′
  • Y ′ represents the adjusted luminance signal.
  • Cb ′ and Cr ′ represent adjustment color difference signals.
  • R ′, G ′, and B ′ represent the converted R signal, G signal, and B signal, respectively.
  • FIG. 3 is a diagram illustrating an example of a subject in the first embodiment of the present technology. This figure shows an example in which a person is photographed in a low-light environment such as at night. In such a case, the luminance signal and the color difference signal derived from the visible light component have a low signal level and are relatively noisy. On the other hand, the infrared signal has a relatively high signal level in the portion related to the person.
  • the lines represented by A and A ′ in the figure are virtual lines for specifying the image signal on the screen. Since A is a background portion and A ′ is a portion related to a person, the signal level of the corresponding image signal changes suddenly during the transition from A to A ′.
  • FIG. 4 is a diagram for explaining the adjustment luminance signal and adjustment color difference signal generation processing according to the first embodiment of the present technology.
  • 3 is a diagram for explaining processing in the processing unit 340 when the subject shown in FIG. 3 is photographed, and represents processing for generating the adjusted luminance signal Y ′ from the luminance signal Y and the infrared signal IR. Yes.
  • FIG. 4 also shows signal waveforms at each part. These waveforms correspond to the waveform of the luminance signal or infrared signal generated by the image signal arranged on the lines represented by A and A ′ in FIG. Specifically, a luminance signal or an infrared signal corresponding to an image signal output from each pixel located on the line represented by A and A ′ in FIG. 3 is connected by a line.
  • a and A ′ in FIG. 4 correspond to the image signals at positions A and A ′ in FIG.
  • the luminance signal in FIG. 4 has a relatively low signal level and a large noise waveform.
  • the infrared signal has a relatively high signal level and a waveform with little noise. Noise is removed by performing noise reduction processing on these.
  • This noise reduction process is a process for attenuating a high-frequency component of a signal using a kind of low-pass filter.
  • Y_NR and IR_NR represent a luminance signal and an infrared signal after noise reduction processing, respectively.
  • the noise component which is a high frequency component is attenuated and becomes small.
  • the luminance signal component and the infrared signal component other than noise have waveforms that change slowly. When this is captured as an image, it changes to an image in which the outline of the person in FIG. 3 is blurred.
  • Y_NR is divided by IR_NR.
  • a waveform (not shown) close to a DC signal having a value substantially equal to the ratio of Y_NR to IR_NR is obtained. Since the signal level is lower in Y_NR than in IR_NR, the above-mentioned DC signal has a value smaller than a value “1”, for example, a value of about “0.2”.
  • this DC signal is multiplied by the IR signal before the noise reduction process. As a result, it is possible to obtain an adjusted luminance signal having low noise and a sharp change in signal component as shown in FIG.
  • This adjusted luminance signal is a signal equivalent to a signal obtained by attenuating only the noise component from the luminance signal before processing. For this reason, the adjustment luminance signal has a signal level lower than that of the IR signal.
  • the color difference signals Cb and Cr are output as adjusted color difference signals without performing the above calculation.
  • FIG. 5 is a diagram illustrating a configuration example of the processing unit according to the first embodiment of the present technology.
  • the processing unit 340 in the figure includes a noise reduction unit 341 and an image signal generation unit 349.
  • the noise reduction unit 341 removes noise between any one of the IR signal or the color difference signals (Cb and Cr) and the luminance signal Y, and generates a signal group from which the noise has been removed.
  • the noise reduction unit 341 removes noise from the IR signal and the luminance signal Y.
  • the noise reduction unit 341 includes an IR signal noise reduction processing unit 342 and a luminance signal noise reduction processing unit 343.
  • the IR signal noise reduction processing unit 342 generates an IR_NR signal by removing noise from the IR signal.
  • the luminance signal noise reduction processing unit 343 generates a Y_NR signal by removing noise from the luminance signal.
  • noise reduction processing units for example, a general low-pass filter can be used. Further, a two-dimensional noise reduction process for removing noise by performing an operation on image signals belonging to the same frame, for example, a noise reduction process for averaging may be performed. Further, a three-dimensional noise reduction process for removing noise using image signals belonging to a plurality of consecutive frames may be performed. This three-dimensional noise reduction process will be described later.
  • noise reduction processing devices having the same characteristics, for example, the same cutoff frequency, as the IR signal noise reduction processing unit 342 and the luminance signal noise reduction processing unit 343. This is because, as described with reference to FIG. 4, a DC signal is generated by the division process, and therefore, it is necessary to obtain a waveform having similar characteristics as the signal waveform after the noise reduction process.
  • noise removal processing may also be performed on the color difference signals Cb and Cr. However, it is necessary to perform a mild noise removal process so that the above-described blurring of the image outline does not occur.
  • the image signal generation unit 349 adjusts the luminance signal Y and the color difference signals Cb and Cr, thereby adjusting the adjusted luminance signal Y ′ and the adjusted color difference signal Cb ′ having a ratio substantially equal to the ratio between the luminance signal Y and the color difference signals Cb and Cr.
  • An image signal composed of Cr ′ is generated.
  • either the adjusted luminance signal Y ′ or the adjusted color difference signals Cb ′ and Cr ′ is generated based on the IR signal and the signal group from which the above-described noise is removed.
  • the image signal generation unit 349 generates the adjusted luminance signal Y ′ from the IR signal, the IR_NR signal, and the Y_NR signal.
  • the processing in the image signal generation unit 349 corresponds to the division and multiplication processing described in FIG.
  • the adjusted luminance signal Y ′ is generated by the following equation.
  • Y ′ (Y_NR / IR_NR) ⁇ IR
  • Y_NR and IR_NR represent the luminance signal and infrared signal after noise reduction processing, respectively.
  • IR represents an infrared signal.
  • the color difference signals Cb and Cr are output as adjusted color difference signals Cb ′ and Cr ′ without any particular processing.
  • the adjusted luminance signal Y ′ is equivalent to the luminance signal Y obtained by attenuating only the noise component. Therefore, the ratio between the luminance signal Y and the color difference signals Cb and Cr and the ratio between the adjusted luminance signal Y ′ and the adjusted color difference signals Cb ′ and Cr ′ can be set to substantially equal values.
  • the adjustment ratio is Y_NR / IR_NR from the above-described formula for the luminance signal, and “1” for the color difference signal.
  • FIG. 6 is a diagram illustrating a configuration example of the three-dimensional noise reduction processing unit according to the first embodiment of the present technology.
  • the three-dimensional noise reduction processing unit in the figure adds continuous 16 frames of image signals for each pixel. Thereafter, the result is divided by 16, which is the number of added image signals, and output. Thereby, noise components generated at random are averaged to remove noise.
  • the three-dimensional noise reduction process has a higher noise removal capability than the two-dimensional noise reduction process.
  • this image blur can be corrected by calculation by the image signal generation unit 349.
  • FIG. 7 is a diagram illustrating an arrangement example of pixels of the image sensor according to the first embodiment of the present technology.
  • a in the figure represents an example in which the image sensor 200 has R + IR, G + IR, B + IR, and IR pixels.
  • the image sensor 200 has pixels 201 arranged in a two-dimensional grid.
  • the characters in the figure represent the types of pixels to which the characters are attached. For example, a pixel with “R + IR” represents an R + IR pixel.
  • B in the figure represents an example in the case where the IR pixel in the pixel a in the figure is replaced with a W pixel corresponding to white light.
  • c in the figure represents an example in the case where the image sensor 200 has R + IR, G + IR, B + IR, and W + IR pixels.
  • the W + IR pixel is a pixel corresponding to white light and infrared light.
  • FIG. 8 is a diagram illustrating an example of a signal processing procedure according to the first embodiment of the present technology.
  • the signal processing device 300 performs demosaic processing on the input image signal (step S901).
  • the signal processing apparatus 300 separates the image signal on which the demosaic process has been performed into an IR signal and R, G, and B signals (step S902).
  • a luminance signal Y and color difference signals Cr and Cb are generated from the R, G, and B signals among the separated signals (step S903).
  • the signal processing device 300 performs noise reduction processing (step S904).
  • noise reduction processing is performed on the IR signal and the luminance signal Y.
  • the signal processing device 300 performs an adjustment ratio calculation process (step S905). As described above, in the first embodiment of the present technology, since the adjustment ratio is “1” for the color difference signal, only the adjustment ratio for the luminance signal is calculated.
  • the signal processing device 300 calculates an adjustment ratio for the luminance signal based on the mathematical formula Y_NR / IR_NR.
  • the signal processing device 300 performs image signal generation processing for adjusting the luminance signal and the color difference signal using the adjustment ratio to generate the adjusted luminance signal and the adjusted color difference signal (step S906).
  • the adjusted luminance signal Y ′ and the adjusted color difference signals Cb ′ and Cr ′ are generated based on the following expression.
  • the signal processing device 300 converts the adjusted luminance signal and the adjusted color difference signal into R ′, G ′, and B ′ signals (step S907).
  • the adjusted luminance signal and the adjusted color difference signal obtained by adjusting the luminance signal and the color difference signal are generated.
  • the ratio between the adjusted luminance signal and the adjusted color difference signal is substantially equal to the ratio between the luminance signal and the color difference signal, so that color reproducibility can be improved.
  • the adjusted luminance signal is generated based on the signal from which noise has been removed.
  • the adjusted color difference signal is generated based on the signal from which the noise is removed.
  • FIG. 9 is a diagram for describing the adjustment luminance signal and adjustment color difference signal generation processing according to the second embodiment of the present technology. This figure is a diagram for explaining the processing in the processing unit 340 when the subject shown in FIG. 3 is photographed.
  • noise reduction processing is performed on the luminance signal and the color difference signal.
  • Cb_NR and Cr_NR represent color difference signals after noise reduction processing. As shown in the figure, Cb_NR and Cr_NR and Y_NR have signal waveforms at the same level.
  • the processing according to the second embodiment of the present technology is a method of converting the IR signal in a state where the signal level is maintained into the adjusted luminance signal and the adjusted color difference signal, and therefore, the method illustrated in FIG.
  • an adjusted luminance signal and an adjusted color difference signal having a high signal level can be obtained.
  • FIG. 10 is a diagram illustrating a configuration example of a processing unit according to the second embodiment of the present technology.
  • the processing unit 340 in the figure includes a noise reduction unit 345 and an image signal generation unit 348.
  • the noise reduction unit 345 removes noise from the luminance signal Y and the color difference signals Cb and Cr.
  • the noise reduction unit 345 includes a luminance signal noise reduction processing unit 343 and a color difference signal noise reduction processing unit 344.
  • the color difference signal noise reduction processing unit 344 generates Cb_NR and Cr_NR signals by removing noise from the color difference signals.
  • the various noise reduction processing devices described in the first embodiment of the present technology can be used. However, it is necessary to use a noise reduction processing device having the same characteristics as the luminance signal noise reduction processing unit 343.
  • the image signal generation unit 348 generates adjusted color difference signals Cb ′ and Cr ′ from the IR signal, IR_Y signal, Cb_NR signal, and Cr_NR signal.
  • the processing in the image signal generation unit 348 corresponds to the division and multiplication processing described in FIG.
  • the adjusted color difference signals Cb ′ and Cr ′ are generated by the following equation.
  • Cb ′ (Cb_NR / Y_NR) ⁇
  • IR Cr ′ (Cr_NR / Y_NR) ⁇ IR
  • Cb_NR and Cr_NR represent color difference signals after noise reduction processing, respectively.
  • the IR signal is output as the adjusted luminance signal Y ′.
  • Cb ′ and Cr ′ are obtained by adjusting the signal level of the IR signal based on Cb_NR and the ratio of Cr_NR and Y_NR, as is apparent from the above equation. Therefore, the ratio between the luminance signal Y and the color difference signals Cb and Cr and the ratio between the adjusted luminance signal Y ′ and the adjusted color difference signals Cb ′ and Cr ′ can be set to substantially equal values. Further, the adjustment ratio in the second embodiment of the present technology is “1” for the luminance signal, and is Cb_NR / Y_NR or Cr_NR / Y_NR for the color difference signal from the above formula.
  • the adjusted luminance signal and the adjusted color difference signal are generated from the IR signal while maintaining the signal level. Can do. Also in the second embodiment of the present technology, since the ratio between the adjusted luminance signal and the adjusted color difference signal is substantially equal to the ratio between the luminance signal and the color difference signal, color reproducibility can be improved.
  • the adjusted luminance signal and the adjusted color difference signal are converted into new image signals.
  • the adjusted luminance signal is mixed with the IR signal to generate a new adjusted luminance signal. Thereafter, the new adjusted luminance signal and adjusted color difference signal are converted into a new image signal.
  • FIG. 11 is a diagram illustrating a configuration example of a processing unit according to the third embodiment of the present technology.
  • the processing unit 340 in the figure is different from the processing unit 340 described in FIG. 5 in that the mixing unit 347 is provided.
  • the mixing unit 347 mixes the adjusted luminance signal Y ′ generated by the image signal generation unit 349 and the IR signal based on a predetermined mixing ratio. This mixing is performed as follows.
  • Y ′′ (1 ⁇ ) ⁇ IR + ⁇ ⁇ Y ′
  • Y '' represents the adjusted luminance signal newly generated by the mixing, and ⁇ represents the mixing ratio.
  • the adjusted luminance signal in the first embodiment of the present technology has a signal level lower than that of the IR signal. However, the signal level can be increased by mixing the adjusted luminance signal with the IR signal.
  • the characteristics of the new adjusted luminance signal can be changed. For example, when ⁇ is set to a value close to 1, an image with high color reproducibility can be obtained although the signal level is low. On the other hand, when ⁇ is set to a value close to 0, an image with high visibility can be obtained because the signal level increases. However, in this case, since the signal level of the color difference signal is not adjusted, the color of the obtained image changes. Further, when ⁇ is set to 0, the obtained image is a monochrome image. Thus, the characteristics of the adjusted luminance signal can be changed depending on the application of the image.
  • processing unit 340 the signal processing device 300, and the imaging device 10 are the same as those in the first embodiment described above, and thus the description thereof is omitted.
  • the characteristics of the adjusted luminance signal can be changed depending on the intended use by mixing the IR signal with the adjusted luminance signal.
  • IR signals are mixed based on the same mixing ratio ⁇ for all the adjusted luminance signals.
  • a selection area is set on the screen, and the adjustment luminance signals included in the selection area are mixed at different mixing ratios.
  • FIG. 12 is a diagram illustrating an example of a screen in which a selection region is set in a modification of the third embodiment of the present technology.
  • a selection area 203 is set on the screen 202 in FIG.
  • This selection area 203 can be set, for example, in an area including the face of a person who is the subject.
  • the mixing ratio ⁇ is set to a value different from that of the other areas.
  • ⁇ can be set to “0”, for example, to improve the visibility of the face.
  • ⁇ can be set to “1”, for example, to improve color reproducibility and make it easy to grasp the color of a person's clothes.
  • the signal processing device 300 determines whether the image signal is included in the selection region 203 and changes the value of ⁇ .
  • a plurality of selection areas may be set for one screen. Further, ⁇ may be gradually changed at the boundary of the selection region 203. In this case, the discontinuity of the image at the boundary of the selection area 203 can be reduced.
  • the characteristics of the image included in the selection area are different from the other areas. Can have different characteristics. According to the purpose of use of the image, since it can be changed to an image with improved color reproducibility or visibility, convenience can be improved.
  • a low noise image signal can be obtained even in shooting in a low illumination environment. Can be generated.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a noise reduction unit that removes noise between either the invisible light signal or the color difference signal and the luminance signal to generate a signal group from which the noise is removed;
  • an image signal composed of the adjusted luminance signal and the adjusted color difference signal having a ratio approximately equal to the ratio between the luminance signal and the color difference signal is generated, and the adjusted luminance signal or the adjusted color difference is generated.
  • a signal processing apparatus comprising: an image signal generation unit configured to generate any one of the signals based on the invisible light signal and the signal group from which the noise is removed.
  • the noise reduction unit generates the signal group by removing noise of the invisible light signal and the luminance signal
  • the image signal generation unit generates the adjusted luminance signal based on the non-visible light signal, the non-visible light signal from which the noise has been removed, and the luminance signal from which the noise has been removed.
  • the signal processing apparatus as described.
  • the mixing unit mixes the adjusted luminance signal and the non-visible light signal included in a predetermined selection region in the image signal based on a mixing ratio different from the mixing ratio.
  • the signal processing device according to (4).
  • the noise reduction unit generates the signal group by removing noise of the color difference signal and the luminance signal
  • the image signal generation unit generates the adjusted color difference signal based on the invisible light signal, the color difference signal from which the noise has been removed, and the luminance signal from which the noise has been removed.
  • Signal processing device (7) The signal processing device according to (6), wherein the image signal generation unit generates the adjusted luminance signal based on the invisible light signal.
  • the signal processing device includes: An image signal processing unit that generates a luminance signal, a color difference signal, and an invisible light signal based on the image signal; A noise reduction unit that generates a signal group from which noise is removed by removing noise between the invisible light signal or the color difference signal and the luminance signal; The luminance signal and the color difference signal are adjusted to generate an image signal composed of the adjusted luminance signal and the adjusted color difference signal at a ratio substantially equal to the ratio of the luminance signal and the color difference signal.
  • An image pickup apparatus comprising: an image signal generation unit that generates one of the non-visible light signal and the signal group from which the noise is removed. (10) A noise reduction procedure for generating a signal group from which noise is removed by removing noise between either the invisible light signal or the color difference signal and the luminance signal; For either one of the luminance signal and the color difference signal, an adjustment ratio for adjusting the luminance signal and the color difference signal while maintaining the ratio of the luminance signal and the color difference signal based on the signal group from which the noise is removed. An adjustment ratio calculation procedure for calculating A signal processing method comprising: an image signal generation procedure for adjusting the luminance signal and the color difference signal using the calculated adjustment ratio to generate an adjusted luminance signal and an adjusted color difference signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

　低照度環境下における撮影であっても低ノイズの画像信号を生成する。　撮像装置の信号処理装置において、ノイズリダクション部は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成する。画像信号生成部は、輝度信号および色差信号を調整することにより輝度信号と色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、調整輝度信号または調整色差信号の何れかについては非可視光信号およびノイズが除去された信号群に基づいて生成する。

Description

信号処理装置、撮像装置および信号処理方法
　本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、カメラ等に使用される撮像装置、撮像装置における信号処理装置および信号処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　従来、夜間などの低照度環境下において撮影を行う際には、被写体からの赤外光を検出可能な撮像素子を使用して撮影を行う撮像装置が使用されている。例えば、撮像素子が出力する画像信号のうち可視光成分に基づく可視光信号および赤外光成分に基づく赤外信号を混合して画像信号を生成する。これにより、擬似的なカラー画像を構成するシステムが提案されている（例えば、特許文献１参照。）。
特開２０１２－２４４５３３号公報
　低照度環境下における撮影では、可視光信号の信号レベルが低いため、この可視光信号に基づく輝度信号は相対的にノイズ成分が大きな信号となる。これに対して、上述の従来技術では、この輝度信号に赤外信号を混合する際、ノイズ成分の除去を行っていない。そのため、混合により得られた輝度信号には可視光信号に由来するノイズ成分が含まれており、鮮明な画像を得ることができないという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、低照度環境下における撮影であっても低ノイズの画像信号を生成することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、上記輝度信号および上記色差信号を調整することにより上記輝度信号と上記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、上記調整輝度信号または上記調整色差信号の何れかについては上記非可視光信号および上記ノイズが除去された信号群に基づいて生成する画像信号生成部とを具備する信号処理装置である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。
　また、この第１の側面において、上記ノイズリダクション部は、上記非可視光信号および上記輝度信号のノイズを除去して上記信号群を生成し、上記画像信号生成部は、上記非可視光信号と上記ノイズを除去された上記非可視光信号と上記ノイズを除去された上記輝度信号とに基づいて上記調整輝度信号を生成してもよい。これにより、非可視光信号とノイズを除去された非可視光信号とノイズを除去された輝度信号とに基づいて調整輝度信号を生成するという作用をもたらす。
　また、この第１の側面において、上記画像信号生成部は、上記色差信号に基づいて上記調整色差信号を生成してもよい。これにより、色差信号に基づいて調整色差信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記生成された上記調整輝度信号および上記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備してもよい。これにより調整輝度信号および非可視光信号を所定の混合比率に基づいて混合するという作用をもたらす。
　また、この第１の側面において、上記混合部は、上記画像信号における所定の選択領域に含まれる上記調整輝度信号と上記非可視光信号とを混合する際には上記混合比率とは異なる混合比率に基づいて混合してもよい。これにより、画像信号における所定の選択領域に含まれる調整輝度信号および非可視光信号は、上記混合比率とは異なる混合比率に基づいて混合されるという作用をもたらす。
　また、この第１の側面において、上記ノイズリダクション部は、上記色差信号および上記輝度信号のノイズを除去して上記信号群を生成し、上記画像信号生成部は、上記非可視光信号と上記ノイズを除去された上記色差信号と上記ノイズを除去された上記輝度信号とに基づいて上記調整色差信号を生成してもよい。これにより、非可視光信号とノイズを除去された色差信号とノイズを除去された輝度信号とに基づいて調整色差信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記画像信号生成部は、上記非可視光信号に基づいて上記調整輝度信号を生成してもよい。これにより、非可視光信号に基づいて調整輝度信号が生成されるという作用をもたらす。
　また、この第１の側面において、上記非可視光信号は、赤外光に対応する赤外信号であってもよい。これにより赤外信号に基づいて輝度信号および色差信号を調整するという作用をもたらす。
　また、本技術の第２の側面は、画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、上記撮像素子から出力された上記画像信号を処理する信号処理装置とを具備し、上記信号処理装置は、上記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、上記非可視光信号または上記色差信号の何れかと上記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、上記輝度信号および上記色差信号を調整して上記輝度信号および上記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、上記調整輝度信号または上記調整色差信号の何れかについては上記非可視光信号および上記ノイズが除去された信号群に基づいて生成する画像信号生成部とを備える撮像装置である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。
　また、本技術の第３の側面は、非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、上記輝度信号または上記色差信号の何れか１つについては上記ノイズを除去された信号群に基づいて上記輝度信号と上記色差信号との比率を保ちながら上記輝度信号および上記色差信号を調整する調整比率を算出する調整比率算出手順と、上記算出された上記調整比率を用いて上記輝度信号および上記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順とを具備する信号処理方法である。これにより、輝度信号と色差信号との比率を保ちながら輝度信号および色差信号が調整され、輝度信号または色差信号の何れか１つについてはノイズを除去された信号群に基づいて調整されるという作用をもたらす。
　本技術によれば、低照度環境下における撮影であっても低ノイズの画像信号を生成するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置の構成例を示す図である。 本技術の実施の形態における信号処理装置の構成例を示す図である。 本技術の第１の実施の形態における被写体の例を示す図である。 本技術の第１の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。 本技術の第１の実施の形態における処理部の構成例を示す図である。 本技術の第１の実施の形態における３次元ノイズリダクション処理部の構成例を示す図である。 本技術の第１の実施の形態における撮像素子の画素の配置例を示す図である。 本技術の第１の実施の形態における信号処理手順の一例を示す図である。 本技術の第２の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。 本技術の第２の実施の形態における処理部の構成例を示す図である。 本技術の第３の実施の形態における処理部の構成例を示す図である。 本技術の第３の実施の形態の変形例における選択領域が設定された画面の一例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ノイズが除去された信号に基づいて輝度信号を調整する例）
　２．第２の実施の形態（ノイズが除去された信号に基づいて色差信号を調整する例）
　３．第３の実施の形態（調整輝度信号に赤外信号を混合する例）
　＜１．第１の実施の形態＞
　［撮像装置の構成］
　図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、撮像素子２００と、信号処理装置３００と、制御装置４００と、赤外光照射部５００とを備える。
　レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００には、光学画像が結像される面において、画像信号を生成する画素が２次元に配置されている。この画素から出力される画像信号には可視光成分に対応する可視光信号および赤外光成分に対応する赤外信号が含まれる。
　このような画素を有する撮像素子２００の例としては、赤色光と赤外光に対応する画像信号を出力する画素、緑色光と赤外光に対応する画像信号を出力する画素および青色光と赤外光に対応する画像信号を出力する画素の３種の画素を有する撮像素子が挙げられる。また、これらの画素に赤外光に対応する画像信号を出力する画素を加えた４種の画素を有する撮像素子を使用することもできる。以下、赤色光と赤外光に対応する画像信号、緑色光と赤外光に対応する画像信号、青色光と赤外光に対応する画像信号および赤外光に対応する画像信号をそれぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号と称する。また、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号およびＩＲ信号を出力する画素をそれぞれＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ信号およびＩＲ画素と称する。このように異なる光に対応した画素として構成するために、各画素にはカラーフィルタが備えられている。このカラーフィルタの分光特性を特定の光に対応させて、上述した３種または４種の画素を構成している。
　信号処理装置３００は、画像信号を処理するものである。この信号処理装置３００は、画像信号から輝度信号、色差信号およびＩＲ信号を分離生成し、これらの信号を処理する。その後、可視光信号のみを含む画像信号に変換して出力する。制御装置４００は、撮像装置１０の全体を制御するものである。この制御装置４００は、信号処理装置３００が出力した画像信号を撮像装置１０の外部に出力する機能も有する。赤外光照射部５００は、被写体に赤外光を照射するものである。この赤外光照射部５００は、制御装置４００により制御される。
　［信号処理装置の構成］
　図２は、本技術の実施の形態における信号処理装置の構成例を示す図である。同図における信号処理装置３００は、デモザイク部３１０と、分離部３２０と、ＹＣ変換部３３０と、処理部３４０と、ＲＧＢ変換部３５０とを備える。
　デモザイク部３１０は、画像信号に対してデモザイク処理を行うものである。このデモザイク処理は、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ画素およびＩＲ画素に対してそれぞれの画素が有していない他の色についての画像信号を生成する処理である。このデモザイク処理としては公知の方法を使用することができる。例えば、対象とする画素がＲ＋ＩＲ画素であり、デモザイク処理によりＧ＋ＩＲ信号を生成する場合に、当該画素の周囲のＧ＋ＩＲ画素により出力されたＧ＋ＩＲ信号の平均値を算出し、これを当該画素のＧ＋ＩＲ信号とする方法を使用することができる。
　分離部３２０は、画像信号をＩＲ信号および可視光信号に分離するものである。この可視光信号には、赤色光に対応する画像信号、緑色光に対応する画像信号および青色光に対応する画像信号が含まれる。以下、これらをそれぞれＲ信号、Ｇ信号およびＢ信号と称する。この分離部３２０における処理は、前述した撮像素子２００の構成に対応した処理を選択する。撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＩＲ画素を有する場合には、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ信号からＩＲ画素により出力されたＩＲ信号を減算することによりＲ、ＧおよびＢ信号を分離することができる。撮像素子２００がＩＲ画素を有さない場合には、撮像素子２００のカラーフィルタの分光特性から求められる演算式により、Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲ信号からＲ、Ｇ、ＢおよびＩＲ信号を分離することができる。
　ＹＣ変換部３３０は、Ｒ、ＧおよびＢ信号を輝度信号および色差信号に変換するものである。なお、図２におけるＹは輝度信号を表し、ＣｂおよびＣｒは色差信号を表す。ここで、色差信号ＣｂはＢ信号と輝度信号との差分に基づく信号であり、色差信号ＣｒはＲ信号と輝度信号との差分に基づく信号である。ＹＣ変換部３３０における変換は、例えば、下記の変換式により行うことができる。
　　Ｙ　＝　０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
　　Ｃｂ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ
　　Ｃｒ＝　０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ
但し、Ｒ、ＧおよびＢは、それぞれＲ信号、Ｇ信号およびＢ信号を表す。
　処理部３４０は、輝度信号、色差信号およびＩＲ信号に基づいて、輝度信号Ｙと色差信号ＣｂおよびＣｒとを調整して調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とを生成するものである。処理部３４０の動作については後述する。ＲＧＢ変換部３５０は、調整輝度信号および調整色差信号を新たな画像信号（以下、Ｒ'、Ｇ'およびＢ'信号と称する）に変換するものである。このＲＧＢ変換部３５０により変換されたＲ'、Ｇ'およびＢ'信号は制御装置４００を介して撮像装置の外部に出力されモニター等における表示の用に供される。ＲＧＢ変換部３５０における変換は、例えば、下記の変換式により行うことができる。
　　Ｒ'＝１．０００×Ｙ'＋１．４０２×Ｃｒ'
　　Ｇ'＝１．０００×Ｙ'－０．３４４×Ｃｂ'－０．７１４×Ｃｒ'
　　Ｂ'＝１．０００×Ｙ'＋１．７７２×Ｃｂ'
但し、Ｙ'は調整輝度信号を表す。また、Ｃｂ'およびＣｒ'は調整色差信号を表す。また、Ｒ'、Ｇ'およびＢ'は、それぞれ変換後のＲ信号、Ｇ信号およびＢ信号を表す。
　［調整輝度信号の生成処理］
　図３は、本技術の第１の実施の形態における被写体の例を示す図である。同図は、夜間等の低照度環境下において人物を撮影する場合の例を表している。このような場合、可視光成分に由来する輝度信号および色差信号は信号レベルが低く、相対的にノイズの大きな信号となる。これに対し、赤外信号は人物に係る部分において信号レベルが比較的高くなる。なお、同図におけるＡおよびＡ'で表した線は、画面上の画像信号を特定するための仮想的な線である。Ａは背景部分でありＡ'は人物にかかる部分であるため、ＡからＡ'に移行する途中で、対応する画像信号の信号レベルが急変することとなる。
　図４は、本技術の第１の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。なお、同図は、図３に表した被写体を撮影した場合の処理部３４０における処理を説明する図であり、輝度信号Ｙおよび赤外信号ＩＲから調整輝度信号Ｙ'を生成する処理を表している。また、図４には、各部における信号波形も記載している。これらの波形は、図３におけるＡおよびＡ'で表した線上に配置された画像信号により生成された輝度信号または赤外信号の波形に対応している。具体的には、図３におけるＡおよびＡ'で表した線上に位置する各画素が出力した画像信号に対応する輝度信号または赤外信号を線でつないだものである。図４のＡおよびＡ'は図３のＡおよびＡ'の位置における画像信号に対応している
　前述したように、図４における輝度信号は相対的に信号レベルが低く、ノイズが大きい波形となる。また、赤外信号は相対的に信号レベルが高く、ノイズが少ない波形となる。これらに対してノイズリダクション処理を行うことによりノイズを除去する。このノイズリダクション処理は、一種のローパスフィルタを用いて信号の高周波成分を減衰させる処理である。なお、同図におけるＹ＿ＮＲおよびＩＲ＿ＮＲは、それぞれノイズリダクション処理後の輝度信号および赤外信号を表したものである。ノイズリダクション処理により、高周波成分であるノイズ成分は減衰して小さくなる。同時に、高周波成分が減衰するため、ノイズ以外の輝度信号成分および赤外信号成分は変化が緩慢な波形になってしまう。これを画像として捉えた場合には、図３における人物の輪郭がぼけた画像に変化する。
　次に、Ｙ＿ＮＲをＩＲ＿ＮＲにより除算する。この演算によりＩＲ＿ＮＲに対するＹ＿ＮＲの比率にほぼ等しい値の直流信号に近い波形（不図示）が得られる。信号レベルはＩＲ＿ＮＲよりもＹ＿ＮＲの方が低いため、上述の直流信号は大きさが値「１」より小さな値、例えば、「０．２」程度の値となる。次に、この直流信号とノイズリダクション処理をする前のＩＲ信号とを乗算する。これにより、図４に表したような低ノイズかつ信号成分の急峻な変化を保った調整輝度信号を得ることができる。この調整輝度信号は処理前の輝度信号からノイズ成分のみを減衰させた信号と等価な信号である。このため、調整輝度信号は、ＩＲ信号と比べて信号レベルが低いものとなる。なお、本技術の第１の実施の形態では、色差信号ＣｂおよびＣｒについては上述のような演算は行わずに調整色差信号として出力する。
　［処理部の構成］
　図５は、本技術の第１の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、ノイズリダクション部３４１と、画像信号生成部３４９とを備える。ノイズリダクション部３４１は、ＩＲ信号または色差信号（ＣｂおよびＣｒ）の何れか１つと輝度信号Ｙとのノイズを除去し、ノイズが除去された信号群を生成するものである。本技術の第１の実施の形態においては、ノイズリダクション部３４１は、ＩＲ信号および輝度信号Ｙのノイズを除去する。このノイズリダクション部３４１は、ＩＲ信号ノイズリダクション処理部３４２と、輝度信号ノイズリダクション処理部３４３とを備える。ＩＲ信号ノイズリダクション処理部３４２は、ＩＲ信号のノイズを除去してＩＲ＿ＮＲ信号を生成するものである。また、輝度信号ノイズリダクション処理部３４３は、輝度信号のノイズを除去してＹ＿ＮＲ信号を生成するものである。
　これらのノイズリダクション処理部として、例えば、一般的なローパスフィルタを使用することができる。また、同一フレームに属する画像信号について演算を行うことによりノイズを除去する２次元ノイズリダクション処理、例えば、平均化を行うノイズリダクション処理を行っても良い。また、連続する複数のフレームに属する画像信号を用いてノイズを除去する３次元ノイズリダクション処理を行ってもよい。この３次元ノイズリダクション処理については、後述する。
　このように各種のノイズリダクション処理を使用することができる。しかし、ＩＲ信号ノイズリダクション処理部３４２および輝度信号ノイズリダクション処理部３４３として同じ特性、例えば、カットオフ周波数が同じノイズリダクション処理装置を使用する必要がある。図４において説明したように、除算処理により直流信号を生成するため、ノイズリダクション処理後の信号波形として同様な特性をもった波形とする必要があるためである。なお、色差信号ＣｂおよびＣｒについても、ノイズ除去処理を行ってもよい。しかし、上述した画像の輪郭のぼけを生じないように軽度なノイズ除去処理とする必要がある。
　画像信号生成部３４９は、輝度信号Ｙおよび色差信号ＣｂおよびＣｒを調整することにより輝度信号Ｙと色差信号ＣｂおよびＣｒとの比率に略等しい比率の調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とからなる画像信号を生成するものである。この際、調整輝度信号Ｙ'または調整色差信号Ｃｂ'およびＣｒ'の何れかについてはＩＲ信号および上述したノイズが除去された信号群に基づいて生成する。本技術の第１の実施の形態においては、画像信号生成部３４９は、ＩＲ信号、ＩＲ＿ＮＲ信号及びＹ＿ＮＲ信号から調整輝度信号Ｙ'を生成する。この画像信号生成部３４９における処理は、図４において説明した除算および乗算処理に該当するものである。具体的には、次の式により調整輝度信号Ｙ'を生成する。
　　Ｙ'＝（Ｙ＿ＮＲ／ＩＲ＿ＮＲ）×ＩＲ
但し、Ｙ＿ＮＲおよびＩＲ＿ＮＲはそれぞれノイズリダクション処理後の輝度信号および赤外信号を表す。また、ＩＲは赤外信号を表す。なお、前述したように、色差信号ＣｂおよびＣｒについては特に処理を行わずに調整色差信号Ｃｂ'およびＣｒ'として出力する。また、調整輝度信号Ｙ'は輝度信号Ｙからノイズ成分のみを減衰させたものと等価である。このため輝度信号Ｙと色差信号Ｃｂ、Ｃｒとの比率および調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'との比率は略等しい値とすることができる。
　ここで、調整輝度信号および調整色差信号を生成する際に、調整輝度信号と調整色差信号との比率を輝度信号と色差信号との比率と等しくするための係数を調整比率と表現する。本技術の第１の実施の形態において、この調整比率は、輝度信号については上述の式よりＹ＿ＮＲ／ＩＲ＿ＮＲとなり、色差信号については「１」となる。
　［３次元ノイズリダクション処理］
　図６は、本技術の第１の実施の形態における３次元ノイズリダクション処理部の構成例を示す図である。同図における３次元ノイズリダクション処理部は、連続する１６フレームの画像信号を画素ごとに加算する。その後、加算した画像信号数である１６で除算し、出力する。これにより、ランダムに発生したノイズ成分を平均化してノイズ除去を行う。３次元ノイズリダクション処理は、２次元ノイズリダクション処理よりも高いノイズ除去能力がある。一方、動きのある画像に対して３次元ノイズリダクション処理を行うと、画像のぼけを生じるという問題がある。しかし、本技術の第１の実施の形態においては、画像信号生成部３４９による演算により、この画像のぼけを補正することができる。
　［撮像素子における画素の配置］
　図７は、本技術の第１の実施の形態における撮像素子の画素の配置例を示す図である。同図におけるａは、撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＩＲ画素を有する場合の例を表したものである。同図に表したように撮像素子２００は、画素２０１が２次元格子状に配置されている。図中の文字は、当該文字が付された画素の種類を表している。例えば、「Ｒ＋ＩＲ」が付された画素はＲ＋ＩＲ画素を表している。同図におけるｂは、同図におけるａの画素のうちＩＲ画素を白色光に対応するＷ画素に置き換えた場合の例を表したものである。また、同図におけるｃは、撮像素子２００がＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ及びＷ＋ＩＲ画素を有する場合の例を表したものである。ここで、Ｗ＋ＩＲ画素は白色光および赤外光に対応する画素である。
　［信号処理手順］
　図８は、本技術の第１の実施の形態における信号処理手順の一例を示す図である。信号処理装置３００は、入力された画像信号に対してデモザイク処理を行う（ステップＳ９０１）。次に、信号処理装置３００は、デモザイク処理が行われた画像信号をＩＲ信号とＲ、ＧおよびＢ信号とに分離する（ステップＳ９０２）。次に、分離された信号のうちＲ、ＧおよびＢ信号から輝度信号Ｙと色差信号ＣｒおよびＣｂが生成される（ステップＳ９０３）。次に、信号処理装置３００は、ノイズリダクション処理を行う（ステップＳ９０４）。本技術の第１の実施の形態においては、ＩＲ信号および輝度信号Ｙについてノイズリダクション処理が行われる。次に、信号処理装置３００は、調整比率算出処理を行う（ステップＳ９０５）。前述したように、本技術の第１の実施の形態において、この調整比率は、色差信号については「１」であるため、輝度信号に関する調整比率のみが算出される。
　信号処理装置３００は、数式Ｙ＿ＮＲ／ＩＲ＿ＮＲに基づいて輝度信号に関する調整比率を算出する。次に、信号処理装置３００は、この調整比率を用いて輝度信号および色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成処理を行う（ステップＳ９０６）。具体的には、次の式に基づいて調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'とが生成される。
　　Ｙ'　＝（Ｙ＿ＮＲ／ＩＲ＿ＮＲ）×ＩＲ
　　Ｃｂ'＝Ｃｂ
　　Ｃｒ'＝Ｃｒ
最後に、信号処理装置３００は、調整輝度信号および調整色差信号をＲ'、Ｇ'およびＢ'信号に変換する（ステップＳ９０７）。
　このように本技術の第１の実施の形態においては、輝度信号および色差信号を調整した調整輝度信号および調整色差信号を生成する。この際、輝度信号からノイズを除去した調整輝度信号を生成することにより、低照度環境下における撮影であっても低ノイズの画像信号を生成することができる。また、本技術の第１の実施の形態によれば、調整輝度信号と調整色差信号との比率は、輝度信号と色差信号との比率に略等しいため、色再現性を向上させることができる。
　＜２．第２の実施の形態＞
　上述の本技術の第１の実施の形態では、ノイズが除去された信号に基づいて調整輝度信号を生成していた。これに対し本技術の第２の実施の形態では、ノイズが除去された信号に基づいて調整色差信号を生成する。
　［調整色差信号の生成処理］
　図９は、本技術の第２の実施の形態における調整輝度信号および調整色差信号の生成処理を説明する図である。同図は図３に表した被写体を撮影した場合の、処理部３４０における処理を説明する図である。本技術の第２の実施の形態では、輝度信号および色差信号に対してノイズリダクション処理を行う。Ｃｂ＿ＮＲおよびＣｒ＿ＮＲは、ノイズリダクション処理後の色差信号を表したものである。図に表したように、Ｃｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとは同等レベルの信号波形となる。
　このＣｂ＿ＮＲおよびＣｒ＿ＮＲをＹ＿ＮＲにより除算する。この演算によりＹ＿ＮＲに対するＣｂ＿ＮＲまたはＣｒ＿ＮＲの比率にほぼ等しい値の直流信号に近い波形（不図示）が得られる。Ｃｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとは、ほぼ同じ信号レベルであるため、上述の直流信号は大きさが値「１」に近い値、例えば、「０．９」程度の値となる。次に、この直流信号とＩＲ信号とを乗算する。これにより図９に表したような低ノイズかつ信号成分の急峻な変化を保った調整色差信号を得ることができる。また、本技術の第２の実施の形態では、ＩＲ信号を調整輝度信号として出力する。このように、本技術の第２の実施の形態における処理は、信号レベルを保った状態のＩＲ信号を調整輝度信号および調整色差信号に変換する方式であるため、図４に表した方式とは異なり、高い信号レベルの調整輝度信号および調整色差信号を得ることができる。
　［処理部の構成］
　図１０は、本技術の第２の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、ノイズリダクション部３４５と、画像信号生成部３４８とを備える。ノイズリダクション部３４５は、輝度信号Ｙおよび色差信号ＣｂおよびＣｒのノイズを除去する。このノイズリダクション部３４５は、輝度信号ノイズリダクション処理部３４３と、色差信号ノイズリダクション処理部３４４とを備える。色差信号ノイズリダクション処理部３４４は、色差信号のノイズを除去してＣｂ＿ＮＲおよびＣｒ＿ＮＲ信号を生成するものである。この色差信号ノイズリダクション処理部３４４として本技術の第１の実施の形態において前述した各種のノイズリダクション処理装置を使用することができる。しかし、輝度信号ノイズリダクション処理部３４３と同じ特性のノイズリダクション処理装置を使用する必要がある。
　画像信号生成部３４８は、ＩＲ信号、ＩＲ＿Ｙ信号、Ｃｂ＿ＮＲ信号およびＣｒ＿ＮＲ信号から調整色差信号Ｃｂ'およびＣｒ'を生成する。この画像信号生成部３４８における処理は、図９において説明した除算および乗算処理に該当するものである。具体的には、次の式により調整色差信号Ｃｂ'およびＣｒ'を生成する。
　　Ｃｂ'＝（Ｃｂ＿ＮＲ／Ｙ＿ＮＲ）×ＩＲ
　　Ｃｒ'＝（Ｃｒ＿ＮＲ／Ｙ＿ＮＲ）×ＩＲ
但し、Ｃｂ＿ＮＲおよびＣｒ＿ＮＲはそれぞれノイズリダクション処理後の色差信号を表す。なお、前述したように、ＩＲ信号を調整輝度信号Ｙ'として出力する。また、Ｃｂ'およびＣｒ'は、上記式より明らかなように、ＩＲ信号をＣｂ＿ＮＲおよびＣｒ＿ＮＲとＹ＿ＮＲとの比率に基づいて信号レベルを調整したものである。このため、輝度信号Ｙと色差信号ＣｂおよびＣｒとの比率および調整輝度信号Ｙ'と調整色差信号Ｃｂ'およびＣｒ'との比率は略等しい値とすることができる。また、本技術の第２の実施の形態での調整比率は、輝度信号については「１」となり、色差信号については上述の式よりＣｂ＿ＮＲ／Ｙ＿ＮＲまたはＣｒ＿ＮＲ／Ｙ＿ＮＲとなる。
　これ以外の本技術の第２の実施の形態における信号処理装置３００および撮像装置１０の構成は、上述の第１の実施の形態と同様であるため、説明を省略する。
　このように本技術の第２の実施の形態では、信号レベルを保った状態でＩＲ信号から調整輝度信号および調整色差信号を生成するため、高い信号レベルの調整輝度信号および調整色差信号を得ることができる。また、本技術の第２の実施の形態においても、調整輝度信号と調整色差信号との比率は、輝度信号と色差信号との比率に略等しいため、色再現性を向上させることができる。
　＜３．第３の実施の形態＞
　前述の本技術の第１の実施の形態では、調整輝度信号および調整色差信号を新たな画像信号に変換していた。これに対し、本技術の第３の実施の形態では、調整輝度信号にＩＲ信号を混合して新たな調整輝度信号を生成する。その後、この新たな調整輝度信号および調整色差信号を新たな画像信号に変換する。
　［処理部の構成］
　図１１は、本技術の第３の実施の形態における処理部の構成例を示す図である。同図における処理部３４０は、混合部３４７を備える点で図５において説明した処理部３４０と異なる。混合部３４７は、画像信号生成部３４９により生成された調整輝度信号Ｙ'とＩＲ信号とを所定の混合比率に基づいて混合するものである。この混合は、次式のように行う。
　　Ｙ''＝（１－α）×ＩＲ＋α×Ｙ'
但し、Ｙ''は混合により新たに生成された調整輝度信号を表し、αは混合比率を表す。前述したように本技術の第１の実施の形態における調整輝度信号はＩＲ信号に比べ信号レベルが低い。しかし、この調整輝度信号にＩＲ信号を混合することにより、信号レベルを高めることができる。
　さらに混合比率αを変更可能とすることにより、新たな調整輝度信号の特性を変化させることができる。例えば、αを１に近い値とした場合は、信号レベルは低いものの色再現性の高い画像を得ることができる。一方、αを０に近い値とした場合は、信号レベルが上昇するため視認性の高い画像を得ることができる。但し、この場合、色差信号については信号レベルの調整を行わないため、得られた画像は色合いが変化する。さらに、αを０にすると、得られる画像はモノクロの画像となる。このように、画像の用途により、調整輝度信号の特性を変化させることができる。
　これ以外の処理部３４０、信号処理装置３００および撮像装置１０の構成は、上述の第１の実施の形態と同様であるため、説明を省略する。
　このように、本技術の第３の実施の形態によれば、調整輝度信号にＩＲ信号を混合することにより調整輝度信号の特性をその使用目的によって変えることができる。
　［変形例］
　上述の第３の実施の形態では、全ての調整輝度信号について同じ混合比率αに基づいてＩＲ信号を混合していた。これに対し、本技術の第３の実施の形態の変形例では、画面に選択領域を設定し、この選択領域に含まれる調整輝度信号については、異なる混合比率により混合を行う。
　図１２は、本技術の第３の実施の形態の変形例における選択領域が設定された画面の一例を示す図である。同図における画面２０２には、選択領域２０３が設定されている。この選択領域２０３は、例えば、被写体である人物の顔を含む領域に設定することができる。この選択領域２０３に含まれる画像に対応する調整輝度信号については混合比率αを他の領域とは異なる値とする。上記の場合には、選択領域２０３に含まれる調整輝度信号Ｙ''を生成する際に、αを、例えば、「０」とし、顔の視認性を高めることができる。選択領域２０３以外の領域においてはαを、例えば、「１」として色再現性を高め、人物の服装の色の把握を容易にすることができる。本技術の第３の実施の形態の変形例における信号処理装置３００は、画像信号が選択領域２０３に含まれるか否かを判断し、αの値を変更する。なお、選択領域は１つの画面に対し複数設定してもよい。また、選択領域２０３の境界ではαを徐々に変更してもよい。この場合、選択領域２０３の境界における画像の不連続性を緩和することができる。
　このように、本技術の第３の実施の形態の変形例によれば、画面に選択領域を設定して混合比率を変更することにより、選択領域に含まれる画像の特性を他の領域とは異なる特性にすることができる。画像の使用目的に応じて、色再現性または視認性の何れかを高めた画像に変更できるため、利便性を向上させることができる。
　このように、本技術の実施の形態によれば、輝度信号からノイズを除去した調整輝度信号または調整色差信号を生成することにより、低照度環境下における撮影であっても低ノイズの画像信号を生成することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
　前記輝度信号および前記色差信号を調整することにより前記輝度信号と前記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
を具備する信号処理装置。
（２）前記ノイズリダクション部は、前記非可視光信号および前記輝度信号のノイズを除去して前記信号群を生成し、
　前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記非可視光信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整輝度信号を生成する
前記（１）に記載の信号処理装置。
（３）前記画像信号生成部は、前記色差信号に基づいて前記調整色差信号を生成する前記（２）に記載の信号処理装置。
（４）前記生成された前記調整輝度信号および前記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備する前記（２）または（３）に記載の信号処理装置。
（５）前記混合部は、前記画像信号における所定の選択領域に含まれる前記調整輝度信号と前記非可視光信号とを混合する際には前記混合比率とは異なる混合比率に基づいて混合する前記（４）に記載の信号処理装置。
（６）前記ノイズリダクション部は、前記色差信号および前記輝度信号のノイズを除去して前記信号群を生成し、
　前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記色差信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整色差信号を生成する
前記（１）に記載の信号処理装置。
（７）前記画像信号生成部は、前記非可視光信号に基づいて前記調整輝度信号を生成する前記（６）に記載の信号処理装置。
（８）前記非可視光信号は、赤外光に対応する赤外信号である前記（１）から（７）に記載の信号処理装置。
（９）画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、
　前記撮像素子から出力された前記画像信号を処理する信号処理装置と
を具備し、
　前記信号処理装置は、
　前記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、
　前記非可視光信号または前記色差信号の何れかと前記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
　前記輝度信号および前記色差信号を調整して前記輝度信号および前記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
を備える
撮像装置。
（１０）非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、
　前記輝度信号または前記色差信号の何れか１つについては前記ノイズを除去された信号群に基づいて前記輝度信号と前記色差信号との比率を保ちながら前記輝度信号および前記色差信号を調整する調整比率を算出する調整比率算出手順と、
　前記算出された前記調整比率を用いて前記輝度信号および前記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順と
を具備する信号処理方法。
　１０　撮像装置
　１００　レンズ
　２００　撮像素子
　２０１　画素
　２０２　画面
　２０３　選択領域
　３００　信号処理装置
　３１０　デモザイク部
　３２０　分離部
　３３０　ＹＣ変換部
　３４０　処理部
　３４１、３４５　ノイズリダクション部
　３４２　ＩＲ信号ノイズリダクション処理部
　３４３　輝度信号ノイズリダクション処理部
　３４４　色差信号ノイズリダクション処理部
　３４７　混合部
　３４８、３４９　画像信号生成部
　３５０　ＲＧＢ変換部
　４００　制御装置
　５００　赤外光照射部

Claims (10)

  1. 　非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
    　前記輝度信号および前記色差信号を調整することにより前記輝度信号と前記色差信号との比率に略等しい比率の調整輝度信号および調整色差信号からなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
    を具備する信号処理装置。
  2. 　前記ノイズリダクション部は、前記非可視光信号および前記輝度信号のノイズを除去して前記信号群を生成し、
    　前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記非可視光信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整輝度信号を生成する
    請求項１記載の信号処理装置。
  3. 　前記画像信号生成部は、前記色差信号に基づいて前記調整色差信号を生成する請求項２に記載の信号処理装置。
  4. 　前記生成された前記調整輝度信号および前記非可視光信号を所定の混合比率に基づいて混合する混合部をさらに具備する請求項２記載の信号処理装置。
  5. 　前記混合部は、前記画像信号における所定の選択領域に含まれる前記調整輝度信号と前記非可視光信号とを混合する際には前記混合比率とは異なる混合比率に基づいて混合する請求項４記載の信号処理装置。
  6. 　前記ノイズリダクション部は、前記色差信号および前記輝度信号のノイズを除去して前記信号群を生成し、
    　前記画像信号生成部は、前記非可視光信号と前記ノイズを除去された前記色差信号と前記ノイズを除去された前記輝度信号とに基づいて前記調整色差信号を生成する
    請求項１記載の信号処理装置。
  7. 　前記画像信号生成部は、前記非可視光信号に基づいて前記調整輝度信号を生成する請求項６記載の信号処理装置。
  8. 　前記非可視光信号は、赤外光に対応する赤外信号である請求項１記載の信号処理装置。
  9. 　画像信号を出力する画素が２次元に配置された画素面を備える撮像素子と、
    　前記撮像素子から出力された前記画像信号を処理する信号処理装置と
    を具備し、
    　前記信号処理装置は、
    　前記画像信号に基づいて輝度信号と色差信号と非可視光信号とを生成する画像信号処理部と、
    　前記非可視光信号または前記色差信号の何れかと前記輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション部と、
    　前記輝度信号および前記色差信号を調整して前記輝度信号および前記色差信号の比率と略等しい比率の調整輝度信号および調整色差信号よりなる画像信号を生成し、前記調整輝度信号または前記調整色差信号の何れかについては前記非可視光信号および前記ノイズが除去された信号群に基づいて生成する画像信号生成部と
    を備える
    撮像装置。
  10. 　非可視光信号または色差信号の何れかと輝度信号とのノイズを除去してノイズが除去された信号群を生成するノイズリダクション手順と、
    　前記輝度信号または前記色差信号の何れか１つについては前記ノイズを除去された信号群に基づいて前記輝度信号と前記色差信号との比率を保ちながら前記輝度信号および前記色差信号を調整する調整比率を算出する調整比率算出手順と、
    　前記算出された前記調整比率を用いて前記輝度信号および前記色差信号を調整して調整輝度信号および調整色差信号を生成する画像信号生成手順と
    を具備する信号処理方法。
PCT/JP2015/065575 2014-07-18 2015-05-29 信号処理装置、撮像装置および信号処理方法 WO2016009728A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/323,139 US10321022B2 (en) 2014-07-18 2015-05-29 Signal processing device to generate low noise image signal in low light intensity environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-147432 2014-07-18
JP2014147432A JP2016025439A (ja) 2014-07-18 2014-07-18 信号処理装置

Publications (1)

Publication Number Publication Date
WO2016009728A1 true WO2016009728A1 (ja) 2016-01-21

Family

ID=55078231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/065575 WO2016009728A1 (ja) 2014-07-18 2015-05-29 信号処理装置、撮像装置および信号処理方法

Country Status (3)

Country Link
US (1) US10321022B2 (ja)
JP (1) JP2016025439A (ja)
WO (1) WO2016009728A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017159041A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559073B2 (en) * 2016-03-23 2020-02-11 Intel Corporation Motion adaptive stream processing for temporal noise reduction
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP7232014B2 (ja) 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP7299762B2 (ja) * 2019-06-06 2023-06-28 キヤノン株式会社 画像処理装置および方法、撮像装置、プログラム
JP7351124B2 (ja) * 2019-07-16 2023-09-27 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
KR20220079123A (ko) 2020-12-04 2022-06-13 삼성전자주식회사 이미지 장치 및 이미지 장치의 동작 방법
KR102391239B1 (ko) * 2021-10-26 2022-04-27 주식회사 피엘테크 전지 모듈 제조 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215677A (ja) * 2005-02-02 2006-08-17 Noritsu Koki Co Ltd 写真画像処理装置
JP2009187118A (ja) * 2008-02-04 2009-08-20 Sharp Corp 鮮鋭化画像処理装置、方法、及びソフトウェア
JP2012244533A (ja) * 2011-05-23 2012-12-10 Panasonic Corp 撮像装置および画像信号処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
US8811284B2 (en) * 2009-03-16 2014-08-19 Lg Electronics Inc. Method and apparatus for supporting carrier aggregation
JP5397788B2 (ja) * 2009-04-07 2014-01-22 コニカミノルタ株式会社 画像入力装置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215677A (ja) * 2005-02-02 2006-08-17 Noritsu Koki Co Ltd 写真画像処理装置
JP2009187118A (ja) * 2008-02-04 2009-08-20 Sharp Corp 鮮鋭化画像処理装置、方法、及びソフトウェア
JP2012244533A (ja) * 2011-05-23 2012-12-10 Panasonic Corp 撮像装置および画像信号処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017159041A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
US10887530B2 (en) 2016-03-14 2021-01-05 Sony Corporation Signal processing apparatus, imaging pickup apparatus, and signal processing method

Also Published As

Publication number Publication date
JP2016025439A (ja) 2016-02-08
US10321022B2 (en) 2019-06-11
US20170163853A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
WO2016009728A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP4914303B2 (ja) 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP5591261B2 (ja) 画像処理装置
US10887530B2 (en) Signal processing apparatus, imaging pickup apparatus, and signal processing method
JP6027242B2 (ja) 撮像装置
US20120026357A1 (en) Image input device
RU2557067C1 (ru) Устройство обработки изображения и способ управления для устройства обработки изображения
JP7423033B2 (ja) 画像信号処理方法
JP6407643B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP4240117B2 (ja) カラー画像補正装置、カラー画像補正方法およびプログラム
TWI520565B (zh) 圖像處理方法以及圖像處理裝置
JP4734032B2 (ja) 画像処理装置
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
WO2016051927A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2016218232A (ja) 撮像装置およびその制御方法
JP2004064227A (ja) 映像信号処理装置
JP5790657B2 (ja) 撮像装置および偽色抑制方法
JP2006245916A (ja) 色分離処理回路および色分離処理方法
JP2009111894A (ja) 映像信号処理装置、撮像装置及び映像信号処理方法
JPH11164309A (ja) 画像信号処理方法及び電子カメラ
JP2015179951A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2006041946A (ja) 画像補正装置及び撮像装置
JP2006080767A (ja) 信号処理装置及び撮像装置
JP2006013948A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15822691

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15323139

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15822691

Country of ref document: EP

Kind code of ref document: A1