WO2017122553A1 - 画像処理装置、画像処理方法、及び、撮像装置 - Google Patents

画像処理装置、画像処理方法、及び、撮像装置 Download PDF

Info

Publication number
WO2017122553A1
WO2017122553A1 PCT/JP2017/000011 JP2017000011W WO2017122553A1 WO 2017122553 A1 WO2017122553 A1 WO 2017122553A1 JP 2017000011 W JP2017000011 W JP 2017000011W WO 2017122553 A1 WO2017122553 A1 WO 2017122553A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
light
projected
filter
Prior art date
Application number
PCT/JP2017/000011
Other languages
English (en)
French (fr)
Inventor
真 吉村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/065,537 priority Critical patent/US11218679B2/en
Publication of WO2017122553A1 publication Critical patent/WO2017122553A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths

Definitions

  • the present technology relates to an image processing device, an image processing method, and an imaging device, and more particularly, to an image processing device, an image processing method, and an imaging device that enable high-accuracy image processing.
  • Patent Document 1 a method of performing image processing using not only an image signal based on visible light but also an image signal based on infrared light has been proposed (see, for example, Patent Document 1).
  • the present technology has been made in view of such a situation, and enables high-precision image processing.
  • the image processing device is based on a projected image obtained by projecting light in a wavelength band of invisible light onto a subject, and is obtained from a spectral component in the wavelength band of visible light.
  • An image processing apparatus includes an image generation unit that generates a high-resolution image obtained from a spectral component in a wavelength band of invisible light, which has a higher resolution than a subject image.
  • the image processing device may be an independent device, or may be an internal block constituting one device.
  • the image processing method according to the first aspect of the present technology is an image processing method corresponding to the pixel processing device according to the first aspect of the present technology described above.
  • the spectrum of the visible light wavelength band is based on the projected image obtained by projecting light in the wavelength band of invisible light onto the subject.
  • the imaging device includes a color filter in which spectral characteristics on the non-visible light side of each color are aligned, an imaging element that images a subject, and spectral characteristics on the non-visible light side of the color filter. Based on a projected image obtained by projecting light of the projection wavelength onto the subject, and a wavelength band of visible light based on a projected image obtained by projecting the light of the projection wavelength onto the subject. And an image generation unit that generates a high-resolution image obtained from a spectral component in the wavelength band of invisible light, which has a higher resolution than the image of the subject obtained from the spectral component.
  • a subject is imaged, and from a wavelength band corresponding to the spectral characteristics on the non-visible light side of the color filter in which the spectral characteristics on the non-visible light side of each color of the imaging element are aligned. Obtained from the spectral component in the wavelength band of visible light based on the projected image obtained by projecting the light of the projection wavelength onto the subject and projecting the light of the projection wavelength onto the subject. A high-resolution image obtained from spectral components in the wavelength band of invisible light, which has a higher resolution than the image of the subject, is generated.
  • the imaging device according to the second aspect of the present technology may be an independent device, or may be an internal block constituting one device.
  • FIG. 1st other structural example of an imaging device It is a figure which shows the 2nd other example of a structure of an imaging device. It is a figure which shows the 3rd other structural example of an imaging device. It is a figure which shows the 4th other structural example of an imaging device. It is a figure which shows the 5th other structural example of an imaging device. It is a figure which shows the structural example of a computer.
  • FIG. 1 is a diagram illustrating an example of a false color.
  • a color that does not actually exist is reproduced in an area surrounded by the frame A, the frame B, and the frame C.
  • FIG. 2 is a diagram illustrating an example of an artifact.
  • a pattern different from the actual pattern appears in the area surrounded by the frame A.
  • this technology proposes a high-precision image processing technique for suppressing the occurrence of the false color shown in FIG. 1 and the artifact shown in FIG.
  • an image processing method for suppressing generation of false colors and artifacts according to the present technology will be described.
  • FIG. 3 is a diagram illustrating a configuration of an embodiment of an imaging apparatus to which the present technology is applied.
  • the imaging device 10 is an electronic device having an imaging function such as a digital still camera, a digital video camera, a smartphone, a mobile phone, and a tablet terminal device.
  • the imaging apparatus 10 includes a control unit 101, a projector 102, an imaging element 103, a delay adjustment buffer 104, a full resolution image generation unit 105, and a signal processing unit 106.
  • the delay adjustment buffer 104, the full resolution image generation unit 105, and the signal processing unit 106 constitute an image processing unit 100.
  • the control unit 101 controls the operation of each unit of the imaging apparatus 10. Further, the control unit 101 generates a synchronization signal for synchronizing the light projecting operation by the projector 102 and the image capturing operation by the image sensor 103, and outputs the synchronization signals to the projector 102 and the image sensor 103, respectively.
  • the projector 102 blinks light in a wavelength band (hereinafter referred to as a “projection wavelength”) in which the spectral characteristics on the non-visible light side of each color filter are aligned in synchronization with the image sensor 103. Shine.
  • This projection wavelength is different from the visible light, such as the wavelength of infrared light (IR light) (invisible light wavelength band).
  • IR light infrared light
  • the image sensor 103 receives light reflected from the subject (reflected light), converts the light into an electrical signal, and generates an image signal.
  • an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be used.
  • the image sensor 103 is provided with a color filter 111 for each color corresponding to a plurality of pixels arranged in a two-dimensional grid.
  • color filters of R Red: red
  • G Green: green
  • B Blue: blue
  • W White: white
  • R pixels, G pixels, B pixels, and W pixels corresponding to the color filters (R, G, B, and W filters) of the color filter 111 are arranged in a two-dimensional lattice pattern. .
  • analog electric signals photoelectrically converted by each of these pixels are A / D (Analog-to-Digital) converted to generate a digital signal as a pixel signal for each pixel.
  • An image signal including the image signal is generated.
  • the image sensor 103 performs an image capturing operation in synchronization with the projector 102 in accordance with a synchronization signal from the control unit 101.
  • the image pickup device 103 obtains an image obtained when the projector 102 is turned on (hereinafter, referred to as “infrared light”).
  • An image signal of an image obtained when the projector 102 is turned off (hereinafter referred to as a non-projected image) is generated.
  • a projected image and a non-projected image are alternately generated according to the synchronization signal from the control unit 101, and sequentially output to the image processing unit 100 (the delay adjustment buffer 104 thereof).
  • the detailed configuration of the image sensor 103 will be described later with reference to FIGS.
  • the image sensor 103 since the image sensor 103 needs to generate an image signal corresponding to light in the wavelength band of invisible light (for example, infrared light), the image sensor 103 has a wavelength band of invisible light provided in a normal camera. It is not necessary to provide a filter that cuts light (for example, an IR cut filter).
  • the projected image and the non-projected image (the image signal) generated by the image sensor 103 are sequentially written in the delay adjustment buffer 104.
  • the delay adjustment buffer 104 holds at least one of the projected image and the non-projected image written therein, thereby matching the processing timing of the projected image and the non-projected image to be processed simultaneously.
  • the projected image and the non-projected image that are timed in this way are simultaneously read out by the full-resolution image generation unit 105 at the subsequent stage. Further, the non-projected image of the projected image and the non-projected image that are read simultaneously is supplied to the signal processing unit 106. However, as will be described later, a projected image may be supplied to the signal processing unit 106 instead of the non-projected image.
  • the full-resolution image generation unit 105 processes the projected image and the non-projected image simultaneously read from the delay adjustment buffer 104 to obtain a higher resolution than the image of the subject obtained from the spectral component in the visible light wavelength band.
  • a high-resolution image (hereinafter referred to as a full-resolution image) obtained from the spectral component in the wavelength band of invisible light is generated and supplied to the signal processing unit 106.
  • the full-resolution image generation unit 105 for example, by taking the difference between the projected image (its spectral component) and the non-projected image (its spectral component), an image of only the projected component is obtained.
  • This image can be a full resolution image. That is, the projected image and the non-projected image are divided by the projector 102 in the spectral band of each color filter (R, G, B, W filter) of the color filter 111 in the wavelength band of invisible light (for example, infrared light band). Since it is an image obtained by flickering light with the wavelength band having the same characteristics as the projection wavelength, the full resolution image is the light (infrared light) that has passed through all color filters in the color filter 111. ) Is generated by the pixel signal obtained from (1).
  • the full-resolution image generated in this way is an image having a higher resolution than an image for each color component of each color filter (for example, an image corresponding to R, G, B, and W pixel signals). .
  • the detailed configuration of the full resolution image generation unit 105 will be described later with reference to FIGS.
  • the non-light-projected image read from the delay adjustment buffer 104 and the full resolution image output from the full resolution image generation unit 105 are simultaneously input to the signal processing unit 106.
  • the non-projection image used to generate the full resolution image is input simultaneously with the full resolution image.
  • the signal processing unit 106 processes the non-projected image based on the full resolution image, generates an output image, and outputs the output image to a circuit (not shown) in the subsequent stage.
  • the output image can be a color image (higher resolution) for viewing purposes.
  • the signal processing unit 106 can suppress the occurrence of artifacts by using a full resolution image instead of a luminance image (luminance signal) obtained from a non-projected image. Further, the signal processing unit 106 performs processing for suppressing generation of false colors on a color image obtained from a non-projected image using a full resolution image. Therefore, the output image output from the signal processing unit 106 is an image in which the occurrence of false colors and artifacts is suppressed. A detailed configuration of the signal processing unit 106 will be described later with reference to FIGS. 13 to 15.
  • the imaging device 10 is configured as described above.
  • the image processing unit 100 has been described as including the delay adjustment buffer 104, the full resolution image generation unit 105, and the signal processing unit 106, but the image processing unit 100 is regarded as a separate device. You may do it. That is, the image processing unit 100 can be an image processing apparatus including the delay adjustment buffer 104, the full resolution image generation unit 105, and the signal processing unit 106. However, in this image processing apparatus, the delay adjustment buffer 104 is not indispensable, and it is sufficient that the projected image and the non-projected image to be processed simultaneously are input to the full resolution image generation unit 105 at a predetermined timing.
  • FIG. 4 is a diagram illustrating an example of the projection wavelength of light (infrared light) projected by the projector 102.
  • the horizontal axis represents the wavelength ⁇ (nm), and the value increases from the left side to the right side in the figure.
  • the vertical axis represents the spectral transmittance (%) (spectral characteristics) of each color filter (R, G, B, W filter) of the color filter 111 of the image sensor 103.
  • the B filter transmits light on the short wavelength side.
  • the short wavelength represents a wavelength band such as 450 to 500 nm or 400 to 500 nm, for example.
  • the G filter transmits medium-wavelength light.
  • the intermediate wavelength represents a wavelength band such as 500 to 600 nm.
  • the R filter transmits light on the long wavelength side.
  • the long wavelength represents a wavelength band such as 600 to 650 nm or 550 to 650 nm.
  • the W filter transmits light having a wavelength band of 380 to 650 nm (visible light).
  • each color filter (R, G, B, W filter) of the color filter 111 has similar spectral characteristics on the non-visible light side, that is, near 850 nm of infrared light having a wavelength longer than that of visible light. (Square frame A in the figure). That is, in the color filter 111, the spectral characteristics of the R filter, the G filter, the B filter, and the W filter are uniform in a band other than visible light (infrared light band).
  • the projector 102 projects infrared light in a wavelength band near 850 nm as a projection wavelength according to the spectral characteristics of each color filter of the color filter 111.
  • the projector 102 generates a wavelength band with uniform spectral characteristics by a filter that transmits light in a wavelength band of invisible light (for example, an IR bandpass filter), and further, infrared light focused on the wavelength band. Can be flooded.
  • an IR bandpass filter is not necessary, and light limited to a wavelength having uniform spectral characteristics may be projected.
  • FIG. 5 is a timing chart showing the projection timing of light (infrared light) projected by the projector 102.
  • the time direction is the direction from the left side to the right side in the figure.
  • FIG. 5 illustrates three types of light projection timings with the timing charts of FIGS. 5A to 5C. However, it is assumed that the timing of light projection by the projector 102 and the timing of exposure of the image sensor 103 are synchronized by a synchronization signal from the control unit 101.
  • the exposure period and the (charge) readout period are repeated every 1/30 second (33.3 milliseconds) such as time t1 to time t5 and time t5 to time t9.
  • the projector 102 projects infrared light (light in the wavelength band of the projection wavelength) so as to coincide with the exposure timing of the image sensor 103.
  • the exposure period is represented by a white portion (a portion with no shading) in the drawing, and the readout period is represented by the shading portion in the drawing. If so, the period during which the projector 102 projects infrared light (the hatched area corresponding to “IR light projection” in the figure) is performed within the exposure period.
  • the time lag between turning on (ON) and turning off (OFF) of the projector 102 is preferably as small as possible.
  • the projector 102 is turned on and off at high speed in 1/30 seconds (33.3 milliseconds).
  • the time lag between turning on and off of the projector 102 can be suppressed to a minute.
  • the timing of the light projection by the projector 102 and the timing of the exposure by the image sensor 103 are synchronized, so that a light projection image obtained when the projector 102 is lit by the image sensor 103 (image thereof). Signal) and a non-projected image (image signal) obtained when the projector 102 is turned off are alternately generated.
  • timing of light projection by the projector 102 shown in the timing chart of FIG. 5 is an example, and infrared light may be projected from the projector 102 at another timing.
  • FIG. 6 is a diagram illustrating an example of the arrangement of the color filters of the color filter 111 of the image sensor 103.
  • the color filter 111 includes at least an R filter, a G filter, and a B filter as shown in FIGS. 6A to 6E, and may further include a W filter or an IR filter. They are arranged according to a predetermined rule. In the present embodiment, the case where an R filter, a G filter, a B filter, and a W filter are arranged as the color filter 111 is mainly described.
  • each color filter not only transmits light of each color component but also emits light from the projector 102. Infrared light is also transmitted. That is, as described above, in the projector 102, infrared light in a wavelength band around 850 nm, for example, is projected in accordance with the spectral characteristics (FIG. 7) of each color filter (R, G, B, W filter). In the image sensor 103, the infrared light from the projector 102 can be transmitted by each color filter (R, G, B, W filter) having uniform spectral characteristics.
  • R and IR pixel signals can be obtained from light (red light and infrared light) transmitted through the R filter (“R + IR” in the figure).
  • G and IR pixel signals can be obtained from light (green light and infrared light) transmitted through the G filter (“G + IR” in the figure).
  • B and IR pixel signals can be obtained from the light (blue light and infrared light) transmitted through the B filter (“B + IR” in the figure).
  • W and IR pixel signals can be obtained from light (white light and infrared light) transmitted through the W filter (“W + IR” in the figure).
  • the image sensor 103 can obtain each color obtained from pixels corresponding to each color filter (R, G, B, W filter) of the color filter 111.
  • the pixel signal of the component spectral component in the wavelength band of visible light
  • the pixel signal of the infrared light component spectral component in the wavelength band of invisible light
  • the image signal generated including this pixel signal is It is a high-resolution image.
  • each color filter has the spectral characteristics shown in FIG.
  • infrared light from the projector 102 is transmitted.
  • visible light is blocked and only infrared light from the projector 102 is transmitted. Therefore, the image sensor 103 having the B color filter 111 in FIG. 6 can generate a high-resolution image (image signal) using the pixel signals of the components of infrared light obtained from all the pixels.
  • a first row composed of an R filter, a W filter, and a B filter, a W filter, an IR filter, and Second rows of G filters are alternately arranged.
  • R filters and B filters are alternately arranged in the first row
  • IR filters and G filters are alternately arranged in the second row. Yes.
  • each color filter has the spectral characteristics shown in FIG. 7, as in the case of the first color arrangement (A in FIG. 6).
  • the image sensor 103 having the C color filter 111 in FIG. 6 can generate a high-resolution image (image signal) using the pixel signal of the component of infrared light obtained from all the pixels.
  • a first row composed of an R filter, a W filter, and a B filter
  • a first row composed of a W filter and a G filter.
  • Two rows are arranged alternately.
  • R filters and B filters are alternately arranged in the first row
  • W filters and G filters are alternately arranged in the second row. Yes.
  • each color filter has the spectral characteristics shown in FIG.
  • infrared light from the projector 102 is transmitted. Therefore, the image sensor 103 having the D color filter 111 in FIG. 6 can generate a high-resolution image (image signal) using pixel signals of infrared light components obtained from all pixels.
  • the color filter 111 of E of FIG. 6 has the spectral characteristics shown in FIG. 7 as in the case of the first color arrangement (A of FIG. 6), the projector 102 together with the light of each color component. Infrared light from is transmitted. Therefore, the image sensor 103 having the E color filter 111 in FIG. 6 can generate a high-resolution image (image signal) using the pixel signals of the components of infrared light obtained from all the pixels.
  • the image sensor 103 for example, by providing the color filter 111 having any one of the first to fifth color arrangements described above, it is possible to correspond to each color of the color filter 111.
  • the image signal generated including the pixel signal of the infrared light component is a high-resolution image.
  • the color filter 111 may employ other color arrangements.
  • the spectral characteristics be uniform in a band other than visible light (infrared light band) of each color filter. There are no algorithmic restrictions on the array.
  • full resolution image generation unit 105 Next, a detailed configuration of the full resolution image generation unit 105 in FIG. 3 will be described with reference to FIGS.
  • the configuration of full resolution image generation units 105A to 105C will be described as an example of full resolution image generation unit 105 that generates a full resolution image.
  • FIG. 8 is a diagram illustrating a configuration example of the full-resolution image generation unit 105A.
  • the full resolution image generation unit 105A includes a difference processing unit 121 and a color filter-specific sensitivity deviation correction unit 122.
  • a projected image and a non-projected image to be processed simultaneously are read from the delay adjustment buffer 104 (FIG. 3) and input to the difference processing unit 121.
  • the difference processing unit 121 obtains the difference between the projected image (the spectral component thereof) and the non-projected image (the spectral component thereof), thereby removing the projected light image (hereinafter referred to as a pure projected image). And is supplied to the color filter-specific sensitivity deviation correction unit 122.
  • the projected image is on the visible light side transmitted by the R filter, G filter, B filter, and W filter of the color filter 111 of the image sensor 103 (FIG. 3). It is generated using pixel signals obtained from light of each color component (spectral components in the wavelength band of visible light) and pixel signals obtained from infrared light on the non-visible light side (spectral components in the wavelength band of invisible light). Will be.
  • the infrared light on the invisible light side includes not only the infrared light component (“projection IR” in the figure) projected from the projector 102 but also the infrared light component ( “Environmental IR” in the figure) is included.
  • the non-projection image is obtained from light of each color component on the visible light side transmitted by the R filter, G filter, B filter, and W filter of the color filter 111. Although it is generated using a pixel signal and a pixel signal obtained from the infrared light on the invisible light side, since the infrared light from the projector 102 is not projected, the infrared light on the invisible light side Only the infrared light component ("environment IR" in the figure) included in the environmental light is included.
  • the influence of the environmental light can be removed. This is because the environmental light is corrected in the sensitivity deviation correction processing by color filter executed by the color filter sensitivity deviation correction unit 122 in the subsequent stage. May appear as an artifact, and is intended to remove the artifact.
  • the color filter sensitivity shift correction unit 122 performs color filter sensitivity shift correction processing on the pure projection image supplied from the difference processing unit 121.
  • the color filter sensitivity shift correction unit 122 outputs an image obtained as a result of the color filter sensitivity shift correction process to the signal processing unit 106 (FIG. 3) as a full resolution image.
  • sensitivity deviation correction processing for each color filter in order to remove the sensitivity deviation for each pixel of each color component corresponding to each color filter (R, G, B, W filter) of the color filter 111, gain processing for each color filter is performed. Is done. For example, in the pure projection image (spectral component) of C in FIG. 9 described above, the spectral characteristics of the R filter, G filter, B filter, and W filter may be misaligned. The difference in sensitivity of (R, G, B, W filters) is corrected by the gain processing for each color filter. That is, by executing the color filter-specific gain processing, the spectral characteristics of each color filter (R, G, B, W filter) can be matched to the same (or within an allowable range) spectral characteristics.
  • the color filter-specific sensitivity deviation correction unit 122 performs color filter-specific gain processing, which is an example of color filter-specific sensitivity deviation correction processing, on the pure light projection image A illustrated in FIG. 10.
  • color filter-specific gain processing which is an example of color filter-specific sensitivity deviation correction processing
  • the pure light projection image B in FIG. 10 is obtained.
  • the pure projection image of B in FIG. 10 has a delicate sensitivity ratio for each color filter (R, G, B, W filter) by the gain processing for each color filter. Compensated image.
  • a pure projection image is generated by the difference processing between the projection image (the spectral component thereof) and the non-projection image (the spectral component thereof), and further, the color filter
  • the sensitivity shift of each color filter (R, G, B, W filter) of the color filter 111 is corrected by the separate sensitivity shift correction process, thereby generating a full resolution image.
  • the difference processing is executed by the difference processing unit 121 to remove the influence of the ambient light, and thus, the artifact can be removed.
  • the projector 102 projects the ambient light. If the use case can ensure that the light (infrared light) is sufficiently bright, the difference processing is not necessary.
  • the sensitivity deviation correction processing for each color filter is executed by the sensitivity deviation correction section 122 for each color filter, thereby correcting the sensitivity deviation of each color filter (R, G, B, W filter) of the color filter 111.
  • the correction processing is naturally not necessary.
  • FIG. 11 is a diagram illustrating a configuration example of the full resolution image generation unit 105B.
  • the full resolution image generation unit 105B includes a difference processing unit 121, a color filter-specific sensitivity deviation correction unit 122, and a remaining pattern removal filter 123.
  • the same parts as those in the full resolution image generation unit 105A in FIG. 8 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • a residual pattern removal filter 123 is newly provided at the subsequent stage of the sensitivity deviation correction unit 122 for each color filter, compared to the full-resolution image generation unit 105A of FIG. ing.
  • the pure pattern image subjected to the color filter sensitivity shift correction process is input from the color filter sensitivity shift correction unit 122 to the remaining pattern removal filter 123.
  • the remaining pattern removal filter 123 further executes a remaining pattern removal process for removing a (slightly) remaining pattern pattern on the pure light-projected image after the sensitivity deviation correction for each color filter.
  • a filter in a narrow range for example, about 3 taps
  • the edge direction is applied to the pure projected image after the sensitivity deviation correction for each color filter so as not to lose a high frequency component.
  • the (slightly) remaining pattern is removed.
  • a pure projection image is generated by the difference processing between the projected image (the spectral component thereof) and the non-projected image (the spectral component thereof), and the sensitivity for each color filter.
  • the shift of the sensitivity of each color filter of the color filter 111 is corrected by the shift correction process, and further, the pattern pattern slightly remaining in the pure projection image after the correction of the shift of sensitivity by color filter is removed by the remaining pattern removal process.
  • a full resolution image is generated.
  • FIG. 12 is a diagram illustrating a configuration example of the full resolution image generation unit 105C.
  • the full-resolution image generation unit 105C includes a difference processing unit 121, a color filter-specific sensitivity shift correction unit 122, a remaining pattern removal filter 123, and a positional shift correction processing unit 124.
  • the same parts as those in the full resolution image generation unit 105B in FIG. 11 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • a misalignment correction processing unit 124 is newly provided before the difference processing unit 121, as compared with the full-resolution image generation unit 105B in FIG.
  • the projected image and the non-projected image to be processed simultaneously are read from the delay adjustment buffer 104 (FIG. 3) and input to the misalignment correction processing unit 124.
  • the positional deviation correction processing unit 124 corrects the positional deviation between the projected image and the non-projected image read from the delay adjustment buffer 104 and supplies the corrected positional difference to the difference processing unit 121.
  • misregistration correction process for example, a matching method is performed on a projected image and a non-projected image in units of blocks including a predetermined area, and the motion is canceled by deforming the image for each target block.
  • the positional deviation between the projected image and the non-projected image is corrected by using a method of calculating and removing the shift amount of the entire image by integrating the matching results.
  • the block unit used in this block matching can be a relatively limited area as compared with known techniques.
  • the technique using block matching is an example of misregistration correction processing, and misregistration correction processing may be performed using other known techniques.
  • the full resolution image generation unit 105C after the positional deviation between the projected image and the non-projected image is corrected by the positional deviation correction process, the projected image (the spectral component thereof) and the non-projected image are corrected.
  • the difference processing with (spectral component) a pure projection image is generated, the sensitivity deviation correction of each color filter of the color filter 111 is corrected by the color filter sensitivity deviation correction processing, and further, the residual pattern removal processing
  • a full-resolution image is generated by removing a pattern pattern slightly remaining in the pure light-projected image after correction of sensitivity deviation for each color filter.
  • the positional deviation correction processing unit 124 it is possible to remove the positional deviation between the projected image and the non-projected image by executing the positional deviation correction processing by the positional deviation correction processing unit 124, but this can ignore the positional deviation. Since it is difficult to obtain a projected image and a non-projected image with such a small time lag, it is desirable to execute the misregistration correction process when the cost is acceptable. However, for example, when it is possible to acquire a projected image and a non-projected image with a minute time lag that can ignore the positional deviation, the positional deviation correction processing unit 124 is unnecessary.
  • the configuration of the full resolution image generation units 105A to 105C as the full resolution image generation unit 105 in FIG. 3 has been described above. However, these configurations are examples, and a full image is generated using a projected image and a non-projected image. Any configuration other than the above-described configuration may be adopted as long as the configuration can generate a resolution image (monochrome image).
  • FIG. 3 a detailed configuration of the signal processing unit 106 in FIG. 3 will be described with reference to FIGS.
  • the conventional signal processing unit 106P is described with reference to FIGS. 13 and 14, and then the signal processing unit 106 (FIG. 3) of the present technology is described with reference to FIG. To do.
  • FIG. 13 is a diagram illustrating a configuration of a conventional signal processing unit 106P.
  • the signal processing unit 106P includes a luminance generation unit 131, an edge extraction unit 132, each color synchronization unit 133, an environment IR removal unit 134, an edge synthesis unit 135, and a camera signal processing unit 136.
  • the signal processing unit 106P from the upper path for extracting the edge component of the luminance image (luminance signal) and the color image (image signal) serving as the low frequency component, the infrared light component ( And a lower path for removing (environment IR), and a non-projection image is input from the previous stage to each path.
  • the upper path includes a luminance generation unit 131 and an edge extraction unit 132.
  • the luminance generation unit 131 generates a luminance image (luminance signal) based on the non-projected image and supplies it to the edge extraction unit 132.
  • the W filters are arranged in a checkered pattern.
  • the luminance generation unit 131 uses a W pixel signal obtained from the W pixel at coordinates where the W pixel corresponding to the W filter exists, while performing predetermined interpolation processing at coordinates where the W pixel does not exist. By applying this, a W pixel signal (luminance signal) is obtained.
  • W ′ (W A + W B + W C + W D ) / 4 (1)
  • the above-described equation (1) is an example of interpolation processing.
  • two pixels arranged in the edge direction are selected from W pixels around the target pixel, and the average value thereof is selected.
  • a method for obtaining the value may be used.
  • the G pixel at the center of the 3 ⁇ 3 pixels shown in FIG. 14 has been described as an example, but the R pixel, the B pixel, and the other G pixels other than the W pixel are similarly arranged around the target pixel.
  • the W pixel signal of the W pixel By performing a predetermined calculation using the W pixel signal of the W pixel, it is possible to obtain a W pixel signal (luminance signal) having coordinates corresponding to the target pixel.
  • the luminance image (luminance signal) generated in this way is supplied to the edge extraction unit 132.
  • the edge extraction unit 132 performs high-pass filter processing on the luminance image (luminance signal) supplied from the luminance generation unit 131 to extract edges of high-frequency components, and the edge extraction result (Edge information) is supplied to the edge composition unit 135.
  • each color synchronization unit 133 and environmental IR removal unit 134 are included in the lower path.
  • Each color synchronizer 133 performs low-pass filter processing using only the same color on the pixel signal obtained from each color pixel corresponding to each color filter of the color filter 111 based on the non-projected image.
  • Each color image of the low frequency component obtained by this low pass filter process is supplied to the environment IR removal unit 134.
  • the environment IR removal unit 134 performs a predetermined calculation (matrix calculation) on each color image supplied from each color synchronization unit 133, so that an infrared light component (environment) included in the environment light is obtained from each color image. IR) is removed. Each color image from which the infrared light component has been removed is supplied to the edge synthesis unit 135.
  • the edge composition unit 135 receives the edge information from the edge extraction unit 132 and each color image from the environment IR removal unit 134 (infrared light components are removed).
  • the edge synthesizing unit 135 synthesizes edge information with the color components (low frequency components) of the respective color images, thereby generating a high-resolution image (image signal) with high resolution, and supplies the generated image to the camera signal processing unit 136. To do.
  • the camera signal processing unit 136 performs general camera signal processing on the high-resolution image (image signal) supplied from the edge synthesis unit 135.
  • this camera signal processing for example, white balance processing, demosaic processing, linear matrix calculation processing, gamma correction processing, YC conversion processing, and the like are performed. An output image obtained by performing this camera signal processing is output to a subsequent circuit.
  • the signal processing as described above is performed, and an output image is generated from the non-projected image.
  • a luminance image luminance signal
  • artifacts may occur.
  • processing for suppressing false color is not performed, and therefore false color may occur.
  • measures are taken to suppress the occurrence of false colors and artifacts.
  • FIG. 15 is a diagram illustrating a configuration of the signal processing unit 106 (FIG. 3) of the present technology.
  • the signal processing unit 106 includes an edge extraction unit 141, each color synchronization unit 142, a false color suppression unit 143, an invisible light component removal unit 144, an edge synthesis unit 145, and a camera signal processing unit 146.
  • an upper path for extracting the edge component of the full resolution image input from the full resolution image generation unit 105 and each color image (image signal) obtained from the non-projected image are obtained. It is divided into a process for suppressing false color and a lower path for performing a process for removing a component of invisible light.
  • the edge extraction unit 141 is included in the upper path.
  • the edge extraction unit 141 extracts high-frequency component edges by performing high-pass filter processing on the full resolution image, and supplies the edge extraction result (edge information) to the edge synthesis unit 145.
  • an artifact may occur when the luminance generation unit 131 generates a luminance image (luminance signal).
  • the edge is extracted using the full resolution image input from the full resolution image generation unit 105, so that the occurrence of artifacts can be suppressed. it can.
  • each color synchronization unit 142 based on the non-projected image read from the delay adjustment buffer 104, corresponds to each color pixel (R pixel, G pixel, and R) corresponding to each color filter (R, G, B, W filter) of the color filter 111.
  • Low-pass filter processing using only the same color is performed on pixel signals (R + IR, G + IR, B + IR, W + IR) obtained from B pixels and W pixels.
  • the low-frequency component color images obtained by the low-pass filter processing are supplied to the false color suppression unit 143.
  • the false color suppression unit 143 receives each color image from each color synchronization unit 142 and the full resolution image from the full resolution image generation unit 105 (FIG. 3). The false color suppression unit 143 performs a false color suppression process that suppresses the occurrence of false colors by processing each color image using a full resolution image.
  • the false color suppression process assuming that the pattern of each color image is similar to the full-resolution image, the full-resolution image is thinned out in the same way as each color image, and the “wrapping” that occurs in each color image.
  • the same “folding” is intentionally generated and the amount of the folding is measured (estimated).
  • the non-visible light component removing unit 144 performs a non-visible light component removing process for removing the non-visible light component in each color image.
  • the non-visible light includes infrared light included in the ambient light.
  • the infrared light component environment IR
  • Each color image from which the invisible light component has been removed by the invisible light component removal processing is supplied to the edge composition unit 145.
  • the reason for removing the invisible light component from each color image by performing the invisible light component removing process by the invisible light component removing unit 144 is as follows. That is, as described above, in the image sensor 103 (FIG. 3), it is necessary to generate an image signal corresponding to light (for example, infrared light) in the wavelength band of invisible light. Since a filter (for example, an IR cut filter) that cuts light in the wavelength band of invisible light cannot be provided, here, the invisible light component is removed by signal processing.
  • a filter for example, an IR cut filter
  • the signal processing unit 106 may receive a projected image instead of the non-projected image.
  • the invisible light In addition to the infrared light included in the ambient light, there is also infrared light projected from the projector 102. In this case, the infrared light component (environmental IR) of the ambient light and the projected red light The component of external light (projection IR) is removed.
  • the edge composition unit 145 receives the edge information from the edge extraction unit 141 and each color image from the non-visible light component removal unit 144 (with the non-visible light component removed).
  • the edge synthesizing unit 145 synthesizes edge information with the color components (low frequency components) of the respective color images, thereby generating a high-resolution image (image signal) with a high resolution, and supplies the generated image to the camera signal processing unit 136.
  • the output of the edge synthesis unit 145 can be, for example, an RGB image signal or an image signal of a Bayer array.
  • the camera signal processing unit 146 performs general camera signal processing on the high-resolution image (image signal) supplied from the edge synthesis unit 145.
  • this camera signal processing for example, white balance processing, demosaic processing, linear matrix calculation processing, gamma correction processing, YC conversion processing, and the like are performed. An output image obtained by performing this camera signal processing is output to a subsequent circuit.
  • the signal processing unit 106 may not include the camera signal processing unit 146.
  • the signal processing unit 106 of the present technology does not use the luminance image (luminance signal) generated by the luminance generation unit 131 (FIG. 13), but uses the full resolution input from the full resolution image generation unit 105. Since the edge is extracted using the resolution image, the occurrence of the artifact can be suppressed.
  • the false color suppression unit 143 performs false color suppression processing by processing each color image using the full resolution image input from the full resolution image generation unit 105. Therefore, generation
  • the occurrence of artifacts is suppressed by using the full resolution image (pure projection image) generated by the full resolution image generation unit 105 as a guide. You may do it.
  • the W pixels are interpolated by selecting and filtering pixels arranged in the edge direction from the W pixels around the target pixel. If there is, the edge direction cannot be determined, and as a result, an artifact may be generated.
  • the correct edge direction can be obtained by using the full resolution image for detection of the edge direction when the W pixel is interpolated. In this way, by using the full-resolution image as a guide to determine the edge direction and interpolating the W pixels, it is possible to suppress the occurrence of artifacts and improve the image quality.
  • step S101 the projector 102 determines whether it is the timing of infrared light projection according to the control from the control unit 101.
  • step S101 If it is determined in step S101 that it is the timing of infrared light projection, the process proceeds to step S102.
  • step S ⁇ b> 102 the projector 102 projects infrared light according to the synchronization signal from the control unit 101. That is, in this case, infrared light projection by the projector 102 is turned on.
  • step S101 determines whether it is not the timing of infrared light projection. If it is determined in step S101 that it is not the timing of infrared light projection, the process proceeds to step S103.
  • step S ⁇ b> 103 the projector 102 stops the infrared light projection according to the synchronization signal from the control unit 101. That is, in this case, the infrared light projection by the projector 102 is turned off.
  • step S101 when the projector 102 is turned on / off according to the determination result of step S101 (S102, S103), light in the wavelength band of the projection wavelength is flickered and projected from the projector 102.
  • step S104 the process proceeds to step S104.
  • step S ⁇ b> 104 the image sensor 103 captures an image of the subject according to the synchronization signal from the control unit 101.
  • step S105 it is determined whether or not the captured image captured in the process of step S104 is the first frame.
  • step S105 If it is determined in step S105 that the captured image is the first frame, that is, if it is determined that the light projection image and the non-light projection image to be processed simultaneously are not held in the delay adjustment buffer 104, Advances to step S106.
  • step S106 the image sensor 103 overwrites the delay adjustment buffer 104 with the captured image captured in the process of step S104. As a result, the delay adjustment buffer 104 holds either the projected image or the non-projected image.
  • step S105 When the process of step S105 ends, the process proceeds to step S110. If it is determined in step S110 that the process is to be continued, the process returns to step S101, and the above-described process is repeated.
  • step S105 If it is determined in step S105 that the captured image is not the first frame, the process proceeds to step S107. In this case, in the delay adjustment buffer 104, the captured image captured in the process of step S104 is written, and a projected image and a non-projected image to be processed are held at the same time.
  • step S ⁇ b> 107 the full resolution image generation unit 105 reads the light projection image and the non-light projection image to be processed simultaneously from the delay adjustment buffer 104.
  • step S108 the full resolution image generation unit 105 performs a full resolution image generation process using the projected image and the non-projected image read in the process of step S107.
  • a full resolution image is generated by performing a difference process for obtaining a difference between a projected image (a spectral component thereof) and a non-projected image (a spectral component thereof). The detailed contents of this full resolution image generation processing will be described later with reference to the flowchart of FIG.
  • step S109 the signal processing unit 106 performs signal processing for processing a non-projected image (or projected image) using the full resolution image generated in the process of step S108.
  • signal processing for example, processing such as edge extraction processing or false color suppression processing using a full resolution image is performed, and an output image is generated from the full resolution image and a non-projected image (or projected image).
  • step S109 ends, the process proceeds to step S110. If it is determined in step S110 that the process is to be continued, the process returns to step S101, and the above-described process is repeated. If it is determined in step S110 that the process is to be terminated, the image processing in FIG. 16 is terminated.
  • a full resolution image is generated from the projected image and the non-projected image by the full resolution image generation processing (S108), and the edge extraction processing using the full resolution image is performed by the signal processing (S109). Processing such as false color suppression processing is performed, and an output image is generated from the full-resolution image and the non-projected image (or projected image).
  • the generation of false colors can be suppressed by performing false color suppression processing using a full resolution image.
  • the image processing of FIG. 16 since high-precision image processing for suppressing generation of false colors and artifacts is performed, the user who viewed the image (output image) is uncomfortable. There is no. Further, for example, if a full-resolution image is used in a sensing application that has been developed in recent years, a decrease in sensing performance can be suppressed.
  • step S121 the misalignment correction processing unit 124 performs misalignment correction processing for correcting misalignment between the projected image and the non-projected image read from the delay adjustment buffer 104 in the process of step S107 (FIG. 16). .
  • misalignment correction processing for example, matching is performed in units of blocks with respect to a projected image and a non-projected image, and a method of canceling motion by deforming the image for each target block and the result of matching are integrated. Then, by using a method of calculating and removing the shift amount of the entire image, the positional shift between the projected image and the non-projected image is corrected.
  • step S122 the difference processing unit 121 performs difference processing for obtaining a difference between the projected image (its spectral component) and the non-projected image (its spectral component) whose positional deviation has been corrected in the process of step S121.
  • the difference between the projected image (the spectral component) and the non-projected image (the spectral component) is obtained, thereby removing the influence of the ambient light.
  • a pure flood image is generated.
  • step S123 the sensitivity deviation correction unit 122 for each color filter corresponds to each color component corresponding to each color filter (R, G, B, W filter) of the color filter 111 with respect to the pure projection image generated by the processing in step S122.
  • the sensitivity deviation correction processing for each color filter is performed to remove the sensitivity deviation for each pixel.
  • color filter gain processing is performed in which the spectral characteristics of the color filters (R, G, B, and W filters) are matched to the same (or within the allowable range) spectral characteristics.
  • step S124 the remaining pattern removal filter 123 performs a remaining pattern removal process for removing the (slightly) remaining pattern on the pure projection image corrected in the process in step S123.
  • a remaining pattern is (slightly) removed by applying a filter in a narrow range (for example, about 3 taps) according to the edge direction so as not to lose high-frequency components.
  • a filter in a narrow range (for example, about 3 taps) according to the edge direction so as not to lose high-frequency components.
  • FIG. 18 and 19 show examples of pure floodlight images generated as full-resolution images by executing the full-resolution image generation processing of FIG. 18 and 19 show a luminance image (luminance signal) generated by the luminance generation unit 131 of the conventional signal processing unit 106P (FIG. 13) for comparison.
  • luminance image luminance signal
  • a in FIG. 18 is a luminance image (luminance signal) generated by the luminance generation unit 131 (FIG. 13). Have different patterns and artifacts.
  • B in FIG. 18 is a pure projection image (full resolution image) generated by the full resolution image generation unit 105 (FIG. 3), but the semicircle on the higher density side in the multiple circles in the figure. In, the correct pattern appears.
  • a in FIG. 19 is a luminance image (luminance signal) generated by the luminance generation unit 131 (FIG. 13), and a large number of lines composed of a plurality of line types described in a band shape in the drawing. In some of the patterns, a pattern different from the actual one appears and an artifact is generated.
  • B in FIG. 19 is a pure projection image (full resolution image) generated by the full resolution image generation unit 105 (FIG. 3). It is appearing in.
  • the conventional signal processing unit 106P As described above, in the conventional signal processing unit 106P (FIG. 13), an artifact has occurred in the luminance image (luminance signal) generated by the luminance generation unit 131 (FIG. 13).
  • the edge information is extracted using the pure projection image (full resolution image) generated by the full resolution image generation unit 105 (FIG. 3), so that the occurrence of artifacts can be suppressed.
  • the positional deviation correction process, the difference process, the color filter-specific sensitivity deviation correction process, and the remaining pattern removal process are examples of the full resolution image generation process, and all of these processes are executed. It is not necessary and other processing may be performed.
  • step S131 the edge extraction unit 141 performs edge extraction processing for extracting edge information from the full resolution image generated in step S108 (FIG. 16).
  • edge extraction processing high-pass filter processing is performed on the full-resolution image, and edge information is obtained by extracting high-frequency component edges.
  • each color synchronization unit 142 performs each color synchronization process using the non-projection image read in the process in step S107 (FIG. 16).
  • pixel signals (R + IR) obtained from each color pixel (R pixel, G pixel, B pixel, W pixel) corresponding to each color filter (R, G, B, W filter) of the color filter 111.
  • G + IR, B + IR, W + IR low-pass filter processing using only the same color is performed to obtain each color image of low frequency components.
  • step S133 the false color suppression unit 143 uses the full resolution image generated in step S108 (FIG. 16) to process each color image obtained in step S132, thereby generating false colors.
  • a false color suppression process is performed. For example, in this false color suppression process, the amount of aliasing that occurs in each color image is estimated using a full-resolution image, and aliasing that occurs in each color image is canceled according to the estimated amount of aliasing. By doing so, generation of false colors is suppressed.
  • the non-visible light component removing unit 144 performs a non-visible light component removing process for removing the non-visible light component in each color image in which generation of false colors is suppressed in the process of step S133.
  • a predetermined calculation matrix calculation
  • the infrared light component environment IR
  • step S135 the edge synthesizer 145 synthesizes the edge information extracted in step S131 with the color component (low frequency component) of each color image from which the invisible light component has been removed in step S134. By performing the processing, a high-resolution image (image signal) having a high resolution is generated.
  • step S136 the camera signal processing unit 146 generates an output image by performing camera signal processing on the high-resolution image (image signal) obtained in step S135.
  • this camera signal processing for example, general camera signal processing such as white balance processing, demosaic processing, linear matrix calculation processing, gamma correction processing, and YC conversion processing is performed.
  • the imaging device 10 described above is not limited to the configuration shown in FIG. Next, a modification of the imaging device 10 in FIG. 3 will be described with reference to FIGS.
  • FIG. 21 is a diagram illustrating a configuration example of the imaging device 10A.
  • the same parts as those in the imaging apparatus 10 in FIG. 3 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the imaging apparatus 10A includes a control unit 101, a projector 102, an imaging element 103, a delay adjustment buffer 104, and a full resolution image generation unit 105. That is, the imaging apparatus 10A of FIG. 21 differs from the imaging apparatus 10 of FIG. 3 in that the signal processing unit 106 provided at the subsequent stage of the full resolution image generation unit 105 is removed.
  • the signal processing unit 106 instead of generating a color image and using it for viewing purposes, for example, if a black and white image (luminance image) for sensing purposes is to be generated, the signal processing unit 106 does not perform signal processing and performs full processing. Since the resolution image (monochrome image) may be output as it is, the imaging device 10A outputs the full resolution image generated by the full resolution image generation unit 105.
  • a reduction in sensing performance is suppressed by outputting a full-resolution image in which the occurrence of artifacts is suppressed as a black and white image (luminance image) used for sensing applications. can do.
  • the projector 102 does not need a filter (IR bandpass filter) for the projection wavelength.
  • FIG. 22 is a diagram illustrating a configuration example of the imaging device 10B.
  • the same parts as those of the imaging apparatus 10 of FIG. 3 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the imaging apparatus 10B includes a control unit 101, a projector 102, an imaging element 103, a delay adjustment buffer 104, a full resolution image generation unit 105, and a signal processing unit 106.
  • the full-resolution image generation unit 105 reads the projected image and the non-projected image to be processed simultaneously from the delay adjustment buffer 104, as compared with the imaging device 10 of FIG. The difference is that two or more projected images are read out instead of one projected image.
  • the accuracy of the projected image is improved by using a plurality of projected images, and as a result, the accuracy of the generated full resolution image can be improved.
  • the full resolution image generation unit 105 processes a plurality of projected images and one non-projected image read from the delay adjustment buffer 104 to generate a full resolution image.
  • a full resolution image is generated.
  • a full-resolution image with higher accuracy can be generated using a plurality of projected images, so that false colors and artifacts can be removed with higher accuracy. it can.
  • the imaging apparatus 10B an example in which a plurality of light projection images are used has been described.
  • a full resolution image may be generated using a plurality of non-light projection images. That is, the number of projected images and non-projected images used when a full resolution image is generated is arbitrary.
  • FIG. 23 is a diagram illustrating a configuration example of the imaging device 10C. Note that in the imaging device 10C of FIG. 23, the same parts as those of the imaging device 10 of FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging apparatus 10C is provided with an imaging element 103-1 and an imaging element 103-2 in place of the imaging element 103, as compared with the imaging apparatus 10 of FIG. The difference is that an IR cut filter 112 is provided on the incident side of (reflected light). Further, in the imaging apparatus 10 ⁇ / b> C, the delay adjustment buffer 104 provided in the previous stage of the full resolution image generation unit 105 is removed.
  • the image sensor 103-1 generates a projected image obtained from light (reflected light) including infrared light projected from the projector 102 and outputs the projected image to the full-resolution image generation unit 105.
  • the image sensor 103-2 generates a non-projected image obtained from light (reflected light) obtained by cutting infrared light by the IR cut filter 112, and outputs the non-projected image to the full resolution image generation unit 105.
  • the full-resolution image generation unit 105 receives the projected image from the image sensor 103-1 and the non-projected image from the image sensor 103-2.
  • the full resolution image generation unit 105 processes the projected image and the non-projected image input from different image sensors 103 (103-1, 103-2), and generates a full resolution image.
  • the light projection image generated by the image sensor 103-1 and the non-light projection image generated by the image sensor 103-2 are at the same timing, and the full resolution image generation unit. Therefore, the delay adjustment buffer 104 (FIG. 3) is unnecessary. Further, in the imaging device 10 of FIG. 3, since the projected image and the non-projected image are generated alternately, it is necessary to reduce the time lag between the projected image and the non-projected image that are processed simultaneously. In the imaging apparatus 10C, the projected image and the non-projected image are generated by different imaging elements 103 (103-1, 103-2), and thus the projected image input to the full resolution image generation unit 105 and the non-projected image are not. The projected image can be synchronized with high accuracy.
  • FIG. 24 is a diagram illustrating a configuration example of the imaging device 10D. Note that in the imaging device 10D of FIG. 24, the same parts as those of the imaging device 10 of FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the imaging apparatus 10D includes a control unit 101, a projector 102, an imaging element 103, a delay adjustment buffer 104, a full resolution image generation unit 105, and a signal processing unit 106.
  • the imaging apparatus 10D in FIG. 24 differs from the imaging apparatus 10 in FIG. 3 in that the full resolution image generated by the full resolution image generation unit 105 is fed back to the delay adjustment buffer 104.
  • the full resolution image generation unit 105 reads the full resolution image (feedback) from the delay adjustment buffer 104 and processes it, thereby improving the accuracy of the full resolution image generated thereafter.
  • a full-resolution image with higher accuracy can be generated using the fed-back full-resolution image, so that false colors and artifacts can be removed with higher accuracy. it can.
  • FIG. 25 is a diagram illustrating a configuration example of the imaging device 10E.
  • the same parts as those in the imaging apparatus 10 in FIG. 3 are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • the imaging apparatus 10E includes a control unit 101, a projector 102, an imaging element 103, a delay adjustment buffer 104, a full resolution image generation unit 105, and a signal processing unit 106.
  • the imaging apparatus 10E in FIG. 25 differs from the imaging apparatus 10 in FIG. 3 in that a projected image is input to the signal processing unit 106 instead of a non-projected image.
  • the signal processing unit 106 performs signal processing for processing the projected image read from the delay adjustment buffer 104 using the full resolution image input from the full resolution image generation unit 105.
  • processing such as edge extraction processing or false color suppression processing using a full resolution image is performed, and an output image is generated from the full resolution image and the projected image.
  • the signal processing unit 106 performs signal processing using the full-resolution image and the projected image, and outputs an output image in which generation of false colors and artifacts is suppressed. become.
  • edge extraction processing using a full resolution image
  • the occurrence of artifacts is suppressed.
  • false color suppression processing using a full resolution image
  • the modification example of the imaging device 10 (FIG. 3) illustrated in FIGS. 21 to 25 is an example, and other configurations may be employed.
  • the projector 102 and the image sensor 103 operate in synchronization with each other in accordance with a synchronization signal from the control unit 101, but light is projected from the projector 102 for each pixel arranged in a two-dimensional lattice pattern in the image sensor 103.
  • the wavelength of light may be changed.
  • the projector 102 can be switched on (turned on) and turned off (off) for each pixel.
  • the spectral characteristics on the non-visible light side of each color filter (for example, R, G, B, W filter) of the color filter 111 may not be uniform.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads, for example, the program stored in the recording unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008.
  • the program can be installed in the ROM 1002 or the recording unit 1008 in advance.
  • the program executed by the computer 1000 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • processing steps for describing a program for causing the computer 1000 to perform various processes do not necessarily have to be processed in chronological order according to the order described in the flowchart, but in parallel or individually. (For example, parallel processing or object processing).
  • the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.
  • this technique can take the following structures.
  • Invisible light which has a higher resolution than the image of the subject obtained from the spectral component of the visible light wavelength band, based on a projected image obtained by projecting light in the wavelength band of invisible light onto the subject.
  • An image processing apparatus comprising an image generation unit that generates a high-resolution image obtained from spectral components in the wavelength band of.
  • a projection wavelength of the projected light includes a wavelength band corresponding to a spectral characteristic on a non-visible light side of each color filter of the image sensor that images the subject.
  • the image generation unit obtains a difference between a spectral component of the projected image and a spectral component of a non-projected image obtained when light in a wavelength band of invisible light is not projected, thereby obtaining the high-resolution image.
  • the image processing apparatus according to (2) further comprising: a signal processing unit that processes the projected image or the non-projected image based on the generated high-resolution image to generate an output image.
  • the signal processing unit Extracting edge information from the high-resolution image; Generating a color image including a color component from the projected image or the non-projected image; Removing invisible light components from the color image; The image processing device according to (4), wherein the output image is generated by combining the color image from which the component of invisible light has been removed and the edge information.
  • the signal processing unit suppresses generation of false colors by processing the color image using the high-resolution image.
  • the signal processing unit Using the high-resolution image, estimate the amount of aliasing that occurs in the color image, The image processing apparatus according to (6), wherein the occurrence of false colors is suppressed by canceling the aliasing occurring in the color image in accordance with the estimated amount of aliasing.
  • the image generation unit corrects a positional deviation between the projected image and the non-projected image to be processed simultaneously, and then calculates a difference between a spectral component of the projected image and a spectral component of the non-projected image.
  • the image processing device according to any one of (3) to (7), wherein the high-resolution image corresponding to the obtained difference image is generated.
  • the visible light includes light of R (red), G (green), and B (blue) components
  • the image processing apparatus according to any one of (1) to (11), wherein the invisible light is infrared light.
  • the image processing apparatus is Invisible light, which has a higher resolution than the image of the subject obtained from the spectral component of the visible light wavelength band, based on a projected image obtained by projecting light in the wavelength band of invisible light onto the subject.
  • An image processing method including a step of generating a high-resolution image obtained from spectral components in the wavelength band of.
  • An image sensor that has a color filter with uniform spectral characteristics on the non-visible light side of each color and images a subject;
  • a light projecting unit that projects light of a projection wavelength composed of a wavelength band corresponding to spectral characteristics on the non-visible light side of the color filter onto the subject;
  • Based on a projected image obtained by projecting light of the projection wavelength onto the subject the resolution of the invisible light is higher than that of the subject image obtained from the spectral component of the visible light wavelength band.
  • An imaging device comprising: an image generation unit that generates a high-resolution image obtained from spectral components in a wavelength band.
  • the image generation unit obtains a difference between a spectral component of the projected image and a spectral component of a non-projected image obtained when light in a wavelength band of invisible light is not projected, thereby obtaining the high-resolution image.
  • the signal processing unit Extracting edge information from the high-resolution image; Generating a color image including a color component from the projected image or the non-projected image; Removing invisible light components from the color image; The imaging apparatus according to (18), wherein the output image is generated by synthesizing the color image from which the component of invisible light has been removed and the edge information. (20) The imaging apparatus according to (19), wherein the signal processing unit suppresses generation of a false color by processing the color image using the high-resolution image.
  • 10, 10A to 10E imaging device 100 image processing unit, 101 control unit, 102 projector, 103, 103-1, 103-2 imaging device, 104 delay adjustment buffer, 105, 105A to 105C full resolution image generation unit, 106 signal Processing unit, 111, 111-1, 111-2 color filter, 112 IR cut filter, 121 difference processing unit, 122 sensitivity deviation correction unit for each color filter, 123 remaining pattern removal filter, 124 misregistration correction processing unit, 141 edge extraction , 142, each color synchronization unit, 143 false color suppression unit, 144 invisible light component removal unit, 145 edge synthesis unit, 146 camera signal processing unit, 1000 computer, 1001 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Projection Apparatus (AREA)

Abstract

本技術は、高精度な画像処理を可能にすることができるようにする画像処理装置、画像処理方法、及び、撮像装置に関する。 画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する。 本技術は、例えば、ビューイング用途やセンシング用途の画像を処理する画像処理装置に適用することができる。

Description

画像処理装置、画像処理方法、及び、撮像装置
　本技術は、画像処理装置、画像処理方法、及び、撮像装置に関し、特に、高精度な画像処理を可能にすることができるようにした画像処理装置、画像処理方法、及び、撮像装置に関する。
　従来より、可視光による画像信号だけでなく、赤外光による画像信号を用いて画像処理を行う手法が提案されている（例えば、特許文献１参照）。
　ここで、画像処理の分野では、実際には存在しない色が再現される偽色が知られている。特許文献１に提案されている手法においても、その原理上、偽色が発生することを避けることはできない。また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。
特開２０１１－２３３９８３号公報
　ところで、偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えてしまうほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となることが想定される。そのため、偽色やアーチファクト等の発生を抑制するための高精度な画像処理を可能にするための技術が求められていた。
　本技術はこのような状況に鑑みてなされたものであり、高精度な画像処理を可能にすることができるようにするものである。
　本技術の第１の側面の画像処理装置は、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える画像処理装置である。
　本技術の第１の側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の第１の側面の画像処理方法は、上述した本技術の第１の側面の画素処理装置に対応する画像処理方法である。
　本技術の第１の側面の画像処理装置及び画像処理方法においては、非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。
　本技術の第２の側面の撮像装置は、各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、前記色フィルタの非可視光側の分光特性に応じた投光波長の光を前記被写体に投光する投光部と、前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部とを備える撮像装置である。
　本技術の第２の側面の撮像装置においては、被写体が撮像され、撮像素子の各色の非可視光側の分光特性が揃っている色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光が前記被写体に投光され、前記投光波長の光が前記被写体に投光されることで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像が生成される。
　本技術の第２の側面の撮像装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
　本技術の第１の側面及び第２の側面によれば、高精度な画像処理を可能にすることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
偽色の例を示す図である。 アーチファクトの例を示す図である。 本技術を適用した撮像装置の一実施の形態の構成を示す図である。 投光器により投光される光の投光波長の例を示す図である。 投光器により投光される光の投光タイミングを示すタイミングチャートである。 撮像素子の色フィルタ配列の例を示す図である。 撮像素子の色フィルタの分光特性の例を示す図である。 フル解像度画像生成部の第１の構成例を示す図である。 差分処理の概要を示す図である。 色フィルタ別感度ずれ補正処理の概要を示す図である。 フル解像度画像生成部の第２の構成例を示す図である。 フル解像度画像生成部の第３の構成例を示す図である。 従来の信号処理部の構成を示す図である。 図１３の輝度生成部による輝度生成方法を示す図である。 本技術の信号処理部の構成を示す図である。 本技術の画像処理の流れを説明するフローチャートである。 図１６のフル解像度画像生成処理の流れを説明するフローチャートである。 フル解像度画像におけるアーチファクト除去の例を示す図である。 フル解像度画像におけるアーチファクト除去の例を示す図である。 図１６の信号処理の流れを説明するフローチャートである。 撮像装置の第１の他の構成例を示す図である。 撮像装置の第２の他の構成例を示す図である。 撮像装置の第３の他の構成例を示す図である。 撮像装置の第４の他の構成例を示す図である。 撮像装置の第５の他の構成例を示す図である。 コンピュータの構成例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．偽色とアーチファクトの原理
２．システムの構成
（１）全体の構成
（２）投光器１０２の投光の動作
（３）撮像素子１０３の詳細な構成
（４）フル解像度画像生成部１０５の詳細な構成
（５）信号処理部１０６の詳細な構成
３．処理の流れ
４．変形例
５．コンピュータの構成
＜１．偽色とアーチファクトの原理＞
　上述したように、所定の画像処理が施された画像に、実際には存在しない色が再現される偽色が発生する場合がある。図１は、偽色の例を示す図である。図１においては、枠Ａ，枠Ｂ，及び枠Ｃで囲まれた領域内に、実際には存在しない色が再現されている。
　また、画像処理によっては、処理した画像に、実際とは異なる模様が現れるアーチファクトが発生する場合がある。図２は、アーチファクトの例を示す図である。図２においては、枠Ａで囲まれた領域内に、実際とは異なる模様が現れている。
　このような偽色やアーチファクトが発生すると、その画像を見たユーザに対して、不快感を与えるほか、近年開発の進んでいるセンシング用途では、センシング性能の低下の要因となるため、偽色やアーチファクトの発生を抑制する必要がある。
　そこで、本技術では、図１に示した偽色や、図２に示したアーチファクトの発生を抑制するための高精度な画像処理の手法を提案する。以下、本技術による偽色やアーチファクトの発生を抑制するための画像処理の手法について説明する。
＜２．システムの構成＞
（１）全体の構成
（撮像装置の構成例）
　図３は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。
　撮像装置１０は、例えば、デジタルスチルカメラやデジタルビデオカメラ、スマートフォン、携帯電話機、タブレット端末装置などの撮像機能を有する電子機器である。
　図３において、撮像装置１０は、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。また、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６により、画像処理部１００が構成される。
　制御部１０１は、撮像装置１０の各部の動作を制御する。また、制御部１０１は、投光器１０２による投光の動作と、撮像素子１０３による撮像の動作とを同期させるための同期信号を生成し、投光器１０２及び撮像素子１０３にそれぞれ出力する。
　投光器１０２は、制御部１０１からの同期信号に従い、撮像素子１０３と同期して、各色フィルタの非可視光側の分光特性の揃っている波長（以下、投光波長という）帯の光を明滅投光する。この投光波長は、例えば、赤外光（IR光）の波長など、可視光とは別の波長帯（非可視光の波長帯）かならる。なお、投光器１０２による投光の動作の詳細については、図４及び図５を参照して後述する。
　撮像素子１０３は、被写体から反射した光（反射光）を受光し、その光を電気信号に変換して、画像信号を生成する。撮像素子１０３としては、例えば、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサを用いることができる。
　この撮像素子１０３には、二次元格子状に配列される複数の画素に対応して、各色の色フィルタ１１１が設けられている。例えば、色フィルタ１１１には、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）及びＷ（White：白）の各色の色フィルタが二次元状に配列されている。撮像素子１０３においては、この色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じたＲ画素、Ｇ画素、Ｂ画素及びＷ画素が、二次元格子状に配列されることになる。
　撮像素子１０３においては、これらの画素のそれぞれで光電変換したアナログの電気信号を、A/D(Analog to Digital)変換して、画素ごとにデジタル信号を画素信号として生成し、これらの画素信号を含む画像信号を生成する。
　また、撮像素子１０３は、制御部１０１からの同期信号に従い、投光器１０２と同期して、撮像の動作を行う。ここで、投光器１０２は、非可視光の波長帯の光（例えば赤外光）を明滅投光しているので、撮像素子１０３では、投光器１０２が点灯しているときに得られる画像（以下、投光画像という）と、投光器１０２が消灯しているときに得られる画像（以下、非投光画像という）の画像信号が生成される。
　撮像素子１０３においては、制御部１０１からの同期信号に従い、投光画像と非投光画像（の画像信号）が交互に生成され、順次、画像処理部１００（の遅延調整バッファ１０４）に出力される。なお、撮像素子１０３の詳細な構成については、図６及び図７を参照して後述する。
　また、撮像素子１０３においては、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設ける必要はない。
　画像処理部１００において、遅延調整バッファ１０４には、撮像素子１０３により生成された投光画像と非投光画像（の画像信号）が、順次書き込まれる。遅延調整バッファ１０４は、そこに書き込まれた投光画像と非投光画像の少なくとも一方を保持することで、同時に処理すべき投光画像と非投光画像の処理のタイミングを合わせる。
　このようにしてタイミングが合わされた投光画像と非投光画像は、後段のフル解像度画像生成部１０５により同時に読み出される。また、同時に読み出される投光画像と非投光画像のうち、非投光画像が、信号処理部１０６に供給される。ただし、後述するように、非投光画像の代わりに、投光画像が、信号処理部１０６に供給されるようにしてもよい。
　フル解像度画像生成部１０５は、遅延調整バッファ１０４から同時に読み出した投光画像と非投光画像を処理して、可視光の波長帯域の分光成分から得られる被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度の画像（以下、フル解像度画像という）を生成し、信号処理部１０６に供給する。
　ここで、フル解像度画像生成部１０５においては、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分をとることで、投光成分のみの画像が得られるので、この画像を、フル解像度画像とすることができる。すなわち、投光画像と非投光画像は、投光器１０２が、非可視光の波長帯域（例えば赤外光の帯域）で、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性の揃っている波長帯を投光波長として、光を明滅投光することで得られる画像であるため、フル解像度画像は、色フィルタ１１１における全ての色のフィルタを通過した光（赤外光）から得られる画素信号によって生成されることになる。
　そして、このようにして生成されるフル解像度画像は、各色フィルタの色成分ごとの画像（例えば、Ｒ，Ｇ，Ｂ，Ｗの画素信号に応じた画像）と比べて、解像度の高い画像となる。なお、フル解像度画像生成部１０５の詳細な構成については、図８乃至図１２を参照して後述する。
　信号処理部１０６には、遅延調整バッファ１０４から読み出される非投光画像と、フル解像度画像生成部１０５から出力されるフル解像度画像が同時に入力される。ここでは、フル解像度画像を生成するために用いられた非投光画像が、当該フル解像度画像と同時に入力されることになる。
　信号処理部１０６は、フル解像度画像に基づいて、非投光画像を処理して、出力画像を生成し、後段の回路（不図示）に出力する。例えば、出力画像は、ビューイング用途の（高解像度化された）カラー画像とすることができる。
　ここで、信号処理部１０６においては、非投光画像から得られる輝度画像（輝度信号）ではなく、フル解像度画像を用いることで、アーチファクトの発生を抑制することができる。また、信号処理部１０６では、フル解像度画像を用いて、非投光画像から得られる色画像に対する偽色の発生を抑制するための処理が行われる。したがって、信号処理部１０６から出力される出力画像は、偽色やアーチファクトの発生が抑制された画像となる。なお、信号処理部１０６の詳細な構成については、図１３乃至図１５を参照して後述する。
　撮像装置１０は、以上のように構成される。
　なお、図３の構成では、画像処理部１００が、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成されるとして説明したが、画像処理部１００を別装置として捉えるようにしてもよい。すなわち、画像処理部１００は、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６を有する画像処理装置とすることができる。ただし、この画像処理装置において、遅延調整バッファ１０４は必須ではなく、フル解像度画像生成部１０５に、同時に処理すべき投光画像と非投光画像が、所定のタイミングで入力されればよい。
　次に、図４乃至図１５を参照して、図３の撮像装置１０を構成する各部の詳細な処理内容について説明する。
（２）投光器１０２の投光の動作
　まず、図４及び図５を参照して、図３の投光器１０２による投光の動作について説明する。
（投光波長の例）
　図４は、投光器１０２により投光される光（赤外光）の投光波長の例を示す図である。図４において、横軸は波長λ(ｎｍ)を表しており、図中の左側から右側に向かうにつれて、その値が大きくなる。また、縦軸は、撮像素子１０３の色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光透過率（％）（分光特性）を表している。
　図４において、色フィルタ１１１のうち、Ｂフィルタは、短波長側の光を透過させる。ここで、短波長は、例えば、450～500ｎｍや400～500ｎｍ等の波長帯を表している。また、色フィルタ１１１のうち、Ｇフィルタは、中波長の光を透過させる。ここで、中波長は、例えば500～600ｎｍ等の波長帯を表している。さらに、色フィルタ１１１のうち、Ｒフィルタは、長波長側の光を透過させる。ここで、長波長は、例えば、600～650ｎｍや550～650ｎｍなどの波長帯を表している。
　また、色フィルタ１１１のうち、Ｗフィルタは、380～650ｎｍ等の波長帯の光（可視光）を透過させる。一方で、色フィルタ１１１の各色のフィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）は、非可視光側、すなわち、可視光よりも波長の長い赤外光の850ｎｍ近辺での分光特性が類似している（図中の四角の枠Ａ）。すなわち、色フィルタ１１１においては、可視光以外の帯域（赤外光の帯域）で、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性が揃っている。
　投光器１０２は、このような色フィルタ１１１の各色フィルタの分光特性に合わせて、投光波長として850ｎｍ近辺の波長帯の赤外光が投光されるようにする。例えば、投光器１０２は、非可視光の波長帯域の光を透過するフィルタ（例えばIRバンドパスフィルタ）により、分光特性が揃っている波長帯を生成し、さらに、その波長帯に絞った赤外光を投光することができる。なお、単に、フル解像度画像を得るだけの目的であれば、IRバンドパスフィルタは不要で、単に分光特性が揃っている波長に限定した光を投光すればよい。
（投光タイミングの例）
　図５は、投光器１０２により投光される光（赤外光）の投光タイミングを示すタイミングチャートである。なお、図５において、時間の方向は、図中の左側から右側に向かう方向とされる。
　図５には、図５のＡ乃至図５のＣのタイミングチャートによって、３種類の投光タイミングを例示している。ただし、投光器１０２による投光のタイミングと、撮像素子１０３の露光のタイミングは、制御部１０１からの同期信号によって、同期しているものとする。
　撮像素子１０３においては、時刻t1乃至時刻t5や、時刻t5乃至時刻t9などの1/30秒（33.3ミリ秒）の期間ごとに、露光期間と（電荷の）読み出し期間とが繰り返される。一方で、投光器１０２は、撮像素子１０３の露光のタイミングに一致するように、赤外光（投光波長の波長帯の光）を投光（明滅投光）する。
　したがって、図５のＡ乃至図５のＣのタイミングチャートにおいて、露光期間が、図中の白い部分（濃淡が付けられていない部分）で表され、読み出し期間が、図中の濃淡の部分で表されるとすれば、投光器１０２が赤外光を投光する期間（図中の「IR投光」に対応する斜線の領域）は、露光期間内に行われることになる。
　このように、露光期間内に、赤外光を投光（明滅投光）することで、投光器１０２が点灯しているときの被写体と、投光器１０２が消灯しているときの被写体とが交互に撮像されることになる。ここで、投光器１０２の点灯（オン）と消灯（オフ）のタイムラグは可能な限り小さいほうが好ましいが、例えば、1/30秒（33.3ミリ秒）の間に、高速に、投光器１０２の点灯と消灯を行い、それぞれのタイミングで得られる信号を、異なるメモリ部（バッファ）に加算蓄積することにより、投光器１０２の点灯と消灯のタイムラグを微小に抑えることができる。
　なお、複数の画素が二次元状に配列された撮像素子１０３においては、全画素同時に露光を開始し、全画素同時に露光を終了し、フォトダイオードに蓄積された電荷を、メモリ部や浮遊拡散領域へ順次転送することで、いわゆるグローバル露光が実現される。このグローバル露光により、全画素一致した露光期間による撮像が可能となって、いわゆるフォーカルプレーン歪みの発生を抑制することができる。
　以上のように、投光器１０２による投光のタイミングと、撮像素子１０３による露光のタイミングとが同期することで、撮像素子１０３により、投光器１０２が点灯しているときに得られる投光画像（の画像信号）と、投光器１０２が消灯しているときに得られる非投光画像（の画像信号）とが交互に生成されることになる。
　なお、図５のタイミングチャートに示した投光器１０２による投光のタイミングは一例であって、他のタイミングで、投光器１０２から赤外光が投光されるようにしてもよい。
（３）撮像素子１０３の詳細な構成
　次に、図６及び図７を参照して、図３の撮像素子１０３のより詳細な構成について説明する。
（色フィルタの配列の例）
　図６は、撮像素子１０３の色フィルタ１１１の各色フィルタの配列の例を示す図である。
　色フィルタ１１１は、図６のＡ乃至図６のＥに示すように、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタを少なくとも含み、さらにＷフィルタ又はIRフィルタを含めることも可能で、それらのフィルタが所定の規則に従い配列されている。なお、本実施の形態においては、色フィルタ１１１として、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタが配列されている場合を中心に説明している。
（Ａ）第１の色配列
　図６のＡの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
　ここで、図７の各色フィルタ１１１の分光特性に示すように、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）では、各色成分の光が透過されるだけでなく、投光器１０２から投光される赤外光も透過されることになる。すなわち、上述したように、投光器１０２では、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性（図７）に合わせて、例えば850ｎｍ近辺の波長帯の赤外光が投光されるため、撮像素子１０３では、分光特性が揃っている各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）によって、投光器１０２からの赤外光を透過することが可能となる。
　これにより、図６のＡの色フィルタ１１１において、Ｒフィルタを透過した光（赤色光と赤外光）から、ＲとIRの画素信号を得ることができる（図中の「R+IR」）。同様に、Ｇフィルタを透過した光（緑色光と赤外光）から、ＧとIRの画素信号を得ることができる（図中の「G+IR」）。
　また、Ｂフィルタを透過した光（青色光と赤外光）から、ＢとIRの画素信号を得ることができる（図中の「B+IR」）。同様に、Ｗフィルタを透過した光（白色光と赤外光）から、ＷとIRの画素信号を得ることができる（図中の「W+IR」）。
　このように、色フィルタ１１１として、図６のＡの配列を採用することで、撮像素子１０３では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。そして、この赤外光の成分の画素信号は、撮像素子１０３にて二次元状に配列された全ての画素から得られる画素信号であるため、この画素信号を含んで生成される画像信号は、高い解像度の画像とされる。
（Ｂ）第２の色配列
　図６のＢの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、Ｇフィルタ及びIRフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
　図６のＢの色フィルタ１１１においては、第１の色配列（図６のＡ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。ただし、IRフィルタでは、可視光は遮断され、投光器１０２からの赤外光のみが透過される。したがって、図６のＢの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
（Ｃ）第３の色配列
　図６のＣの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ、IRフィルタ、及び、Ｇフィルタからなる第２の行とが、交互に配列されている。また、図６のＣの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、IRフィルタとＧフィルタとが交互に配列されている。
　図６のＣの色フィルタ１１１においては、第１の色配列（図６のＡ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６のＣの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
（Ｄ）第４の色配列
　図６のＤの色フィルタ１１１においては、その列方向に、Ｒフィルタ、Ｗフィルタ、及び、Ｂフィルタからなる第１の行と、Ｗフィルタ及びＧフィルタからなる第２の行とが、交互に配列されている。また、図６のＤの色フィルタ１１１において、第１の行では、ＲフィルタとＢフィルタとが交互に配列され、かつ、第２の行では、ＷフィルタとＧフィルタとが交互に配列されている。
　図６のＤの色フィルタ１１１においては、第１の色配列（図６のＡ）の場合と同様に、各色フィルタが、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６のＤの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
（Ｅ）第５の色配列
　図６のＥの色フィルタ１１１においては、Ｒフィルタ、Ｇフィルタ、及び、Ｂフィルタからなる第１の行と、全てがＧフィルタからなる第２の行とが、交互に配列され、かつ、第１の行では、ＲフィルタとＢフィルタとが交互に配列されている。
　図６のＥの色フィルタ１１１においては、第１の色配列（図６のＡ）の場合と同様に、図７に示した分光特性を有しているので、各色成分の光とともに、投光器１０２からの赤外光が透過されることになる。したがって、図６のＥの色フィルタ１１１を有する撮像素子１０３では、全ての画素から得られる赤外光の成分の画素信号を用いて、高い解像度の画像（画像信号）を生成することができる。
　以上のように、撮像素子１０３においては、例えば、上述した第１の色配列乃至第５の色配列のいずれかの色配列を有する色フィルタ１１１を設けることで、色フィルタ１１１の各色に応じた画素から得られる各色成分（可視光の波長帯域の分光成分）の画素信号とともに、全ての画素から得られる赤外光の成分（非可視光の波長帯域の分光成分）の画素信号を生成することが可能となる。このとき、赤外光の成分の画素信号を含んで生成される画像信号は、高い解像度の画像とされる。
　なお、上述した第１の色配列乃至第５の色配列で示した色配列は一例であって、色フィルタ１１１では、他の色配列を採用するようにしてもよい。ただし、色フィルタ１１１においては、各色のフィルタの可視光以外の帯域（赤外光の帯域）で、分光特性が揃っていることが（必須の）要件となるが、それ以外は、各色のフィルタの配列に、アルゴリズム上の制限はない。
（４）フル解像度画像生成部１０５の詳細な構成
　次に、図８乃至図１２を参照して、図３のフル解像度画像生成部１０５の詳細な構成について説明する。ここでは、フル解像度画像を生成するフル解像度画像生成部１０５の一例として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明する。
（Ａ）第１の構成
　図８は、フル解像度画像生成部１０５Ａの構成例を示す図である。
　図８において、フル解像度画像生成部１０５Ａは、差分処理部１２１及び色フィルタ別感度ずれ補正部１２２から構成される。
　フル解像度画像生成部１０５Ａにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、差分処理部１２１に入力される。差分処理部１２１は、投光画像（の分光成分）と、非投光画像（の分光成分）との差分を求めることで、環境光の影響を取り除いた投光画像（以下、ピュア投光画像という）を生成し、色フィルタ別感度ずれ補正部１２２に供給する。
　ここで、図９のＡに示すように、投光画像は、撮像素子１０３（図３）の色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光（可視光の波長帯域の分光成分）から得られる画素信号と、非可視光側の赤外光（非可視光の波長帯域の分光成分）から得られる画素信号を用いて生成されることになる。また、非可視光側の赤外光には、投光器１０２から投光された赤外光の成分（図中の「投光IR」）だけでなく、環境光に含まれる赤外光の成分（図中の「環境IR」）が含まれている。
　一方で、図９のＢに示すように、非投光画像は、色フィルタ１１１のＲフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタにより透過される可視光側の各色成分の光から得られる画素信号と、非可視光側の赤外光から得られる画素信号を用いて生成されるが、投光器１０２からの赤外光が投光されていないため、非可視光側の赤外光には、環境光に含まれる赤外光の成分（図中の「環境IR」）のみが含まれることになる。
　そして、図９のＡの投光画像（の分光成分）と、図９のＢの非投光画像（の分光成分）との差分を求めれば、図９のＣに示すように、ピュア投光画像（の分光成分）において、可視光側の各色成分の光は、打ち消される一方で、非可視光側の赤外光は、環境光に含まれる赤外光の成分が取り除かれて、投光器１０２から投光された赤外光の成分（図中の「投光IR」）のみからなる。
　このように、差分処理を行うことで、環境光の影響を取り除くことができるが、これは、後段の色フィルタ別感度ずれ補正部１２２により実行される色フィルタ別感度ずれ補正処理において、環境光が、アーチファクトとして現れる場合があるため、このアーチファクトを除去することなどを目的としている。
　図８の説明に戻り、色フィルタ別感度ずれ補正部１２２は、差分処理部１２１から供給されるピュア投光画像に対して、色フィルタ別感度ずれ補正処理を行う。色フィルタ別感度ずれ補正部１２２は、色フィルタ別感度ずれ補正処理の結果得られる画像を、フル解像度画像として、信号処理部１０６（図３）に出力する。
　この色フィルタ別感度ずれ補正処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に応じた各色成分の画素ごとの感度のずれを除去するために、色フィルタごとのゲイン処理が行われる。例えば、上述した図９のＣのピュア投光画像（の分光成分）においては、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ、及び、Ｗフィルタの分光特性がずれている場合があるので、これらの色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを、色フィルタ別ゲイン処理により補正することになる。すなわち、当該色フィルタ別ゲイン処理を実行することで、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を、同一（又は許容範囲内）の分光特性に合わせこむことができる。
　例えば、図１０に示すように、色フィルタ別感度ずれ補正部１２２では、図１０のＡのピュア投光画像に対して、色フィルタ別感度ずれ補正処理の一例である色フィルタ別ゲイン処理を施すことで、図１０のＢのピュア投光画像が得られる。図１０のＢのピュア投光画像は、図１０のＡのピュア投光画像と比べて、色フィルタ別ゲイン処理により、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。
　以上のように、フル解像度画像生成部１０５Ａにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、さらに、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれが補正されることで、フル解像度画像が生成される。
　なお、差分処理部１２１により差分処理が実行されることで、環境光の影響を取り除き、ひいては、アーチファクトを除去することが可能となるが、例えば、環境光に対して、投光器１０２により投光される光（赤外光）が十分に明るいことが、ユースケース上担保できるのであれば、当該差分処理は不要となる。
　ただし、通常、可視光以外の波長の光の投光を用いた光彩認証などのアプリケーションは、環境光が強力な屋外などで環境光の影響を受けて正しく動作できなくなるが、この差分処理を実行すれば、環境光が大きい場合でも、その影響を除去でき、環境光の影響を受けることなく、適切な動作を行うことができる。また、例えば、比較的画質を重視するアプリケーションを用いる場合などにおいては、環境光が強いときに、アーチファクトが生じるリスクは回避せざるをえないという事情があるため、当該差分処理を実行することが望ましい。
　また、色フィルタ別感度ずれ補正部１２２により色フィルタ別感度ずれ補正処理が実行されることで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度のずれを補正することが可能となるが、例えば、色フィルタ１１１の各色フィルタの感度がずれていない理想的な状況を想定すれば、当然に当該補正処理は不要となる。ここで、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の感度がずれないようにするためには、例えば、色フィルタ１１１の材料を限定することが想定されるが、利用可能なアプリケーションの範囲を極端に狭めないようにするために、色フィルタ１１１の材料を限定しない場合には、当該補正処理を実行することが望ましい。
（Ｂ）第２の構成
　図１１は、フル解像度画像生成部１０５Ｂの構成例を示す図である。
　図１１において、フル解像度画像生成部１０５Ｂは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、及び、残パターン除去フィルタ１２３から構成される。なお、図１１のフル解像度画像生成部１０５Ｂにおいて、図８のフル解像度画像生成部１０５Ａと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　すなわち、図１１のフル解像度画像生成部１０５Ｂにおいては、図８のフル解像度画像生成部１０５Ａと比べて、色フィルタ別感度ずれ補正部１２２の後段に、残パターン除去フィルタ１２３が、新たに設けられている。
　この残パターン除去フィルタ１２３には、色フィルタ別感度ずれ補正部１２２から、色フィルタ別感度ずれ補正処理が施されたピュア投光画像が入力される。残パターン除去フィルタ１２３は、色フィルタ別感度ずれ補正後のピュア投光画像に対して、（わずかに）残ったパターン模様を除去するための残パターン除去処理をさらに実行する。
　この残パターン除去処理では、色フィルタ別感度ずれ補正後のピュア投光画像に対して、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去されることになる。
　以上のように、フル解像度画像生成部１０５Ｂにおいては、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。
　なお、さらに画質に強いこだわりがあるアプリケーションを用いる場合などにおいては、上述した色フィルタ別感度ずれ補正処理に加えて、この残パターン除去処理を実行することが望ましい。
（Ｃ）第３の構成
　図１２は、フル解像度画像生成部１０５Ｃの構成例を示す図である。
　図１２において、フル解像度画像生成部１０５Ｃは、差分処理部１２１、色フィルタ別感度ずれ補正部１２２、残パターン除去フィルタ１２３、及び、位置ずれ補正処理部１２４から構成される。なお、図１２のフル解像度画像生成部１０５Ｃにおいて、図１１のフル解像度画像生成部１０５Ｂと同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　すなわち、図１２のフル解像度画像生成部１０５Ｃにおいては、図１１のフル解像度画像生成部１０５Ｂと比べて、差分処理部１２１の前段に、位置ずれ補正処理部１２４が、新たに設けられている。
　フル解像度画像生成部１０５Ｃにおいては、同時に処理すべき投光画像と非投光画像が、遅延調整バッファ１０４（図３）から読み出され、位置ずれ補正処理部１２４に入力される。位置ずれ補正処理部１２４は、遅延調整バッファ１０４から読み出された投光画像と非投光画像との位置ずれを補正し、差分処理部１２１に供給する。
　この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対して、所定の領域からなるブロック単位でのマッチングを行い、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などを用いることで、投光画像と非投光画像の位置ずれが補正されることになる。
　なお、このブロックマッチングで用いられるブロックの単位としては、公知の技術と比べて比較的限定した領域とすることができる。また、このブロックマッチングを用いた手法は、位置ずれ補正処理の一例であって、他の公知の技術を用いて、位置ずれ補正処理が行われるようにしてもよい。
　以上のように、フル解像度画像生成部１０５Ｃにおいては、位置ずれ補正処理により、投光画像と非投光画像の位置ずれが補正された後に、投光画像（の分光成分）と非投光画像（の分光成分）との差分処理により、ピュア投光画像が生成され、色フィルタ別感度ずれ補正処理により、色フィルタ１１１の各色フィルタの感度のずれが補正され、さらに、残パターン除去処理により、色フィルタ別感度ずれ補正後のピュア投光画像にわずかに残るパターン模様が除去されることで、フル解像度画像が生成される。
　なお、位置ずれ補正処理部１２４により位置ずれ補正処理が実行されることで、投光画像と非投光画像との位置ずれを除去することが可能となるが、これは、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得するのが困難であるため、コストが許容される場合には、当該位置ずれ補正処理を実行することが望ましい。ただし、例えば、位置ずれを無視できるほどの微小なタイムラグで、投光画像と非投光画像を取得することができる場合などには、位置ずれ補正処理部１２４は、不要である。
　以上、図３のフル解像度画像生成部１０５として、フル解像度画像生成部１０５Ａ乃至１０５Ｃの構成を説明したが、これらの構成は一例であって、投光画像と非投光画像を用いて、フル解像度画像（白黒画像）を生成可能な構成であれば、上述した構成以外の他の構成を採用するようにしてもよい。
（５）信号処理部１０６の詳細な構成
　次に、図１３乃至図１５を参照して、図３の信号処理部１０６の詳細な構成について説明する。なお、ここでは、比較のため、図１３及び図１４を参照して、従来の信号処理部１０６Ｐについて説明した後に、図１５を参照して、本技術の信号処理部１０６（図３）について説明する。
（従来の構成）
　図１３は、従来の信号処理部１０６Ｐの構成を示す図である。
　図１３において、信号処理部１０６Ｐは、輝度生成部１３１、エッジ抽出部１３２、各色同時化部１３３、環境IR除去部１３４、エッジ合成部１３５、及び、カメラ信号処理部１３６から構成される。
　信号処理部１０６Ｐにおいては、輝度画像（輝度信号）のエッジ成分を抽出するための上側のパスと、低周波成分となる色画像（画像信号）から、環境光に含まれる赤外光の成分（環境IR）を除去するための下側のパスとに分けられ、それぞれのパスに対して、前段から非投光画像が入力される。
　上側のパスには、輝度生成部１３１とエッジ抽出部１３２が含まれる。輝度生成部１３１は、非投光画像に基づいて、輝度画像（輝度信号）を生成し、エッジ抽出部１３２に供給する。
　ここで、図１４に示すように、撮像素子１０３においては、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）のうち、Ｗフィルタが市松模様状に配列されているものとする。この場合に、輝度生成部１３１は、Ｗフィルタに対応するＷ画素が存在する座標では、当該Ｗ画素から得られるＷ画素信号を用いる一方で、Ｗ画素が存在しない座標では、所定の補間処理を適用することで、Ｗ画素信号（輝度信号）を求める。
　例えば、図１４において、３×３画素のうち、中心のＧ画素に注目すれば、当該Ｇ画素の座標では、上下左右方向に配列されたＷ画素（ＷA画素、ＷB画素、ＷC画素、及び、ＷD画素）から得られるＷ画素信号を用いて、例えば、下記の式（１）を演算することで、当該Ｇ画素の座標のＷ画素信号（輝度信号）が求められる。
　Ｗ' ＝（ＷA＋ＷB＋ＷC＋ＷD）／４　　　・・・（１）
　なお、上述した式（１）は、補間処理の一例であり、例えば、画質をより向上させるために、注目画素の周囲のＷ画素からエッジ方向に並ぶ２つの画素を選択して、その平均値を求める手法などを用いるようにしてもよい。
　また、ここでは、図１４に示した３×３画素の中心のＧ画素を一例に説明したが、Ｗ画素以外のＲ画素やＢ画素、他のＧ画素についても同様に、対象の画素の周辺のＷ画素のＷ画素信号を用いた所定の演算を行うことで、対象の画素に応じた座標のＷ画素信号（輝度信号）を求めることができる。このようにして生成される輝度画像（輝度信号）は、エッジ抽出部１３２に供給される。
　図１３の説明に戻り、エッジ抽出部１３２は、輝度生成部１３１から供給される輝度画像（輝度信号）に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１３５に供給する。
　一方で、下側のパスには、各色同時化部１３３と環境IR除去部１３４が含まれる。各色同時化部１３３は、非投光画像に基づいて、色フィルタ１１１の各色フィルタに対応する各色画素から得られる画素信号に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、環境IR除去部１３４に供給される。
　環境IR除去部１３４は、各色同時化部１３３から供給される各色画像に対して、所定の演算（行列演算）を行うことで、各色画像から、環境光に含まれる赤外光の成分（環境IR）を除去する。赤外光の成分が除去された各色画像は、エッジ合成部１３５に供給される。
　エッジ合成部１３５には、エッジ抽出部１３２からのエッジ情報と、環境IR除去部１３４からの（赤外光の成分が除去された）各色画像が入力される。エッジ合成部１３５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。
　カメラ信号処理部１３６は、エッジ合成部１３５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。
　従来の信号処理部１０６Ｐにおいては、以上のような信号処理が行われ、非投光画像から出力画像が生成されることになるが、輝度生成部１３１により輝度画像（輝度信号）が生成される際に、アーチファクトが発生する可能性がある。また、従来の信号処理部１０６Ｐにおいては、偽色を抑制するための処理が行われていないため、偽色が発生する可能性がある。一方で、本技術の信号処理部１０６では、偽色やアーチファクトの発生を抑制するための対策が施されている。次に、そのような対策が施された構成を有する本技術の信号処理部１０６について説明する。
（本技術の構成）
　図１５は、本技術の信号処理部１０６（図３）の構成を示す図である。
　図１５において、信号処理部１０６は、エッジ抽出部１４１、各色同時化部１４２、偽色抑制部１４３、非可視光成分除去部１４４、エッジ合成部１４５、及び、カメラ信号処理部１４６から構成される。
　信号処理部１０６においては、フル解像度画像生成部１０５から入力されるフル解像度画像のエッジ成分を抽出するための上側のパスと、非投光画像から得られる各色画像（画像信号）に対して、偽色を抑制する処理と、非可視光の成分を除去する処理を行うための下側のパスとに分けられる。
　上側のパスには、エッジ抽出部１４１が含まれる。エッジ抽出部１４１は、フル解像度画像に対して、ハイパスフィルタ処理を施すことで高周波成分のエッジを抽出し、そのエッジ抽出結果（エッジ情報）を、エッジ合成部１４５に供給する。
　ここで、上述した従来の信号処理部１０６Ｐ（図１３）では、輝度生成部１３１により輝度画像（輝度信号）が生成される際にアーチファクトが発生する可能性があるが、本技術の信号処理部１０６（図１５）においては、輝度画像（輝度信号）の代わりに、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。
　一方で、下側のパスには、各色同時化部１４２、偽色抑制部１４３、及び、非可視光成分除去部１４４が含まれる。各色同時化部１４２は、遅延調整バッファ１０４から読み出される非投光画像に基づいて、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施す。このローパスフィルタ処理で得られる、低周波成分の各色画像は、偽色抑制部１４３に供給される。
　偽色抑制部１４３には、各色同時化部１４２からの各色画像と、フル解像度画像生成部１０５（図３）からのフル解像度画像が入力される。偽色抑制部１４３は、フル解像度画像を用いて各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。
　ここで、偽色は、画素が間引かれることで、高周波成分が、低周波側に「折り返る」ことで発生するものである。したがって、各色画像では、「折り返り」が発生する場合がある。一方で、フル解像度画像は、全ての画素が揃っているため、「折り返り」が発生することはない。
　偽色抑制処理では、フル解像度画像と各色画像の模様が類似しているという仮定を前提して、フル解像度画像を各色画像と同じように間引いて、各色画像で発生している「折り返り」と同一の「折り返り」をわざと発生させて、その折り返りの量を計測（推定）する。そして、偽色抑制処理では、計測（推定）された折り返りの量に応じて、各色画像で発生している「折り返り」を相殺することで、偽色の発生を抑制することが可能となる。
　偽色抑制部１４３により処理された各色画像は、非可視光成分除去部１４４に供給される。非可視光成分除去部１４４は、各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、例えば、信号処理部１０６に、非投光画像が入力された場合、非可視光としては、環境光に含まれる赤外光があるので、各色画像に対して、所定の演算（行列演算）を行うことで、この環境光の赤外光の成分（環境IR）が除去される。非可視光成分除去処理によって非可視光の成分が除去された各色画像は、エッジ合成部１４５に供給される。
　なお、非可視光成分除去部１４４により非可視光成分除去処理を行い、各色画像における非可視光の成分を除去する理由であるが、次の通りである。すなわち、上述したように、撮像素子１０３（図３）において、非可視光の波長帯域の光（例えば赤外光）に応じた画像信号を生成する必要があるため、通常のカメラで設けられている非可視光の波長帯域の光をカットするフィルタ（例えばIRカットフィルタ）を設けることができないため、ここでは、信号処理によって非可視光成分が除去されるようにしている。
　また、詳細は、図２５を参照して後述するが、信号処理部１０６には、非投光画像の代わりに、投光画像が入力される場合もあり、この場合の非可視光としては、環境光に含まれる赤外光のほかに、投光器１０２から投光された赤外光もあるので、この場合には、環境光の赤外光の成分（環境IR）と、投光された赤外光の成分（投光IR）が除去されることになる。
　エッジ合成部１４５には、エッジ抽出部１４１からのエッジ情報と、非可視光成分除去部１４４からの（非可視光成分が除去された）各色画像が入力される。エッジ合成部１４５は、各色画像の色成分（低周波成分）に、エッジ情報を合成することで、高解像度化された高解像度化画像（画像信号）を生成し、カメラ信号処理部１３６に供給する。なお、エッジ合成部１４５の出力としては、例えば、RGBの画像信号や、ベイヤー配列の画像信号などとすることができる。
　カメラ信号処理部１４６は、エッジ合成部１４５から供給される高解像度化画像（画像信号）に対して、一般的なカメラ信号処理を行う。このカメラ信号処理としては、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などが行われる。そして、このカメラ信号処理を施すことで得られる出力画像は、後段の回路に出力される。なお、信号処理部１０６においては、カメラ信号処理部１４６を含めない構成としてもよい。
　以上のように、本技術の信号処理部１０６においては、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）を用いるのではなく、フル解像度画像生成部１０５から入力されるフル解像度画像を用いてエッジを抽出しているので、アーチファクトの発生を抑制することができる。また、本技術の信号処理部１０６においては、偽色抑制部１４３によって、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて各色画像が処理されることで偽色抑制処理が行われるので、偽色の発生を抑制することができる。
　なお、従来の輝度生成部１３１（図１３）による輝度生成処理において、フル解像度画像生成部１０５により生成されるフル解像度画像（ピュア投光画像）をガイドとして用いることで、アーチファクトの発生を抑制するようにしてもよい。
　例えば、従来の輝度生成部１３１（図１３）においては、注目画素の周囲のＷ画素からエッジ方向に並ぶ画素を選択してフィルタをかけることにより、Ｗ画素が補間されるが、高周波成分の模様があると、エッジ方向が判定できなくなり、その結果としてアーチファクトを発生させてしまう場合がある。この場合において、Ｗ画素を補間する際のエッジ方向の検波用に、フル解像度画像を用いることで、正しいエッジ方向を求めることができる。このように、フル解像度画像を、いわばガイドとして用いてエッジ方向を求めて、Ｗ画素を補間することで、アーチファクトの発生を抑制し、画質を向上させることができる。
＜３．処理の流れ＞
（画像処理の流れ）
　次に、図１６のフローチャートを参照して、図３の撮像装置１０により実行される画像処理の流れについて説明する。
　ステップＳ１０１において、投光器１０２は、制御部１０１からの制御に従い、赤外光の投光のタイミングであるかどうかを判定する。
　ステップＳ１０１において、赤外光の投光のタイミングであると判定された場合、処理は、ステップＳ１０２に進められる。ステップＳ１０２において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光を投光する。すなわち、この場合、投光器１０２による赤外光の投光がオンされる。
　一方、ステップＳ１０１において、赤外光の投光のタイミングではないと判定された場合、処理は、ステップＳ１０３に進められる。ステップＳ１０３において、投光器１０２は、制御部１０１からの同期信号に従い、赤外光の投光を停止する。すなわち、この場合、投光器１０２による赤外光の投光がオフされる。
　すなわち、ステップＳ１０１の判定結果に応じて、投光器１０２がオン／オフされることで（Ｓ１０２，Ｓ１０３）、投光波長の波長帯の光が、投光器１０２から明滅投光されることになる。ステップＳ１０２又はステップＳ１０３の処理が終了すると、処理は、ステップＳ１０４に進められる。
　ステップＳ１０４において、撮像素子１０３は、制御部１０１からの同期信号に従い、被写体の撮像を行う。ステップＳ１０５においては、ステップＳ１０４の処理で撮像された撮像画像が１フレーム目であるかどうかが判定される。
　ステップＳ１０５において、撮像画像が１フレーム目であると判定された場合、すなわち、遅延調整バッファ１０４に、同時に処理すべき投光画像と非投光画像が保持されていないと判定された場合、処理は、ステップＳ１０６に進められる。ステップＳ１０６において、撮像素子１０３は、遅延調整バッファ１０４に、ステップＳ１０４の処理で撮像された撮像画像を上書きする。これにより、遅延調整バッファ１０４には、投光画像又は非投光画像のいずれか一方が保持される。
　ステップＳ１０５の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。
　そして、ステップＳ１０５において、撮像画像が１フレーム目ではないと判定された場合、処理は、ステップＳ１０７に進められる。この場合、遅延調整バッファ１０４には、ステップＳ１０４の処理で撮像された撮像画像が書き込まれ、同時に処理すべき投光画像と非投光画像が保持されていることになる。
　ステップＳ１０７において、フル解像度画像生成部１０５は、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出す。
　ステップＳ１０８において、フル解像度画像生成部１０５は、ステップＳ１０７の処理で読み出した投光画像と非投光画像を用いて、フル解像度画像生成処理を行う。このフル解像度画像生成処理では、例えば、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理などが行われることで、フル解像度画像が生成される。なお、このフル解像度画像生成処理の詳細な内容については、図１７のフローチャートを参照して後述する。
　ステップＳ１０９において、信号処理部１０６は、ステップＳ１０８の処理で生成されたフル解像度画像を用いて、非投光画像（又は投光画像）を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から、出力画像が生成される。なお、この信号処理の詳細な内容については、図２０のフローチャートを参照して後述する。
　ステップＳ１０９の処理が終了すると、処理は、ステップＳ１１０に進められる。ステップＳ１１０において、処理を継続すると判定された場合、処理は、ステップＳ１０１に戻り、上述した処理が繰り返される。そして、ステップＳ１１０において、処理を終了すると判定された場合、図１６の画像処理は終了される。
　以上、画像処理の流れについて説明した。この画像処理においては、フル解像度画像生成処理（Ｓ１０８）によって、投光画像と非投光画像からフル解像度画像が生成され、信号処理（Ｓ１０９）によって、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。
　すなわち、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生を抑制することができる。このように、図１６の画像処理においては、偽色やアーチファクトの発生を抑制するための高精度な画像処理が行われるため、画像（出力画像）を見たユーザに対して不快感を与えることはない。また、例えば、近年開発の進んでいるセンシング用途で、フル解像度画像を利用すれば、センシング性能の低下を抑制することができる。
（フル解像度画像生成処理の流れ）
　ここで、図１７のフローチャートを参照して、図１６のステップＳ１０８の処理に対応するフル解像度画像生成処理の詳細な処理内容について説明する。
　ステップＳ１２１において、位置ずれ補正処理部１２４は、ステップＳ１０７の処理（図１６）で遅延調整バッファ１０４から読み出された投光画像と非投光画像の位置ずれを補正する位置ずれ補正処理を行う。
　この位置ずれ補正処理では、例えば、投光画像及び非投光画像に対するブロック単位でのマッチングが行われ、対象のブロックごとに画像を変形することで動きを相殺する手法や、マッチングの結果を統合して画像全体のずれ量を算出して除去する手法などが用いられることで、投光画像と非投光画像の位置ずれが補正される。
　ステップＳ１２２において、差分処理部１２１は、ステップＳ１２１の処理で位置ずれが補正された投光画像（の分光成分）と非投光画像（の分光成分）との差分を求める差分処理を行う。
　この差分処理では、例えば、上述した図９に示したように、投光画像（の分光成分）と非投光画像（の分光成分）との差分を求めることで、環境光の影響が取り除かれたピュア投光画像が生成される。
　ステップＳ１２３において、色フィルタ別感度ずれ補正部１２２は、ステップＳ１２２の処理で生成されたピュア投光画像に対して、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）応じた各色成分の画素ごとの感度のずれを除去する色フィルタ別感度ずれ補正処理を行う。
　この色フィルタ別感度ずれ補正処理では、例えば、各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）の分光特性を同一（又は許容範囲内）の分光特性に合わせこむ色フィルタ別ゲイン処理が行われる。これにより、ピュア投光画像は、色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）ごとの微妙な感度比が補償された画像となる。
　ステップＳ１２４において、残パターン除去フィルタ１２３は、ステップＳ１２３の処理で補正されたピュア投光画像に対して、（わずかに）残ったパターンを除去する残パターン除去処理を行う。
　この残パターン除去処理では、例えば、高周波の成分を失わないように、エッジ方向に応じた狭い範囲（例えば３タップ程度）のフィルタをかけることで、（わずかに）残ったパターンが除去される。なお、ステップＳ１２４の処理が終了すると、処理は、図１６のステップＳ１０８に戻り、それ以降の処理が実行される。
　以上、フル解像度画像生成処理の流れについて説明した。このフル解像度画像生成処理においては、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理が実行されることで、投光画像と非投光画像から、フル解像度画像が生成される。
　図１８及び図１９には、図１７のフル解像度画像生成処理を実行することで、フル解像度画像として生成されるピュア投光画像の例を示している。なお、図１８及び図１９には、比較のため、従来の信号処理部１０６Ｐ（図１３）の輝度生成部１３１で生成される輝度画像（輝度信号）が図示されている。
　図１８において、図１８のＡは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の多重の円における密度が高い側の半円には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１８のＢは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の多重の円における密度が高い側の半円においても、正確な模様が現れている。
　また、図１９において、図１９のＡは、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）であり、図中の帯状に記された複数の線種からなる多数の線の一部には、実際とは異なる模様が現れ、アーチファクトが発生している。一方で、図１９のＢは、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）であるが、図中の帯状に記された多数の線が、正確に現れている。
　このように、従来の信号処理部１０６Ｐ（図１３）において、輝度生成部１３１（図１３）により生成される輝度画像（輝度信号）には、アーチファクトが発生していたが、本技術の信号処理部１０６においては、フル解像度画像生成部１０５（図３）により生成されるピュア投光画像（フル解像度画像）を用いてエッジ情報を抽出するため、アーチファクトの発生を抑制することができる。
　なお、上述したように、位置ずれ補正処理、差分処理、色フィルタ別感度ずれ補正処理、及び、残パターン除去処理は、フル解像度画像生成処理の一例であって、それらの処理の全てを実行する必要はなく、また、他の処理が行われるようにしてもよい。
（信号処理の流れ）
　次に、図２０のフローチャートを参照して、図１６のステップＳ１０９の処理に対応する信号処理の詳細な処理内容について説明する。
　ステップＳ１３１において、エッジ抽出部１４１は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像からエッジ情報を抽出するエッジ抽出処理を行う。このエッジ抽出処理では、フル解像度画像に対して、ハイパスフィルタ処理が施され、高周波成分のエッジが抽出されることで、エッジ情報が得られる。
　ステップＳ１３２において、各色同時化部１４２は、ステップＳ１０７の処理（図１６）で読み出された非投光画像を用いて、各色同時化処理を行う。この各色同時化処理では、色フィルタ１１１の各色フィルタ（Ｒ，Ｇ，Ｂ，Ｗフィルタ）に対応する各色画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素）から得られる画素信号（R+IR，G+IR，B+IR，W+IR）に対して、同色のみを用いたローパスフィルタ処理を施すことで、低周波成分の各色画像が得られる。
　ステップＳ１３３において、偽色抑制部１４３は、ステップＳ１０８の処理（図１６）で生成されたフル解像度画像を用いて、ステップＳ１３２の処理で得られる各色画像を処理することで、偽色の発生を抑制する偽色抑制処理を行う。例えば、この偽色抑制処理では、フル解像度画像を用いて、各色画像で生じる折り返りの量を推定し、その推定された折り返りの量に応じて、各色画像で生じている折り返りを相殺することで、偽色の発生を抑制する。
　ステップＳ１３４において、非可視光成分除去部１４４は、ステップＳ１３３の処理で偽色の発生が抑制された各色画像における非可視光の成分を除去する非可視光成分除去処理を行う。この非可視光成分除去処理では、偽色の発生が抑制された各色画像に対して、所定の演算（行列演算）を行うことで、環境光に含まれる赤外光の成分（環境IR）が除去される。
　ステップＳ１３５において、エッジ合成部１４５は、ステップＳ１３４の処理で非可視光成分が除去された各色画像の色成分（低周波成分）に、ステップＳ１３１の処理で抽出されたエッジ情報を合成するエッジ合成処理を行うことで、高解像度化された高解像度化画像（画像信号）を生成する。
　ステップＳ１３６において、カメラ信号処理部１４６は、ステップＳ１３５の処理で得られた高解像度化画像（画像信号）に対するカメラ信号処理を行うことで、出力画像を生成する。このカメラ信号処理では、例えば、ホワイトバランス処理や、デモザイク処理、リニアマトリックス演算処理、ガンマ補正処理、YC変換処理などの一般的なカメラ信号処理が行われる。なお、ステップＳ１３６の処理が終了すると、処理は、図１６のステップＳ１０９に戻り、それ以降の処理が実行される。
　以上、信号処理の流れについて説明した。この信号処理においては、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）や、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）などの処理が行われ、フル解像度画像と非投光画像（又は投光画像）から出力画像が生成される。ここでは、フル解像度画像を用いたエッジの抽出処理（Ｓ１３１）を行うことで、アーチファクトの発生を抑制することができる。また、フル解像度画像を用いた偽色抑制処理（Ｓ１３３）を行うことで、偽色の発生を抑制することができる。
＜４．変形例＞
　ところで、上述した撮像装置１０は、図３に示した構成に限らず、他の構成を採用するようにしてもよい。そこで、次に、図２１乃至図２５を参照して、図３の撮像装置１０の変形例について説明する。
（Ａ）第１の他の構成
　図２１は、撮像装置１０Ａの構成例を示す図である。なお、図２１の撮像装置１０Ａにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　図２１において、撮像装置１０Ａは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、及び、フル解像度画像生成部１０５から構成される。すなわち、図２１の撮像装置１０Ａにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５の後段に設けられていた信号処理部１０６が取り除かれている点が異なっている。
　ここで、カラー画像を生成してビューイング用途に用いるのではなく、例えば、センシング用途での白黒画像（輝度画像）を生成するのであれば、信号処理部１０６による信号処理を行わずに、フル解像度画像（白黒画像）をそのまま出力すればよいので、撮像装置１０Ａにおいては、フル解像度画像生成部１０５により生成されるフル解像度画像が出力されるようにしている。
　以上のように、撮像装置１０Ａにおいては、センシング用途で用いられる白黒画像（輝度画像）として、アーチファクトの発生が抑制されたフル解像度画像が出力されるようにすることで、センシング性能の低下を抑制することができる。なお、センシング用途でのフル解像度画像を生成する場合、投光器１０２において、投光波長に対するフィルタ（IRバンドパスフィルタ）は不要となる。
（Ｂ）第２の他の構成
　図２２は、撮像装置１０Ｂの構成例を示す図である。なお、図２２の撮像装置１０Ｂにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　図２２において、撮像装置１０Ｂは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
　すなわち、図２２の撮像装置１０Ｂにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５が、遅延調整バッファ１０４から、同時に処理すべき投光画像と非投光画像を読み出すに際して、１枚の投光画像ではなく、２枚以上の投光画像が読み出される点が異なっている。フル解像度画像生成部１０５では、複数枚の投光画像を用いて投光画像の精度を上げることで、結果として、生成されるフル解像度画像の精度を向上させることができる。
　フル解像度画像生成部１０５は、遅延調整バッファ１０４から読み出される、複数枚の投光画像と１枚の非投光画像を処理して、フル解像度画像を生成する。ここでは、例えば、複数枚の投光画像から平均的な投光画像を求めて、その平均的な投光画像（の分光成分）と非投光画像（の分光成分）との差分処理などを行うことで、フル解像度画像が生成される。
　以上のように、撮像装置１０Ｂにおいては、複数枚の投光画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。なお、撮像装置１０Ｂにおいては、複数枚の投光画像を用いる場合の例を示したが、複数枚の非投光画像を用いてフル解像度画像が生成されるようにしてもよい。つまり、フル解像度画像が生成される際に用いられる投光画像と非投光画像の枚数は任意である。
（Ｃ）第３の他の構成
　図２３は、撮像装置１０Ｃの構成例を示す図である。なお、図２３の撮像装置１０Ｃにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　図２３において、撮像装置１０Ｃは、図３の撮像装置１０と比べて、撮像素子１０３の代わりに、撮像素子１０３－１及び撮像素子１０３－２が設けられ、さらに、撮像素子１０３－２の光（反射光）の入射側に、IRカットフィルタ１１２が設けられる点が異なっている。また、撮像装置１０Ｃでは、フル解像度画像生成部１０５の前段に設けられていた遅延調整バッファ１０４が取り除かれている。
　撮像素子１０３－１は、投光器１０２から投光される赤外光を含む光（反射光）から得られる投光画像を生成し、フル解像度画像生成部１０５に出力する。一方で、撮像素子１０３－２は、IRカットフィルタ１１２により赤外光がカットされた光（反射光）から得られる非投光画像を生成し、フル解像度画像生成部１０５に出力する。
　フル解像度画像生成部１０５には、撮像素子１０３－１からの投光画像と、撮像素子１０３－２からの非投光画像が入力される。フル解像度画像生成部１０５は、異なる撮像素子１０３（１０３－１，１０３－２）から入力される投光画像と非投光画像を処理して、フル解像度画像を生成する。
　以上のように、撮像装置１０Ｃにおいては、撮像素子１０３－１により生成される投光画像と、撮像素子１０３－２により生成される非投光画像が、同一のタイミングで、フル解像度画像生成部１０５に入力されるため、遅延調整バッファ１０４（図３）は不要となる。また、図３の撮像装置１０では、投光画像と非投光画像とが交互に生成されていたため、同時に処理される投光画像と非投光画像とのタイムラグを小さくする必要があったが、撮像装置１０Ｃでは、投光画像と非投光画像とが異なる撮像素子１０３（１０３－１，１０３－２）で生成されるため、フル解像度画像生成部１０５に入力される投光画像と非投光画像とを、高精度に同期させることができる。
（Ｄ）第４の他の構成
　図２４は、撮像装置１０Ｄの構成例を示す図である。なお、図２４の撮像装置１０Ｄにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　図２４において、撮像装置１０Ｄは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
　すなわち、図２４の撮像装置１０Ｄにおいては、図３の撮像装置１０と比べて、フル解像度画像生成部１０５により生成されたフル解像度画像が、遅延調整バッファ１０４にフィードバックされる点が異なっている。フル解像度画像生成部１０５では、遅延調整バッファ１０４から（フィードバックされた）フル解像度画像を読み出して処理することで、それ以降に生成されるフル解像度画像の精度を向上させることができる。
　以上のように、撮像装置１０Ｄにおいては、フィードバックされたフル解像度画像を用いて、より精度の高いフル解像度画像を生成することができるので、より高精度に、偽色やアーチファクトを除去することができる。
（Ｅ）第５の他の構成
　図２５は、撮像装置１０Ｅの構成例を示す図である。なお、図２５の撮像装置１０Ｅにおいて、図３の撮像装置１０と同一の部分には、同一の符号が付してあり、その説明は適宜省略する。
　図２５において、撮像装置１０Ｅは、制御部１０１、投光器１０２、撮像素子１０３、遅延調整バッファ１０４、フル解像度画像生成部１０５、及び、信号処理部１０６から構成される。
　すなわち、図２５の撮像装置１０Ｅにおいては、図３の撮像装置１０と比べて、信号処理部１０６に対して、非投光画像の代わりに、投光画像が入力される点が異なっている。信号処理部１０６は、フル解像度画像生成部１０５から入力されるフル解像度画像を用いて、遅延調整バッファ１０４から読み出された投光画像を処理する信号処理を行う。この信号処理では、例えば、フル解像度画像を用いたエッジの抽出処理や偽色抑制処理などの処理が行われ、フル解像度画像と投光画像から、出力画像が生成される。
　以上のように、撮像装置１０Ｅにおいては、信号処理部１０６によって、フル解像度画像と投光画像を用いた信号処理が行われ、偽色やアーチファクトの発生が抑制された出力画像が出力されることになる。ここでは、フル解像度画像を用いたエッジの抽出処理を行うことで、アーチファクトの発生が抑制される。また、フル解像度画像を用いた偽色抑制処理を行うことで、偽色の発生が抑制される。
（Ｆ）その他の構成
　なお、図２１乃至図２５に示した撮像装置１０（図３）の変形例は一例であって、さらに他の構成を採用することもできる。例えば、投光器１０２と撮像素子１０３とは、制御部１０１からの同期信号に従い、同期して動作するが、撮像素子１０３において二次元格子状に配列される画素ごとに、投光器１０２から投光される光の波長を変えるようにしてもよい。この場合、画素ごとに、投光器１０２の点灯（オン）と消灯（オフ）を切り替えることができる。また、この場合には、色フィルタ１１１の各色フィルタ（例えば、Ｒ，Ｇ，Ｂ，Ｗフィルタ）の非可視光側の分光特性を揃えなくてもよい。
＜５．コンピュータの構成＞
　上述した一連の処理（図１６の画像処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記憶されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　ここで、本明細書において、コンピュータ１０００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
　また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
　画像処理装置。
（２）
　投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
　（１）に記載の画像処理装置。
（３）
　前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
　（２）に記載の画像処理装置。
（４）
　生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
　（３）に記載の画像処理装置。
（５）
　前記信号処理部は、
　　前記高解像度画像からエッジ情報を抽出し、
　　前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
　　前記色画像から非可視光の成分を除去し、
　　非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
　ことで、前記出力画像を生成する
　（４）に記載の画像処理装置。
（６）
　前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
　（５）に記載の画像処理装置。
（７）
　前記信号処理部は、
　　前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
　　推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
　ことで、偽色の発生を抑制する
　（６）に記載の画像処理装置。
（８）
　前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
　（３）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
　（８）に記載の画像処理装置。
（１０）
　前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
　（９）に記載の画像処理装置。
（１１）
　前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
　（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
　前記非可視光は、赤外光である
　（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
　前記出力画像は、ビューイング用のカラー画像である
　（４）に記載の画像処理装置。
（１４）
　前記高解像度画像は、センシング用の白黒画像である
　（１）に記載の画像処理装置。
（１５）
　画像処理装置の画像処理方法において、
　前記画像処理装置が、
　非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
　ステップを含む画像処理方法。
（１６）
　各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
　前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
　前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
　を備える撮像装置。
（１７）
　前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
　（１６）に記載の撮像装置。
（１８）
　生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
　（１７）に記載の撮像装置。
（１９）
　前記信号処理部は、
　　前記高解像度画像からエッジ情報を抽出し、
　　前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
　　前記色画像から非可視光の成分を除去し、
　　非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
　ことで、前記出力画像を生成する
　（１８）に記載の撮像装置。
（２０）
　前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
　（１９）に記載の撮像装置。
　１０，１０Ａ乃至１０Ｅ　撮像装置，　１００　画像処理部，　１０１　制御部，　１０２　投光器，　１０３，１０３－１，１０３－２　撮像素子，　１０４　遅延調整バッファ，　１０５，１０５Ａ乃至１０５Ｃ　フル解像度画像生成部，　１０６　信号処理部，　１１１，１１１－１，１１１－２　色フィルタ，　１１２　IRカットフィルタ，　１２１　差分処理部，　１２２　色フィルタ別感度ずれ補正部，　１２３　残パターン除去フィルタ，　１２４　位置ずれ補正処理部，　１４１　エッジ抽出部，　１４２　各色同時化部，　１４３　偽色抑制部，　１４４　非可視光成分除去部，　１４５　エッジ合成部，　１４６　カメラ信号処理部，　１０００　コンピュータ，　１００１　CPU

Claims (20)

  1. 　非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部を備える
    　画像処理装置。
  2. 　投光される光の投光波長は、前記被写体を撮像する撮像素子の各色フィルタの非可視光側の分光特性に応じた波長帯からなる
    　請求項１に記載の画像処理装置。
  3. 　前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
    　請求項２に記載の画像処理装置。
  4. 　生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
    　請求項３に記載の画像処理装置。
  5. 　前記信号処理部は、
    　　前記高解像度画像からエッジ情報を抽出し、
    　　前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
    　　前記色画像から非可視光の成分を除去し、
    　　非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
    　ことで、前記出力画像を生成する
    　請求項４に記載の画像処理装置。
  6. 　前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
    　請求項５に記載の画像処理装置。
  7. 　前記信号処理部は、
    　　前記高解像度画像を用いて、前記色画像で生じる折り返りの量を推定し、
    　　推定された折り返りの量に応じて、前記色画像で生じている折り返りを相殺する
    　ことで、偽色の発生を抑制する
    　請求項６に記載の画像処理装置。
  8. 　前記画像生成部は、同時に処理すべき前記投光画像と前記非投光画像との位置ずれを補正した後に、前記投光画像の分光成分と、前記非投光画像の分光成分との差分により得られる差分画像に応じた前記高解像度画像を生成する
    　請求項３に記載の画像処理装置。
  9. 　前記画像生成部は、前記差分画像を処理して、前記色フィルタごとの分光特性のずれを補正する
    　請求項８に記載の画像処理装置。
  10. 　前記画像生成部は、前記色フィルタの分光特性のずれが補正された前記差分画像を処理して、前記差分画像に残ったパターン模様を除去する
    　請求項９に記載の画像処理装置。
  11. 　前記投光画像又は前記非投光画像を保持して、同時に処理すべき前記投光画像と前記非投光画像との処理のタイミングを合わせるバッファをさらに備える
    　請求項８に記載の画像処理装置。
  12. 　前記可視光は、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）の成分の光を含み、
    　前記非可視光は、赤外光である
    　請求項１に記載の画像処理装置。
  13. 　前記出力画像は、ビューイング用のカラー画像である
    　請求項４に記載の画像処理装置。
  14. 　前記高解像度画像は、センシング用の白黒画像である
    　請求項１に記載の画像処理装置。
  15. 　画像処理装置の画像処理方法において、
    　前記画像処理装置が、
    　非可視光の波長帯域の光を被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する
    　ステップを含む画像処理方法。
  16. 　各色の非可視光側の分光特性が揃っている色フィルタを有し、被写体を撮像する撮像素子と、
    　前記色フィルタの非可視光側の分光特性に応じた波長帯からなる投光波長の光を前記被写体に投光する投光部と、
    　前記投光波長の光を前記被写体に投光することで得られる投光画像に基づいて、可視光の波長帯域の分光成分から得られる前記被写体の画像よりも高い解像度となる、非可視光の波長帯域の分光成分から得られる高解像度画像を生成する画像生成部と
    　を備える撮像装置。
  17. 　前記画像生成部は、前記投光画像の分光成分と、非可視光の波長帯域の光を投光しないときに得られる非投光画像の分光成分との差分を求めることで、前記高解像度画像を生成する
    　請求項１６に記載の撮像装置。
  18. 　生成された前記高解像度画像に基づいて、前記投光画像又は前記非投光画像を処理して、出力画像を生成する信号処理部をさらに備える
    　請求項１７に記載の撮像装置。
  19. 　前記信号処理部は、
    　　前記高解像度画像からエッジ情報を抽出し、
    　　前記投光画像又は前記非投光画像から色の成分を含む色画像を生成し、
    　　前記色画像から非可視光の成分を除去し、
    　　非可視光の成分が除去された前記色画像と前記エッジ情報とを合成する
    　ことで、前記出力画像を生成する
    　請求項１８に記載の撮像装置。
  20. 　前記信号処理部は、前記高解像度画像を用いて前記色画像を処理することで、偽色の発生を抑制する
    　請求項１９に記載の撮像装置。
PCT/JP2017/000011 2016-01-15 2017-01-04 画像処理装置、画像処理方法、及び、撮像装置 WO2017122553A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/065,537 US11218679B2 (en) 2016-01-15 2017-01-04 Image processing device, image processing method, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016006374A JP2017126954A (ja) 2016-01-15 2016-01-15 画像処理装置、画像処理方法、及び、撮像装置
JP2016-006374 2016-01-15

Publications (1)

Publication Number Publication Date
WO2017122553A1 true WO2017122553A1 (ja) 2017-07-20

Family

ID=59311065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000011 WO2017122553A1 (ja) 2016-01-15 2017-01-04 画像処理装置、画像処理方法、及び、撮像装置

Country Status (3)

Country Link
US (1) US11218679B2 (ja)
JP (1) JP2017126954A (ja)
WO (1) WO2017122553A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374776A (zh) * 2020-10-15 2022-04-19 华为技术有限公司 摄像机以及摄像机的控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
JP2010147878A (ja) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd 撮像装置
JP2013211836A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP2015222916A (ja) * 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271413A (ja) * 2007-04-24 2008-11-06 Olympus Corp 画像表示装置、撮像装置、処理プログラム、画像表示装置の制御方法
JP5282434B2 (ja) * 2008-04-01 2013-09-04 セイコーエプソン株式会社 画像処理装置、画像表示装置及び画像処理方法
JP5211992B2 (ja) * 2008-09-30 2013-06-12 セイコーエプソン株式会社 画像処理装置、画像表示装置及び画像処理方法
JP5320940B2 (ja) * 2008-09-30 2013-10-23 セイコーエプソン株式会社 画像処理装置及び画像表示装置
JP5485004B2 (ja) 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
JP5983082B2 (ja) * 2012-06-21 2016-08-31 セイコーエプソン株式会社 表示制御回路、表示装置、及び、電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
JP2010147878A (ja) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd 撮像装置
JP2013211836A (ja) * 2012-03-01 2013-10-10 Nissan Motor Co Ltd カメラ装置及び画像処理方法
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP2015222916A (ja) * 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374776A (zh) * 2020-10-15 2022-04-19 华为技术有限公司 摄像机以及摄像机的控制方法
CN114374776B (zh) * 2020-10-15 2023-06-23 华为技术有限公司 摄像机以及摄像机的控制方法

Also Published As

Publication number Publication date
US20210203899A1 (en) 2021-07-01
JP2017126954A (ja) 2017-07-20
US11218679B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
US11785170B2 (en) Combined HDR/LDR video streaming
US10560670B2 (en) Imaging apparatus and imaging control method
US9232203B2 (en) Image processing device, imaging device, image processing method, imaging method, and image processing program for pseudo-color supression in an image
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
EP2471258B1 (en) Reducing noise in a color image
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US20110216210A1 (en) Providing improved high resolution image
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
US9113024B2 (en) Apparatus and method for image processing using color image data and low frequency image data
US20180302552A1 (en) Image capturing device and image processing device
US20160277721A1 (en) Color filtered area processing method for improving image processing
JP2016208093A (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
WO2017122553A1 (ja) 画像処理装置、画像処理方法、及び、撮像装置
JP6595161B2 (ja) 画像処理装置、画像処理方法、及び、撮像装置
JP5034665B2 (ja) 画像入力処理装置、画素信号処理回路、および、エッジ検出方法
JP2017158123A (ja) 信号処理装置および撮像装置
JP7039720B2 (ja) 撮像装置、映像処理方法、およびプログラム
JP2024115490A (ja) 画像のノイズを減少させる方法
JP2004320269A (ja) 固体電子撮像素子のシェーディング補正装置および方法
JP2009171378A (ja) 撮像信号処理回路、撮像信号処理方法、プログラムおよび撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17738308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17738308

Country of ref document: EP

Kind code of ref document: A1