WO2021172055A1 - 撮像装置、撮像方法、電子機器 - Google Patents

撮像装置、撮像方法、電子機器 Download PDF

Info

Publication number
WO2021172055A1
WO2021172055A1 PCT/JP2021/005241 JP2021005241W WO2021172055A1 WO 2021172055 A1 WO2021172055 A1 WO 2021172055A1 JP 2021005241 W JP2021005241 W JP 2021005241W WO 2021172055 A1 WO2021172055 A1 WO 2021172055A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
image
imaging unit
filter
Prior art date
Application number
PCT/JP2021/005241
Other languages
English (en)
French (fr)
Inventor
英明 山越
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/801,210 priority Critical patent/US20230068923A1/en
Priority to KR1020227028242A priority patent/KR20220146447A/ko
Priority to CN202180015929.XA priority patent/CN115136593A/zh
Priority to EP21760293.7A priority patent/EP4113966A4/en
Priority to JP2022503263A priority patent/JPWO2021172055A1/ja
Publication of WO2021172055A1 publication Critical patent/WO2021172055A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0256—Compact construction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/001—Optical devices or arrangements for the control of light using movable or deformable optical elements based on interference in an adjustable optical cavity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/204—Filters in which spectral selection is performed by means of a conductive grid or array, e.g. frequency selective surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114—Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/283—Interference filters designed for the ultraviolet
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras

Definitions

  • the present technology relates to an imaging device, an imaging method, and an electronic device, for example, an imaging device, an imaging method, and an electronic device that perform imaging using a plurality of spectra.
  • a compound-eye camera module that combines a plurality of monocular camera modules is known (see, for example, Patent Document 1).
  • This technology was made in view of such a situation, and makes it possible to improve the image quality and the detection accuracy of a predetermined object.
  • the image sensor on one side of the present technology includes two or more image pickup units capable of capturing or sensing the same subject, and at least one first image pickup unit among the two or more image pickup units has a plurality of wavelengths.
  • a first filter that transmits a band is provided, and at least one second image pickup unit other than the first image pickup unit among the two or more image pickup units can have a variable wavelength band. It has 2 filters.
  • the imaging device on one aspect of the present technology includes two or more imaging units capable of capturing or sensing the same subject, and at least one first imaging unit among the two or more imaging units has a plurality of wavelengths.
  • a first filter that transmits a band is provided, and at least one second imaging unit other than the first imaging unit among the two or more imaging units can change the wavelength band.
  • An image pickup apparatus including the filter of 2 and a processing unit for processing a signal from the image pickup apparatus are provided.
  • the imaging apparatus includes two or more imaging units capable of capturing or sensing the same subject, and at least one first imaging unit among the two or more imaging units is A first filter that transmits a plurality of wavelength bands is provided, and at least one second imaging unit other than the first imaging unit among the two or more imaging units has a variable wavelength band.
  • the subject is estimated using a composite image obtained by combining the image captured by the first imaging unit and the image captured by the second imaging unit.
  • the image sensor on one side of the present technology is provided with two or more image pickup units capable of capturing or sensing the same subject, and at least one first image pickup unit among the two or more image pickup units has a plurality of image pickup units.
  • the wavelength band is variable in at least one second image pickup unit other than the first image pickup unit among the two or more image pickup units.
  • a second filter is provided.
  • the electronic device on one side of the present technology is provided with the image pickup device.
  • the image pickup device and the electronic device may be independent devices or internal blocks constituting one device.
  • FIG. 1 It is a figure which shows an example of the schematic structure of the endoscopic surgery system. It is a block diagram which shows an example of the functional structure of a camera head and a CCU. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • FIG. 1 is a diagram showing a configuration example of the appearance of a compound eye camera module to which the present technology is applied.
  • a of FIG. 1 is a perspective view of the compound eye camera module 10
  • B of FIG. 1 is a front view of the compound eye camera module 10.
  • the compound eye camera module 10 is a compound eye type camera module, and is configured by fixing the monocular camera module 21-1 and the monocular camera module 21-2 by a connecting member 22 having a rectangular plate-like shape. ..
  • the monocular camera module 21-1 is equipped with a solid-state image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a lens unit, and the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • the solid-state image sensor is composed of a pixel unit in which a plurality of pixels are arranged in a two-dimensional manner, a peripheral circuit unit that drives the pixels, performs A / D (Analog / Digital) conversion, and the like. Has been done.
  • the light (image light) incident from the lens in the lens unit is imaged on the light receiving surface of the pixel portion, and the light of the imaged image is photoelectrically converted to generate a pixel signal. Will be done.
  • the monocular camera module 21-2 is configured by mounting a CMOS image sensor, a lens unit, and the like, like the monocular camera module 21-1.
  • the monocular camera module 21-1 can be used as the main camera, while the monocular camera module 21-2 can be used as the sub camera.
  • the connecting member 22 has a rectangular plate-like shape having a contour larger than the size in the plane direction when the lens unit of the monocular camera module 21-1 and the lens unit of the monocular camera module 21-2 are arranged side by side. Further, in the connecting member 22, the rectangular insertion hole into which the lens unit of the monocular camera module 21-1 is inserted and the rectangular insertion hole into which the lens unit of the monocular camera module 21-2 is inserted are symmetrical. It is formed through the lens.
  • the lens unit of the monocular camera module 21-1 and the lens unit of the monocular camera module 21-2 are inserted into the two rectangular insertion holes formed through the connecting member 22, respectively. Is fixed.
  • the compound eye camera module 10 is configured as a compound eye type camera module having a monocular camera module 21-1 and a monocular camera module 21-2.
  • the compound eye camera module 10 is configured as described above.
  • the monocular camera module 21-1 and the monocular camera module 21-2 are examples of a plurality of monocular camera modules connected by a connecting member 22, and the following are cases where it is not necessary to distinguish them. , Simply referred to as a monocular camera module 21.
  • a monocular camera module is a camera module equipped with one solid-state image sensor (image sensor).
  • the compound eye camera module is a camera module in which a plurality of solid-state image sensors (image sensors) are mounted by connecting a plurality of monocular camera modules.
  • modules may be referred to by other names, such as packages.
  • the monocular camera module 21-1 and the monocular camera module 21-2 as shown in FIG. 1 are connected by the connecting member 22
  • the monocular is simply monocular without using the connecting member 22.
  • the case where the camera module 21-1 and the monocular camera module 21-2 are arranged is also within the scope of application of the present technology.
  • FIG. 2 is a diagram showing a configuration of an embodiment of an image pickup apparatus 100 including the compound eye camera module 10 shown in FIG.
  • the image pickup device 100 includes an image pickup unit 110 and an image pickup unit 120. Although details will be described later, the imaging unit 110 and the imaging unit 120 receive and process light in different wavelength bands. The explanation will be continued assuming that the different wavelength bands include the difference between the narrow band and the wide band in addition to the difference in the band such as the red wavelength and the blue wavelength.
  • the imaging unit 110 is assumed to be an imaging unit that receives and processes light having a wide band wavelength
  • the imaging unit 120 is an imaging unit that receives and processes light having a narrow band wavelength. ..
  • the description will be continued by taking the case where the image pickup device 100 includes the image pickup unit 110 and the image pickup unit 120 as an example, but the image pickup device 100 may be configured to include two or more image pickup units.
  • the imaging unit 110 corresponds to, for example, the monocular camera module 21-1 of the compound eye camera module 10 of FIG. 1
  • the imaging unit 120 corresponds to, for example, the monocular camera module 21-2 of the compound eye camera module 10 of FIG.
  • the imaging device 100 includes a processing unit 131 that acquires and processes a signal from the imaging unit 110 and a signal of the imaging unit 120, respectively, and an image output unit 132 that outputs an image processed by the processing unit 131. Further, the image pickup apparatus 100 includes a memory 134 and a communication unit 135. The communication unit 135 is configured to exchange data with a predetermined server 151 via a network (not shown).
  • Server 151 is, for example, a server on the cloud. Further, instead of reading the data from the server 151, the data recorded on the predetermined recording medium may be read (a configuration including a drive).
  • the imaging unit 110 includes a lens 111, a wideband photoelectric conversion unit 112, an A / D conversion unit 113, a clamp unit 114, a color-coded output unit 115, a defect correction unit 116, and a linear matrix unit 117.
  • the lens 111 collects the incident light on the broadband photoelectric conversion unit 112.
  • the wideband photoelectric conversion unit 112 includes, for example, a color filter, receives and processes red (R), green (G), and blue (B) light, and outputs each signal to the A / D conversion unit 113. ..
  • the A / D conversion unit 113 converts the analog signal of the image of the subject, which has been photoelectrically converted by the wideband photoelectric conversion unit 112, into a digital value.
  • the clamp unit 114 subtracts the black level of the digital data (image data) of the image of the subject supplied from the A / D conversion unit 113.
  • the color-coded output unit 115 complements the color signal of the image data supplied from the clamp unit 114, if necessary.
  • the defect correction unit 116 evaluates the defect of the pixel, and corrects the pixel evaluated as a defect as necessary according to the evaluation result.
  • the linear matrix unit 117 applies a linear matrix to the image data supplied from the defect correction unit 116 as necessary to improve color reproduction and the like.
  • the gamma correction processing for naturalizing the luminance expression is performed on the image data at the stage before supplying the image data to the processing unit 131 or after the processing by the processing unit 131 is completed.
  • a block in which processing for generating a luminance signal and a chroma signal may be provided.
  • the imaging unit 110 has the same function as a camera called a general digital camera, and has a function of capturing an image of a subject and generating a color image.
  • the imaging unit 120 is configured to include a lens 121 and a narrow band photoelectric conversion unit 1522.
  • the lens 121 concentrates the incident light on the narrowband photoelectric conversion unit 1522.
  • the narrow-band photoelectric conversion unit 1522 includes, for example, a Fabry-Perot spectroscope, receives light in a predetermined wavelength band, processes it, and outputs it to the A / D conversion unit 123.
  • the A / D conversion unit 123 converts the analog signal of the image of the subject photoelectrically converted by the narrowband photoelectric conversion unit 1522 into a digital value and outputs the analog signal to the processing unit 131.
  • FIG. 3 is a diagram showing the configuration of the wideband photoelectric conversion unit 112 and the A / D conversion unit 113.
  • the broadband photoelectric conversion unit 112 includes a pixel region 203 in which pixels 202 including a plurality of photoelectric conversion elements are regularly arranged two-dimensionally on a semiconductor substrate (for example, a silicon substrate) and peripheral circuits. It is configured to have an area.
  • the pixel 202 includes a photoelectric conversion element (for example, PD (Photo Diode)) and a plurality of pixel transistors (so-called MOS transistors).
  • the plurality of pixel transistors can be composed of, for example, three transistors of a transfer transistor, a reset transistor, and an amplification transistor, and can be further composed of four transistors by adding a selection transistor.
  • the pixel 202 may have a pixel sharing structure.
  • the pixel sharing structure is composed of a plurality of photodiodes, a plurality of transfer transistors, one shared floating diffusion, and one shared pixel transistor.
  • the photodiode is a photoelectric conversion element.
  • the peripheral circuit area is composed of a vertical drive circuit 204, a column signal processing circuit 205, a horizontal drive circuit 206, an output circuit 207, and a control circuit 208.
  • the control circuit 208 receives data that commands an input clock, an operation mode, and the like, and outputs data such as internal information of the wideband photoelectric conversion unit 112. Specifically, the control circuit 208 is based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock, and is used as a reference clock signal for the operation of the vertical drive circuit 204, the column signal processing circuit 205, and the horizontal drive circuit 206. Generate a control signal. Then, the control circuit 208 inputs these signals to the vertical drive circuit 204, the column signal processing circuit 205, and the horizontal drive circuit 206.
  • the vertical drive circuit 204 is composed of, for example, a shift register, selects a pixel drive wiring, supplies a pulse for driving the pixel 202 to the selected pixel drive wiring, and drives the pixel 202 in line units. Specifically, the vertical drive circuit 204 selectively scans each pixel 202 in the pixel region 203 in a row-by-row manner in the vertical direction, and generates them in the photoelectric conversion element of each pixel 202 through the vertical signal line 209 according to the amount of light received. A pixel signal based on the signal charge is supplied to the column signal processing circuit 205.
  • the column signal processing circuit 205 corresponds to the A / D conversion unit 113 shown in FIG. 2, and is arranged for each column of pixels 202, for example, and signals output from the pixels 202 for one row are output for each pixel string. Performs signal processing such as noise removal. Specifically, the column signal processing circuit 205 performs signal processing such as CDS (Correlated Double Sampling) for removing fixed pattern noise peculiar to the pixel 202, signal amplification, and A / D (Analog / Digital) conversion. .. A horizontal selection switch (not shown) is provided in the output stage of the column signal processing circuit 205 so as to be connected to the horizontal signal line 210.
  • CDS Correlated Double Sampling
  • a horizontal selection switch (not shown) is provided in the output stage of the column signal processing circuit 205 so as to be connected to the horizontal signal line 210.
  • the horizontal drive circuit 206 is composed of, for example, a shift register, and by sequentially outputting horizontal scanning pulses, each of the column signal processing circuits 205 is sequentially selected, and a pixel signal is output from each of the column signal processing circuits 205 as a horizontal signal line. Output to 210.
  • the output circuit 207 performs signal processing on the signals sequentially supplied from each of the column signal processing circuits 205 through the horizontal signal line 210 and outputs the signals.
  • the output circuit 207 may, for example, perform only buffering, black level adjustment, column variation correction, various digital signal processing (processing performed by the clamp unit 114 in FIG. 2), and the like.
  • the input / output terminal 212 is provided for exchanging signals with the outside.
  • the basic configuration of the narrowband photoelectric conversion unit 1522 and the A / D conversion unit 123 is the same as the configuration of the wideband photoelectric conversion unit 112 and the A / D conversion unit 113, and the configuration shown in FIG. 3 can be used. Therefore, the description thereof will be omitted here.
  • the reference numerals of the portions related to the narrow band photoelectric conversion unit 1522 and the A / D conversion unit 123 will be described with dashes.
  • the pixel region 203 of the narrowband photoelectric conversion unit 1522 is described as the pixel region 203'with a dash.
  • the wideband photoelectric conversion unit 112 and the narrowband photoelectric conversion unit 1522 include different filters.
  • a predetermined filter is provided on the pixel region 203 (203'), and each pixel 202 (202') is configured to receive light in a predetermined wavelength band that has passed through each filter.
  • the filter of the wideband photoelectric conversion unit 112 can be, for example, an RGB color filter as shown in A of FIG. FIG. 4A shows an array of RGB color filters called a Bayer array.
  • 4 pixels of 2 ⁇ 2 are assigned to R pixel, G pixel, G pixel, and B pixel. Further, 4 pixels of 2 ⁇ 2 are assigned to R pixels, 4 pixels to the right of the R pixels are assigned to G pixels, 4 pixels below the R pixels are assigned to G pixels, and 4 pixels to the right of the G pixels are assigned to B pixels. This technology can be applied even when this is the case.
  • one of the two G pixels may be arranged as a transparent (white) pixel.
  • RGB red, green, blue
  • W white
  • a filter other than the color filter for example, a filter called a plasmon filter. Any filter may be used, but the filter of the wideband photoelectric conversion unit 112 is a filter that receives (transmits) light having a wide band wavelength.
  • the wideband photoelectric conversion unit 112 is composed of an RGB color filter, photoelectric conversion that transmits and processes light in a wavelength band from blue (B) to red (R), for example, a wavelength band of 400 nm to 700 nm. Functions as a department.
  • the narrowband photoelectric conversion unit 1522 handles a wavelength band in a narrower range than the wavelength band handled by the wideband photoelectric conversion unit 112.
  • the narrow-band photoelectric conversion unit 1522 includes a filter that transmits light in a wavelength band in a predetermined range.
  • a filter for example, a filter called a Fabry-Perot spectroscope (interferometer) or the like can be used.
  • the Fabry-Perot spectroscope is used, as shown in FIG. 4B, the Fabry-Perot spectroscope 251 is arranged on the pixel region 203'of the narrowband photoelectric conversion unit 1522 so as to cover all the pixels.
  • the Fabry-Perot spectrometer 251 can be used as a filter that transmits light of a specific wavelength. As shown in FIG. 4, the Fabry-Perot spectroscope 251 is composed of two semitransparent mirrors 252 and a semitransparent mirror 253, and the two semitransparent mirrors 252 and 253 are arranged so as to face each other and parallel to each other. It is a device. The semitransparent mirrors 252 and 253 are finished on a reflecting surface having a high reflectance and a slight transmittance.
  • the wavelength to be analyzed by the Fabry-Perot spectroscope 251 can be selected, and the selected light can be received by the pixel 202'.
  • the Fabry-Perot spectroscope 251 is configured such that light of a predetermined wavelength is transmitted by reflecting and reciprocating light between the semitransparent mirror 252 and the semitransparent mirror 253 and interfering with each other.
  • the wavelength of the transmitted light can be set by the distance between the semitransparent mirror 252 and the semitransparent mirror 253. In other words, by changing the distance between the semitransparent mirror 252 and the semitransparent mirror 253, light having a wavelength to be transmitted can be transmitted.
  • a voltage can be applied to the semitransparent mirror 252 and the semitransparent mirror 253, and the distance between the semitransparent mirror 252 and the semitransparent mirror 253 can be adjusted by an electrostatic attraction.
  • a Fabry-Perot spectroscope capable of varying the wavelength band of transmitted light is called a MEMS (Micro Electro Mechanical Systems) Fabry-Perot spectroscope or the like.
  • MEMS Micro Electro Mechanical Systems
  • Fabry-Perot spectroscope or the like.
  • the description will be continued by taking as an example a case where a MEMS Fabry-Perot spectroscope capable of variably setting the wavelength band of transmitted light to a desired wavelength band is used as the Fabry-Perot spectroscope 251.
  • the MEMS Fabry-Perot spectroscope will be simply referred to as the Fabry-Perot spectroscope 251 to continue the description.
  • the Fabry-Perot spectroscope 251 When the Fabry-Perot spectroscope 251 is used as the filter of the narrow-band photoelectric conversion unit 1522, the Fabry-Perot spectroscope 251 covering the entire surface of the pixel region 203'is arranged as shown in FIG. 4B. You may.
  • the pixel region 203' may be divided into 4 regions of 2 ⁇ 2, and Fabry-Perot spectroscopes 251-1 to 251-4 may be arranged in each region. .. Further, as shown in A of FIG. 6, the pixel region 203'may be divided into four regions in the vertical direction, and Fabry-Perot spectroscopes 251-1 to 251-4 may be arranged in each region.
  • the pixel region 203' may be divided into four regions in the horizontal direction, and Fabry-Perot spectroscopes 251-1 to 251-4 may be arranged in each region.
  • the number of divisions may be any number, and a plurality of Fabry-Perot spectroscopes 251 may be arranged in the pixel region 203'according to the number of divisions. Further, the Fabry-Perot spectroscope 251 may be provided for each pixel 202'.
  • the wavelength of the transmitted light is set by the distance between the two semitransparent mirrors 252 and the semitransparent mirror 253, and the two semitransparent mirrors are used. Distances are not always uniform. For example, in the central portion of the Fabry-Perot spectroscope 251 the semitransparent mirror 252 is slackened, and the distance between the semitransparent mirror 252 and the semitransparent mirror 253 becomes shorter than the distance between the semitransparent mirror 252 and the semitransparent mirror 253 at the end. there is a possibility.
  • the area per semitransparent mirror is reduced, and in order to prevent the central portion from loosening, a plurality of Fabry-Perot spectroscopes 251 as described with reference to FIG. 6 are arranged. It may be done. Further, by applying this technique, details will be described later, but even if one Fabry-Perot spectroscope 251 is provided in the pixel region 203'as shown in FIG. 4B, the Fabry-Perot spectroscope can also be split. Even if the distance between the two semitransparent mirrors 252 and the semitransparent mirror 253 of the device 251 is not uniform, it can be appropriately corrected and processed.
  • the imaging unit 110 includes a wideband photoelectric conversion unit 112, and the wideband photoelectric conversion unit 112 receives and processes light having a wide band wavelength such as a color filter to generate a color image.
  • the imaging unit 110 will be referred to as a wideband imaging unit 110 as appropriate.
  • the imaging unit 120 includes a narrow-band photoelectric conversion unit 1522, and the narrow-band photoelectric conversion unit 1522 receives and processes light having a narrow-band wavelength such as the Fabry-Perot spectroscope 251 to generate an image.
  • the imaging unit 120 will be referred to as a narrowband imaging unit 120 as appropriate.
  • the imaging device 100 Since the imaging device 100 includes a wideband imaging unit 110 and a narrowband imaging unit 120, it can receive and process light in the wavelength band as shown in FIG. 7. With reference to FIGS. 7A to 7C, in the wideband imaging unit 110, the light in the wavelength band B of blue (B), the light in the wavelength band G of green (G), and the light in the wavelength band R of red (R) are referred to. Is received and processed.
  • the narrow band imaging unit 120 can set the wavelength band to receive and process, it can be set to the wavelength band according to the subject to be imaged and the purpose.
  • the wavelength band set as the wavelength band of the light transmitted through the Fabry-Perot spectroscope 251 is the wavelength band F having a wavelength shorter than that of blue, for example, the wavelength band F of purple (ultraviolet rays). ..
  • the half-value width of the wavelength band F of the Fabry Perot spectrometer 251 is smaller than the half-value width of the wavelength band of the color filter, for example, the wavelength band B. That is, also in this respect, the Fabry-Perot spectroscope 251 can be said to be a filter that transmits a wavelength in a narrow band, and is a filter that can selectively transmit light having a desired wavelength.
  • the narrow band imaging unit 120 when the narrow band imaging unit 120 is used to image the wavelength band F of ultraviolet rays, for example, it is possible to perform imaging in a wavelength band suitable for human skin analysis. For example, it is possible to provide the user with an image in which a stain on a human face is imaged by the narrow band imaging unit 120 and the stain is superimposed on a color image of the face imaged by the wideband imaging unit 110.
  • imaging in the wavelength band of ultraviolet rays can be imaged with higher sensitivity than imaging in the wavelength band of the visible light region (wavelength bands R, G, B). Therefore, by imaging the skin condition with the narrow band imaging unit 120, the sensitivity of imaging such a skin condition can be improved.
  • an imaging device 100 to which the present technology is applied is mounted on a smartphone or the like, an image of a user's face is taken, an unpainted area of cosmetics is detected, and the user is notified.
  • the narrow band imaging unit 120 when used to capture ultraviolet light, the amount of ultraviolet light of the external light can be measured by analyzing the captured image, and an alarm can be issued based on the measured value.
  • the wavelength band set as the wavelength band of the light transmitted through the Fabry Perot spectrometer 251 is the wavelength band F between the green wavelength band G and the red wavelength band R.
  • the yellow wavelength band F is the wavelength band F between the green wavelength band G and the red wavelength band R.
  • the color reproducibility can be improved.
  • the color reproduction is improved and the image quality is improved. You can get the image.
  • the narrowband imaging unit 120 can image a color whose color reproduction is reduced in the image captured by the wideband imaging unit 110. In other words, the narrowband imaging unit 120 can capture colors.
  • FIG. 7B the case where the narrow band imaging unit 120 supplements the color of the wavelength band F between the green wavelength band G and the red wavelength band R is taken as an example, but the wavelength band F is changed and other You may try to supplement the color of.
  • the color of human skin can be more reproducible. It becomes possible to take a picture of a person more realistically.
  • the narrow band imaging unit 120 images the wavelength band F of infrared light, for example, an object or a foreign substance can be detected.
  • foreign matter of the same color which is difficult to discriminate in the visible light region, can be identified by analyzing an image captured by the narrow band imaging unit 120 in the wavelength band F of infrared light.
  • the image pickup device 100 can be used for smart glasses and smart homes, for example, when detecting a high temperature object and sounding an alarm.
  • the narrow band imaging unit 120 performs imaging with the wavelength band of the light transmitted by the Fabry-Perot spectroscope 251 as a predetermined wavelength band (appropriately described as the first wavelength band). Imaging is also performed in the wideband imaging unit 110 in synchronization with the imaging in the narrowband imaging unit 120 (step S12).
  • the processing unit 131 performs the analysis.
  • the processing unit 131 performs an analysis suitable for the purpose of imaging. For example, in the case of analyzing the skin condition as described with reference to A in FIG. 7, the analysis suitable for the purpose of analyzing the skin condition is performed.
  • An analysis suitable for the purpose of analyzing the skin condition includes an analysis of whether or not the imaging was performed in a wavelength band suitable for imaging the spots.
  • the narrow band imaging unit 120 performs imaging such as supplementing the color
  • the image required for analyzing (determining) whether or not the imaging was performed in the state set in the optimum wavelength band is the processing unit 131.
  • the processing flow can be such that the imaging process in the wideband imaging unit 110 in step S12 is omitted.
  • the processing flow can be such that the imaging process in the narrow band imaging unit 120 in step S11 is omitted.
  • the processing unit 131 performs a process of synthesizing the image from the narrowband imaging unit 120 and the image from the wideband imaging unit 110, and the combined image is used for analysis. ..
  • the analysis is performed using a composite image obtained by synthesizing the image from the narrowband imaging unit 120 and the image from the wideband imaging unit 110, or the analysis is performed using only the image from the narrowband imaging unit 120, or the wideband imaging unit. Whether or not the analysis is performed using only the image from 110 may be set so that the image that can be analyzed with the highest accuracy is used according to the analysis content.
  • step S13 The result of the analysis in step S13 is used, and the determination in step S14 is performed. In step S14, it is determined whether or not the analysis result is good.
  • the skin condition when analyzing the skin condition, it is determined whether or not the skin condition such as a stain can be imaged. Further, for example, when analyzing the skin color, it is determined whether or not the image can be taken with the skin color reproducibility being high. In other words, such a determination is a determination as to whether or not imaging is performed in an appropriate wavelength band.
  • step S14 If it is determined in step S14 that the analysis result is not good, in other words, if it is determined that the image is not taken in an appropriate wavelength band, the process proceeds to step S15.
  • step S15 information on the optimum wavelength is acquired.
  • the processing unit 131 determines that the analysis result is not good, the processing unit 131 reads out the optimum wavelength band information from the data stored in the memory 134 (FIG. 2).
  • the processing unit 131 controls the communication unit 135, accesses the server 151, and reads out the optimum wavelength band information from the data stored in the server 151.
  • the wavelength band suitable for imaging skin conditions (whether or not there are spots, etc.) and the wavelength band suitable for imaging for improving the reproducibility of skin color differ depending on race, age, gender, and the like. ..
  • imaging is performed in a preset first wavelength band, and by analyzing the image captured in the first wavelength band, the race, age, and gender of the subject are analyzed. Etc., and information on the optimum wavelength based on the specified information can be read out.
  • the memory 134 and the server 151 store data associated with the race, age, gender, and optimum wavelength of the subject. Such data may be data obtained by learning or may be updated.
  • the wavelength band based on the information is set to the wavelength band of the Fabry-Perot spectrometer 251 of the narrow-band photoelectric conversion unit 1522 (described as a second wavelength band as appropriate). Will be done. After that, the process is returned to step S11, and imaging is performed in the set second wavelength band, so that the processes after step S11 are repeated.
  • step S14 determines whether the analysis result is good, in other words, if it is determined that imaging has been performed in the optimum wavelength band.
  • step S16 the processing unit 131 synthesizes the image from the narrowband imaging unit 120 and the image from the wideband imaging unit 110, and outputs the image to a display unit, a recording unit, or the like (not shown) via the image output unit 132. Output.
  • step S13 when the analysis using the composite image is performed, the composite image used for the analysis can be output. Further, when the analysis itself is performed using only the images from the narrow band imaging unit 120 or the wide band imaging unit 110, the composite image is output after the process of generating the composite image is executed.
  • the narrow-band imaging unit 120 again takes an image in the optimum wavelength band
  • the wide-band imaging unit 110 also takes an image in synchronization with the imaging, whereby the image from the narrow-band imaging unit 120 and the wide-band imaging unit 110 An image from the above may be acquired, and a composite image may be generated and output.
  • color correction may be performed based on the analysis result, and the composite image with color correction may be output. For example, when improving the reproducibility of the skin color, color correction for improving the reproducibility of the skin color may be performed based on the information at the time of analysis. Further, the control data for performing this color correction may be read out from the memory 134 or the server 151 together with, for example, when the information of the optimum wavelength is read out in step S15.
  • step S31 the narrow band imaging unit 120 sequentially changes the wavelength band of the light transmitted through the Fabry-Perot spectroscope 251 to perform imaging a plurality of times.
  • the wideband imaging unit 110 also performs a plurality of imagings in synchronization with the imaging of the narrowband imaging unit 120 (step S32).
  • step S33 the subject is estimated.
  • the subject may be estimated using a composite image obtained by synthesizing the image from the narrowband imaging unit 120 and the image from the wideband imaging unit 110, or the image from the narrowband imaging unit 120 or the wideband imaging. Only one of the images from the part 110 may be used.
  • step S34 the determination in step S34 is performed. That is, in step S34, it is determined whether or not the subject can be estimated. If it is determined in step S34 that the subject can be estimated, the process proceeds to step S35.
  • step S35 information on the optimum wavelength is acquired.
  • the information acquired in step S35 is a wavelength suitable for capturing the estimated subject, and is information on a wavelength corresponding to the color to be interpolated in order to improve the image quality.
  • the information of the wavelength range of the skin color of the person is obtained from the memory 134 or the server 151 (FIG. 2). Read out.
  • the read wavelength range information is compared with the color of the human face in the image from the narrowband imaging unit 120 and the color of the image from the wideband imaging unit 110, and the image is captured by the narrowband imaging unit 120.
  • the wavelength band to be used is set.
  • the narrow-band imaging unit 120 is performing imaging in different wavelength bands
  • the wide-band imaging unit 110 is also performing a plurality of imagings in synchronization with the imaging of the narrow-band imaging unit 120.
  • a plurality of images are obtained from the narrow band imaging unit 120 and the wide band imaging unit 110.
  • a rough skin color is determined (race is determined).
  • Information on the wavelength band suitable for imaging the skin color is selected.
  • the subject can be estimated by acquiring data from the server 151 on the cloud and using the data. Further, such data may be stored in the memory 134 in advance or at a predetermined timing, and the data stored in the memory 134 may be used.
  • the subject may be set by the user.
  • the subject in the case of analyzing spots, the subject is a person (face), so in the case of skin condition analysis, it is assumed that the person (face) is set as the subject, and the processing is performed. good. Further, the processing related to the estimation of the subject may be performed based on the AI function.
  • step S36 the wavelength band of the Fabry-Perot spectroscope 251 is set based on the information of the optimum wavelength acquired in the process in step S35, and the narrow band imaging unit 120 performs imaging in the optimum wavelength band. Further, in synchronization with this imaging, the wideband imaging unit 110 also performs imaging.
  • step S37 the image from the narrowband imaging unit 120 captured in the optimum wavelength band and the image from the wideband imaging unit 110 imaged in synchronization with the imaging of the narrowband imaging unit 120 are combined and output.
  • step S34 determines whether the subject could not be estimated. If it is determined in step S34 that the subject could not be estimated, the process proceeds to step S37, and a composite image is generated and output.
  • a composite image is generated and output.
  • All of the plurality of composite images may be output, or the image judged to have the best image quality may be selected and output.
  • the processes of steps S31 to S36 may be repeated a plurality of times.
  • the subject is specified by executing the processes of steps S31 to S36 for the first time.
  • the wavelength band to be imaged is changed in the wavelength band of the skin color of the person, and a plurality of times of imaging are performed.
  • the skin color of the subject is identified.
  • an optimum wavelength band is set for the skin color of the specified subject, and final imaging is performed.
  • the color correction may be performed based on the analysis result, and the composite image with the color correction may be output.
  • color correction for improving the reproducibility of the skin color may be performed based on the information at the time of analysis.
  • control data for performing this color correction may be read out from the memory 134 or the server 151 together with, for example, when the information of the optimum wavelength is read out in step S35.
  • the third process of the image pickup apparatus 100 is a flow in which the process of step S36 for re-imaging the image set to the optimum wavelength is omitted from the second process with reference to the flowchart of FIG. Since the other points are the same as the processing, the description thereof will be duplicated and will be omitted as appropriate.
  • step S51 the narrow band imaging unit 120 sequentially changes the wavelength band of the light transmitted through the Fabry-Perot spectroscope 251 to perform imaging a plurality of times.
  • the wideband imaging unit 110 also performs a plurality of imagings in synchronization with the imaging of the narrowband imaging unit 120 (step S52).
  • step S53 the subject is estimated.
  • the estimation result of the subject in step S53 is used, and the determination in step S54 is performed. That is, in step S54, it is determined whether or not the subject can be estimated. If it is determined in step S54 that the subject can be estimated, the process proceeds to step S55.
  • step S55 information on the optimum wavelength is acquired.
  • the information acquired in step S55 is a wavelength suitable for capturing the estimated subject, and is information on a wavelength corresponding to the color to be interpolated in order to improve the image quality.
  • step S56 the image of the narrowband imaging unit 120 captured in the wavelength band closest to the optimum wavelength band is selected based on the information of the optimum wavelength acquired in the process in step S55. Then, when the selected image is captured, it is combined with the image captured by the wideband imaging unit 110 and output.
  • step S54 if it is determined in step S54 that the subject could not be estimated, the process proceeds to step S56, and a composite image is generated and output.
  • a composite image is generated and output.
  • All of the plurality of composite images may be output, or the image judged to have the best image quality may be selected and output.
  • the image captured in the wavelength band of the color to be interpolated that gives the best image of the subject is selected.
  • the color correction is performed based on the analysis result, and the composite image with the color correction is output. good.
  • color correction for improving the reproducibility of the skin color may be performed based on the information at the time of analysis.
  • control data for performing this color correction may be read out from the memory 134 or the server 151 together with, for example, when the information of the optimum wavelength is read out in step S55.
  • FIG. 11 shows a subject at time T1 and a subject at time T2.
  • a case where the subject is a person (face) and a subject having a stain 302 on the person's face 301 is imaged will be described as an example. Further, a case where the face 301 is in a state of facing the front at the time T1 and the face 301 is in a state of being slightly tilted at the time T2 will be described.
  • the middle figure of FIG. 11 shows an example of an image captured by the narrow band imaging unit 120.
  • the narrow band imaging unit 120 takes an image in a wavelength band in which the face 301 can be imaged, and acquires the image 311. In this wavelength band, the stain 302 is not imaged.
  • the narrow band imaging unit 120 performs imaging in a wavelength band suitable for imaging the stain 302, and acquires the image 312. The stain 302 is imaged in the image 312, and the face 301 is not imaged.
  • the image 313 is obtained.
  • the face 301 and the stain 302 are imaged in the image 313. With reference to image 313, the stain 302 is located above the eyes. The actual position of the stain 302 is located on the side of the eye with reference to the upper diagram of FIG.
  • the position of the stain 302 also moved in the image.
  • the stain 302 imaged by the narrow band imaging unit 120 at time T2 is combined with the face 301 imaged by the narrow band imaging unit 120 at time T1, it seems that there is a stain 302 on the eyes as shown in image 313. There is a possibility that a composite image will be generated.
  • the narrow band imaging unit 120 and the wide band imaging unit 110 perform imaging in synchronization, an image as shown in the lower part of FIG. 11 is acquired.
  • the face 301 is imaged by the wideband imaging unit 110. Further, when the narrow band imaging unit 120 is set to a wavelength band suitable for imaging the stain 302, the face 301 and the stain 302 are imaged on the lateral side of the eyes as shown in the image 321. Therefore, as the composite image, as shown in the image 321, an image in which the position of the stain 302 is at the correct position is acquired.
  • the composite image is an image in which only the face 301 is captured, for example, a color image. However, an image such as image 311 is acquired.
  • the wideband imaging unit 110 images the face 301
  • the narrowband imaging unit 120 images the stain 302.
  • the position of the stain 302 has changed, but the changed face 301 is imaged by the wideband imaging unit 110, and the changed stain 302 is the narrowband imaging unit. Imaged by 120.
  • image 3522 it is possible to obtain a composite image 323 in which the face 301 and the stain 302 are captured on the lateral side of the eyes.
  • the wideband imaging unit 110 also captures a plurality of images in synchronization with the imaging of the narrowband imaging unit 120.
  • the image captured by the wideband imaging unit 110 is used for detecting the movement of the subject.
  • a composite image having a stain 302 at an erroneous position is generated. It can be prevented from happening. That is, the subject moves by detecting the movement of the subject using the image captured by the wideband imaging unit 110, correcting the position of, for example, the stain 302 in the image according to the movement, and performing compositing. Even in such a case, it is possible to prevent the generation of a composite image in which the stain 302 is present at an erroneous position.
  • the position of the stain 302 of the image 312 is corrected to the position where the subject tilts his / her head.
  • Generate the moved image 312' by synthesizing the image 312'and the image 311 for example, it is possible to generate a composite image such as the image 321 in which the stain 302 is present on the side of the eyes of the face 301.
  • the movement of the subject can be detected by using the image captured by the wideband imaging unit 110, and the image captured by the narrowband imaging unit 120 can be corrected by using the detection result.
  • the output result between frames imaged by the narrowband imaging unit 120 can be corrected by using the output result from the wideband imaging unit 110. That is, according to the present technology, it is possible to perform moving subject correction on the result of the narrow band imaging unit 120 by using the output obtained from the wide band imaging unit 110.
  • the narrow-band photoelectric conversion unit 1522 of the narrow-band imaging unit 120 includes a Fabry-Perot spectroscope 251 and the Fabry-Perot spectroscope 251 has a configuration capable of varying the wavelength band of transmitted light. The case where this is done has been described as an example.
  • the Fabry-Perot spectroscope 251 has a configuration in which two semitransparent mirrors 252 and 253 are arranged in parallel at predetermined intervals as described with reference to FIG.
  • the distance between the semitransparent mirror 252 and the semitransparent mirror 253 is preferably uniform. However, in general, the distance between the semitransparent mirror 252 and the semitransparent mirror 253 tends to be non-uniform.
  • the wavelength band of light transmitted through the Fabry-Perot spectroscope 251 may be non-uniform. According to the present technology, the non-uniformity of the Fabry-Perot spectroscope 251 can be corrected and treated as uniform by using the image captured by the wideband imaging unit 110.
  • the wideband imaging unit 110 and the narrowband imaging unit 120 image, for example, a monochromatic wall surface 401.
  • the image captured by the wideband imaging unit 110 is referred to as image 411.
  • the image captured by the narrow band imaging unit 120 is referred to as an image 412.
  • the image 411 obtained from the wideband imaging unit 110 is basically the same color as the monochromatic wall surface 401.
  • the image 412 obtained from the narrow band imaging unit 120 becomes an image having uneven color when the Fabry-Perot spectroscope 251 is non-uniform, for example, as shown in the image 412 of FIG.
  • Image 411 is regarded as a correct image, and image 412 is corrected so that image 412 is the same image as image 411. For example, shading detection is performed for each wavelength, and the image acquired by the narrowband imaging unit 120 is corrected based on the result.
  • the narrow band imaging unit 120 sets the wavelength band of the light transmitted by the Fabry-Perot spectroscope 251 to a predetermined wavelength band and performs imaging. Imaging is also performed in the wideband imaging unit 110 in synchronization with the imaging in the narrowband imaging unit 120 (step S72).
  • step S73 the processing unit 131 corresponds to the image captured by the narrowband imaging unit 120 (the image corresponding to the image 412 of FIG. 12) and the image captured by the wideband imaging unit 110 (corresponding to the image 411 of FIG. 12). Image) is compared. The color uniformity in the image captured by the narrowband imaging unit 120 and the color uniformity in the image captured by the wideband imaging unit 110 are compared.
  • step S74 the comparison result in step S73 is used to determine whether or not the color uniformity in the image is different. If it is determined in step S74 that the color uniformity in the image is different, the process proceeds to step S75.
  • step S75 the correction amount is calculated.
  • the correction amount is performed by shifting the color of the image 412 captured by the narrowband imaging unit 120 so as to match the color uniformity of the image 411 captured by the wideband imaging unit 110.
  • step S76 imaging is performed again.
  • the narrow-band imaging unit 120 and the wide-band imaging unit 110 may synchronize with each other to perform imaging in each imaging unit. Further, the wideband imaging unit 110 may not perform imaging, and the image obtained in the process of step S72 may be used.
  • the narrow band imaging unit 120 performs imaging in a wavelength band different from the wavelength band set at the time of processing in step S71.
  • the image obtained by imaging by the narrow band imaging unit 120 in step S76 is corrected in step S77. This correction is a correction using the correction amount calculated in step S75.
  • step S77 When the corrected image is generated in step S77, the process is returned to step S73, and the subsequent processes are repeated.
  • step S73 the corrected image is compared with the image 411 captured by the wideband imaging unit 110.
  • the correction parameters are set by capturing a plurality of images while changing the wavelength band of the narrowband imaging unit 120 and comparing them with the images from the wideband imaging unit 110.
  • step S74 If it is determined in step S74 that the corrected image has the same uniformity as the image from the wideband imaging unit 110 (to the extent that it falls within a predetermined range), the process proceeds to step S78. .. In step S78, the set correction parameter is stored in, for example, the memory 134 (FIG. 2).
  • the image captured by the narrow band imaging unit 120 is corrected by using the correction parameters stored in the memory 134, and the corrected image is used in each of the above processes.
  • the imaging device 100 since the imaging device 100 includes the wideband imaging unit 110 and the narrowband imaging unit 120, the image captured by the wideband imaging unit 110 is used to correct the image captured by the narrowband imaging unit 120. can do. Therefore, even if the Fabry-Perot spectrometer 251 is non-uniform, it can be corrected and treated as uniform.
  • the above-mentioned wideband photoelectric conversion unit 112 has been described by taking as an example a case where the broadband photoelectric conversion unit 112 is provided with an RGB color filter.
  • the wideband photoelectric conversion unit 112 may be configured to include a filter other than the color filter.
  • the pixels may be arranged in a two-dimensional array so that each pixel receives three colors.
  • FIG. 14 shows an example of the cross-sectional configuration of the pixel portion of the wideband photoelectric conversion unit 112.
  • the pixels 520 arranged in the pixel array unit of the broadband photoelectric conversion unit 112 have one organic photoelectric conversion unit 539 laminated in the depth direction and two pn junctions in the same pixel, that is, one pixel. It is configured to have an inorganic photoelectric conversion unit PD1 and PD2 having the same. More specifically, the pixel 520 of the broadband photoelectric conversion unit 112 has a semiconductor substrate (silicon substrate) 522 on which the inorganic photoelectric conversion unit described later is formed, and a light receiving surface on which light is incident is on the back surface 523 side of the substrate 522.
  • a circuit including a so-called readout circuit or the like is formed on the surface 524 side of the substrate 522. That is, the pixel 520 has a light receiving surface 525 on the back surface 523 side of the substrate 522 and a circuit forming surface 526 formed on the substrate surface 524 side opposite to the light receiving surface 525.
  • the semiconductor substrate 522 is composed of a first conductive type, for example, an n-type semiconductor substrate.
  • an inorganic photoelectric conversion unit having two pn junctions that is, a first photodiode PD1 and a second photodiode PD2 is formed so as to be laminated in the depth direction from the back surface 523 side.
  • the p-type semiconductor region 528 which is a hole storage layer
  • the n-semiconductor region 529 which is a charge storage layer
  • the n-type semiconductor region 532 and the p-type semiconductor region 533 are formed.
  • the first photodiode PD1 having the n-type semiconductor region 529 as the charge storage layer is formed, and the second photodiode PD2 having the n-type semiconductor region 532 as the charge storage layer is formed.
  • the first photodiode PD1 is for blue and the second photodiode PD2 is for red.
  • the n-type semiconductor regions 529 and 532, respectively, are formed so as to extend so that a part thereof reaches the surface 524 of the substrate 522.
  • the extensions 529a and 532a are extended from opposite ends of the n-type semiconductor regions 529 and 532, respectively.
  • the p-type semiconductor region 528 that serves as the hole storage layer is connected to the p-type semiconductor well region on the surface side.
  • the p-type semiconductor region serving as a hole storage layer is formed at the interface between the n-type semiconductor region 529 of the first photodiode PD1 and the n-type semiconductor region 532 of the second photodiode PD2 facing the substrate surface 524, respectively. Is formed.
  • the organic photoelectric conversion unit 536 sandwiches the upper and lower surfaces of the first and second photodiodes PD1 and PD2 on the upper layer of the back surface of the substrate via the insulating film 534 between the upper electrode 537 and the lower electrode 538a.
  • the organic photoelectric conversion unit 539 for the first color is laminated.
  • the organic photoelectric conversion unit 536 is for green.
  • the upper electrode 537 and the lower electrode 538a are formed of a transparent conductive film such as an indium tin oxide (ITO) film or an indium zinc oxide film.
  • the organic photoelectric conversion unit 539 is green, the first photodiode PD1 is blue, and the second photodiode PD2 is red, but other color combinations are also possible.
  • the organic photoelectric conversion unit 539 can be red or blue, and the first photodiode PD1 and the second photodiode PD2 can be set to other corresponding colors. In this case, the positions of the first and second photodiodes PD1 and PD2 in the depth direction are set according to the color.
  • organic photoelectric conversion film that photoelectrically converts with green wavelength light for example, an organic photoelectric conversion material containing a loadamine dye, a melanin dye, quinacridone, or the like can be used.
  • organic photoelectric conversion film that photoelectrically converts with red wavelength light an organic photoelectric conversion material containing a phthalocyanine dye can be used.
  • organic photoelectric conversion film that photoelectrically converts with blue wavelength light an organic photoelectric conversion material containing a coumarin-based dye, tris-8-hydroxyquinoline Al (Alq3), a melanin-based dye, or the like can be used.
  • the transparent lower electrodes 538a and 38b divided into two are formed on the insulating film 534, and the insulating film 541 for insulatingly separating the two lower electrodes 538a and 538b is formed. Then, an organic photoelectric conversion unit 536 and a transparent upper electrode 537 above the organic photoelectric conversion unit 536 are formed on one of the lower electrodes 538a.
  • An insulating film 542 that protects the patterned upper electrode 537, the end face of the organic photoelectric conversion unit 536, and the end face that has been patterned by etching is formed, and in that state, the upper electrode 537 is formed via a contact metal layer 543 made of another conductive film. Is connected to the other lower electrode 538b.
  • the protective insulating film By forming the protective insulating film, the end face of the organic photoelectric conversion film is protected, and the contact between the organic photoelectric conversion film and the electrode can be suppressed. Since the electrode material of the upper electrode 537 is selected in consideration of the work function, there is a possibility that a dark current may be generated on the side wall of the organic photoelectric conversion film when different electrode materials come into contact with each other on the end face of the organic photoelectric conversion film, that is, the side wall. Further, since the organic photoelectric conversion unit 536 and the upper electrode 537 are consistently formed into a film, a clean interface is formed. However, the side wall of the organic photoelectric conversion unit 536 after patterning by dry etching or the like is not a clean surface, and when different electrode materials come into contact with each other, the interface may deteriorate and the dark current may increase.
  • a pair of conductive plugs 545 and 546 that penetrate the semiconductor substrate 522 are formed on the semiconductor substrate 522 in one pixel 520.
  • the lower electrode 538a of the organic photoelectric conversion unit 539 is connected to one conductive plug 545, and the lower electrode 538b connected to the upper electrode 537 is connected to the other conductive plug 546. Since one conductive plug 545 may be present with respect to the lower electrode, at least one conductive plug may be present in the entire pixel region unless the upper electrode is separated for each pixel.
  • the conductive plugs 545 and 546 can be formed, for example, by a W plug having a SiO2 or SiN insulating layer in the periphery, a semiconductor layer by ion implantation, or the like in order to suppress a short circuit with Si.
  • the signal charge is an electron
  • the conductive plug 545 becomes an n-type semiconductor layer when it is formed by a semiconductor layer by ion implantation. Since the upper electrode pulls out a hole, a p-type is preferable.
  • the charges are stored on the surface side of the substrate 522.
  • An n-type region 547 is formed.
  • the insulating film 534 on the back surface 523 of the semiconductor substrate 522 it is preferable to use a film having a negative fixed charge.
  • a film having a negative fixed charge for example, a hafnium oxide film can be used. That is, the insulating film 534 is formed in a three-layer structure in which a silicon oxide film, a hafnium oxide film, and a silicon oxide film are sequentially formed from the back surface 523. Since the hafnium oxide film has a negative fixed charge, the hole accumulation state at the interface between the silicon of the p-type semiconductor region (silicon) 528 and the insulating film 534 is strengthened, so that the generation of dark current is suppressed. It will be advantageous on.
  • a plurality of pixel transistors corresponding to each of the organic photoelectric conversion unit 536, the first photodiode PD1, and the second photodiode PD2 are formed.
  • the plurality of pixel transistors a 4-transistor configuration and a 3-transistor configuration can be applied. Further, the above-mentioned configuration in which the pixel transistor is shared can also be applied.
  • the n-type semiconductor region 547 for charge storage is connected to the n-type semiconductor region 548 serving as the floating diffusion unit and the transfer transistor Tr511 having the transfer gate electrode 549.
  • the extension portion 529a of the n-type semiconductor region 529 serving as the charge storage layer is connected to the n-type semiconductor region 551 serving as the floating diffusion portion and the transfer transistor Tr512 having the transfer gate electrode 552.
  • the extension portion 532a of the n-type semiconductor region 532 that serves as the charge storage layer is connected to the n-type semiconductor region 553 that serves as the floating diffusion portion and the transfer transistor Tr513 having the transfer gate electrode 554.
  • the p-type semiconductor region 550 which serves as a hole storage layer at the interface with the insulating film, faces the substrate surface 524 of the n-type semiconductor regions 529a to 532a constituting the first and second photodiode dides PD1 and PD2. Is formed.
  • the p-type semiconductor region 550 which is the hole storage layer, is formed including the interface between the p-type semiconductor region 533 and the insulating film.
  • a p-type semiconductor region 550 which is a hole storage layer, is formed at the interface with the insulating film facing the substrate surface 524 of the n-type semiconductor region 547 for charge storage in the organic photoelectric conversion unit 536.
  • the pixel transistors including the transfer transistors Tr511 to Tr513 are formed in the p-type semiconductor well region on the surface side of the substrate.
  • a pixel transistor of a pixel portion is formed on the surface side of the semiconductor substrate 522, and a peripheral circuit such as a logic circuit is formed in the peripheral circuit portion.
  • a multilayer wiring layer 558 in which a plurality of layers of wiring 557 are arranged via an interlayer insulating film 556 is formed.
  • the support substrate 59 is attached to the multilayer wiring layer 558.
  • the back surface side of the semiconductor substrate 522 more specifically, the surface of the upper electrode 537 of the organic photoelectric conversion unit 539 serves as the light receiving surface 525. Then, an on-chip lens 562 is formed on the organic photoelectric conversion unit 539 via the flattening film 561. In this example, the color filter is not formed.
  • the wideband imaging unit 110 may use a filter having the color arrangement shown in FIG. 15 instead of the color file.
  • a filter called a plasmon filter that performs optical control using plasmon resonance can be used.
  • FIG. 15 is a diagram showing a configuration example in which G pixels are added to multispectral pixels.
  • the description "G” represents a G pixel
  • the description "MS” represents an MS pixel.
  • the G pixel is a pixel in which the color of the color filter layer is green.
  • the MS pixel is a multispectral pixel and is a pixel that receives light (a predetermined color) in a predetermined frequency band.
  • FIG. 15 shows 16 pixels of 4 ⁇ 4 in the pixel area 203, and the pixel group of such an arrangement is repeatedly arranged in the pixel area 203. Numbers are added to distinguish the 16 pixels shown in FIG. For example, of the 16 pixels, the pixel arranged on the upper left is the G1 pixel, and the pixel arranged on the right side is the MS1 pixel.
  • G1 to G8 are G pixels
  • MS1 to MS8 are MS pixels.
  • the G pixel and the MS pixel are arranged alternately in the horizontal direction and the vertical direction, respectively.
  • the explanation will be given with an example in which G pixels and MS pixels are arranged alternately, but different arrangements may be made.
  • the color arrangement may be such that two G pixels and two MS pixels are arranged alternately, and one G pixel and two MS pixels are arranged alternately.
  • the G pixel is a pixel that receives light that is considered green, for example, light in a frequency band of 500 to 550 nm.
  • each of the G1 to G8 pixels is a pixel that receives light in this frequency band.
  • the MS pixel is a pixel that receives light in the frequency band to be extracted.
  • the MS1 to MS8 pixels receive light in different frequency bands. That is, in this case, the MS1 to MS8 pixels are considered to be a sensor capable of handling light in eight frequency bands.
  • the MS1 to MS8 pixels all receive light in different frequency bands, they may be pixels that receive light in the same frequency band.
  • the MS1 pixel and the MS2 pixel are the pixels that receive the light of the first frequency band
  • the MS3 pixel and the MS4 pixel are the second.
  • the pixels that receive light in the frequency band, the MS5 pixel and the MS6 pixel are the pixels that receive the light in the third frequency band
  • the MS7 pixel and the MS8 pixel are the pixels that receive the light in the fourth frequency band. It is also possible to have a configuration such as.
  • a signal as shown in FIG. 16 can be obtained from the MS1 to MS8 pixels.
  • the MS1 pixel receives light in the frequency band M1.
  • the MS2 pixel receives the light of the frequency band M2
  • the MS3 pixel receives the light of the frequency band M3,
  • the MS4 pixel receives the light of the frequency band M4,
  • the MS5 pixel receives the light of the frequency band M5.
  • the light is received, the MS6 pixel receives the light of the frequency band M6, the MS7 pixel receives the light of the frequency band M7, and the MS8 pixel receives the light of the frequency band M8.
  • the MS1 to MS8 pixels can be used as pixels that receive light in different frequency bands M1 to M8. Further, each of the G1 to G8 pixels can be a pixel that receives light in the green frequency band G.
  • green information is acquired from the G pixel by the 16 pixels shown in FIG. 15, information on the color M1 of the frequency band M1 is acquired from the MS1 pixel, and information on the color M1 of the frequency band M1 is acquired from the MS2 pixel.
  • the information of the color M2 of the frequency band M2 is acquired, the information of the color M3 of the frequency band M3 is acquired from the MS3 pixel, the information of the color M4 of the frequency band M4 is acquired from the MS4 pixel, and the frequency band is acquired from the MS5 pixel.
  • the information of the color M5 of the M5 is acquired, the information of the color M6 of the frequency band M6 is acquired from the MS6 pixel, the information of the color M7 of the frequency band M7 is acquired from the MS7 pixel, and the information of the color M7 of the frequency band M7 is acquired from the MS8 pixel.
  • Information on color M8 is acquired.
  • the present technology also when a multispectral sensor is configured by using the plasmon filter described with reference to FIGS. 15 and 16 as the filter of the wideband photoelectric conversion unit 112 so that a multispectral image can be captured. Can be applied.
  • a multi-spectral sensor may be realized by using a filter other than the plasmon filter, for example, it can be realized by making the color filter multicolored. Further, not only the visible light region but also pixels that handle light such as an ultraviolet region and an infrared region may be included.
  • the imaging device 100 to which the present technology is applied can be applied to a device that provides AR (Augmented Reality), VR (Virtual Reality), MR (Mixed Reality), and the like.
  • AR Augmented Reality
  • VR Virtual Reality
  • MR Magnetic Reality
  • a case where the imaging device 100 is applied to the device that provides AR will be described as an example.
  • FIG. 17 is a diagram showing a configuration example of an information processing system including AR-HMD701 that provides AR.
  • the information processing system of FIG. 17 is configured by connecting the AR-HMD701 and the information processing device 702 via a network 703 such as a LAN (Local Area Network) or the Internet.
  • a network 703 such as a LAN (Local Area Network) or the Internet.
  • the AR-HMD701 is a glasses-type wearable terminal provided with a transmissive display unit.
  • the AR-HMD701 displays an image including various objects such as characters on the display unit according to the control by the information processing device 702 performed via the network 703. The user will see the object overlaid on the landscape in front of him.
  • the projection method of the image including the object may be a virtual image projection method or a retinal projection method in which the image is directly formed on the retina of the user's eye.
  • the information processing device 702 reproduces the AR content and transmits the image data obtained by the reproduction to the AR-HMD701 to display the image of the AR content on the AR-HMD701.
  • the information processing device 702 is configured by, for example, a PC (Personal Computer). Further, the information processing device 702 may be a server 151 (FIG. 2). For example, the information processing device 702 may be configured to supply information related to the estimation of the subject and information of the wavelength band suitable for the subject to the AR-HMD701. good.
  • a mobile terminal such as the AR-HMD701A, which is a video-transparent HMD shown in FIG. 18A, and the smartphone 701B shown in FIG. 18B, can be used as an AR content display device. May be good.
  • the image of the AR content reproduced by the information processing device 702 is displayed by superimposing the image of the landscape in front of the AR-HMD701A taken by the camera provided on the AR-HMD701A. Will be done.
  • a display for displaying AR contents is provided so as to superimpose the image taken by the camera.
  • the image of the AR content reproduced by the information processing device 702 is displayed superimposed on the image of the landscape in front of the smartphone 701B taken by the camera provided on the back of the smartphone 701B. ..
  • a display for displaying various images is provided on the front of the smartphone 701B.
  • the above-mentioned imaging device 100 can be applied to the cameras provided in the AR-HMD701, AR-HMD701A, and smartphone 701B.
  • a projector that projects an image on the surface of an object existing in an actual scene may be used as an AR content display device.
  • Various devices such as tablet terminals and television receivers can be used as AR content display devices.
  • the display device and the information processing device 702 may be connected by wire instead of being wirelessly connected via the network 703.
  • a wearable terminal having a spectacle-shaped shape will be described as an example of an information processing device to which the present technology is applied.
  • the AR-HMD701 shown in FIG. 19 has a spectacle-shaped shape as a whole, and includes a display unit 711 and a 7 camera 12.
  • the display unit 711 corresponds to the lens portion of the spectacles, and for example, the entire display unit 711 is configured as a transmissive display. Therefore, the display unit 711 transparently superimposes and displays the annotation (virtual object) on the image (real object) in the real world that the user is directly viewing.
  • the camera 712 is provided at the end of the display unit 711 corresponding to the left eye of the user wearing the AR-HMD701, and captures an image of the real space included in the user's field of view.
  • An imaging device 100 (FIG. 2) can be applied to the camera 712.
  • the shape of the AR-HMD701 is not limited to the shape shown in FIG. 19, but various shapes such as a hat shape, a belt shape fixed around the user's head, and a helmet shape covering the entire user's head. Can be taken. That is, the technique according to the present disclosure can be applied to the entire HMD.
  • FIG. 20 is a block diagram showing a configuration example of AR-HMD701.
  • the AR-HMD701 of FIG. 20 includes a CPU (Central Processor Unit) 731, a memory 732, a sensor unit 733, an input unit 734, an output unit 735, and a communication unit 736. These are connected to each other via bus 737.
  • CPU Central Processor Unit
  • the CPU 731 executes processing for realizing various functions included in the AR-HMD701 according to a program or data stored in the memory 732.
  • the memory 732 is composed of a storage medium such as a semiconductor memory or a hard disk, and stores programs and data for processing by the CPU 731.
  • the sensor unit 733 is composed of various sensors such as a microphone, a gyro sensor, and an acceleration sensor, including the camera 712 shown in FIG.
  • the input unit 734 which is also used for processing by the CPU 731 for various sensor information acquired by the sensor unit 733, is composed of buttons, keys, a touch panel, and the like.
  • the output unit 735 is composed of the display unit 711 and the speaker shown in FIG.
  • the communication unit 736 is configured as a communication interface that mediates various types of communication.
  • the Fabry-Perot spectrometer 251 of the narrowband imaging unit 120 is set in a wavelength band suitable for analyzing the state of the tree, and imaging is performed.
  • the image obtained by the imaging and the information obtained by analyzing the image are presented to the user.
  • the information 751 displayed in this virtual space may be information provided as AR content, or may be an object in the real world imaged by the camera 712.
  • the tree as the information 751 described above is a tree that grows in the real world, and may be a tree that is imaged by the camera 712.
  • the direction in which the user is facing, the direction in which the line of sight is facing, the direction in which the head is facing, and the like may be detected by the sensor unit 733. That is, even if the user's actions other than the gesture indicating the direct instruction such as touching the information 751 are included in a part of the gestures that give the instruction, such a gesture (user's action) is detected. good.
  • the AR-HMD701 can be applied to analyze a human skin condition, use it as a medical device to image an affected area of a patient, and detect a predetermined object.
  • information necessary for performing such analysis for example, information in an appropriate wavelength band, can be acquired from a server or the like on the cloud.
  • the analysis can also be performed by a server on the cloud, and the analysis result can be received by the AR-HMD701 and presented to the user. That is, the above-mentioned analysis can be performed by an electronic device (data analysis unit included in the electronic device) other than the imaging device 100, and the analysis is performed by interposing such an electronic device. It is also possible to do.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 22 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • FIG. 23 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 23 illustrates how the surgeon (doctor) 11131 is performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101, and is an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (light emission diode), and supplies irradiation light for imaging an operating part or the like to the endoscope 11100.
  • a light source such as an LED (light emission diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses a gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • Recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • the light source device 11203 that supplies the irradiation light for imaging the surgical site to the endoscope 11100 can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-division manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to correspond to each of RGB. It is also possible to capture the image in a time-division manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of changing the light intensity to acquire an image in a time-divided manner and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the surface layer of the mucous membrane.
  • narrow band imaging in which a predetermined tissue such as a blood vessel is imaged with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating with excitation light.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 24 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG. 23.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of CCU11201 based on the acquired image signal. good.
  • the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape, color, and the like of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the surgical support information and presenting it to the surgeon 11131, it is possible to reduce the burden on the surgeon 11131 and to allow the surgeon 11131 to proceed with the surgery reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electrical signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 25 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 26 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 26 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is used via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • system represents the entire device composed of a plurality of devices.
  • the present technology can also have the following configurations.
  • At least one first imaging unit among the two or more imaging units includes a first filter that transmits a plurality of wavelength bands.
  • the at least one second imaging unit other than the first imaging unit among the two or more imaging units is an imaging device including a second filter capable of varying the wavelength band.
  • the imaging device (4) The imaging device according to (3) above, wherein the Fabry-Perot spectroscope is formed of a voltage-driven MEMS (Micro Electro Mechanical Systems).
  • the first filter is a color filter and The imaging device according to any one of (1) to (4) above, wherein the wavelength band of the second filter is set in the wavelength band of the color for interpolating the color acquired by the color filter.
  • the first imaging unit has a wavelength band of 4 or more, and has a wavelength band of 4 or more.
  • optical control using plasmon resonance is used for the wavelength bands of 4 or more.
  • the imaging device according to any one of (1) to (6) above, wherein at least one imaging unit among the two or more imaging units uses an organic photoelectric conversion film.
  • the subject is estimated using the image captured by the first imaging unit, and the subject is estimated.
  • the subject is estimated by using a composite image obtained by synthesizing an image captured by the first imaging unit and an image captured by the second imaging unit.
  • (11) The distribution of the color information of the image captured by the second imaging unit is compared with the distribution of the color information of the image captured by the first imaging unit, and the image captured by the second imaging unit is obtained.
  • the imaging apparatus according to any one of (1) to (10) above, which sets a correction amount for correction.
  • (12) The imaging apparatus according to any one of (1) to (11), wherein the output obtained from the first imaging unit is used to correct a moving subject with respect to the result of the second imaging unit.
  • (12) The imaging device according to any one of (1) to (12) above, which performs object analysis and state analysis using the results obtained from the two or more imaging units.
  • (14) The result obtained from any of the two or more imaging units, or the result obtained by synthesizing the results obtained from the two or more imaging units, is passed through another electronic device at the communication destination.
  • the imaging apparatus according to (13) above.
  • 15) The imaging device according to (14), wherein the wavelength band of the second filter is designated by the other electronic device.
  • the wavelength band of the first filter is a visible light band, and is The imaging device according to any one of (1) to (15) above, wherein the wavelength band of the second filter is an ultraviolet light band, a visible light band, or an infrared light band.
  • the image pickup device Equipped with two or more imaging units capable of capturing or sensing the same subject, At least one first imaging unit among the two or more imaging units includes a first filter that transmits a plurality of wavelength bands.
  • the at least one second imaging unit other than the first imaging unit among the two or more imaging units includes a second filter capable of varying the wavelength band.
  • At least one first imaging unit among the two or more imaging units includes a first filter that transmits a plurality of wavelength bands.
  • the at least one second imaging unit other than the first imaging unit among the two or more imaging units includes an imaging device including a second filter capable of varying the wavelength band, and an imaging device.
  • An electronic device including a processing unit that processes a signal from the imaging device.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本技術は、画質を向上させることができるようにする撮像装置、撮像方法、電子機器に関する。 同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、２以上の撮像部の内の第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える。本技術は、例えば、複眼のカメラモジュール、複眼のカメラモジュールを含む撮像装置、撮像装置を含む仮想現実などを提供する装置に適用できる。

Description

撮像装置、撮像方法、電子機器
　本技術は撮像装置、撮像方法、電子機器に関し、例えば、複数のスペクトルを用いた撮像を行うようにした撮像装置、撮像方法、電子機器に関する。
　複数の単眼カメラモジュールを組み合わせた複眼方式のカメラモジュールが知られている（例えば、特許文献１参照）。
特開２０１３－１０６２２９号公報
　複眼方式のカメラモジュールを用いて画質を向上させたり、所定の物体の検知精度を向上させたりすることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、画質を向上させたり、所定の物体の検知精度を向上させたりすることができるようにするものである。
　本技術の一側面の撮像素子は、同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える。
　本技術の一側面の撮像装置は、同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える撮像装置と、前記撮像装置からの信号を処理する処理部とを備える。
　本技術の一側面の撮像方法は、撮像装置が、同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備え、前記第１の撮像部で撮像された画像と、前記第２の撮像部で撮像された画像を合成した合成画像を用いて前記被写体を推定する。
　本技術の一側面の撮像素子においては、同一の被写体を撮像、またはセンシング可能な２以上の撮像部が備えられ、２以上の撮像部の内の少なくとも１つの第１の撮像部には、複数の波長帯域を透過する第１のフィルタが備えられ、２以上の撮像部の内の第１の撮像部を除く他の少なくとも１つの第２の撮像部には、波長帯域を可変することが可能な第２のフィルタが備えられる。
　本技術の一側面の電子機器においては、前記撮像装置が備えられる。
　なお、撮像装置および電子機器は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
複眼に係わる構成について説明するための図である。 撮像装置の構成について説明するための図である。 撮像素子の構成について説明するための図である。 フィルタの配置について説明するための図である。 ファブリーペロー分光器について説明するための図である。 ファブリーペロー分光器の配置について説明するための図である。 補間する色の波長帯域について説明するための図である。 撮像処理１について説明するためのフローチャートである。 撮像処理２について説明するためのフローチャートである。 撮像処理３について説明するためのフローチャートである。 動きのある被写体に対する効果について説明するための図である。 補正について説明するための図である。 補正について説明するためのフローチャートである。 画素の構成例を示す図である。 マルチスペクトル画素を含む色配置について説明するための図である。 マルチスペクトル画素からの出力について説明するための図である。 情報処理システムの一実施の形態の構成を示す図である。 表示デバイスの一例を示す図である。 ＡＲ－ＨＭＤの外観構成を示す図である。 情報処理装置としてのＡＲ－ＨＭＤの構成例を示すブロック図である。 ＡＲ－ＨＭＤの使用例について説明するための図である。 記録媒体について説明するための図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜複眼カメラモジュールの構成＞
　本技術は、複眼カメラモジュールを含む撮像装置に適用できる。図１は、本技術を適用した複眼カメラモジュールの外観の構成例を示す図である。
　図１において、図１のＡは、複眼カメラモジュール１０の斜視図であり、図１のＢは、複眼カメラモジュール１０の正面図である。
　複眼カメラモジュール１０は、複眼方式のカメラモジュールであって、単眼カメラモジュール２１－１と単眼カメラモジュール２１－２が、矩形の板状の形状からなる連結部材２２により固定されることで構成される。
　単眼カメラモジュール２１－１には、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子やレンズユニット等が搭載されている。
　単眼カメラモジュール２１－１において、固体撮像素子は、複数の画素が２次元状に配列される画素部や、画素の駆動やA/D(Analog/Digital)変換等を行う周辺回路部などから構成されている。この固体撮像素子では、レンズユニット内のレンズから入射される光（像光）が画素部の受光面に結像され、結像された像の光が光電変換されることで、画素信号が生成される。
　単眼カメラモジュール２１－２は、単眼カメラモジュール２１－１と同様に、CMOSイメージセンサやレンズユニット等が搭載されて構成される。例えば、複眼カメラモジュール１０においては、単眼カメラモジュール２１－１をメインカメラとする一方で、単眼カメラモジュール２１－２をサブカメラとすることができる。
　連結部材２２は、単眼カメラモジュール２１－１のレンズユニットと、単眼カメラモジュール２１－２のレンズユニットを並べたときの平面方向のサイズよりも大きな輪郭の矩形の板状の形状からなる。また、連結部材２２には、単眼カメラモジュール２１－１のレンズユニットが挿入される矩形の挿入孔部と、単眼カメラモジュール２１－２のレンズユニットが挿入される矩形の挿入孔部とが、対称に貫通形成されている。
　複眼カメラモジュール１０においては、連結部材２２に貫通形成された２つの矩形の挿入孔部に対し、単眼カメラモジュール２１－１のレンズユニットと、単眼カメラモジュール２１－２のレンズユニットとがそれぞれ挿入されて固定されている。これにより、複眼カメラモジュール１０は、単眼カメラモジュール２１－１と単眼カメラモジュール２１－２を有する、複眼方式のカメラモジュールとして構成される。
　複眼カメラモジュール１０は、以上のように構成される。
　なお、単眼カメラモジュール２１－１と単眼カメラモジュール２１－２とは、連結部材２２により連結される、複数の単眼カメラモジュールの一例であって、以下、それらを特に区別する必要がない場合には、単に、単眼カメラモジュール２１と称して説明する。
　また、単眼カメラモジュールとは、１つの固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。一方で、複眼カメラモジュールは、複数の単眼カメラモジュールを連結させることで、複数の固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。ただし、モジュールは、パッケージなどの他の名称で呼ばれる場合がある。
　またここでは、図１に示したような単眼カメラモジュール２１－１と単眼カメラモジュール２１－２が、連結部材２２で連結されている構造を示したが、連結部材２２を用いずに、単に単眼カメラモジュール２１－１と単眼カメラモジュール２１－２が配置されている場合なども、本技術の適用範囲内である。
　＜撮像装置の構成＞
　図２は、図１に示した複眼カメラモジュール１０を含む撮像装置１００の一実施の形態の構成を示す図である。
　撮像装置１００は、撮像部１１０と撮像部１２０を備える。詳細は後述するが、撮像部１１０と撮像部１２０は、異なる波長帯域の光を受光し、処理する。異なる波長帯域とは、例えば、赤色の波長と青色の波長といったような帯域の違いの他に、狭帯域と広帯域の違いも含むとして説明を続ける。ここでは、撮像部１１０は、広帯域の波長の光を受光し、処理する撮像部であるとし、撮像部１２０は、狭帯域の波長の光を受光し、処理する撮像部であるとして説明を続ける。
　なおここでは、撮像装置１００は、撮像部１１０と撮像部１２０を含む場合を例にあげて説明を続けるが、２以上の撮像部を含む構成であっても良い。
　撮像部１１０は、例えば、図１の複眼カメラモジュール１０の単眼カメラモジュール２１－１に該当し、撮像部１２０は、例えば、図１の複眼カメラモジュール１０の単眼カメラモジュール２１－２に該当する。
　撮像装置１００は、撮像部１１０からの信号と撮像部１２０の信号をそれぞれ取得し、処理する処理部１３１と、処理部１３１で処理された画像を出力する画像出力部１３２を備える。また、撮像装置１００は、メモリ１３４と通信部１３５を備える。通信部１３５は、ネットワーク（不図示）を介して、所定のサーバ１５１とデータの授受を行えるように構成されている。
　サーバ１５１は、例えば、クラウド上にあるサーバである。またサーバ１５１からデータを読み出す構成ではなく、所定の記録媒体に記録されているデータが読み出される構成（ドライブを備える構成）としても良い。
　撮像部１１０は、レンズ１１１、広帯域光電変換部１１２、Ａ／Ｄ変換部１１３、クランプ部１１４、色別出力部１１５、欠陥補正部１１６、リニアマトリックス部１１７を含む構成とされている。
　レンズ１１１は、入射された光を広帯域光電変換部１１２に集光させる。広帯域光電変換部１１２は、例えば、カラーフィルタを備え、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を受光し処理して、それぞれの信号をＡ／Ｄ変換部１１３に出力する。Ａ／Ｄ変換部１１３は、広帯域光電変換部１１２において光電変換された被写体の画像のアナログ信号をデジタル値へ変換する。
　クランプ部１１４は、Ａ／Ｄ変換部１１３から供給される被写体の画像のデジタルデータ（画像データ）の黒レベルを減算する。色別出力部１１５は、クランプ部１１４から供給される画像データについて、必要に応じて色信号を補完する。欠陥補正部１１６は、画素の欠陥を評価し、その評価結果に応じて、欠陥であると評価された画素を必要に応じて補正する。
　リニアマトリックス部１１７は、欠陥補正部１１６から供給される画像データについて、必要に応じてリニアマトリックスをかけて色再現などを向上させる。
　リニアマトリックス部１１７の処理後、処理部１３１に画像データを供給する前の段階、または、処理部１３１による処理が終わった画像データに対して、輝度表現を自然にするガンマ補正処理が行われたり、輝度信号およびクロマ信号を生成したりする処理が行われるブロックを設けても良い。
　撮像部１１０は、一般的なデジタルカメラと称されるカメラと同様の機能を有し、被写体を撮像し、カラー画像を生成する機能を有している。
　撮像部１２０は、レンズ１２１、狭帯域光電変換部１５２２を含む構成とされている。レンズ１２１は、入射された光を狭帯域光電変換部１５２２に集光させる。狭帯域光電変換部１５２２は、例えば、ファブリーペロー分光器を備え、所定の波長帯域の光を受光し、処理して、Ａ／Ｄ変換部１２３に出力する。Ａ／Ｄ変換部１２３は、狭帯域光電変換部１５２２において光電変換された被写体の画像のアナログ信号をデジタル値へ変換して、処理部１３１に出力する。
　＜光電変換部の構成＞
　図３は、広帯域光電変換部１１２とＡ／Ｄ変換部１１３の構成を示す図である。図３に示されるように、広帯域光電変換部１１２は、半導体基板（例えばシリコン基板）に複数の光電変換素子を含む画素２０２が規則的に２次元的に配列された画素領域２０３と、周辺回路領域とを有して構成される。
　画素２０２は、光電変換素子（例えば、PD(Photo Diode)）と、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有してなる。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの３つのトランジスタで構成することができ、さらに選択トランジスタを追加して４つのトランジスタで構成することもできる。
　また、画素２０２は、画素共有構造とすることもできる。画素共有構造は、複数のフォトダイオード、複数の転送トランジスタ、共有される１つのフローティングディフュージョン、および、共有される１つずつの他の画素トランジスタから構成される。フォトダイオードは、光電変換素子である。
　周辺回路領域は、垂直駆動回路２０４、カラム信号処理回路２０５、水平駆動回路２０６、出力回路２０７、および制御回路２０８から構成される。
　制御回路２０８は、入力クロックや、動作モード等を指令するデータを受け取り、また、広帯域光電変換部１１２の内部情報等のデータを出力する。具体的には、制御回路２０８は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路２０４、カラム信号処理回路２０５、および水平駆動回路２０６の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路２０８は、これらの信号を垂直駆動回路２０４、カラム信号処理回路２０５、および水平駆動回路２０６に入力する。
　垂直駆動回路２０４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素２０２を駆動するためのパルスを供給し、行単位で画素２０２を駆動する。具体的には、垂直駆動回路２０４は、画素領域２０３の各画素２０２を行単位で順次垂直方向に選択走査し、垂直信号線２０９を通して各画素２０２の光電変換素子において受光量に応じて生成した信号電荷に基づいた画素信号をカラム信号処理回路２０５に供給する。
　カラム信号処理回路２０５は、図２に示したＡ／Ｄ変換部１１３に該当し、画素２０２の例えば列毎に配置されており、１行分の画素２０２から出力される信号を画素列毎にノイズ除去等の信号処理を行う。具体的には、カラム信号処理回路２０５は、画素２０２固有の固定パターンノイズを除去するためのCDS（Correlated Double Sampling）や、信号増幅、A/D（Analog/Digital）変換等の信号処理を行う。カラム信号処理回路２０５の出力段には、水平選択スイッチ（図示せず）が水平信号線２１０との間に接続されて設けられる。
　水平駆動回路２０６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路２０５の各々を順番に選択し、カラム信号処理回路２０５の各々から画素信号を水平信号線２１０に出力させる。
　出力回路２０７は、カラム信号処理回路２０５の各々から水平信号線２１０を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路２０７は、例えば、バッファリングだけを行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理（図２のクランプ部１１４が行う処理）等を行う場合もある。
　入出力端子２１２は、外部と信号のやりとりをするために設けられる。
　狭帯域光電変換部１５２２とＡ／Ｄ変換部１２３の基本的な構成は、広帯域光電変換部１１２とＡ／Ｄ変換部１１３の構成と同様であり、図３に示した構成とすることができるため、ここでは、その説明を省略する。以下の説明において、狭帯域光電変換部１５２２とＡ／Ｄ変換部１２３に係わる部分の符号には、ダッシュを付して説明する。例えば、狭帯域光電変換部１５２２の画素領域２０３は、ダッシュを付して画素領域２０３’と記述する。
　＜フィルタについて＞
　広帯域光電変換部１１２と狭帯域光電変換部１５２２は、異なるフィルタを備える。画素領域２０３（２０３’）上には、所定のフィルタが備えられ、各画素２０２（２０２’）は、各フィルタを透過した所定の波長帯域の光を受光するように構成されている。
　広帯域光電変換部１１２のフィルタは、例えば、図４のＡに示すように、ＲＧＢのカラーフィルタとすることができる。図４のＡは、ベイヤー配列と称されるＲＧＢのカラーフィルタの配列を示している。２×２の４画素が、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素に割り当てられる。また２×２の４画素がＲ画素、その右隣の４画素が、Ｇ画素、Ｒ画素の下側の４画素がＧ画素、このＧ画素の右隣の４画素が、Ｂ画素に割り当てられている場合にも、本技術を適用できる。
　また、２つあるＧ画素の一方を、透明（白）画素とする配置であっても良い。また、ここでは、ＲＧＢを例に挙げて説明を続けるが、シアン(Cy)、マゼンタ(Mg)、黄(Ye)、白( W)の各色からなるフィルタなど、他のフィルタを用いても良い。
　また、カラーフィルタ以外のフィルタ、例えば、プラズモンフィルタと称されるフィルタを用いることもできる。どのようなフィルタを用いても良いが、広帯域光電変換部１１２のフィルタは、広帯域の波長の光を受光する（透過させる）フィルタとされる。広帯域光電変換部１１２を、ＲＧＢのカラーフィルタで構成した場合、青（Ｂ）色から赤（Ｒ）色までの波長帯域、例えば、４００ｎｍから７００ｎｍの波長帯域の光を透過し、処理する光電変換部として機能する。
　狭帯域光電変換部１５２２は、広帯域光電変換部１１２で扱う波長帯域よりも狭い範囲の波長帯域を扱う。狭帯域光電変換部１５２２は、所定の範囲の波長帯域の光を透過させるフィルタを備えている。フィルタとしては、例えば、ファブリーペロー分光器（干渉計）などと称されるフィルタを用いることができる。ファブリーペロー分光器を用いた場合、図４のＢに示すように、狭帯域光電変換部１５２２の画素領域２０３’上には、全画素を覆うようにファブリーペロー分光器２５１が配置される。
　図５を参照して、ファブリーペロー分光器２５１について説明を加える。ファブリーペロー分光器２５１は、特定の波長の光を透過するフィルタとして用いることができる。ファブリーペロー分光器２５１は、図４に示すように、２枚の半透鏡２５２と半透鏡２５３から構成され、この２枚の半透鏡２５２，２５３が向かい合わせで平行になるように配置された光学装置である。半透鏡２５２，２５３は、高い反射率とわずかな透過率をもつ反射面に仕上げられている。
　ファブリーペロー分光器２５１の一方（図中、上側）から入射した光は、両反射面間を何回も反射往復して互いに干渉する。半透鏡２５３を透過した光は、一定の光路差をもって多数回往復した光による、かなりの長さのある干渉光となる。したがって、これを分光器として用いれば、非常に高い分解能が得られる。
　すなわち、入射してきた光のうち、ファブリーペロー分光器２５１で分析したい波長が選択され、その選択された光が、画素２０２’で受光されるようにすることができる。
　ファブリーペロー分光器２５１は、このように、半透鏡２５２と半透鏡２５３との間を光が反射往復して干渉することにより所定の波長の光が透過する構成とされている。透過する光の波長は、半透鏡２５２と半透鏡２５３との間の距離により設定することができる。換言すれば、半透鏡２５２と半透鏡２５３との間の距離を変更することで、透過させる波長の光を透過させることができる。
　例えば、半透鏡２５２と半透鏡２５３に電圧を印加し、静電引力によって半透鏡２５２と半透鏡２５３との間の距離を調整することができる。このような透過させる光の波長帯域を可変させることができるファブリーペロー分光器は、MEMS（Micro Electro Mechanical Systems）ファブリーペロー分光器などと称されている。ここでは、透過させる光の波長帯域を、所望の波長帯域に可変的に設定できるMEMSファブリーペロー分光器を、ファブリーペロー分光器２５１として用いた場合を例に挙げて説明を続ける。なお以下の説明においても、MEMSファブリーペロー分光器を単にファブリーペロー分光器２５１と記載して説明を続ける。
　狭帯域光電変換部１５２２のフィルタとして、ファブリーペロー分光器２５１を用いた場合、図４のＢに示したように、画素領域２０３’の全面を覆うファブリーペロー分光器２５１を配置するように構成しても良い。
　また、図６のＡに示すように、画素領域２０３’を、２×２の４領域に分け、それぞれの領域に、ファブリーペロー分光器２５１－１乃至２５１－４が配置される構成としても良い。また、図６のＡに示すように、画素領域２０３’を縦方向に４領域に分け、それぞれの領域に、ファブリーペロー分光器２５１－１乃至２５１－４が配置される構成としても良い。
　図示はしないが、画素領域２０３’を横方向に４領域に分け、それぞれの領域に、ファブリーペロー分光器２５１－１乃至２５１－４が配置される構成としても良い。分割数は、どのような数でも良く、その分割数に合わせて、画素領域２０３’に複数のファブリーペロー分光器２５１が配置されている構成とすることができる。また画素２０２’毎にファブリーペロー分光器２５１を設ける構成であっても良い。
　図４を参照して説明したように、ファブリーペロー分光器２５１は、二枚の半透鏡２５２と半透鏡２５３の間の距離により透過する光の波長が設定されるが、この二枚の半透鏡の距離が必ずしも均一であるとは限らない。例えば、ファブリーペロー分光器２５１の中央部分は、半透鏡２５２が弛み、半透鏡２５２と半透鏡２５３との間の距離が、端部の半透鏡２５２と半透鏡２５３の間の距離よりも短くなる可能性がある。
　このようなことを防ぐために、半透鏡一枚あたりの面積を小さくし、中央部分が弛まないようにするために、図６を参照して説明したような複数個のファブリーペロー分光器２５１が配置されるようにしても良い。また本技術を適用することで、詳細は後述するが、仮に、図４のＢのように、画素領域２０３’に１個のファブリーペロー分光器２５１を設けたとしても、また、そのファブリーペロー分光器２５１の二枚の半透鏡２５２と半透鏡２５３の間の距離が均一でなくても適切に補正して処理することができる。
　以下の説明では、図４のＢのように、画素領域２０３’に１個のファブリーペロー分光器２５１が設けられている場合を例に挙げて説明を続ける。
　このように、撮像部１１０は、広帯域光電変換部１１２を備え、広帯域光電変換部１１２は、例えばカラーフィルタなどの広帯域な波長の光を受光し、処理し、カラー画像を生成する。以下の説明では、適宜、撮像部１１０を広帯域撮像部１１０と記述する。
　撮像部１２０は、狭帯域光電変換部１５２２を備え、狭帯域光電変換部１５２２は、例えばファブリーペロー分光器２５１などの狭帯域な波長の光を受光し、処理し、画像を生成する。以下の説明では、適宜、撮像部１２０を狭帯域撮像部１２０と記述する。
　撮像装置１００は、広帯域撮像部１１０と狭帯域撮像部１２０を備えているため、図７に示すような波長帯域の光を受光し、処理することができる。図７のＡ乃至Ｃを参照するに、広帯域撮像部１１０では、青色（Ｂ）の波長帯域Ｂの光、緑色（Ｇ）の波長帯域Ｇの光、および赤色（Ｒ）の波長帯域Ｒの光を受光し、処理する。
　狭帯域撮像部１２０は、受光し、処理したい波長帯域を設定することができるため、撮像したい被写体や目的に応じた波長帯域に設定することができる。図７のＡでは、ファブリーペロー分光器２５１を透過する光の波長帯域として設定されている波長帯域は、青色よりも短い波長の波長帯域Ｆであり、例えば紫色（紫外線）の波長帯域Ｆである。
　また、ファブリーペロー分光器２５１の波長帯域Ｆの半値幅は、カラーフィルタの波長帯域、例えば波長帯域Ｂの半値幅よりも小さい幅となっている。すなわち、この点でも、ファブリーペロー分光器２５１は、狭帯域の波長を透過するフィルタであると言え、所望の波長の光を選択的に透過させることができるフィルタとされている。
　図７のＡに示したように、狭帯域撮像部１２０により紫外線の波長帯域Ｆを撮像するようにした場合、例えば、人の肌解析に適した波長帯域での撮像を行うことができる。例えば、人の顔にあるシミを、狭帯域撮像部１２０で撮像し、そのシミを、広帯域撮像部１１０で撮像された顔のカラー画像に重畳した画像を、ユーザに提供することができる。
　シミなどの肌状態を撮像する場合、紫外線の波長帯域で撮像した方が、可視光領域の波長帯域（波長帯域Ｒ，Ｇ，Ｂ）で撮像するよりも、より感度良く撮像できる。よって、狭帯域撮像部１２０により肌状態を撮像することで、そのような肌状態の撮像の感度を向上させることができる。
　また、シミなどの肌状態の解析だけでなく、例えば、日焼け止めなどの化粧品の塗り残しの領域を検出するための撮像などにも適用できる。例えば、本技術を適用した撮像装置１００を、スマートフォンなどに搭載し、ユーザの顔を撮像し、化粧品の塗り残し領域を検出し、ユーザに通知するようなアプリケーションを提供することができる。
　また、狭帯域撮像部１２０で紫外光を撮像するようにした場合、撮像した画像を解析することで、外光の紫外線量を計測したり、その計測値によりアラームを出したりすることもできる。
　図７のＢに示した例は、ファブリーペロー分光器２５１を透過する光の波長帯域として設定されている波長帯域が、緑色の波長帯域Ｇと赤色の波長帯域Ｒの間の波長帯域Ｆであり、例えば黄色の波長帯域Ｆである。
　図７のＢに示したように、狭帯域撮像部１２０により黄色の波長帯域Ｆを撮像するようにした場合、色再現度を向上させることができる。ＲＧＢのカラーフィルタを備える広帯域撮像部１１０で撮像された画像と、ファブリーペロー分光器２５１を備える狭帯域撮像部１２０で撮像された画像を合成することで、色再現を向上させ、画質を向上させた画像を得ることができる。
　広帯域撮像部１１０で撮像される画像において色再現度が落ちてしまうような色を、狭帯域撮像部１２０で撮像することができる。換言すれば、狭帯域撮像部１２０で色を補足するようにすることができる。図７のＢでは、狭帯域撮像部１２０で緑色の波長帯域Ｇと赤色の波長帯域Ｒの間の波長帯域Ｆの色を補足する場合を例に挙げているが、波長帯域Ｆを変え、他の色を補足するようにしても良い。
　広帯域撮像部１１０で撮像される画像において色再現度が落ちてしまうような色を、狭帯域撮像部１２０で撮像して補足するようにすることで、例えば、人の肌の色をより再現性を向上させることができ、人物をより実物通りに撮像することができるようになる。
　また、肌色の識別能力を活かした人物認識、健康状態の変化の検知などを行う場合にも適用できる。また医療用のスマートグラスなどに、撮像装置１００を搭載し、診察を補助し、診断制度を向上させるような場合にも適用できる。例えば、目の周りのクマや黄疸などを撮像するのに適した波長帯域Ｆで撮像した画像とカラー画像を重畳した画像を医者に提示することができる。
　図７のＣに示したように、狭帯域撮像部１２０により赤外光の波長帯域Ｆを撮像するようにした場合、例えば、物体や異物を検知することができる。例えば、可視光域で判別が困難な同色の異物体の識別を、狭帯域撮像部１２０が赤外光の波長帯域Ｆで撮像した画像を解析することで行うことができる。
　また、検知する対象としては、紙やプラスチックの包装内の内容量の状態や、食品の傷み具合や、植物の健康状態などにも適用できる。また、撮像装置１００を、スマートグラスやスマートホームに用いて、例えば、高温の物体を検知し、アラームを鳴らす場合などに用いることもできる。
　＜撮像装置１００の第１の処理＞
　図８のフローチャートを参照し、撮像装置１００の第１の処理について説明を加える。
　ステップＳ１１において、狭帯域撮像部１２０は、ファブリーペロー分光器２５１が透過する光の波長帯域を、所定の波長帯域（第１の波長帯域と適宜記述する）とした撮像を行う。狭帯域撮像部１２０の撮像と同期して、広帯域撮像部１１０においても撮像が行われる（ステップＳ１２）。
　ステップＳ１３において、処理部１３１により、解析が行われる。処理部１３１は、撮像目的に合った解析を行う。例えば、図７のＡを参照して説明したような肌の状態を解析するような場合、肌状態を解析するという目的に合った解析を行う。肌状態を解析するという目的に合った解析には、シミを撮像するのに適した波長帯域で撮像が行われたか否かの解析が含まれる。
　また、肌色の再現度を向上させるために、色の補足を行うような撮像を狭帯域撮像部１２０で行うような場合、補足する色が適正であるか否かの解析であり、補足する色の波長帯域に設定されているか否かの解析が含まれる。
　このような解析を行う場合、換言すれば、最適な波長帯域に設定された状態での撮像が行われていたか否かの解析（判定）を行う場合に必要とされる画像が、処理部１３１に供給されるように構成することができる。
　例えば、狭帯域撮像部１２０からの画像のみを用いて解析を行うように構成することができる。このような構成にした場合、ステップＳ１２における広帯域撮像部１１０での撮像処理を省略した処理の流れとすることができる。
　また例えば、広帯域撮像部１１０からの画像のみを用いて解析を行うように構成することができる。このような構成にした場合、ステップＳ１１における狭帯域撮像部１２０での撮像処理を省略した処理の流れとすることができる。
　また例えば、狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を用いて解析を行うように構成することもできる。このような構成とした場合、狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を合成するという処理が処理部１３１で行われ、その合成された画像が用いられて解析が行われる。
　狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を合成した合成画像を用いて解析を行うか、狭帯域撮像部１２０からの画像のみを用いて解析を行うか、または広帯域撮像部１１０からの画像のみを用いて解析を行うかは、解析内容に応じて、最も精度良く解析できる画像が用いられるように設定されていれば良い。
　また解析内容に応じて、合成画像を用いた解析を行うか、狭帯域撮像部１２０からの画像のみを用いた解析を行うか、または広帯域撮像部１１０からの画像のみを用いた解析を行うかが、切り替えられるようにしても良い。
　ステップＳ１３における解析の結果が用いられ、ステップＳ１４における判定が行われる。ステップＳ１４において、解析結果は良好であったか否かが判定される。
　例えば肌状態の解析を行う場合、シミなどの肌状態を撮像できているか否かが判定される。また例えば、肌色の解析を行う場合、肌色の再現度が高い状態で撮像ができているか否かが判定される。このような判定は、換言すれば、適切な波長帯域で撮像が行われているか否かの判定である。
　ステップＳ１４において、解析結果は良好ではないと判定された場合、換言すれば、適切な波長帯域で撮像されてはいないと判定された場合、ステップＳ１５に処理が進められる。
　ステップＳ１５において、最適波長の情報が取得される。処理部１３１は、解析結果は良好ではないと判定した場合、メモリ１３４（図２）に記憶されているデータから、最適とされる波長帯域の情報を読み出す。または、処理部１３１は、通信部１３５を制御し、サーバ１５１にアクセスし、サーバ１５１に記憶されているデータから、最適とされる波長帯域の情報を読み出す。
　例えば、肌状態（シミがあるか否かなど）を撮像するのに適した波長帯域や、肌色の再現度を向上させるための撮像に適した波長帯域は、人種、年齢、性別などにより異なる。例えば、ステップＳ１１乃至Ｓ１３においては、予め設定されている第１の波長帯域で撮像が行われ、その第１の波長帯域で撮像された画像を解析することで、被写体の人種、年齢、性別など特定し、その特定された情報に基づく最適波長の情報が、読み出されるようにすることができる。
　このような場合、メモリ１３４やサーバ１５１には、被写体の人種、年齢、性別、最適波長が関連づけられたデータが記憶されている。このようなデータは、学習により得られるデータとしても良いし、更新されるようにしても良い。
　ステップＳ１５において、最適波長の情報が取得されると、その情報に基づく波長帯域に、狭帯域光電変換部１５２２のファブリーペロー分光器２５１の波長帯域（第２の波長帯域と適宜記述する）に設定される。この後、処理は、ステップＳ１１に戻され、設定された第２の波長帯域での撮像が行われることで、ステップＳ１１以降の処理が繰り返される。
　一方、ステップＳ１４において、解析結果は良好であったと判定された場合、換言すれば、最適な波長帯域での撮像が行われたと判定された場合、処理は、ステップＳ１６に進められる。
　ステップＳ１６において、処理部１３１は、狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を合成し、画像出力部１３２を介して、図示していない表示部や記録部などに画像を出力する。
　ステップＳ１３において、合成画像を用いた解析を行う場合には、解析にも用いた合成画像が出力されるようにすることができる。また、解析自体は、狭帯域撮像部１２０または広帯域撮像部１１０からの画像のみを用いて行う場合、合成画像を生成する処理が実行されてから、合成画像が出力される。
　また、最適な波長帯域で再度、狭帯域撮像部１２０で撮像を行い、その撮像に同期して、広帯域撮像部１１０でも撮像を行うことで、狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を取得し、合成画像が生成され、出力されるようにしても良い。
　合成画像を生成するとき、解析結果に基づく色補正が行われ、色補正が施された合成画像が出力されるようにしても良い。例えば、肌色の再現度を向上させるときには、解析時の情報に基づき、肌色の再現度を向上させるための色補正が行われるようにしても良い。またこの色補正をするための制御データは、メモリ１３４やサーバ１５１から、例えば、ステップＳ１５において最適波長の情報が読み出されるときに、一緒に読み出されるようにしても良い。
　＜撮像装置１００の第２の処理＞
　図９のフローチャートを参照し、撮像装置１００の第２の処理について説明を加える。
　ステップＳ３１において、狭帯域撮像部１２０は、ファブリーペロー分光器２５１が透過する光の波長帯域を、順次変更して複数回の撮像を行う。狭帯域撮像部１２０の撮像と同期して、広帯域撮像部１１０においても複数回の撮像が行われる（ステップＳ３２）。
　ステップＳ３３において、被写体の推定が行われる。被写体の推定は、狭帯域撮像部１２０からの画像と広帯域撮像部１１０からの画像を合成した合成画像が用いられて行われるようにしても良いし、狭帯域撮像部１２０からの画像または広帯域撮像部１１０からの画像のどちらか一方のみが用いられて行われるようにしても良い。
　ステップＳ３３における被写体の推定結果が用いられ、ステップＳ３４の判定が行われる。すなわち、ステップＳ３４において、被写体が推定できたか否かが判定される。ステップＳ３４において、被写体が推定できたと判定された場合、ステップＳ３５に処理が進められる。
　ステップＳ３５において、最適波長の情報が取得される。ステップＳ３５において取得される情報は、推定された被写体を撮像するのに適した波長であり、画質を向上させるために補間する色に対応する波長に関する情報である。
　例えば、撮像された画像を解析した結果、人の顔が画像内の広い面積を占めていると解析された場合、人物の肌色の波長域の情報が、メモリ１３４またはサーバ１５１（図２）から読み出される。この読み出された波長域の情報と、狭帯域撮像部１２０からの画像内の人の顔部分の色と、広帯域撮像部１１０からの画像の色とが比較され、狭帯域撮像部１２０で撮像する波長帯域が設定される。
　人物の肌色は、人種や性別などによっても異なるため、複数の情報が読み出される。そして、狭帯域撮像部１２０では、異なる波長帯域での撮像が行われているため、また狭帯域撮像部１２０の撮像に同期して広帯域撮像部１１０においても複数回の撮像が行われているため、狭帯域撮像部１２０と広帯域撮像部１１０から複数枚の画像が得られている。
　例えば、狭帯域撮像部１２０からの画像内の人の顔部分の色と、広帯域撮像部１１０からの画像の色とを比較することで、大まかな肌の色が判定（人種が判定）され、その肌の色を撮像するのに適した波長帯域の情報が選択される。
　被写体の推定は、クラウド上にあるサーバ１５１からデータが取得され、そのデータが用いられて行われるようにすることができる。また、そのようなデータは、予め、または所定のタイミングで、メモリ１３４に記憶させ、そのメモリ１３４に記憶されているデータが用いられるようにしても良い。
　また、ユーザにより被写体が設定されるようにしても良い。例えば、シミを解析するような場合、被写体は人（顔）であるため、肌状態の解析である場合には、被写体として人（顔）が設定されたとして、処理が行われるようにしても良い。また、被写体の推定に係わる処理は、ＡＩ機能に基づいて行われるようにしても良い。
　ステップＳ３６において、ステップＳ３５における処理で取得された最適波長の情報に基づき、ファブリーペロー分光器２５１の波長帯域が設定され、その最適波長帯域での撮像が狭帯域撮像部１２０で行われる。また、この撮像に同期して、広帯域撮像部１１０においても撮像が行われる。
　ステップＳ３７において、最適波長帯域で撮像された狭帯域撮像部１２０からの画像と、狭帯域撮像部１２０の撮像に同期して撮像された広帯域撮像部１１０からの画像が合成され、出力される。
　一方、ステップＳ３４において、被写体は推定できなかったと判定された場合、ステップＳ３７に処理が進められ、合成画像が生成され、出力される。この場合、ステップＳ３１とステップＳ３２の処理で、複数枚の画像が撮像されているため、複数の合成画像を生成することができる。複数の合成画像の全てを出力するようにしても良いし、最も写りが良いと判定される画像が選択されて出力されるようにしても良い。
　このように、被写体が推定されたときには、その被写体の写りが最も良くなる補間すべき色の波長帯域で撮像が行われる。
　なお、例えば、ステップＳ３１乃至Ｓ３６の処理が複数回繰り返されるようにしても良い。例えば、一回目にステップＳ３１乃至Ｓ３６の処理が実行されることで、被写体が特定される。被写体が、例えば人であると特定された場合、二回目のステップＳ３１乃至Ｓ３６の処理においては、人の肌色の波長帯域で、撮像する波長帯域を変えて、複数回の撮像が行われることで、被写体の肌の色が特定される。そして、特定された被写体の肌の色に最適な波長帯域が設定され、最終的な撮像が行われる。
　このように、複数回処理を繰り返すことで、被写体に適した波長帯域を、より精度良く設定できるような処理の流れとすることもできる。
　第１の処理と同じく、第２の処理においても、合成画像を生成するとき、解析結果に基づく色補正が行われ、色補正が施された合成画像が出力されるようにしても良い。例えば、肌色の再現度を向上させるときには、解析時の情報に基づき、肌色の再現度を向上させるための色補正が行われるようにしても良い。またこの色補正をするための制御データは、メモリ１３４やサーバ１５１から、例えば、ステップＳ３５において最適波長の情報が読み出されるときに、一緒に読み出されるようにしても良い。
　＜撮像装置１００の第３の処理＞
　図１０のフローチャートを参照し、撮像装置１００の第３の処理について説明を加える。
　撮像装置１００の第３の処理は、図９のフローチャートを参照した第２の処理から、最適波長に設定した撮像を再度行うステップＳ３６の処理を省略した流れとなっている点で、第２の処理と異なり、他の点は同様であるため、その説明は重複するため適宜省略する。
　ステップＳ５１において、狭帯域撮像部１２０は、ファブリーペロー分光器２５１が透過する光の波長帯域を、順次変更して複数回の撮像を行う。狭帯域撮像部１２０の撮像と同期して、広帯域撮像部１１０においても複数回の撮像が行われる（ステップＳ５２）。
　ステップＳ５３において、被写体の推定が行われる。ステップＳ５３における被写体の推定結果が用いられ、ステップＳ５４の判定が行われる。すなわち、ステップＳ５４において、被写体が推定できたか否かが判定される。ステップＳ５４において、被写体が推定できたと判定された場合、ステップＳ５５に処理が進められる。
　ステップＳ５５において、最適波長の情報が取得される。ステップＳ５５において取得される情報は、推定された被写体を撮像するのに適した波長であり、画質を向上させるために補間する色に対応する波長に関する情報である。
　ステップＳ５６において、ステップＳ５５における処理で取得された最適波長の情報に基づき、最適な波長帯域に最も近い波長帯域で撮像された狭帯域撮像部１２０の画像が選択される。そしてその選択された画像が撮像されたときに、広帯域撮像部１１０で撮像された画像と合成され、出力される。
　一方、ステップＳ５４において、被写体は推定できなかったと判定された場合、ステップＳ５６に処理が進められ、合成画像が生成され、出力される。この場合、ステップＳ５１とステップＳ５２の処理で、複数枚の画像が撮像されているため、複数の合成画像を生成することができる。複数の合成画像の全てを出力するようにしても良いし、最も写りが良いと判定される画像が選択されて出力されるようにしても良い。
　このように、被写体が推定されたときには、その被写体の写りが最も良くなる補間すべき色の波長帯域で撮像された画像が選択される。
　第１，第２の処理と同じく、第３の処理においても、合成画像を生成するとき、解析結果に基づく色補正が行われ、色補正が施された合成画像が出力されるようにしても良い。例えば、肌色の再現度を向上させるときには、解析時の情報に基づき、肌色の再現度を向上させるための色補正が行われるようにしても良い。またこの色補正をするための制御データは、メモリ１３４やサーバ１５１から、例えば、ステップＳ５５において最適波長の情報が読み出されるときに、一緒に読み出されるようにしても良い。
　＜他の処理＞
　上述した撮像装置１００の処理は、狭帯域撮像部１２０と広帯域撮像部１１０は、同期して撮像し、同期して撮像された画像を合成することで合成画像を生成していた。このように狭帯域撮像部１２０と広帯域撮像部１１０を同期させて撮像することで、図１１に示すように、動きのある被写体であっても、位置ずれが生じることなく、合成画像を生成することができる。
　図１１の上図は、時刻Ｔ１における被写体と、時刻Ｔ２における被写体を表す。図１１では、被写体が人（の顔）であり、その人の顔３０１にシミ３０２がある被写体を撮像する場合を例に挙げて説明する。また、時刻Ｔ１において顔３０１は、正面を向いた状態であり、時刻Ｔ２において顔３０１は少し首を傾けた状態にあるような被写体を撮像する場合について説明する。
　図１１の中段の図は、狭帯域撮像部１２０で撮像された画像例を表す。時刻Ｔ１において、狭帯域撮像部１２０は、顔３０１を撮像できる波長帯域で撮像を行い、画像３１１を取得する。この波長帯域では、シミ３０２は撮像されないとする。時刻Ｔ２において、狭帯域撮像部１２０は、シミ３０２を撮像するのに適した波長帯域で撮像を行い、画像３１２を取得する。画像３１２には、シミ３０２が撮像され、顔３０１は撮像されていない。
　仮に、狭帯域撮像部１２０において得られた画像のみを合成した場合、すなわち、画像３１１と画像３１２を合成した場合、画像３１３が得られる。画像３１３には、顔３０１とシミ３０２が撮像されている。画像３１３を参照するに、シミ３０２は、目の上側に位置している。実際のシミ３０２の位置は、図１１の上段の図を参照するに、目の横側に位置している。
　時刻Ｔ１から時刻Ｔ２において、顔３０１は、首を傾けた状態に移行したため、画像内において、シミ３０２の位置も移動している。時刻Ｔ１において狭帯域撮像部１２０で撮像された顔３０１に、時刻Ｔ２において狭帯域撮像部１２０で撮像されたシミ３０２を合成すると、画像３１３のように、目の上にシミ３０２があるような合成画像が生成されてしまう可能性がある。
　本技術においては、狭帯域撮像部１２０と広帯域撮像部１１０で同期して撮像が行われるため、図１１の下段に示したような画像が取得される。
　時刻Ｔ１において、広帯域撮像部１１０により顔３０１が撮像される。また、狭帯域撮像部１２０が、シミ３０２を撮像するのに適した波長帯域に設定されていた場合、画像３２１に示すように、顔３０１と、目の横側にシミ３０２が撮像される。よって、合成画像としては、画像３２１に示すように、シミ３０２の位置が正しい位置にある画像が取得される。
　仮に、狭帯域撮像部１２０が、シミ３０２を撮像するのに適してはいない波長帯域に設定されていた場合、合成画像としては、顔３０１のみが撮像されているような画像、例えば、カラー画像であるが、画像３１１のような画像が取得される。
　また、時刻Ｔ２においても同様に、広帯域撮像部１１０により顔３０１が撮像され、狭帯域撮像部１２０によりシミ３０２が撮像される。時刻Ｔ２においては、首が傾いた状態となっているため、シミ３０２の位置は変わっているが、変化後の顔３０１が広帯域撮像部１１０により撮像され、変化後のシミ３０２が狭帯域撮像部１２０により撮像される。
　よって、画像３５２２に示すように、顔３０１と、目の横側にシミ３０２が撮像された合成画像３２３を得ることができる。
　このように、狭帯域撮像部１２０と広帯域撮像部１１０を同期させて撮像を行うことで、被写体が動いたとしても、その動きの影響を低減した撮像を行うことができる。
　また、以下のような場合にも対応できる。狭帯域撮像部１２０の波長帯域を順次変更し、撮像を行うことで、複数枚の画像が取得される。この複数前の画像を、合成した合成画像を生成する場合を考える。
　広帯域撮像部１１０においても、狭帯域撮像部１２０の撮像に同期して複数枚の画像が撮像される。この広帯域撮像部１１０で撮像された画像は、被写体の動き検出に用いる。
　仮に、被写体の動きを考慮しなかった場合、図１１の中段を参照して説明したように、被写体が動いても、その動きを無視した状態で合成が行われる。よって、誤った位置に、例えばシミ３０２があるような画像が生成されてしまう可能性がある。
　広帯域撮像部１１０で撮像された画像を用いて、被写体の動きを検出し、その動きを考慮して、合成画像を生成することで、誤った位置にシミ３０２があるような合成画像が生成されるようことを防ぐことができる。すなわち、広帯域撮像部１１０で撮像された画像を用いて、被写体の動きを検出し、その動きに応じて画像内の例えばシミ３０２の位置を補正して、合成を行うことで、被写体が動いたような場合であっても、誤った位置にシミ３０２があるような合成画像が生成されるようことを防ぐことができる。
　例えば、狭帯域撮像部１２０で時刻Ｔ１において撮像された画像３１１と時刻Ｔ２において撮像された画像３１２を合成するとき、画像３１２のシミ３０２の位置を、被写体が首を傾け分だけ補正した位置に移動させた画像３１２’を生成する。そして、この画像３１２’と画像３１１を合成することで、例えば、画像３２１のような顔３０１の目の横にシミ３０２があるような合成画像を生成することができる。
　このように、広帯域撮像部１１０で撮像される画像を用いて、被写体の動きを検出し、その検出結果を用いて、狭帯域撮像部１２０で撮像される画像を補正することができる。換言すれば、狭帯域撮像部１２０で撮像されるフレーム間の出力結果を、広帯域撮像部１１０からの出力結果を用いて補正することができる。すなわち本技術によれば、広帯域撮像部１１０から得られた出力を用いて、狭帯域撮像部１２０の結果に対して、動被写体補正を行うことができる。
　＜補正について＞
　上述した実施の形態においては、狭帯域撮像部１２０の狭帯域光電変換部１５２２は、ファブリーペロー分光器２５１を備え、またこのファブリーペロー分光器２５１は、透過する光の波長帯域を可変できる構成とされている場合を例に挙げて説明した。
　ファブリーペロー分光器２５１は、図５を参照して説明したように、二枚の半透鏡２５２，２５３を所定の間隔で並列になるように配置された構成とされている。この半透鏡２５２と半透鏡２５３の間隔は、均一であることが好ましい。しかしながら、一般的に、半透鏡２５２と半透鏡２５３の間隔は、不均一になる傾向にある。
　不均一であると、ファブリーペロー分光器２５１を透過する光の波長帯域が不均一になる可能性がある。本技術によれば、広帯域撮像部１１０で撮像される画像を用いて、ファブリーペロー分光器２５１の不均一を補正し、均一であるとして扱うことができるようになる。
　図１２を参照して説明する。広帯域撮像部１１０と狭帯域撮像部１２０で、例えば、単色の壁面４０１を撮像する。広帯域撮像部１１０により撮像された画像を画像４１１とする。また、狭帯域撮像部１２０により撮像された画像を画像４１２とする。
　単色の壁面４０１を撮像したことにより、広帯域撮像部１１０から得られる画像４１１は、基本的に単色の壁面４０１と同一色の画像となる。一方、狭帯域撮像部１２０から得られる画像４１２は、ファブリーペロー分光器２５１が不均一である場合、例えば、図１２の画像４１２として示したように、色むらがあるような画像となる。
　画像４１１を正しい画像とし、画像４１２が、画像４１１と同じ画像となるように、画像４１２を補正する。例えば、波長別にシェーディング検出を行って、その結果をもとに狭帯域撮像部１２０で取得された画像の補正が行われる。
　図１３のフローチャートを参照し、狭帯域撮像部１２０で撮像される画像の補正について説明する。
　ステップＳ７１において、狭帯域撮像部１２０は、ファブリーペロー分光器２５１が透過する光の波長帯域を、所定の波長帯域に設定して撮像を行う。狭帯域撮像部１２０の撮像と同期して、広帯域撮像部１１０においても撮像が行われる（ステップＳ７２）。
　ステップＳ７３において、処理部１３１は、狭帯域撮像部１２０で撮像された画像（図１２の画像４１２に該当する画像）と、広帯域撮像部１１０で撮像された画像（図１２の画像４１１に該当する画像）を比較する。狭帯域撮像部１２０で撮像された画像内の色均一性と、広帯域撮像部１１０で撮像された画像内の色均一性が比較される。
　ステップＳ７４において、ステップＳ７３における比較結果が用いられ、画像内の色均一性が異なるか否かが判定される。ステップＳ７４において、画像内の色均一性が異なると判定された場合、ステップＳ７５に処理が進められる。
　ステップＳ７５において、補正量が算出される。補正量は、広帯域撮像部１１０で撮像された画像４１１の色均一性に合わせるように、狭帯域撮像部１２０で撮像された画像４１２の色をシフトさせることで行われる。
　補正量が算出されると、ステップＳ７６に処理が進められる。ステップＳ７６において、再度撮像が行われる。撮像は、狭帯域撮像部１２０と広帯域撮像部１１０とが同期して、それぞれの撮像部で撮像が行われるようにしても良い。また広帯域撮像部１１０では撮像を行わず、ステップＳ７２の処理で得られた画像が用いられるようにしても良い。
　また、狭帯域撮像部１２０は、ステップＳ７１の処理時に設定されていた波長帯域とは異なる波長帯域で撮像が行われる。ステップＳ７６において狭帯域撮像部１２０で撮像が行われることで得られた画像は、ステップＳ７７において補正される。この補正は、ステップＳ７５において算出された補正量を用いられた補正である。
　ステップＳ７７において補正した画像が生成されると、処理は、ステップＳ７３に戻され、それ以降の処理が繰り返される。ステップＳ７３においては、補正された画像と、広帯域撮像部１１０で撮像された画像４１１との比較が行われる。
　このように、狭帯域撮像部１２０の波長帯域を変えながら複数枚の画像を撮像し、広帯域撮像部１１０からの画像と比較することで、補正パラメータが設定される。
　ステップＳ７４において、補正した結果の画像が、広帯域撮像部１１０からの画像と均一性が同等である（所定の範囲内に収まる程度になった）と判定された場合、ステップＳ７８に処理が進められる。ステップＳ７８において、設定された補正パラメータが、例えば、メモリ１３４（図２）に保存される。
　この後、狭帯域撮像部１２０で撮像された画像は、メモリ１３４に保存されている補正パラメータが用いられて補正され、その補正後の画像が、上記した各処理において用いられる。
　このように、撮像装置１００は、広帯域撮像部１１０と狭帯域撮像部１２０を備えているため、広帯域撮像部１１０で撮像される画像を用いて、狭帯域撮像部１２０で撮像される画像を補正することができる。よって、ファブリーペロー分光器２５１が不均一であっても、補正して、均一であるように扱うことができる。
　本技術によれば、ファブリーペロー分光器２５１を用いた狭帯域撮像部１２０で撮像された画像の面内均一性を向上させた画像を取得できるようになる。
　＜広帯域光電変換部の他の構成について＞
　上記した広帯域光電変換部１１２は、ＲＧＢのカラーフィルタを備える構成である場合を例に挙げて説明した。広帯域光電変換部１１２は、カラーフィルタ以外のフィルタを備える構成であっても良い。例えば、図１４に示すように、１画素で３色をそれぞれ受光する構成とされている画素が２次元アレイ状に配置されている構成であっても良い。
　図１４に、広帯域光電変換部１１２の画素部分の断面構成例を示す。広帯域光電変換部１１２の画素アレイ部に配置されている画素５２０は、同一の画素、すなわち１つの画素内に、深さ方向に積層した、１つの有機光電変換部５３９と、２つのｐｎ接合を有する無機光電変換部ＰＤ１及びＰＤ２とを有して構成される。より詳しくは、広帯域光電変換部１１２の画素５２０は、後述の無機光電変換部が形成される半導体基板（シリコン基板）５２２を有し、基板５２２の裏面５２３側に光が入射される受光面が形成され、基板５２２の表面５２４側にいわゆる読み出し回路等を含む回路が形成される。すなわち画素５２０では、基板５２２の裏面５２３側の受光面５２５と、受光面５２５とは反対側の基板表面５２４側に形成された回路形成面５２６とを有する。半導体基板５２２は、第１導電型、例えばn型の半導体基板で構成される。
　半導体基板５２２内には、裏面５２３側から深さ方向に積層されるように、２つのｐｎ接合を有する無機光電変換部、すなわち第１フォトダイオードＰＤ１と第２フォトダイオードＰＤ２が形成される。半導体基板５２２内では、裏面５２３側から深さ方向に向かって、ホール蓄積層となるｐ型半導体領域５２８と、電荷蓄積層となるｎ半導体領域５２９と、ｐ型半導体領域３１と、電荷蓄積層となるｎ型半導体領域５３２と、ｐ型半導体領域５３３が形成される。ｎ型半導体領域５２９を電荷蓄積層とする第１フォトダイオードＰＤ１が形成され、ｎ型半導体領域５３２を電荷蓄積層とする第２フォトダイオードＰＤ２が形成される。
　本例では、第１フォトダイオードＰＤ１が青色用となり、第２フォトダイオードＰＤ２が赤色用となる。それぞれのｎ型半導体領域５２９及び５３２は、その一部が基板５２２の表面５２４に達するように延長して形成される。それぞれの延長部５２９ａ及び５３２ａは、それぞれのｎ型半導体領域５２９及び５３２の互いに反対側の端部から延長される。また、ホール蓄積層となるｐ型半導体領域５２８は、表面側のｐ型半導体ウェル領域に接続される。さらに少なくとも、第１フォトダイオードＰＤ１のｎ型半導体領域５２９、及び第２フォトダイオードＰＤ２のｎ型半導体領域５３２のそれぞれ基板表面５２４に臨む絶縁膜との界面に、ホール蓄積層となるｐ型半導体領域が形成される。
　一方、第１及び第２のフォトダイオードＰＤ１及びＰＤ２が形成された領域の基板裏面の上層に、絶縁膜５３４を介して有機光電変換部５３６がその上下両面を上部電極５３７と下部電極５３８ａで挟まれて構成された第１色用の有機光電変換部５３９が積層される。本例では有機光電変換部５３６が緑色用となる。上部電極５３７及び下部電極５３８ａは、例えば、酸化インジウム錫（ＩＴＯ）膜、酸化インジウム亜鉛膜等の透明導電膜で形成される。
　上例では、色の組合せとして、有機光電変換部５３９を緑色、第１フォトダイオードＰＤ１を青色、第２フォトダイオードＰＤ２を赤色としたが、その他の色の組合せも可能である。例えば、有機光電変換部５３９を赤色、あるいは青色とし、第１フォトダイオードＰＤ１及び第２フォトダイオードＰＤ２を、その他の対応する色に設定することができる。この場合、色に応じて第１、第２フォトダイオードＰＤ１、ＰＤ２の深さ方向の位置が設定される。
　緑の波長光で光電変換する有機光電変換膜としては、例えばローダーミン系色素、メラシアニン系色素、キナクリドン等を含む有機光電変換材料を用いることができる。赤の波長光で光電変換する有機光電変換膜としては、フタロシアニン系色素を含む有機光電変換材料を用いることができる。青の波長光で光電変換する有機光電変換膜としては、クマリン系色素、トリス－８－ヒドリキシキノリンＡｌ（Ａｌｑ３）、メラシアニン系色素等を含む有機光電変換材料を用いることができる。
　有機光電変換部５３９では、絶縁膜５３４上に、２分割された透明の下部電極５３８ａ及び３８ｂが形成され、両下部電極５３８ａ及び５３８ｂ間を絶縁分離するための絶縁膜５４１が形成される。そして、一方の下部電極５３８ａ上に有機光電変換部５３６とその上の透明の上部電極５３７が形成される。パターニングされた上部電極５３７と有機光電変換部５３６の端面、エッチングによりパターニンされた端面を保護する絶縁膜５４２が形成され、その状態で、別の導電膜によるコンタクトメタル層５４３を介して上部電極５３７が他方の下部電極５３８ｂに接続される。
　保護用絶縁膜を形成することにより、有機光電変換膜の端面が保護され、有機光電変換膜と電極との接触を抑制できる。上部電極５３７は仕事関数を考慮して電極材料が選ばれるので、有機光電変換膜の端面、すなわち側壁で異なる電極材料が接触すると有機光電変換膜側壁での暗電流の発生の可能性がある。また、有機光電変換部５３６と上部電極５３７は、一貫して成膜されるので、きれいな界面が形成される。しかし、ドライエッチングなどでパターニンした後の有機光電変換部５３６の側壁はきれいな面でなく、しかも異なる電極材料が接触すると、界面が悪くなり暗電流が増加する可能性がある。
　１つの画素５２０内における半導体基板５２２には、半導体基板５２２を貫通する１対の導電性プラグ５４５及び５４６が形成される。有機光電変換部５３９の下部電極５３８ａは、一方の導電性プラグ５４５に接続され、上部電極５３７に接続した下部電極５３８ｂは、他方の導電性プラグ５４６に接続される。導電性プラグ５４５は下部電極に対し１つ存在すればよいので、画素ごとに上部電極を分離しなければ、画素領域全体で少なくとも１つの導電性プラグが存在すればよい。
　導電性プラグ５４５及び５４６としては、例えば、Ｓｉとの短絡を抑制するために、ＳｉＯ２もしくは、ＳｉＮ絶縁層を周辺に有するＷプラグ、あるいは、イオン注入による半導体層等により形成することができる。本例では信号電荷を電子としているので、導電性プラグ５４５は、イオン注入による半導体層で形成する場合、ｎ型半導体層となる。上部電極はホールを引き抜くのでｐ型が好ましい。
　本例では、有機光電変換部５３６で光電変換された電子・ホール対のうち、信号電荷となる電子を上部電極５３７及び導電性プラグを通じて蓄積するために、基板５２２の表面側に電荷蓄積用のｎ型領域５４７が形成される。
　半導体基板５２２の裏面５２３上の絶縁膜５３４としては、負の固定電荷を有する膜を用いるのが好ましい。負の固定電荷を有する膜としては、例えば、ハフニウム酸化膜を用いることができる。すなわち、この絶縁膜５３４は、裏面５２３より順次シリコン酸化膜、ハフニウム酸化膜及びシリコン酸化膜を成膜した３層構造にて形成する。ハフニウム酸化膜は、負の固定電荷を有しているので、ｐ型半導体領域（シリコン）５２８のシリコンと絶縁膜５３４との界面のホール蓄積状態が強化されるので、暗電流の発生を抑制する上で有利となる。
　基板５２２の表面側の回路形成面５２６では、有機光電変換部５３６、第１フォトダイオードＰＤ１、第２フォトダイオードＰＤ２のそれぞれに対応する複数の画素トランジスタが形成される。複数の画素トランジスタとしては、４トランジスタ構成、３トランジスタ構成を適用できる。また、前述した画素トランジスタを共有した構成も適用できる。有機光電変換部５３６では、電荷蓄積用のｎ型半導体領域５４７が、フローティングディフュージョン部となるｎ型半導体領域５４８と、転送ゲート電極５４９を有した転送トランジスタＴｒ５１１に接続される。第１フォトダイオードＰＤ１では、電荷蓄積層となるｎ型半導体領域５２９の延長部５２９ａが、フローティングディフュージョン部となるｎ型半導体領域５５１と、転送ゲート電極５５２を有した転送トランジスタＴｒ５１２に接続される。第２フォトダイオードＰＤ２では、電荷蓄積層となるｎ型半導体領域５３２の延長部５３２ａが、フローティングディフュージョン部となるｎ型半導体領域５５３と、転送ゲート電極５５４を有した転送トランジスタＴｒ５１３に接続される。
　そして、少なくとも、第１及び第２のフォトダイオードダイードＰＤ１及びＰＤ２を構成するｎ型半導体領域５２９ａ乃至５３２ａの基板表面５２４に臨む、絶縁膜との界面にホール蓄積層となるｐ型半導体領域５５０が形成される。ホール蓄積層となるｐ型半導体領域５５０がｐ型半導体領域５３３と絶縁膜との界面を含んで形成される。また、有機光電変換部５３６における電荷蓄積用のｎ型半導体領域５４７の基板表面５２４に臨む、絶縁膜との界面にホール蓄積層となるｐ型半導体領域５５０が形成される。上記転送トランジスタＴｒ５１１～Ｔｒ５１３を含む画素トランジスタは、基板表面側のｐ型半導体ウェル領域に形成される。
　なお、図示しないが、半導体基板５２２の表面側では、画素部の画素トランジスタが形成されると共に、周辺回路部において、ロジック回路等の周辺回路が形成される。
　半導体基板５２２の表面上には、層間絶縁膜５５６を介して複数層の配線５５７を配置した多層配線層５５８が形成される。この多層配線層５５８に支持基板５９が貼り合わされる。
　半導体基板５２２の裏面側、より詳しくは、有機光電変換部５３９の上部電極５３７の面が受光面５２５となる。そして、有機光電変換部５３９上に平坦化膜５６１を介して、オンチップレンズ５６２が形成される。本例ではカラーフィルタが形成されない。
　このような、カラーフィルタを形成されていない画素５２０を、広帯域撮像部１１０の画素として用いることも可能である。
　また、広帯域撮像部１１０に、カラーファイルの代わりに、図１５に示した色配置を有するフィルタを用いても良い。またそのフィルタとして、プラズモン共鳴を用いた光学制御を行うプラズモンフィルタと称されるフィルタを用いることができる。図１５は、マルチスペクトル画素にＧ画素を加えた構成例を示す図である。図１５において、“Ｇ”との記載は、Ｇ画素を表し、“ＭＳ”との記載は、ＭＳ画素を表す。Ｇ画素は、カラーフィルタ層の色が緑（Green）とされている画素である。ＭＳ画素は、マルチスペクトル画素であり、所定の周波数帯域の光（所定の色）を受光する画素である。
　図１５では、画素領域２０３の４×４の１６画素を示しており、このような配列の画素群が、画素領域２０３に繰り返し配列されている。図１５に示した１６画素を区別するために、それぞれ数字を付してある。例えば、１６画素のうち、左上に配置されている画素は、Ｇ１画素であり、その右側に配列されているのがＭＳ１画素である。
　図１５に示した色配置においては、Ｇ画素とＭＳ画素が、同数配置されている例を示している。すなわち、１６画素の内、Ｇ１乃至Ｇ８が、Ｇ画素であり、ＭＳ１乃至ＭＳ８が、ＭＳ画素とされている。また、Ｇ画素とＭＳ画素は横方向、および縦方向のそれぞれにおいて、交互に配置されている。
　なおここでは、Ｇ画素とＭＳ画素が交互に配置されている例を挙げて説明を続けるが、異なる配置であっても良い。例えば、２個のＧ画素と２個のＭＳ画素が交互に配置される、１個のＧ画素と２個のＭＳ画素が交互に配置されるなどの色配置であっても良い。
　Ｇ画素は、緑色とされる光、例えば、５００乃至５５０ｎｍの周波数帯域の光を受光する画素である。図１５において、Ｇ１乃至Ｇ８画素は、それぞれ、この周波数帯域の光を受光する画素とされている。
　ＭＳ画素は、抽出対象とされた周波数帯域の光を受光する画素である。図１５において、ＭＳ１乃至ＭＳ８画素は、それぞれ異なる周波数帯域の光を受光する。すなわちこの場合、ＭＳ１乃至ＭＳ８画素により、８つの周波数帯域の光を扱うことができるセンサとされている。
　なお、ここでは、ＭＳ１乃至ＭＳ８画素は、全て異なる周波数帯域の光を受光するとして説明を続けるが、同一の周波数帯域の光を受光する画素としても良い。扱う周波数帯域の数に依存し、例えば、４つの周波数帯域を扱う場合、例えば、ＭＳ１画素とＭＳ２画素は第１の周波数帯域の光を受光する画素とされ、ＭＳ３画素とＭＳ４画素は第２の周波数帯域の光を受光する画素とされ、ＭＳ５画素とＭＳ６画素は第３の周波数帯域の光を受光する画素とされ、ＭＳ７画素とＭＳ８画素は第４の周波数帯域の光を受光する画素とするといったような構成とすることも可能である。
　ＭＳ１乃至ＭＳ８画素は、全て異なる周波数帯域の光を受光するとして、ＭＳ１乃至ＭＳ８画素を構成した場合、ＭＳ１乃至ＭＳ８画素からは、例えば、図１６に示すような信号が得られる。
　ＭＳ１画素は、周波数帯域Ｍ１の光を受光する。同様に、ＭＳ２画素は、周波数帯域Ｍ２の光を受光し、ＭＳ３画素は、周波数帯域Ｍ３の光を受光し、ＭＳ４画素は、周波数帯域Ｍ４の光を受光し、ＭＳ５画素は、周波数帯域Ｍ５の光を受光し、ＭＳ６画素は、周波数帯域Ｍ６の光を受光し、ＭＳ７画素は、周波数帯域Ｍ７の光を受光し、ＭＳ８画素は、周波数帯域Ｍ８の光を受光する。
　このように、ＭＳ１乃至ＭＳ８画素を、それぞれ異なる周波数帯域Ｍ１乃至Ｍ８の光を受光する画素とすることができる。またＧ１乃至Ｇ８画素からは、それぞれ緑色の周波数帯域Ｇの光を受光する画素とすることができる。
　よって、このような構成１の場合、図１５に示した１６画素により、Ｇ画素から、緑色の情報が取得され、ＭＳ１画素から、周波数帯域Ｍ１の色Ｍ１の情報が取得され、ＭＳ２画素から、周波数帯域Ｍ２の色Ｍ２の情報が取得され、ＭＳ３画素から、周波数帯域Ｍ３の色Ｍ３の情報が取得され、ＭＳ４画素から、周波数帯域Ｍ４の色Ｍ４の情報が取得され、ＭＳ５画素から、周波数帯域Ｍ５の色Ｍ５の情報が取得され、ＭＳ６画素から、周波数帯域Ｍ６の色Ｍ６の情報が取得され、ＭＳ７画素から、周波数帯域Ｍ７の色Ｍ７の情報が取得され、ＭＳ８画素から、周波数帯域Ｍ８の色Ｍ８の情報が取得される。
　広帯域光電変換部１１２のフィルタとして、図１５、図１６を参照して説明したプラズモンフィルタを用いて、マルチスペクトルセンサが構成され、マルチスペクトルな画像が撮像されるようにした場合にも、本技術を適用することができる。
　なお、プラズモンフィルタ以外のフィルタを用いて、マルチスペクトルセンサを実現しても良い、例えば、カラーフィルタを、多色にすることで実現することも可能である。また、可視光領域だけでなく、紫外線領域や赤外線領域などの光を扱う画素が含まれていても良い。
　＜ＡＲ,ＶＲなどへの適用例＞
　本技術を適用した撮像装置１００は、ＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）などを提供する装置に適用できる。ここでは、ＡＲを提供する装置に対して、撮像装置１００を適用した場合を例に挙げて説明する。
　図１７は、ＡＲを提供するＡＲ－ＨＭＤ７０１を含む情報処理システムの構成例を示す図である。図１７の情報処理システムは、ＡＲ－ＨＭＤ７０１と情報処理装置７０２が、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク７０３を介して接続されることによって構成される。
　図１７に示すように、ＡＲ－ＨＭＤ７０１は、透過型の表示部を備えた眼鏡型のウェアラブル端末である。ＡＲ－ＨＭＤ７０１は、ネットワーク７０３を介して行われる情報処理装置７０２による制御に従って、キャラクタなどの各種のオブジェクトを含む映像を表示部に表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。
　オブジェクトを含む映像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
　情報処理装置７０２は、ＡＲコンテンツを再生し、再生して得られた映像データをＡＲ－ＨＭＤ７０１に送信することによって、ＡＲコンテンツの映像をＡＲ－ＨＭＤ７０１において表示させる。情報処理装置７０２は、例えばＰＣ（Personal Computer）により構成される。また情報処理装置７０２は、サーバ１５１（図２）であっても良く、例えば、被写体の推定に係わる情報や、被写体にあった波長帯域の情報をＡＲ－ＨＭＤ７０１に供給するように構成しても良い。
　ＡＲ－ＨＭＤ７０１に代えて、図１８のＡに示すビデオ透過型のＨＭＤであるＡＲ－ＨＭＤ７０１Ａや、図１８のＢに示すスマートフォン７０１Ｂなどの携帯端末が、ＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。
　表示デバイスとしてＡＲ－ＨＭＤ７０１Ａが用いられる場合、情報処理装置７０２が再生するＡＲコンテンツの映像は、ＡＲ－ＨＭＤ７０１Ａに設けられたカメラにより撮影された、ＡＲ－ＨＭＤ７０１Ａの前方の風景の画像に重ねて表示される。ＡＲ－ＨＭＤ７０１Ａを装着したユーザの目の前方には、カメラにより撮影された画像に重ねてＡＲコンテンツを表示するディスプレイが設けられている。
　また、スマートフォン７０１Ｂが用いられる場合、情報処理装置７０２が再生するＡＲコンテンツの映像は、スマートフォン７０１Ｂの背面に設けられたカメラにより撮影された、スマートフォン７０１Ｂの前方の風景の画像に重ねて表示される。スマートフォン７０１Ｂの正面には、各種の画像を表示するディスプレイが設けられている。
　ＡＲ－ＨＭＤ７０１、ＡＲ－ＨＭＤ７０１Ａ、スマートフォン７０１Ｂに備えられているカメラに、上述した撮像装置１００を適用することができる。
　実際のシーンに存在する物体の表面に映像を投影するプロジェクタがＡＲコンテンツの表示デバイスとして用いられるようにしてもよい。タブレット端末、テレビジョン受像機などの各種のデバイスをＡＲコンテンツの表示デバイスとして用いることが可能である。
　表示デバイスと情報処理装置７０２がネットワーク７０３を介して無線で接続されるのではなく、有線で接続されるようにしてもよい。
　以下の説明においては、図１９に示すように、本技術を適用した情報処理装置として、眼鏡型の形状を有するウェアラブル端末を例に挙げて説明する。
　図１９に示したＡＲ－ＨＭＤ７０１は、全体として眼鏡型の形状を採り、表示部７１１および７カメラ１２を備えている。表示部７１１は、眼鏡のレンズ部分に対応し、例えばその全部が透過型のディスプレイとして構成される。したがって、表示部７１１は、ユーザが直接視認している実世界の像（実オブジェクト）に、アノテーション（仮想オブジェクト）を透過的に重畳表示する。
　カメラ７１２は、ＡＲ－ＨＭＤ７０１を装着するユーザの左眼に対応する表示部７１１の端に設けられ、そのユーザの視野に含まれる実空間の像を撮像する。このカメラ７１２に、撮像装置１００（図２）を適用することができる。
　表示部７１１には、カメラ７１２により取得された画像を表示させるとともに、その画像に対してアノテーションを重畳表示させるようにすることもできる。また、図示はしないが、ＡＲ－ＨＭＤ７０１において眼鏡のフレームに対応する筐体には、各種のセンサ類やボタン、スピーカなどが、収納または搭載されている。
　なお、ＡＲ－ＨＭＤ７０１の形状は、図１９に示される形状に限らず、帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状など、さまざまな形状を採ることができる。すなわち、本開示に係る技術は、ＨＭＤ全般に適用することができる。
　図２０は、ＡＲ－ＨＭＤ７０１の構成例を示すブロック図である。図２０のＡＲ－ＨＭＤ７０１は、ＣＰＵ（Central Processor Unit）７３１、メモリ７３２、センサ部７３３、入力部７３４、出力部７３５、および通信部７３６を備えている。これらは、バス７３７を介して相互に接続されている。
　ＣＰＵ７３１は、メモリ７３２に記憶されているプログラムやデータなどに従って、ＡＲ－ＨＭＤ７０１が備える各種の機能を実現するための処理を実行する。メモリ７３２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ７３１による処理のためのプログラムやデータを格納する。
　センサ部７３３は、図１９のカメラ７１２を始め、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部７３３により取得された各種のセンサ情報もまた、ＣＰＵ７３１による処理に用いられる入力部７３４は、ボタンやキー、タッチパネルなどから構成される。出力部７３５は、図１９の表示部７１１やスピーカなどから構成される。通信部７３６は、各種の通信を仲介する通信インタフェースとして構成される。
　このようなＡＲ－ＨＭＤ７０１を用いて、例えば、図２１に示すように、ユーザが仮想空間に表示されている情報７５１をタッチするようなジェスチャーをした場合、その情報に関する情報が表示される。
　例えば、仮想空間に表示されている情報７５１が木であった場合、この木の状態を解析するのに適した波長帯域に、狭帯域撮像部１２０のファブリーペロー分光器２５１が設定され、撮像が行われ、その撮像により得られた画像や、画像を解析することにより得られた情報が、ユーザに提示される。
　この仮想空間に表示される情報７５１は、ＡＲコンテンツとして提供される情報であっても良いし、カメラ７１２で撮像されている現実社会の物体であっても良い。例えば、上記した情報７５１としての木は、現実社会に生えている木であり、カメラ７１２で撮像されている木であっても良い。
　また、情報７５１にタッチするようなジェスチャー以外に、例えば、ユーザが向いている方向、視線が向いている方向、頭が向いている方向などがセンサ部７３３により検知されるようにしても良い。すなわち、情報７５１にタッチするといった直接的な指示を表すジェスチャー以外のユーザの動作も、指示を出すジェスチャーの一部に含まれ、そのようなジェスチャー（ユーザの動作）が検出されるようにしても良い。
　また、ユーザの動作を検出し、その検出にあった処理、例えば、ユーザの視線方向にある物体の情報を取得する処理が実行されるようにすることができる。
　ＡＲ－ＨＭＤ７０１を、人の肌状態を解析したり、医療用の装置として用いて、患者の患部を撮像したり、所定の物体を検出したりするのに適用できる。また、そのような解析を行うために必要な情報、例えば、適切な波長帯域の情報などを、クラウド上にあるサーバなどから取得するようにすることができる。
　また、解析も、クラウド上にあるサーバに行わせ、その解析結果を、ＡＲ－ＨＭＤ７０１で受信して、ユーザに提示するといった構成とすることもできる。すなわち、上記した解析は、撮像装置１００以外の電子機器（電子機器が備えるデータ解析部）により行わせる構成とすることも可能であり、そのような電子機器を介在して解析を行うように構成することも可能である。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図２３は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図２３では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮像する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮像する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮像する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図２４は、図２３に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２６は、撮像部１２０３１の設置位置の例を示す図である。
　図２６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２６には、撮像部１２１０１ないし１２１０４の撮像範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える
　撮像装置。
（２）
　前記第２の撮像部が、前記第１の撮像部よりも狭帯域である
　前記（１）に記載の撮像装置。
（３）
　前記第２のフィルタは、ファブリーペロー分光器である
　前記（１）または（２）に記載の撮像装置。
（４）
　前記ファブリーペロー分光器は、電圧で駆動可能なMEMS（Micro Electro Mechanical Systems）で形成されている
　前記（３）に記載の撮像装置。
（５）
　前記第１のフィルタは、カラーフィルタであり、
　前記カラーフィルタで取得される色を補間するための色の波長帯域に、前記第２のフィルタの波長帯域は設定される
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記第１の撮像部は、４以上の波長帯域を有すし、
　前記４以上の波長帯域は、プラズモン共鳴を用いた光学制御を用いている
　前記（１）に記載の撮像装置。
（７）
　前記２以上の撮像部の内の少なくとも１つの撮像部は、有機光電変換膜が用いられている
　前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
　前記第１の撮像部で撮像された画像を用いて被写体を推定し、
　前記第２のフィルタの波長帯域は、推定された前記被写体を撮像するのに適した波長帯域に設定される
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
　前記被写体の推定は、前記第１の撮像部で撮像された画像と、前記第２の撮像部で撮像された画像を合成した合成画像を用いて行う
　前記（８）に記載の撮像装置。
（１０）
　前記第１の撮像部で撮像された画像を、前記第２の撮像部で取得される色情報で補正する
　前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）
　前記第２の撮像部で撮像される画像の色情報の分布を、前記第１の撮像部で撮像される画像の色情報の分布と比較し、前記第２の撮像部で撮像される画像を補正するための補正量を設定する
　前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
　前記第１の撮像部から得られた出力を用いて、前記第２の撮像部の結果に対して動被写体補正を行う
　前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
　前記２以上の撮像部から得られた結果を用いて、物体解析や状態解析を行う
　前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
　前記２以上の撮像部のいずれかの撮像部から得られた結果、または前記２以上の撮像部から得られた結果を合成して得られる結果を、通信先にある他の電子機器を介在して解析を行う
　前記（１３）に記載の撮像装置。
（１５）
　前記第２のフィルタの波長帯域は、前記他の電子機器から指定される
　前記（１４）に記載の撮像装置。
（１６）
　前記第１のフィルタの波長帯域は、可視光帯域であり、
　前記第２のフィルタの波長帯域は、紫外光帯域、可視光帯域、または赤外光帯域である
　前記（１）乃至（１５）のいずれかに記載の撮像装置。
（１７）
　ＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）を提供する装置のいずれかに含まれる
　前記（１）乃至（１６）のいずれかに記載の撮像装置。
（１８）
　前記第１の撮像部と前記第２の撮像部は、同期して撮像を行う
　前記（１）乃至（１７）のいずれかに記載の撮像装置。
（１９）
　撮像装置が、
　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備え、
　前記第１の撮像部で撮像された画像と、前記第２の撮像部で撮像された画像を合成した合成画像を用いて前記被写体を推定する
　撮像方法。
（２０）
　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える
　撮像装置と、
　前記撮像装置からの信号を処理する処理部と
　を備える電子機器。
　１０　複眼カメラモジュール，　２１　単眼カメラモジュール，　５２２　連結部材，　１００　撮像装置，　１１０　広帯域撮像部，　１１１　レンズ，　１１２　広帯域光電変換部，　１１３　Ａ／Ｄ変換部，　１１４　クランプ部，　１１５　色別出力部，　１１６　欠陥補正部，　１１７　リニアマトリックス部，　１２０　狭帯域撮像部，　１２１　レンズ，　１２２　狭帯域光電変換部，　１２３　Ａ／Ｄ変換部，　１３１　処理部，　１３２　画像出力部，　１３４　メモリ，　１３５　通信部，　１５１　サーバ，　２０２　画素，　２０３　画素領域，　２０４　垂直駆動回路，　２０５　カラム信号処理回路，　２０６　水平駆動回路，　２０７　出力回路，　２０８　制御回路，　２０９　垂直信号線，　２１０　水平信号線，　２１２　入出力端子，　２５１　ファブリーペロー分光器，　２５２　半透鏡，　２５３　半透鏡，　３１１，３１２，３１３　画像，　３２１，３２２　画像，　３２３　合成画像，　４０１　壁面，　４１１，４１２　画像

Claims (20)

  1. 　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
    　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
    　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える
    　撮像装置。
  2. 　前記第２の撮像部が、前記第１の撮像部よりも狭帯域である
    　請求項１に記載の撮像装置。
  3. 　前記第２のフィルタは、ファブリーペロー分光器である
    　請求項１に記載の撮像装置。
  4. 　前記ファブリーペロー分光器は、電圧で駆動可能なMEMS（Micro Electro Mechanical Systems）で形成されている
    　請求項３に記載の撮像装置。
  5. 　前記第１のフィルタは、カラーフィルタであり、
    　前記カラーフィルタで取得される色を補間するための色の波長帯域に、前記第２のフィルタの波長帯域は設定される
    　請求項１に記載の撮像装置。
  6. 　前記第１の撮像部は、４以上の波長帯域を有し、
    　前記４以上の波長帯域は、プラズモン共鳴を用いた光学制御を用いている
    　請求項１に記載の撮像装置。
  7. 　前記２以上の撮像部の内の少なくとも１つの撮像部は、有機光電変換膜が用いられている
    　請求項１に記載の撮像装置。
  8. 　前記第１の撮像部で撮像された画像を用いて被写体を推定し、
    　前記第２のフィルタの波長帯域は、推定された前記被写体を撮像するのに適した波長帯域に設定される
    　請求項１に記載の撮像装置。
  9. 　前記被写体の推定は、前記第１の撮像部で撮像された画像と、前記第２の撮像部で撮像された画像を合成した合成画像を用いて行う
    　請求項８に記載の撮像装置。
  10. 　前記第１の撮像部で撮像された画像を、前記第２の撮像部で取得される色情報で補正する
    　請求項１に記載の撮像装置。
  11. 　前記第２の撮像部で撮像される画像の色情報の分布を、前記第１の撮像部で撮像される画像の色情報の分布と比較し、前記第２の撮像部で撮像される画像を補正するための補正量を設定する
    　請求項１に記載の撮像装置。
  12. 　前記第１の撮像部から得られた出力を用いて、前記第２の撮像部の結果に対して動被写体補正を行う
    　請求項１に記載の撮像装置。
  13. 　前記２以上の撮像部から得られた結果を用いて、物体解析や状態解析を行う
    　請求項１に記載の撮像装置。
  14. 　前記２以上の撮像部のいずれかの撮像部から得られた結果、または前記２以上の撮像部から得られた結果を合成して得られる結果を、通信先にある他の電子機器を介在して解析を行う
    　請求項１３に記載の撮像装置。
  15. 　前記第２のフィルタの波長帯域は、前記他の電子機器から指定される
    　請求項１４に記載の撮像装置。
  16. 　前記第１のフィルタの波長帯域は、可視光帯域であり、
    　前記第２のフィルタの波長帯域は、紫外光帯域、可視光帯域、または赤外光帯域である
    　請求項１に記載の撮像装置。
  17. 　ＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）を提供する装置のいずれかに含まれる
    　請求項１に記載の撮像装置。
  18. 　前記第１の撮像部と前記第２の撮像部は、同期して撮像を行う
    　請求項１に記載の撮像装置。
  19. 　撮像装置が、
    　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
    　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
    　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備え、
    　前記第１の撮像部で撮像された画像と、前記第２の撮像部で撮像された画像を合成した合成画像を用いて前記被写体を推定する
    　撮像方法。
  20. 　同一の被写体を撮像、またはセンシング可能な２以上の撮像部を備え、
    　前記２以上の撮像部の内の少なくとも１つの第１の撮像部は、複数の波長帯域を透過する第１のフィルタを備え、
    　前記２以上の撮像部の内の前記第１の撮像部を除く他の少なくとも１つの第２の撮像部は、波長帯域を可変することが可能な第２のフィルタを備える
    　撮像装置と、
    　前記撮像装置からの信号を処理する処理部と
    　を備える電子機器。
PCT/JP2021/005241 2020-02-26 2021-02-12 撮像装置、撮像方法、電子機器 WO2021172055A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/801,210 US20230068923A1 (en) 2020-02-26 2021-02-12 Imaging device, imaging method, and electronic device
KR1020227028242A KR20220146447A (ko) 2020-02-26 2021-02-12 촬상 장치, 촬상 방법, 전자기기
CN202180015929.XA CN115136593A (zh) 2020-02-26 2021-02-12 成像装置、成像方法和电子装置
EP21760293.7A EP4113966A4 (en) 2020-02-26 2021-02-12 IMAGING DEVICE, IMAGING METHOD AND ELECTRONIC APPARATUS
JP2022503263A JPWO2021172055A1 (ja) 2020-02-26 2021-02-12

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020030336 2020-02-26
JP2020-030336 2020-02-26

Publications (1)

Publication Number Publication Date
WO2021172055A1 true WO2021172055A1 (ja) 2021-09-02

Family

ID=77491421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005241 WO2021172055A1 (ja) 2020-02-26 2021-02-12 撮像装置、撮像方法、電子機器

Country Status (7)

Country Link
US (1) US20230068923A1 (ja)
EP (1) EP4113966A4 (ja)
JP (1) JPWO2021172055A1 (ja)
KR (1) KR20220146447A (ja)
CN (1) CN115136593A (ja)
TW (1) TW202137749A (ja)
WO (1) WO2021172055A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996786B (zh) * 2023-09-21 2024-01-16 清华大学 一种rgb-ir图像色彩恢复及校正的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046248A1 (ja) * 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2009033222A (ja) * 2007-07-24 2009-02-12 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2013106229A (ja) 2011-11-15 2013-05-30 Canon Inc 複眼カメラの制御方法及び制御装置
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
WO2019003751A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6021462B2 (ja) * 2012-06-21 2016-11-09 オリンパス株式会社 撮像モジュールおよび撮像装置
WO2015061793A1 (en) * 2013-10-25 2015-04-30 The University Of Akron Multipurpose imaging and display system
US10769436B2 (en) * 2017-04-19 2020-09-08 Sentera, Inc. Multiband filtering image collection and analysis
JP2021097254A (ja) * 2018-03-23 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、撮像装置および医療用撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046248A1 (ja) * 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
JP2007075445A (ja) * 2005-09-15 2007-03-29 Olympus Medical Systems Corp 撮像システム
JP2009033222A (ja) * 2007-07-24 2009-02-12 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
JP2013106229A (ja) 2011-11-15 2013-05-30 Canon Inc 複眼カメラの制御方法及び制御装置
JP2018098341A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
WO2019003751A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 手術用撮像システム及び手術用画像の信号処理装置

Also Published As

Publication number Publication date
CN115136593A (zh) 2022-09-30
JPWO2021172055A1 (ja) 2021-09-02
TW202137749A (zh) 2021-10-01
KR20220146447A (ko) 2022-11-01
EP4113966A4 (en) 2023-08-30
US20230068923A1 (en) 2023-03-02
EP4113966A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
US10958847B2 (en) Imaging device, image processing method, and image processing system
US20220320165A1 (en) Solid-state image pickup device
WO2018043654A1 (ja) 固体撮像装置およびその製造方法、並びに電子機器
WO2019102887A1 (ja) 固体撮像素子および電子機器
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
WO2021131318A1 (ja) 固体撮像装置及び電子機器
WO2020170565A1 (ja) 信号処理方法および撮像装置
WO2021172055A1 (ja) 撮像装置、撮像方法、電子機器
WO2021171797A1 (ja) 固体撮像装置及び電子機器
US20220085081A1 (en) Imaging device and electronic apparatus
CN109565555B (zh) 固态摄像装置、摄像方法和电子设备
WO2022009627A1 (ja) 固体撮像装置および電子機器
WO2020202876A1 (ja) 固体撮像素子及び撮像装置
WO2023195316A1 (en) Light detecting device
WO2022019008A1 (ja) 固体撮像装置及び電子機器
WO2024085005A1 (en) Photodetector
WO2021171796A1 (ja) 固体撮像装置及び電子機器
WO2023195315A1 (en) Light detecting device
JP7316340B2 (ja) 固体撮像装置および電子機器
WO2020241427A1 (ja) 撮像装置、電子機器、情報処理方法及びプログラム
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
WO2021002213A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2021125574A (ja) 受光素子、固体撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21760293

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503263

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021760293

Country of ref document: EP

Effective date: 20220926