WO2018135315A1 - 撮像装置、画像処理方法および画像処理システム - Google Patents

撮像装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
WO2018135315A1
WO2018135315A1 PCT/JP2018/000083 JP2018000083W WO2018135315A1 WO 2018135315 A1 WO2018135315 A1 WO 2018135315A1 JP 2018000083 W JP2018000083 W JP 2018000083W WO 2018135315 A1 WO2018135315 A1 WO 2018135315A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
signal
unit
light
Prior art date
Application number
PCT/JP2018/000083
Other languages
English (en)
French (fr)
Inventor
順一 坂本
加野　靖紀
泰史 佐藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/469,434 priority Critical patent/US10958847B2/en
Publication of WO2018135315A1 publication Critical patent/WO2018135315A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • the present technology relates to an imaging apparatus, an image processing method, and an image processing system, and more particularly, to an imaging apparatus, an image processing method, and an image processing system that are suitable for use in imaging by irradiating invisible light.
  • Patent Document 1 it is not considered to capture a viewing image composed of a visible light component for observing an object separately from a sensing image for constructing a three-dimensional map.
  • An object detection unit that detects a distance to an object based on the first image and detects an object in the second image based on a detection result of the distance to the object can be further provided.
  • the image sensor may be provided with a filter that attenuates the invisible light component included in the light incident on the light receiving portion of each second pixel.
  • the control unit can be controlled to continuously irradiate the invisible light.
  • the irradiation unit can be irradiated with the invisible light having a uniform brightness or the invisible light that projects a predetermined pattern.
  • the viewing mode is further divided into a day mode, CNV mode, and night mode.
  • the day mode is a mode used when, for example, imaging is performed in a state where the periphery of the imaging apparatus 100 is bright.
  • the CNV mode is a mode used when, for example, imaging is performed in a state where the periphery of the imaging device 100 is dark and the intensity of infrared light included in environmental light (hereinafter referred to as environmental infrared light) is low.
  • the night mode is, for example, a mode used when imaging is performed in a state where the surroundings of the imaging device 100 are very dark, or in a state where the surroundings of the imaging device 100 are dark and the intensity of environmental infrared light is high.
  • a color image and a monochrome image are obtained
  • in the night mode a monochrome image is obtained.
  • control unit 102 controls the irradiation period of the infrared light irradiation unit 103 according to the imaging mode.
  • the optical filter 105 is configured by, for example, a dual band pass filter that transmits visible light and infrared light out of the light from the imaging lens 104.
  • FIG. 3 is a graph showing an example of transmission characteristics of the optical filter 105.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the spectral transmittance of the optical filter 105.
  • the optical filter 105 transmits, for example, visible light in a wavelength region near 380 nm to 650 nm and infrared light in a wavelength region near 830 nm to 870 nm.
  • the output unit 108 outputs the YC image signal, the IR image signal, and the sensing result to a device (for example, a display device) outside the imaging device 100.
  • the row scanning circuit 201 selects each row in synchronization with the horizontal synchronization signal HSYNC.
  • the row scanning circuit 201 selects a row by sequentially outputting a row selection signal to each of the rows via the signal line 206.
  • the row scanning circuit 201 exposes the pixels 211 in that row over a predetermined exposure period according to the imaging mode.
  • the pixel 211 converts incident light into an electric signal, and supplies the generated electric signal to the AD conversion unit 204 via the signal line 207 of the corresponding column.
  • FIG. 6 schematically shows a configuration example of the filter of each pixel 211.
  • B pixels, G pixels, R pixels, and IR pixels are arranged from left to right.
  • a microlens array 231 In the R pixel, the G pixel, and the B pixel, a microlens array 231, a color filter 232, and an IR cut filter 233 are stacked in order from the light incident side.
  • a color filter 232 an R filter that transmits the red and infrared wavelength ranges is provided for the R pixel, and a G filter that transmits the green and infrared wavelength ranges is provided for the G pixel.
  • a B filter that transmits blue and infrared wavelength ranges is provided for the B pixel.
  • FIG. 7 is a graph showing an example of transmission characteristics of the IR cut filter 233.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the spectral transmittance.
  • the dotted line indicates the transmission characteristic of the IR cut filter 233
  • the solid line indicates the transmission characteristic of the optical filter 105, as in FIG.
  • the IR cut filter 233 mainly attenuates infrared light in the wavelength region near 830 nm to 870 nm that is transmitted by the optical filter 105. Therefore, an infrared light component included in light incident on a light receiving unit (not shown) of the R pixel, G pixel, and B pixel (for example, a photodiode) is attenuated by the IR cut filter 233.
  • the microlens array 231 and the color filter 232 are laminated in order from the light incident side, and the IR cut filter 233 is not laminated.
  • the color filter 232 an IR filter that attenuates visible light and transmits infrared light is provided for the IR pixel.
  • each of the R pixel, G pixel, and B pixel shows a peak with respect to each visible light of red, green, and blue.
  • each of the R pixel, G pixel, and B pixel has some sensitivity to infrared light. Note that the sensitivity of the R pixel, the G pixel, and the B pixel to infrared light is comparable, and is extremely low compared to the IR pixel.
  • the sensitivity of the IR pixel shows a peak with respect to infrared light having a wavelength of around 845 nm. Further, since the IR filter (R filter + B filter) cannot completely block visible light, the IR pixel has some sensitivity to visible light. Note that the sensitivity of IR pixels to visible light is extremely low compared to R pixels, G pixels, and B pixels.
  • the AD conversion unit 204 is provided for each column, and AD-converts the electrical signal from the pixel 211 to generate a digital signal.
  • the AD conversion unit 204 in the column selected by the column scanning circuit 205 supplies the generated digital signal to the image generation unit 121 of the image processing unit 107 as a pixel signal.
  • the column scanning circuit 205 selects a column by sequentially outputting a column selection signal to each of the AD conversion units 204 according to the timing signal.
  • FIG. 9 is a block diagram illustrating a configuration example of the image generation unit 121.
  • the image generation unit 121 includes an RGBIR interpolation filter 301, a high frequency G interpolation filter 302, a component separation unit 303, a white balance processing unit 304, a ratio calculation unit 305, a color difference adjustment unit 306, a high frequency component extraction unit 307, and a high frequency component restoration unit 308.
  • each of the R pixel, the G pixel, and the B pixel has some sensitivity to infrared light. Therefore, the color signals of these pixels include a visible light component that is a signal photoelectrically converted from visible light and an infrared light component that is a signal photoelectrically converted from infrared light. Therefore, the color signals of the R pixel, G pixel, and B pixel before separating the infrared light component are hereinafter referred to as “R + ⁇ IR ”, “G + ⁇ IR ”, and “B + ⁇ IR ”.
  • the subscript “ + ⁇ IR ” indicates that the color signal includes some infrared light component.
  • the IR pixel has a slight sensitivity to visible light.
  • the color signal of the IR pixel (hereinafter referred to as infrared light signal or IR signal) is an infrared light component that is a signal photoelectrically converted from infrared light and a signal that is photoelectrically converted from visible light. And a visible light component. Therefore, the infrared light signal of the IR pixel before the visible light component is separated is hereinafter referred to as “IR + ⁇ V ”.
  • the subscript “ + ⁇ V ” indicates that the infrared light signal contains some visible light components.
  • the RGBIR interpolation filter 301 pays attention to the pixel signals in order, interpolates the color signals using, for example, the following equations (1) to (4) using the focused pixel signals as interpolation targets and the surrounding pixel signals. To do.
  • M is the number of pixel signals used for interpolation, and is hereinafter referred to as the number of taps.
  • i is an integer of 0 to M ⁇ 1, and indicates a number for identifying a pixel signal used for interpolation.
  • k i is a real coefficient. The coefficient k i is set to a larger value as the distance from the pixel signal related to i to the interpolation target is shorter, and is set to the same value if the distance is the same.
  • the RGBIR interpolation filter 301 supplies the interpolated R + ⁇ IR_L signal, B + ⁇ IR_L signal and IR + ⁇ V_L to the component separation unit 303, and the G + ⁇ IR_L signal to the component separation unit 303, the high frequency component extraction unit 307, and the high frequency component restoration Supplied to the unit 308.
  • FIG. 10 shows an example of image signals before and after interpolation by the RGBIR interpolation filter 301.
  • each of the R + ⁇ IR signal, the G + ⁇ IR signal, the B + ⁇ IR signal, and the IR + ⁇ V signal is arranged in the same arrangement as in FIG.
  • Data 322IR shows an example of data consisting of the IR + ⁇ V_L signal after interpolation.
  • Data 322R shows an example of data composed of the R + ⁇ IR_L signal after interpolation.
  • Data 322G shows an example of data composed of the G + ⁇ IR_L signal after interpolation.
  • Data 322B shows an example of data composed of the B + ⁇ IR_L signal after interpolation. As shown in these data 322IR to 322G, all color signals are interpolated for each pixel.
  • the high-frequency G interpolation filter 302 interpolates only the G signal for each pixel in the RGB image signal.
  • the high-frequency G interpolation filter 302 interpolates the G signal using the following equation (5).
  • N is the number of taps. i and k i are the same as those in the above-described equation (2).
  • the tap number N is set to a value smaller than the tap number M of the RGBIR interpolation filter 301, for example.
  • High frequency G interpolation filter 302 supplies a G + DerutaIR_H signal after the interpolation to the high-frequency component extraction unit 307.
  • the high-frequency G interpolation filter 302 may detect an edge in a specific direction and perform interpolation using a pixel signal along the edge direction preferentially.
  • the high frequency G interpolation filter 302 detects an edge in the horizontal direction or the vertical direction.
  • the high-frequency G interpolation filter 302 interpolates the average of the upper and lower pixel signals to be interpolated when detecting the horizontal edge, and detects the left and right interpolation targets when the vertical edge is detected. Interpolate by averaging pixel signals.
  • the RGBIR interpolation filter 301 may detect an edge and perform interpolation by preferentially using pixel signals along the direction of the edge.
  • the component separation unit 303 is turned on or off according to the control of the control unit 102.
  • the component separation unit 303 is on, for example, the following equation (6) is used to separate and remove the infrared light component from each of the R + ⁇ IR_L signal, the G + ⁇ IR_L signal, and the B + ⁇ IR_L signal: Then, the visible light component is separated and removed from the IR + ⁇ V_L signal.
  • R L , G L, and B L indicate the color signal from which the infrared light component is removed, and IR indicates the infrared light signal from which the visible light component is removed.
  • Equation (7) shows an example of the separation matrix coefficient on the right side of equation (6).
  • Equation (6) is an example of a mathematical formula for separating and removing infrared light components or visible light components, and the component separation unit 303 uses other mathematical formulas to determine infrared light components or visible light components. It is also possible to separate and remove.
  • Component separating unit 303 supplies R L signal, the G L signal and B L signals to the white balance processing section 304 and the ratio calculation unit 305. Further, the component separation unit 303 supplies the IR signal to the ratio calculation unit 305 and the IR image signal output unit 310.
  • FIG. 11 is a graph showing an example of sensitivity characteristics after component separation of each pixel.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the sensitivity of the pixel to the light.
  • the infrared light component and the visible light component are separated from the pixel signal, not the sensitivity, but in the figure, these components are replaced with sensitivity.
  • the solid line in the figure shows the sensitivity characteristic of the IR signal
  • the fine dotted line shows the sensitivity characteristic of the RL signal.
  • the alternate long and short dash line indicates the sensitivity characteristic of the GL signal
  • the rough dotted line indicates the sensitivity characteristic of the BL signal.
  • the infrared light component is removed to some extent in each of the R L signal, the G L signal, and the B L signal. Further, in IR L signal, to some extent, the visible light component is removed.
  • FIG. 12 shows an example of color signals after infrared separation.
  • Data 323R shows an example of data composed of RL signals after infrared separation is performed on the data 322R of FIG.
  • Data 323G shows an example of data composed of a GL signal after performing infrared separation on the data 322G of FIG.
  • Data 323B shows an example of data consisting of a BL signal after infrared separation is performed on the data 322B of FIG. As shown in the data 323R to 323B, the infrared light component is removed from each of the color signals.
  • data 323IR shows an example of data composed of IR signals after performing visible light separation on the data 322IR in FIG. As shown in data 323IR, visible light components are removed from each of the infrared light signals.
  • the component separation unit 303 when the component separation unit 303 is off, the R L signal, the G L signal, and the R L signal, the G L signal, are separated without separating and removing the infrared light component from each of the R + ⁇ IR_L signal, the G + ⁇ IR_L signal, and the B + ⁇ IR_L signal.
  • the signal and the BL signal are supplied to the white balance processing unit 304 and the ratio calculation unit 305.
  • the visible light component is not separated and removed from the IR + ⁇ V_L signal, but is directly supplied to the ratio calculation unit 305 and the IR image signal output unit 310 as an IR signal.
  • R L R + ⁇ IR_L (8)
  • G L G + ⁇ IR_L (9)
  • B L B + ⁇ IR_L (10)
  • IR IR + ⁇ V_L (11)
  • the white balance processing unit 304 adjusts the white balance in R L signal, G L signal and B L signal. For example, the white balance processing unit 304 adjusts the white balance by multiplying each of the R L signal and the B L signal by a gain. The white balance processing unit 304 supplies the R L signal, the G L signal, and the B L signal adjusted for white balance to the color difference adjustment unit 306.
  • the ratio calculation unit 305 calculates the visible light ratio Rc using, for example, the following equations (12) to (15), and supplies the visible light ratio Rc to the control unit 102 and the color difference adjustment unit 306.
  • R L_j, G L_j, B L_j each j indicates th R L signal, G L signal, a B L signal.
  • Y j represents a luminance component in the j-th pixel signal.
  • N is the number of pixel signals in the image signal.
  • IR j indicates the j-th IR signal.
  • IR av is the average value of the IR signal.
  • Y av is the average value of the luminance components.
  • the color difference adjustment unit 306 adjusts the color difference signal based on the visible light ratio Rc and the photometric quantity Q according to the imaging mode. Specifically, for each pixel signal, the color difference adjustment unit 306 converts the R L signal, the G L signal, and the B L signal in the pixel signal into a luminance signal and a color difference signal. Then, the color difference adjustment unit 306 adjusts the color difference signal based on the visible light ratio Rc and the photometric quantity Q according to the imaging mode, and converts the luminance signal and the color difference signal into the R L signal, the G L signal, and the B L signal. It is returned and supplied to the high frequency component restoration unit 308.
  • the high frequency component extraction unit 307 extracts the difference between the G + ⁇ IR_L signal from the low frequency RGBIR interpolation filter 301 and the G + ⁇ IR_H signal from the high frequency G interpolation filter 302 as a high frequency component GH .
  • the tap number N of the high-frequency G interpolation filter 302 is smaller than the tap number M of the RGBIR interpolation filter 301. Therefore, the G + ⁇ IR_H signal from the high frequency G interpolation filter 302 includes a higher frequency component than the G + ⁇ IR_L signal from the RGBIR interpolation filter 301. Therefore, the high frequency component GH can be extracted by taking the difference between them.
  • the high frequency component extraction unit 307 supplies the extracted high frequency component GH to the high frequency component restoration unit 308.
  • the high frequency component restoration unit 308 restores the high frequency component GH in the R L signal, the G L signal, and the B L signal.
  • the high frequency component restoration unit 308 restores the high frequency component GH using, for example, the following equations (16) to (18).
  • R R L + ( GH / G + ⁇ IR_L ) ⁇ R L (16)
  • G G L + (G H / G + ⁇ IR_L) ⁇ G L ⁇ (17)
  • B B L + (G H / G + ⁇ IR_L ) ⁇ B L (18)
  • the Bayer image signal output unit 309 arranges the R signal, the G signal, and the B signal according to the Bayer array, and outputs the signals to the image conversion unit 122 and the sensing unit 123 as a Bayer image signal.
  • FIG. 13 shows an example of image signals before and after Bayerization.
  • Data 324R shows an example of data composed of an R signal after restoring the high frequency component.
  • Data 324G shows an example of data composed of the G signal after restoring the high frequency component.
  • Data 324B shows an example of data composed of the B signal after the high-frequency component is restored.
  • the subscripts of the R signal, the G signal, and the B signal indicate the positions of the rows and columns where the pixel signals are arranged. For example, the R signal in the first row and the first column is expressed as R 11, and the R signal in the first row and the second column is expressed as R 12 .
  • the R signal, the G signal, and the B signal after restoration of the high frequency components are arranged according to the Bayer array, and a Bayer image signal 325 is generated.
  • a Bayer image signal 325 is generated among the 4 ⁇ 4 R signals of the data 324R, R 21 , R 23 , R 41 and R 43 are selected and arranged without changing the position of the rows and columns in the Bayer image signal 325.
  • the 4 ⁇ 4 G signals of the data 324G, G 11 , G 13 , G 22 , G 24 , G 31 , G 33 , G 42 and G 44 are selected, and the row and the Bayer image signal 325 are selected. They are arranged without changing the position of the column.
  • B 12 , B 14 , B 32, and B 34 are selected from the 4 ⁇ 4 B signals of the data 324 B, and are arranged without changing the position of the rows and columns in the Bayer image signal 325. In this way, a Bayer image signal 325 in which the R signal, the G signal, and the B signal are arranged in a Bayer array is generated.
  • the IR image signal output unit 310 arranges IR signals in a two-dimensional grid and outputs the IR signals to the output unit 108 and the sensing unit 123 as IR image signals.
  • the high-frequency G interpolation filter 302, the high-frequency component extraction unit 307, and the high-frequency component restoration unit 308 perform extraction and restoration of high-frequency components, a configuration without these may be employed. However, from the viewpoint of improving the image quality, it is desirable to provide the high-frequency G interpolation filter 302, the high-frequency component extraction unit 307, and the high-frequency component restoration unit 308.
  • the ratio calculation unit 305 and the color difference adjustment unit 306 are provided in the image generation unit 121, they may be provided in the subsequent image conversion unit 122. However, from the viewpoint of improving image quality, it is desirable to provide the ratio calculation unit 305 and the color difference adjustment unit 306 in the image generation unit 121.
  • the Bayer image signal output unit 309 may not be provided, and the image signal may be supplied to the image conversion unit 122 and the sensing unit 123 without being Bayerized.
  • FIG. 14 is a block diagram illustrating a configuration example of the color difference adjustment unit 306.
  • the color difference adjustment unit 306 includes a YC conversion unit 351, a color difference signal correction unit 352, and an RGB conversion unit 353.
  • the YC conversion unit 351 converts the R L signal, the G L signal, and the B L signal into a luminance signal Y L and color difference signals Cr and Cb for each pixel.
  • the YC conversion unit 351 is, for example, an ITU-R (International Telecommunication Union Radiocommunication Sector) BT. Conversion is performed by the following equations (19) to (21) based on the standard of 601.
  • the YC conversion unit 351 supplies the color difference signals Cr and Cb to the color difference signal correction unit 352 and supplies the luminance signal Y L to the RGB conversion unit 353.
  • the RGB conversion unit 353 converts the luminance signal Y L and the color difference signals Cr ′ and Cb ′ into the R L signal, the G L signal, and the B L signal for each pixel, and supplies them to the high frequency component restoration unit 308.
  • the RGB conversion unit 353 is, for example, ITU-R BT. Conversion is performed using the following equations (22) to (24) based on the 601 standard.
  • R L Y L + 1.402 ⁇ Cr ′ (22)
  • G L Y L ⁇ 0.344136 ⁇ Cr′ ⁇ 0.714136 ⁇ Cb ′ (23)
  • B L Y L + 1.772 ⁇ Cb ′ (24)
  • the chroma gain control unit 401 controls a chroma gain Gc, which is a gain multiplied by the color difference signal, based on the imaging mode, the photometric quantity Q, and the visible light ratio Rc.
  • the multiplier 402 multiplies the color difference signal Cr by the chroma gain Gc and supplies the color difference signal Cr ′, which is the multiplication result, to the RGB conversion unit 353.
  • the multiplier 403 multiplies the color difference signal Cb by the chroma gain Gc, and supplies the color difference signal Cb ′, which is the multiplication result, to the RGB conversion unit 353.
  • the color difference signals Cr ′ and Cb ′ are expressed by the following equations (25) and (26).
  • the color difference signals Cr ′ and Cb ′ are expressed by the following equations (27) and (28).
  • the R L signal, the G L signal, and the B L signal output from the RGB conversion unit 353 include only the luminance signal Y L and become a monochrome image signal.
  • the linear matrix calculation unit 502 supplies the calculated R ′ signal, G ′ signal, and B ′ signal to the gamma correction unit 503.
  • the linear matrix calculation unit 502 supplies the calculated R ′ signal, G ′ signal, and B ′ signal to the gamma correction unit 503.
  • the gamma correction unit 503 performs gamma correction according to the display characteristics.
  • the gamma correction unit 503 supplies the demosaic image signal after correction to the YC conversion unit 504.
  • the image conversion unit 122 may not include the demosaic processing unit 501.
  • step S2 the control unit 102 sets the sensing mode.
  • the control unit 102 supplies a mode signal indicating that the sensing mode is set to the chroma gain control unit 401.
  • step S4 the control unit 102 turns off the component separation unit 303.
  • step S1 determines whether sensing is not performed. If it is determined in step S1 that sensing is not performed, the process proceeds to step S5.
  • step S5 the imaging apparatus 100 executes the viewing mode setting process, and then the imaging mode setting process ends.
  • step S21 the imaging apparatus 100 turns off the infrared light irradiation and the pixel-by-pixel shutter.
  • the control unit 102 controls the infrared light irradiation unit 103 to turn off the light. Further, the control unit 102 controls the image sensor 106 to turn off the pixel-by-pixel shutter.
  • step S24 the control unit 102 determines the intensity of the environmental infrared light. Specifically, as described above, the ratio calculation unit 305 calculates the visible light ratio Rc using equations (12) to (15), and supplies the visible light ratio Rc to the control unit 102.
  • step S23 determines that the surrounding is very dark. If it is determined in step S23 that the surrounding is very dark, the process of step S24 is skipped, and the process proceeds to step S25.
  • step S27 the control unit 102 sets the CNV mode. That is, the control unit 102 sets the CNV mode when the surrounding is dark and the intensity of the environmental infrared light is low.
  • the control unit 102 supplies a mode signal indicating that the CNV mode is set to the chroma gain control unit 401.
  • step S23 determines whether the surroundings are bright. If it is determined in step S23 that the surroundings are bright, the process proceeds to step S30.
  • FIG. 23 shows an example of the irradiation period of infrared light and the exposure period of each pixel when the sensing mode or the CNV mode is set.
  • the sensing mode or the CNV mode is set, the exposure period is shifted in units of rows according to the sweep direction from the first row to the last row of the pixel array unit 202 of the image sensor 106.
  • different exposure periods are set for the R pixel, the G pixel, and the B pixel (hereinafter referred to as color pixels) and the IR pixel even for pixels in the same row.
  • the exposure period of the color pixels in the first row of the pixel array unit 202 is started. Thereafter, the exposure period of the color pixels in each row of the pixel array unit 202 is started in the order of the sweep direction at predetermined time intervals. At time t3, the exposure period of the color pixels in the last row of the pixel array unit 202 is started. Thus, in the period from time t2 to time t3, the color pixel exposure periods are started at predetermined time intervals in order of the sweep direction.
  • the exposure period of the color pixels in the first row of the pixel array unit 202 ends, and the charge signal obtained during the exposure period is read out. Thereafter, the exposure period of the color pixels in each row of the pixel array unit 202 ends in the order of the sweep direction at a predetermined time interval, and the charge signal obtained during the exposure period is read out. At time t5, the exposure period of the color pixels in the last row of the pixel array unit 202 ends, and the charge signal obtained during the exposure period is read out. Thus, during the period from time t4 to time t5, the color pixel exposure periods end at predetermined time intervals in the order of the sweep direction, and the charge signal obtained during the exposure period is read out.
  • the color pixel exposure periods are started at predetermined time intervals in order of the sweep direction.
  • the exposure period of the IR pixels in the first row of the pixel array unit 202 ends, and the charge signal obtained during the exposure period is read out. Thereafter, the exposure period of the IR pixels in each row of the pixel array unit 202 ends in order of the sweep direction at a predetermined time interval, and the charge signal obtained during the exposure period is read out.
  • the exposure period of the IR pixel in the last row of the pixel array unit 202 ends, and the charge signal obtained during the exposure period is read out.
  • the exposure period of the IR pixel ends at a predetermined time interval in the order of the sweep direction, and the charge signal obtained during the exposure period is read out.
  • the exposure period of the color pixel and the IR pixel is set within each frame period. Further, the exposure period of IR pixels for receiving infrared light is set longer than the exposure period of color pixels not used for receiving infrared light. Further, in each frame period, a period in which the exposure period of the IR pixel and the color pixel does not overlap, such as a period from time t1 to time t2, a period from time t5 to time t6, and a period from time t9 to time t10. More specifically, a period (hereinafter referred to as a single exposure period) in which all IR pixels are exposed and all color pixels are not exposed is provided.
  • infrared light may be irradiated only during a part of the single exposure period.
  • the IR pixel receives the infrared light from the infrared light irradiation unit 103, a high-quality IR image can be obtained.
  • the exposure period of the color pixel and the IR pixel starts at a predetermined time interval in order of the sweep direction.
  • the exposure period of the color pixel and the IR pixel ends in the order of the sweep direction, the charge signal obtained during the exposure period is read, and a new exposure period is started. .
  • the exposure period of the color pixel and the IR pixel ends in the sweep direction, the charge signal obtained during the exposure period is read, and a new exposure period is started. .
  • FIG. 25 shows an example of the irradiation period of infrared light and the exposure period of each pixel when the night mode is set.
  • the exposure period is shifted in units of rows according to the sweep direction from the first row to the last row of the pixel array unit 202 of the image sensor 106, as in the case of other modes. It is. Further, the exposure period of the color pixel and the IR pixel are matched by turning off the shutter for each pixel.
  • the exposure period of the color pixel and the IR pixel starts at a predetermined time interval in order of the sweep direction.
  • the exposure period of the color pixel and the IR pixel ends in the order of the sweep direction, the charge signal obtained during the exposure period is read, and a new exposure period is started. .
  • the exposure period of the color pixel and the IR pixel ends in the sweep direction, the charge signal obtained during the exposure period is read, and a new exposure period is started. .
  • infrared light is irradiated continuously.
  • infrared light (hereinafter referred to as structured light) indicating a predetermined pattern is emitted from the infrared light irradiation unit 103.
  • structured light indicating the dot pattern shown in FIG. 26 is irradiated from the infrared light irradiation unit 103.
  • the infrared light irradiation unit 103 irradiates infrared light (hereinafter, referred to as flat light) with no specific pattern and uniform brightness.
  • Imaging processing Next, imaging processing executed by the imaging device 100 will be described with reference to the flowchart of FIG.
  • step S101 the image sensor 106 captures a RAW image. Specifically, the image sensor 106 captures an image of light received through the imaging lens 104 and the optical filter 105, and uses a RGB image interpolation filter 301 and a high frequency G interpolation filter 302 as a RAW image signal obtained as a result of the imaging. To supply.
  • step S151 the RGBIR interpolation filter 301 and the high frequency G interpolation filter 302 perform pixel interpolation.
  • the RGBIR interpolation filter 301 interpolates all the color signals for each pixel in the RAW image signal.
  • the RGBIR interpolation filter 301 supplies the interpolated R + ⁇ IR_L signal, B + ⁇ IR_L signal and IR + ⁇ V_L signal to the component separation unit 303, and the G + ⁇ IR_L signal to the component separation unit 303, the high frequency component extraction unit 307, and the high frequency component This is supplied to the restoration unit 308.
  • the high-frequency G interpolation filter 302 interpolates only the G signal for each pixel in the RAW image signal.
  • the high frequency G interpolation filter 302 supplies the G + ⁇ IR_H signal after interpolation to the high frequency component extraction unit 307.
  • step S152 it is determined whether or not the component separation unit 303 is turned on. If it is determined that the component separation unit 303 is turned on, the process proceeds to step S153.
  • the component separation unit 303 separates and removes unnecessary components. Specifically, as described above, the component separation unit 303 separates and removes infrared light components from each of the R + ⁇ IR_L signal, the G + ⁇ IR_L signal, and the B + ⁇ IR_L signal. The component separation unit 303 supplies the R L signal, the G L signal, and the B L signal from which the infrared light component has been removed to the white balance processing unit 304.
  • the component separating unit 303 is removed by separating the visible light component from the IR + ⁇ V_L signal.
  • the component separation unit 303 supplies the IR signal from which the visible light component has been removed to the IR image signal output unit 310.
  • step S152 determines whether the component separation unit 303 is turned off. If it is determined in step S152 that the component separation unit 303 is turned off, the process of step S153 is skipped, and the process proceeds to step S154.
  • the R + ⁇ IR_L signal, the G + ⁇ IR_L signal, and the B + ⁇ IR_L signal input to the component separation unit 303 are directly subjected to the R L signal, the G L signal, and the infrared light component without being separated and removed.
  • the signal is supplied to the white balance processing unit 304 as a BL signal.
  • the IR + ⁇ V_L signal input to the component separation unit 303 is supplied to the IR image signal output unit 310 as an IR signal without being subjected to separation and removal of visible light components.
  • step S154 the white balance processing unit 304 performs white balance processing. Specifically, the white balance processing unit 304, as described above, R L signal, G L signal and adjust the white balance in B L signal, R L signal having an adjusted white balance, G L signal and B L The signal is supplied to the YC conversion unit 351.
  • step S155 the chroma gain control unit 401 determines whether or not the night mode is set. If it is determined that the night mode is set, the process proceeds to step S156.
  • step S156 the color difference adjustment unit 306 adjusts the color difference for the night mode.
  • the YC conversion unit 351 converts the R L signal, the G L signal, and the B L signal into the luminance signal Y L and the color difference signals Cr and Cb for each pixel.
  • the YC conversion unit 351 supplies the luminance signal Y L to the RGB conversion unit 353. Further, the YC conversion unit 351 supplies the color difference signal Cr to the multiplier 402 and supplies the color difference signal Cb to the multiplier 403.
  • the chroma gain control unit 401 sets the chroma gain Gc to 0.
  • the chroma gain control unit 401 supplies the set chroma gain Gc to the multipliers 402 and 403.
  • the RGB conversion unit 353 converts the luminance signal Y L and the color difference signals Cr ′ and Cb ′ into the R L signal, the G L signal, and the B L signal for each pixel, and sends them to the high frequency component restoration unit 308. Supply.
  • the color difference signals Cr ′ and Cb ′ are 0, the image composed of the R L signal, the G L signal, and the B L signal is a monochrome image.
  • step S155 if it is determined in step S155 that the sensing mode, day mode, or CNV mode is set, the process proceeds to step S157.
  • step S157 the color difference adjustment unit 306 adjusts the color difference for the sensing mode, the day mode, and the CNV mode.
  • the YC conversion unit 351 converts the R L signal, the G L signal, and the B L signal into the luminance signal Y L and the color difference signals Cr and Cb for each pixel.
  • the YC conversion unit 351 supplies the luminance signal Y L to the RGB conversion unit 353. Further, the YC conversion unit 351 supplies the color difference signal Cr to the multiplier 402 and supplies the color difference signal Cb to the multiplier 403.
  • the ratio calculation unit 305 calculates the visible light ratio Rc and supplies it to the control unit 102 and the chroma gain control unit 401 as described above.
  • the chroma gain control unit 401 sets the chroma gain Gc using the graph of FIG. 16 based on the light measurement quantity Q and the visible light ratio Rc as described above.
  • the chroma gain control unit 401 supplies the set chroma gain Gc to the multipliers 402 and 403.
  • the multiplier 402 multiplies the color difference signal Cr by the chroma gain Gc and supplies the color difference signal Cr ′, which is the multiplication result, to the RGB conversion unit 353.
  • the multiplier 403 multiplies the color difference signal Cb by the chroma gain Gc, and supplies the color difference signal Cb ′, which is the multiplication result, to the RGB conversion unit 353.
  • the RGB conversion unit 353 converts the luminance signal Y L and the color difference signals Cr ′ and Cb ′ into the R L signal, the G L signal, and the B L signal for each pixel, and supplies them to the high frequency component restoration unit 308. To do.
  • step S158 the high-frequency component extraction unit 307, as described above, on the basis of the G + ⁇ IR_L signals and G + ⁇ IR_H signal to extract the high frequency component G H.
  • the high frequency component extraction unit 307 supplies the extracted high frequency component GH to the high frequency component restoration unit 308.
  • step S159 the high frequency component restoring unit 308, as described above, to restore the high frequency component G H in R L signal, G L signal and B L signal.
  • the high frequency component restoration unit 308 supplies the R signal, the G signal, and the B signal obtained by restoring the high frequency component to the Bayer image signal output unit 309.
  • step S160 the image generation unit 121 outputs a Bayer image signal and an IR image signal.
  • the Bayer image signal output unit 309 arranges the R signal, the G signal, and the B signal according to the Bayer array, and supplies the signals to the demosaic processing unit 501 and the recognition unit 562 as a Bayer image signal.
  • the IR image signal output unit 310 arranges the IR signals in a two-dimensional grid and supplies the IR signals to the output unit 108 and the distance measurement unit 561 as IR image signals.
  • the object detection unit 551 determines whether or not to perform object detection based on user settings and the like. If it is determined not to perform object detection, the process proceeds to step S104.
  • step S104 the image conversion unit 122 performs image conversion.
  • the demosaic processing unit 501 converts the Bayer image signal into a demosaic image signal including an R signal, a G signal, and a B signal for each image signal, and the converted demosaic image signal is linearly converted. This is supplied to the matrix calculation unit 502.
  • the linear matrix calculation unit 502 performs a linear matrix calculation on the demosaic image signal and supplies the demosaic image signal after the calculation to the gamma correction unit 503.
  • the gamma correction unit 503 performs gamma correction of the demosaic image signal according to the characteristics of the display, and supplies the demosaic image signal after correction to the YC conversion unit 504.
  • the YC conversion unit 504 converts the demosaic image signal into a YC image signal and supplies the converted YC image signal to the output unit 108.
  • step S105 the output unit 108 outputs an image signal. That is, the output unit 108 outputs a YC image signal and an IR image signal.
  • step S103 determines whether object detection is to be performed. If it is determined in step S103 that object detection is to be performed, the process proceeds to step S106.
  • step S106 the object detection unit 551 executes object detection processing.
  • the details of the object detection process will be described with reference to the flowchart of FIG.
  • each subject is represented in monochrome, but is actually colored.
  • FIG. 31 and FIG. 32 show examples of a Bayer image based on the Bayer image signal obtained by the image generation process of S102 and an IR image based on the IR image signal.
  • the Bayer image in FIG. 31 and the IR image in FIG. 32 are both part of an image obtained by capturing the subject in FIG. 30 within the same frame period. Further, the IR image of FIG. 32 is taken in a state where the structured light is irradiated on the subject of FIG. Note that although the Bayer image in FIG. 31 is represented in monochrome, it is actually a color image.
  • step S201 the distance measurement unit 561 acquires a calibration image.
  • the calibration image is obtained by capturing an image of a flat surface, which is set perpendicular to the optical axis of the image capturing apparatus 100 (imaging lens 104), with the structured light irradiated thereto. IR image to be generated. Therefore, as shown in FIG. 33, the calibration image is an image in which the structured light pattern is projected as it is.
  • the calibration image is captured in advance, and an IR image signal (hereinafter referred to as a calibration image signal) indicating the calibration image is stored in the storage unit 563.
  • the distance measurement unit 561 reads the calibration image signal from the storage unit 563.
  • the distance measuring unit 561 performs distance measurement. For example, the distance measurement unit 561 associates each dot in the calibration image with each dot in the IR image obtained by capturing the subject. For example, as illustrated in FIG. 34, the distance measurement unit 561 detects dots D1 'to D3' corresponding to the dots D1 to D3 in the calibration image in the IR image. Then, the distance measurement unit 561 calculates the distance to the object at each dot of the IR image based on the distance between the corresponding dots.
  • the structured light is projected onto the object 601, and thus the dot D2 'of the IR image has moved to the left from the position of the dot D2 of the corresponding calibration image.
  • the distance measuring unit 561 calculates the distance to the object at the position of the dot D2 'in the IR image based on the distance between the dot D2' and the dot D2. Then, the distance measuring unit 561 calculates the distance to the object at the position of each dot by performing the same processing for all the dots of the IR image.
  • the distance measuring unit 561 generates a depth map indicating the distribution of distances to the object, and supplies the generated depth map to the recognition unit 562.
  • FIG. 35 shows an example of a depth map.
  • the depth map is shown as a monochrome image, but in the actual image, the color of the pixel changes according to the distance to the object.
  • step S203 the recognition unit 562 recognizes an object.
  • the recognition unit 562 detects a region where an object exists based on the depth map. For example, in the example of FIG. 35, the regions R1 to R6 are detected.
  • the recognition part 562 recognizes the object in each detected area
  • CNN Convolutional Neural Network
  • the recognition unit 562 supplies the detection result of the object to the output unit 108.
  • step S107 image conversion is performed in the same manner as in step S104.
  • step S108 the output unit 108 outputs an image signal and a detection result. That is, the output unit 108 outputs a YC image signal, an IR image signal, and an object detection result.
  • step S109 the control unit 102 determines whether or not to stop imaging. If it is determined not to stop imaging, the process returns to step S101, and the processes of steps S101 to S109 are repeatedly executed until it is determined to stop imaging in step S109.
  • step S109 the control unit 102 determines to stop imaging, for example, when a predetermined operation is performed by the user or when the time for continuing imaging has elapsed, and the imaging process ends.
  • the imaging apparatus 100 can acquire a color image and an IR image in parallel within the same frame period using one imaging element 106.
  • the example of detecting the distance to the object (depth sensing) using the IR image and detecting the object using the depth sensing result is shown.
  • the depth sensing result is used for other purposes. It can also be used.
  • impersonation can be easily detected by performing plane detection by depth sensing using an IR image.
  • the IR image may be used for other sensing applications.
  • processing such as iris authentication, autofocus, auto white balance, and backlight correction can be performed using an IR image captured using a flat light.
  • the IR image By using the IR image, the above-described processing performance in the dark or in a dark place is improved as compared with the case of using a color image.
  • an IR image picked up using a flat light can be used for viewing applications (eg, monitoring) especially in the dark or in a dark place.
  • the luminance / color difference adjustment unit 701 in FIG. 37 may be provided instead of the color difference adjustment unit 306 so that not only the color difference signal but also the luminance signal is corrected.
  • the same reference numerals are given to the portions corresponding to those in FIG.
  • the luminance signal generation unit 711 generates a luminance signal Y + ⁇ IR from the R + ⁇ IR signal, the G + ⁇ IR signal, and the B + ⁇ IR signal supplied from the image sensor 106 using the following equation (32).
  • the composition ratio control unit 751 controls the composition ratio ⁇ based on the imaging mode, the photometric quantity Q, and the visible light ratio Rc.
  • the composition ratio control unit 751 sets the value of the composition ratio ⁇ to 0 when the night mode is set.
  • composition ratio control unit 751 is provided in the image processing unit 107, but the composition ratio control unit 751 may be provided in the control unit 102, for example.
  • FIG. 43 is a graph showing an example of sensitivity characteristics for each pixel 211.
  • the horizontal axis indicates the wavelength of light
  • the vertical axis indicates the sensitivity of the pixel 211 with respect to light of that wavelength.
  • a solid line indicates the sensitivity characteristic of the W pixel
  • a fine dotted line indicates the sensitivity characteristic of the R pixel.
  • a one-dot chain line indicates the sensitivity characteristic of the G pixel
  • a rough dotted line indicates the sensitivity characteristic of the B pixel.
  • a combination of three or more colors other than the R pixel, the G pixel, and the B pixel may be used as the color pixel.
  • the sensing mode and the CNV mode can be set to a mode similar to the night mode. That is, even if infrared light is continuously irradiated without using a pixel-by-pixel shutter, color pixels do not receive infrared light, so that a high-quality color image and IR image can be acquired.
  • FIG. 44 is a block diagram showing an example of the hardware configuration of a computer 900 that executes the above-described series of processing by a program.
  • the input unit 906 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 907 includes a display, a speaker, and the like.
  • the storage unit 908 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 909 includes a network interface or the like.
  • the drive 910 drives a removable medium 911 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the input device 5047 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5047 includes a camera capable of detecting the user's movement, and various inputs are performed according to the user's gesture and line of sight detected from the video captured by the camera.
  • the input device 5047 includes a microphone that can pick up a user's voice, and various inputs are performed by voice through the microphone.
  • the support arm device 5027 includes a base portion 5029 as a base and an arm portion 5031 extending from the base portion 5029.
  • the arm portion 5031 includes a plurality of joint portions 5033a, 5033b, and 5033c and a plurality of links 5035a and 5035b connected by the joint portion 5033b.
  • FIG. The configuration of the arm portion 5031 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5033a to 5033c and the links 5035a and 5035b, the direction of the rotation axis of the joint portions 5033a to 5033c, and the like are appropriately set so that the arm portion 5031 has a desired degree of freedom. obtain.
  • an endoscope 5001 is supported by a doctor called a scopist.
  • the position of the endoscope 5001 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the imaging unit 5009 is configured by an imaging element, and is disposed in the subsequent stage of the lens unit 5007.
  • the observation light that has passed through the lens unit 5007 is collected on the light receiving surface of the image sensor, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5009 is provided to the communication unit 5013.
  • the imaging unit 5009 is not necessarily provided in the camera head 5005.
  • the imaging unit 5009 may be provided inside the lens barrel 5003 immediately after the objective lens.
  • the driving unit 5011 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5007 by a predetermined distance along the optical axis under the control of the camera head control unit 5015. Thereby, the magnification and focus of the image captured by the imaging unit 5009 can be adjusted as appropriate.
  • the camera head 5005 can be resistant to autoclave sterilization by arranging the lens unit 5007, the imaging unit 5009, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5059 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5005.
  • the communication unit 5059 receives an image signal transmitted from the camera head 5005 via the transmission cable 5065.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5059 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5059 provides the image processing unit 5061 with the image signal converted into the electrical signal.
  • the communication unit 5059 transmits a control signal for controlling the driving of the camera head 5005 to the camera head 5005.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5061 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program.
  • the image processing unit 5061 is configured by a plurality of GPUs, the image processing unit 5061 appropriately divides information related to the image signal, and performs image processing in parallel by the plurality of GPUs.
  • the transmission cable 5065 for connecting the camera head 5005 and the CCU 5039 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • the endoscopic surgery system 5000 to which the technology according to the present disclosure can be applied has been described.
  • the endoscopic surgery system 5000 has been described as an example, but a system to which the technology according to the present disclosure can be applied is not limited to such an example.
  • the technology according to the present disclosure may be applied to a testing flexible endoscope system or a microscope operation system.
  • the technology according to the present disclosure may be any kind of automobile, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, construction machine, agricultural machine (tractor), and the like. It may be realized as a device mounted on the moving body.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 48 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the imaging device 100 in the vehicle control system 7000 described above, can be applied to the imaging unit 7410 and the driving state detection unit 7510 of the application example illustrated in FIG.
  • the imaging unit 7410 and the driving state detection unit 7510 of the application example illustrated in FIG. As a result, for example, in the dark or in the dark, the detection accuracy of objects outside the vehicle and the detection accuracy of the driver's face and each part of the face inside the vehicle are improved, and the accuracy of driving assistance such as danger avoidance and automatic driving is improved. To do.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can take the following configurations.
  • a control unit that controls irradiation of invisible light;
  • An image sensor comprising a first pixel capable of detecting the invisible light and a second pixel capable of detecting visible light; Based on the first pixel signal from the first pixel and the second pixel signal from the second pixel, the first image composed of the invisible light component and the second image composed of the visible light component
  • An imaging device comprising: an image generation unit that generates an image.
  • the imaging device described in 1.
  • the imaging device according to any one of (1) to (3), wherein the imaging element includes a filter that attenuates the invisible light component included in light incident on a light receiving unit of each second pixel.
  • the control unit provides a single exposure period in which only the first pixel is exposed while providing an exposure period for the first pixel and the second pixel in each frame period.
  • control is performed so that the invisible light is irradiated within an exposure period.
  • the control unit controls the presence or absence of irradiation of the invisible light for each frame period,
  • the image generation unit generates the first image based on the first pixel signal in the frame period irradiated with the invisible light, and the second image in the frame period not irradiated with the invisible light.
  • the imaging device according to any one of (1) to (5), wherein the second image is generated based on a pixel signal.
  • the first pixel includes an IR pixel used for detecting infrared light
  • the second pixel includes a color pixel used for detection of a predetermined color
  • the imaging device according to any one of (1) to (7), wherein the invisible light is infrared light.
  • the imaging device (9) The imaging device according to (8), wherein the color pixel includes an R pixel used for red detection, a G pixel used for green detection, and a B pixel used for blue detection. (10) The first pixel includes a white pixel; The second pixel includes a color pixel used for detection of a predetermined color, The imaging device according to any one of (1) to (7), wherein the invisible light is infrared light. (11) The imaging device according to (10), wherein the color pixel includes an R pixel used for red detection, a G pixel used for green detection, and a B pixel used for blue detection. (12) The imaging device according to any one of (1) to (11), further including an irradiation unit that irradiates the invisible light.
  • a control step for controlling the irradiation of invisible light Based on a first pixel signal from a first pixel capable of detecting the invisible light of the image sensor and a second pixel signal from a second pixel capable of detecting the visible light of the image sensor, An image processing method comprising: an image generation step of generating a first image composed of an invisible light component and a second image composed of a visible light component.
  • An irradiation device for irradiating invisible light and An imaging device including an imaging element including a first pixel capable of detecting the invisible light and a second pixel capable of detecting visible light; Based on the first pixel signal from the first pixel and the second pixel signal from the second pixel, the first image composed of the invisible light component and the second image composed of the visible light component
  • An image processing system comprising: an image processing device that generates an image.
  • imaging device 101 photometry unit, 102 control unit, 103 infrared light irradiation unit, 104 imaging lens, 105 optical filter, 106 imaging element, 107 image processing unit, 108 output unit, 121 image generation unit, 122 image conversion unit, 123 sensing unit, 202 pixel array unit, 211 pixels, 231 micro lens array, 232 color filter, 233 IR cut filter, 234 color filter, 301 RGBIR interpolation filter, 302 high frequency G interpolation filter, 303 component separation unit, 305 ratio calculation Unit, 309 Bayer image signal output unit, 310 IR image signal output unit, 551 object detection unit, 561 distance measurement unit, 562 recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、１つの撮像素子によりセンシング画像とビューイング画像を得ることができるようにする撮像装置、画像処理方法および画像処理システムに関する。 撮像装置は、不可視光の照射を制御する制御部と、前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子と、前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成部とを備える。本技術は、例えば、監視カメラに適用できる。

Description

撮像装置、画像処理方法および画像処理システム
　本技術は、撮像装置、画像処理方法および画像処理システムに関し、特に、不可視光を照射して撮像する場合に用いて好適な撮像装置、画像処理方法および画像処理システムに関する。
　従来、コヒーレントなランダムスペックルパターンを対象物に投影して撮像し、得られた画像におけるパターンと参照画像におけるパターンとのズレに基づいて、対象物の３次元マップを構築することが提案されている（例えば、特許文献１参照）。
国際公開第２００７／０４３０３６号
　しかしながら、特許文献１に記載の発明では、３次元マップを構築するためのセンシング画像とは別に、対象物を観察するための可視光成分からなるビューイング画像を撮像することは考慮されていない。
　また、一般的に、デプスセンシングを行う場合、ＴｏＦ（Time-of-Flight）センサ、ステレオカメラ、ＩＲセンサ等のセンシング用センサが、ビューイング画像を撮像するためのビューイング用センサとは別に設けられる。しかし、センシング用センサとビューイング用センサとが別に設けられると、両者の間に視差が生じるため、例えば、デプスセンシングの結果をビューイング画像に適用する場合、視差補正を行う必要がある。
　本技術は、このような状況に鑑みてなされたものであり、１つの撮像素子によりセンシング画像とビューイング画像を得ることができるようにするものである。
　本技術の第１の側面の撮像装置は、不可視光の照射を制御する制御部と、前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子と、前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成部とを備える。
　前記第１の画像に基づいて物体までの距離の検出を行い、物体までの距離の検出結果に基づいて、前記第２の画像内の物体の検出を行う物体検出部をさらに設けることができる。
　前記制御部には、所定のパターンを投影する前記不可視光の照射を制御させることができる。
　前記撮像素子には、各前記第２の画素の受光部への入射光に含まれる前記不可視光成分を減衰するフィルタを設けることができる。
　前記制御部には、前記不可視光を連続して照射するように制御させることができる。
　前記制御部には、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に前記不可視光を照射するように制御させることができる。
　前記制御部には、フレーム期間毎に前記不可視光の照射の有無を制御させ、前記画像生成部には、前記不可視光が照射されたフレーム期間における前記第１の画素信号に基づいて、前記第１の画像を生成させ、前記不可視光が照射されていないフレーム期間における前記第２の画素信号に基づいて、前記第２の画像を生成させることができる。
　前記第１の画素には、赤外光の検出に用いるＩＲ画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませ、前記不可視光を、赤外光とすることができる。
　前記カラー画素には、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含ませることができる。
　前記第１の画素には、ホワイト画素を含ませ、前記第２の画素には、所定の色の検出に用いるカラー画素を含ませ、前記不可視光を、赤外光とすることができる。
　前記カラー画素には、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含ませることができる。
　前記不可視光を照射する照射部をさらに設けることができる。
　前記照射部には、明るさが一様な前記不可視光、または、所定のパターンを投影する前記不可視光を照射させることができる。
　本技術の第１の側面の画像処理方法は、不可視光の照射を制御する制御ステップと、撮像素子の前記不可視光を検出可能な第１の画素からの第１の画素信号、および、前記撮像素子の可視光を検出可能な第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成ステップとを含む。
　本技術の第２の側面の画像処理システムは、不可視光を照射する照射装置と、前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子を備える撮像装置と、前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像処理装置とを備える。
　本技術の第１の側面においては、不可視光の照射が制御され、撮像素子の前記不可視光を検出可能な第１の画素からの第１の画素信号、および、前記撮像素子の可視光を検出可能な第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像が生成される。
　本技術の第２の側面においては、不可視光が照射され、撮像素子の前記不可視光を検出可能な第１の画素からの第１の画素信号、および、前記撮像素子の可視光を検出可能な第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像が生成される。
　本技術の第１の側面または第２の側面によれば、１つの撮像素子によりセンシング画像とビューイング画像を得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の構成例を示すブロック図である。 赤外光の波長特性の例を示すグラフである。 光学フィルタの透過特性の例を示すグラフである。 撮像素子の構成例を示すブロック図である。 撮像素子の画素配列の例を示す図である。 撮像素子の各画素のフィルタの構成例を示す模式図である。 ＩＲカットフィルタの透過特性の例を示すグラフである。 画素ごとの感度特性の第１の例を示すグラフである。 画像生成部の構成例を示すブロック図である。 補間前後の画像信号の例を示す図である。 各画素の成分分離後の感度特性の例を示す図である。 成分分離後の色信号の例を示す図である。 ベイヤ化前後の画像信号の例を示す図である。 色差調整部の構成例を示すブロック図である。 色差信号補正部の構成例を示すブロック図である。 クロマゲインの設定例を示すグラフである。 画像変換部の構成例を示すブロック図である。 センシング部の構成例を示すブロック図である。 撮像モード設定処理の例を示すフローチャートである。 ビューイングモード設定処理の例を示すフローチャートである。 周囲の明るさの判定処理に用いる閾値の例を示す図である。 環境赤外光の強度の判定処理に用いる閾値の例を示す図である。 センシングモードまたはＣＮＶモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 デイモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 ナイトモード時の赤外光の照射期間および各画素の露光期間の例を示す図である。 赤外光のパターンの例を示す図である。 撮像処理の例を示すフローチャートである。 画像生成処理の例を示すフローチャートである。 物体検出処理の例を示すフローチャートである。 被写体の例を示す図である。 ベイヤ画像の例を示す図である。 ＩＲ画像の例を示す図である。 キャリブレーション画像の例を示す図である。 物体までの距離の検出方法を説明するための図である。 物体の領域の検出方法を説明するための図である。 物体の検出結果の例を示す図である。 輝度・色差調整部の構成例を示すブロック図である。 輝度信号補正部の構成例を示すブロック図である。 合成比率の設定例を示すグラフである。 撮像素子の画素配列の第１の変形例を示す図である。 撮像素子の画素配列の第２の変形例を示す図である。 撮像素子の画素配列の第３の変形例を示す図である。 画素ごとの感度特性の第２の例を示すグラフである。 コンピュータの構成例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図４５に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態
２．変形例
３．応用例
＜１．第１の実施の形態＞
　まず、図１乃至図３６を参照して、本技術の実施の形態について説明する。
｛撮像装置１００の構成例｝
　図１は、本技術の一実施の形態である撮像装置１００の構成例を示すブロック図である。撮像装置１００は、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６、画像処理部１０７および出力部１０８を備える。また、画像処理部１０７は、画像生成部１２１、画像変換部１２２およびセンシング部１２３を備える。
　測光部１０１は、撮像装置１００の周囲の明るさを測定し、測定結果を示す測光量Ｑを制御部１０２および画像生成部１２１に供給する。
　制御部１０２は、撮像装置１００全体を制御する。例えば、制御部１０２は、画像信号における可視光成分の比率を示す可視光比率Ｒｃを画像生成部１２１から取得する。そして、制御部１０２は、ユーザ設定、測光量Ｑおよび可視光比率Ｒｃに基づいて、撮像装置１００の撮像モードを設定する。制御部１０２は、設定した撮像モードを示すモード信号を画像生成部１２１に供給する。
　撮像モードは、例えば、センシングモードおよびビューイングモードの２つに分かれる。センシングモードは、例えば物体の検出等のセンシングを行う場合のモードであり、ビューイングモードは、センシングを行わずに、被写体の観察を行う場合のモードである。なお、センシングモードにおいても、センシングと並行して、被写体を観察することが可能である。
　ビューイングモードは、さらにデイモード、ＣＮＶモード、ナイトモードの３つに分かれる。デイモードは、例えば、撮像装置１００の周囲が明るい状態で撮像する場合に用いられるモードである。ＣＮＶモードは、例えば、撮像装置１００の周囲が暗く、環境光に含まれる赤外光（以下、環境赤外光と称する）の強度が低い状態で撮像する場合に用いられるモードである。ナイトモードは、例えば、撮像装置１００の周囲が非常に暗い状態、または、撮像装置１００の周囲が暗く、環境赤外光の強度が高い状態で撮像する場合に用いられるモードである。デイモードとＣＮＶモードでは、カラー画像およびモノクロ画像が得られ、ナイトモードでは、モノクロ画像が得られる。
　なお、各撮像モードの詳細は、後述する。
　また、例えば、制御部１０２は、ユーザの操作などに従って撮像素子１０６を制御して画像信号を生成させる。例えば、制御部１０２は、撮像のタイミングを示す垂直同期信号ＶＳＹＮＣを生成して撮像素子１０６に供給する。また、制御部１０２は、撮像モードに応じて、撮像素子１０６の画素別シャッタのオン／オフを制御する。画素別シャッタとは、後述するように、画素の色毎に露光期間を制御する機能である。
　さらに、例えば、制御部１０２は、撮像モードに応じて、赤外光照射部１０３の照射期間を制御する。
　また、例えば、制御部１０２は、撮像モードに応じて、画像生成部１２１の成分分離部３０３（図９）のオン、オフを制御する。
　赤外光照射部１０３は、制御部１０２の制御に従って、赤外光を撮像範囲（被写体）に照射する。
　図２は、赤外光照射部１０３から照射される赤外光の波長特性の例を示すグラフである。同図において横軸は、光の波長を示し、縦軸は、赤外光の強度を正規化した値を示す。同図に例示するように、赤外光照射部１０３は、例えば、８４５ｎｍ付近をピークとし、半値幅が約８２０ｎｍから約８６５ｎｍの範囲となる赤外光を照射する。
　撮像レンズ１０４は、被写体からの光を集光して、光学フィルタ１０５を介して撮像素子１０６に導く。
　光学フィルタ１０５は、例えば、撮像レンズ１０４からの光のうち可視光および赤外光を透過するデュアルバンドパスフィルタにより構成される。
　図３は、光学フィルタ１０５の透過特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、光学フィルタ１０５の分光透過率を示す。同図に例示するように、光学フィルタ１０５は、例えば、３８０ｎｍ乃至６５０ｎｍ付近の波長域の可視光と、８３０ｎｍ乃至８７０ｎｍ付近の波長域の赤外光とを透過する。
　なお、光学フィルタ１０５を設けない構成とすることもできるが、赤外光を高い精度で分離する観点から、光学フィルタ１０５を設けることが望ましい。
　撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光を電気信号に変換して、画像データを生成する。撮像素子１０６には、例えば、図５を参照して後述するように、赤色の検出に用いるＲ（Red）画素、緑色の検出に用いるＧ(Green)画素、青色の検出に用いるＢ（Blue）画素、および、赤外光の検出に用いるＩＲ（Infrared）画素のそれぞれが２次元格子状に設けられる。
　撮像素子１０６は、各画素で光電変換したアナログの電気信号を画素毎にＡＤ（Analog to Digital）変換し、デジタル信号である画素信号を生成し、これらの画素信号を含む画像信号（以下、ＲＡＷ画像信号と称する）を生成する。撮像素子１０６としては、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像素子１０６は、生成したＲＡＷ画像信号を画像生成部１２１に供給する。
　画像生成部１２１は、ＲＡＷ画像信号から不可視光成分（例えば、赤外光成分）を除去し、不可視光成分を除去したＲＡＷ画像信号を、画素信号がベイヤ配列に従って並べられたベイヤ画像信号に変換する。また、画像生成部１２１は、ＲＡＷ画像信号から不可視光成分（例えば、赤外光成分）を抽出し、抽出した不可視光成分からなるＩＲ画像信号を生成する。画像生成部１２１は、ベイヤ画像信号を画像変換部１２２およびセンシング部１２３に供給する。また、画像生成部１２１は、ＩＲ画像信号をセンシング部１２３および出力部１０８に供給する。
　画像変換部１２２は、デモザイク処理などの所定の信号処理をベイヤ画像信号に対して行う。画像変換部１２２は、デモザイク処理後の画像信号を、輝度信号および色差信号を画素毎に含むＹＣ画像信号に変換し、出力部１０８に供給する。
　センシング部１２３は、ＩＲ画像信号およびベイヤ画像信号に基づいて、物体の検出等のセンシングを行う。センシング部１２３は、センシング結果を出力部１０８に供給する。
　出力部１０８は、ＹＣ画像信号、ＩＲ画像信号およびセンシング結果を撮像装置１００の外部の装置（例えば、表示装置等）へ出力する。
　なお、撮像装置１００は、ＹＣ画像信号、ＩＲ画像信号およびセンシング結果を外部へ出力しているが、この構成に限定されない。例えば、撮像装置１００は、メモリ等の記録部をさらに備え、その記録部にＹＣ画像信号、ＩＲ画像信号およびセンシング結果を記録してもよい。また、撮像装置１００は、液晶モニタなどの表示部をさらに備え、その表示部にＹＣ画像信号に基づく画像、ＩＲ画像信号に基づく画像またはセンシング結果を表示してもよい。
　また、図１では、測光部１０１、制御部１０２、赤外光照射部１０３、撮像レンズ１０４、光学フィルタ１０５、撮像素子１０６、画像処理部１０７および出力部１０８を全て撮像装置１００内に設ける例を示しているが、これらを複数の装置に分散して設けてもよい。例えば、測光部１０１、制御部１０２、撮像レンズ１０４、光学フィルタ１０５および撮像素子１０６を撮像装置１００に設け、画像処理部１０７および出力部１０８を画像処理装置に設けてもよい。また、例えば、赤外光照射部１０３を撮像装置１００とは別に設けるようにしてもよい。
｛撮像素子の構成例｝
　図４は、撮像素子１０６の構成例を示すブロック図である。撮像素子１０６は、行走査回路２０１、画素アレイ部２０２、タイミング制御回路２０３、ＡＤ（Analog to Digital）変換部２０４および列走査回路２０５を備える。画素アレイ部２０２には、２次元格子状に複数の画素２１１が設けられる。
　タイミング制御回路２０３は、行および列の走査のタイミングを制御する。ここで、行は画素アレイ部２０２において、ある一方向に複数の画素２１１が配列されたものであり、ラインとも呼ばれる。また、列は画素アレイ部２０２において行と直交する方向に複数の画素２１１が配列されたものである。画素アレイ部２０２には、ｎ行、ｍ列の画素２１１が配列される。ここで、ｎおよびｍは整数である。
　タイミング制御回路２０３は、制御部１０２からの垂直同期信号ＶＳＹＮＣに同期して、行を走査するタイミングを指示する水平同期信号ＨＳＹＮＣを生成し、行走査回路２０１に供給する。また、タイミング制御回路２０３は、水平同期信号ＨＳＹＮＣに同期して列を走査するタイミングを指示するタイミング信号を生成し、列走査回路２０５に供給する。
　行走査回路２０１は、水平同期信号ＨＳＹＮＣに同期して行の各々を選択する。行走査回路２０１は、行選択信号を行の各々へ信号線２０６を介して順に出力することにより行を選択する。また、行走査回路２０１は、行を選択するたびに、その行の画素２１１を、撮像モードに応じて、所定の露光期間に亘って露光させる。
　画素２１１は、入射光を電気信号に変換し、対応する列の信号線２０７を介して、生成した電気信号をＡＤ変換部２０４に供給する。
　図５は、画素アレイ部２０２の画素２１１の配列の例を示している。この例では、縦４画素×横４画素からなるパターンを１単位とする画素配列の例が示されており、Ｒ画素：Ｇ画素：Ｂ画素：ＩＲ画素＝２：８：２：４の割合で、画素２１１が配置されている。より具体的には、Ｇ画素は、市松状に配置されている。Ｒ画素は、１行目の１列目と３行目の３列目に配置されている。Ｂ画素は、１行目の３列目と３行目の１列目に配置されている。ＩＲ画素は、残りの画素位置に配置されている。そして、この画素配列のパターンが、画素アレイ部２０２上の行方向及び列方向に繰り返し配置される。
　図６は、各画素２１１のフィルタの構成例を模式的に示している。この例では、Ｂ画素、Ｇ画素、Ｒ画素、ＩＲ画素が、左から右に並べられている。
　Ｒ画素、Ｇ画素およびＢ画素においては、光の入射側から順に、マイクロレンズアレイ２３１、カラーフィルタ２３２、ＩＲカットフィルタ２３３が積層されている。カラーフィルタ２３２においては、Ｒ画素に対して赤及び赤外光の波長域を透過するＲフィルタが設けられ、Ｇ画素に対して緑及び赤外光の波長域を透過するＧフィルタが設けられ、Ｂ画素に対して青及び赤外光の波長域を透過するＢフィルタが設けられている。
　図７は、ＩＲカットフィルタ２３３の透過特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、分光透過率を示す。また、点線は、ＩＲカットフィルタ２３３の透過特性を示し、実線は、図３と同様に、光学フィルタ１０５の透過特性を示す。
　ＩＲカットフィルタ２３３は、光学フィルタ１０５が透過する８３０ｎｍ乃至８７０ｎｍ付近の波長域の赤外光を主に減衰させる。従って、Ｒ画素、Ｇ画素、Ｂ画素の図示せぬ受光部（例えば、フォトダイオード）への入射光に含まれる赤外光成分が、ＩＲカットフィルタ２３３により減衰される。
　ＩＲ画素においては、光の入射側から順に、マイクロレンズアレイ２３１、カラーフィルタ２３２が積層されおり、ＩＲカットフィルタ２３３は積層されていない。カラーフィルタ２３２においては、ＩＲ画素に対して、可視光を減衰させ、赤外光を透過するＩＲフィルタが設けられている。
　図８は、画素２１１ごとの感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素２１１の感度を示す。また、実線は、ＩＲ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。
　Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。また、ＩＲカットフィルタ２３３が完全には赤外光を遮断できないため、Ｒ画素、Ｇ画素およびＢ画素のそれぞれは、赤外光に対しても若干の感度を有する。なお、Ｒ画素、Ｇ画素およびＢ画素の赤外光に対する感度は、同程度であり、ＩＲ画素と比べて極めて低い。
　ＩＲ画素の感度は、波長が８４５ｎｍ付近の赤外光に対してピークを示す。また、ＩＲフィルタ（Ｒフィルタ＋Ｂフィルタ）が完全には可視光を遮断できないため、ＩＲ画素は、可視光に対しても若干の感度を有する。なお、ＩＲ画素の可視光に対する感度は、Ｒ画素、Ｇ画素およびＢ画素と比べて極めて低い。
　図４に戻り、ＡＤ変換部２０４は、列ごとに設けられ、画素２１１からの電気信号をＡＤ変換してデジタル信号を生成する。また、列走査回路２０５により選択された列のＡＤ変換部２０４は、生成したデジタル信号を画素信号として画像処理部１０７の画像生成部１２１に供給する。
　列走査回路２０５は、タイミング信号に従って、列選択信号をＡＤ変換部２０４のそれぞれに順に出力することにより列を選択する。
｛画像生成部の構成例｝
　図９は、画像生成部１２１の構成例を示すブロック図である。画像生成部１２１は、ＲＧＢＩＲ補間フィルタ３０１、高周波用Ｇ補間フィルタ３０２、成分分離部３０３、ホワイトバランス処理部３０４、比率算出部３０５、色差調整部３０６、高周波成分抽出部３０７、高周波成分復元部３０８、ベイヤ画像信号出力部３０９およびＩＲ画像信号出力部３１０を備える。
　ＲＧＢＩＲ補間フィルタ３０１は、ＲＡＷ画像信号において、画素信号ごとに色信号の全てを補間する。
　ここで、図８を参照して上述したように、Ｒ画素、Ｇ画素およびＢ画素のそれぞれは、赤外光に対して若干の感度を有している。このため、これらの画素の色信号は、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素およびＢ画素の各色信号を以下、「Ｒ+ΔIR」、「Ｇ+ΔIR」および「Ｂ+ΔIR」と称する。添え字の「+ΔIR」は、色信号に若干の赤外光成分が含まれていることを示す。
　また、図８を参照して上述したように、ＩＲ画素は、可視光に対して若干の感度を有している。このため、ＩＲ画素の色信号（以下、赤外光信号またはＩＲ信号と称する）は、赤外光から光電変換された信号である赤外光成分と、可視光から光電変換された信号である可視光成分とを含む。したがって、可視光成分を分離する前のＩＲ画素の赤外光信号を以下、「ＩＲ+ΔV」と称する。添え字の「+ΔV」は、赤外光信号に若干の可視光成分が含まれていることを示す。
　ＲＧＢＩＲ補間フィルタ３０１は画素信号に順に着目し、着目した画素信号を補間対象として、その周囲の画素信号を用いて、例えば、次の式（１）乃至（４）を使用して色信号を補間する。
Figure JPOXMLDOC01-appb-M000001
　式（１）乃至（４）において、Ｍは、補間に用いられる画素信号の個数であり、以下、タップ数と称する。ｉは、０乃至Ｍ－１の整数であり、補間に用いられる画素信号を識別する番号を示す。ｋiは実数の係数である。係数ｋiは、ｉに係る画素信号から補間対象までの距離が近いほど大きな値に設定され、その距離が同一であれば同じ値に設定される。例えば、補間対象の上下左右のＲ+ΔIR_0乃至Ｒ+ΔIR_3が補間に用いられる場合には、それらの補間対象までの距離は同一であるため、係数ｋ0乃至ｋ3の全てに１／４が設定される。
　ＲＧＢＩＲ補間フィルタ３０１は、補間後のＲ+ΔIR_L信号、Ｂ+ΔIR_L信号およびＩＲ+ΔV_Lを成分分離部３０３に供給し、Ｇ+ΔIR_L信号を成分分離部３０３、高周波成分抽出部３０７および高周波成分復元部３０８に供給する。
　図１０は、ＲＧＢＩＲ補間フィルタ３０１による補間前後の画像信号の例を示している。補間前のＲＡＷ画像信号３２１において、Ｒ+ΔIR信号、Ｇ+ΔIR信号、Ｂ+ΔIR信号およびＩＲ+ΔV信号のそれぞれが、上述した図５と同様の配列により並べられている。
　データ３２２ＩＲは、補間後のＩＲ+ΔV_L信号からなるデータの例を示している。データ３２２Ｒは、補間後のＲ+ΔIR_L信号からなるデータの例を示している。データ３２２Ｇは、補間後のＧ+ΔIR_L信号からなるデータの例を示している。データ３２２Ｂは、補間後のＢ+ΔIR_L信号からなるデータの例を示している。これらのデータ３２２ＩＲ乃至３２２Ｇに示すように、画素ごとに、全ての色信号が補間される。
　高周波用Ｇ補間フィルタ３０２は、ＲＧＢ画像信号において、画素ごとにＧ信号のみを補間する。
　例えば、高周波用Ｇ補間フィルタ３０２は、次式（５）を使用して、Ｇ信号を補間する。
Figure JPOXMLDOC01-appb-M000002
　なお、式（５）において、Ｎはタップ数である。ｉ、ｋiは、それぞれ上述した式（２）と同様のものである。なお、タップ数Ｎは、例えば、ＲＧＢＩＲ補間フィルタ３０１のタップ数Ｍより小さな値に設定される。例えば、ＲＧＢＩＲ補間フィルタ３０１では、タップ数Ｍは８１（＝９行×９列）に設定される。一方、高周波用Ｇ補間フィルタ３０２では、タップ数Ｎは、２５（＝５行×５列）に設定される。
　高周波用Ｇ補間フィルタ３０２は、補間後のＧ+ΔIR_H信号を高周波成分抽出部３０７に供給する。
　なお、高周波用Ｇ補間フィルタ３０２は、特定方向におけるエッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。例えば、高周波用Ｇ補間フィルタ３０２は、水平方向や垂直方向におけるエッジを検出する。そして、高周波用Ｇ補間フィルタ３０２は、水平方向のエッジを検出した場合には、補間対象の上下の画素信号の平均により補間し、垂直方向のエッジを検出した場合には、補間対象の左右の画素信号の平均により補間する。ＲＧＢＩＲ補間フィルタ３０１も同様に、エッジを検出し、そのエッジの方向に沿った画素信号を優先的に用いて補間を行ってもよい。
　成分分離部３０３は、制御部１０２の制御に従って、オンまたはオフする。成分分離部３０３は、オンしている場合、例えば、次式（６）を使用して、Ｒ+ΔIR_L信号、Ｇ+ΔIR_L信号およびＢ+ΔIR_L信号のそれぞれから赤外光成分を分離して除去し、ＩＲ+ΔV_L信号から可視光成分を分離して除去する。
Figure JPOXMLDOC01-appb-M000003
　式（６）において、ＲL、ＧLおよびＢLは、赤外光成分が除去された色信号を示し、ＩＲは、可視光成分が除去された赤外光信号を示す。
　次式（７）は、式（６）の右辺の分離マトリクスの係数の例を示している。
Figure JPOXMLDOC01-appb-M000004
　なお、式（６）は、赤外光成分又は可視光成分の分離および除去を行うための数式の一例であり、成分分離部３０３は、他の数式を用いて赤外光成分又は可視光成分の分離および除去を行うことも可能である。
　成分分離部３０３は、ＲL信号、ＧL信号およびＢL信号をホワイトバランス処理部３０４および比率算出部３０５に供給する。また、成分分離部３０３は、ＩＲ信号を比率算出部３０５およびＩＲ画像信号出力部３１０に供給する。
　図１１は、各画素の成分分離後の感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、画素信号から赤外光成分と可視光成分とが分離されるが、同図では、これらの成分を感度に置き換えて表している。同図の実線は、ＩＲ信号の感度特性を示し、細かい点線は、ＲL信号の感度特性を示す。また、一点鎖線は、ＧL信号の感度特性を示し、粗い点線は、ＢL信号の感度特性を示す。同図に例示するように、ＲL信号、ＧL信号およびＢL信号のそれぞれにおいて、ある程度、赤外光成分が除去されている。また、ＩＲL信号において、ある程度、可視光成分が除去されている。
　図１２は、赤外線分離後の色信号の例を示している。データ３２３Ｒは、図１０のデータ３２２Ｒに対して赤外線分離を行った後のＲL信号からなるデータの例を示している。データ３２３Ｇは、図１０のデータ３２２Ｇに対して赤外線分離を行った後のＧL信号からなるデータの例を示している。データ３２３Ｂは、図１０のデータ３２２Ｂに対して赤外線分離を行った後のＢL信号からなるデータの例を示している。これらのデータ３２３Ｒ乃至３２３Ｂに示すように、色信号のそれぞれから赤外光成分が除去される。
　また、データ３２３ＩＲは、図１０のデータ３２２ＩＲに対して可視光分離を行った後のＩＲ信号からなるデータの例を示している。データ３２３ＩＲに示すように、赤外光信号のそれぞれから可視光成分が除去される。
　一方、成分分離部３０３は、オフしている場合、Ｒ+ΔIR_L信号、Ｇ+ΔIR_L信号およびＢ+ΔIR_L信号のそれぞれから赤外光成分を分離および除去せずに、そのままＲL信号、ＧL信号およびＢL信号としてホワイトバランス処理部３０４および比率算出部３０５に供給する。また、成分分離部３０３は、オフしている場合、ＩＲ+ΔV_L信号から可視光成分を分離および除去せずに、そのままＩＲ信号として比率算出部３０５およびＩＲ画像信号出力部３１０に供給する。この場合、Ｒ+ΔIR_L信号、Ｇ+ΔIR_L信号、Ｂ+ΔIR_L信号およびＩＲ+ΔV_L信号と、ＲL信号、ＧL信号、ＢL信号およびＩＲ信号との関係は、次の式（８）乃至（１１）のようになる。
ＲL＝Ｒ+ΔIR_L　・・・（８）
ＧL＝Ｇ+ΔIR_L　・・・（９）
ＢL＝Ｂ+ΔIR_L　・・・（１０）
ＩＲ＝ＩＲ+ΔV_L　・・・（１１）
　なお、成分分離部３０３がオンしている場合にも、式（１１）を使用して、ＩＲ+ΔV_L信号を、そのままＩＲ信号として出力するようにしてもよい。
　ホワイトバランス処理部３０４は、ＲL信号、ＧL信号およびＢL信号においてホワイトバランスを調整する。ホワイトバランス処理部３０４は、例えば、ＲL信号およびＢL信号のそれぞれに対して、ゲインを乗算することにより、ホワイトバランスを調整する。ホワイトバランス処理部３０４は、ホワイトバランスを調整したＲL信号、ＧL信号およびＢL信号を色差調整部３０６に供給する。
　比率算出部３０５は、例えば、次の式（１２）乃至（１５）を使用して可視光比率Ｒｃを算出し、制御部１０２および色差調整部３０６に供給する。
Figure JPOXMLDOC01-appb-M000005
　式（１２）において、ＲL_j、ＧL_j、ＢL_jは、それぞれｊ（ｊは、０乃至Ｎ－１の整数）番目のＲL信号、ＧL信号、ＢL信号を示す。Ｙjは、ｊ番目の画素信号内の輝度成分を示す。式（１３）において、Ｎは、画像信号内の画素信号の個数である。ＩＲjは、ｊ番目のＩＲ信号を示す。ＩＲavは、ＩＲ信号の平均値である。式（１４）において、Ｙavは、輝度成分の平均値である。
　色差調整部３０６は、撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて、色差信号を調整する。具体的には、色差調整部３０６は、画素信号ごとに、その画素信号内のＲL信号、ＧL信号およびＢL信号を輝度信号および色差信号に変換する。そして、色差調整部３０６は、色差信号を撮像モードに応じて、可視光比率Ｒｃおよび測光量Ｑに基づいて調整し、輝度信号および色差信号を、ＲL信号、ＧL信号およびＢL信号に戻して高周波成分復元部３０８に供給する。
　高周波成分抽出部３０７は、低周波用ＲＧＢＩＲ補間フィルタ３０１からのＧ+ΔIR_L信号と、高周波用Ｇ補間フィルタ３０２からのＧ+ΔIR_H信号との差分を高周波成分ＧHとして抽出する。前述したように、高周波用Ｇ補間フィルタ３０２のタップ数Ｎは、ＲＧＢＩＲ補間フィルタ３０１のタップ数Ｍより小さい。このため、高周波用Ｇ補間フィルタ３０２からのＧ+ΔIR_H信号には、ＲＧＢＩＲ補間フィルタ３０１からのＧ+ΔIR_L信号よりも高い周波数成分が含まれている。したがって、それらの差分をとることにより、その高周波成分ＧHを抽出することができる。高周波成分抽出部３０７は、抽出した高周波成分ＧHを高周波成分復元部３０８に供給する。
　高周波成分復元部３０８は、ＲL信号、ＧL信号およびＢL信号において高周波成分ＧHを復元する。高周波成分復元部３０８は、例えば、次の式（１６）乃至（１８）を使用して、高周波成分ＧHを復元する。
Ｒ＝ＲL＋（ＧH／Ｇ+ΔIR_L）×ＲL　・・・（１６）
Ｇ＝ＧL＋（ＧH／Ｇ+ΔIR_L）×ＧL　・・・（１７）
Ｂ＝ＢL＋（ＧH／Ｇ+ΔIR_L）×ＢL　・・・（１８）
　式（１６）乃至（１８）において、Ｒ、ＧおよびＢは、復元後の色信号である。ＲＧＢＩＲ補間フィルタ３０１における補間により、各色信号の高周波成分が失われるため、そのままでは画像の画質が低下してしまう。しかし、その高周波成分を高周波成分復元部３０８において復元することにより、復元しない場合と比較して画質が向上する。高周波成分復元部３０８は、復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
　ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号として画像変換部１２２およびセンシング部１２３へ出力する。
　図１３は、ベイヤ化前後の画像信号の例を示している。データ３２４Ｒは、高周波成分を復元した後のＲ信号からなるデータの例を示している。データ３２４Ｇは、高周波成分を復元した後のＧ信号からなるデータの例を示している。データ３２４Ｂは、高周波成分を復元した後のＢ信号からなるデータの例を示している。なお、データ３２４Ｒ乃至３２４Ｂにおいて、Ｒ信号、Ｇ信号およびＢ信号のそれぞれの添え字は、画素信号が並べられる行および列の位置を示す。例えば、１行目および１列目のＲ信号は、Ｒ11と表記され、１行目および２列目のＲ信号は、Ｒ12と表記される。
　そして、高周波成分復元後のＲ信号、Ｇ信号およびＢ信号のそれぞれが、ベイヤ配列に従って並べられ、ベイヤ画像信号３２５が生成される。例えば、データ３２４Ｒの４×４のＲ信号のうち、Ｒ21、Ｒ23、Ｒ41およびＲ43が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｇの４×４のＧ信号のうち、Ｇ11、Ｇ13、Ｇ22、Ｇ24、Ｇ31、Ｇ33、Ｇ42およびＧ44が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。また、例えば、データ３２４Ｂの４×４のＢ信号のうち、Ｂ12、Ｂ14、Ｂ32およびＢ34が選択され、ベイヤ画像信号３２５において行および列の位置を変えずに並べられる。このようにして、Ｒ信号、Ｇ信号およびＢ信号がベイヤ配列で並べられたベイヤ画像信号３２５が生成される。
　ＩＲ画像信号出力部３１０は、ＩＲ信号を２次元格子状に並べ、ＩＲ画像信号として出力部１０８およびセンシング部１２３へ出力する。
　なお、高周波用Ｇ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８により、高周波成分の抽出および復元を行っているが、これらを設けない構成としてもよい。ただし、画質を向上させる観点から、高周波用Ｇ補間フィルタ３０２、高周波成分抽出部３０７および高周波成分復元部３０８を設けることが望ましい。
　また、比率算出部３０５および色差調整部３０６を画像生成部１２１に設けているが、これらを後段の画像変換部１２２に設けてもよい。ただし、画質を向上させる観点から、比率算出部３０５および色差調整部３０６を画像生成部１２１に設けることが望ましい。
　さらに、ベイヤ画像信号出力部３０９を設けない構成とし、画像信号をベイヤ化せずに画像変換部１２２およびセンシング部１２３に供給するようにしてもよい。
｛色差調整部の構成例｝
　図１４は、色差調整部３０６の構成例を示すブロック図である。色差調整部３０６は、ＹＣ変換部３５１、色差信号補正部３５２およびＲＧＢ変換部３５３を備える。
　ＹＣ変換部３５１は、画素毎に、ＲL信号、ＧL信号およびＢL信号を輝度信号ＹLと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、例えば、ＩＴＵ－Ｒ(International Telecommunication Union Radiocommunication Sector) ＢＴ．６０１の規格に基づいて次の式（１９）乃至（２１）により変換を行う。ＹＣ変換部３５１は、色差信号ＣｒおよびＣｂを色差信号補正部３５２に供給し、輝度信号ＹLをＲＧＢ変換部３５３に供給する。
ＹL＝０．２９９×ＲL＋０．５８７×ＧL＋０．１４４×ＢL
　　　　　　　　　　　　　　　　　　　　　・・・（１９）
Ｃｂ＝－０．１６８７３６×ＲL－０．３３１２６４×ＧL＋０．５×ＢL
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２０）
Ｃｒ＝０．５×ＲL－０．４１８６８８×ＧL－０．０８１３１２×ＢL
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２１）
　色差信号補正部３５２は、色差信号ＣｒおよびＣｂを補正する。具体的には、色差信号補正部３５２は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、クロマゲインＧｃを設定する。そして、色差信号補正部３５２は、設定したゲインを色差信号ＣｒおよびＣｂのそれぞれに乗じる補正を行い、補正後の色差信号Ｃｒ’およびＣｂ’信号をＲＧＢ変換部３５３に供給する。クロマゲインの設定方法の詳細については後述する。
　ＲＧＢ変換部３５３は、画素毎に、輝度信号ＹLおよび色差信号Ｃｒ’，Ｃｂ’をＲL信号、ＧL信号およびＢL信号に変換して高周波成分復元部３０８に供給する。ＲＧＢ変換部３５３は、例えば、ＩＴＵ－Ｒ ＢＴ．６０１の規格に基づいて次の式（２２）乃至（２４）を使用して変換を行う。
ＲL＝ＹL＋１．４０２×Ｃｒ’　・・・（２２）
ＧL＝ＹL－０．３４４１３６×Ｃｒ’－０．７１４１３６×Ｃｂ’
　　　　　　　　　　　　　　　　　　　　　　　・・・（２３）
ＢL＝ＹL＋１．７７２×Ｃｂ’　・・・（２４）
｛色差信号補正部の構成例｝
　図１５は、色差信号補正部３５２の構成例を示すブロック図である。色差信号補正部３５２は、クロマゲイン制御部４０１と、乗算器４０２および４０３とを備える。
　クロマゲイン制御部４０１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、色差信号に乗算するゲインであるクロマゲインＧｃを制御する。
　例えば、クロマゲイン制御部４０１は、センシングモード、デイモードまたはＣＮＶモードに設定されている場合、図１６のグラフを用いて、クロマゲインＧｃを設定する。
　図１６の縦軸は、クロマゲインＧｃを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合のクロマゲインＧｃの設定例であり、実線は、可視光比率Ｒｃが０．９の場合のクロマゲインＧｃの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合のクロマゲインＧｃの設定例である。同図に例示するように、測光量Ｑが小さいほど、また、可視光比率Ｒｃが低い（すなわち、赤外光成分の割合が高い）ほど、小さなクロマゲインＧｃが設定される。この結果、撮像装置１００の周囲が暗いほど、あるいは、赤外光成分の割合が高いほど、画像をモノクロ画像に近づけて、画像信号のＳＮ（Signal-to-Noise）比を良好に保つことができる。
　一方、クロマゲイン制御部４０１は、ナイトモードに設定されている場合、クロマゲインＧｃの値を０に設定する。
　クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
　なお、クロマゲイン制御部４０１を画像処理部１０７内に設けているが、例えば、このクロマゲイン制御部４０１を制御部１０２内に設けてもよい。
　乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５３に供給する。
　乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５３に供給する。
　従って、センシングモード、デイモードまたはＣＮＶモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２５）および（２６）のようになる。
Ｃｒ’＝Ｇｃ×Ｃｒ　・・・（２５）
Ｃｂ’＝Ｇｃ×Ｃｂ　・・・（２６）
　一方、ナイトモードに設定されている場合、色差信号Ｃｒ’、Ｃｂ’は、次の式（２７）および（２８）のようになる。
Ｃｒ’＝０　・・・（２７）
Ｃｂ’＝０　・・・（２８）
　従って、ナイトモードに設定されている場合、ＲＧＢ変換部３５３から出力されるＲL信号、ＧL信号およびＢL信号は、輝度信号ＹLのみを含むようになり、モノクロの画像信号となる。
｛画像変換部の構成例｝
　図１７は、画像変換部１２２の構成例を示すブロック図である。画像変換部１２２は、デモザイク処理部５０１、リニアマトリックス演算部５０２、ガンマ補正部５０３およびＹＣ変換部５０４を備える。
　デモザイク処理部５０１は、所定のデモザイクアルゴリズムを使用して、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換する。デモザイク処理部５０１は、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。
　リニアマトリックス演算部５０２は、色再現性を高める目的でリニアマトリックス演算を行う。リニアマトリックス演算部５０２は、例えば、次の式（２９）乃至（３１）に示すリニアマトリックス演算を行う。
Ｒ’＝Ｒ＋ｋa×（Ｒ－Ｇ）＋ｋb×（Ｒ－Ｂ）　・・・（２９）
Ｇ’＝Ｒ＋ｋc×（Ｇ－Ｒ）＋ｋd×（Ｇ－Ｂ）　・・・（３０）
Ｂ’＝Ｂ＋ｋe×（Ｂ－Ｒ）＋ｋf×（Ｂ－Ｇ）　・・・（３１）
　式（２９）乃至（３１）において、ｋa、ｋb、ｋc、ｋd、ｋeおよびｋfは、実数の係数である。
　リニアマトリックス演算部５０２は、演算後のＲ’信号、Ｇ’信号およびＢ’信号をガンマ補正部５０３に供給する。このリニアマトリックス演算により、輝度信号や色差信号の信号レベルが変化する。このため、リニアマトリックス演算の前に、色差信号補正部３５２における色信号の補正を行うことが望ましい。この補正を、前述したように画像生成部１２１で行うことにより、画質を向上させることができる。
　ガンマ補正部５０３は、ディスプレイの特性に合わせて、ガンマ補正を行う。ガンマ補正部５０３は、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。
　ＹＣ変換部５０４は、デモザイク画像において、Ｒ’信号、Ｇ’信号およびＢ’信号を輝度信号および色差信号に変換する。ＹＣ変換部５０４は、例えば、上述した式（１９）乃至（２１）を使用して変換を行い、変換後の画像信号をＹＣ画像信号として出力する。なお、ＹＣ変換部５０４は、式（１９）乃至（２１）において、ＲL信号、ＧL信号およびＢL信号の代わりに、Ｒ’信号、Ｇ’信号およびＢ’信号を用いる。
　なお、上述したように画像生成部１２１においてベイヤ画像信号出力部３０９を設けない構成とした場合、画像変換部１２２において、デモザイク処理部５０１を設けない構成とすることが可能である。
｛センシング部の構成例｝
　図１８は、センシング部１２３の構成例を示すブロック図である。センシング部１２３は、物体検出部５５１を備える。物体検出部５５１は、距離計測部５６１、記憶部５６３および認識部５６２を備える。
　距離計測部５６１は、ＩＲ画像信号出力部３１０から供給されるＩＲ画像信号に基づくＩＲ画像、および、記憶部５６３に予め記憶されているキャリブレーション画像に基づいて、デプスセンシングを行い、ＩＲ画像内の各物体までの距離を計測する。そして、距離計測部５６１は、各物体までの距離の分布を示すデプスマップを生成し、認識部５６２に供給する。
　認識部５６２は、デプスマップに基づいて、物体が存在する領域を検出する。また、認識部５６２は、検出した領域を対象にして、ベイヤ画像信号出力部３０９から供給されるベイヤ画像内の物体の認識を行う。そして、認識部５６２は、物体の検出結果を出力部１０８に供給する。
｛撮像装置１００の処理｝
　次に、図１９乃至図３６を参照して、撮像装置１００の処理について説明する。
（撮像モード設定処理）
　まず、図１９のフローチャートを参照して、撮像装置１００により実行される撮像モード設定処理について説明する。この処理は、例えば、撮像を開始するときや、撮像中の所定の間隔ごと等の所定のタイミングで実行される。
　ステップＳ１において、制御部１０２は、ユーザ設定等に基づいて、センシングを行うか否かを判定する。センシングを行うと判定された場合、処理はステップＳ２に進む。
　ステップＳ２において、制御部１０２は、センシングモードに設定する。制御部１０２は、センシングモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
　ステップＳ３において、撮像装置１００は、赤外光の間欠照射を開始し、画素別シャッタをオンする。具体的には、制御部１０２は、赤外光照射部１０３を制御して、赤外光の間欠照射を開始させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオンする。
　なお、センシングモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２３を参照して後述する。
　ステップＳ４において、制御部１０２は、成分分離部３０３をオフする。
　その後、撮像モード設定処理は終了する。
　一方、ステップＳ１において、センシングを行わないと判定された場合、処理はステップＳ５に進む。
　ステップＳ５において、撮像装置１００は、ビューイングモード設定処理を実行し、その後、撮像モード設定処理は終了する。
　ここで、図２０のフローチャートを参照して、ビューイングモード設定処理の詳細について説明する。
　ステップＳ２１において、撮像装置１００は、赤外光の照射、画素別シャッタをオフする。具体的には、制御部１０２は、赤外光照射部１０３を制御して消灯させる。また、制御部１０２は、撮像素子１０６を制御して、画素別シャッタをオフする。
　ステップＳ２２において、制御部１０２は、成分分離部３０３をオンする。
　ステップＳ２３において、制御部１０２は、周囲の明るさの判定を行う。例えば、制御部１０２は、図２１に示されるように、測光部１０１による測光量Ｑに基づいて、周囲の明るさを「明るい」、「暗い」、「非常に暗い」の３段階に分ける。具体的には、測光量Ｑが０から撮像素子１０６の光電変換素子が飽和するレベルまでの範囲内において、閾値ＴＨQ0及び閾値ＴＨQ1が予め設定されている。そして、制御部１０２は、測光量Ｑ≧閾値ＴＨQ1の場合、周囲が明るいと判定し、閾値ＴＨQ0≦測光量Ｑ＜閾値ＴＨQ1の場合、周囲が暗いと判定し、測光量Ｑ＜閾値ＴＨQ0の場合、周囲が非常に暗いと判定する。そして、周囲が暗いと判定された場合、処理はステップＳ２４に進む。
　ステップＳ２４において、制御部１０２は、環境赤外光の強度の判定を行う。具体的には、上述したように、比率算出部３０５は、式（１２）乃至（１５）を使用して可視光比率Ｒｃを算出し、制御部１０２に供給する。
　制御部１０２は、可視光比率Ｒｃに基づいて、環境赤外光の強度の判定を行う。例えば、図２２に示されるように、可視光比率Ｒｃの０から１までの範囲内において、閾値ＴＨRcが予め設定されている。制御部１０２は、可視光比率Ｒｃ≧ＴＨRcの場合、環境赤外光の強度が低いと判定し、可視光比率Ｒｃ＜ＴＨRcの場合、環境赤外光の強度が高いと判定する。そして、環境赤外光の強度が高いと判定された場合、処理はステップＳ２５に進む。
　一方、ステップＳ２３において、周囲が非常に暗いと判定された場合、ステップＳ２４の処理はスキップされ、処理はステップＳ２５に進む。
　ステップＳ２５において、制御部１０２は、ナイトモードに設定する。すなわち、制御部１０２は、周囲が非常に暗い状態、または、周囲が暗く、環境赤外光の強度が高い状態の場合、ナイトモードに設定する。制御部１０２は、ナイトモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
　ステップＳ２６において、赤外光照射部１０３は、制御部１０２の制御に従って、赤外光の連続照射を開始する。このとき、画素別シャッタはオフされたままとなる。また、成分分離部３０３は、オンされたままとなる。
　なお、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２５を参照して後述する。
　その後、ビューイングモード設定処理は終了する。
　一方、ステップＳ２４において、環境赤外光の強度が低いと判定された場合、処理はステップＳ２７に進む。
　ステップＳ２７において、制御部１０２は、ＣＮＶモードに設定する。すなわち、制御部１０２は、周囲が暗く、環境赤外光の強度が低い状態の場合、ＣＮＶモードに設定する。制御部１０２は、ＣＮＶモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。
　ステップＳ２８において、図１９のステップＳ３の処理と同様に、赤外光の間欠照射が開始され、画素別シャッタがオンされる。
　なお、ＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２３を参照して後述する。
　ステップＳ２９において、図１９のステップＳ４の処理と同様に、成分分離部３０３がオフされる。
　その後、ビューイングモード設定処理は終了する。
　一方、ステップＳ２３において、周囲が明るいと判定された場合、処理はステップＳ３０に進む。
　ステップＳ３０において、制御部１０２は、デイモードに設定する。制御部１０２は、デイモードに設定したことを示すモード信号をクロマゲイン制御部４０１に供給する。このとき、画素別シャッタはオフされたままとなる。また、赤外光照射部１０３は消灯したままとなる。さらに、成分分離部３０３は、オンされたままとなる。
　なお、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例は、図２４を参照して後述する。
　その後、ビューイングモード設定処理は終了する。
　ここで、図２３乃至図２５を参照して、各撮像モードにおける赤外光の照射期間および各画素の露光期間の例について説明する。なお、図２３乃至図２５において、時刻ｔ０からｔ４の期間、時刻ｔ４から時刻ｔ８の期間が、それぞれ１フレーム期間である。
　図２３は、センシングモードまたはＣＮＶモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。センシングモードまたはＣＮＶモードに設定されている場合、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオンされることにより、同じ行の画素であっても、Ｒ画素、Ｇ画素およびＢ画素（以下、カラー画素と称する）とＩＲ画素とで異なる露光期間が設定される。
　例えば、時刻ｔ２において、画素アレイ部２０２の１行目のカラー画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が開始される。そして、時刻ｔ３において、画素アレイ部２０２の最終行のカラー画素の露光期間が開始される。このように、時刻ｔ２から時刻ｔ３の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ４において、画素アレイ部２０２の１行目のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のカラー画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
　次に、時刻ｔ６から時刻ｔ７の期間において、時刻ｔ２から時刻ｔ３の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、カラー画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
　以降、同様の処理が繰り返される。
　一方、時刻ｔ０において、画素アレイ部２０２の１行目のＩＲ画素の露光期間が開始される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＩＲ画素の露光期間が開始される。そして、時刻ｔ１において、画素アレイ部２０２の最終行のＩＲ画素の露光期間が開始される。このように、時刻ｔ０から時刻ｔ１の期間において、ＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ４において、画素アレイ部２０２の１行目のＩＲ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。その後、所定の時間間隔で、掃引方向の順に画素アレイ部２０２の各行のＩＲ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。そして、時刻ｔ５において、画素アレイ部２０２の最終行のＩＲ画素の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このように、時刻ｔ４から時刻ｔ５の期間において、ＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
　次に、時刻ｔ４から時刻ｔ５の期間において、時刻ｔ０から時刻ｔ１の期間と同様に、ＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ８から時刻ｔ９の期間において、時刻ｔ４から時刻ｔ５の期間と同様に、ＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で終了し、露光期間中に得られた電荷信号が読み出される。
　以降、同様の処理が繰り返される。
　このように、各フレーム期間内にカラー画素とＩＲ画素の露光期間が設定される。また、赤外光受光用のＩＲ画素の露光期間が、赤外光の受光に用いられないカラー画素の露光期間より長く設定される。さらに、各フレーム期間において、時刻ｔ１から時刻ｔ２の期間、時刻ｔ５から時刻ｔ６の期間、および、時刻ｔ９から時刻ｔ１０の期間のように、ＩＲ画素とカラー画素の露光期間が重複していない期間、より具体的には、全てのＩＲ画素が露光しており、全てのカラー画素が露光していない期間（以下、単独露光期間と称する）が設けられる。
　一方、赤外光は、各フレーム期間の一部の期間のみ照射される。具体的には、赤外光は、各フレーム期間のうち単独露光期間内に集中的に照射される。
　なお、必ずしも単独露光期間の全期間において赤外光を照射する必要はなく、単独露光期間の一部の期間においてのみ赤外光を照射するようにしてもよい。
　このように、センシングモードまたはＣＮＶモードに設定されている場合、ＩＲ画素のみが赤外光照射部１０３からの赤外光を受光し、カラー画素は赤外光照射部１０３からの赤外光を受光しない。また、図６を参照して上述したように、カラー画素にはＩＲカットフィルタ２３３が設けられており、カラー画素は環境赤外光を受光しない。ここで、上述したように、Ｒ、Ｇ、Ｂの色情報はカラー画素の画素信号から生成されるが、カラー画素は、照射した赤外光および環境赤外光を受光しないため、色再現性の低下が防止される。
　一方、ＩＲ画素は、赤外光照射部１０３からの赤外光を受光するため、高画質のＩＲ画像を得ることができる。
　また、ＣＮＶモードに設定することにより、周囲が暗くても、赤外光を照射しながら、フレームレートを落とすことなく、高画質のカラー画像を得ることができる。
　以上のように、センシングモードまたはＣＮＶモードに設定することにより、１つの撮像素子１０６を用いて、各フレーム期間内に高画質のカラー画像とＩＲ画像を並行して得ることができる。
　図２４は、デイモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。デイモードに設定されている場合、センシングモードまたはＣＮＶモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオフされることにより、カラー画素とＩＲ画素の露光期間が合わせられる。
　例えば、時刻ｔ０から時刻ｔ１の期間において、カラー画素およびＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素およびＩＲ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
　次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素およびＩＲ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
　以降、同様の処理が繰り返される。
　なお、デイモードに設定されている場合、環境光の強度が十分であるため、赤外光の照射は行われない。
　図２５は、ナイトモードに設定されている場合の赤外光の照射期間および各画素の露光期間の例を示している。ナイトモードに設定されている場合、他のモードに設定されている場合と同様に、撮像素子１０６の画素アレイ部２０２の１行目から最終行に向かう掃引方向に従って、行単位に露光期間がずらされる。また、画素別シャッタがオフされることにより、カラー画素とＩＲ画素の露光期間が合わせられる。
　例えば、時刻ｔ０から時刻ｔ１の期間において、カラー画素およびＩＲ画素の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ４から時刻ｔ５の期間において、カラー画素およびＩＲ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
　次に、時刻ｔ８から時刻ｔ９の期間において、カラー画素およびＩＲ画素の露光期間が掃引方向の順に終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。
　以降、同様の処理が繰り返される。
　一方、赤外光は連続して照射される。
　上述したように、ナイトモードに設定されている場合、色情報を用いずに、モノクロの画像が生成される。従って、赤外光を連続照射することにより、輝度情報の再現性が向上し、撮像装置１００により生成される画像の画質が向上する。
　なお、センシングモードに設定されている場合、所定のパターンを示す赤外光（以下、ストラクチャードライトと称する）が赤外光照射部１０３から照射される。例えば、図２６に示されるドットパターンを示すストラクチャードライトが赤外光照射部１０３から照射される。一方、ＣＮＶモードまたはナイトモードに設定されている場合、特定のパターンがなく、明るさが一様な赤外光（以下、フラットライトと称する）が赤外光照射部１０３から照射される。
（撮像処理）
　次に、図２７のフローチャートを参照して、撮像装置１００により実行される撮像処理について説明する。
　ステップＳ１０１において、撮像素子１０６は、ＲＡＷ画像を撮像する。具体的には、撮像素子１０６は、撮像レンズ１０４および光学フィルタ１０５を介して受光した光の像を撮像し、撮像の結果得られたＲＡＷ画像信号をＲＧＢＩＲ補間フィルタ３０１および高周波用Ｇ補間フィルタ３０２に供給する。
　ステップＳ１０２において、撮像装置１００は、画像生成処理を実行する。ここで、図２８のフローチャートを参照して、画像生成処理の詳細について説明する。
　ステップＳ１５１において、ＲＧＢＩＲ補間フィルタ３０１および高周波用Ｇ補間フィルタ３０２は、画素の補間を行う。
　具体的には、ＲＧＢＩＲ補間フィルタ３０１は、上述したように、ＲＡＷ画像信号において、画素ごとに色信号の全てを補間する。ＲＧＢＩＲ補間フィルタ３０１は、補間後のＲ+ΔIR_L信号、Ｂ+ΔIR_L信号およびＩＲ+ΔV_L信号を成分分離部３０３に供給し、Ｇ+ΔIR_L信号を成分分離部３０３、高周波成分抽出部３０７および高周波成分復元部３０８に供給する。
　高周波用Ｇ補間フィルタ３０２は、上述したように、ＲＡＷ画像信号において、画素ごとにＧ信号のみを補間する。高周波用Ｇ補間フィルタ３０２は、補間後のＧ+ΔIR_H信号を高周波成分抽出部３０７に供給する。
　ステップＳ１５２において、成分分離部３０３がオンされているか否かが判定される。成分分離部３０３がオンされていると判定された場合、処理はステップＳ１５３に進む。
　ステップＳ１５３において、成分分離部３０３は、不要な成分を分離、除去する。具体的には、成分分離部３０３は、上述したように、Ｒ+ΔIR_L信号、Ｇ+ΔIR_L信号およびＢ+ΔIR_L信号のそれぞれから赤外光成分を分離して除去する。成分分離部３０３は、赤外光成分が除去されたＲL信号、ＧL信号およびＢL信号をホワイトバランス処理部３０４に供給する。
　また、成分分離部３０３は、上述したように、ＩＲ+ΔV_L信号から可視光成分を分離して除去する。成分分離部３０３は、可視光成分が除去されたＩＲ信号をＩＲ画像信号出力部３１０に供給する。
　その後、処理はステップＳ１５４に進む。
　一方、ステップＳ１５２において、成分分離部３０３がオフされていると判定された場合、ステップＳ１５３の処理はスキップされ、処理はステップＳ１５４に進む。このとき、成分分離部３０３に入力されたＲ+ΔIR_L信号、Ｇ+ΔIR_L信号およびＢ+ΔIR_L信号は、赤外光成分の分離および除去が行われることなく、そのままＲL信号、ＧL信号およびＢL信号としてホワイトバランス処理部３０４に供給される。また、成分分離部３０３に入力されたＩＲ+ΔV_L信号は、可視光成分の分離および除去が行われることなく、そのままＩＲ信号としてＩＲ画像信号出力部３１０に供給される。
　ステップＳ１５４において、ホワイトバランス処理部３０４は、ホワイトバランス処理を行う。具体的には、ホワイトバランス処理部３０４は、上述したように、ＲL信号、ＧL信号およびＢL信号においてホワイトバランスを調整し、ホワイトバランスを調整したＲL信号、ＧL信号およびＢL信号をＹＣ変換部３５１に供給する。
　ステップＳ１５５において、クロマゲイン制御部４０１は、ナイトモードに設定されているか否かを判定する。ナイトモードに設定されていると判定された場合、処理はステップＳ１５６に進む。
　ステップＳ１５６において、色差調整部３０６は、ナイトモード用の色差の調整を行う。
　具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲL信号、ＧL信号およびＢL信号を輝度信号ＹLと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号ＹLをＲＧＢ変換部３５３に供給する。また、ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給する。
　クロマゲイン制御部４０１は、クロマゲインＧｃを０に設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
　乗算器４０２は、色差信号ＣｒにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５３に供給する。
　乗算器４０３は、色差信号ＣｂにクロマゲインＧｃ（＝０）を乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５３に供給する。
　ＲＧＢ変換部３５３は、上述したように、画素毎に、輝度信号ＹLおよび色差信号Ｃｒ’，Ｃｂ’を、ＲL信号、ＧL信号およびＢL信号に変換して高周波成分復元部３０８に供給する。
　ここで、色差信号Ｃｒ’，Ｃｂ’は０なので、ＲL信号、ＧL信号およびＢL信号からなる画像はモノクロ画像となる。
　その後、処理はステップＳ１５８に進む。
　一方、ステップＳ１５５において、センシングモード、デイモードまたはＣＮＶモードに設定されていると判定された場合、処理はステップＳ１５７に進む。
　ステップＳ１５７において、色差調整部３０６は、センシングモード、デイモード、ＣＮＶモード用の色差の調整を行う。
　具体的には、ＹＣ変換部３５１は、上述したように、画素毎に、ＲL信号、ＧL信号およびＢL信号を輝度信号ＹLと色差信号ＣｒおよびＣｂとに変換する。ＹＣ変換部３５１は、輝度信号ＹLをＲＧＢ変換部３５３に供給する。また、ＹＣ変換部３５１は、色差信号Ｃｒを乗算器４０２に供給し、色差信号Ｃｂを乗算器４０３に供給する。
　比率算出部３０５は、上述したように、可視光比率Ｒｃを算出し、制御部１０２およびクロマゲイン制御部４０１に供給する。
　クロマゲイン制御部４０１は、上述したように、測光量Ｑおよび可視光比率Ｒｃに基づいて、図１６のグラフを用いて、クロマゲインＧｃを設定する。クロマゲイン制御部４０１は、設定したクロマゲインＧｃを乗算器４０２および４０３に供給する。
　乗算器４０２は、色差信号ＣｒにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｒ’をＲＧＢ変換部３５３に供給する。
　乗算器４０３は、色差信号ＣｂにクロマゲインＧｃを乗算し、乗算結果である色差信号Ｃｂ’をＲＧＢ変換部３５３に供給する。
　ＲＧＢ変換部３５３は、上述したように、画素毎に、輝度信号ＹLおよび色差信号Ｃｒ’，Ｃｂ’をＲL信号、ＧL信号およびＢL信号に変換して高周波成分復元部３０８に供給する。
　その後、処理はステップＳ１５８に進む。
　ステップＳ１５８において、高周波成分抽出部３０７は、上述したように、Ｇ+ΔIR_L信号およびＧ+ΔIR_H信号に基づいて、高周波成分ＧHを抽出する。高周波成分抽出部３０７は、抽出した高周波成分ＧHを高周波成分復元部３０８に供給する。
　ステップＳ１５９において、高周波成分復元部３０８は、上述したように、ＲL信号、ＧL信号およびＢL信号において高周波成分ＧHを復元する。高周波成分復元部３０８は、高周波成分を復元したＲ信号、Ｇ信号およびＢ信号をベイヤ画像信号出力部３０９に供給する。
　ステップＳ１６０において、画像生成部１２１は、ベイヤ画像信号およびＩＲ画像信号を出力する。具体的には、ベイヤ画像信号出力部３０９は、Ｒ信号、Ｇ信号およびＢ信号をベイヤ配列に従って並べ、ベイヤ画像信号としてデモザイク処理部５０１および認識部５６２に供給する。ＩＲ画像信号出力部３１０は、ＩＲ信号を２次元格子状に並べ、ＩＲ画像信号として出力部１０８および距離計測部５６１に供給する。
　その後、画像生成処理は終了する。
　図２７に戻り、物体検出部５５１は、ユーザ設定等に基づいて、物体検出を行うか否かを判定する。物体検出を行わないと判定された場合、処理はステップＳ１０４に進む。
　ステップＳ１０４において、画像変換部１２２は、画像変換を行う。
　具体的には、デモザイク処理部５０１は、上述したように、ベイヤ画像信号を、画像信号ごとにＲ信号、Ｇ信号およびＢ信号を含むデモザイク画像信号に変換し、変換後のデモザイク画像信号をリニアマトリックス演算部５０２に供給する。
　リニアマトリックス演算部５０２は、上述したように、デモザイク画像信号に対してリニアマトリックス演算を行い、演算後のデモザイク画像信号をガンマ補正部５０３に供給する。
　ガンマ補正部５０３は、ディスプレイの特性に合わせて、デモザイク画像信号のガンマ補正を行い、補正後のデモザイク画像信号をＹＣ変換部５０４に供給する。
　ＹＣ変換部５０４は、上述したように、デモザイク画像信号をＹＣ画像信号に変換し、変換後のＹＣ画像信号を出力部１０８に供給する。
　ステップＳ１０５において、出力部１０８は、画像信号を出力する。すなわち、出力部１０８は、ＹＣ画像信号およびＩＲ画像信号を出力する。
　その後、処理はステップＳ１０９に進む。
　一方、ステップＳ１０３において、物体検出を行うと判定された場合、処理はステップＳ１０６に進む。
　ステップＳ１０６において、物体検出部５５１は、物体検出処理を実行する。ここで、図２９のフローチャートを参照して、物体検出処理の詳細について説明する。
　なお、以下、図３０に示される被写体を撮像した場合を適宜例に挙げて説明する。なお、図３０では、各被写体がモノクロで表されているが、実際には色が付いている。
　また、図３１及び図３２は、Ｓ１０２の画像生成処理により得られるベイヤ画像信号に基づくベイヤ画像、および、ＩＲ画像信号に基づくＩＲ画像の例を示している。図３１のベイヤ画像および図３２のＩＲ画像は、ともに同じフレーム期間内に図３０の被写体を撮像した画像の一部である。また、図３２のＩＲ画像は、図３０の被写体にストラクチャードライトを照射した状態で撮像されたものである。なお、図３１のベイヤ画像は、モノクロで表されているが、実際にはカラーの画像である。
　ステップＳ２０１において、距離計測部５６１は、キャリブレーション画像を取得する。
　ここで、キャリブレーション画像とは、撮像装置１００（撮像レンズ１０４）の光軸に対して垂直に設置された模様のない平面を、ストラクチャードライトを照射した状態で撮像装置１００により撮像することにより得られるＩＲ画像のことである。従って、図３３に示されるように、キャリブレーション画像は、ストラクチャードライトのパターンがそのまま投影された画像となる。
　キャリブレーション画像は予め撮像され、キャリブレーション画像を示すＩＲ画像信号（以下、キャリブレーション画像信号と称する）が記憶部５６３に記憶されている。距離計測部５６１は、キャリブレーション画像信号を記憶部５６３から読み出す。
　ステップＳ２０２において、距離計測部５６１は、距離計測を行う。例えば、距離計測部５６１は、キャリブレーション画像における各ドットと、被写体を撮像したＩＲ画像における各ドットとの対応付けを行う。例えば、図３４に示されるように、距離計測部５６１は、ＩＲ画像において、キャリブレーション画像におけるドットＤ１乃至Ｄ３に対応するドットＤ１’乃至Ｄ３’の検出を行う。そして、距離計測部５６１は、対応するドット間の距離に基づいて、ＩＲ画像の各ドットにおける物体までの距離を算出する。
　例えば、図３４の例において、物体６０１にストラクチャードライトが投影されることにより、ＩＲ画像のドットＤ２’は、対応するキャリブレーション画像のドットＤ２の位置から左方向に移動している。距離計測部５６１は、このドットＤ２’とドットＤ２の間の距離に基づいて、ＩＲ画像のドットＤ２’の位置における物体までの距離を算出する。そして、距離計測部５６１は、ＩＲ画像の全てのドットについて同様の処理を行うことにより、各ドットの位置における物体までの距離を算出する。また、距離計測部５６１は、物体までの距離の分布を示すデプスマップを生成し、生成したデプスマップを認識部５６２に供給する。
　図３５は、デプスマップの例を示している。この例では、デプスマップがモノクロの画像により示されているが、実際の画像では、物体までの距離に応じて画素の色が変化する。
　ステップＳ２０３において、認識部５６２は、物体の認識を行う。例えば、認識部５６２は、デプスマップに基づいて、物体が存在する領域を検出する。例えば、図３５の例において、領域Ｒ１乃至Ｒ６が検出される。
　そして、認識部５６２は、ベイヤ画像に基づいて、検出した各領域内の物体の認識を行う。認識部５６２の物体の認識方法には、任意の方法を採用することが可能であるが、例えば、ＣＮＮ（Convolutional Neural Network）が用いられる。これにより、例えば、図３６に示されるように、領域Ｒ１およびＲ３乃至Ｒ６内の人形、並びに、領域Ｒ２内のカラーチャートが認識される。
　認識部５６２は、物体の検出結果を出力部１０８に供給する。
　その後、物体検出処理は終了する。
　このように、ＩＲ画像に基づいて物体が存在する領域を検出してから、検出した領域を対象に物体の認識処理が行われる。その結果、計算量が削減され、処理の高速化や負荷の軽減が実現される。また、ＩＲ画像とベイヤ画像が同じ撮像素子１０６により撮像され、撮像範囲が同じになるため、視差補正を行う必要がない。さらに、ＩＲ画像とベイヤ画像が同じフレーム期間内に撮像されるため、物体の動き等を考慮する必要がない。
　従って、少ない処理量で高精度の物体検出が実現される。
　図２７に戻り、ステップＳ１０７において、ステップＳ１０４の処理と同様に、画像変換が行われる。
　ステップＳ１０８において、出力部１０８は、画像信号および検出結果を出力する。すなわち、出力部１０８は、ＹＣ画像信号およびＩＲ画像信号、並びに、物体の検出結果を出力する。
　ステップＳ１０９において、制御部１０２は、撮像を停止するか否かを判定する。撮像を停止しないと判定された場合、処理はステップＳ１０１に戻り、ステップＳ１０９において、撮像を停止すると判定されるまで、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行される。
　一方、ステップＳ１０９において、制御部１０２は、例えば、ユーザにより所定の操作が行われた場合や、撮像を継続する時間が経過した場合等に、撮像を停止すると判定し、撮像処理は終了する。
＜２．変形例＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　上述したように、撮像装置１００は、１つの撮像素子１０６を用いて、同じフレーム期間内にカラー画像とＩＲ画像を並行して取得することができる。以上の説明では、ＩＲ画像を用いて、物体までの距離の検出（デプスセンシング）を行い、デプスセンシングの結果を用いて物体の検出を行う例を示したが、デプスセンシングの結果を他の用途に用いることも可能である。
　例えば、カラー画像を用いた顔検出や顔認識では、写真等の画像を用いたなりすましを検出することが困難である。これに対して、ＩＲ画像を用いたデプスセンシングにより平面検出を行うことにより、なりすましの検出が容易になる。
　また、ＩＲ画像を他のセンシング用途に用いてもよい。
　例えば、フラットライトを用いて撮像したＩＲ画像を用いて、虹彩認証、オートフォーカス、オートホワイトバランス、逆光補正等の処理を行うことができる。ＩＲ画像を用いることにより、カラー画像を用いる場合と比較して、暗時や暗所における上記の処理の性能が向上する。
　さらに、例えば、フラットライトを用いて撮像したＩＲ画像を、特に暗時や暗所のビューイング用途（例えば、監視等）に用いることができる。
　また、例えば、撮像装置１００に２つの撮像素子１０６を設けることにより、カラー画像とＩＲ画像のステレオ撮像を並行して行うことができる。
　さらに、例えば、図９の画像生成部１２１において、色差調整部３０６の代わりに、図３７の輝度・色差調整部７０１を設け、色差信号だけでなく、輝度信号の補正も行うようにしてもよい。なお、図３７において、図１４と対応する部分には同じ符号を付してある。
　図３７の輝度・色差調整部７０１は、図１４の色差調整部３０６と比較して、輝度信号生成部７１１および輝度信号補正部７１２が追加されている点が異なる。
　輝度信号生成部７１１は、次の式（３２）を使用して、撮像素子１０６から供給されるＲ+ΔIR信号、Ｇ+ΔIR信号およびＢ+ΔIR信号から輝度信号Ｙ+ΔIRを生成する。
Ｙ+ΔIR＝（５Ｇ+ΔIR＋２Ｒ+ΔIR＋Ｂ+ΔIR）／８　・・・（３２）
　輝度信号生成部７１１は、生成した輝度信号Ｙ+ΔIRを輝度信号補正部７１２に供給する。
　図３８は、輝度信号補正部７１２の構成例を示すブロック図である。輝度信号補正部７１２は、合成比率制御部７５１と、乗算器７５２および７５３と、加算器７５４とを備える。
　合成比率制御部７５１は、撮像モード、測光量Ｑおよび可視光比率Ｒｃに基づいて、合成比率αを制御する。
　例えば、合成比率制御部７５１は、センシングモード、デイモードまたはＣＮＶモードに設定されている場合、図３９のグラフを用いて、合成比率αを設定する。
　図３９の縦軸は、合成比率αを示し、横軸は測光量Ｑを示す。また、同図の一点鎖線は、可視光比率Ｒｃが１．０の場合の合成比率αの設定例であり、実線は、可視光比率Ｒｃが０．９の場合の合成比率αの設定例である。また、点線は、可視光比率Ｒｃが０．８の場合の合成比率αの設定例である。
　同図に例示するように、測光量Ｑが小さいほど、また、赤外光成分の割合が高いほど、小さな合成比率αが設定される。
　一方、合成比率制御部７５１は、ナイトモードに設定されている場合、合成比率αの値を０に設定する。
　合成比率制御部７５１は、設定した合成比率αを乗算器７５２に供給し、合成比率αを１から減算した減算結果１－αを乗算器７５３に供給する。
　なお、合成比率制御部７５１を画像処理部１０７内に設けているが、例えば、この合成比率制御部７５１を制御部１０２内に設けてもよい。
　乗算器７５２は、合成比率αを輝度信号ＹLに乗算して乗算結果を加算器７５４に供給する。
　乗算器７５３は、合成比率制御部７５１からの減算結果１－αをＹ+ΔIR信号に乗算して乗算結果を加算器７５４に供給する。
　加算器７５４は、乗算器７５２および７５３のそれぞれの乗算結果を加算し、その加算結果を輝度信号ＹL’としてＲＧＢ変換部３５３に供給する。
　従って、センシングモード、デイモードまたはＣＮＶモードに設定されている場合、輝度信号ＹL’は、次の式（３３）のようになる。
ＹL’＝α×ＹL＋（１－α）×Ｙ+ΔIR　・・・（３３）
　一方、ナイトモードに設定されている場合、輝度信号ＹL’は、次の式（３４）のようになる。
ＹL’＝Ｙ+ΔIR　・・・（３４）
　輝度信号補正部７１２は、輝度信号ＹL’をＲＧＢ変換部３５３に供給する。
　ＲＧＢ変換部３５３は、上述した式（２２）乃至（２４）を使用して、輝度信号ＹL’と色差信号Ｃｒ’およびＣｂ’を、ＲL信号、ＧL信号およびＢL信号に変換する。ＲＧＢ変換部３５３は、変換後のＲL信号、ＧL信号およびＢL信号を高周波成分復元部３０８に供給する。
　また、上述した画素の配列は、その一例であり、他の配列を用いることも可能である。
　例えば、図４０に示されるように、縦２画素×横２画素からなるパターンを１単位として、各パターン内にＲ画素：Ｇ画素：Ｂ画素：ＩＲ画素＝１：１：１：１の割合で、画素２１１を配置するようにしてもよい。
　また、例えば、図４１および図４２に示されるように、ＩＲ画素の代わりに、Ｗ（ホワイト）画素を用いるようにしてもよい。図４１は、図５の画素配列のＩＲ画素をＧ画素に置き換え、Ｇ画素をＷ画素に置き換えたものである。図４２は、図４０の画素配列のＩＲ画素をＷ画素に置き換えたものである。
　図４３は、画素２１１ごとの感度特性の例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素２１１の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。
　Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｗ画素の感度は、Ｒ画素、Ｇ画素およびＢ画素の感度の波形を包含するような波形を示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。
　Ｗ画素を用いた場合、例えば、Ｗ画素の画素信号から可視光成分が除去されることにより、赤外光成分が抽出され、ＩＲ画像が生成される。
　また、赤外光以外の不可視光（例えば、紫外光）を用いるとともに、その不可視光を検出可能な画素をＩＲ画素の代わりに設け、その不可視光による画像を取得するようにしてもよい。
　さらに、例えば、カラー画素として、Ｒ画素、Ｇ画素、Ｂ画素以外の３色以上の画素の組合せを用いるようにしてもよい。
　また、例えば、ビューイングモードにおいて、ナイトモードを設けずに、デイモードとＣＮＶモードのみを設けるようにしてもよい。例えば、周囲の明るさを「明るい」、「暗い」の２段階に分け、周囲が明るい場合に、デイモードに設定し、周囲が暗い場合に、ＣＮＶモードに設定するようにしてもよい。
　さらに、例えば、センシングモード及びＣＮＶモードにおいて、画素別シャッタをオンせずに、フレーム期間毎にＩＲ光の照射の有無を制御するようにしてもよい。この場合、例えば、ＩＲ光を照射するフレーム期間とＩＲ光を照射しないフレーム期間とが交互に繰り返される。そして、ＩＲ光が照射されているフレーム期間のＲＡＷ画像信号（特に、ＩＲ画素またはＷ画素の信号）に基づいて、ＩＲ画像信号が生成され、ＩＲ光が照射されていないフレーム期間のＲＡＷ画像信号（特に、Ｒ画素、Ｇ画素およびＢ画素の信号）に基づいて、ベイヤ画像信号およびＹＣ画像信号が生成される。
　また、例えば、ＩＲカットフィルタ２３３がほぼ完全に赤外光成分を除去できる場合、センシングモードおよびＣＮＶモードをナイトモードと同様のモードに設定することが可能である。すなわち、画素別シャッタを用いずに、赤外光を連続して照射しても、カラー画素が赤外光を受光しないため、高画質のカラー画像およびＩＲ画像を取得することができる。
　さらに、例えば、撮像素子１０６にＩＲカットフィルタ２３３を設けずに、成分分離部３０３において、Ｒ信号、Ｇ信号、Ｂ信号の赤外光成分を分離して除去するようにしてもよい。
　また、以上の説明では、撮像装置１００からＹＣ画像信号を出力する例を示したが、他のフォーマットの画像信号を出力するようにしてもよい。例えば、ベイヤ配列の画像信号や、各画素がＲ、ＧおよびＢの各信号を含む画像信号を出力するようにしてもよい。
＜３．応用例＞
｛コンピュータの構成例｝
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図４４は、上述した一連の処理をプログラムにより実行するコンピュータ９００のハードウエアの構成例を示すブロック図である。
　コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
　入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
　以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
｛内視鏡手術システムへの適用例｝
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図４５は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図４５では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
　（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
　（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
　（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
　光源装置５０４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
　（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図４５では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
　（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　（カメラヘッド及びＣＣＵ）
　図４６を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図４６は、図４５に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
　図４６を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５００１に搭載される。
　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、カメラヘッド５００５およびＣＣＵ５０３９の少なくとも一方に好適に適用され得る。具体的には、例えば、図１の制御部１０２および撮像素子１０６をカメラヘッド制御部５０１５および撮像部５００９に適用し、図１の撮像レンズ１０４および光学フィルタ１０５をレンズユニット５００７に適用し、図１の画像処理部１０７を画像処理部５０６１に適用し、赤外光照射部１０３をカメラヘッド５００５に設けることができる。これにより、例えば、より鮮明な術部画像を得たり、術部画像における物体の検出精度が向上するため、手術をより安全にかつより確実に行うことが可能になる。
｛車両制御システムへの適用例｝
　また、例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図４７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図４７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図４８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図４７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図４７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像装置１００は、図４７に示した応用例の撮像部７４１０や運転状態検出部７５１０に適用することができる。これにより、例えば、暗時や暗所において、車外の物体の検出精度や、車内の運転者の顔および顔の各部の検出精度が向上し、危険回避や自動運転等の運転支援の精度が向上する。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、例えば、本技術は以下のような構成も取ることができる。
（１）
　不可視光の照射を制御する制御部と、
　前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子と、
　前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成部と
　を備える撮像装置。
（２）
　前記第１の画像に基づいて物体までの距離の検出を行い、物体までの距離の検出結果に基づいて、前記第２の画像内の物体の検出を行う物体検出部を
　さらに備える前記（１）に記載の撮像装置。
（３）
　前記制御部は、所定のパターンを投影する前記不可視光の照射を制御する
　前記（２）に記載の撮像装置。
（４）
　前記撮像素子は、各前記第２の画素の受光部への入射光に含まれる前記不可視光成分を減衰するフィルタを備える
　前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
　前記制御部は、前記不可視光を連続して照射するように制御する
　前記（４）に記載の撮像装置。
（６）
　前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に前記不可視光を照射するように制御する
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記制御部は、フレーム期間毎に前記不可視光の照射の有無を制御し、
　前記画像生成部は、前記不可視光が照射されたフレーム期間における前記第１の画素信号に基づいて、前記第１の画像を生成し、前記不可視光が照射されていないフレーム期間における前記第２の画素信号に基づいて、前記第２の画像を生成する
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（８）
　前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
　前記第２の画素は、所定の色の検出に用いるカラー画素を含み、
　前記不可視光は、赤外光である
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
　前記カラー画素は、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含む
　前記（８）に記載の撮像装置。
（１０）
　前記第１の画素は、ホワイト画素を含み、
　前記第２の画素は、所定の色の検出に用いるカラー画素を含み、
　前記不可視光は、赤外光である
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（１１）
　前記カラー画素は、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含む
　前記（１０）に記載の撮像装置。
（１２）
　前記不可視光を照射する照射部を
　さらに備える前記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）
　前記照射部は、明るさが一様な前記不可視光、または、所定のパターンを投影する前記不可視光を照射する
　前記（１２）に記載の撮像装置。
（１４）
　不可視光の照射を制御する制御ステップと、
　撮像素子の前記不可視光を検出可能な第１の画素からの第１の画素信号、および、前記撮像素子の可視光を検出可能な第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成ステップと
　を含む画像処理方法。
（１５）
　不可視光を照射する照射装置と、
　前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子を備える撮像装置と、
　前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像処理装置と
　を備える画像処理システム。
　１００　撮像装置，　１０１　測光部，　１０２　制御部，　１０３　赤外光照射部，　１０４　撮像レンズ，　１０５　光学フィルタ，　１０６　撮像素子，　１０７　画像処理部，　１０８　出力部，　１２１　画像生成部，　１２２　画像変換部，　１２３　センシング部，　２０２　画素アレイ部，　２１１　画素，　２３１　マイクロレンズアレイ，　２３２　カラーフィルタ，　２３３　ＩＲカットフィルタ，　２３４　カラーフィルタ，　３０１　ＲＧＢＩＲ補間フィルタ，　３０２　高周波用Ｇ補間フィルタ，　３０３　成分分離部，　３０５　比率算出部，　３０９　ベイヤ画像信号出力部，　３１０　ＩＲ画像信号出力部，　５５１　物体検出部，　５６１　距離計測部，　５６２　認識部

Claims (15)

  1. 　不可視光の照射を制御する制御部と、
    　前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子と、
    　前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成部と
    　を備える撮像装置。
  2. 　前記第１の画像に基づいて物体までの距離の検出を行い、物体までの距離の検出結果に基づいて、前記第２の画像内の物体の検出を行う物体検出部を
    　さらに備える請求項１に記載の撮像装置。
  3. 　前記制御部は、所定のパターンを投影する前記不可視光の照射を制御する
    　請求項２に記載の撮像装置。
  4. 　前記撮像素子は、各前記第２の画素の受光部への入射光に含まれる前記不可視光成分を減衰するフィルタを備える
    　請求項１に記載の撮像装置。
  5. 　前記制御部は、前記不可視光を連続して照射するように制御する
    　請求項４に記載の撮像装置。
  6. 　前記制御部は、各フレーム期間において前記第１の画素および前記第２の画素の露光期間を設けながら、前記第１の画素のみが露光している期間である単独露光期間を設けるとともに、前記単独露光期間内に前記不可視光を照射するように制御する
    　請求項１に記載の撮像装置。
  7. 　前記制御部は、フレーム期間毎に前記不可視光の照射の有無を制御し、
    　前記画像生成部は、前記不可視光が照射されたフレーム期間における前記第１の画素信号に基づいて、前記第１の画像を生成し、前記不可視光が照射されていないフレーム期間における前記第２の画素信号に基づいて、前記第２の画像を生成する
    　請求項１に記載の撮像装置。
  8. 　前記第１の画素は、赤外光の検出に用いるＩＲ画素を含み、
    　前記第２の画素は、所定の色の検出に用いるカラー画素を含み、
    　前記不可視光は、赤外光である
    　請求項１に記載の撮像装置。
  9. 　前記カラー画素は、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含む
    　請求項８に記載の撮像装置。
  10. 　前記第１の画素は、ホワイト画素を含み、
    　前記第２の画素は、所定の色の検出に用いるカラー画素を含み、
    　前記不可視光は、赤外光である
    　請求項１に記載の撮像装置。
  11. 　前記カラー画素は、赤色の検出に用いるＲ画素、緑色の検出に用いるＧ画素、および、青色の検出に用いるＢ画素を含む
    　請求項１０に記載の撮像装置。
  12. 　前記不可視光を照射する照射部を
    　さらに備える請求項１に記載の撮像装置。
  13. 　前記照射部は、明るさが一様な前記不可視光、または、所定のパターンを投影する前記不可視光を照射する
    　請求項１２に記載の撮像装置。
  14. 　不可視光の照射を制御する制御ステップと、
    　撮像素子の前記不可視光を検出可能な第１の画素からの第１の画素信号、および、前記撮像素子の可視光を検出可能な第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像生成ステップと
    　を含む画像処理方法。
  15. 　不可視光を照射する照射装置と、
    　前記不可視光を検出可能な第１の画素、および、可視光を検出可能な第２の画素を備える撮像素子を備える撮像装置と、
    　前記第１の画素からの第１の画素信号および前記第２の画素からの第２の画素信号に基づいて、前記不可視光成分からなる第１の画像、および、可視光成分からなる第２の画像を生成する画像処理装置と
    　を備える画像処理システム。
PCT/JP2018/000083 2017-01-20 2018-01-05 撮像装置、画像処理方法および画像処理システム WO2018135315A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/469,434 US10958847B2 (en) 2017-01-20 2018-01-05 Imaging device, image processing method, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017008180A JP2018117309A (ja) 2017-01-20 2017-01-20 撮像装置、画像処理方法および画像処理システム
JP2017-008180 2017-01-20

Publications (1)

Publication Number Publication Date
WO2018135315A1 true WO2018135315A1 (ja) 2018-07-26

Family

ID=62907985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000083 WO2018135315A1 (ja) 2017-01-20 2018-01-05 撮像装置、画像処理方法および画像処理システム

Country Status (3)

Country Link
US (1) US10958847B2 (ja)
JP (1) JP2018117309A (ja)
WO (1) WO2018135315A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110849386A (zh) * 2018-08-21 2020-02-28 三星电子株式会社 用于向车辆提供图像的方法及其电子设备
CN110868506A (zh) * 2018-08-10 2020-03-06 南昌欧菲生物识别技术有限公司 图像处理方法和电子装置
KR20210055584A (ko) * 2019-11-07 2021-05-17 엑시스 에이비 장면을 포함하는 비디오 스트림을 디스플레이하는 방법
WO2021100426A1 (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2021157401A1 (ja) * 2020-02-03 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP7571732B2 (ja) 2019-11-19 2024-10-23 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827129B2 (en) * 2017-02-24 2020-11-03 Sony Corporation Image processing apparatus and imaging apparatus
TWI820194B (zh) 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
KR102632092B1 (ko) * 2018-09-03 2024-02-02 현대자동차주식회사 차량 및 그 제어방법
DE102018127287B4 (de) * 2018-10-31 2023-01-12 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung
US20200191919A1 (en) * 2018-12-12 2020-06-18 Stmicroelectronics (Research & Development) Limited Time-of-flight optical systems including a fresnel surface
JP2020108061A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 撮像装置及び撮像システム
TWI705269B (zh) * 2019-03-27 2020-09-21 群光電子股份有限公司 影像擷取裝置、濾光膜及濾光膜的製作方法
JP7277236B2 (ja) * 2019-04-18 2023-05-18 キヤノン株式会社 撮像装置、撮像システム、プログラム、記録媒体、及び制御方法
CN112243117B (zh) * 2019-07-17 2022-09-16 杭州海康威视数字技术股份有限公司 图像处理装置、方法及摄像机
CN111784743B (zh) * 2020-07-03 2022-03-29 电子科技大学 一种红外弱小目标检测方法
JP7298562B2 (ja) * 2020-07-20 2023-06-27 トヨタ自動車株式会社 車両の周辺検知装置
DE102021202427A1 (de) 2021-03-12 2022-09-15 Continental Automotive Gmbh Detektorvorrichtung und Sensoreinheit
JP2022188888A (ja) * 2021-06-10 2022-12-22 株式会社ソシオネクスト 画像処理装置および画像処理方法
JP2023066487A (ja) * 2021-10-29 2023-05-16 フォルシアクラリオン・エレクトロニクス株式会社 撮像装置、及び撮像方法
US12108168B1 (en) * 2021-12-09 2024-10-01 Amazon Technologies, Inc. Color filter array interpolation for RGB-IR image sensors
US12035054B1 (en) 2021-12-09 2024-07-09 Amazon Technologies, Inc. Color filter array interpolation for RGB-IR image sensors
CN116962886A (zh) * 2022-04-07 2023-10-27 安霸国际有限合伙企业 用于rgb-ir传感器的智能自动曝光控制
JP7555999B2 (ja) 2022-06-28 2024-09-25 キヤノン株式会社 画像処理装置、頭部装着型表示装置、画像処理装置の制御方法、頭部装着型表示装置の制御方法、およびプログラム
US20240040268A1 (en) * 2022-07-29 2024-02-01 Texas Instruments Incorporated Rgb-ir pixel pattern conversion via conversion engine
WO2024135722A1 (ja) * 2022-12-21 2024-06-27 株式会社小糸製作所 撮像装置及び画像データ生成方法
TWI847913B (zh) * 2023-11-15 2024-07-01 菱光科技股份有限公司 攝影機及影像傳輸方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置
WO2015059897A1 (ja) * 2013-10-23 2015-04-30 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
WO2016199573A1 (ja) * 2015-06-08 2016-12-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741279B1 (en) * 1998-07-21 2004-05-25 Hewlett-Packard Development Company, L.P. System and method for capturing document orientation information with a digital camera
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
CA2835830A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置
WO2015059897A1 (ja) * 2013-10-23 2015-04-30 日本電気株式会社 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
WO2016199573A1 (ja) * 2015-06-08 2016-12-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868506A (zh) * 2018-08-10 2020-03-06 南昌欧菲生物识别技术有限公司 图像处理方法和电子装置
CN110849386A (zh) * 2018-08-21 2020-02-28 三星电子株式会社 用于向车辆提供图像的方法及其电子设备
US11326891B2 (en) * 2018-08-21 2022-05-10 Samsung Electronics Co., Ltd. Method for providing image to vehicle and electronic device therefor
KR20210055584A (ko) * 2019-11-07 2021-05-17 엑시스 에이비 장면을 포함하는 비디오 스트림을 디스플레이하는 방법
KR102629250B1 (ko) 2019-11-07 2024-01-25 엑시스 에이비 장면을 포함하는 비디오 스트림을 디스플레이하는 방법
WO2021100426A1 (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11930308B2 (en) 2019-11-19 2024-03-12 Sony Group Corporation Image processing device and image processing method that reduce variation in output value among imaging devices
JP7571732B2 (ja) 2019-11-19 2024-10-23 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2021157401A1 (ja) * 2020-02-03 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法

Also Published As

Publication number Publication date
US10958847B2 (en) 2021-03-23
JP2018117309A (ja) 2018-07-26
US20200112662A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
WO2018135315A1 (ja) 撮像装置、画像処理方法および画像処理システム
US11372200B2 (en) Imaging device
JP7147562B2 (ja) 測光装置、測光方法、プログラムおよび撮像装置
US11350053B2 (en) Imaging device, method thereof, and imaging element
US10873712B2 (en) Signal processing device, imaging device, and signal processing method
JP7229988B2 (ja) 測距システム、及び、受光モジュール、並びに、バンドパスフィルタの製造方法
WO2018003305A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2018020857A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2017221715A1 (ja) 撮像素子及び電子機器
WO2018037680A1 (ja) 撮像装置、撮像システム、及び、信号処理方法
JP7306269B2 (ja) 制御装置と制御方法およびプログラム
WO2018100992A1 (ja) 撮像光学系、カメラモジュール、及び、電子機器
US11482159B2 (en) Display control device, display control method, and display control program
WO2019082686A1 (ja) 撮像装置
EP3761636B1 (en) Signal processing device, signal processing method, and imaging device
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
WO2020202648A1 (ja) 撮像装置、撮像信号処理装置、撮像信号処理方法
JPWO2020174876A1 (ja) レンズ鏡筒及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18741876

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18741876

Country of ref document: EP

Kind code of ref document: A1