WO2020066236A1 - 奥行取得装置、奥行取得方法およびプログラム - Google Patents

奥行取得装置、奥行取得方法およびプログラム Download PDF

Info

Publication number
WO2020066236A1
WO2020066236A1 PCT/JP2019/028321 JP2019028321W WO2020066236A1 WO 2020066236 A1 WO2020066236 A1 WO 2020066236A1 JP 2019028321 W JP2019028321 W JP 2019028321W WO 2020066236 A1 WO2020066236 A1 WO 2020066236A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
infrared light
intensity
light
Prior art date
Application number
PCT/JP2019/028321
Other languages
English (en)
French (fr)
Inventor
吾妻　健夫
佐藤　智
信彦 若井
吉岡　康介
清水　規貴
良直 河合
高明 天田
陽子 川合
猛 村井
宏樹 竹内
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020548038A priority Critical patent/JP7281775B2/ja
Priority to CN201980049530.6A priority patent/CN112513934A/zh
Priority to EP19867598.5A priority patent/EP3859675B1/en
Publication of WO2020066236A1 publication Critical patent/WO2020066236A1/ja
Priority to US17/152,231 priority patent/US11373324B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to a depth acquisition device that acquires a distance to a subject as depth.
  • This distance measuring device includes a light source and an imaging unit.
  • the light source emits light to the subject.
  • the imaging unit captures the light reflected by the subject.
  • the distance measuring device measures the distance to the subject by converting each pixel value of the image obtained by the imaging into a distance to the subject. That is, the distance measuring device acquires the depth of the image obtained by the imaging unit.
  • the present disclosure provides a depth acquisition device that can accurately acquire the depth that is the distance to a subject.
  • a depth acquisition device includes a memory, and a processor, wherein the processor emits infrared light emitted from a light source and reflected by a subject, and each of a plurality of pixels included in an imaging device includes: The intensity of the infrared light that is measured by the received imaging and stored in the memory is obtained, and for each of the plurality of pixels included in the imaging device, the intensity of the infrared light received by the pixel is calculated. A depth image is calculated based on the distance to the subject, and a depth image is generated based on the intensity of the infrared light received by each of the plurality of pixels included in the image sensor.
  • a low-reflection area that is a projected area is detected, the low-reflection area of the depth image is corrected based on the visible light image, and the corrected depth image is output.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media. Further, the recording medium may be a non-transitory recording medium.
  • the depth acquisition device can accurately acquire the depth that is the distance to the subject. Further advantages and advantages of one aspect of the present disclosure will be apparent from the description and drawings. Such advantages and / or advantages are each provided by some embodiments and by the features described in the specification and drawings, but are not necessarily all provided to obtain one or more of the same features. No need.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device according to the embodiment.
  • FIG. 2 is a schematic diagram illustrating a pixel array included in the solid-state imaging device according to the embodiment.
  • FIG. 3 is a timing chart showing the relationship between the light emission timing of the light emitting element of the light source and the exposure timing of the first pixel of the solid-state imaging device in the embodiment.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the depth acquisition device according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a BW image, an IR image, and a depth image.
  • FIG. 6 is a diagram illustrating another example of the BW image, the IR image, and the depth image.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device according to the embodiment.
  • FIG. 2 is a schematic diagram illustrating a pixel array included in the solid-state imaging device according to the embodiment.
  • FIG. 3 is
  • FIG. 7 is a diagram illustrating a simulation result of the depth acquisition device according to the embodiment.
  • FIG. 8 is a flowchart illustrating an overall processing operation of the depth acquisition device according to the embodiment.
  • FIG. 9 is a flowchart illustrating an example of a processing operation of the low reflection area detection unit according to the embodiment.
  • FIG. 10 is a flowchart illustrating another example of the processing operation of the low reflection area detection unit according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of correction of a depth image by the depth correction unit according to the embodiment.
  • FIG. 12 is a flowchart illustrating a correction processing operation performed by the depth correction unit according to the embodiment.
  • FIG. 13 is a diagram illustrating another example of the correction of the depth image by the depth correction unit according to the embodiment.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of a depth acquisition device according to a modification of the embodiment.
  • the distance measuring device of Patent Literature 1 irradiates a light from a light source to a subject, captures an image of the illuminated subject, acquires an image, and measures the depth of the image.
  • ToF Time @ of @ Flight
  • imaging under different imaging conditions is performed in order to improve ranging accuracy. That is, the distance measuring device performs imaging according to the predetermined imaging condition, and sets an imaging condition different from the predetermined imaging condition according to the imaging result. Then, the distance measuring device performs imaging again according to the set imaging conditions.
  • Patent Document 1 it is difficult for the distance measuring device of Patent Document 1 to correctly measure the depth, which is the distance to a subject having a low reflectance with respect to irradiation light, even when imaging conditions are changed.
  • a depth acquisition device includes a memory and a processor, and the processor captures infrared light emitted from a light source and reflected by a subject.
  • Each of the plurality of pixels included in the element is measured by imaging received, and the intensity of the infrared light stored in the memory is acquired, and for each of the plurality of pixels included in the imaging element, Based on the intensity of the received infrared light, a depth image is generated by calculating a distance to the subject as a depth, and the infrared light received by each of a plurality of pixels included in the image sensor is generated.
  • the low reflection area of the depth image is an area in the depth image that is located at the same position as the low reflection area in the infrared light image and has the same shape and size as the low reflection area.
  • a low reflection area of the depth image is also referred to as a correction target area.
  • the object includes an object having a low reflectance with respect to infrared light (hereinafter, also referred to as a low-reflection object)
  • the calculation is performed based on the intensity of the infrared light reflected by the low-reflection object.
  • the distance to the low reflection object that is, the depth, is calculated to be longer than the actual depth. That is, in a region corresponding to the low reflection object in the depth image, a correct depth is not shown.
  • a low reflection area that is an area where the low reflection object is projected is detected, and an area in the depth image corresponding to the low reflection area is detected.
  • a correction target area That is, an area in which an inappropriate depth is indicated in the depth image because the object includes the low reflection object is specified as the correction target area. Then, by correcting the depth of the correction target area, the depth, which is the distance to the low reflection object, can be accurately obtained.
  • an example of an image of a substantially identical scene captured at substantially the same viewpoint and time is an image captured by different pixels of the same image sensor.
  • Such an image is similar to each of the red, green, and blue channel images of a color image captured by the color filter of the Bayer array, and the angle of view, viewpoint, and imaging time of each image are substantially equal. That is, images of substantially the same scene captured at substantially the same viewpoint and time do not differ by more than two pixels in the position of the subject in each captured image.
  • a scene has a point light source having visible light and infrared components, and only one pixel is captured with high brightness in the visible light image, the pixel captured in the visible light image is also used in the infrared light image.
  • the point light source is imaged near two pixels of the pixel corresponding to the position.
  • “imaging at substantially the same time” indicates that the difference between the imaging times is equal in one frame or less.
  • an area where an object is projected in the visible light image is detected as an object area
  • the luminance of a determination target area which is an area in the infrared light image corresponding to the object area is detected. May be determined to be less than or equal to a first threshold, and the determination target area having the brightness determined to be less than or equal to the first threshold may be detected as the low reflection area.
  • an object region is detected by a process such as pattern matching or image recognition. Note that the region in the infrared light image corresponding to the object region is located in the same position as the object region in the visible light image and has the same shape and size as the object region. Area.
  • the region where the object is projected is detected as the object region.
  • the object projected in the object region detected in this way is close to the background rather than the distant background, and there is a high possibility that the object is irradiated with infrared light from the light source. If the luminance in the region in the infrared light image corresponding to the object region is low, it is highly possible that the object is a low reflection object. Therefore, in the depth acquisition device according to the one aspect, the region in the infrared light image corresponding to the object region and having the luminance equal to or less than the first threshold is detected as the low reflection region. The reflection area can be appropriately detected.
  • the noise intensity included in the intensity of the infrared light in the determination target area is equal to or less than a second threshold value It may be determined whether or not the determination target region has the noise intensity which is determined to be equal to or less than the second threshold value as the low reflection region.
  • the subject may be irradiated not only with infrared light from the light source but also with infrared light contained in external light such as sunlight. Therefore, the intensity of infrared light included in the external light is treated as noise intensity, and an infrared light image may be formed based on the intensity of infrared light excluding the noise intensity.
  • the noise intensity is high, such as during a bright day, the luminance of the infrared light image is reduced to eliminate the noise intensity. Therefore, if the noise intensity is large, even if the luminance of the region in the infrared light image corresponding to the object region of the visible light image is low as described above, the region may not be a low reflection region. Therefore, in the depth acquisition device according to the one aspect, since the region having the small noise intensity determined to be equal to or less than the second threshold is detected as the low reflection region, it is possible to more appropriately detect the low reflection region. it can.
  • the intensity of the infrared light obtained from the memory is at least three times different from each other when the infrared light emitted from the light source and reflected by the subject is received by the imaging device.
  • the generation of the depth image at least three intensities measured with respect to each of a plurality of pixels included in the imaging element are included.
  • the depth image may be generated by calculating a depth based on the depth image.
  • the noise intensity may be a minimum intensity of the at least three intensities.
  • the type of the object projected in the area is specified and specified.
  • the depth of the low reflection area of the depth image may be corrected by estimating the depth of the area based on the type of the object and the size of the object projected in the area.
  • the type of the object is specified by a process such as pattern matching or image recognition.
  • the region in the visible light image corresponding to the low-reflection region is the same as the low-reflection region in the infrared light image and has the same shape and size as the low-reflection region. This is an area in the image.
  • the depth of the correction target area may be corrected to the depth of the area below the correction target area without using the visible light image.
  • the depth acquisition device when the low reflection object is a vehicle, the foot of the vehicle is a road surface, and the depth of the road surface is similar to the depth of the vehicle. Therefore, in the depth acquisition device according to the one aspect, since the depth of the correction target region is corrected to the depth of the region below the correction target region, the depth of the correction target region is corrected to the correct depth. Can be.
  • a depth acquisition device includes a memory and a processor, wherein the processor is configured to emit infrared light emitted from a light source and reflected by a subject, including a plurality of pixels included in an image sensor.
  • the intensity of the infrared light measured by the imaging received by each of the pixels, and the intensity of the infrared light stored in the memory is acquired.
  • the infrared light received by the pixel is obtained.
  • a depth image is generated by calculating a distance to the subject as a depth based on the intensity of the image, and is formed based on an intensity of the infrared light received by each of a plurality of pixels included in the image sensor.
  • the infrared light image is an image based on visible light of substantially the same scene as the infrared light image generated by the imaging of substantially the same viewpoint and time as the infrared light image, Get the visible light image held in the memory, the depth image, the infrared light image, and the visible light image, by inputting the learning model, the depth of the depth image may be corrected.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program.
  • a recording medium may be realized by an arbitrary combination of recording media.
  • the recording medium may be a non-transitory recording medium.
  • each drawing is a schematic diagram and is not necessarily strictly illustrated.
  • the same components are denoted by the same reference numerals.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device 1 according to the embodiment.
  • the depth acquisition device 1 according to the present embodiment captures an image based on infrared light (or near infrared light) and an image based on visible light for substantially the same scene, and substantially It has a hardware configuration that can be obtained by imaging at the same viewpoint and time.
  • substantially the same means that they are the same to the extent that the effects of the present disclosure can be obtained.
  • the depth acquisition device 1 includes a light source 10, a solid-state imaging device 20, a processing circuit 30, a diffusion plate 50, a lens 60, and a bandpass filter 70.
  • the light source 10 emits irradiation light. More specifically, the light source 10 emits irradiation light to irradiate the subject at a timing indicated by the light emission signal generated by the processing circuit 30.
  • the light source 10 includes, for example, a capacitor, a driving circuit, and a light emitting element, and emits light by driving the light emitting element with electric energy stored in the capacitor.
  • the light emitting element is realized by, for example, a laser diode, a light emitting diode, or the like.
  • the light source 10 may be configured to include one type of light emitting element, or may be configured to include a plurality of types of light emitting elements according to the purpose.
  • the light emitting element is, for example, a laser diode that emits near infrared light, a light emitting diode that emits near infrared light, or the like.
  • the irradiation light emitted by the light source 10 need not be limited to near-infrared light.
  • the irradiation light emitted by the light source 10 may be, for example, infrared light in a frequency band other than near-infrared light (also referred to as infrared light).
  • the irradiation light emitted from the light source 10 will be described as infrared light, but the infrared light may be near infrared light, or infrared light in a frequency band other than near infrared light. It may be.
  • the solid-state imaging device 20 captures an image of a subject and outputs an imaging signal indicating an exposure amount. More specifically, the solid-state imaging device 20 performs exposure at a timing indicated by the exposure signal generated by the processing circuit 30, and outputs an imaging signal indicating an exposure amount.
  • the solid-state imaging device 20 has a pixel array in which a first pixel that captures an image using reflected light of irradiation light reflected by a subject and a second pixel that captures an image of the subject are arranged in an array.
  • the solid-state imaging device 20 may have a logic function such as a cover glass and an AD converter as needed.
  • the description will be made on the assumption that the reflected light is infrared light.
  • the reflected light does not need to be limited to the infrared light as long as the irradiation light is light reflected by the subject.
  • FIG. 2 is a schematic diagram showing the pixel array 2 included in the solid-state imaging device 20.
  • the pixel array 2 includes a first pixel 21 (IR pixel) that captures an image using reflected light of irradiation light reflected by the subject, and a second pixel 22 (BW pixel) that captures an image of the subject.
  • IR pixel first pixel 21
  • BW pixel second pixel 22
  • the second pixels 22 and the first pixels 21 are arranged so as to be adjacent to each other in the row direction, and are arranged so as to be arranged in a stripe shape in the row direction. Instead, they may be arranged every other row (for example, every other row). That is, the first row in which the second pixels 22 are arranged adjacent to each other in the row direction and the second row in which the first pixels 21 are arranged adjacent to each other in the row direction are arranged every M rows (M is a natural number). They may be arranged alternately.
  • first row in which the second pixels 22 are arranged adjacent to each other in the row direction and the second row in which the first pixels 21 are arranged adjacent to each other in the row direction are different row intervals (the first row is different).
  • the N rows and the second rows may be arranged such that L rows are alternately repeated (N and L are different natural numbers).
  • the first pixel 21 is realized by, for example, an infrared light pixel having sensitivity to infrared light that is reflected light.
  • the second pixel 22 is realized by, for example, a visible light pixel having sensitivity to visible light.
  • the infrared light pixel includes, for example, an optical filter (also referred to as an IR filter) that transmits only infrared light, a microlens, a light receiving element serving as a photoelectric conversion unit, and a storage unit that stores charges generated by the light receiving element. It is comprised including. Therefore, an image indicating the luminance of the infrared light is expressed by the imaging signals output from the plurality of infrared light pixels (that is, the first pixels 21) included in the pixel array 2.
  • this infrared light image is also referred to as an IR image or an infrared light image.
  • the visible light pixel includes, for example, an optical filter (also referred to as a BW filter) that transmits only visible light, a microlens, a light receiving element as a photoelectric conversion unit, and a storage unit that accumulates charges converted by the light receiving element. It is comprised including. Therefore, the visible light pixel, that is, the second pixel 22 outputs an imaging signal indicating luminance and color difference. That is, a color image indicating the luminance and color difference of visible light is represented by the imaging signals output from the plurality of second pixels 22 included in the pixel array 2.
  • the optical filter of the visible light pixel may transmit both the visible light and the infrared light, and may specify the visible light such as red (R), green (G), or blue (B). May be transmitted.
  • the visible light pixel may detect only the luminance of the visible light.
  • the visible light pixel that is, the second pixel 22 outputs an imaging signal indicating luminance. Therefore, a monochrome image indicating the luminance of visible light, in other words, a monochrome image, is represented by the imaging signals output from the plurality of second pixels 22 included in the pixel array 2.
  • this monochrome image is also referred to as a BW image.
  • the above-described color image and BW image are collectively referred to as a visible light image.
  • the processing circuit 30 calculates subject information relating to the subject using the imaging signal output from the solid-state imaging device 20.
  • the processing circuit 30 is configured by an arithmetic processing device such as a microcomputer, for example.
  • the microcomputer includes a processor (microprocessor), a memory, and the like, and generates a light emission signal and an exposure signal by executing a driving program stored in the memory by the processor.
  • the processing circuit 30 may use an FPGA, an ISP, or the like, and may be configured by one piece of hardware or a plurality of pieces of hardware.
  • the processing circuit 30 calculates the distance to the subject by, for example, a ToF ranging method using an imaging signal from the first pixel 21 of the solid-state imaging device 20.
  • FIG. 3 shows the light emission timing of the light emitting element of the light source 10 and the exposure timing of the first pixel 21 of the solid-state imaging device 20 when the processing circuit 30 calculates the distance to the subject using the ToF ranging method.
  • FIG. 4 is a timing chart showing the relationship of FIG.
  • Tp is a light emission period in which the light emitting element of the light source 10 emits irradiation light
  • Td is a reflection light in which the irradiation light is reflected by the subject after the light emitting element of the light source 10 emits irradiation light.
  • the first exposure period has the same timing as the light emission period in which the light source 10 emits the irradiation light
  • the second exposure period has the timing from the end of the first exposure period to the elapse of the light emission period Tp. It has become.
  • q1 indicates the total amount of exposure of the first pixel 21 of the solid-state imaging device 20 due to the reflected light within the first exposure period
  • q2 indicates the solid-state imaging device due to the reflected light within the second exposure period.
  • 20 shows the total amount of exposure in the first pixel 21 of FIG.
  • the emission of the irradiation light by the light emitting element of the light source 10 and the exposure by the first pixel 21 of the solid-state imaging device 20 are performed at the timing shown in FIG. (Equation 1).
  • the processing circuit 30 can calculate the distance to the subject using the imaging signal from the first pixel 21 of the solid-state imaging device 20 by using (Equation 1).
  • the plurality of first pixels 21 of the solid-state imaging device 20 may be exposed for the third exposure period Tp after the end of the first exposure period and the second exposure period.
  • the plurality of first pixels 21 can detect noise other than reflected light based on the exposure amount obtained in the third exposure period Tp. That is, the processing circuit 30 removes noise from each of the exposure amount q1 in the first exposure period and the exposure amount q2 in the second exposure period in the above (Equation 1), thereby more accurately determining the distance d to the subject. Can be calculated.
  • the processing circuit 30 may detect a subject and calculate a distance to the subject using, for example, an imaging signal from the second pixel 22 of the solid-state imaging device 20.
  • the processing circuit 30 may detect the subject and calculate the distance to the subject based on the visible light image captured by the plurality of second pixels 22 of the solid-state imaging device 20.
  • the detection of the subject may be realized, for example, by performing shape discrimination by pattern recognition by detecting an edge of a singular point of the subject, or by using a learning model learned in advance, such as a deep learning process. It may be realized by.
  • the calculation of the distance to the subject may be performed using world coordinate transformation.
  • the detection of the subject may be realized by a multi-modal learning process using not only the visible light image but also the luminance and distance information of the infrared light captured by the first pixel 21.
  • the processing circuit 30 generates a light emission signal indicating a light emission timing and an exposure signal indicating an exposure timing. Then, the processing circuit 30 outputs the generated light emission signal to the light source 10 and outputs the generated exposure signal to the solid-state imaging device 20.
  • the processing circuit 30 generates and outputs an emission signal so as to cause the light source 10 to emit light at a predetermined cycle, and generates and outputs an exposure signal so as to expose the solid-state imaging device 20 at a predetermined cycle.
  • the depth acquisition device 1 may realize continuous imaging at a predetermined frame rate.
  • the processing circuit 30 includes, for example, a processor (microprocessor), a memory, and the like, and generates a light emission signal and an exposure signal by executing a driving program stored in the memory by the processor.
  • the diffusion plate 50 adjusts the intensity distribution and angle of the irradiation light. In adjusting the intensity distribution, the diffusion plate 50 makes the intensity distribution of the irradiation light from the light source 10 uniform.
  • the depth acquisition device 1 includes the diffusion plate 50, but does not have to include the diffusion plate 50.
  • the lens 60 is an optical lens that condenses light that enters from outside the depth acquisition device 1 on the surface of the pixel array 2 of the solid-state imaging device 20.
  • the bandpass filter 70 is an optical filter that transmits infrared light that is reflected light and visible light.
  • the depth acquisition device 1 includes the bandpass filter 70, but may not include the bandpass filter 70.
  • the depth acquisition device 1 having the above configuration is used by being mounted on a transportation device.
  • the depth acquisition device 1 is used by being mounted on a vehicle traveling on a road surface.
  • the transport equipment on which the depth acquisition device 1 is mounted is not necessarily limited to a vehicle.
  • the depth acquisition device 1 may be used by being mounted on a transportation device other than a vehicle, such as a motorcycle, a boat, and an airplane.
  • the depth acquisition device 1 uses the hardware configuration shown in FIG. 1 to capture an IR image and a BW image for substantially the same scene, and has substantially the same viewpoint and time. Is acquired by imaging.
  • the IR image is formed based on the intensity of infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20. Therefore, the depth acquisition device 1 acquires the intensity of the infrared light at each of the plurality of first pixels 21 by imaging the IR image.
  • the depth acquisition device 1 acquires a depth image indicating the distance to the subject shown in the IR image as the depth based on the intensity of the infrared light of the first pixels 21.
  • the depth acquisition device 1 detects a low reflection area in the IR image based on the IR image and the BW image, and corrects the depth of the area in the depth image corresponding to the low reflection area.
  • the second area in the second image corresponding to the first area in the first image is located at the same position as the first area in the first image, and is the same as the first area. Is a region in the second image having a shape and a size of.
  • the first image and the second image are arbitrary images, respectively, and the first region and the second region are also arbitrary regions.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the depth acquisition device 1.
  • the depth acquisition device 1 includes a light source 101, an IR camera 102, a BW camera 103, a processor 110a, and a memory 200.
  • the depth acquisition device 1 according to the present embodiment includes the light source 101, the IR camera 102, and the BW camera 103, but may not include these components, and may include only the processor 110a and the memory 200.
  • the light source 101 may be composed of the light source 10 and the diffusion plate 50 shown in FIG. 1, and emits infrared light to the subject by emitting light.
  • the IR camera 102 is also called an infrared light camera, and may include the plurality of first pixels 21 of the solid-state imaging device 20 shown in FIG.
  • Such an IR camera 102 acquires an IR image by performing imaging based on infrared light of a scene including the subject in accordance with the timing at which the light source 101 irradiates the subject with infrared light.
  • the IR camera 102 measures the intensity of infrared light by capturing an IR image. That is, the IR camera 102 includes the solid-state imaging device 20, and each of the plurality of first pixels 21 included in the solid-state imaging device 20 receives infrared light emitted from the light source 101 and reflected by the subject. By taking an image, the intensity of the infrared light is measured.
  • the BW camera 103 is also called a visible light camera, and may be configured by the plurality of second pixels 22 of the solid-state imaging device 20 shown in FIG.
  • a BW camera 103 is an imaging based on visible light of a scene that is substantially the same as an IR image, and performs imaging at substantially the same viewpoint and at the same time as the IR image.
  • An optical image (specifically, a BW image) is acquired. That is, the BW camera 103 converts visible light of a scene substantially identical to an IR image formed based on the intensity of infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20.
  • a BW image is generated by capturing an image based on substantially the same viewpoint and time as the IR image.
  • the memory 200 is a recording medium for storing the IR image obtained by the imaging by the IR camera 102 and the BW image obtained by the imaging by the BW camera 103.
  • the IR image is formed based on the intensity of the infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20. Therefore, the IR image indicates the intensity of infrared light for each pixel. That is, it can be said that the memory 200 stores the intensity of the infrared light.
  • a memory 200 may be, specifically, a ROM (Read Only Memory), a RAM (Random Access Memory), an SSD (Solid State Drive), or the like, and may be nonvolatile or volatile. Good. Further, the memory 200 may be a hard disk.
  • the processor 110a obtains an IR image and a BW image from the memory 200, calculates a depth image from the IR image, and detects a low reflection area in the IR image based on the IR image and the BW image. Then, the processor 110a corrects the depth of the area in the depth image corresponding to the low reflection area.
  • the low reflection area is an area where an object having a low reflectance with respect to infrared light is projected in the IR image.
  • the low reflection area is an area detected using a first threshold or a first threshold and a second threshold described later, and the reflectance of the object is defined by the threshold.
  • the processor 110a includes a light emission control unit 113, an IR acquisition unit 114, a BW acquisition unit 115, a depth calculation unit 111a, a low reflection area detection unit 112, and a depth correction unit 111b.
  • the light emission control unit 113 controls the light source 101. That is, the light emission control unit 113 causes the light source 101 to emit light by outputting the above light emission signal to the light source 101. As a result, the subject is irradiated with infrared light from the light source 101, and reflected light, which is light reflected by the subject, enters the IR camera 102.
  • the IR acquisition unit 114 acquires an IR image from the IR camera 102 via the memory 200.
  • each pixel of the IR image indicates the intensity of infrared light received at the position of the pixel as a pixel value (specifically, luminance). Therefore, the IR acquisition unit 114 acquires the intensity of infrared light by acquiring an IR image. That is, the IR acquisition unit 114 measures the infrared light emitted from the light source 101 and reflected by the subject by the imaging in which each of the plurality of first pixels 21 included in the solid-state imaging device 20 receives the infrared light. Get the intensity of the stored infrared light.
  • the BW acquisition unit 115 acquires a BW image from the BW camera 103 via the memory 200.
  • the BW acquisition unit 115 generates the visible light of the scene substantially the same as the IR image formed based on the intensity of the infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20. , And obtains a BW image generated by imaging at substantially the same viewpoint and time as the IR image and stored in the memory 200.
  • the depth calculation unit 111a calculates, for each of the plurality of first pixels 21 included in the solid-state imaging device 20, the distance to the subject as the depth based on the intensity of the infrared light received by the first pixel 21. Thereby, a depth image is generated.
  • the low-reflection region detection unit 112 Based on the IR image and the BW image, the low-reflection region detection unit 112 detects a low-reflection region, which is a region where an object having low reflectance with respect to infrared light among the subjects is projected in the IR image. I do.
  • the depth correction unit 111b corrects the depth of the correction target area, which is the area in the depth image corresponding to the low reflection area.
  • the depth acquisition device 1 can determine the depth, which is the distance to the subject, even if the subject includes an object having a low reflectance with respect to infrared light (ie, a low-reflection object). Can be obtained accurately.
  • the distance to the low-reflection object that is, the depth, calculated based on the intensity of the infrared light reflected by the low-reflection object, is greater than the actual depth. Is calculated too long. That is, in a region corresponding to the low reflection object in the depth image, a correct depth is not shown.
  • a low-reflection region that is a region where the low-reflection object is projected is detected in the IR image, and a region in the depth image corresponding to the low-reflection region is detected.
  • a correction target area That is, an area in which an inappropriate depth is indicated in the depth image because the object includes the low reflection object is specified as the correction target area. Then, by correcting the depth of the correction target area, the depth, which is the distance to the low reflection object, can be accurately obtained.
  • FIG. 5 shows an example of a BW image, an IR image, and a depth image.
  • a plurality of vehicles parked in a parking lot are shown in the BW image generated by the BW camera 103 and acquired by the BW acquisition unit 115, for example, as illustrated in FIG.
  • the IR image generated by the imaging by the IR camera 102 and acquired by the IR acquisition unit 114 is substantially the same as the BW image shown in FIG. Scene is projected.
  • the IR image shown in FIG. 5B is an image obtained by imaging at substantially the same viewpoint and the same time as the imaging of the BW image shown in FIG. 5A. Therefore, in the BW image shown in (a) of FIG. 5 and the IR image shown in (b) of FIG. 5, the same object is displayed in regions corresponding to each other.
  • the regions corresponding to each other are regions having the same position, size, and shape in each image.
  • the depth calculation unit 111a calculates the depth of each of the plurality of first pixels 21 included in the solid-state imaging device 20 based on the intensity of the infrared light received by the first pixels 21, for example, as illustrated in FIG. (C) is generated.
  • the luminance of each pixel in the depth image is higher as the depth is longer, and is lower as the depth is shorter.
  • the depth image shown in FIG. 5C corresponds to the IR image shown in FIG. That is, the IR image shown in FIG. 5B is formed based on the intensity of the infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20, as described above.
  • the IR image has a low reflection area (that is, the area within the broken circle in FIG. 5 (b)).
  • the low reflection area is an area where an object having a low reflectance with respect to infrared light is projected. That is, in the BW image shown in FIG. 5A, a nearby vehicle is shown in an area corresponding to the low reflection area.
  • the brightness is low in the low reflection area of the IR image shown in FIG.
  • FIG. 5C in the area in the depth image corresponding to the low reflection area (that is, the area within the dashed circle in FIG. 5C), the depth which is the distance to the object Although the depth is actually short, the depth is expressed long (that is, the luminance is high).
  • the low reflection area detection unit 112 of the depth acquisition device 1 uses the low reflection area detection unit 112 based on the BW image shown in FIG. 5A and the IR image shown in FIG. Detect the area. Then, the depth correction unit 111b specifies a region in the depth image corresponding to the low reflection region as a correction target region, and corrects the depth of the correction target region. Specifically, the depth correction unit 111b corrects the low reflection area of the depth image based on the BW image, and outputs the corrected depth image.
  • the low reflection area of the depth image is an area in the depth image corresponding to the low reflection area of the IR image described above, and is also referred to as a correction target area.
  • the depth correction unit 111b displays the corrected depth image on the display by outputting the corrected depth image to the display.
  • the depth correction unit 111b outputs the corrected depth image to a control unit such as an ECU (Electronic Control Unit) mounted on the vehicle, and controls the operation of the vehicle based on the corrected depth image.
  • the control unit may be executed.
  • FIG. 6 shows another example of a BW image, an IR image, and a depth image.
  • the BW image generated by the BW camera 103 and acquired by the BW acquisition unit 115 includes, for example, a plurality of vehicles parked in a parking lot, as illustrated in FIG.
  • the IR image generated by the imaging by the IR camera 102 and acquired by the IR acquisition unit 114 is substantially the same as the BW image shown in FIG. Scene is projected.
  • the IR image shown in FIG. 6B is an image obtained by imaging at substantially the same viewpoint and the same time as the imaging of the BW image shown in FIG. 6A. Therefore, in the BW image shown in (a) of FIG. 6 and the IR image shown in (b) of FIG. 6, the same subject is shown in regions corresponding to each other.
  • the depth calculator 111a calculates the depth of each of the plurality of first pixels 21 included in the solid-state imaging device 20 based on the intensity of the infrared light received by the first pixels 21, for example, as shown in FIG. (C) is generated.
  • the depth image shown in FIG. 6C corresponds to the IR image shown in FIG.
  • a low-reflection area (that is, an area within a broken-line circle in FIG. 6B) exists in the IR image.
  • the low reflection area is an area where an object having a low reflectance with respect to infrared light is projected. That is, in the BW image shown in FIG. 6A, a nearby vehicle is shown in an area corresponding to the low reflection area. However, the brightness is low in the low reflection area of the IR image shown in FIG.
  • FIG. 6C in the area in the depth image corresponding to the low reflection area (that is, the area within the dashed circle in FIG. 5C), the depth which is the distance to the object Although the depth is actually short, the depth is expressed long (that is, the luminance is high).
  • the low reflection area detection unit 112 of the depth acquisition device 1 uses the low reflection area based on the BW image shown in FIG. 6A and the IR image shown in FIG. Detect the area. Then, the depth correction unit 111b specifies a region in the depth image corresponding to the low reflection region as a correction target region, and corrects the depth of the correction target region.
  • FIG. 7 shows a simulation result of the depth acquisition device 1.
  • the depth acquisition device 1 acquires the BW image shown in FIG. 7A by imaging with the BW camera 103, and further acquires the IR image shown in FIG. 7B by imaging with the IR camera 102.
  • the BW image and the IR image are images obtained by capturing the same scene at the same viewpoint and the same time.
  • a large low-reflection area that is, the area within the broken-line circle in FIG. 7B exists on the left side in the IR image.
  • the depth calculation unit 111a generates a depth image shown in FIG. 7C based on the intensity of infrared light forming the IR image.
  • the area corresponding to the low-reflection area shows a low-reflection area in the depth image shown in FIG. Is improperly expressed with a long depth.
  • the object is represented as if it is far away in the depth image, even though the object is projected close.
  • the depth correction unit 111b treats an area in the depth image shown in FIG. 7C corresponding to the low reflection area as a correction target area, and corrects the depth of the correction target area, thereby obtaining (d) in FIG. ) Is generated. For example, the depth correction unit 111b corrects the depth of the correction target region using the image of the region in the BW image illustrated in FIG. 7A corresponding to the low reflection region. Further, the depth correction unit 111b may perform adjustment such as adding an offset to the entire luminance of the depth image.
  • the corrected depth image can be made closer to the correct depth image shown in FIG.
  • FIG. 8 is a flowchart illustrating an overall processing operation of the depth acquisition device 1 according to the present embodiment.
  • Step S110 First, the BW camera 103 generates a BW image by performing imaging based on visible light. Then, the BW acquisition unit 115 acquires the BW image via the memory 200.
  • Step S120 the IR camera 102 measures the intensity of the infrared light by performing imaging based on the infrared light. Then, the IR acquisition unit 114 acquires the intensity of the infrared light via the memory 200.
  • the acquired intensity of the infrared light is the intensity of the infrared light received by each of the plurality of first pixels 21 of the solid-state imaging device 20. Therefore, the IR acquisition unit 114 acquires an IR image formed based on the intensity of the infrared light by acquiring the intensity of the infrared light.
  • the intensity of the infrared light obtained from the memory 200 is different from at least three times when the infrared light emitted from the light source 101 and reflected by the subject is received by the solid-state imaging device 20. It consists of at least three intensities measured by exposure of the solid-state imaging device 20 at the timing. For example, as shown in FIG. 3, the intensity of infrared light includes three intensities measured during a first exposure period, a second exposure period, and a third exposure period. For example, each pixel value included in the IR image of one frame is indicated as a cumulative value of the intensity of infrared light measured by exposure at least three times.
  • Step S130 the low reflection area detection unit 112 detects a low reflection area in the IR image based on the BW image acquired in step S110 and the IR image acquired in step S120.
  • the depth calculation unit 111a calculates the depth based on the intensity of the infrared light acquired in step S120. That is, for each of the plurality of first pixels 21 included in the solid-state imaging device 20, the depth calculation unit 111a sets the distance to the subject as the depth based on the intensity of the infrared light received by the first pixel 21. By calculating, a depth image is generated. Specifically, the depth calculation unit 111a calculates the depth of each of the plurality of first pixels 21 included in the solid-state imaging device 20 based on the above-described at least three intensities measured by the first pixels 21. Thereby, a depth image is generated. For example, the depth calculation unit 111a calculates the depth using the above (Equation 1) according to the ToF ranging method.
  • Step S150 the depth correction unit 111b corrects the depth of the region in the depth image corresponding to the low reflection region, that is, the correction target region.
  • FIG. 9 is a flowchart illustrating an example of a processing operation of the low reflection area detection unit 112.
  • FIG. 9 shows the process of step S130 in FIG. 8 in detail.
  • the low reflection area detection unit 112 detects an area where an object is projected in the BW image as an object area. If a plurality of objects are displayed on the BW image, the low reflection area detection unit 112 detects, for each of the plurality of objects, an area where the object is displayed as an object area. For example, the low reflection area detection unit 112 detects an object area by processing such as pattern matching or image recognition. Further, the low reflection area detection unit 112 may detect an area having a size equal to or larger than a predetermined size as the object area.
  • the low reflection area detection unit 112 determines whether or not the luminance of the determination target area that is the area in the IR image corresponding to the object area is equal to or less than the first threshold.
  • the luminance of the determination target area may be, for example, an average value of the luminance of each pixel included in the determination target area.
  • Step S133 When determining that the luminance of the determination target area is equal to or smaller than the first threshold (Yes in step S132), the low reflection area detection unit 112 determines the determination target area as the low reflection area.
  • Step S134 On the other hand, when determining that the luminance of the determination target area is greater than the first threshold (No in step S132), the low reflection area detection unit 112 determines the determination target area as a non-low reflection area.
  • the low reflection area detection unit 112 detects an area where an object is projected in the BW image as an object area. Then, the low reflection area detection unit 112 determines whether the luminance of the determination target area, which is an area in the IR image corresponding to the object area, is equal to or less than the first threshold, and determines that the brightness is equal to or less than the first threshold. The determination target area having the obtained luminance is detected as a low reflection area.
  • the area where the object is projected is detected as the object area from the BW image.
  • the object projected in the object region detected in this way is close to the background rather than the distant background, and there is a high possibility that the object is irradiated with infrared light from the light source 101. If the luminance in the region in the IR image corresponding to the object region is low, it is highly possible that the object is a low reflection object. Therefore, in the present embodiment, a region in the infrared light image corresponding to the object region and having a luminance equal to or less than the first threshold is detected as a low reflection region. Can be detected.
  • FIG. 10 is a flowchart illustrating another example of the processing operation of the low reflection area detection unit 112.
  • FIG. 10 shows the process of step S130 in FIG. 8 in detail.
  • the flowchart shown in FIG. 10 includes the steps of the flowchart shown in FIG. 9 and further includes step S135.
  • Step S135) When the low reflection area detection unit 112 determines that the luminance of the determination target area is equal to or less than the first threshold value (Yes in step S132), the intensity of the infrared background noise in the determination target area is further reduced to the second threshold value. It is determined whether or not:
  • the intensity of the background noise is also referred to as noise intensity.
  • the intensity of the infrared light acquired by the IR acquisition unit 114 includes at least three intensities measured by exposure of the solid-state imaging device 20 at at least three different timings. . That is, as shown in FIG. 3, the intensity of the infrared light includes three intensities measured during the first exposure period, the second exposure period, and the third exposure period.
  • the noise intensity is the minimum of those at least three intensities.
  • the low reflection area detection unit 112 treats the intensity of infrared light measured by exposure during the third exposure period as noise intensity. That is, the low reflection area detection unit 112 determines whether or not the intensity of the infrared light measured by the exposure during the third exposure period is equal to or less than the second threshold.
  • the low-reflection-area detecting unit 112 determines that the noise intensity is equal to or smaller than the second threshold (Yes in step S135), the low-reflection-area determination target area is determined as the low-reflection area (step S133). On the other hand, when determining that the noise intensity is greater than the second threshold value (No in step S135), the low-reflection region detection unit 112 determines the noise intensity determination target region as a non-low-reflection region (step S134). .
  • the low-reflection-region detecting unit 112 further calculates, from among the infrared light intensities acquired by the IR acquiring unit 114, the noise intensity included in the infrared light intensity in the determination target region. It is determined whether the difference is equal to or less than a second threshold. Then, the low reflection area detection unit 112 detects a noise intensity determination target area determined to be equal to or less than the second threshold as a low reflection area.
  • the subject may be irradiated not only with infrared light from the light source 101 but also with infrared light included in external light such as sunlight. Therefore, the intensity of infrared light included in the external light is treated as noise intensity, and an infrared light image is formed based on the intensity of infrared light excluding the noise intensity.
  • the noise intensity is high, such as during a bright day, the luminance of the infrared light image is reduced to eliminate the noise intensity. Therefore, if the noise intensity is high, even if the luminance of the region in the infrared light image corresponding to the object region of the BW image is low as described above, the region may not be a low reflection region. Therefore, in the present embodiment, since a region having a small noise intensity determined to be equal to or less than the second threshold is detected as a low reflection region, the low reflection region can be more appropriately detected.
  • FIG. 11 shows an example of depth image correction by the depth correction unit 111b.
  • the depth correction unit 111b generates the corrected depth image shown in FIG. 11E by correcting the depth of the correction target area in the depth image shown in FIG. 11C.
  • the depth image shown in FIG. 11C is calculated based on the intensity of infrared light forming the IR image shown in FIG. 11B.
  • the low reflection area detection unit 112 detects a low reflection area from the IR image.
  • the depth correction unit 111b specifies the type of the object shown in the area based on the image of the area in the BW image corresponding to the low reflection area. For example, the depth correction unit 111b specifies the type of the object displayed in the area by a process such as pattern matching or image recognition. A learning model such as a neural network may be used to specify the type of the object. In the example illustrated in FIG. 11, the depth correction unit 111b specifies the front of the ordinary car as the type of the object.
  • the depth correction unit 111b specifies the size of the object projected in the area.
  • the size of the object may be the horizontal or vertical width (ie, height) of the image of the object, or the area of the image of the object, the length of the diagonal of a rectangular frame surrounding the image of the object. It may be.
  • the depth correction unit 111b refers to a database indicating, for each type of object, a correspondence relationship between the size of the type and the distance.
  • this database indicates the correspondence between the size of an object and the distance when the type of the object is the front of a normal car. Specifically, the database indicates the size “s1” in association with the distance “d1”, and the size “s2” in association with the distance “d2”.
  • the depth correction unit 111b refers to such a database, and estimates the distance associated with the type and size of the specified object as the distance to the object, that is, the depth.
  • the depth correction unit 111b estimates the distance “d2” associated with the size “s2” as the depth of the correction target area. Then, the depth correction unit 111b corrects the depth of the correction target area by replacing the depth of the correction target area in the depth image shown in FIG. 11C with the estimated depth. Thereby, the depth image shown in FIG. 11C is converted into the corrected depth image shown in FIG. 11E.
  • the database shown in FIG. 11D may be stored in the depth acquisition device 1 or may be stored in a server or the like external to the depth acquisition device 1.
  • the depth correction unit 111b accesses the server via a communication network, for example, and refers to the database.
  • the database shown in FIG. 11D shows the correspondence between the type and size of the object and the distance.
  • the type of the object includes a silhouette, that is, the direction of the object as viewed from the BW camera 103 (for example, front, Side or back).
  • the database includes not only the type and size of the object but also the area where the object is displayed in the BW image. May be associated with the above-described distance.
  • the depth correction unit 111b further specifies the position of the region where the object is projected from the BW image, and calculates the distance associated with the type, size, and position of the specified object in the database. It is estimated as the depth of the correction target area.
  • the type of the object may be not only the vehicle but also a license plate included in the vehicle.
  • FIG. 12 is a flowchart illustrating a correction processing operation performed by the depth correction unit 111b.
  • FIG. 12 shows the processing of step S150 in FIG. 8 in detail.
  • the depth correction unit 111b specifies the type of the object shown in the area based on the image of the area in the BW image corresponding to the low reflection area.
  • Step S152 the depth correction unit 111b specifies the size of the object projected in the area.
  • Step S153 the depth correction unit 111b acquires the distance associated with the type specified in step S151 and the size specified in step S152.
  • Step S154 the depth correction unit 111b replaces the depth of the correction target area in the depth image with the distance acquired in step S154. Thereby, the depth of the correction target area is corrected.
  • the depth correction unit 111b specifies the type of the object displayed in the area based on the image of the area in the BW image corresponding to the low reflection area. Then, the depth correction unit 111b corrects the depth of the correction target region by estimating the depth of the region based on the type of the specified object and the size of the object projected in the region. .
  • the database as described above is used, it is possible to estimate an appropriate depth based on the type and size of the object specified based on the image of the area in the BW image corresponding to the low reflection area. . As a result, the depth of the correction target region can be corrected to an accurate depth.
  • the database is used.
  • any means may be used as long as the means indicates the correspondence between the type and size of the object and the depth.
  • a function may be used, or a learning model such as a neural network may be used.
  • FIG. 13 shows another example of the correction of the depth image by the depth correction unit 111b.
  • the depth correction unit 111b may use the depth of the area below the correction target area. For example, the depth correction unit 111b corrects the depth of the correction target area of the depth image illustrated in FIG. At this time, the depth correction unit 111b uses the depth of the foot area below the correction target area. That is, the depth correction unit 111b replaces the depth of the correction target area with the depth of the foot area. In other words, the depth correction unit 111b corrects the depth of the correction target area to the depth of an area below the correction target area.
  • the low-reflection object is a vehicle as in the example shown in FIG. 13, the foot of the vehicle is a road surface, and the depth of the road surface is similar to the depth of the vehicle. Therefore, in the present embodiment, since the depth of the correction target area is corrected to the depth of the area below the correction target area, the depth of the correction target area can be corrected to an accurate depth.
  • the low-reflection region is detected to correct the depth.
  • the depth may be corrected using a learning model without detecting the low-reflection region.
  • FIG. 14 is a block diagram illustrating an example of a functional configuration of the depth acquisition device 1 according to the present modification.
  • the same components as those illustrated in FIG. 4 are denoted by the same reference numerals as the components illustrated in FIG. 4, and detailed description will be omitted.
  • the depth acquisition device 1 includes a processor 110b instead of the processor 110a illustrated in FIG.
  • the learning model 104 is, for example, a neural network, and is configured by deep learning. For example, a BW image, an IR image, and a depth image are used as input data input to the learning model 104. In the learning model 104, learning is already performed on the combination of the input data so that a corrected depth image is output.
  • the processor 110b does not include the low reflection area detection unit 112 illustrated in FIG. 4, but includes a depth correction unit 111c instead of the depth correction unit 111b illustrated in FIG.
  • the depth correction unit 111c inputs the above-described input data to the above-described learning model 104. As a result, the depth correction unit 111c acquires the corrected depth image from the learning model 104 as output data for the input data. Further, the depth correction unit 111c outputs the corrected depth image. For example, the depth correction unit 111c outputs the corrected depth image to a display, and causes the display to display the depth image. Alternatively, the depth correction unit 111c outputs the corrected depth image to a control unit such as an ECU mounted on the vehicle, and executes the vehicle driving control based on the corrected depth image to the control unit. May be.
  • the depth acquisition device 1 illustrated in FIG. 14 includes the memory 200 and the processor 110b.
  • the processor 110b measures the infrared light emitted from the light source 101 and reflected by the subject by imaging in which each of the plurality of first pixels 21 included in the solid-state imaging device 20 receives the infrared light, and is stored in the memory 200. Get the intensity of infrared light. Further, the processor 110b calculates, for each of the plurality of first pixels 21 included in the solid-state imaging device 20, the distance to the subject as the depth based on the intensity of the infrared light received by the first pixel 21. Thereby, a depth image is generated.
  • the processor 110b is based on visible light of a scene substantially the same as an IR image formed based on the intensity of infrared light received by each of the plurality of first pixels 21 included in the solid-state imaging device 20.
  • the BW image that is generated by imaging at substantially the same viewpoint and time as the IR image and that is stored in the memory 200 is acquired. Then, the processor 110b corrects the depth of the depth image by inputting the depth image, the IR image, and the BW image to the learning model 104, and outputs the corrected depth image.
  • the learning model 104 is trained in advance so that a depth image after correct correction is output in response to the input of the depth image, the IR image, and the BW image, the low reflection area can be detected. Therefore, the depth of the depth image can be appropriately corrected.
  • the depth acquisition device 1 can accurately acquire the depth, which is the distance to the subject, even if the subject includes a low-reflection object.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software for realizing the depth acquisition device and the like in the above-described embodiment and the modified example causes a computer to execute each step included in any one of the flowcharts of FIGS. 8 to 10 and FIG.
  • the depth acquisition device has been described based on the embodiment and the modification thereof, the present disclosure is not limited to the embodiment and the modification thereof. Unless departing from the gist of the present disclosure, various modifications conceivable by those skilled in the art may be applied to the present embodiment and the modification, and a form constructed by combining the components in the embodiment and the modification may be implemented by the present disclosure. It may be included in the range.
  • the depth calculation unit 111a calculates the depth based on the intensities of three infrared lights measured at three different exposure timings.
  • the number of the exposure timing and the intensity of the infrared light is not limited to three, and may be four or more.
  • the depth acquisition device 1 includes the learning model 104, but may not include the learning model 104.
  • the depth acquisition device 1 inputs the above-described input data to the learning model 104 via a communication network, for example, and outputs the corrected depth image, which is output data from the learning model 104, via the communication network. get.
  • all or a part of a unit or a device, or all or a part of a functional block in the block diagrams illustrated in FIGS. 1, 4, and 14 includes a semiconductor device, a semiconductor integrated circuit (IC), Alternatively, it may be executed by one or more electronic circuits including an LSI (large-scale-integration).
  • the LSI or IC may be integrated on a single chip, or may be configured by combining a plurality of chips. For example, functional blocks other than the storage element may be integrated on one chip.
  • the term LSI or IC is used, but the term is changed depending on the degree of integration, and may be called a system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array Array (FPGA), which is programmed after the manufacture of the LSI, or a reconfigurable logic device that can reconfigure the bonding relationship inside the LSI or set up a circuit section inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array Array
  • all or some of the functions or operations of the unit, the device, or a part of the device can be performed by software processing.
  • the software is recorded on one or more non-transitory recording media such as ROM, optical disk, hard disk drive, etc., and when the software is executed by a processor, the software is Causes a processor and peripheral devices to perform certain functions.
  • the system or apparatus may include one or more non-transitory storage media on which the software is recorded, a processor, and any required hardware devices, such as an interface.
  • the present disclosure is applicable to a depth acquisition device that acquires the depth that is the distance to a subject, and can be used, for example, as an in-vehicle device.

Abstract

被写体までの奥行きを正確に取得することができる奥行取得装置を提供する。この奥行取得装置（１）は、メモリ（２００）と、プロセッサ（１１０ａ）とを備える。プロセッサ（１１０ａ）は、被写体の赤外光に基づく撮像によって計測され、メモリ（２００）に保存されている赤外光の強度を取得し、その赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、赤外光の強度に基づくＩＲ画像と実質的に同一のシーン、同一の視点および同一の時刻の撮像によって生成され、メモリ（２００）に保持されているＢＷ画像を取得し、ＩＲ画像とＢＷ画像とに基づいて、被写体のうちの低反射物体がＩＲ画像内で映し出されている領域である低反射領域を検出し、可視光画像に基づいて、奥行画像の低反射領域を補正し、補正後の奥行画像を出力する。

Description

奥行取得装置、奥行取得方法およびプログラム
　本開示は、被写体までの距離を奥行きとして取得する奥行取得装置などに関する。
　従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。
特開２０１１－６４４９８号公報
　しかしながら、上記特許文献１の測距装置では、奥行きを正確に取得することができないという課題がある。
　そこで、本開示は、被写体までの距離である奥行きを正確に取得することができる奥行取得装置を提供する。
　本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出し、前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、補正後の前記奥行画像を出力する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　本開示の奥行取得装置は、被写体までの距離である奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。 図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。 図３は、実施の形態おける、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態おける奥行取得装置の機能構成の一例を示すブロック図である。 図５は、ＢＷ画像、ＩＲ画像および奥行画像の一例を示す図である。 図６は、ＢＷ画像、ＩＲ画像および奥行画像の他の例を示す図である。 図７は、実施の形態における奥行取得装置のシミュレーション結果を示す図である。 図８は、実施の形態における奥行取得装置の全体的な処理動作を示すフローチャートである。 図９は、実施の形態における低反射領域検出部の処理動作の一例を示すフローチャートである。 図１０は、実施の形態における低反射領域検出部の処理動作の他の例を示すフローチャートである。 図１１は、実施の形態における奥行補正部による奥行画像の補正の一例を示す図である。 図１２は、実施の形態における奥行補正部による補正の処理動作を示すフローチャートである。 図１３は、実施の形態における奥行補正部による奥行画像の補正の他の例を示す図である。 図１４は、実施の形態の変形例における奥行取得装置の機能構成の一例を示すブロック図である。
　（本開示の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。
　特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴｏＦ（Time of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。
　しかしながら、上記特許文献１の測距装置では、撮像条件を変更しても、照射光に対する反射率が低い被写体までの距離である奥行きを正しく測定することが難しい。
　このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出し、前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、補正後の前記奥行画像を出力する。なお、奥行画像の低反射領域とは、赤外光画像内における低反射領域と同一の位置にあって、その低反射領域と同一の形状および大きさを有する、奥行画像内における領域である。以下、このような奥行画像の低反射領域を、補正対象領域ともいう。
　例えば、赤外光に対して反射率が低い物体（以下、低反射物体ともいう）が被写体に含まれていれば、その低反射物体に反射された赤外光の強度に基づいて算出される、その低反射物体までの距離、すなわち奥行きは、実際の奥行きよりも長く算出されてしまう。つまり、奥行画像のうちの、その低反射物体に対応する領域では、正しい奥行きが示されていない。
　しかし、上記一態様に係る奥行取得装置では、赤外光画像内において、その低反射物体が映し出されている領域である低反射領域が検出され、その低反射領域に対応する奥行画像内の領域が、補正対象領域とされる。つまり、被写体に低反射物体が含まれているために、奥行画像内において不適切な奥行きが示されている領域が、補正対象領域として特定される。そして、この補正対象領域の奥行きが補正されることによって、その低反射物体までの距離である奥行きを正確に取得することができる。
　ここで、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外光画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の時刻の撮像とは、撮像時刻の差が１フレーム以下で等しいことを示している。
　また、前記低反射領域の検出では、前記可視光画像において物体が映し出されている領域を物体領域として検出し、前記物体領域に対応する前記赤外光画像内の領域である判定対象領域の輝度が第１閾値以下であるか否かを判定し、前記第１閾値以下であると判定された輝度を有する前記判定対象領域を、前記低反射領域として検出してもよい。例えば、パターンマッチングまたは画像認識などの処理によって、物体領域が検出される。なお、物体領域に対応する赤外光画像内の領域とは、可視光画像内における物体領域と同一の位置にあって、その物体領域と同一の形状および大きさを有する、赤外光画像内における領域である。
　これにより、可視光画像からは、物体が映し出されている領域が物体領域として検出される。このように検出される物体領域に映し出されている物体は、遠くの背景ではなく近くにあって、光源からの赤外光がその物体に照射されている可能性が高い。そして、その物体領域に対応する赤外光画像内の領域における輝度が低くければ、その物体が低反射物体である可能性が高い。したがって、上記一態様に係る奥行取得装置では、その物体領域に対応する赤外光画像内の領域であって第１閾値以下の輝度を有する領域が、低反射領域として検出されるため、その低反射領域を適切に検出することができる。
　また、前記低反射領域の検出では、さらに、前記メモリから取得される前記赤外光の強度のうち、前記判定対象領域における赤外光の強度に含まれるノイズ強度が第２閾値以下であるか否かを判定し、前記第２閾値以下であると判定されたノイズ強度の前記判定対象領域を、前記低反射領域として検出してもよい。
　例えば、被写体には、光源からの赤外光だけでなく、太陽光などの外光に含まれる赤外光も照射される場合がある。そこで、その外光に含まれる赤外光の強度は、ノイズ強度として扱われ、そのノイズ強度を除く赤外光の強度に基づいて赤外光画像が形成されてもよい。しかし、明るい日中のように、ノイズ強度が大きければ、そのノイズ強度を除くために、赤外光画像の輝度は低くなる。したがって、ノイズ強度が大きければ、上述のように可視光画像の物体領域に対応する赤外光画像内の領域の輝度が低くても、その領域は低反射領域でない可能性がある。したがって、上記一態様に係る奥行取得装置では、第２閾値以下であると判定された小さいノイズ強度の領域が、低反射領域として検出されるため、その低反射領域をより適切に検出することができる。
　また、前記メモリから取得される前記赤外光の強度は、前記光源から照射されて前記被写体に反射された赤外光が前記撮像素子によって受光されるときに、互いに異なる少なくとも３回のタイミングでの前記撮像素子の露光によって計測された少なくとも３つの強度からなり、前記奥行画像の生成では、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に対して計測された前記少なくとも３つの強度に基づいて奥行きを算出することによって、前記奥行画像を生成してもよい。
　これにより、ＴｏＦを用いて奥行画像を高い精度で生成することができる。
　また、前記ノイズ強度は、前記少なくとも３つの強度のうちの最小の強度であってもよい。
　これにより、ノイズ強度を適切に取得することができる。
　また、前記奥行画像の前記低反射領域の補正では、前記低反射領域に対応する前記可視光画像内の領域の画像に基づいて、前記領域に映し出されている物体の種別を特定し、特定された前記物体の種別と、前記領域に映し出されている前記物体のサイズとに基づいて、前記領域の奥行きを推定することによって、前記奥行画像の前記低反射領域の奥行きを補正してもよい。例えば、パターンマッチングまたは画像認識などの処理によって、物体の種別が特定される。なお、低反射領域に対応する可視光画像内の領域とは、赤外光画像内における低反射領域と同一の位置にあって、その低反射領域と同一の形状および大きさを有する、可視光画像内における領域である。
　これにより、物体の種別およびサイズと奥行きとの対応関係が既知であれば、その低反射領域に対応する可視光画像内の領域の画像に基づいて特定される物体の種別とサイズとに基づいて、適切な奥行きを推定することができる。その結果、奥行画像の低反射領域、すなわち補正対象領域の奥行きを正確な奥行きに補正することができる。
　また、可視光画像を用いることなく、補正対象領域の奥行きを、その補正対象領域の下にある領域の奥行きに補正してもよい。
　例えば、上述の低反射物体が車両である場合には、その車両の足元は路面であって、その路面の奥行きは、その車両の奥行きと近似している。したがって、上記一態様に係る奥行取得装置では、補正対象領域の奥行きが、その補正対象領域の下にある領域の奥行きに補正されるため、その補正対象領域の奥行きを正確な奥行きに補正することができる。
　また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正してもよい。
　これにより、奥行画像、赤外光画像、および可視光画像の入力に対して、正解の補正後の奥行画像が出力されるように、学習モデルに予め学習させておけば、低反射領域を検出することなく、適切な奥行画像を簡単に取得することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態）
　［ハードウェア構成］
　図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻での撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。
　図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。
　光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
　光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
　以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。
　固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
　固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。
　以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。
　図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。
　図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
　また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。
　第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。
　赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外光画像ともいう。
　また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。
　また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。
　再び図１に戻って、奥行取得装置１の説明を続ける。
　処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
　処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
　処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴｏＦ測距方式により、被写体までの距離を算出する。
　以下、図面を参照しながら、処理回路３０が行うＴｏＦ測距方式による被写体までの距離の算出について説明する。
　図３は、処理回路３０が、ＴｏＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。
　図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。
　図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。
　光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。
　ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２）　　　・・・（式１）
　このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。
　また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。
　再び図１に戻って、奥行取得装置１の説明を続ける。
　処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。
　すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行うことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。
　処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。
　処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。
　拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。
　レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。
　バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。なお、図１に示す例では、奥行取得装置１は、バンドパスフィルタ７０を備えるが、このバンドパスフィルタ７０を備えていなくてもよい。
　上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
　［奥行取得装置の機能構成］
　本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および時刻の撮像によって取得する。ここで、ＩＲ画像は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されている。したがって、奥行取得装置１は、ＩＲ画像の撮像によって、複数の第１画素２１のそれぞれにおける赤外光の強度を取得している。奥行取得装置１は、それらの第１画素２１の赤外光の強度に基づいて、そのＩＲ画像に映し出されている被写体までの距離を奥行きとして示す奥行画像を取得する。そして、奥行取得装置１は、ＩＲ画像とＢＷ画像とに基づいて、ＩＲ画像内における低反射領域を検出し、その低反射領域に対応する奥行画像内の領域の奥行きを補正する。なお、本開示において、第１画像内の第１領域に対応する第２画像内の第２領域とは、第１画像内における第１領域と同一の位置にあって、その第１領域と同一の形状および大きさを有する、第２画像内における領域である。その第１画像および第２画像はそれぞれ任意の画像であり、第１領域および第２領域もそれぞれ任意な領域である。
　図４は、奥行取得装置１の機能構成の一例を示すブロック図である。
　奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、プロセッサ１１０ａと、メモリ２００とを備える。なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２およびＢＷカメラ１０３を備えているが、これらの構成要素を備えず、プロセッサ１１０ａおよびメモリ２００のみを備えていてもよい。
　光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよく、発光することによって赤外光を被写体に照射する。
　ＩＲカメラ１０２は、赤外光カメラともいい、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。また、ＩＲカメラ１０２は、ＩＲ画像の撮像によって、赤外光の強度を計測している。つまり、ＩＲカメラ１０２は、固体撮像素子２０を有し、光源１０１から照射されて被写体によって反射された赤外光を、その固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像を行うことによって、その赤外光の強度を計測する。
　ＢＷカメラ１０３は、可視光カメラともいい、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、ＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および同一の時刻での撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。つまり、ＢＷカメラ１０３は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および時刻の撮像を行うことによって、ＢＷ画像を生成する。
　メモリ２００は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とを格納するための記録媒体である。なお、ＩＲ画像は、上述のように、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されている。したがって、そのＩＲ画像は、画素ごとに赤外光の強度を示している。つまり、メモリ２００は、赤外光の強度を格納していると言える。なお、このようなメモリ２００は、具体的には、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）またはＳＳＤ（solid state drive）などであってもよく、不揮発性または揮発性であってもよい。また、メモリ２００は、ハードディスクであってもよい。
　プロセッサ１１０ａは、メモリ２００からＩＲ画像およびＢＷ画像を取得し、ＩＲ画像から奥行画像を算出し、ＩＲ画像およびＢＷ画像に基づいて、ＩＲ画像内における低反射領域を検出する。そして、プロセッサ１１０ａは、その低反射領域に対応する奥行画像内の領域の奥行きを補正する。なお、低反射領域は、赤外光に対して反射率が低い物体がＩＲ画像内で映し出されている領域である。この低反射領域は、後述の第１閾値、または、第１閾値および第２閾値を用いて検出される領域であって、その物体の反射率は、上述の閾値によって定義される。
　このようなプロセッサ１１０ａは、発光制御部１１３と、ＩＲ取得部１１４と、ＢＷ取得部１１５と、奥行算出部１１１ａと、低反射領域検出部１１２と、奥行補正部１１１ｂとを備える。
　発光制御部１１３は、光源１０１を制御する。つまり、発光制御部１１３は、上述の発光信号を光源１０１に出力することによって、その光源１０１を発光させる。これにより、光源１０１から赤外光が被写体に照射され、その被写体によって反射された光である反射光がＩＲカメラ１０２に入射する。
　ＩＲ取得部１１４は、ＩＲカメラ１０２からメモリ２００を介してＩＲ画像を取得する。ここで、ＩＲ画像の各画素は、その画素の位置において受光された赤外光の強度を画素値（具体的には輝度）として示す。したがって、ＩＲ取得部１１４は、ＩＲ画像を取得することによって、赤外光の強度を取得する。つまり、ＩＲ取得部１１４は、光源１０１から照射されて被写体によって反射された赤外光を、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像によって計測され、メモリ２００に保存されている赤外光の強度を取得する。
　ＢＷ取得部１１５は、ＢＷカメラ１０３からメモリ２００を介してＢＷ画像を取得する。つまり、ＢＷ取得部１１５は、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および時刻の撮像によって生成され、メモリ２００に保持されているＢＷ画像を取得する。
　奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。
　低反射領域検出部１１２は、ＩＲ画像とＢＷ画像とに基づいて、被写体のうちの赤外光に対して反射率が低い物体がＩＲ画像内で映し出されている領域である低反射領域を検出する。
　奥行補正部１１１ｂは、その低反射領域に対応する奥行画像内の領域である補正対象領域の奥行きを補正する。
　このような本実施の形態における奥行取得装置１は、赤外光に対して反射率が低い物体（すなわち、低反射物体）が被写体に含まれていても、その被写体までの距離である奥行きを正確に取得することができる。
　例えば、低反射物体が被写体に含まれていれば、その低反射物体に反射された赤外光の強度に基づいて算出される、その低反射物体までの距離、すなわち奥行きは、実際の奥行きよりも長く算出されてしまう。つまり、奥行画像のうちの、その低反射物体に対応する領域では、正しい奥行きが示されていない。
　しかし、本実施の形態における奥行取得装置１では、ＩＲ画像内において、その低反射物体が映し出されている領域である低反射領域が検出され、その低反射領域に対応する奥行画像内の領域が、補正対象領域とされる。つまり、被写体に低反射物体が含まれているために、奥行画像内において不適切な奥行きが示されている領域が、補正対象領域として特定される。そして、この補正対象領域の奥行きが補正されることによって、その低反射物体までの距離である奥行きを正確に取得することができる。
　［各画像の一例］
　図５は、ＢＷ画像、ＩＲ画像および奥行画像の一例を示す。
　ＢＷカメラ１０３による撮像によって生成され、ＢＷ取得部１１５によって取得されるＢＷ画像には、例えば図５の（ａ）に示すように、駐車場に駐車されている複数の車両が映し出されている。
　また、ＩＲカメラ１０２による撮像によって生成され、ＩＲ取得部１１４によって取得されるＩＲ画像にも、図５の（ｂ）に示すように、図５の（ａ）に示すＢＷ画像と実質的に同一のシーンが映し出されている。また、この図５の（ｂ）に示すＩＲ画像は、図５の（ａ）に示すＢＷ画像の撮像と実質的に同一の視点および同一の時刻の撮像によって得られた画像である。したがって、図５の（ａ）に示すＢＷ画像と、図５の（ｂ）に示すＩＲ画像とでは、互いに対応する領域において同一の物体が映し出されている。なお、互いに対応する領域とは、それぞれの画像内における位置、大きさ、および形状が同一の領域である。
　奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、当該第１画素２１に受光された赤外光の強度に基づいて奥行きを算出することによって、例えば図５の（ｃ）に示す奥行画像を生成する。奥行画像における各画素の輝度は、奥行きが長いほど高く、逆に、奥行きが短いほど低い。この図５の（ｃ）に示す奥行画像は、図５の（ｂ）に示すＩＲ画像に対応している。つまり、図５の（ｂ）に示すＩＲ画像は、上述のように、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成され、図５の（ｃ）に示す奥行画像も、その複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて生成されている。したがって、図５の（ｂ）に示すＩＲ画像と、図５の（ｃ）に示す奥行画像とでも、互いに対応する領域において同一の物体が映し出されている。
　ここで、図５の（ｂ）に示すように、ＩＲ画像には、低反射領域（すなわち図５の（ｂ）における破線円内の領域）が存在する。この低反射領域は、赤外光に対して反射率が低い物体が映し出されている領域である。つまり、図５の（ａ）に示すＢＷ画像において、その低反射領域に対応する領域には、近くにある車両が映し出されている。しかし、図５の（ｂ）に示すＩＲ画像の低反射領域では、輝度は低い。その結果、図５の（ｃ）に示すように、その低反射領域に対応する奥行画像内の領域（すなわち図５の（ｃ）における破線円内の領域）では、物体までの距離である奥行きが実際には短いにも関わらず、その奥行きが長く（すなわち、輝度が高く）表現されている。
　そこで、本実施の形態における奥行取得装置１の低反射領域検出部１１２は、図５の（ａ）に示すＢＷ画像と、図５の（ｂ）に示すＩＲ画像とに基づいて、その低反射領域を検出する。そして、奥行補正部１１１ｂは、低反射領域に対応する奥行画像内の領域を、補正対象領域として特定し、その補正対象領域の奥行きを補正する。具体的には、奥行補正部１１１ｂは、ＢＷ画像に基づいて、奥行画像の低反射領域を補正し、その補正後の奥行画像を出力する。なお、奥行画像の低反射領域は、上述のＩＲ画像の低反射領域に対応する奥行画像内の領域であって、補正対象領域ともいう。例えば、奥行補正部１１１ｂは、補正後の奥行画像をディスプレイに出力することによって、その奥行画像をそのディスプレイに表示させる。または、奥行補正部１１１ｂは、車両に搭載されているＥＣＵ（Electronic Control Unit）などの制御ユニットに補正後の奥行画像を出力することによって、その補正後の奥行画像に基づく車両の運転制御を、その制御ユニットに実行させてもよい。
　図６は、ＢＷ画像、ＩＲ画像および奥行画像の他の例を示す。
　ＢＷカメラ１０３による撮像によって生成され、ＢＷ取得部１１５によって取得されるＢＷ画像には、例えば図６の（ａ）に示すように、駐車場に駐車されている複数の車両が映し出されている。
　また、ＩＲカメラ１０２による撮像によって生成され、ＩＲ取得部１１４によって取得されるＩＲ画像にも、図６の（ｂ）に示すように、図６の（ａ）に示すＢＷ画像と実質的に同一のシーンが映し出されている。また、この図６の（ｂ）に示すＩＲ画像は、図６の（ａ）に示すＢＷ画像の撮像と実質的に同一の視点および同一の時刻の撮像によって得られた画像である。したがって、図６の（ａ）に示すＢＷ画像と、図６の（ｂ）に示すＩＲ画像とでは、互いに対応する領域において同一の被写体が映し出されている。
　奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、当該第１画素２１に受光された赤外光の強度に基づいて奥行きを算出することによって、例えば図６の（ｃ）に示す奥行画像を生成する。この図６の（ｃ）に示す奥行画像は、図６の（ｂ）に示すＩＲ画像に対応している。
　ここで、図６の（ｂ）に示すように、ＩＲ画像には、低反射領域（すなわち図６の（ｂ）における破線円内の領域）が存在する。この低反射領域は、赤外光に対して反射率が低い物体が映し出されている領域である。つまり、図６の（ａ）に示すＢＷ画像において、その低反射領域に対応する領域には、近くにある車両が映し出されている。しかし、図６の（ｂ）に示すＩＲ画像の低反射領域では、輝度は低い。その結果、図６の（ｃ）に示すように、その低反射領域に対応する奥行画像内の領域（すなわち図５の（ｃ）における破線円内の領域）では、物体までの距離である奥行きが実際には短いにも関わらず、その奥行きが長く（すなわち、輝度が高く）表現されている。
　そこで、本実施の形態における奥行取得装置１の低反射領域検出部１１２は、図６の（ａ）に示すＢＷ画像と、図６の（ｂ）に示すＩＲ画像とに基づいて、その低反射領域を検出する。そして、奥行補正部１１１ｂは、低反射領域に対応する奥行画像内の領域を、補正対象領域として特定し、その補正対象領域の奥行きを補正する。
　図７は、奥行取得装置１のシミュレーション結果を示す。
　奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図７の（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図７の（ｂ）に示すＩＲ画像を取得する。このＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および同一の時刻で撮像することによって得られる画像である。図７の（ｂ）に示す例では、ＩＲ画像内の左側に大きな低反射領域（すなわち図７の（ｂ）における破線円内の領域）が存在する。
　奥行算出部１１１ａは、そのＩＲ画像を形成する赤外光の強度に基づいて、図７の（ｃ）に示す奥行画像を生成する。図７の（ａ）に示すＢＷ画像における、低反射領域に対応する領域には、近くの物体が映し出されているにも関わらず、図７の（ｃ）に示す奥行画像では、低反射領域の奥行きが長く不適切に表現されている。つまり、ＢＷ画像では、物体が近く映し出されているにも関わらず、奥行画像では、その物体が遠くにあるように表現されている。
　奥行補正部１１１ｂは、低反射領域に対応する図７の（ｃ）に示す奥行画像内の領域を、補正対象領域として扱い、その補正対象領域の奥行きを補正することによって、図７の（ｄ）に示す補正後の奥行画像を生成する。例えば、奥行補正部１１１ｂは、低反射領域に対応する図７の（ａ）に示すＢＷ画像内の領域の画像を用いて、補正対象領域の奥行きを補正する。また、奥行補正部１１１ｂは、奥行画像の全体の輝度に対してオフセットを加えるなどの調整を行ってもよい。
　その結果、本実施の形態における奥行取得装置１では、補正後の奥行画像を、図７の（ｅ）に示す正解の奥行画像に近づけることができる。
　［処理フロー］
　図８は、本実施の形態における奥行取得装置１の全体的な処理動作を示すフローチャートである。
　（ステップＳ１１０）
　まず、ＢＷカメラ１０３は、可視光に基づく撮像を行うことによってＢＷ画像を生成する。そして、ＢＷ取得部１１５は、そのＢＷ画像を、メモリ２００を介して取得する。
　（ステップＳ１２０）
　次に、ＩＲカメラ１０２は、赤外光に基づく撮像を行うことによってその赤外光の強度を計測する。そして、ＩＲ取得部１１４は、その赤外光の強度を、メモリ２００を介して取得する。ここで、取得される赤外光の強度は、固体撮像素子２０の複数の第１画素２１のそれぞれで受光された赤外光の強度である。したがって、ＩＲ取得部１１４は、それらの赤外光の強度を取得することによって、それらの赤外光の強度に基づいて形成されるＩＲ画像を取得する。
　具体的には、メモリ２００から取得される赤外光の強度は、光源１０１から照射されて被写体に反射された赤外光が固体撮像素子２０によって受光されるときに、互いに異なる少なくとも３回のタイミングでの固体撮像素子２０の露光によって計測された少なくとも３つの強度からなる。例えば、赤外光の強度は、図３に示すように、第１露光期間、第２露光期間、および第３露光期間によって計測された３つの強度からなる。例えば、１フレームのＩＲ画像に含まれる各画素値は、その少なくとも３回のタイミングでの露光によって計測された赤外光の強度の累積値として示される。
　（ステップＳ１３０）
　次に、低反射領域検出部１１２は、ステップＳ１１０で取得されたＢＷ画像と、ステップＳ１２０で取得されたＩＲ画像とに基づいて、ＩＲ画像内の低反射領域を検出する。
　（ステップＳ１４０）
　次に、奥行算出部１１１ａは、ステップＳ１２０で取得された赤外光の強度に基づいて、奥行きを算出する。つまり、奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。具体的には、奥行算出部１１１ａは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１で計測された上述の少なくとも３つの強度に基づいて奥行きを算出することによって、奥行画像を生成する。例えば、奥行算出部１１１ａは、ＴｏＦ測距方式にしたがって、上述の（式１）を用いて奥行きを算出する。
　（ステップＳ１５０）
　次に、奥行補正部１１１ｂは、低反射領域に対応する奥行画像内の領域、すなわち補正対象領域の奥行きを補正する。
　図９は、低反射領域検出部１１２の処理動作の一例を示すフローチャートである。なお、図９は、図８のステップＳ１３０の処理を詳細に示す。
　（ステップＳ１３１）
　まず、低反射領域検出部１１２は、ＢＷ画像において物体が映し出されている領域を物体領域として検出する。ＢＷ画像に複数の物体が映し出されていれば、低反射領域検出部１１２は、複数の物体のそれぞれについて、その物体が映し出されている領域を物体領域として検出する。例えば、低反射領域検出部１１２は、パターンマッチングまたは画像認識などの処理によって、物体領域を検出する。また、低反射領域検出部１１２は、予め定められた大きさ以上の領域を物体領域として検出してもよい。
　（ステップＳ１３２）
　次に、低反射領域検出部１１２は、その物体領域に対応するＩＲ画像内の領域である判定対象領域の輝度が第１閾値以下であるか否かを判定する。その判定対象領域の輝度は、例えば、その判定対象領域に含まれる各画素の輝度の平均値であってもよい。
　（ステップＳ１３３）
　低反射領域検出部１１２は、その判定対象領域の輝度が第１閾値以下であると判定すると（ステップＳ１３２のＹｅｓ）、その判定対象領域を低反射領域として決定する。
　（ステップＳ１３４）
　一方、低反射領域検出部１１２は、その判定対象領域の輝度が第１閾値よりも大きいと判定すると（ステップＳ１３２のＮｏ）、その判定対象領域を非低反射領域として決定する。
　このように、本実施の形態における低反射領域検出部１１２は、ＢＷ画像において物体が映し出されている領域を物体領域として検出する。そして、低反射領域検出部１１２は、その物体領域に対応するＩＲ画像内の領域である判定対象領域の輝度が第１閾値以下であるか否かを判定し、第１閾値以下であると判定された輝度を有する判定対象領域を、低反射領域として検出する。
　これにより、本実施の形態では、ＢＷ画像からは、物体が映し出されている領域が物体領域として検出される。このように検出される物体領域に映し出されている物体は、遠くの背景ではなく近くにあって、光源１０１からの赤外光がその物体に照射されている可能性が高い。そして、その物体領域に対応するＩＲ画像内の領域における輝度が低くければ、その物体が低反射物体である可能性が高い。したがって、本実施の形態では、その物体領域に対応する赤外光画像内の領域であって第１閾値以下の輝度を有する領域が、低反射領域として検出されるため、その低反射領域を適切に検出することができる。
　図１０は、低反射領域検出部１１２の処理動作の他の例を示すフローチャートである。なお、図１０は、図８のステップＳ１３０の処理を詳細に示す。
　図１０に示すフローチャートは、図９に示すフローチャートの各ステップを含み、さらに、ステップＳ１３５を含む。
　（ステップＳ１３５）
　低反射領域検出部１１２は、判定対象領域の輝度が第１閾値以下であると判定すると（ステップＳ１３２のＹｅｓ）、さらに、その判定対象領域における赤外光のバックグラウンドノイズの強度が第２閾値以下であるか否かを判定する。以下、バックグラウンドノイズの強度を、ノイズ強度ともいう。
　具体的には、ＩＲ取得部１１４によって取得される赤外光の強度は、上述のように、互いに異なる少なくとも３回のタイミングでの固体撮像素子２０の露光によって計測された少なくとも３つの強度からなる。つまり、赤外光の強度は、図３に示すように、第１露光期間、第２露光期間、および第３露光期間によって計測された３つの強度からなる。例えば、ノイズ強度は、それらの少なくとも３つの強度のうちの最小の強度である。低反射領域検出部１１２は、例えば図３に示す例の場合、第３露光期間での露光によって計測される赤外光の強度をノイズ強度として扱う。つまり、低反射領域検出部１１２は、この第３露光期間での露光によって計測される赤外光の強度が第２閾値以下であるか否かを判定する。
　低反射領域検出部１１２は、そのノイズ強度が第２閾値以下であると判定すると（ステップＳ１３５のＹｅｓ）、そのノイズ強度の判定対象領域を、低反射領域として決定する（ステップＳ１３３）。一方、低反射領域検出部１１２は、そのノイズ強度が第２閾値よりも大きいと判定すると（ステップＳ１３５のＮｏ）、そのノイズ強度の判定対象領域を、非低反射領域として決定する（ステップＳ１３４）。
　このように、本実施の形態における低反射領域検出部１１２は、さらに、ＩＲ取得部１１４によって取得された赤外光の強度のうち、判定対象領域における赤外光の強度に含まれるノイズ強度が第２閾値以下であるか否かを判定する。そして、低反射領域検出部１１２は、第２閾値以下であると判定されたノイズ強度の判定対象領域を、低反射領域として検出する。
　例えば、被写体には、光源１０１からの赤外光だけでなく、太陽光などの外光に含まれる赤外光も照射される場合がある。そこで、その外光に含まれる赤外光の強度は、ノイズ強度として扱われ、そのノイズ強度を除く赤外光の強度に基づいて赤外光画像が形成される。しかし、明るい日中のように、ノイズ強度が大きければ、そのノイズ強度を除くために、赤外光画像の輝度は低くなる。したがって、ノイズ強度が大きければ、上述のようにＢＷ画像の物体領域に対応する赤外光画像内の領域の輝度が低くても、その領域は低反射領域でない可能性がある。したがって、本実施の形態では、第２閾値以下であると判定された小さいノイズ強度の領域が、低反射領域として検出されるため、その低反射領域をより適切に検出することができる。
　図１１は、奥行補正部１１１ｂによる奥行画像の補正の一例を示す。
　奥行補正部１１１ｂは、図１１の（ｃ）に示す奥行画像内の補正対象領域の奥行きを補正することによって、図１１の（ｅ）に示す補正後の奥行画像を生成する。
　具体的には、図１１の（ｃ）に示す奥行画像は、図１１の（ｂ）に示すＩＲ画像を形成する赤外光の強度に基づいて算出されている。低反射領域検出部１１２は、このＩＲ画像から低反射領域を検出する。奥行補正部１１１ｂは、この低反射領域に対応するＢＷ画像内の領域の画像に基づいて、その領域に映し出されている物体の種別を特定する。例えば、奥行補正部１１１ｂは、パターンマッチングまたは画像認識などの処理によって、その領域に映し出されている物体の種別を特定する。また、この物体の種別の特定には、ニューラルネットワークなどの学習モデルが用いられてもよい。図１１に示す例では、奥行補正部１１１ｂは、その物体の種別として普通車の正面を特定する。さらに、奥行補正部１１１ｂは、その領域に映し出されている物体のサイズを特定する。この物体のサイズは、物体の像の水平方向の幅もしくは垂直方向の幅（すなわち高さ）、または物体の像の面積であってもよく、その物体の像を囲う矩形枠の対角線の長さであってもよい。
　そして、奥行補正部１１１ｂは、図１１の（ｄ）に示すように、物体の種別ごとに、その種別のサイズと距離との対応関係を示すデータベースを参照する。例えば、このデータベースは、物体の種別が普通車の正面である場合における、その物体のサイズと距離との対応関係を示す。具体的には、データベースは、サイズ「ｓ１」に対して距離「ｄ１」を対応付けて示し、サイズ「ｓ２」に対して距離「ｄ２」を対応付けて示す。奥行補正部１１１ｂは、このようなデータベースを参照し、特定された物体の種別とサイズとに対応付けられている距離を、その物体までの距離、すなわち奥行きとして推定する。例えば、特定されたサイズが「ｓ２」であれば、奥行補正部１１１ｂは、そのサイズ「ｓ２」に対応付けられている距離「ｄ２」を補正対象領域の奥行きとして推定する。そして、奥行補正部１１１ｂは、図１１の（ｃ）に示す奥行画像における補正対象領域の奥行きを、その推定された奥行きに置き換えることによって、その補正対象領域の奥行きを補正する。これにより、図１１の（ｃ）に示す奥行画像は、図１１の（ｅ）に示す補正後の奥行画像に変換される。
　なお、図１１の（ｄ）に示すデータベースは、奥行取得装置１に保持されていてもよく、奥行取得装置１の外部のサーバなどに保持されていてもよい。データベースがサーバに保持されている場合、奥行補正部１１１ｂは、例えば通信ネットワークを介してそのサーバにアクセスし、そのデータベースを参照する。
　また、図１１の（ｄ）に示すデータベースは、物体の種別およびサイズと距離との対応関係を示すが、物体の種別には、シルエット、すなわちＢＷカメラ１０３から見た物体の向き（例えば正面、側面または背面など）が含まれていてもよい。また、ＢＷカメラ１０３のレンズが魚眼レンズなどの、広視野角の光学系のレンズである場合には、データベースには、物体の種別およびサイズだけでなく、ＢＷ画像においてその物体が映し出されている領域の位置も、上述の距離に対応付けられていてもよい。この場合、奥行補正部１１１ｂは、ＢＷ画像からさらに、その物体が映し出されている領域の位置を特定し、データベースにおいて、特定された物体の種別、サイズおよび位置に対応付けられている距離を、補正対象領域の奥行きとして推定する。なお、物体の種別は、車両だけでなく、車両に含まれるナンバープレートなどであってもよい。
　図１２は、奥行補正部１１１ｂによる補正の処理動作を示すフローチャートである。なお、図１２は、図８のステップＳ１５０の処理を詳細に示す。
　（ステップＳ１５１）
　奥行補正部１１１ｂは、低反射領域に対応するＢＷ画像内の領域の画像に基づいて、その領域に映し出されている物体の種別を特定する。
　（ステップＳ１５２）
　次に、奥行補正部１１１ｂは、その領域に映し出されている物体のサイズを特定する。
　（ステップＳ１５３）
　次に、奥行補正部１１１ｂは、ステップＳ１５１で特定された種別と、ステップＳ１５２で特定されたサイズとに対応付けられている距離を取得する。
　（ステップＳ１５４）
　そして、奥行補正部１１１ｂは、奥行画像における補正対象領域の奥行きを、ステップＳ１５４で取得された距離に置き換える。これにより、補正対象領域の奥行きが補正される。
　このように、本実施の形態における奥行補正部１１１ｂは、低反射領域に対応するＢＷ画像内の領域の画像に基づいて、その領域に映し出されている物体の種別を特定する。そして、奥行補正部１１１ｂは、その特定された物体の種別と、その領域に映し出されている物体のサイズとに基づいて、その領域の奥行きを推定することによって、補正対象領域の奥行きを補正する。
　これにより、上述のようなデータベースを用いれば、低反射領域に対応するＢＷ画像内の領域の画像に基づいて特定される物体の種別とサイズとに基づいて、適切な奥行きを推定することができる。その結果、補正対象領域の奥行きを正確な奥行きに補正することができる。なお、上述の例では、データベースを用いたが、物体の種別およびサイズと奥行きとの対応関係を示す手段であれば、どのような手段を用いてもよい。例えば、そのデータベースの代わりに、関数を用いてもよく、ニューラルネットワークなどの学習モデルを用いてもよい。
　図１３は、奥行補正部１１１ｂによる奥行画像の補正の他の例を示す。
　奥行補正部１１１ｂは、奥行画像における補正対象領域の奥行きを補正するときには、その補正対象領域の下にある領域の奥行きを用いてもよい。例えば、奥行補正部１１１ｂは、図１３の（ａ）に示す奥行画像の補正対象領域の奥行きを補正する。このとき、奥行補正部１１１ｂは、その補正対象領域の下にある足元領域の奥行きを用いる。つまり、奥行補正部１１１ｂは、補正対象領域の奥行きを、足元領域の奥行きに置き換える。言い換えれば、奥行補正部１１１ｂは、補正対象領域の奥行きを、その補正対象領域の下にある領域の奥行きに補正する。
　図１３に示す例のように、低反射物体が車両である場合には、その車両の足元は路面であって、その路面の奥行きは、その車両の奥行きと近似している。したがって、本実施の形態では、補正対象領域の奥行きが、その補正対象領域の下にある領域の奥行きに補正されるため、その補正対象領域の奥行きを正確な奥行きに補正することができる。
　（変形例）
　上記実施の形態では、奥行きを補正するために、低反射領域を検出したが、その低反射領域を検出することなく、学習モデルを用いて奥行きを補正してもよい。
　図１４は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。なお、図１４に示す構成要素のうち、図４に示す構成要素と同一の構成要素については、図４に示す構成要素と同一の符号を付し、詳細な説明を省略する。
　本変形例における奥行取得装置１は、図４に示すプロセッサ１１０ａの代わりにプロセッサ１１０ｂを備え、さらに、学習モデル１０４を備える。
　学習モデル１０４は、例えばニューラルネットワークであって、深層学習によって構成されている。例えば、この学習モデル１０４に入力される入力データには、ＢＷ画像、ＩＲ画像、および奥行画像が用いられる。この学習モデル１０４では、それらの入力データの組み合わせに対して、正解の補正後の奥行画像が出力されるように、既に学習が行われている。
　プロセッサ１１０ｂは、図４に示す低反射領域検出部１１２を備えておらず、図４に示す奥行補正部１１１ｂの代わりに、奥行補正部１１１ｃを備える。
　奥行補正部１１１ｃは、上述の学習モデル１０４に対して上述の入力データを入力する。その結果、奥行補正部１１１ｃは、その入力データに対する出力データとして、補正後の奥行画像を学習モデル１０４から取得する。さらに、奥行補正部１１１ｃは、その補正後の奥行画像を出力する。例えば、奥行補正部１１１ｃは、補正後の奥行画像をディスプレイに出力することによって、その奥行画像をそのディスプレイに表示させる。または、奥行補正部１１１ｃは、車両に搭載されているＥＣＵなどの制御ユニットに補正後の奥行画像を出力することによって、その補正後の奥行画像に基づく車両の運転制御を、その制御ユニットに実行させてもよい。
　つまり、図１４に示す奥行取得装置１は、メモリ２００と、プロセッサ１１０ｂとを備える。プロセッサ１１０ｂは、光源１０１から照射されて被写体によって反射された赤外光を、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれが受光する撮像によって計測され、メモリ２００に保存されている赤外光の強度を取得する。また、プロセッサ１１０ｂは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれについて、その第１画素２１に受光された赤外光の強度に基づいて、被写体までの距離を奥行きとして算出することによって、奥行画像を生成する。さらに、プロセッサ１１０ｂは、固体撮像素子２０に含まれる複数の第１画素２１のそれぞれで受光された赤外光の強度に基づいて形成されるＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、ＩＲ画像と実質的に同一の視点および時刻の撮像によって生成され、メモリ２００に保持されているＢＷ画像を取得する。そして、プロセッサ１１０ｂは、奥行画像、ＩＲ画像、およびＢＷ画像を、学習モデル１０４に入力することによって、奥行画像の奥行きを補正し、補正後の奥行画像を出力する。
　これにより、奥行画像、ＩＲ画像、およびＢＷ画像の入力に対して、正解の補正後の奥行画像が出力されるように、学習モデル１０４に予め学習させておけば、低反射領域を検出することなく、奥行画像の奥行きを適切に補正することができる。
　以上、本実施の形態およびその変形例における奥行取得装置１では、低反射物体が被写体に含まれていても、その被写体までの距離である奥行きを正確に取得することができる。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図８～図１０、および図１２の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。
　以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
　例えば、奥行算出部１１１ａは、互いに異なる３つの露光タイミングで計測された３つの赤外光の強度に基づいて、奥行きを算出する。しかし、その露光タイミングおよび赤外光の強度の数は、３つに限定されることなく、４つ以上であってもよい。
　また、上記実施の形態の変形例では、奥行取得装置１は、学習モデル１０４を備えているが、その学習モデル１０４を備えていなくてもよい。この場合、奥行取得装置１は、例えば通信ネットワークを介して学習モデル１０４に上述の入力データを入力し、その学習モデル１０４からの出力データである補正後の奥行画像を、その通信ネットワークを介して取得する。
　また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、および図１４に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
　さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウェアデバイス、例えばインターフェース、を備えていても良い。
　本開示は、被写体までの距離である奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。
　１　　奥行取得装置
　１０、１０１　　光源
　２０　　固体撮像素子
　２１　　第１画素（ＩＲ）
　２２　　第２画素（ＢＷ）
　３０　　処理回路
　５０　　拡散板
　６０　　レンズ
　７０　　バンドパスフィルタ
　１０２　　ＩＲカメラ
　１０３　　ＢＷカメラ
　１０４　　学習モデル
　１１０ａ、１１０ｂ　　プロセッサ
　１１１ａ　　奥行算出部
　１１１ｂ、１１１ｃ　　奥行補正部
　１１２　　低反射領域検出部
　１１３　　発光制御部
　１１４　　ＩＲ取得部
　１１５　　ＢＷ取得部
　２００　　メモリ

Claims (13)

  1. 　メモリと、
    　プロセッサとを備え、
    　前記プロセッサは、
    　光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出し、
    　前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、
    　補正後の前記奥行画像を出力する、
    　奥行取得装置。
  2. 　前記低反射領域の検出では、
    　前記可視光画像において物体が映し出されている領域を物体領域として検出し、
    　前記物体領域に対応する前記赤外光画像内の領域である判定対象領域の輝度が第１閾値以下であるか否かを判定し、
    　前記第１閾値以下であると判定された輝度を有する前記判定対象領域を、前記低反射領域として検出する、
    　請求項１に記載の奥行取得装置。
  3. 　前記低反射領域の検出では、さらに、
    　前記メモリから取得される前記赤外光の強度のうち、前記判定対象領域における赤外光の強度に含まれるノイズ強度が第２閾値以下であるか否かを判定し、
    　前記第２閾値以下であると判定されたノイズ強度の前記判定対象領域を、前記低反射領域として検出する、
    　請求項２に記載の奥行取得装置。
  4. 　前記メモリから取得される前記赤外光の強度は、
    　前記光源から照射されて前記被写体に反射された赤外光が前記撮像素子によって受光されるときに、互いに異なる少なくとも３回のタイミングでの前記撮像素子の露光によって計測された少なくとも３つの強度からなり、
    　前記奥行画像の生成では、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に対して計測された前記少なくとも３つの強度に基づいて奥行きを算出することによって、前記奥行画像を生成する、
    　請求項３に記載の奥行取得装置。
  5. 　前記ノイズ強度は、前記少なくとも３つの強度のうちの最小の強度である、
    　請求項４に記載の奥行取得装置。
  6. 　前記奥行画像の前記低反射領域の補正では、
    　前記低反射領域に対応する前記可視光画像内の領域の画像に基づいて、前記領域に映し出されている物体の種別を特定し、
    　特定された前記物体の種別と、前記領域に映し出されている前記物体のサイズとに基づいて、前記領域の奥行きを推定することによって、前記奥行画像の前記低反射領域の奥行きを補正する、
    　請求項１～５の何れか１項に記載の奥行取得装置。
  7. 　メモリと、
    　プロセッサとを備え、
    　前記プロセッサは、
    　光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、前記メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正し、
    　補正後の前記奥行画像を出力する、
    　奥行取得装置。
  8. 　撮像素子を有し、光源から照射されて被写体によって反射された赤外光を、前記撮像素子に含まれる複数の画素のそれぞれが受光する撮像を行うことによって、前記赤外光の強度を計測する赤外光カメラと、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成する奥行算出部と、
    　前記赤外光カメラの前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像を行うことによって、可視光画像を生成する可視光カメラと、
    　前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出する低反射領域検出部と、
    　前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、補正後の前記奥行画像を出力する奥行補正部と、
    　を備える奥行取得装置。
  9. 　撮像素子を有し、光源から照射されて被写体によって反射された赤外光を、前記撮像素子に含まれる複数の画素のそれぞれが受光する撮像を行うことによって、前記赤外光の強度を計測する赤外光カメラと、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成する奥行算出部と、
    　前記赤外光カメラの前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像を行うことによって、可視光画像を生成する可視光カメラと、
    　前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正し、補正後の前記奥行画像を出力する奥行補正部と、
    　を備える奥行取得装置。
  10. 　光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出し、
    　前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、
    　補正後の前記奥行画像を出力する、
    　奥行取得方法。
  11. 　光源から照射されて被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正し、
    　補正後の前記奥行画像を出力する、
    　奥行取得方法。
  12. 　被写体までの距離を奥行きとして取得するためのプログラムであって、
    　光源から照射されて前記被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記赤外光画像と前記可視光画像とに基づいて、前記被写体のうちの赤外光に対して反射率が低い物体が前記赤外光画像内で映し出されている領域である低反射領域を検出し、
    　前記可視光画像に基づいて、前記奥行画像の前記低反射領域を補正し、
    　補正後の前記奥行画像を出力する、
    　ことをコンピュータに実行させるプログラム。
  13. 　被写体までの距離を奥行きとして取得するためのプログラムであって、
    　光源から照射されて前記被写体によって反射された赤外光を、撮像素子に含まれる複数の画素のそれぞれが受光する撮像によって計測され、メモリに保存されている前記赤外光の強度を取得し、
    　前記撮像素子に含まれる複数の画素のそれぞれについて、当該画素に受光された前記赤外光の強度に基づいて、前記被写体までの距離を奥行きとして算出することによって、奥行画像を生成し、
    　前記撮像素子に含まれる複数の画素のそれぞれで受光された前記赤外光の強度に基づいて形成される赤外光画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外光画像と実質的に同一の視点および時刻の撮像によって生成され、前記メモリに保持されている可視光画像を取得し、
    　前記奥行画像、前記赤外光画像、および前記可視光画像を、学習モデルに入力することによって、前記奥行画像の奥行きを補正し、
    　補正後の前記奥行画像を出力する、
    　ことをコンピュータに実行させるプログラム。
PCT/JP2019/028321 2018-09-27 2019-07-18 奥行取得装置、奥行取得方法およびプログラム WO2020066236A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020548038A JP7281775B2 (ja) 2018-09-27 2019-07-18 奥行取得装置、奥行取得方法およびプログラム
CN201980049530.6A CN112513934A (zh) 2018-09-27 2019-07-18 纵深取得装置、纵深取得方法以及程序
EP19867598.5A EP3859675B1 (en) 2018-09-27 2019-07-18 Depth acquisition device, depth acquisition method, and program
US17/152,231 US11373324B2 (en) 2018-09-27 2021-01-19 Depth acquisition device and depth acquisition method for providing a corrected depth image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-182364 2018-09-27
JP2018182364 2018-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/152,231 Continuation US11373324B2 (en) 2018-09-27 2021-01-19 Depth acquisition device and depth acquisition method for providing a corrected depth image

Publications (1)

Publication Number Publication Date
WO2020066236A1 true WO2020066236A1 (ja) 2020-04-02

Family

ID=69949953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028321 WO2020066236A1 (ja) 2018-09-27 2019-07-18 奥行取得装置、奥行取得方法およびプログラム

Country Status (5)

Country Link
US (1) US11373324B2 (ja)
EP (1) EP3859675B1 (ja)
JP (2) JP7281775B2 (ja)
CN (1) CN112513934A (ja)
WO (1) WO2020066236A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072330A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 物体検出装置
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066236A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
WO2017108413A1 (en) * 2015-12-21 2017-06-29 Koninklijke Philips N.V. Processing a depth map for an image

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4440239B2 (ja) 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US8121351B2 (en) * 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US10922567B2 (en) * 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
KR102079686B1 (ko) * 2013-02-27 2020-04-07 삼성전자주식회사 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6528193B2 (ja) 2015-02-10 2019-06-12 任天堂株式会社 電子機器
CN107407728B (zh) 2015-03-26 2020-05-22 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN107850664B (zh) 2015-07-22 2021-11-05 新唐科技日本株式会社 测距装置
JP6618301B2 (ja) 2015-08-31 2019-12-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR20170107269A (ko) * 2016-03-15 2017-09-25 한국전자통신연구원 Rgbd 카메라의 깊이 영상 필터링 장치 및 방법
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
JP6890263B2 (ja) 2016-12-14 2021-06-18 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
WO2020066236A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN112513677A (zh) * 2018-09-28 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
WO2017108413A1 (en) * 2015-12-21 2017-06-29 Koninklijke Philips N.V. Processing a depth map for an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARUKA TAKENAKA, TOSHIKAZU WADA, HIROSHI OIKE, MANABU INOUE, YOSHIAKI SHIMADA: "Bilateral filtering based depth image correction consistent with color image captured by kinect", IEICE TECHNICAL REPORT; MVE, vol. 112, no. 386 (IEICE-MVE2012-84), 16 January 2013 (2013-01-16), pages 311 - 316, XP009525400 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022072330A (ja) * 2020-10-29 2022-05-17 トヨタ自動車株式会社 物体検出装置
JP7276304B2 (ja) 2020-10-29 2023-05-18 トヨタ自動車株式会社 物体検出装置
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质

Also Published As

Publication number Publication date
EP3859675A1 (en) 2021-08-04
EP3859675A4 (en) 2021-12-01
CN112513934A (zh) 2021-03-16
US11373324B2 (en) 2022-06-28
JP2023101522A (ja) 2023-07-21
JP7281775B2 (ja) 2023-05-26
EP3859675B1 (en) 2024-05-01
US20210142500A1 (en) 2021-05-13
JPWO2020066236A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US11373324B2 (en) Depth acquisition device and depth acquisition method for providing a corrected depth image
WO2020059565A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
WO2020066637A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US10255682B2 (en) Image detection system using differences in illumination conditions
US10156437B2 (en) Control method of a depth camera
JP7450163B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
US11487009B2 (en) Image capture control device, image capture control method, and recording medium
CN112313541A (zh) 设备和方法
US9852519B2 (en) Detection system
US20190051005A1 (en) Image depth sensing method and image depth sensing apparatus
US10803625B2 (en) Detection system and picturing filtering method thereof
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP4315175B2 (ja) 光検出方法および光検出装置
WO2023047886A1 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867598

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548038

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019867598

Country of ref document: EP

Effective date: 20210428