WO2020059565A1 - 奥行取得装置、奥行取得方法およびプログラム - Google Patents

奥行取得装置、奥行取得方法およびプログラム Download PDF

Info

Publication number
WO2020059565A1
WO2020059565A1 PCT/JP2019/035420 JP2019035420W WO2020059565A1 WO 2020059565 A1 WO2020059565 A1 WO 2020059565A1 JP 2019035420 W JP2019035420 W JP 2019035420W WO 2020059565 A1 WO2020059565 A1 WO 2020059565A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
flare
area
infrared
Prior art date
Application number
PCT/JP2019/035420
Other languages
English (en)
French (fr)
Inventor
佐藤　智
吾妻　健夫
信彦 若井
吉岡　康介
清水　規貴
良直 河合
高明 天田
陽子 川合
猛 村井
宏樹 竹内
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19861679.9A priority Critical patent/EP3855395B1/en
Priority to CN201980050094.4A priority patent/CN112534474A/zh
Priority to JP2020548353A priority patent/JP7262021B2/ja
Publication of WO2020059565A1 publication Critical patent/WO2020059565A1/ja
Priority to US17/161,060 priority patent/US11636615B2/en
Priority to US18/119,443 priority patent/US20230215029A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • the present disclosure relates to a depth acquisition device that acquires the depth of an image.
  • This distance measuring device includes a light source and an imaging unit.
  • the light source emits light to the subject.
  • the imaging unit captures the light reflected by the subject.
  • the distance measuring device measures the distance to the subject by converting each pixel value of the image obtained by the imaging into a distance to the subject. That is, the distance measuring device acquires the depth of the image obtained by the imaging unit.
  • Patent Document 1 has a problem that the depth of an image cannot be accurately obtained.
  • the present disclosure provides a depth acquisition device that can accurately acquire the depth of an image.
  • the depth acquisition device includes a memory, and a processor, wherein the processor acquires timing information indicating a timing at which a light source irradiates the subject with infrared light, and the timing information indicated by the timing information.
  • the processor acquires timing information indicating a timing at which a light source irradiates the subject with infrared light, and the timing information indicated by the timing information.
  • an infrared image of the scene including the subject is obtained by imaging based on the infrared light, and the infrared image held in the memory is acquired, and visible light of the scene substantially identical to the infrared image is obtained.
  • An imaging based on the infrared image which is obtained by imaging at substantially the same viewpoint and imaging time as the infrared image, obtains a visible light image held in the memory, and detects a flare region from the infrared image. And estimating the depth of the flare area based on the infrared image, the visible light image, and the flare area.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media. Further, the recording medium may be a non-transitory recording medium.
  • the depth acquisition device can accurately acquire the depth of an image. Further advantages and advantages of one aspect of the present disclosure will be apparent from the description and drawings. Such advantages and / or advantages are each provided by some embodiments and by the features described in the specification and drawings, but are not necessarily all provided to obtain one or more of the same features. No need.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device according to the embodiment.
  • FIG. 2 is a schematic diagram illustrating a pixel array included in the solid-state imaging device according to the embodiment.
  • FIG. 3 is a timing chart showing the relationship between the light emission timing of the light emitting element of the light source and the exposure timing of the first pixel of the solid-state imaging device in the embodiment.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the depth acquisition device according to the embodiment.
  • FIG. 5 is a block diagram illustrating another example of the functional configuration of the depth acquisition device according to the embodiment.
  • FIG. 6 is a flowchart illustrating an overall processing operation of the depth acquisition device according to the embodiment.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device according to the embodiment.
  • FIG. 2 is a schematic diagram illustrating a pixel array included in the solid-state imaging device according to the embodiment.
  • FIG. 3 is a timing chart showing the
  • FIG. 7 is a flowchart illustrating an overall processing operation by the processor of the depth acquisition device according to the embodiment.
  • FIG. 8 is a block diagram illustrating a specific functional configuration of a processor of the depth acquisition device according to the embodiment.
  • FIG. 9A is a diagram illustrating an example of an IR image.
  • FIG. 9B is a diagram illustrating an example of a BW image.
  • FIG. 10 is a diagram illustrating an example of a binarized image obtained by binarizing an IR image.
  • FIG. 11 is a diagram illustrating an example of a high-luminance area in an IR image.
  • FIG. 12 is a diagram showing a region of the BW image corresponding to a high luminance region of the IR image.
  • FIG. 9A is a diagram illustrating an example of an IR image.
  • FIG. 9B is a diagram illustrating an example of a BW image.
  • FIG. 10 is a diagram illustrating an example of a binarized image obtained by bin
  • FIG. 13 is a diagram illustrating an example of a flare area detected from an IR image.
  • FIG. 14 is a diagram illustrating a simulation result of the depth acquisition device according to the embodiment.
  • FIG. 15 is a flowchart showing the overall processing operation of the depth acquisition device shown in FIG.
  • FIG. 16 is a flowchart showing the detailed processing of steps S31 to S34 in FIG.
  • FIG. 17 is a flowchart illustrating an example of a process instead of steps S31 to S34 in FIG.
  • FIG. 18 is a flowchart showing another example of the processing in place of steps S31 to S34 in FIG.
  • FIG. 19 is a flowchart showing another example of the processing in place of steps S31 to S34 in FIG.
  • FIG. 20 is a block diagram illustrating an example of a functional configuration of the depth acquisition device according to the first modification of the embodiment.
  • FIG. 21 is a block diagram illustrating another example of the functional configuration of the depth acquisition device according to the first modification of the embodiment.
  • FIG. 22 is a flowchart illustrating a processing operation of the flare detection unit according to the second modification of the embodiment.
  • FIG. 23 is a flowchart illustrating an overall processing operation of the depth acquisition device according to the third modification of the embodiment.
  • FIG. 24 is a flowchart showing a detailed process of steps S31a to S34a of FIG.
  • FIG. 25 is a flowchart illustrating an example of a process instead of steps S31a to S34a of FIG.
  • FIG. 26 is a flowchart showing another example of the processing in place of steps S31a to S34a in FIG.
  • the distance measuring device of Patent Literature 1 irradiates a light from a light source to a subject, captures an image of the illuminated subject, acquires an image, and measures the depth of the image.
  • TOF Time @ Of @ Flight
  • imaging under different imaging conditions is performed in order to improve ranging accuracy. That is, the distance measuring device performs imaging according to the predetermined imaging condition, and sets an imaging condition different from the predetermined imaging condition according to the imaging result. Then, the distance measuring device performs imaging again according to the set imaging conditions.
  • an image obtained by imaging may have flare, ghost, or saturation of luminance.
  • the depth cannot be accurately measured only from the image in which the flare or the like occurs.
  • the imaging conditions are changed, it may be difficult to easily suppress the occurrence of flare or the like.
  • the ranging device mounted on the vehicle repeats imaging under different imaging conditions while the vehicle is running, the viewpoint positions of the repeatedly performed imaging are different, and thus each scene of the obtained plurality of images is different. Will be different. That is, imaging cannot be repeated for the same scene, and the depth of an image in which the scene is projected, particularly the depth of an area where flare or the like occurs, cannot be appropriately estimated.
  • a depth acquisition device includes a memory and a processor, wherein the processor transmits timing information indicating a timing at which a light source irradiates an object with infrared light.
  • Acquired in accordance with the timing indicated by the timing information, obtained by imaging based on infrared light of a scene including the subject, acquire an infrared image held in the memory, and the infrared image Imaging based on visible light of substantially the same scene, obtained by imaging at substantially the same viewpoint and imaging time as the infrared image, to obtain a visible light image held in the memory, A flare area is detected from the infrared image, and a depth of the flare area is estimated based on the infrared image, the visible light image, and the flare area.
  • the flare area is an area where flare, ghost, saturation of luminance, or smear occurs.
  • the flare area is detected from the infrared image, and in the flare area, since the depth is estimated based on not only the infrared image but also the visible light image, it is possible to appropriately obtain the depth of the flare area.
  • the scene to be imaged is substantially the same between the infrared image and the visible light image, and the viewpoint and the imaging time are also substantially the same.
  • an example of an image of substantially the same scene captured at substantially the same viewpoint and imaging time is an image captured by different pixels of the same image sensor.
  • Such an image is similar to each of the red, green, and blue channel images of a color image captured by the color filter of the Bayer array, and the angle of view, viewpoint, and imaging time of each image are substantially equal.
  • the images of substantially the same scene captured at substantially the same viewpoint and imaging time do not differ by more than two pixels in the position of the subject in each captured image.
  • a scene includes a point light source having visible light and infrared components, and only one pixel is captured with high luminance in the visible light image, the pixel position where the visible light image is captured also in the infrared image
  • the point light source is imaged in the vicinity of the two pixels corresponding to.
  • substantially the same imaging time indicates that the difference between the imaging times is equal in one frame or less. Therefore, the infrared image and the visible light image have a high correlation.
  • flare and the like are phenomena depending on the wavelength, and even if flare or the like occurs in an infrared image, it is highly possible that flare or the like does not occur in a visible light image. Therefore, the missing information in the flare area can be compensated for from the area in the visible light image corresponding to the flare area (that is, the corresponding area). As a result, the depth of the flare region can be appropriately acquired.
  • the processor estimates first depth information indicating a depth at each position in the infrared image, and calculates each depth in the flare area indicated by the first depth information.
  • second depth information indicating the corrected depth at each position in the flare area is estimated, and further indicated by the first depth information.
  • Third depth information indicating the depth of the infrared image at each position outside the flare region and the depth indicated by the second depth information at each position within the flare region of the infrared image. May be generated.
  • TOF or the like may be applied to the infrared image.
  • the third depth information indicates the depth obtained from the infrared image as the depth outside the flare region of the infrared image, and is obtained from the infrared image as the depth of the flare region of the infrared image, 5 shows the depth corrected based on the visible light image. Therefore, even when the infrared image has a flare area, the entire depth of the infrared image can be appropriately estimated.
  • the processor may detect, as the flare region, a region of the infrared image having a luminance equal to or greater than a first threshold.
  • the flare area is appropriately detected by detecting, as the flare area, an area of the infrared image having the brightness equal to or higher than the first threshold. can do.
  • the processor detects, as the flare region, a region in the infrared image that has a luminance equal to or greater than a first threshold value and that satisfies a predetermined condition.
  • the predetermined condition is that the correlation value between the image feature amount in the region of the infrared image and the image feature amount in the region of the visible light image corresponding to the region is less than a second threshold value. It may be a condition.
  • the image feature amount in each region of the infrared image and the visible light image may be an edge included in an image in the region.
  • the image feature amount in each region of the infrared image and the visible light image may be luminance in the region.
  • the correlation between the image feature amount in the flare region of the infrared image and the image feature amount in the visible light image region corresponding to the flare region tends to be low. Therefore, by detecting, as a flare region, a region having a high luminance and a low correlation of the image feature amount in the infrared image, the flare region can be more appropriately detected.
  • the processor may include, for each of at least one high-luminance area having a luminance equal to or higher than a first threshold value in the infrared image, (i) converting the image in the high-luminance area into a CENSUS (Ii) obtaining a second converted image by performing CENSUS conversion on an image in an area of the visible light image corresponding to the high-brightness area; Among the luminance regions, a high luminance region in which the Hamming distance between the first converted image and the second converted image exceeds a third threshold may be detected as the flare region.
  • the flare area can be appropriately detected.
  • the processor estimates the depth of the flare region, estimates depth information indicating the depth at each position in the infrared image, the infrared image, the visible light image, the flare region, and the By inputting the depth information into the learning model, the depth at each position in the flare area indicated by the depth information may be corrected.
  • the learning model is trained in advance so that the correct depth at each position in the flare area is output in response to the input of the infrared image, the visible light image, the flare area, and the depth information.
  • the depth information estimated from the infrared image can be appropriately corrected. That is, the depth can be appropriately corrected at each position in the flare area indicated by the depth information.
  • a depth acquisition device includes a memory and a processor, wherein the processor acquires timing information indicating a timing at which a light source irradiates the subject with infrared light, and obtains timing information based on the timing information.
  • the processor acquires timing information indicating a timing at which a light source irradiates the subject with infrared light, and obtains timing information based on the timing information.
  • the timing shown obtained by imaging based on infrared light of a scene including the subject, to obtain an infrared image held in the memory, to obtain a scene substantially the same as the infrared image of the scene
  • An image based on visible light which is obtained by imaging at substantially the same viewpoint and imaging time as the infrared image, acquires a visible light image held in the memory, and acquires each image in the infrared image.
  • the depth information is indicated by the depth information. Is, the depth at each position in the flare region of the infrared image may be corrected.
  • the learning model to learn in advance so that the depth of the correct answer at each position in the flare area of the infrared image is output in response to the input of the infrared image, the visible light image, and the depth information.
  • the depth information estimated from the infrared image can be appropriately corrected. That is, the depth at each position in the flare area indicated by the depth information can be appropriately corrected without detecting the flare area.
  • a depth acquisition device includes a memory and a processor, wherein the processor acquires an infrared image held in the memory, wherein the infrared image is Obtain a visible light image obtained by imaging based on infrared light and held in the memory, wherein the visible light image is visible at substantially the same viewpoint and imaging time as the infrared image.
  • a region where a flare is projected is detected as a flare region from the infrared image obtained by imaging based on light, and a depth of the flare region is estimated based on the flare region.
  • the flare region is estimated to have a depth based on the visible light image, and the other region is the infrared region. The depth is estimated based on the image.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program.
  • a recording medium may be realized by an arbitrary combination of recording media.
  • the recording medium may be a non-transitory recording medium.
  • each drawing is a schematic diagram and is not necessarily strictly illustrated.
  • the same components are denoted by the same reference numerals.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the depth acquisition device 1 according to the embodiment.
  • the depth acquisition device 1 according to the present embodiment captures an image based on infrared light (or near infrared light) and an image based on visible light for substantially the same scene, and substantially It has a hardware configuration that can be acquired by imaging at the same viewpoint and imaging time.
  • substantially the same means that they are the same to the extent that the effects of the present disclosure can be obtained.
  • the depth acquisition device 1 includes a light source 10, a solid-state imaging device 20, a processing circuit 30, a diffusion plate 50, a lens 60, and a bandpass filter 70.
  • the light source 10 emits irradiation light. More specifically, the light source 10 emits irradiation light to irradiate the subject at a timing indicated by the light emission signal generated by the processing circuit 30.
  • the light source 10 includes, for example, a capacitor, a driving circuit, and a light emitting element, and emits light by driving the light emitting element with electric energy stored in the capacitor.
  • the light emitting element is realized by, for example, a laser diode, a light emitting diode, or the like.
  • the light source 10 may be configured to include one type of light emitting element, or may be configured to include a plurality of types of light emitting elements according to the purpose.
  • the light emitting element is, for example, a laser diode that emits near infrared light, a light emitting diode that emits near infrared light, or the like.
  • the irradiation light emitted by the light source 10 need not be limited to near-infrared light.
  • the irradiation light emitted by the light source 10 may be, for example, infrared light in a frequency band other than near-infrared light (also referred to as infrared light).
  • the irradiation light emitted from the light source 10 will be described as infrared light, but the infrared light may be near infrared light, or infrared light in a frequency band other than near infrared light. It may be.
  • the solid-state imaging device 20 captures an image of a subject and outputs an imaging signal indicating an exposure amount. More specifically, the solid-state imaging device 20 performs exposure at a timing indicated by the exposure signal generated by the processing circuit 30, and outputs an imaging signal indicating an exposure amount.
  • the solid-state imaging device 20 has a pixel array in which a first pixel that captures an image using reflected light of irradiation light reflected by a subject and a second pixel that captures an image of the subject are arranged in an array.
  • the solid-state imaging device 20 may have a logic function such as a cover glass and an AD converter as needed.
  • the description will be made on the assumption that the reflected light is infrared light.
  • the reflected light does not need to be limited to the infrared light as long as the irradiation light is light reflected by the subject.
  • FIG. 2 is a schematic diagram showing the pixel array 2 included in the solid-state imaging device 20.
  • the pixel array 2 includes a first pixel 21 (IR pixel) that captures an image using reflected light of irradiation light reflected by the subject, and a second pixel 22 (BW pixel) that captures an image of the subject.
  • IR pixel first pixel 21
  • BW pixel second pixel 22
  • the second pixels 22 and the first pixels 21 are arranged so as to be adjacent to each other in the row direction, and are arranged so as to be arranged in a stripe shape in the row direction. Instead, they may be arranged every other row (for example, every other row). That is, the first row in which the second pixels 22 are arranged adjacent to each other in the row direction and the second row in which the first pixels 21 are arranged adjacent to each other in the row direction are arranged every M rows (M is a natural number). They may be arranged alternately.
  • first row in which the second pixels 22 are arranged adjacent to each other in the row direction and the second row in which the first pixels 21 are arranged adjacent to each other in the row direction are different row intervals (the first row is different).
  • the N rows and the second rows may be arranged such that L rows are alternately repeated (N and L are different natural numbers).
  • the first pixel 21 is realized by, for example, an infrared light pixel having sensitivity to infrared light that is reflected light.
  • the second pixel 22 is realized by, for example, a visible light pixel having sensitivity to visible light.
  • the infrared light pixel includes, for example, an optical filter (also referred to as an IR filter) that transmits only infrared light, a microlens, a light receiving element serving as a photoelectric conversion unit, and a storage unit that stores charges generated by the light receiving element. It is comprised including. Therefore, an image indicating the luminance of the infrared light is expressed by the imaging signals output from the plurality of infrared light pixels (that is, the first pixels 21) included in the pixel array 2.
  • this infrared light image is also referred to as an IR image or an infrared image.
  • the visible light pixel includes, for example, an optical filter (also referred to as a BW filter) that transmits only visible light, a microlens, a light receiving element as a photoelectric conversion unit, and a storage unit that accumulates charges converted by the light receiving element. It is comprised including. Therefore, the visible light pixel, that is, the second pixel 22 outputs an imaging signal indicating luminance and color difference. That is, a color image indicating the luminance and color difference of visible light is represented by the imaging signals output from the plurality of second pixels 22 included in the pixel array 2.
  • the optical filter of the visible light pixel may transmit both the visible light and the infrared light, and may specify the visible light such as red (R), green (G), or blue (B). May be transmitted.
  • the visible light pixel may detect only the luminance of the visible light.
  • the visible light pixel that is, the second pixel 22 outputs an imaging signal indicating luminance. Therefore, a monochrome image indicating the luminance of visible light, in other words, a monochrome image, is represented by the imaging signals output from the plurality of second pixels 22 included in the pixel array 2.
  • this monochrome image is also referred to as a BW image.
  • the above-described color image and BW image are collectively referred to as a visible light image.
  • the processing circuit 30 calculates subject information relating to the subject using the imaging signal output from the solid-state imaging device 20.
  • the processing circuit 30 is configured by an arithmetic processing device such as a microcomputer, for example.
  • the microcomputer includes a processor (microprocessor), a memory, and the like, and generates a light emission signal and an exposure signal by executing a driving program stored in the memory by the processor.
  • the processing circuit 30 may use an FPGA, an ISP, or the like, and may be configured by one piece of hardware or a plurality of pieces of hardware.
  • the processing circuit 30 calculates the distance to the subject by, for example, a TOF ranging method that uses an imaging signal from the first pixel 21 of the solid-state imaging device 20.
  • FIG. 3 shows the light emission timing of the light emitting element of the light source 10 and the exposure timing of the first pixel 21 of the solid-state imaging device 20 when the processing circuit 30 calculates the distance to the subject using the TOF ranging method.
  • FIG. 6 is a timing chart showing the relationship of
  • Tp is a light emission period in which the light emitting element of the light source 10 emits irradiation light
  • Td is a reflection light in which the irradiation light is reflected by the subject after the light emitting element of the light source 10 emits irradiation light.
  • the first exposure period has the same timing as the light emission period in which the light source 10 emits the irradiation light
  • the second exposure period has the timing from the end of the first exposure period to the elapse of the light emission period Tp. It has become.
  • q1 indicates the total amount of exposure of the first pixel 21 of the solid-state imaging device 20 due to the reflected light within the first exposure period
  • q2 indicates the solid-state imaging device due to the reflected light within the second exposure period.
  • 20 shows the total amount of exposure in the first pixel 21 of FIG.
  • the emission of the irradiation light by the light emitting element of the light source 10 and the exposure by the first pixel 21 of the solid-state imaging device 20 are performed at the timing shown in FIG. (Equation 1).
  • the processing circuit 30 can calculate the distance to the subject using the imaging signal from the first pixel 21 of the solid-state imaging device 20 by using (Equation 1).
  • the plurality of first pixels 21 of the solid-state imaging device 20 may be exposed for the third exposure period Tp after the end of the first exposure period and the second exposure period.
  • the plurality of first pixels 21 can detect noise other than reflected light based on the exposure amount obtained in the third exposure period Tp. That is, the processing circuit 30 removes noise from each of the exposure amount q1 in the first exposure period and the exposure amount q2 in the second exposure period in the above (Equation 1), thereby more accurately determining the distance d to the subject. Can be calculated.
  • the processing circuit 30 may detect a subject and calculate a distance to the subject using, for example, an imaging signal from the second pixel 22 of the solid-state imaging device 20.
  • the processing circuit 30 may detect the subject and calculate the distance to the subject based on the visible light image captured by the plurality of second pixels 22 of the solid-state imaging device 20.
  • the detection of the subject may be realized, for example, by performing shape discrimination by pattern recognition based on edge detection of a singular point of the subject, or by using a learning model learned in advance, such as a process such as Deep Learning. It may be realized by.
  • the calculation of the distance to the subject may be performed using world coordinate transformation.
  • the detection of the subject may be realized by a multi-modal learning process using not only the visible light image but also the luminance and distance information of the infrared light captured by the first pixel 21.
  • the processing circuit 30 generates a light emission signal indicating a light emission timing and an exposure signal indicating an exposure timing. Then, the processing circuit 30 outputs the generated light emission signal to the light source 10 and outputs the generated exposure signal to the solid-state imaging device 20.
  • the processing circuit 30 generates and outputs an emission signal so as to cause the light source 10 to emit light at a predetermined cycle, and generates and outputs an exposure signal so as to expose the solid-state imaging device 20 at a predetermined cycle.
  • the depth acquisition device 1 may realize continuous imaging at a predetermined frame rate.
  • the processing circuit 30 includes, for example, a processor (microprocessor), a memory, and the like, and generates a light emission signal and an exposure signal by executing a driving program stored in the memory by the processor.
  • the diffusion plate 50 adjusts the intensity distribution and angle of the irradiation light. In adjusting the intensity distribution, the diffusion plate 50 makes the intensity distribution of the irradiation light from the light source 10 uniform.
  • the depth acquisition device 1 includes the diffusion plate 50, but does not have to include the diffusion plate 50.
  • the lens 60 is an optical lens that condenses light that enters from outside the depth acquisition device 1 on the surface of the pixel array 2 of the solid-state imaging device 20.
  • the bandpass filter 70 is an optical filter that transmits infrared light that is reflected light and visible light.
  • the depth acquisition device 1 includes the bandpass filter 70, but may not include the bandpass filter 70.
  • the depth acquisition device 1 having the above configuration is used by being mounted on a transportation device.
  • the depth acquisition device 1 is used by being mounted on a vehicle traveling on a road surface.
  • the transport equipment on which the depth acquisition device 1 is mounted is not necessarily limited to a vehicle.
  • the depth acquisition device 1 may be used by being mounted on a transportation device other than a vehicle, such as a motorcycle, a boat, and an airplane.
  • depth acquisition device 1 With the hardware configuration shown in FIG. 1, depth acquisition device 1 according to the present embodiment captures an IR image and a BW image for substantially the same scene, and has substantially the same viewpoint and the same viewpoint. Obtained by imaging time. Then, the depth acquisition device 1 corrects the depth at each position in the IR image obtained from the IR image using the BW image. Specifically, when a flare area described later exists in the IR image, the depth acquisition device 1 calculates the depth at each position in the flare area obtained from the IR image by using the area of the BW image corresponding to the flare area. Is corrected using the image in the box.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the depth acquisition device 1.
  • the depth acquisition device 1 includes a light source 101, an IR camera 102, a BW camera 103, a depth estimation unit 111, and a flare detection unit 112.
  • the light source 101 may include the light source 10 and the diffusion plate 50 shown in FIG.
  • the IR camera 102 may include the plurality of first pixels 21, the lens 60, and the bandpass filter 70 of the solid-state imaging device 20 illustrated in FIG. Such an IR camera 102 acquires an IR image by performing imaging based on infrared light of a scene including the subject in accordance with the timing at which the light source 101 irradiates the subject with infrared light.
  • the BW camera 103 may include the plurality of second pixels 22, the lens 60, and the bandpass filter 70 of the solid-state imaging device 20 illustrated in FIG.
  • Such a BW camera 103 is an imaging based on visible light of a scene that is substantially the same as an infrared image, and performs imaging at a viewpoint and an imaging time that are substantially the same as that of the infrared image.
  • An optical image (specifically, a BW image) is acquired.
  • the depth estimation unit 111 and the flare detection unit 112 may be realized as the function of the processing circuit 30 illustrated in FIG.
  • the flare detection unit 112 detects a flare area from an IR image based on an IR image obtained by imaging with the IR camera 102 and a BW image obtained by imaging with the BW camera 103.
  • the flare area in the present embodiment is an area where flare, ghost, saturation of luminance, or smear has occurred.
  • Flare is a fogging phenomenon of light generated when harmful light is reflected on a lens surface or a lens barrel when a lens of the IR camera 102 is directed in a strong light source direction. In the flare, the image becomes whitish and sharpness is lost.
  • ghosts are a type of flare in which light that has been repeatedly reflected intricately on the lens surface is clearly depicted as an image.
  • Smear is a phenomenon in which a linear white portion occurs when an image of a subject having a brightness difference of a predetermined level or more from the surroundings is taken by a camera.
  • flare a phenomenon including at least one of flare, ghost, luminance saturation, and smear.
  • the depth estimating unit 111 estimates the depth at each position in the IR image including the flare area detected by the flare detecting unit 112. Specifically, the depth estimation unit 111 acquires an IR image obtained by the IR camera 102 taking an image in accordance with the timing of irradiating the subject with infrared light from the light source 101, and based on the IR image. To estimate the depth at each position in the IR image. Further, the depth estimation unit 111 corrects the depth at each position estimated in the flare area detected by the flare detection unit 112 based on the BW image. That is, the depth estimating unit 111 estimates the depth of the flare area based on the IR image, the BW image, and the flare area.
  • FIG. 5 is a block diagram showing another example of the functional configuration of the depth acquisition device 1.
  • the depth acquisition device 1 may include the memory 200 and the processor 110.
  • the processor 110 may include not only the depth estimation unit 111 and the flare detection unit 112 but also a light emission timing acquisition unit 113, an IR image acquisition unit 114, and a BW image acquisition unit 115, as shown in FIG. . Note that these components are realized as functions of the processor 110.
  • the light emission timing acquisition unit 113 acquires timing information indicating the timing at which the light source 101 irradiates the subject with infrared light. That is, the light emission timing acquisition section 113 outputs the light emission signal shown in FIG. 1 to the light source 101, thereby acquiring information indicating the output timing as the above-described timing information.
  • the IR image acquisition unit 114 acquires an IR image obtained by imaging a scene including a subject based on infrared light in accordance with the timing indicated by the timing information and held in the memory 200.
  • the BW image acquisition unit 115 is an image based on visible light of a scene substantially the same as the above-described IR image, and is obtained by imaging at the same viewpoint and imaging time as the IR image. Acquire the stored BW image.
  • the flare detecting section 112 detects a flare area from the IR image, and the depth estimating section 111 estimates the depth based on the IR image, the BW image, and the flare area.
  • the depth acquisition device 1 in the present embodiment may include the processor 110 and the memory 200 without including the light source 101, the IR camera 102, and the BW camera 103.
  • FIG. 6 is a flowchart showing the overall processing operation of the depth acquisition device 1.
  • Step S11 First, the light source 101 emits infrared light to a subject by emitting light.
  • the IR camera 102 acquires an IR image. That is, the IR camera 102 captures an image of a scene including a subject irradiated with infrared light by the light source 101. Thereby, the IR camera 102 acquires an IR image based on the infrared light reflected from the subject. Specifically, the IR camera 102 acquires an IR image obtained by the respective timings and exposure amounts of the first exposure period, the second exposure period, and the third exposure period shown in FIG.
  • Step S13 the BW camera 103 acquires a BW image. That is, the BW camera 103 acquires a BW image corresponding to the IR image acquired in step S12, that is, a BW image of the same scene and the same viewpoint as the IR image.
  • Step S14 the flare detection unit 112 detects a flare area from the IR image acquired in step S12.
  • Step S15 the depth estimating unit 111 estimates the depth of the flare region based on the IR image acquired in step S12, the BW image acquired in step S13, and the flare region detected in step S14.
  • FIG. 7 is a flowchart showing the overall processing operation by the processor 110 of the depth acquisition device 1.
  • Step S21 the light emission timing acquisition unit 113 of the processor 110 acquires timing information indicating the timing at which the light source 101 irradiates the subject with infrared light.
  • the IR image acquisition unit 114 acquires an IR image from the IR camera 102 that has taken an image in accordance with the timing indicated by the timing information acquired in step S21. For example, the IR image acquisition unit 114 outputs an exposure signal to the IR camera 102 at a timing when the light emission signal shown in FIG. Thereby, the IR image acquisition unit 114 causes the IR camera 102 to start imaging, and acquires an IR image obtained by the imaging from the IR camera 102. At this time, the IR image acquisition unit 114 may acquire the IR image from the IR camera 102 via the memory 200, or may acquire the IR image directly from the IR camera 102.
  • Step S23 the BW image acquisition unit 115 acquires from the BW camera 103 a BW image corresponding to the IR image acquired in step S22.
  • the BW image obtaining unit 115 may obtain the BW image from the BW camera 103 via the memory 200, or may obtain the BW image directly from the BW camera 103.
  • Step S24 the flare detection unit 112 detects a flare area from the IR image.
  • Step S25 the depth estimating unit 111 estimates the depth of the flare area based on the IR image acquired in step S22, the BW image acquired in step S23, and the flare area detected in step S24. Thereby, depth information indicating at least the depth of the flare area is calculated. At this time, the depth estimating unit 111 may estimate not only the flare area but also the entire depth of the IR image, and calculate depth information indicating the estimation result.
  • the depth estimating unit 111 in the present embodiment estimates the depth at each position in the IR image from the IR image acquired in step S22. Then, the depth estimation unit 111 corrects the depth at each position in the flare area using the BW image. Note that each position may be a position of each of a plurality of pixels, or may be a position of a block including a plurality of pixels.
  • a flare area is detected from an IR image, and the depth of the flare area is estimated based on not only the IR image but also the BW image. Depth can be acquired appropriately. That is, the scene to be imaged is substantially the same between the IR image and the BW image, and the viewpoint and the imaging time are also substantially the same. Therefore, the IR image and the BW image have a high correlation. Further, flare and the like are phenomena dependent on the wavelength. Even if flare or the like occurs in an IR image, there is a high possibility that flare or the like does not occur in a BW image. Therefore, the missing information in the flare area can be supplemented from the area in the BW image corresponding to the flare area (that is, the corresponding area). As a result, the depth of the flare region can be appropriately acquired.
  • FIG. 8 is a block diagram illustrating a specific functional configuration of the processor 110 of the depth acquisition device 1.
  • the processor 110 includes a first depth estimating unit 111a, a second depth estimating unit 111b, a flare detecting unit 112, a high-luminance region detecting unit 116, a first edge detecting unit 117IR, a second edge detecting unit 117BW, and an output unit 118.
  • the first depth estimating unit 111a and the second depth estimating unit 111b correspond to the depth estimating unit 111 illustrated in FIG.
  • the processor 110 may include the light emission timing acquisition unit 113, the IR image acquisition unit 114, and the BW image acquisition unit 115 described above.
  • the high-luminance area detection unit 116 detects an area having a luminance equal to or higher than the first threshold in the IR image as a high-luminance area.
  • the first edge detector 117IR detects an edge in the IR image.
  • the second edge detector 117BW detects an edge in the BW image.
  • the flare detection unit 112 detects, for each of at least one high-luminance region in the IR image, an edge detected for the high-luminance region, and an edge detected for the region in the BW image corresponding to the high-luminance region. And compare it with the edge. By this comparison, the flare detection unit 112 determines whether or not the high brightness area is a flare area. That is, the flare area is detected by this determination. In other words, the flare detection unit 112 performs the region division of the IR image by discriminating the captured IR image into a flare region and a non-flare region that is not a flare region.
  • flare and the like are phenomena dependent on the wavelength of light. Therefore, flare or the like generated in the IR image often does not occur in the BW image.
  • an IR image and a BW image have a strong correlation.
  • the correlation value between the edge of the area where the flare is generated and the edge of the area of the BW image corresponding to the area. Will be lower.
  • the flare detection unit 112 in the present embodiment determines the flare area from the captured IR image using this relationship.
  • the flare detection unit 112 detects, as a flare area, an area in the IR image that has a luminance equal to or higher than the first threshold and that satisfies a predetermined condition.
  • the predetermined condition is a condition that the correlation value between the image feature amount in the region of the IR image and the image feature amount in the region of the BW image corresponding to the region is less than the second threshold.
  • the image feature amount in each area of the IR image and the BW image is an edge included in the image in that area.
  • the area of the BW image corresponding to the area of the IR image is an area located at the same position as the area of the IR image and having the same shape and size as the area of the IR image.
  • a flare area can be detected more appropriately by detecting, as a flare area, an area having a high luminance and a low correlation of the image feature amount in the IR image.
  • the first depth estimating unit 111a and the second depth estimating unit 111b have a function as the above-described depth estimating unit 111.
  • the first depth estimating unit 111a estimates the depth at each position in the IR image based on the IR image acquired in accordance with the infrared light irradiation timing of the light source 101.
  • the first depth estimating unit 111a outputs information indicating the estimated depth at each position in the IR image as first depth information. That is, the first depth estimating unit 111a estimates the first depth information indicating the depth at each position in the IR image.
  • the second depth estimating unit 111b corrects the first depth information based on the BW image and the flare area in the IR image. This corrects the depth of the flare area among the depths at each position in the IR image indicated by the first depth information.
  • the second depth estimating unit 111b outputs information indicating the corrected depth at each position in the flare area as second depth information. That is, the second depth estimating unit 111b corrects the depth at each position in the flare region indicated by the first depth information based on the BW image, and thereby the corrected depth at each position in the flare region. Is estimated.
  • the output unit 118 replaces the depth at each position in the flare area indicated by the first depth information with the corrected depth at each position in the flare area indicated by the second depth information. Thereby, the depth at each position other than the flare region of the IR image indicated by the first depth information and the corrected depth at each position within the flare region of the IR image indicated by the second depth information are calculated.
  • the third depth information is generated.
  • the output unit 118 outputs the third depth information.
  • the third depth information indicates the depth obtained from the IR image as the depth outside the flare region of the IR image, and is obtained from the IR image as the depth of the flare region of the IR image, and is based on the BW image. Indicates the corrected depth. Therefore, in the present embodiment, even when there is a flare area in the IR image, the entire depth of the IR image can be appropriately estimated.
  • FIG. 9A shows an example of an IR image.
  • FIG. 9B shows an example of a BW image.
  • the BW image shows a scene where a signboard is placed on the road.
  • the signboard includes, for example, a material that easily reflects infrared light. Therefore, when the IR camera 102 captures the same scene as the scene shown in FIG. 9B from the same viewpoint as the viewpoint of the BW camera 103, the IR image shown in FIG. 9A is obtained.
  • a flare of high luminance occurs in a region including a range corresponding to the signboard of the BW image. This is because the infrared light from the light source 101 is specularly reflected on the signboard on the road, and the infrared light having a high intensity enters the IR camera 102 as reflected light. Materials that easily reflect infrared light are often used for clothes worn by construction workers or for a plurality of poles standing along a road. Therefore, when a scene including a subject using such a material is captured, there is a high possibility that flare or the like will occur in the IR image. However, it is unlikely that flare or the like will occur in the BW image.
  • the correlation between the image feature amount of the flare region of the IR image and the image feature amount of the BW image region corresponding to the flare region becomes low.
  • the correlation between the image feature amount of the region other than the flare region of the IR image (that is, the non-flare region) and the image feature amount of the BW image region corresponding to the non-flare region becomes higher.
  • FIG. 10 shows an example of a binarized image obtained by binarizing an IR image.
  • the high-luminance area detection unit 116 detects, as a high-luminance area, an area having a luminance equal to or higher than the first threshold in the IR image illustrated in FIG. That is, the high-luminance area detection unit 116 binarizes the luminance at each position (that is, each pixel) in the IR image. As a result, for example, as shown in FIG. 10, a binary image including a white region and a black region (hatched region in FIG. 10) is generated.
  • FIG. 11 shows an example of a high-luminance area in an IR image.
  • the high-luminance area detection unit 116 detects a white area in the binarized image as a high-luminance area. For example, as shown in FIG. 11, when six white regions are included in the binarized image, the high luminance region detection unit 116 detects the six white regions as high luminance regions A to F. That is, the IR image or the binarized image is divided into six high-luminance regions A to F and a non-high-luminance region that is not a high-luminance region.
  • FIG. 12 shows a region of the BW image corresponding to the high-luminance region of the IR image.
  • the flare detection unit 112 specifies, for each of at least one high-luminance region in the binarized image (that is, the IR image), the image feature amount of the region in the BW image corresponding to the high-luminance region.
  • the image feature amount is, for example, an edge.
  • the area in the BW image corresponding to the high-luminance area is spatially located at the same position as the high-luminance area in the binarized image or the IR image, and has the same shape and size as the high-luminance area. Area.
  • an area in the BW area corresponding to such an IR image area is also referred to as a corresponding area.
  • the flare detection unit 112 determines the image characteristics of the areas corresponding to the high luminance areas A to F in the BW image. Specify the quantity.
  • FIG. 13 shows an example of a flare area detected from an IR image.
  • the flare detection unit 112 determines whether or not each of the high luminance areas A to F is a flare area. That is, the flare detection unit 112 compares the image feature amount of the high-brightness area A in the IR image with the image feature amount of the corresponding area in the BW image corresponding to the high-brightness area A, thereby obtaining the high brightness. It is determined whether the area is a flare area. As a result, for example, as shown in FIG. 13, the flare detection unit 112 determines that the high luminance areas A, C, D, and E among the high luminance areas AF are flare areas.
  • FIG. 14 shows a simulation result of the depth acquisition device 1.
  • the depth acquisition device 1 acquires the BW image shown in FIG. 14A by imaging with the BW camera 103, and further acquires the IR image shown in FIG. 14B by imaging with the IR camera 102.
  • the BW image and the IR image are images obtained by imaging the same scene from the same viewpoint and the same imaging time. In the example shown in FIG. 14B, a large flare area occurs at the right end of the IR image.
  • the first depth estimating unit 111a generates first depth information shown in FIG. 14C by estimating the depth from the IR image.
  • This first depth information is expressed as a first depth image indicating the depth at each position in the IR image by luminance. In the first depth image, the depth of the flare area is inappropriately expressed.
  • the second depth estimating unit 111b corrects inappropriate depth in the flare area. Then, the output unit 118 generates third depth information indicating the corrected depth of the flare area and the depth of the non-flare area, as shown in (e) of FIG. This third depth information is also expressed as a third depth image indicating the depth by luminance, similarly to the first depth information. Note that the second depth estimating unit 111b may also correct the depth of the non-flare area in the first depth image based on the image feature amount of the corresponding area of the BW image.
  • the third depth image can be made closer to the correct depth image shown in FIG.
  • FIG. 15 is a flowchart showing the overall processing operation of the depth acquisition device 1 shown in FIG.
  • Step S31 First, the high-luminance area detection unit 116 detects a high-luminance area from the IR image.
  • Step S32 The first edge detector 117IR detects an edge in the IR image.
  • Step S33 The second edge detector 117BW detects an edge in the BW image.
  • Step S34 The flare detection unit 112 compares the edge in the high-brightness region with the edge in the corresponding region of the BW image for each of at least one high-brightness region of the IR image, thereby detecting the flare region in the IR image. To detect. That is, when the correlation value between the edge in the high brightness area and the edge in the corresponding area of the BW image is less than the second threshold, the flare detection unit 112 detects the high brightness area as the flare area.
  • the IR image is divided into at least one flare region and a non-flare region.
  • the first depth estimating unit 111a generates first depth information from the IR image using, for example, TOF.
  • Step S36 The second depth estimating unit 111b generates second depth information indicating the depth of the flare area based on the first depth information of the IR image and the BW image.
  • Step S37 The output unit 118 generates third depth information by replacing the depth of the flare area indicated by the first depth information with the depth indicated by the second depth information.
  • FIG. 16 is a flowchart showing a detailed process of steps S31 to S34 in FIG.
  • the high-luminance area detection unit 116 determines whether or not the luminance at each position in the IR image is equal to or greater than the first threshold.
  • the first threshold value may be about 1500, for example, when the IR image is a 12-bit gradation image.
  • the first threshold value may be a value that changes according to environmental conditions or settings of the IR camera 102. For example, when a dark scene such as a night is captured, the luminance of the entire IR image is low. Therefore, the first threshold value may be smaller than when a bright daytime scene is captured.
  • the first threshold value may be a larger value than when the exposure time is short.
  • Step S42 if it is determined that the luminance at any position is not equal to or greater than the first threshold (No in step S41), the high-luminance area detection unit 116 determines that no flare has occurred in the IR image (step S42). . That is, the entire IR image is determined as a non-flare area.
  • Step S43 On the other hand, when it is determined that the luminance at any position is equal to or greater than the first threshold (Yes in step S41), the high-luminance area detection unit 116 divides the IR image into areas. That is, the high-luminance area detection unit 116 divides the IR image into at least one high-luminance area and an area other than the high-luminance area. For this area division, for example, a method based on luminance such as SuperPixel may be used.
  • the first edge detection unit 117IR and the second edge detection unit 117BW perform edge detection on each of the IR image and the BW image.
  • the edge detection the Canny method or the Sobel filter may be used.
  • the flare detection unit 112 compares, for each of at least one high-luminance region of the IR image, an edge in the high-luminance region with an edge in a BW image region corresponding to the high-luminance region. That is, the flare detection unit 112 determines whether the correlation value between the edge in the high brightness area of the IR image and the edge in the corresponding area of the BW image is equal to or greater than the second threshold.
  • the correlation value is obtained by arranging each value output by edge detection for each of the IR image and the BW image in a vector form for each area and normalizing the inner product value.
  • the flare detection unit 112 calculates a vector composed of a plurality of values obtained by edge detection in a high-luminance region of the IR image and a plurality of values obtained by edge detection in a BW image region corresponding to the high-luminance region. Normalize the inner product value with the vector consisting of Thereby, the correlation value for the high luminance area is calculated.
  • Step S46 when it is determined that the correlation value is not equal to or larger than the second threshold, that is, is smaller than the second threshold (No in step S45), the flare detection unit 112 determines the high luminance area as the flare area. In other words, since there is no edge correlation between the region where the flare or the like in the IR image occurs due to the influence of flare or the like and the corresponding region of the BW image, the flare detecting unit 112 The high brightness area is determined as a flare area.
  • step S45 determines in step S45 that the correlation value is equal to or greater than the second threshold, that is, is not less than the second threshold (Yes in step S45), no flare or the like occurs in the high luminance region. Is determined. That is, the flare detection unit 112 determines the high luminance area as a non-flare area.
  • an IR image and a BW image whose viewpoint positions are substantially equal are required.
  • a filter used for the pixel is set to one of an IR filter and a BW filter. That is, as shown in FIG. 2, the first pixels 21 having the IR filter and the second pixels 22 having the BW filter are alternately arranged in the column direction. Thereby, since the IR image and the BW image of substantially the same viewpoint can be acquired, the flare area can be appropriately determined.
  • the edge is used for discriminating the flare area and the non-flare area.
  • the edge does not have to be used for the discrimination.
  • the correlation values of the luminances of the IR image and the BW image may be used.
  • the IR image and the BW image have a strong correlation, but the correlation is weak in a region where the flare or the like occurs. Therefore, the flare area can be appropriately determined by using the correlation between the luminances of the IR image and the BW image.
  • FIG. 17 is a flowchart showing an example of a process instead of steps S31 to S34 in FIG.
  • FIG. 17 is a flowchart illustrating a flare area detection process using the correlation between the luminances of the IR image and the BW image.
  • the same steps as those in FIG. 16 are denoted by the same reference numerals, and a detailed description thereof will be omitted.
  • the flowchart shown in FIG. 17 differs from the flowchart shown in FIG. 16 in that step S44 is not included and step S45a is included instead of step S45.
  • Step S45a the flare detection unit 112 determines, for each of the high-brightness regions obtained by the region division in step S43, the brightness of each pixel in the high-brightness region and each pixel in the BW image region corresponding to the high-brightness region. Calculate the correlation value between the luminance of the image and the luminance of the image.
  • the correlation value is obtained by arranging the luminance of each pixel of the IR image and the BW image in a vector for each area, and normalizing the inner product value by the number of pixels.
  • the flare detection unit 112 normalizes the inner product value of the vector composed of the luminance of each pixel in the high luminance region of the IR image and the vector composed of the luminance of each pixel in the corresponding region of the BW image. As a result, a correlation value for the high luminance area is calculated.
  • the flare detection unit 112 determines that flare or the like has not occurred in the high luminance area (step S42).
  • the correlation value is less than the second threshold (No in step S45a)
  • the luminance of each pixel in the high luminance area of the IR image and the luminance of each pixel in the corresponding area of the BW image are affected by flare and the like.
  • the correlation is low. Therefore, in such a case, the flare detection unit 112 determines the high luminance area as a flare area (step S46).
  • the image feature amount in each of the IR image and the BW image used for detecting the flare region is an edge included in the image in the region.
  • the brightness is within the area.
  • the correlation between the luminance in the flare region of the IR image and the luminance in the region of the BW image corresponding to the flare region tends to be low. Therefore, the flare area can be detected more appropriately by detecting, as the flare area, an area having a high luminance and a low correlation of the luminance in the IR image.
  • the evaluation value for discriminating between the flare area and the non-flare area does not need to be a correlation value.
  • a Hamming distance and CENSUS conversion may be used.
  • the CENSUS conversion is disclosed, for example, in Non-Patent Documents (R. Zabih and J. Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, Proc. Of ECCV, pp. 151-158, 1994).
  • a window is set in an image, and the magnitude relationship between the center pixel and the peripheral pixels of the window is converted into a binary vector.
  • FIG. 18 is a flowchart showing another example of the processing in place of steps S31 to S34 in FIG. That is, FIG. 18 is a flowchart showing a flare area detection process using the CENSUS conversion of each of the IR image and the BW image.
  • FIG. 18 the same steps as those in FIG. 16 are denoted by the same reference numerals, and detailed description will be omitted.
  • the flowchart shown in FIG. 18 differs from the flowchart shown in FIG. 16 in that steps S44b and S45b are included instead of steps S44 and S45.
  • Step S44b the flare detection unit 112 determines, for each of the high-luminance regions obtained by the region division in step S43, the image of the high-luminance region in the IR image and the image of the corresponding region in the BW image. Is subjected to CENSUS conversion. As a result, a CENSUS conversion image for the image in the high luminance area of the IR image and a CENSUS conversion image for the image in the corresponding area of the BW image are generated.
  • step S45b the flare detection unit 112 calculates the Hamming distance between the CENSUS conversion image of the IR image obtained in step S44b and the CENSUS conversion image of the BW image.
  • the flare detection unit 112 determines that no flare or the like has occurred in the high luminance area.
  • the flare detection unit 112 determines that the texture in the image of the high luminance area has disappeared due to the influence of flare or the like. .
  • the flare detection unit 112 determines the high brightness area as a flare area (step S46).
  • the flare detection unit 112 obtains the first converted image by performing CENSUS conversion on the image in the high-luminance region of each of the at least one high-luminance region having the luminance equal to or higher than the first threshold value in the IR image. I do. Then, the flare detection unit 112 obtains a second converted image by performing CENSUS conversion on an image in the BW image area corresponding to the high-luminance area. Note that the first converted image and the second converted image are the above-described CENSUS converted images. Next, the flare detection unit 112 detects, as the flare area, a high-luminance area in which the Hamming distance between the first converted image and the second converted image exceeds the third threshold value, among the at least one high-luminance area. As described above, even when the CENSUS conversion is used, the flare area can be appropriately detected.
  • ⁇ Use luminance of IR image> the correlation value between the luminance of the IR image and the luminance of the IR image and the luminance of the BW image is used to determine the flare area and the non-flare area. It doesn't matter.
  • FIG. 19 is a flowchart showing another example of the processing in place of steps S31 to S34 in FIG. That is, FIG. 19 is a flowchart showing a flare area detection process using only the luminance of the IR image.
  • FIG. 19 the same steps as those in FIG. 16 are denoted by the same reference numerals, and detailed description will be omitted.
  • steps S43 to S45 shown in FIG. 16 are omitted.
  • the flare detection unit 112 determines whether or not the luminance of the pixel in the IR image is equal to or more than the first threshold in step S41.
  • the flare detection unit 112 determines that no flare has occurred in a region including the pixel (step S42).
  • the flare detection unit 112 determines that flare has occurred in a region including the pixel. That is, the flare detection unit 112 determines that area as a flare area (step S46).
  • the flare detection unit 112 detects a region having a luminance equal to or greater than one threshold in the IR image as a flare region. Since the luminance in the flare area tends to be higher than the luminance outside the flare area, the flare area is appropriately detected by detecting, as the flare area, an area of the IR image having the luminance equal to or more than the first threshold value. be able to.
  • the discrimination between the flare area and the non-flare area may be realized by using a learning process.
  • a learning process for example, a process such as Deep @ Learning may be used.
  • an IR image and a BW image and a correct image obtained by dividing the IR image into a flare area and a non-flare area are prepared in advance.
  • the IR image and the BW image are given as inputs to the learning model.
  • the learning model is trained so that the output from the learning model corresponding to the input matches the correct image.
  • the learning model is a neural network.
  • the output from the learning model is an image showing a numerical value “0” or a numerical value “1” for each pixel, where a numerical value “0” indicates that the pixel belongs to the non-flare area, and a numerical value “1”. Indicates that the pixel belongs to the flare area.
  • the flare detection unit 112 determines a flare area and a non-flare area by using the learning model that has been learned in advance in this way. That is, the flare detection unit 112 inputs an IR image and a BW image to the learning model as inputs. Then, the flare detection unit 112 determines a region including a pixel corresponding to the numerical value “0” output from the learning model as a non-flare region. Further, the flare detection unit 112 determines a region including a pixel corresponding to the numerical value “1” output from the learning model as a flare region.
  • the flare detection unit 112 divides the captured IR image into a flare area where a flare or the like occurs and a non-flare area.
  • the second depth estimating unit 111b generates the second depth information using the BW image, the first depth information, and the flare area (that is, the above-described area determination result).
  • Flare is a phenomenon that depends on the wavelength of light. Therefore, flare or the like generated in the IR image often does not occur in the BW image. Therefore, by correcting the first depth information using the BW image instead of the first depth information obtained from the IR image only for the flare region, the second depth not affected by flare or the like generated in the IR image Information can be obtained.
  • a guided filter which is a type of image correction filter, may be used.
  • the guided filter is a filter that corrects the target image using the correlation between the target image and the reference image.
  • the reference image I and the target image p are represented by parameters a and b as shown in the following (Equation 2).
  • Equation 3 q is an output image obtained by correcting the target image p, i is the number of each pixel, and ⁇ k is a peripheral area of the pixel k.
  • Equation 3 The parameters a and b are expressed by the following (Equation 3).
  • ⁇ is a regularization parameter.
  • ⁇ and ⁇ are the average and the variance in the block of the reference image, and are calculated by the following (Equation 4).
  • the second depth estimating unit 111b corrects the first depth information (or the first depth image) as the target image by giving the BW image as the reference image. Thereby, the second depth information is generated or obtained. Generation of such second depth information requires an IR image and a BW image having substantially the same viewpoint position.
  • the filter used for that pixel is set to one of the IR filter and the BW filter. That is, as shown in FIG. 2, the first pixels 21 having the IR filter and the second pixels 22 having the BW filter are alternately arranged in the column direction. Thereby, since an IR image and a BW image of substantially the same viewpoint can be acquired, appropriate second depth information can be acquired.
  • the second depth estimation unit 111b may use processing other than the guided filter.
  • the second depth estimating unit 111b includes a bilateral filter (Non-patent literature: C. Tomasi, R. Manduchi, “Bilateral filtering for gray and color images”, IEEE International Conference on Computer Vision (ICCV), pp. 839- 846, 1998) or Mutual-Structure for Joint Filtering (non-patent literature: Xiaoyong Shen, Chao Zhou, Li Xu and Jiaya Jia, "Mutual-Structure for Joint Filtering, International Conference on Computers, International Conference on Computers, International Conference on Computers” .) May be used.
  • the first depth information is used for an area determined to have no flare or the like (ie, a non-flare area), and an area where a flare or the like has occurred (ie, a flare area).
  • a non-flare area an area where a flare or the like has occurred
  • the second depth information Uses the second depth information.
  • Modification 1 In the above embodiment, a filter such as a guided filter is used to generate the second depth information.
  • the second depth information may be generated using a learning model.
  • Non-Patent Documents (Shuran Song, Fisher Yu, Andy Zeng, Angel X. Chang, Manolis Savva and Thomas Funkhouser, “SemanticletScene Completion from a Single Depth Image”, IEEE Conference on Puter Computer Computer Reservation Deep learning, which is a learning process, may be used, as shown in. $ 190-198, $ 2017. That is, the learning model may be made to learn such that the second depth information is output when the BW image and the first depth information are input.
  • a network that interpolates a missing area of the depth information is proposed.
  • the second depth estimating unit 111b in this modification gives an IR image, a BW image, and first depth information to a network (that is, a learning model) similar to that of the non-patent document, and further detects the flare detecting unit 112.
  • the flare area is given as a mask image of the defective area. As a result, more accurate second depth information can be obtained from the network.
  • FIG. 20 is a block diagram illustrating an example of a functional configuration of the depth acquisition device 1 according to the present modification.
  • the depth acquisition device 1 includes the components shown in FIG. 8 and further includes a learning model 104 composed of, for example, a neural network.
  • the second depth estimating unit 111b inputs three types of data, the IR image, the BW image, and the first depth information, to the learning model 104, and uses the flare region as a mask region to be corrected. 2 Generate depth information.
  • a correct depth image is prepared in advance in addition to the IR image, the BW image, and the first depth information.
  • an IR image, a BW image, first depth information, and a mask image specifying a flare area are input to the learning model 104.
  • the learning model 104 is made to learn so that the output from the learning model 104 corresponding to the input matches the correct depth image.
  • a mask image is given at random.
  • the second depth estimating unit 111b uses the learning model 104 that has learned in advance in this way. That is, the second depth estimation unit 111b outputs the IR image, the BW image, the first depth information, and the mask image specifying the flare area to the learning model 104, and is output from the learning model 104.
  • the second depth information can be obtained.
  • the second depth estimating unit 111b estimates the depth information indicating the depth at each position in the IR image, and converts the IR image, the BW image, the flare area, and the depth information into a learning model. , The depth at each position in the flare area indicated by the depth information is corrected. Therefore, if the learning model is trained in advance so that the correct depth at each position in the flare area is output in response to the input of the IR image, the BW image, the flare area, and the depth information, the IR image Can be appropriately corrected. That is, the depth can be appropriately corrected at each position in the flare area indicated by the depth information.
  • the second depth estimating unit 111b may use Deep @ Learning. In this case, it is not necessary to directly output the flare area, and the second depth information may be directly generated by Deep @ Learning.
  • FIG. 21 is a block diagram illustrating another example of the functional configuration of the depth acquisition device 1 according to the present modification.
  • the depth acquisition device 1 includes a flare detection unit 112, a high-luminance region detection unit 116, a first edge detection unit 117IR, and a second edge detection unit 117BW among the components illustrated in FIG. And other components.
  • a correct depth image is prepared in advance in addition to the IR image, the BW image, and the first depth information.
  • an IR image, a BW image, and first depth information are input to the learning model 104.
  • the learning model 104 is made to learn so that the output from the learning model 104 corresponding to the input matches the correct depth image.
  • G with a skip connection added as in the non-patent document caner Hazirbas, LauraTaReal-Taixe and Daniel CremersC.
  • a -16 network may be used.
  • the number of channels of the learning model 104 is changed so that the IR image, the BW image, and the first depth information are given to the learning model 104 as inputs.
  • the second depth estimation unit 111b inputs the IR image, the BW image, and the first depth information to the learning model 104, and the learning model 104 It is possible to easily obtain the second depth information from 104.
  • the depth acquisition device 1 shown in FIG. 21 includes a memory and a processor 110.
  • the memory is not shown in FIG. 21, but may be provided in the depth acquisition device 1 as shown in FIG.
  • the processor 110 acquires timing information indicating the timing at which the light source 101 irradiates the subject with infrared light.
  • the processor 110 obtains an IR image obtained by imaging the scene including the subject based on the infrared light and stored in the memory according to the timing indicated by the timing information.
  • the processor 110 obtains an image based on the visible light of the scene substantially identical to the IR image, which is obtained at substantially the same viewpoint and imaging time as the IR image, and is stored in the memory. To obtain the BW image.
  • the first depth estimating unit 111a of the processor 110 estimates depth information indicating the depth at each position in the IR image.
  • the second depth estimating unit 111b corrects the depth at each position in the flare area of the IR image indicated by the depth information. I do.
  • the learning model 104 is trained in advance so that the correct depth at each position in the flare area of the IR image is output in response to the input of the IR image, the BW image, and the depth information,
  • the depth information estimated from the image can be appropriately corrected. That is, the depth at each position in the flare area indicated by the depth information can be appropriately corrected without detecting the flare area.
  • the flare detection unit 112 may use information in the time direction to determine a flare area and a non-flare area. Flare is a phenomenon that occurs inside the IR camera 102 due to the relationship between the subject and the light source 101, not the subject itself. Therefore, when the IR camera 102 moves, the shape of the flare area changes. Therefore, the flare detection unit 112 detects a flare region candidate from the IR image by the above-described method, and determines whether or not the shape of the candidate has changed from the flare region detected in the previous IR image. If the flare detection unit 112 determines that the shape has not changed, the flare detection unit 112 may determine that the candidate is not a flare area but a non-flare area.
  • FIG. 22 is a flowchart showing the processing operation of the flare detection unit 112 in the present modification.
  • the flare detection unit 112 determines whether there is a flare area candidate in the target frame. That is, the flare detection unit 112 determines whether or not the flare area detected based on the flowcharts shown in FIGS. 16 to 19, for example, is present in the target frame as a flare area candidate instead of the final flare area. Is determined.
  • the target frame is an IR image to be determined, that is, an IR image in which the presence of a flare area is determined.
  • Step S54 When there is no flare area candidate in the target frame (No in step S51), the flare detection unit 112 determines that there is no flare in the target frame (that is, the IR image).
  • Step S52 On the other hand, when there is a candidate for a flare area in the target frame (Yes in step S51), the flare detection unit 112 determines whether or not a flare area also exists in the frame before the target frame.
  • the frame before the target frame is an IR image obtained by imaging with the IR camera 102 before the target frame.
  • Step S55 when the flare area does not exist in the frame before the target frame (No in step S52), the flare detecting unit 112 determines that the detected flare area candidate is an area generated by the flare, that is, the flare area. I do.
  • Step S53 On the other hand, when the flare area exists in the frame preceding the target frame (Yes in step S52), the flare detection unit 112 determines the shape of the flare area candidate of the target frame and the shape of the flare area of the previous frame. Compare with Here, when the shape of the candidate for the flare region of the target frame is similar to the shape of the flare region of the previous frame (Yes in step S53), the flare detection unit 112 executes the process of step S54. That is, the flare detection unit 112 updates the detected flare area candidate to a non-flare area, and determines that no flare exists in the target frame (that is, the IR image).
  • the flare detection unit 112 executes the processing of step S55. That is, the flare detection unit 112 determines that the detected candidate for the flare region is a region generated by flare, that is, a flare region.
  • the flare detection unit 112 uses information in the time direction. That is, the flare detection unit 112 uses the shape of the flare area or the candidate of the flare area in each frame acquired at different times. Thereby, the flare area and the non-flare area can be distinguished with higher accuracy.
  • the flare detection unit 112 may determine the flare area for each of a plurality of neighboring frames without determining the flare area for each frame.
  • the plurality of nearby frames are a plurality of IR images that are temporally continuously acquired by, for example, imaging by the IR camera 102. That is, the flare detection unit 112 detects flare region candidates in each of a plurality of nearby frames, for example, based on the flowcharts shown in FIGS. 16 to 19, and determines whether or not those candidates are flare regions. You may. More specifically, the flare detection unit 112 compares the shapes of the candidates for the flare region in each frame, and when the shapes of the candidates for the flare region are substantially equal, the candidates are not the flare region, that is, It is determined that it is an area. On the other hand, if the shapes of the flare area candidates are not similar, the flare detection unit 112 determines that the candidates are flare areas.
  • the flare detection unit 112 may determine whether or not the two shapes are similar by determining whether or not the similarity between the two shapes is equal to or greater than a threshold value.
  • the similarity may be calculated, for example, as a correlation value between two shapes.
  • the depth acquisition device 1 detects the flare region using the IR image and the BW image, the BW image may not be used.
  • the depth acquisition device 1 according to this modification detects a flare area using a plurality of IR original images.
  • the plurality of IR source images are, for example, an infrared image obtained in the first exposure period shown in FIG. 3 and an infrared image obtained in the second exposure period.
  • the IR camera 102 acquires a plurality of infrared images at different timings to estimate the first depth information using the TOF or the like
  • the plurality of infrared images are used.
  • each of the plurality of infrared images is called an IR original image.
  • the above-mentioned IR image is composed of the plurality of IR original images.
  • the depth acquisition device 1 determines a flare area and a non-flare area from a plurality of IR source images acquired at the time of indirect TOF.
  • the depth acquisition device 1 discriminates a flare area and a non-flare area by comparing a plurality of IR original images acquired by changing the light reception timing. This makes it possible to bring the third depth image closer to the correct depth image shown in FIG.
  • FIG. 23 is a flowchart illustrating the overall processing operation of the depth acquisition device 1 in the present modification.
  • Step S31a First, the high-luminance area detection unit 116 detects a high-luminance area from the first IR original image.
  • Step S32a The first edge detector 117IR detects an edge in the first IR original image.
  • Step S33a The second edge detection unit 117BW detects an edge in the second IR original image instead of the BW image.
  • Step S34a The flare detection unit 112 compares, for each of at least one high-luminance region of the first IR original image, an edge in the high-luminance region with an edge in a corresponding region of the second IR original image. , And a flare area in the IR image. That is, when the correlation value between the edge in the high brightness area and the edge in the corresponding area of the second IR original image is less than the fourth threshold, the flare detection unit 112 determines that the high brightness area is the flare area. Detected as Thus, the IR image is divided into at least one flare region and a non-flare region.
  • the first depth estimating unit 111a generates first depth information from the IR image using, for example, TOF.
  • Step S36 The second depth estimating unit 111b generates second depth information indicating the depth of the flare area based on the first depth information of the IR image and the BW image.
  • Step S37 The output unit 118 generates third depth information by replacing the depth of the flare area indicated by the first depth information with the depth indicated by the second depth information.
  • FIG. 24 is a flowchart showing a detailed process of steps S31a to S34a of FIG.
  • the high-luminance area detection unit 116 determines whether the luminance at each position in the first IR original image is equal to or greater than a fifth threshold.
  • the fifth threshold value may be about 1500, for example, if the first IR original image is a 12-bit gradation image.
  • the fifth threshold value may be a value that changes according to environmental conditions or settings of the IR camera 102. For example, when a dark scene such as night is imaged, the brightness of the entire first IR source image becomes low. Therefore, the fifth threshold value may be a smaller value than when a bright daytime scene is imaged. Further, when the exposure time of the IR camera 102 is long, the luminance of the entire first IR original image becomes high. Therefore, the fifth threshold value may be a larger value than when the exposure time is short.
  • Step S42a if it is determined that the luminance at any position is not equal to or greater than the fifth threshold value (No in step S41a), the high-luminance area detection unit 116 determines whether or not the IR image formed using the first IR original image It is determined that no flare has occurred (step S42). That is, the entire IR image is determined as a non-flare area.
  • Step S43a On the other hand, when it is determined that the luminance at any position is equal to or greater than the fifth threshold (Yes in step S41a), the high luminance area detection unit 116 divides the first IR original image into areas. That is, the high-luminance area detection unit 116 divides the first IR original image into at least one high-luminance area and an area other than the high-luminance area. For this area division, for example, a method based on luminance such as SuperPixel may be used.
  • Step S44a the first edge detector 117IR and the second edge detector 117BW perform edge detection on each of the first IR original image and the second IR original image.
  • the edge detection the Canny method or the Sobel filter may be used.
  • Step S45a For each of at least one high-brightness region of the first IR original image, the flare detecting unit 112 determines an edge in the high-brightness region and an edge in the second IR original image region corresponding to the high-brightness region. Compare with That is, the flare detection unit 112 determines whether the correlation value between the edge in the high-brightness area of the first IR original image and the edge in the corresponding area of the second IR original image is equal to or greater than the fourth threshold. Is determined.
  • the correlation value is obtained by arranging each value output by edge detection for each of the first IR original image and the second IR original image in the form of a vector for each area, and normalizing the inner product value. .
  • the flare detection unit 112 determines the vector composed of a plurality of values obtained by edge detection in the high-intensity region of the first IR original image and the vector in the second IR original image corresponding to the high-intensity region.
  • the inner product value with a vector composed of a plurality of values obtained by edge detection is normalized. Thereby, the correlation value for the high luminance area is calculated.
  • Step S46a when it is determined that the correlation value is not equal to or larger than the fourth threshold, that is, is smaller than the fourth threshold (No in step S45a), the flare detection unit 112 determines the high luminance area as a flare area. That is, there is no edge correlation between the area where the flare or the like in the first IR original image occurs due to the influence of flare or the like, and the flare detection unit 112 determines the high luminance area in the first IR original image as a flare area. That is, the flare detection unit 112 determines the high brightness area in the IR image as a flare area.
  • the high-luminance area in the IR image is the same as the high-luminance area in the first IR original image.
  • step S45a when the flare detection unit 112 determines in step S45a that the correlation value is equal to or larger than the fourth threshold, that is, not smaller than the fourth threshold (Yes in step S45a), no flare or the like occurs in the high luminance region. Is determined. That is, the flare detection unit 112 determines the high luminance area as a non-flare area.
  • the edge is used for discriminating the flare area and the non-flare area.
  • the edge does not have to be used for the discrimination.
  • the correlation values of the luminances of the first IR original image and the second IR original image may be used.
  • the first IR original image and the second IR original image have a strong correlation, but the correlation is weak in a region where the flare has occurred. Therefore, the flare area can be appropriately determined by using the correlation between the luminances of the first IR original image and the second IR original image.
  • FIG. 25 is a flowchart showing an example of a process instead of steps S31a to S34a of FIG. That is, FIG. 25 is a flowchart illustrating a flare area detection process using the correlation between the luminances of the first IR original image and the second IR original image.
  • FIG. 25 the same steps as those in FIG. 24 are denoted by the same reference numerals, and detailed description will be omitted.
  • the flowchart shown in FIG. 25 differs from the flowchart shown in FIG. 24 in that step S44a is not included and step S45b is included instead of step S45a.
  • step S45b the flare detection unit 112 determines, for each high-luminance area obtained by the area division in step S43a, the luminance of each pixel in the high-luminance area and the second IR original image corresponding to the high-luminance area. Calculate a correlation value between the brightness of each pixel in the region.
  • the correlation value is obtained by arranging the luminance of each pixel of the first IR original image and the second IR original image in a vector for each area, and normalizing the inner product value by the number of pixels.
  • the flare detection unit 112 calculates the inner product value of the vector composed of the luminance of each pixel in the high luminance area of the first IR original image and the vector composed of the luminance of each pixel in the corresponding area of the second IR original image. Normalize. As a result, a correlation value for the high luminance area is calculated.
  • the flare detection unit 112 determines that flare or the like has not occurred in the high luminance area (step S42a).
  • the correlation value is less than the fourth threshold value (No in step S45b)
  • the correlation with the luminance of each pixel in the area is low. Therefore, in such a case, the flare detection unit 112 determines the high luminance area as a flare area (step S46a).
  • the image feature amounts in the respective regions of the first IR original image and the second IR original image used for detecting the flare region are included in the images in the regions.
  • the edge is the brightness within that area.
  • the correlation between the luminance in the flare area of the first IR original image and the luminance in the area of the second IR original image corresponding to the flare area tends to be low. Therefore, the flare area can be more appropriately detected by detecting, as the flare area, an area having a high luminance and a low luminance correlation in the first IR original image.
  • the evaluation value for discriminating between the flare area and the non-flare area does not need to be a correlation value.
  • the aforementioned Hamming distance and CENSUS conversion may be used.
  • FIG. 26 is a flowchart showing another example of the processing in place of steps S31a to S34a in FIG. That is, FIG. 26 is a flowchart showing a flare area detection process using the CENSUS conversion of each of the first IR original image and the second IR original image.
  • FIG. 26 the same steps as those in FIG. 24 are denoted by the same reference numerals, and detailed description will be omitted.
  • the flowchart shown in FIG. 26 differs from the flowchart shown in FIG. 24 in that steps S44c and S45c are included instead of steps S44a and S45a.
  • step S44c the flare detection unit 112 determines, for each of the high-luminance regions obtained by the region division in step S43a, the image of the high-luminance region in the first IR original image and the image of the second IR original image. CENSUS conversion is performed for each of the images in the corresponding area. As a result, a CENSUS-converted image for the image in the high-brightness area of the first IR original image and a CENSUS-converted image for the image in the corresponding area of the second IR original image are generated.
  • step S45c the flare detection unit 112 calculates the Hamming distance between the CENSUS converted image of the first IR original image obtained in step S44c and the CENSUS converted image of the second IR original image.
  • the flare detection unit 112 determines that no flare or the like has occurred in the high luminance area. (Step S42a).
  • the flare detection unit 112 determines that the texture in the high-luminance area image has disappeared due to the influence of flare or the like. . As a result, the flare detection unit 112 determines the high brightness area as a flare area (step S46a).
  • the flare detection unit 112 performs the CENSUS conversion on the image in the high-intensity area of each of the at least one high-intensity area having the luminance equal to or higher than the fifth threshold value in the first IR original image. Get the converted image. Then, the flare detection unit 112 obtains a second converted image by performing CENSUS conversion on an image in the area of the second IR original image corresponding to the high-luminance area. Note that the first converted image and the second converted image are the above-described CENSUS converted images.
  • the flare detection unit 112 detects, as the flare area, a high-luminance area in which the hamming distance between the first converted image and the second converted image exceeds the sixth threshold value among the at least one high-luminance area. As described above, even when the CENSUS conversion is used, the flare area can be appropriately detected.
  • the depth acquisition device 1 uses the image of the corresponding region of the BW image so that each position in the flare region can be used. The appropriate depth can be obtained.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software for realizing the depth acquisition device and the like according to the above-described embodiment and the modified example includes the steps included in any one of the flowcharts in FIGS. 6, 7, 15 to 19, and 22 to 26. Let the computer run.
  • the depth acquisition device has been described based on the embodiment and the modification thereof, the present disclosure is not limited to the embodiment and the modification thereof. Unless departing from the gist of the present disclosure, various modifications conceivable by those skilled in the art may be applied to the present embodiment and the modification, and a form constructed by combining the components in the embodiment and the modification may also be used in the present disclosure. It may be included in the range.
  • all or a part of a unit or a device, or all or a part of functional blocks in the block diagrams illustrated in FIGS. 1, 4, 5, 8, 20, and 21 is a semiconductor. It may be executed by one or more electronic circuits including a device, a semiconductor integrated circuit (IC), or a large scale integration (LSI).
  • the LSI or IC may be integrated on a single chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • the term LSI or IC is used, but the term is changed depending on the degree of integration, and may be called a system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array Array (FPGA), which is programmed after the manufacture of the LSI, or a reconfigurable logic device that can reconfigure the bonding relationship inside the LSI or set up a circuit section inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array Array
  • all or some of the functions or operations of the unit, the device, or a part of the device can be performed by software processing.
  • the software is recorded on one or more non-transitory recording media such as ROM, optical disk, hard disk drive, etc., and when the software is executed by a processor, the software is Causes a processor and peripheral devices to perform certain functions.
  • a system or apparatus may include one or more non-transitory storage media on which software is stored, a processor, and any required hardware devices, such as an interface.
  • the present disclosure is applicable to a depth acquisition device that acquires depth from an image obtained by shooting, and can be used as, for example, an in-vehicle device.

Abstract

画像の奥行きを正確に取得することができる奥行取得装置を提供する。この奥行取得装置（１）は、メモリ（２００）と、プロセッサ（１１０）とを備え、そのプロセッサ（１１０）は、光源（１０１）が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリ（２００）に保持されているＩＲ画像を取得し、そのＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリ（２００）に保持されているＢＷ画像を取得し、そのＩＲ画像からフレア領域を検出し、そのＩＲ画像、ＢＷ画像、およびフレア領域に基づいて、そのフレア領域の奥行きを推定する。

Description

奥行取得装置、奥行取得方法およびプログラム
　本開示は、画像の奥行きを取得する奥行取得装置などに関する。
　従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。
特開２０１１－６４４９８号公報
　しかしながら、上記特許文献１の測距装置では、画像の奥行きを正確に取得することができないという課題がある。
　そこで、本開示は、画像の奥行きを正確に取得することができる奥行取得装置を提供する。
　本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像からフレア領域を検出し、前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　本開示の奥行取得装置は、画像の奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。 図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。 図３は、実施の形態おける、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態おける奥行取得装置の機能構成の一例を示すブロック図である。 図５は、実施の形態おける奥行取得装置の機能構成の他の例を示すブロック図である。 図６は、実施の形態おける奥行取得装置の全体的な処理動作を示すフローチャートである。 図７は、実施の形態おける奥行取得装置のプロセッサによる全体的な処理動作を示すフローチャートである。 図８は、実施の形態おける奥行取得装置のプロセッサの具体的な機能構成を示すブロック図である。 図９Ａは、ＩＲ画像の一例を示す図である。 図９Ｂは、ＢＷ画像の一例を示す図である。 図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す図である。 図１１は、ＩＲ画像内の高輝度領域の一例を示す図である。 図１２は、ＩＲ画像の高輝度領域に対応するＢＷ画像の領域を示す図である。 図１３は、ＩＲ画像から検出されたフレア領域の一例を示す図である。 図１４は、実施の形態おける奥行取得装置のシミュレーション結果を示す図である。 図１５は、図８に示す奥行取得装置の全体的な処理動作を示すフローチャートである。 図１６は、図１５のステップＳ３１～Ｓ３４の詳細な処理を示すフローチャートである。 図１７は、図１５のステップＳ３１～Ｓ３４の代わりの処理の一例を示すフローチャートである。 図１８は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。 図１９は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。 図２０は、実施の形態の変形例１における奥行取得装置の機能構成の一例を示すブロック図である。 図２１は、実施の形態の変形例１における奥行取得装置の機能構成の他の例を示すブロック図である。 図２２は、実施の形態の変形例２におけるフレア検出部の処理動作を示すフローチャートである。 図２３は、実施の形態の変形例３における奥行取得装置の全体的な処理動作を示すフローチャートである。 図２４は、図２３のステップＳ３１ａ～Ｓ３４ａの詳細な処理を示すフローチャートである。 図２５は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の一例を示すフローチャートである。 図２６は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の他の例を示すフローチャートである。
　（本開示の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。
　特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴＯＦ（Time Of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。
　しかしながら、撮像によって得られる画像には、フレア、ゴースト、または輝度の飽和などが生じる場合がある。このフレアなどが生じている画像だけからは、奥行きを正しく測定することはできない。また、撮像条件を変更しても、フレアなどの発生を簡単に抑えることが難しい場合がある。さらに、例えば車両に搭載された測距装置が、その車両の走行中に、互いに異なる撮像条件で撮像を繰り返せば、繰り返し行われる撮像の視点位置が異なるため、得られる複数の画像のそれぞれのシーンは異なってしまう。つまり、同一のシーンに対して撮像を繰り返すことができず、そのシーンが映し出された画像の奥行き、特にフレアなどが生じている領域の奥行きを適切に推定することができない。
　このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像からフレア領域を検出し、前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。なお、フレア領域は、フレア、ゴースト、輝度の飽和、またはスミヤが生じている領域である。
　これにより、赤外画像からフレア領域が検出され、そのフレア領域では、赤外画像だけでなく可視光画像にも基づいて奥行きが推定されるため、そのフレア領域の奥行きを適切に取得することができる。つまり、赤外画像と可視光画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。ここで、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の撮像時刻とは、撮像時刻の差が１フレーム以下で等しいことを示している。したがって、赤外画像と可視光画像とは高い相関を有する。また、フレアなどは波長に依存した現象であって、赤外画像にフレアなどが生じても、可視光画像にはフレアなどが生じていない可能性が高い。したがって、フレア領域において欠落した情報を、そのフレア領域に対応する可視光画像内の領域（すなわち対応領域）から補うことができる。その結果、フレア領域の奥行きを適切に取得することができる。
　例えば、前記プロセッサは、前記フレア領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す第１奥行情報を推定し、前記第１奥行情報によって示される前記フレア領域内の各位置での奥行きを前記可視光画像に基づいて補正することによって、前記フレア領域内の各位置での補正後の奥行きを示す第２奥行情報を推定し、さらに、前記第１奥行情報によって示される、前記赤外画像の前記フレア領域外の各位置での奥行きと、前記第２奥行情報によって示される、前記赤外画像の前記フレア領域内の各位置での奥行きとを示す、第３奥行情報を生成してもよい。なお、第１奥行情報の推定では、赤外画像に対してＴＯＦなどを適用してもよい。
　これにより、第３奥行情報は、赤外画像のフレア領域外の奥行きとして、その赤外画像から得られた奥行きを示し、赤外画像のフレア領域の奥行きとして、その赤外画像から得られ、可視光画像に基づいて補正された奥行きを示す。したがって、赤外画像にフレア領域がある場合であっても、その赤外画像の全体の奥行きを適切に推定することができる。
　また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうち、第１閾値以上の輝度を有する領域を、前記フレア領域として検出してもよい。
　フレア領域内の輝度は、フレア領域外の輝度よりも高い傾向にあるため、赤外画像のうち、第１閾値以上の輝度を有する領域をフレア領域として検出することによって、フレア領域を適切に検出することができる。
　また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、前記フレア領域として検出し、前記予め定められた条件は、前記赤外画像の領域内の画像特徴量と、前記領域に対応する前記可視光画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件であってもよい。例えば、前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、前記領域内の画像に含まれるエッジであってもよい。または、前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、前記領域内の輝度であってもよい。
　赤外画像のフレア領域内の画像特徴量と、そのフレア領域に対応する可視光画像の領域内の画像特徴量との相関は低い傾向にある。したがって、赤外画像において、輝度が高く、かつ、その画像特徴量の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。
　また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうちの第１閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、（ｉ）当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得し、（ｉｉ）当該高輝度領域に対応する前記可視光画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得し、少なくとも１つの前記高輝度領域のうち、前記第１変換画像と前記第２変換画像との間のハミング距離が第３閾値を超える高輝度領域を、前記フレア領域として検出してもよい。
　これにより、フレア領域を適切に検出することができる。
　また、前記プロセッサは、前記フレア領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正してもよい。
　これにより、赤外画像、可視光画像、フレア領域、および奥行情報の入力に対して、フレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、適切に補正することができる。
　また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正してもよい。
　これにより、赤外画像、可視光画像、および奥行情報の入力に対して、赤外画像のフレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、フレア領域を検出することなく、適切に補正することができる。
　また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。また、前記可視光画像および前記赤外画像のそれぞれについて、フレア領域とその他の領域とに分けたとき、前記フレア領域は前記可視光画像に基づいて奥行きが推定され、その他の領域は前記赤外画像に基づいて奥行きが推定される。
　これにより、本開示の上記一態様に係る奥行取得装置と同様、フレア領域の奥行きを適切に取得することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態）
　［ハードウェア構成］
　図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および撮像時刻の撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。
　図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。
　光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。
　光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。
　以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。
　固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。
　固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。
　以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。
　図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。
　図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。
　また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。
　第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。
　赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外画像ともいう。
　また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。
　また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。
　再び図１に戻って、奥行取得装置１の説明を続ける。
　処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。
　処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。
　処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴＯＦ測距方式により、被写体までの距離を算出する。
　以下、図面を参照しながら、処理回路３０が行うＴＯＦ測距方式による被写体までの距離の算出について説明する。
　図３は、処理回路３０が、ＴＯＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。
　図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。
　図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。
　光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。
　ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２）　　　・・・（式１）
　このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。
　また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。
　再び図１に戻って、奥行取得装置１の説明を続ける。
　処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。
　すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。
　処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。
　処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。
　拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。
　レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。
　バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。なお、図１に示す例では、奥行取得装置１は、バンドパスフィルタ７０を備えるが、このバンドパスフィルタ７０を備えていなくてもよい。
　上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。
　［奥行取得装置の概要］
　本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および同一時刻の撮像によって取得する。そして、奥行取得装置１は、そのＩＲ画像から得られる、そのＩＲ画像内の各位置における奥行きを、ＢＷ画像を用いて補正する。具体的には、ＩＲ画像に後述のフレア領域が存在する場合、奥行取得装置１は、そのＩＲ画像から得られる、フレア領域内の各位置における奥行きを、そのフレア領域に対応するＢＷ画像の領域内の画像を用いて補正する。
　図４は、奥行取得装置１の機能構成の一例を示すブロック図である。
　奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、奥行推定部１１１と、フレア検出部１１２とを備える。
　光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよい。
　ＩＲカメラ１０２は、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。
　ＢＷカメラ１０３は、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、その赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。
　奥行推定部１１１およびフレア検出部１１２は、図１に示す処理回路３０の機能、具体的には、プロセッサ１１０の機能として実現されてもよい。
　フレア検出部１１２は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とに基づいて、ＩＲ画像からフレア領域を検出する。
　本実施の形態におけるフレア領域は、フレア、ゴースト、輝度の飽和、または、スミヤが生じている領域である。フレアは、強い光源方向にＩＲカメラ１０２のレンズを向けたときに、レンズ面または鏡胴で有害光が反射して発生する光のカブリ現象である。また、フレアでは、画像が白っぽくなり、シャープネスが奪われる。ゴーストは、フレアの一種であって、レンズ面で複雑に反射を繰り返した光がはっきりと画像として写ったものである。スミヤは、カメラで周囲より所定以上の明るさの差を有する被写体を撮影した際に、直線状の白部分が発生する現象である。
　なお、本開示では、フレア、ゴースト、輝度の飽和、および、スミヤのうちの少なくとも１つを含む現象を、フレアなど、と称する。
　奥行推定部１１１は、フレア検出部１１２によって検出されたフレア領域を含むＩＲ画像内の各位置での奥行きを推定する。具体的には、奥行推定部１１１は、光源１０１による被写体への赤外光の照射のタイミングに応じて、ＩＲカメラ１０２が撮像することによって得られたＩＲ画像を取得し、そのＩＲ画像に基づいてＩＲ画像内の各位置での奥行きを推定する。さらに、奥行推定部１１１は、フレア検出部１１２によって検出されたフレア領域において推定された各位置での奥行きを、ＢＷ画像に基づいて補正する。つまり、奥行推定部１１１は、ＩＲ画像、ＢＷ画像、およびフレア領域に基づいて、フレア領域の奥行きを推定する。
　図５は、奥行取得装置１の機能構成の他の例を示すブロック図である。
　奥行取得装置１は、メモリ２００とプロセッサ１１０とを備えてもよい。
　また、プロセッサ１１０は、奥行推定部１１１およびフレア検出部１１２を備えるだけでなく、図５に示すように、発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えてもよい。なお、これらの構成要素は、プロセッサ１１０の機能として実現される。
　発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。つまり、発光タイミング取得部１１３は、図１に示す発光信号を光源１０１に出力することによって、その出力のタイミングを示す情報を上述のタイミング情報として取得する。
　ＩＲ画像取得部１１４は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリ２００に保持されているＩＲ画像を取得する。
　ＢＷ画像取得部１１５は、上述のＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリ２００に保持されているＢＷ画像を取得する。
　フレア検出部１１２は、上述のように、ＩＲ画像からフレア領域を検出し、奥行推定部１１１は、そのＩＲ画像、ＢＷ画像、およびフレア領域に基づいて、奥行きを推定する。
　なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２、およびＢＷカメラ１０３を備えることなく、プロセッサ１１０およびメモリ２００から構成されていてもよい。
　図６は、奥行取得装置１の全体的な処理動作を示すフローチャートである。
　（ステップＳ１１）
　まず、光源１０１は、発光することによって、被写体に赤外光を照射する。
　（ステップＳ１２）
　次に、ＩＲカメラ１０２は、ＩＲ画像を取得する。つまり、ＩＲカメラ１０２は、光源１０１によって赤外光が照射された被写体を含むシーンを撮像する。これにより、ＩＲカメラ１０２は、被写体から反射された赤外光に基づくＩＲ画像を取得する。具体的には、ＩＲカメラ１０２は、図３に示す第１露光期間、第２露光期間および第３露光期間のそれぞれのタイミングと露光量とによって得られるＩＲ画像を取得する。
　（ステップＳ１３）
　次に、ＢＷカメラ１０３は、ＢＷ画像を取得する。つまり、ＢＷカメラ１０３は、ステップＳ１２で取得されたＩＲ画像に対応するＢＷ画像、すなわち、そのＩＲ画像と同一のシーンおよび同一の視点のＢＷ画像を取得する。
　（ステップＳ１４）
　そして、フレア検出部１１２は、ステップＳ１２で取得されたＩＲ画像からフレア領域を検出する。
　（ステップＳ１５）
　次に、奥行推定部１１１は、ステップＳ１２で取得されたＩＲ画像、ステップＳ１３で取得されたＢＷ画像、および、ステップＳ１４で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。
　図７は、奥行取得装置１のプロセッサ１１０による全体的な処理動作を示すフローチャートである。
　（ステップＳ２１）
　まず、プロセッサ１１０の発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。
　（ステップＳ２２）
　次に、ＩＲ画像取得部１１４は、ステップＳ２１で取得されたタイミング情報によって示されるタイミングに応じて撮像を行ったＩＲカメラ１０２から、ＩＲ画像を取得する。例えば、ＩＲ画像取得部１１４は、発光タイミング取得部１１３から図１に示す発光信号が出力されるタイミングに、露光信号をＩＲカメラ１０２に出力する。これによって、ＩＲ画像取得部１１４は、ＩＲカメラ１０２に撮像を開始させ、その撮像によって得られたＩＲ画像を、そのＩＲカメラ１０２から取得する。このとき、ＩＲ画像取得部１１４は、メモリ２００を介してＩＲカメラ１０２からＩＲ画像を取得してもよく、ＩＲカメラ１０２から直接取得してもよい。
　（ステップＳ２３）
　次に、ＢＷ画像取得部１１５は、ステップＳ２２で取得されたＩＲ画像に対応するＢＷ画像をＢＷカメラ１０３から取得する。このとき、ＢＷ画像取得部１１５は、メモリ２００を介してＢＷカメラ１０３からＢＷ画像を取得してもよく、ＢＷカメラ１０３から直接取得してもよい。
　（ステップＳ２４）
　そして、フレア検出部１１２は、ＩＲ画像からフレア領域を検出する。
　（ステップＳ２５）
　次に、奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像、ステップＳ２３で取得されたＢＷ画像、および、ステップＳ２４で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。これによって、少なくともそのフレア領域の奥行きを示す奥行情報が算出される。なお、このとき、奥行推定部１１１は、フレア領域だけでなくＩＲ画像の全体の奥行きを推定し、その推定結果を示す奥行情報を算出してもよい。
　具体的には、本実施の形態における奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像から、そのＩＲ画像内の各位置での奥行きを推定する。そして、奥行推定部１１１は、フレア領域内の各位置での奥行きをＢＷ画像を用いて補正する。なお、各位置は、複数の画素のそれぞれの位置であってもよく、複数の画素からなるブロックの位置であってもよい。
　このような本実施の形態における奥行取得装置１では、ＩＲ画像からフレア領域が検出され、そのフレア領域では、ＩＲ画像だけでなくＢＷ画像にも基づいて奥行きが推定されるため、そのフレア領域の奥行きを適切に取得することができる。つまり、ＩＲ画像とＢＷ画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。したがって、ＩＲ画像とＢＷ画像とは高い相関を有する。また、フレアなどは波長に依存した現象であって、ＩＲ画像にフレアなどが生じても、ＢＷ画像にはフレアなどが生じていない可能性が高い。したがって、フレア領域において欠落した情報を、そのフレア領域に対応するＢＷ画像内の領域（すなわち対応領域）から補うことができる。その結果、フレア領域の奥行きを適切に取得することができる。
　［奥行取得装置の具体的な機能構成］
　図８は、奥行取得装置１のプロセッサ１１０の具体的な機能構成を示すブロック図である。
　プロセッサ１１０は、第１奥行推定部１１１ａ、第２奥行推定部１１１ｂ、フレア検出部１１２と、高輝度領域検出部１１６、第１エッジ検出部１１７ＩＲ、第２エッジ検出部１１７ＢＷ、および出力部１１８を備える。なお、第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、図５に示す奥行推定部１１１に相当する。また、プロセッサ１１０は、上述の発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えていてもよい。
　高輝度領域検出部１１６は、ＩＲ画像において第１閾値以上の輝度を有する領域を高輝度領域として検出する。第１エッジ検出部１１７ＩＲは、ＩＲ画像にあるエッジを検出する。第２エッジ検出部１１７ＢＷは、ＢＷ画像にあるエッジを検出する。
　フレア検出部１１２は、ＩＲ画像内の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域に対して検出されたエッジと、その高輝度領域に対応するＢＷ画像内の領域に対して検出されたエッジとを比較する。この比較によって、フレア検出部１１２は、高輝度領域がフレア領域であるか否かを判定する。つまり、この判定によって、フレア領域が検出される。言い換えれば、フレア検出部１１２は、撮像されたＩＲ画像を、フレア領域と、フレア領域でない非フレア領域とに判別することによって、ＩＲ画像の領域分割を行う。
　ここで、フレアなどは、光の波長に依存した現象である。そのため、ＩＲ画像で生じたフレアなどは、ＢＷ画像には生じないことが多い。通常、ＩＲ画像とＢＷ画像は強い相関を持つことが知られている。しかし、ＩＲ画像で生じたフレアなどでは、ＩＲ画像のエッジはつぶれてしまうため、そのフレアなどが生じている領域のエッジと、その領域に対応するＢＷ画像の領域のエッジとの間の相関値は低くなる。また、フレアなどが生じた場合、それらが生じた領域の輝度は大きくなる。そこで、本実施の形態におけるフレア検出部１１２は、この関係を利用して、撮像されたＩＲ画像からフレア領域を判別する。
　つまり、本実施の形態におけるフレア検出部１１２は、ＩＲ画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、フレア領域として検出する。その予め定められた条件は、ＩＲ画像の領域内の画像特徴量と、その領域に対応するＢＷ画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件である。ここで、ＩＲ画像およびＢＷ画像のそれぞれの領域内の画像特徴量は、その領域内の画像に含まれるエッジである。なお、ＩＲ画像の領域に対応するＢＷ画像の領域は、ＩＲ画像の領域と空間的に同一の位置にあって、ＩＲ画像の領域と同一の形状およびサイズを有する領域である。
　上述のように、ＩＲ画像のフレア領域内の画像特徴量と、そのフレア領域に対応するＢＷ画像の領域内の画像特徴量との相関は低い傾向にある。したがって、本実施の形態では、ＩＲ画像において、輝度が高く、かつ、その画像特徴量の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。
　第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、上述の奥行推定部１１１としての機能を有する。
　第１奥行推定部１１１ａは、光源１０１による赤外光の照射のタイミングに応じて取得されたＩＲ画像に基づいて、そのＩＲ画像内の各位置での奥行きを推定する。第１奥行推定部１１１ａは、推定されたそのＩＲ画像内の各位置での奥行きを示す情報を、第１奥行情報として出力する。つまり、第１奥行推定部１１１ａは、ＩＲ画像内の各位置での奥行きを示す第１奥行情報を推定する。
　第２奥行推定部１１１ｂは、ＢＷ画像と、ＩＲ画像内のフレア領域とに基づいて、第１奥行情報を補正する。これにより、第１奥行情報によって示される、ＩＲ画像内の各位置での奥行きのうち、フレア領域の奥行きが補正される。第２奥行推定部１１１ｂは、このフレア領域内の各位置での補正後の奥行きを示す情報を、第２奥行情報として出力する。つまり、第２奥行推定部１１１ｂは、第１奥行情報によって示されるフレア領域内の各位置での奥行きをＢＷ画像に基づいて補正することによって、そのフレア領域内の各位置での補正後の奥行きを示す第２奥行情報を推定する。
　出力部１１８は、第１奥行情報によって示される、フレア領域内の各位置での奥行きを、第２奥行情報によって示される、フレア領域内の各位置での補正後の奥行きに置き換える。これによって、第１奥行情報によって示される、ＩＲ画像のフレア領域以外の各位置での奥行きと、第２奥行情報によって示される、ＩＲ画像のフレア領域内の各位置での補正後の奥行きとを含む、第３奥行情報が生成される。出力部１１８は、その第３奥行情報を出力する。
　これにより、第３奥行情報は、ＩＲ画像のフレア領域外の奥行きとして、そのＩＲ画像から得られた奥行きを示し、ＩＲ画像のフレア領域の奥行きとして、そのＩＲ画像から得られ、ＢＷ画像に基づいて補正された奥行きを示す。したがって、本実施の形態では、ＩＲ画像にフレア領域がある場合であっても、そのＩＲ画像の全体の奥行きを適切に推定することができる。
　図９Ａは、ＩＲ画像の一例を示す。図９Ｂは、ＢＷ画像の一例を示す。
　図９Ｂに示すように、ＢＷ画像では、道路に看板が配置されているシーンが映し出されている。看板は、例えば赤外光を反射しやすい材料を含んでいる。そこで、ＩＲカメラ１０２が、その図９Ｂに示すシーンと同一のシーンを、ＢＷカメラ１０３の視点と同じ視点から撮像すると、図９Ａに示すＩＲ画像が取得される。
　上述のように取得されたＩＲ画像は、図９Ａに示すように、ＢＷ画像の看板に相当する範囲を含む領域において、高い輝度のフレアが生じている。これは、光源１０１からの赤外光が道路の看板に正反射することによって、強い強度の赤外光が反射光としてＩＲカメラ１０２に入射するためである。なお、赤外光を反射しやすい材料は、工事の作業員が着用する衣服、または、道路に沿って立設されている複数のポールなどによく使われている。したがって、このような材料が用いられている被写体を含むシーンが撮像される場合には、ＩＲ画像にはフレアなどが生じる可能性が高い。しかし、ＢＷ画像にはフレアなどが生じる可能性は低い。その結果、ＩＲ画像のフレア領域の画像特徴量と、そのフレア領域に対応するＢＷ画像の領域の画像特徴量との間の相関は、低くなる。一方、ＩＲ画像のフレア領域以外の領域（すなわち非フレア領域）の画像特徴量と、その非フレア領域に対応するＢＷ画像の領域の画像特徴量との間の相関は、高くなる。
　図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す。
　高輝度領域検出部１１６は、図９Ａに示すＩＲ画像において、第１閾値以上の輝度を有する領域を高輝度領域として検出する。つまり、高輝度領域検出部１１６は、ＩＲ画像内の各位置（すなわち各画素）での輝度を二値化する。その結果、例えば、図１０に示すように、白色の領域と、黒色の領域（図１０ではハッチングされている領域）とからなる二値化画像が生成される。
　図１１は、ＩＲ画像内の高輝度領域の一例を示す。
　高輝度領域検出部１１６は、二値化画像内の白色の領域を高輝度領域として検出する。例えば、図１１に示すように、６つの白色の領域が二値化画像に含まれている場合、高輝度領域検出部１１６は、６つの白色の領域を高輝度領域Ａ～Ｆとして検出する。つまり、ＩＲ画像または二値化画像が、６つの高輝度領域Ａ～Ｆと、高輝度領域ではない非高輝度領域とに領域分割される。
　図１２は、ＩＲ画像の高輝度領域に対応するＢＷ画像の領域を示す。
　フレア検出部１１２は、二値化画像（すなわちＩＲ画像）内の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域に対応するＢＷ画像内の領域の画像特徴量を特定する。なお、画像特徴量は、例えばエッジである。また、その高輝度領域に対応するＢＷ画像内の領域は、二値化画像またはＩＲ画像内のその高輝度領域と空間的に同一の位置にあって、その高輝度領域と同一の形状およびサイズを有する領域である。以下、このようなＩＲ画像の領域に対応するＢＷ領域内の領域を、対応領域ともいう。
　例えば、図１１に示すように、高輝度領域Ａ～Ｆが検出されている場合、フレア検出部１１２は、ＢＷ画像のうち、これらの高輝度領域Ａ～Ｆのそれぞれに対応する領域の画像特徴量を特定する。
　図１３は、ＩＲ画像から検出されたフレア領域の一例を示す。
　フレア検出部１１２は、高輝度領域Ａ～Ｆのそれぞれについて、その高輝度領域がフレア領域か否かを判定する。つまり、フレア検出部１１２は、ＩＲ画像内の高輝度領域Ａの画像特徴量と、その高輝度領域Ａに対応するＢＷ画像内の対応領域の画像特徴量とを比較することによって、その高輝度領域がフレア領域か否かを判定する。その結果、例えば図１３に示すように、フレア検出部１１２は、高輝度領域Ａ～Ｆのうち、高輝度領域Ａ、Ｃ、ＤおよびＥがフレア領域であると判定する。
　図１４は、奥行取得装置１のシミュレーション結果を示す。
　奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図１４の（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図１４の（ｂ）に示すＩＲ画像を取得する。このＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および撮像時刻で撮像することによって得られる画像である。図１４の（ｂ）に示す例では、ＩＲ画像の右端に大きなフレア領域が生じている。
　第１奥行推定部１１１ａは、そのＩＲ画像から奥行きを推定することによって、図１４の（ｃ）に示す第１奥行情報を生成する。この第１奥行情報は、ＩＲ画像内の各位置での奥行きを輝度によって示す第１奥行画像として表現される。この第１奥行画像では、フレア領域の奥行きが不適切に表現されている。
　第２奥行推定部１１１ｂは、そのフレア領域における不適切な奥行きを補正する。そして、出力部１１８は、図１４の（ｅ）に示すように、そのフレア領域の補正された奥行きと、非フレア領域の奥行きとを示す第３奥行情報を生成する。この第３奥行情報も、第１奥行情報と同様、奥行きを輝度によって示す第３奥行画像として表現される。なお、第２奥行推定部１１１ｂは、第１奥行画像における非フレア領域の奥行きも、ＢＷ画像の対応領域の画像特徴量に基づいて補正してもよい。
　このように、本実施の形態における奥行取得装置１では、フレア領域を含む画像全体において、第３奥行画像を、図１４の（ｄ）に示す正解の奥行画像に近づけることができる。
　［奥行取得装置の具体的な処理フロー］
　図１５は、図８に示す奥行取得装置１の全体的な処理動作を示すフローチャートである。
　（ステップＳ３１）
　まず、高輝度領域検出部１１６は、ＩＲ画像から高輝度領域を検出する。
　（ステップＳ３２）
　第１エッジ検出部１１７ＩＲは、ＩＲ画像にあるエッジを検出する。
　（ステップＳ３３）
　第２エッジ検出部１１７ＢＷは、ＢＷ画像にあるエッジを検出する。
　（ステップＳ３４）
　フレア検出部１１２は、ＩＲ画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとを比較することによって、ＩＲ画像内のフレア領域を検出する。つまり、フレア検出部１１２は、高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとの間の相関値が第２閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、ＩＲ画像は、少なくとも１つのフレア領域と、非フレア領域とに領域分割される。
　（ステップＳ３５）
　第１奥行推定部１１１ａは、例えばＴＯＦを用いてＩＲ画像から第１奥行情報を生成する。
　（ステップＳ３６）
　第２奥行推定部１１１ｂは、ＩＲ画像の第１奥行情報とＢＷ画像とに基づいて、フレア領域の奥行きを示す第２奥行情報を生成する。
　（ステップＳ３７）
　出力部１１８は、その第１奥行情報によって示されるフレア領域の奥行きを、第２奥行情報によって示される奥行きに置き換えることによって、第３奥行情報を生成する。
　図１６は、図１５のステップＳ３１～Ｓ３４の詳細な処理を示すフローチャートである。
　（ステップＳ４１）
　まず、高輝度領域検出部１１６は、ＩＲ画像内の各位置での輝度が第１閾値以上であるか否かを判定する。ここで、第１閾値は、例えばＩＲ画像が１２ビット階調の画像であれば、１５００程度であってもよい。もちろん、この第１閾値は、環境条件またはＩＲカメラ１０２の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、ＩＲ画像全体の輝度が低くなるため、第１閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＩＲカメラ１０２の露光時間が長い場合、ＩＲ画像全体の輝度が高くなるため、第１閾値は、露光時間が短い場合よりも、大きい値でもよい。
　（ステップＳ４２）
　ここで、何れの位置での輝度も第１閾値以上ではないと判定すると（ステップＳ４１のＮｏ）、高輝度領域検出部１１６は、そのＩＲ画像においてフレアは生じていないと判定する（ステップＳ４２）。つまり、ＩＲ画像の全体が非フレア領域として判定される。
　（ステップＳ４３）
　一方、何れかの位置での輝度が第１閾値以上であると判定すると（ステップＳ４１のＹｅｓ）、高輝度領域検出部１１６は、ＩＲ画像を領域分割する。つまり、高輝度領域検出部１１６は、ＩＲ画像を、少なくとも１つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばＳｕｐｅｒＰｉｘｅｌなど、輝度による手法を利用してもよい。
　（ステップＳ４４）
　次に、第１エッジ検出部１１７ＩＲおよび第２エッジ検出部１１７ＢＷは、ＩＲ画像およびＢＷ画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Ｃａｎｎｙ法またはＳｏｂｅｌフィルタなどを利用してもよい。
　（ステップＳ４５）
　フレア検出部１１２は、ＩＲ画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応するＢＷ画像の領域内のエッジとを比較する。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとの間の相関値が、第２閾値以上か否かを判定する。相関値は、ＩＲ画像とＢＷ画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応するＢＷ画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。
　（ステップＳ４６）
　ここで、相関値が第２閾値以上ではない、すなわち第２閾値未満と判定すると（ステップＳ４５のＮｏ）、フレア検出部１１２は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、ＩＲ画像内のフレアなどが生じている領域と、ＢＷ画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部１１２は、ＩＲ画像内のその高輝度領域をフレア領域として判別する。
　一方、フレア検出部１１２は、ステップＳ４５で、相関値が第２閾値以上である、すなわち第２閾値未満ではないと判定すると（ステップＳ４５のＹｅｓ）、その高輝度領域ではフレアなどは生じていないと判定する。つまり、フレア検出部１１２は、その高輝度領域を非フレア領域として判定する。
　このような手法では、視点位置が実質的に等しいＩＲ画像とＢＷ画像が必要である。本実施の形態における奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点のＩＲ画像とＢＷ画像とを取得できるため、フレア領域を適切に判別することができる。
　＜輝度の相関を利用＞
　以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、ＩＲ画像とＢＷ画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、ＩＲ画像とＢＷ画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、ＩＲ画像とＢＷ画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。
　図１７は、図１５のステップＳ３１～Ｓ３４の代わりの処理の一例を示すフローチャートである。つまり、図１７は、ＩＲ画像とＢＷ画像のそれぞれの輝度の相関を利用したフレア領域の検出処理を示したフローチャートである。なお、図１７において、図１６と同じステップには、同一の符号を付し、詳細な説明を省略する。図１７に示すフローチャートは、図１６に示すフローチャートと異なり、ステップＳ４４を含まず、ステップＳ４５の代わりにステップＳ４５ａを含む。
　（ステップＳ４５ａ）
　フレア検出部１１２は、ステップＳ４５ａでは、ステップＳ４３の領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応するＢＷ画像の領域における各画素の輝度との間の相関値を計算する。相関値は、ＩＲ画像とＢＷ画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域における各画素の輝度からなるベクトルと、ＢＷ画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。
　ここで、相関値が第２閾値以上、すなわち第２閾値未満でない場合（ステップＳ４５ａのＹｅｓ）、フレア検出部１１２は、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２）。一方、相関値が第２閾値未満の場合（ステップＳ４５ａのＮｏ）、フレアなどの影響で、ＩＲ画像の高輝度領域内の各画素の輝度と、ＢＷ画像の対応領域内の各画素の輝度との相関が低くなっている。したがって、このような場合には、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６）。
　つまり、フレア領域の検出のために用いられる、ＩＲ画像およびＢＷ画像のそれぞれの領域内の画像特徴量は、図１６に示す例では、その領域内の画像に含まれるエッジであるが、図１７に示す例では、その領域内の輝度である。ここで、上述のように、ＩＲ画像のフレア領域内の輝度と、そのフレア領域に対応するＢＷ画像の領域内の輝度との相関は低い傾向にある。したがって、ＩＲ画像において、輝度が高く、かつ、その輝度の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。
　＜ＣＥＮＳＵＳ変換を利用＞
　もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、ハミング距離およびＣＥＮＳＵＳ変換を利用してもかまわない。ＣＥＮＳＵＳ変換については、例えば非特許文献（R. Zabih and J. Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, Proc. of ECCV, pp.151-158, 1994）に開示されている。ＣＥＮＳＵＳ変換は、画像中にウインドウを設定し、そのウインドウの中心画素と周辺画素との大小関係をバイナリベクトルに変換する。
　図１８は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。つまり、図１８は、ＩＲ画像とＢＷ画像のそれぞれのＣＥＮＳＵＳ変換を利用したフレア領域の検出処理を示したフローチャートである。なお、図１８において、図１６と同じステップには、同一の符号を付与し、詳細な説明を省略する。図１８に示すフローチャートは、図１６に示すフローチャートと異なり、ステップＳ４４およびＳ４５の代わりにステップＳ４４ｂおよびＳ４５ｂを含む。
　（ステップＳ４４ｂ）
　フレア検出部１１２は、ステップＳ４４ｂでは、ステップＳ４３の領域分割によって得らえた各高輝度領域について、ＩＲ画像のうちのその高輝度領域の画像と、ＢＷ画像のうちの対応領域の画像とのそれぞれに対してＣＥＮＳＵＳ変換を行う。これにより、ＩＲ画像のうちのその高輝度領域の画像に対するＣＥＮＳＵＳ変換画像と、ＢＷ画像のうちの対応領域の画像に対するＣＥＮＳＵＳ変換画像とが生成される。
　（ステップＳ４５ｂ）
　次に、フレア検出部１１２は、ステップＳ４５ｂにおいて、ステップＳ４４ｂで求めたＩＲ画像のＣＥＮＳＵＳ変換画像と、ＢＷ画像のＣＥＮＳＵＳ変換画像との間のハミング距離を計算する。そして、フレア検出部１１２は、このハミング距離を高輝度領域の画素数で正規化した値が第３閾値以下の場合（ステップＳ４５ｂのＹｅｓ）、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２）。一方、正規化したハミング距離の値が第３閾値より大きい場合（ステップＳ４５ｂのＮｏ）、フレア検出部１１２は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６）。
　つまり、フレア検出部１１２は、ＩＲ画像のうちの第１閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得する。そして、フレア検出部１１２は、当該高輝度領域に対応するＢＷ画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得する。なお、第１変換画像および第２変換画像は、上述のＣＥＮＳＵＳ変換画像である。次に、フレア検出部１１２は、少なくとも１つの高輝度領域のうち、第１変換画像と第２変換画像との間のハミング距離が第３閾値を超える高輝度領域を、フレア領域として検出する。このようにＣＥＮＳＵＳ変換を用いても、フレア領域を適切に検出することができる。
　＜ＩＲ画像の輝度を利用＞
　図１７に示す例では、フレア領域と非フレア領域の判別に、ＩＲ画像の輝度と、ＩＲ画像とＢＷ画像の輝度との間の相関値を利用したが、ＩＲ画像の輝度のみを利用してもかまわない。
　図１９は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。つまり、図１９は、ＩＲ画像の輝度のみを利用したフレア領域の検出処理を示したフローチャートである。なお、図１９において、図１６と同じステップには、同一の符号を付し、詳細な説明を省略する。図１９に示すフローチャートでは、図１６に示すステップＳ４３～Ｓ４５が省かれている。
　つまり、フレア検出部１１２は、ステップＳ４１において、ＩＲ画像における画素の輝度が第１閾値以上であるか否かを判定する。ここで、その画素の輝度が第１閾値未満と判定すると（ステップＳ４１のＮｏ）、フレア検出部１１２は、その画素を含む領域ではフレアは生じていないと判別する（ステップＳ４２）。一方、その画素の輝度が第１閾値以上と判定すると（ステップＳ４１のＹｅｓ）は、フレア検出部１１２は、その画素を含む領域ではフレアが生じていると判別する。すなわち、フレア検出部１１２は、その領域をフレア領域として判別する（ステップＳ４６）。
　つまり、図１９に示す例では、フレア検出部１１２は、ＩＲ画像のうち、１閾値以上の輝度を有する領域を、フレア領域として検出する。フレア領域内の輝度は、フレア領域外の輝度よりも高い傾向にあるため、ＩＲ画像のうち、第１閾値以上の輝度を有する領域をフレア領域として検出することによって、フレア領域を適切に検出することができる。
　また、フレア領域と非フレア領域の判別に、学習処理を利用して実現してもかまわない。学習処理には、例えばＤｅｅｐ　Ｌｅａｒｎｉｎｇなどの処理を利用すればよい。この場合、学習のために、ＩＲ画像およびＢＷ画像と、そのＩＲ画像がフレア領域と非フレア領域とに分割された正解画像とを事前に用意する。次に、入力としてそのＩＲ画像およびＢＷ画像を学習モデルに与える。そして、その入力に対する学習モデルからの出力が正解画像と一致するように、その学習モデルに学習させる。例えば、学習モデルは、ニューラルネットワークである。その学習モデルからの出力は、画素ごとに数値「０」または数値「１」を示す画像であって、数値「０」は、その画素が非フレア領域に属することを示すし、数値「１」は、その画素がフレア領域に属することを示す。
　フレア検出部１１２は、このように事前に学習を行った学習モデルを利用することで、フレア領域と非フレア領域の判別を行う。つまり、フレア検出部１１２は、入力としてＩＲ画像とＢＷ画像を学習モデルに入力する。そして、フレア検出部１１２は、学習モデルから出力される数値「０」に対応する画素を含む領域を非フレア領域として判別する。さらに、フレア検出部１１２は、学習モデルから出力される数値「１」に対応する画素を含む領域をフレア領域として判別する。
　以上の処理により、フレア検出部１１２は、撮像されたＩＲ画像を、フレアなどが生じているフレア領域と、非フレア領域とに分割する。
　＜奥行補正処理＞
　第２奥行推定部１１１ｂは、ＢＷ画像、第１奥行情報、およびフレア領域（すなわち上述の領域の判別結果）を利用し、第２奥行情報を生成する。
　フレアなどは、光の波長に依存した現象である。そのため、ＩＲ画像で生じたフレアなどは、ＢＷ画像には生じないことが多い。そこで、フレア領域のみ、ＩＲ画像から求めた第１奥行情報ではなく、ＢＷ画像を利用して第１奥行情報を補正することにより、ＩＲ画像で生じたフレアなどの影響を受けていない第２奥行情報を取得することができる。
　第２奥行情報の取得では、画像補正フィルタの一種であるガイデッドフィルタを利用してもよい。ガイデッドフィルタについては、非特許文献（Kaiming He, Jian Sun and Xiaoou Tang, “Guided Image Filtering”， IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol. 35, Iss. 6, pp．1397 - 1409，2013.）に開示されている。ガイデッドフィルタは、対象画像と参照画像との相関を利用して、その対象画像を補正するフィルタである。ガイデッドフィルタでは、参照画像Ｉと対象画像ｐは、以下の（式２）で示されるようにパラメータａとｂで表現されると仮定する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｑは対象画像ｐを補正した出力画像、ｉは各画素の番号、ωｋは画素ｋの周辺領域を表す。また、パラメータａとｂは、以下の（式３）で表現される。
Figure JPOXMLDOC01-appb-M000002
　ただし、εは正則化パラメータである。また、μとσは、参照画像のブロック内の平均と分散であり、以下の（式４）で計算される。
Figure JPOXMLDOC01-appb-M000003
　ただし、求めたパラメータａとｂに含まれるノイズを抑えるため、平均化したパラメータを利用し、出力は以下の（式５）のように求められる。
Figure JPOXMLDOC01-appb-M000004
　本実施の形態では、第２奥行推定部１１１ｂは、参照画像としてＢＷ画像を与えることで、対象画像である第１奥行情報（または第１奥行画像）を補正する。これにより、第２奥行情報が生成または取得される。このような第２奥行情報の生成には、実質的に視点位置の等しいＩＲ画像とＢＷ画像が必要である。本実施の形態の奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点のＩＲ画像とＢＷ画像とを取得できるため、適切な第２奥行情報を取得することができる。
　もちろん、第２奥行推定部１１１ｂは、ガイデッドフィルタ以外の処理を用いてもよい。例えば、第２奥行推定部１１１ｂは、バイラテラルフィルタ（非特許文献：C. Tomasi, R. Manduchi, “Bilateral filtering for gray and color images”， IEEE International Conference on Computer Vision (ICCV), pp．839 - 846，1998）、または、Ｍｕｔｕａｌ－Ｓｔｒｕｃｔｕｒｅ　ｆｏｒ　Ｊｏｉｎｔ　Ｆｉｌｔｅｒｉｎｇ（非特許文献：Xiaoyong Shen, Chao Zhou, Li Xu and Jiaya Jia, “Mutual-Structure for Joint Filtering”, IEEE International Conference on Computer Vision (ICCV), 2015.）などの処理を用いてもよい。
　以上のように、本実施の形態では、フレアなどが生じていないと判別された領域（すなわち非フレア領域）には第１奥行情報を利用し、フレアなどが生じている領域（すなわちフレア領域）には第２奥行情報を利用する。これにより、ＩＲ画像にフレアなどが生じていても、より高精度の奥行情報を取得することができる。
　（変形例１）
　上記実施の形態では、第２奥行情報の生成に、ガイデッドフィルタなどのフィルタを用いたが、学習モデルを用いて第２奥行情報を生成してもよい。
　例えば、非特許文献（Shuran Song, Fisher Yu, Andy Zeng, Angel X. Chang, Manolis Savva and Thomas Funkhouser, “Semantic Scene Completion from a Single Depth Image”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 190-198, 2017.）のように、学習処理であるＤｅｅｐ　Ｌｅａｒｎｉｎｇを利用してもよい。つまり、ＢＷ画像と第１奥行情報とが入力されると、第２奥行情報が出力されるように、学習モデルに学習させてもよい。上記非特許文献では、欠損領域を含む奥行情報とカラー画像とが入力されると、その奥行情報の欠損領域を補間するネットワークが提案されている。本変形例における第２奥行推定部１１１ｂは、その非特許文献と同様のネットワーク（すなわち学習モデル）に、ＩＲ画像、ＢＷ画像、および第１奥行情報を与え、さらに、フレア検出部１１２によって検出されたフレア領域を欠損領域のマスク画像として与える。これにより、より高精度の第２奥行情報をそのネットワークから取得することができる。
　図２０は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。
　本変形例における奥行取得装置１は、図８に示す各構成要素を備えるとともに、さらに、例えばニューラルネットワークなどからなる学習モデル１０４を備える。
　第２奥行推定部１１１ｂは、その学習モデル１０４に対して、ＩＲ画像、ＢＷ画像、および第１奥行情報の３種類のデータを入力し、補正されるマスク領域としてフレア領域を利用して、第２奥行情報を生成する。
　学習モデル１０４の学習では、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、フレア領域を指定するマスク画像とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。なお、学習時には、マスク画像はランダムに与えられる。第２奥行推定部１１１ｂは、このように事前に学習を行った学習モデル１０４を利用する。つまり、第２奥行推定部１１１ｂは、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、フレア領域を指定するマスク画像とを学習モデル１０４に入力することで、その学習モデル１０４から出力される第２奥行情報を取得することができる。
　このように、本変形例では、第２奥行推定部１１１ｂは、ＩＲ画像内の各位置での奥行きを示す奥行情報を推定し、ＩＲ画像、ＢＷ画像、フレア領域、およびその奥行情報を学習モデルに入力することによって、その奥行情報によって示される、フレア領域内の各位置での奥行きを補正する。したがって、ＩＲ画像、ＢＷ画像、フレア領域、および奥行情報の入力に対して、フレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、適切に補正することができる。
　以上のように、第２奥行推定部１１１ｂは、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇを利用してもかまわない。その場合、フレア領域を直接出力する必要はなく、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇにより直接、第２奥行情報を生成してもかまわない。
　図２１は、本変形例における奥行取得装置１の機能構成の他の例を示すブロック図である。
　本変形例における奥行取得装置１は、図２０に示す各構成要素のうち、フレア検出部１１２、高輝度領域検出部１１６、第１エッジ検出部１１７ＩＲ、および第２エッジ検出部１１７ＢＷを備えておらず、これら以外の構成要素を備える。
　学習モデル１０４の学習では、図２０に示す例と同様、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。学習モデル１０４としては、非特許文献（Caner Hazirbas, Laura Leal-Taixe and Daniel CremersC. Hazirbas, “Deep Depth From Focus”, In ArXiv preprint arXiv, 1704.01085, 2017.）のように、スキップ結合を追加したＶＧＧ－１６ネットワークを用いてもよい。その学習モデル１０４に対し、入力としてＩＲ画像とＢＷ画像と第１奥行情報とが与えられるように、学習モデル１０４のチャネル数を変更する。このように事前に学習を行った学習モデル１０４を利用することで、第２奥行推定部１１１ｂは、ＩＲ画像とＢＷ画像と第１奥行情報とを学習モデル１０４に入力することで、その学習モデル１０４から第２奥行情報を簡単に取得することができる。
　つまり、図２１に示す奥行取得装置１は、メモリとプロセッサ１１０とを備える。なお、メモリは、図２１では図示されていないが、図５に示すように奥行取得装置１に備えられていてもよい。プロセッサ１１０は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。次に、プロセッサ１１０は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されているＩＲ画像を取得する。次に、プロセッサ１１０は、そのＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されているＢＷ画像を取得する。そして、プロセッサ１１０の第１奥行推定部１１１ａは、そのＩＲ画像内の各位置での奥行きを示す奥行情報を推定する。第２奥行推定部１１１ｂは、そのＩＲ画像、ＢＷ画像、および奥行情報を、学習モデル１０４に入力することによって、その奥行情報によって示される、ＩＲ画像のフレア領域内の各位置での奥行きを補正する。
　したがって、ＩＲ画像、ＢＷ画像、および奥行情報の入力に対して、ＩＲ画像のフレア領域内の各位置での正解の奥行きが出力されるように、学習モデル１０４に予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、フレア領域を検出することなく、適切に補正することができる。
　（変形例２）＜時間方向の利用＞
　ここで、フレア検出部１１２は、フレア領域と非フレア領域の判別のために、時間方向の情報を利用してもかまわない。フレアは、被写体自体ではなく、被写体と光源１０１との関係によりＩＲカメラ１０２内部で生じる現象である。そのため、ＩＲカメラ１０２が移動した場合、フレア領域の形状は変化する。そこで、フレア検出部１１２は、上述の手法によってＩＲ画像からフレア領域の候補を検出し、その前のＩＲ画像で検出されたフレア領域からその候補の形状が変化しているか否かを判定する。そして、フレア検出部１１２は、形状が変化していないと判定すると、その候補がフレア領域ではなく、非フレア領域であると判断してもよい。
　図２２は、本変形例におけるフレア検出部１１２の処理動作を示すフローチャートである。
　（ステップＳ５１）
　まず、フレア検出部１１２は、対象フレームにフレア領域の候補が存在するか否かを判定する。つまり、フレア検出部１１２は、例えば上述の図１６～図１９に示すフローチャートに基づいて検出されるフレア領域が、最終的なフレア領域ではなく、フレア領域の候補として対象フレームに存在するか否かを判定する。なお、対象フレームは、判別対象とされるＩＲ画像、すなわち、フレア領域の存在が判別されるＩＲ画像である。
　（ステップＳ５４）
　ここで、フレア検出部１１２は、対象フレームにフレア領域の候補が存在しない場合（ステップＳ５１のＮｏ）、その対象フレーム（すなわちＩＲ画像）においてフレアは存在しないと判別する。
　（ステップＳ５２）
　一方、フレア検出部１１２は、対象フレームにフレア領域の候補が存在する場合（ステップＳ５１のＹｅｓ）、対象フレームの前のフレームでもフレア領域が存在するかどうかを判定する。なお、対象フレームの前のフレームは、対象フレームの前にＩＲカメラ１０２による撮像によって取得されたＩＲ画像である。
　（ステップＳ５５）
　ここで、フレア検出部１１２は、対象フレームの前のフレームにフレア領域が存在しない場合（ステップＳ５２のＮｏ）、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。
　（ステップＳ５３）
　一方、フレア検出部１１２は、対象フレームの前のフレームにフレア領域が存在している場合（ステップＳ５２のＹｅｓ）、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とを比較する。ここで、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていた場合（ステップＳ５３のＹｅｓ）、フレア検出部１１２は、ステップＳ５４の処理を実行する。つまり、フレア検出部１１２は、検出されたフレア領域の候補を非フレア領域に更新し、その対象フレーム（すなわちＩＲ画像）においてフレアは存在しないと判別する。一方、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていない場合（ステップＳ５３のＮｏ）、フレア検出部１１２は、ステップＳ５５の処理を実行する。つまり、フレア検出部１１２は、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。
　このように、本変形例におけるフレア検出部１１２は、時間方向の情報を利用する。すなわち、フレア検出部１１２は、互いに異なる時間に取得されたそれぞれのフレームにおけるフレア領域またはその候補の形状を利用する。これにより、フレア領域と非フレア領域とを、より高精度に判別することができる。
　なお、フレア検出部１１２は、フレームごとにフレア領域の判別を行うことなく、近傍の複数のフレームごとにフレア領域の判別を行ってもよい。なお、近傍の複数のフレームは、例えばＩＲカメラ１０２による撮像によって時間的に連続して取得される複数のＩＲ画像である。つまり、フレア検出部１１２は、近傍の複数のフレームのそれぞれにおいて例えば上述の図１６～図１９に示すフローチャートに基づいてフレア領域の候補を検出し、それらの候補がフレア領域か否かを判別してもよい。より具体的には、フレア検出部１１２は、各フレームにおけるフレア領域の候補の形状を比較し、それらのフレア領域の候補の形状が略等しい場合、それらの候補はフレア領域ではない、つまり非フレア領域であると判別する。一方、フレア検出部１１２は、それらのフレア領域の候補の形状が似ていない場合、それらの候補はフレア領域であると判別する。
　また、フレア検出部１１２は、２つの形状の類似度が閾値以上であるか否かを判定することによって、それらの形状が似ているか否かを判定してもよい。その類似度は、例えば２つの形状の相関値として算出されてもよい。
　（変形例３）＜複数のＩＲ元画像の利用＞
　上記実施の形態とその変形例１および２における奥行取得装置１は、ＩＲ画像とＢＷ画像とを用いてフレア領域を検出するが、ＢＷ画像を用いなくてもよい。本変形例における奥行取得装置１は、複数のＩＲ元画像を用いてフレア領域を検出する。複数のＩＲ元画像は、例えば、図３に示す第１露光期間において得られる赤外画像と、第２露光期間において得られる赤外画像とである。
　つまり、本変形例では、ＴＯＦなどを利用して第１奥行情報を推定するために、互いに異なるタイミングで複数の赤外画像をＩＲカメラ１０２が取得する場合、これらの複数の赤外画像を利用してフレア領域と非フレア領域とを判別する。以下の説明では、この複数の赤外画像のそれぞれをＩＲ元画像とよぶ。なお、上述のＩＲ画像は、これらの複数のＩＲ元画像から構成されていると言える。
　ＴＯＦによる奥行推定には、発光した光の到達時間を直接計測する直接ＴＯＦと、発光と受光のタイミングが異なることによって得られる複数のＩＲ元画像から奥行を推定する間接ＴＯＦの２種類が存在する。本変形例では、奥行取得装置１は、間接ＴＯＦの際に取得される複数のＩＲ元画像からフレア領域と非フレア領域とを判別する。
　その複数のＩＲ元画像のそれぞれが得られるタイミング、すなわち複数のＩＲ元画像のそれぞれの受光のタイミングは異なっている。したがって、複数のＩＲ元画像のうちの第１のＩＲ元画像にフレアが生じていても、その第１のＩＲ元画像と受光のタイミングが異なる第２のＩＲ元画像にはフレアが生じていない可能性が高い。そこで、本変形例における奥行取得装置１は、受光のタイミングを変更することによって取得された複数のＩＲ元画像を比較することで、フレア領域と非フレア領域とを判別する。これにより、第３奥行画像を、図１４の（ｄ）に示す正解の奥行画像に近づけることができる。
　［奥行取得装置の具体的な処理フロー］
　図２３は、本変形例における奥行取得装置１の全体的な処理動作を示すフローチャートである。
　（ステップＳ３１ａ）
　まず、高輝度領域検出部１１６は、第１のＩＲ元画像から高輝度領域を検出する。
　（ステップＳ３２ａ）
　第１エッジ検出部１１７ＩＲは、第１のＩＲ元画像にあるエッジを検出する。
　（ステップＳ３３ａ）
　第２エッジ検出部１１７ＢＷは、ＢＷ画像の代わりに第２のＩＲ元画像にあるエッジを検出する。
　（ステップＳ３４ａ）
　フレア検出部１１２は、第１のＩＲ元画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとを比較することによって、ＩＲ画像内のフレア領域を検出する。つまり、フレア検出部１１２は、高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとの間の相関値が第４閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、ＩＲ画像は、少なくとも１つのフレア領域と、非フレア領域とに領域分割される。
　（ステップＳ３５）
　第１奥行推定部１１１ａは、例えばＴＯＦを用いてＩＲ画像から第１奥行情報を生成する。
　（ステップＳ３６）
　第２奥行推定部１１１ｂは、ＩＲ画像の第１奥行情報とＢＷ画像とに基づいて、フレア領域の奥行きを示す第２奥行情報を生成する。
　（ステップＳ３７）
　出力部１１８は、その第１奥行情報によって示されるフレア領域の奥行きを、第２奥行情報によって示される奥行きに置き換えることによって、第３奥行情報を生成する。
　図２４は、図２３のステップＳ３１ａ～Ｓ３４ａの詳細な処理を示すフローチャートである。
　（ステップＳ４１ａ）
　まず、高輝度領域検出部１１６は、第１のＩＲ元画像内の各位置での輝度が第５閾値以上であるか否かを判定する。ここで、第５閾値は、例えば第１のＩＲ元画像が１２ビット階調の画像であれば、１５００程度であってもよい。もちろん、この第５閾値は、環境条件またはＩＲカメラ１０２の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、第１のＩＲ元画像全体の輝度が低くなるため、第５閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＩＲカメラ１０２の露光時間が長い場合、第１のＩＲ元画像全体の輝度が高くなるため、第５閾値は、露光時間が短い場合よりも、大きい値でもよい。
　（ステップＳ４２ａ）
　ここで、何れの位置での輝度も第５閾値以上ではないと判定すると（ステップＳ４１ａのＮｏ）、高輝度領域検出部１１６は、その第１のＩＲ元画像を用いて構成されるＩＲ画像においてフレアは生じていないと判定する（ステップＳ４２）。つまり、ＩＲ画像の全体が非フレア領域として判定される。
　（ステップＳ４３ａ）
　一方、何れかの位置での輝度が第５閾値以上であると判定すると（ステップＳ４１ａのＹｅｓ）、高輝度領域検出部１１６は、第１のＩＲ元画像を領域分割する。つまり、高輝度領域検出部１１６は、第１のＩＲ元画像を、少なくとも１つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばＳｕｐｅｒＰｉｘｅｌなど、輝度による手法を利用してもよい。
　（ステップＳ４４ａ）
　次に、第１エッジ検出部１１７ＩＲおよび第２エッジ検出部１１７ＢＷは、第１のＩＲ元画像および第２のＩＲ元画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Ｃａｎｎｙ法またはＳｏｂｅｌフィルタなどを利用してもよい。
　（ステップＳ４５ａ）
　フレア検出部１１２は、第１のＩＲ元画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応する第２のＩＲ元画像の領域内のエッジとを比較する。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとの間の相関値が、第４閾値以上か否かを判定する。相関値は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応する第２のＩＲ元画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。
　（ステップＳ４６ａ）
　ここで、相関値が第４閾値以上ではない、すなわち第４閾値未満と判定すると（ステップＳ４５ａのＮｏ）、フレア検出部１１２は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、第１のＩＲ元画像内のフレアなどが生じている領域と、第２のＩＲ元画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部１１２は、第１のＩＲ元画像内のその高輝度領域をフレア領域として判別する。すなわち、フレア検出部１１２は、ＩＲ画像内のその高輝度領域をフレア領域として判別する。なお、ＩＲ画像内の高輝度領域は、第１のＩＲ元画像内の高輝度領域と同一の領域である。
　一方、フレア検出部１１２は、ステップＳ４５ａで、相関値が第４閾値以上である、すなわち第４閾値未満ではないと判定すると（ステップＳ４５ａのＹｅｓ）、その高輝度領域ではフレアなどは生じていないと判定する。つまり、フレア検出部１１２は、その高輝度領域を非フレア領域として判定する。
　＜輝度の相関を利用＞
　以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、第１のＩＲ元画像と第２のＩＲ元画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。
　図２５は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の一例を示すフローチャートである。つまり、図２５は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度の相関を利用したフレア領域の検出処理を示したフローチャートである。なお、図２５において、図２４と同じステップには、同一の符号を付し、詳細な説明を省略する。図２５に示すフローチャートは、図２４に示すフローチャートと異なり、ステップＳ４４ａを含まず、ステップＳ４５ａの代わりにステップＳ４５ｂを含む。
　（ステップＳ４５ｂ）
　フレア検出部１１２は、ステップＳ４５ｂでは、ステップＳ４３ａの領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応する第２のＩＲ元画像の領域における各画素の輝度との間の相関値を計算する。相関値は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域における各画素の輝度からなるベクトルと、第２のＩＲ元画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。
　ここで、相関値が第４閾値以上、すなわち第４閾値未満でない場合（ステップＳ４５ｂのＹｅｓ）、フレア検出部１１２は、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２ａ）。一方、相関値が第４閾値未満の場合（ステップＳ４５ｂのＮｏ）、フレアなどの影響で、第１のＩＲ元画像の高輝度領域内の各画素の輝度と、第２のＩＲ元画像の対応領域内の各画素の輝度との相関が低くなっている。したがって、このような場合には、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６ａ）。
　つまり、フレア領域の検出のために用いられる、第１のＩＲ元画像および第２のＩＲ元画像のそれぞれの領域内の画像特徴量は、図２４に示す例では、その領域内の画像に含まれるエッジであるが、図２５に示す例では、その領域内の輝度である。ここで、上述のように、第１のＩＲ元画像のフレア領域内の輝度と、そのフレア領域に対応する第２のＩＲ元画像の領域内の輝度との相関は低い傾向にある。したがって、第１のＩＲ元画像において、輝度が高く、かつ、その輝度の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。
　＜ＣＥＮＳＵＳ変換を利用＞
　もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、前述のハミング距離およびＣＥＮＳＵＳ変換を利用してもかまわない。
　図２６は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の他の例を示すフローチャートである。つまり、図２６は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれのＣＥＮＳＵＳ変換を利用したフレア領域の検出処理を示したフローチャートである。なお、図２６において、図２４と同じステップには、同一の符号を付与し、詳細な説明を省略する。図２６に示すフローチャートは、図２４に示すフローチャートと異なり、ステップＳ４４ａおよびＳ４５ａの代わりにステップＳ４４ｃおよびＳ４５ｃを含む。
　（ステップＳ４４ｃ）
　フレア検出部１１２は、ステップＳ４４ｃでは、ステップＳ４３ａの領域分割によって得らえた各高輝度領域について、第１のＩＲ元画像のうちのその高輝度領域の画像と、第２のＩＲ元画像のうちの対応領域の画像とのそれぞれに対してＣＥＮＳＵＳ変換を行う。これにより、第１のＩＲ元画像のうちのその高輝度領域の画像に対するＣＥＮＳＵＳ変換画像と、第２のＩＲ元画像のうちの対応領域の画像に対するＣＥＮＳＵＳ変換画像とが生成される。
　（ステップＳ４５ｃ）
　次に、フレア検出部１１２は、ステップＳ４５ｃにおいて、ステップＳ４４ｃで求めた第１のＩＲ元画像のＣＥＮＳＵＳ変換画像と、第２のＩＲ元画像のＣＥＮＳＵＳ変換画像との間のハミング距離を計算する。そして、フレア検出部１１２は、このハミング距離を高輝度領域の画素数で正規化した値が第６閾値以下の場合（ステップＳ４５ｃのＹｅｓ）、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２ａ）。一方、正規化したハミング距離の値が第６閾値より大きい場合（ステップＳ４５ｃのＮｏ）、フレア検出部１１２は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６ａ）。
　つまり、フレア検出部１１２は、第１のＩＲ元画像のうちの第５閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得する。そして、フレア検出部１１２は、当該高輝度領域に対応する第２のＩＲ元画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得する。なお、第１変換画像および第２変換画像は、上述のＣＥＮＳＵＳ変換画像である。次に、フレア検出部１１２は、少なくとも１つの高輝度領域のうち、第１変換画像と第２変換画像との間のハミング距離が第６閾値を超える高輝度領域を、フレア領域として検出する。このようにＣＥＮＳＵＳ変換を用いても、フレア領域を適切に検出することができる。
　以上、本実施の形態およびその変形例における奥行取得装置１では、ＩＲ画像にフレア領域がある場合であっても、ＢＷ画像の対応領域の画像を用いることによって、そのフレア領域内の各位置での適切な奥行きを取得することができる。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図６、図７、図１５～図１９、および図２２～図２６の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。
　以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
　また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、図５、図８、図２０、および図２１に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
　さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
　本開示は、撮影によって得られる画像から奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。
　１　　奥行取得装置
　１０、１０１　　光源
　２０　　固体撮像素子
　２１　　第１画素（ＩＲ）
　２２　　第２画素（ＢＷ）
　３０　　処理回路
　５０　　拡散板
　６０　　レンズ
　７０　　バンドパスフィルタ
　１０２　　ＩＲカメラ
　１０３　　ＢＷカメラ
　１０４　　学習モデル
　１１０　　プロセッサ
　１１１　　奥行推定部
　１１１ａ　　第１奥行推定部
　１１１ｂ　　第２奥行推定部
　１１２　　フレア検出部
　１１３　　発光タイミング取得部
　１１４　　ＩＲ画像取得部
　１１５　　ＢＷ画像取得部
　１１６　　高輝度領域検出部
　１１７ＩＲ　　第１エッジ検出部
　１１７ＢＷ　　第２エッジ検出部
　１１８　　出力部
　２００　　メモリ

Claims (17)

  1. 　メモリと、
    　プロセッサとを備え、
    　前記プロセッサは、
    　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
    　前記赤外画像からフレア領域を検出し、
    　前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する、
    　奥行取得装置。
  2. 　前記プロセッサは、
    　前記フレア領域の奥行きの推定では、
    　前記赤外画像内の各位置での奥行きを示す第１奥行情報を推定し、
    　前記第１奥行情報によって示される前記フレア領域内の各位置での奥行きを前記可視光画像に基づいて補正することによって、前記フレア領域内の各位置での補正後の奥行きを示す第２奥行情報を推定し、
    　さらに、前記第１奥行情報によって示される、前記赤外画像の前記フレア領域外の各位置での奥行きと、前記第２奥行情報によって示される、前記赤外画像の前記フレア領域内の各位置での奥行きとを示す、第３奥行情報を生成する、
    　請求項１に記載の奥行取得装置。
  3. 　前記プロセッサは、前記フレア領域の検出では、
    　前記赤外画像のうち、第１閾値以上の輝度を有する領域を、前記フレア領域として検出する、
    　請求項１または２に記載の奥行取得装置。
  4. 　前記プロセッサは、前記フレア領域の検出では、
    　前記赤外画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、前記フレア領域として検出し、
    　前記予め定められた条件は、前記赤外画像の領域内の画像特徴量と、前記領域に対応する前記可視光画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件である、
    　請求項１または２に記載の奥行取得装置。
  5. 　前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、
    　前記領域内の画像に含まれるエッジである、
    　請求項４に記載の奥行取得装置。
  6. 　前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、
    　前記領域内の輝度である、
    　請求項４に記載の奥行取得装置。
  7. 　前記プロセッサは、前記フレア領域の検出では、
    　前記赤外画像のうちの第１閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、
    　（ｉ）当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得し、
    　（ｉｉ）当該高輝度領域に対応する前記可視光画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得し、
    　少なくとも１つの前記高輝度領域のうち、前記第１変換画像と前記第２変換画像との間のハミング距離が第３閾値を超える高輝度領域を、前記フレア領域として検出する、
    　請求項１または２に記載の奥行取得装置。
  8. 　前記プロセッサは、
    　前記フレア領域の奥行きの推定では、
    　前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    　前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正する、
    　請求項１に記載の奥行取得装置。
  9. 　メモリと、
    　プロセッサとを備え、
    　前記プロセッサは、
    　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、
    　前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    　前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
    　奥行取得装置。
  10. 　光源と、
    　前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
    　前記赤外画像からフレア領域を検出するフレア検出部と、
    　前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する奥行推定部と、
    　を備える奥行取得装置。
  11. 　光源と、
    　前記光源が被写体に赤外光を照射するタイミングに応じて、前記被写体を含むシーンの赤外光に基づく撮像を行うことによって、赤外画像を取得する赤外カメラと、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像を取得する可視光カメラと、
    　前記赤外画像内の各位置での奥行きを示す奥行情報を推定する第１奥行推定部と、
    　前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する第２奥行推定部と、
    　を備える奥行取得装置。
  12. 　メモリと、
    　プロセッサとを備え、
    　前記プロセッサは、
    　前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
    　前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
    　前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、
    　前記可視光画像に基づいて、前記フレア領域の奥行きを推定する、
    　奥行取得装置。
  13. 　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    　前記赤外画像からフレア領域を検出し、
    　前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する、
    　奥行取得方法。
  14. 　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    　前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    　前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
    　奥行取得方法。
  15. 　メモリと、プロセッサとを備える奥行取得装置を用いた奥行取得方法であって、
    　前記プロセッサは、
    　前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、
    　前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、
    　前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、
    　前記可視光画像に基づいて、前記フレア領域の奥行きを推定する、
    　奥行取得方法。
  16. 　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    　前記赤外画像からフレア領域を検出し、
    　前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する、
    　ことをコンピュータに実行させるためのプログラム。
  17. 　光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、
    　前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されている赤外画像を取得し、
    　前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されている可視光画像を取得し、
    　前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、
    　前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正する、
    　ことをコンピュータに実行させるためのプログラム。
PCT/JP2019/035420 2018-09-18 2019-09-09 奥行取得装置、奥行取得方法およびプログラム WO2020059565A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19861679.9A EP3855395B1 (en) 2018-09-18 2019-09-09 Depth acquisition device, depth acquisition method and program
CN201980050094.4A CN112534474A (zh) 2018-09-18 2019-09-09 纵深取得装置、纵深取得方法以及程序
JP2020548353A JP7262021B2 (ja) 2018-09-18 2019-09-09 奥行取得装置、奥行取得方法およびプログラム
US17/161,060 US11636615B2 (en) 2018-09-18 2021-01-28 Depth acquisition device and depth acquisition method
US18/119,443 US20230215029A1 (en) 2018-09-18 2023-03-09 Depth acquisition device and depth acquisition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-174277 2018-09-18
JP2018174277 2018-09-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/161,060 Continuation US11636615B2 (en) 2018-09-18 2021-01-28 Depth acquisition device and depth acquisition method

Publications (1)

Publication Number Publication Date
WO2020059565A1 true WO2020059565A1 (ja) 2020-03-26

Family

ID=69887442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035420 WO2020059565A1 (ja) 2018-09-18 2019-09-09 奥行取得装置、奥行取得方法およびプログラム

Country Status (5)

Country Link
US (2) US11636615B2 (ja)
EP (1) EP3855395B1 (ja)
JP (2) JP7262021B2 (ja)
CN (1) CN112534474A (ja)
WO (1) WO2020059565A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034915A (zh) * 2021-03-29 2021-06-25 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
WO2022202775A1 (en) * 2021-03-23 2022-09-29 Ricoh Company, Ltd. Imaging device, imaging method, and information processing device
WO2023033040A1 (ja) * 2021-09-06 2023-03-09 株式会社デンソー フレア検出システム、フレア検出装置、フレア検出方法、フレア検出プログラム
WO2023106118A1 (ja) * 2021-12-09 2023-06-15 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
JP7262021B2 (ja) * 2018-09-18 2023-04-21 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质
US11715195B2 (en) * 2021-03-22 2023-08-01 International Business Machines Corporation Machine learning-based circuit board inspection
CN113222922B (zh) * 2021-04-30 2024-02-27 杭州海康威视数字技术股份有限公司 红外爆闪灯补光范围检测方法、装置及设备
CN113643244A (zh) * 2021-07-23 2021-11-12 中国资源卫星应用中心 一种光学遥感卫星影像水体耀斑快速检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2011257956A (ja) * 2010-06-08 2011-12-22 Toyota Motor Corp 周辺状況認識装置
JP2017067503A (ja) * 2015-09-28 2017-04-06 富士通株式会社 位置推定装置、位置推定方法、及び位置推定プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0282876A (ja) 1988-09-20 1990-03-23 Sony Corp カラーモード・赤外モード共用ビデオカメラ
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
US7808512B1 (en) * 2006-12-19 2010-10-05 Nvidia Corporation Bounding region accumulation for graphics rendering
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2011103070A (ja) 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置
JP5842808B2 (ja) * 2010-02-20 2016-01-13 株式会社ニコン 瞳強度分布を調整する方法
JP2012068762A (ja) * 2010-09-21 2012-04-05 Sony Corp 検出装置、検出方法、プログラム、及び電子機器
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
JP6528193B2 (ja) 2015-02-10 2019-06-12 任天堂株式会社 電子機器
US9804667B2 (en) 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6624939B2 (ja) * 2016-01-14 2019-12-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US9928592B2 (en) * 2016-03-14 2018-03-27 Sensors Unlimited, Inc. Image-based signal detection for object metrology
KR20170107269A (ko) * 2016-03-15 2017-09-25 한국전자통신연구원 Rgbd 카메라의 깊이 영상 필터링 장치 및 방법
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
CN107438148B (zh) 2016-05-27 2021-08-24 松下知识产权经营株式会社 摄像系统
US10712561B2 (en) * 2016-11-04 2020-07-14 Microsoft Technology Licensing, Llc Interference mitigation via adaptive depth imaging
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
WO2018191648A1 (en) * 2017-04-14 2018-10-18 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US10791283B2 (en) * 2017-09-01 2020-09-29 Facebook Technologies, Llc Imaging device based on lens assembly with embedded filter
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
TWI689892B (zh) * 2018-05-18 2020-04-01 瑞昱半導體股份有限公司 基於前景影像的背景虛化方法與電子裝置
JP7262021B2 (ja) * 2018-09-18 2023-04-21 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064498A (ja) 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2011257956A (ja) * 2010-06-08 2011-12-22 Toyota Motor Corp 周辺状況認識装置
JP2017067503A (ja) * 2015-09-28 2017-04-06 富士通株式会社 位置推定装置、位置推定方法、及び位置推定プログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
C. TOMASIR. MANDUCHI: "Bilateral filtering for gray and color images", IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV, 1998, pages 839 - 846
KAIMING HEJIAN SUNXIAOOU TANG: "Guided Image Filtering", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 35, 2013, pages 1397 - 1409, XP055553272, DOI: 10.1109/TPAMI.2012.213
R. ZABIHJ. WOODFILL: "Non-parametric Local Transforms for Computing Visual Correspondence", PROC. OF ECCV, 1994, pages 151 - 158
See also references of EP3855395A4
SHURAN SONGFISHER YUANDY ZENGANGEL XCHANG, MANOLIS SAVVATHOMAS FUNKHOUSER: "Semantic Scene Completion from a Single Depth Image", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR, 2017, pages 190 - 198, XP033249354, DOI: 10.1109/CVPR.2017.28
XIAOYONG SHENCHAO ZHOULI XUJIAYA JIA: "Mutual-Structure for Joint Filtering", IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV, 2015

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202775A1 (en) * 2021-03-23 2022-09-29 Ricoh Company, Ltd. Imaging device, imaging method, and information processing device
CN113034915A (zh) * 2021-03-29 2021-06-25 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
CN113034915B (zh) * 2021-03-29 2023-06-20 北京卓视智通科技有限责任公司 一种双光谱交通事件检测方法及装置
WO2023033040A1 (ja) * 2021-09-06 2023-03-09 株式会社デンソー フレア検出システム、フレア検出装置、フレア検出方法、フレア検出プログラム
WO2023106118A1 (ja) * 2021-12-09 2023-06-15 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
CN112534474A (zh) 2021-03-19
EP3855395A4 (en) 2022-03-02
EP3855395B1 (en) 2024-05-15
JP2023100611A (ja) 2023-07-19
JP7262021B2 (ja) 2023-04-21
JPWO2020059565A1 (ja) 2021-09-16
US20210150742A1 (en) 2021-05-20
EP3855395A1 (en) 2021-07-28
US20230215029A1 (en) 2023-07-06
US11636615B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
WO2020059565A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US10291823B2 (en) Apparatus and method for color calibration
US10755417B2 (en) Detection system
WO2020066637A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
WO2020059448A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US10354413B2 (en) Detection system and picture filtering method thereof
US20160098841A1 (en) Information processing system and information processing method
US11373324B2 (en) Depth acquisition device and depth acquisition method for providing a corrected depth image
JP2005242488A (ja) 物体検出装置、物体検出方法、プログラム
US10803625B2 (en) Detection system and picturing filtering method thereof
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2020193957A (ja) 測距異常を補正する距離画像生成装置
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19861679

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548353

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019861679

Country of ref document: EP

Effective date: 20210419