WO2017183114A1 - 距離画像生成装置および距離画像生成方法 - Google Patents

距離画像生成装置および距離画像生成方法 Download PDF

Info

Publication number
WO2017183114A1
WO2017183114A1 PCT/JP2016/062419 JP2016062419W WO2017183114A1 WO 2017183114 A1 WO2017183114 A1 WO 2017183114A1 JP 2016062419 W JP2016062419 W JP 2016062419W WO 2017183114 A1 WO2017183114 A1 WO 2017183114A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
distance image
distance
subject
amount
Prior art date
Application number
PCT/JP2016/062419
Other languages
English (en)
French (fr)
Inventor
吉田　大輔
雄一 野中
Original Assignee
株式会社日立エルジーデータストレージ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立エルジーデータストレージ filed Critical 株式会社日立エルジーデータストレージ
Priority to PCT/JP2016/062419 priority Critical patent/WO2017183114A1/ja
Priority to US16/094,901 priority patent/US10928518B2/en
Priority to CN201680084945.3A priority patent/CN109073754B/zh
Priority to JP2018512687A priority patent/JP6751137B2/ja
Priority to TW106110113A priority patent/TWI648549B/zh
Publication of WO2017183114A1 publication Critical patent/WO2017183114A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to a distance image generation device and a distance image generation method.
  • Japanese Patent Laid-Open No. 2004-133867 describes that “when a distance image to an object existing in the target space is estimated by the TOF method, if an attempt is made to increase the resolution of the distance image or increase the frame rate, shot noise, ambient light, etc. As a result, CCD saturation may occur, resulting in a decrease in distance accuracy.Ambient light is received based on the frequency analysis of the reflected light S2 when the reflected light S2 from the object at the time when there is no light emission from the light source.
  • the light emission frequency selector (7) performs the illumination light S1 having a light emission frequency that is not easily affected by the reflected light of the illumination light S1 from the light source prepared with the irradiation light having the optimum light emission frequency.
  • the image generation unit (6) generates the distance up to the distance, so that it is possible to suppress the influence of ambient light during light reception, and the influence of noise on the distance accuracy when the light receiving element unit (2) is increased in resolution. Can be reduced Made. Has been described as ".
  • the TOF method generally uses near-infrared light, for environments with extremely strong near-infrared light (for example, outdoors during sunlight) or objects with a glossy surface such as metal, There is a problem that a signal obtained by exposure with an image sensor is saturated and accurate distance information cannot be acquired.
  • the technique of Patent Document 1 describes that the saturation of the image sensor is suppressed by estimating the emission frequency that is not easily affected by ambient light and changing the illumination frequency.
  • the technique of this document may cause a problem that saturation of the image sensor cannot be suppressed and distance accuracy cannot be improved in the case of a subject having a high light reflectance such as a mirror-like subject surface.
  • an object of the present invention is to provide a distance image generation apparatus that can generate a distance image with higher accuracy.
  • the present application includes a plurality of means for solving at least a part of the above-described problems, and examples thereof are as follows.
  • a distance image generating apparatus captures an image by receiving light including a light emitting unit that emits light toward a subject with different light emission intensities, and reflected light from the subject, and each pixel A light receiving unit that calculates the exposure amount of the light source, and in a predetermined case, the exposure amount at the first light emission intensity and the exposure amount at the second light emission intensity are replaced to calculate the distance to the subject, and the distance image is calculated.
  • the distance image generation device can generate a distance image with higher accuracy. Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a distance image generating apparatus 100 according to the present embodiment.
  • the distance image generation apparatus 100 is an apparatus that employs the TOF method and generates a distance image in which the distance to the subject OB is two-dimensionally arranged for each pixel.
  • the distance image generating apparatus 100 includes an input receiving unit 11, a control unit 12, a light emitting unit 13, a light receiving unit 14, and a signal processing unit 15.
  • the input receiving unit 11 is a functional unit that receives an instruction input from a user of the distance image generating device 100. Specifically, the input receiving unit 11 measures the measurement distance range (for example, 1 to 3 m (short distance measurement range), 3 to 7 m (medium distance measurement range), 7 to 10 m from the distance image generation device 100 to the subject OB. The setting of a predetermined imaging mode (for example, a short-distance mode, a medium-distance mode, a long-distance mode, etc.) relating to (far-distance measurement range) is received from the user. The input receiving unit 11 outputs the received setting information to a predetermined function unit (for example, the control unit 12 or the like).
  • a predetermined function unit for example, the control unit 12 or the like.
  • the control unit 12 is a functional unit that controls various processes executed by the distance image generating apparatus 100. Specifically, the control unit 12 generates a light emission intensity control signal S0, a light emission timing control signal S1, and an exposure timing control signal S2 corresponding to the measurement distance range.
  • the light emission intensity control signal S0 is a signal for controlling the degree of light emission intensity (light emission intensity) in the light emitting unit 13.
  • the light emission timing control signal S1 is a signal for controlling the timing of light emission by the light emitting unit 13 and the length of the light emission time.
  • the exposure timing control signal S2 is a signal for controlling the timing of exposure by the light receiving unit 14 and the length of the exposure time.
  • the control unit 12 outputs the light emission intensity control signal S0 and the light emission timing control signal S1 to the light emitting unit 13 at a predetermined timing (for example, when receiving an instruction to generate a distance image by imaging the subject OB from the user).
  • An exposure timing control signal S2 is output to the light receiving unit 14.
  • the control unit 12 generates information on timing (hereinafter referred to as signal related information) indicated by these control signals and outputs the information to the signal processing unit 15.
  • the light emitting unit 13 is a functional unit that irradiates near-infrared light toward the subject OB. Specifically, the light emitting unit 13 irradiates near-infrared light toward the subject OB at the timing and light emission intensity indicated by the light emission timing control signal S1 and the light emission intensity control signal S0.
  • the light receiving unit 14 is a functional unit that receives light including reflected light of light irradiated on the subject OB and calculates an exposure amount. Specifically, the light receiving unit 14 captures an image of the subject OB by receiving (exposing) light including reflected light from the subject OB at a timing indicated by the exposure timing control signal S2. In addition, the light receiving unit 14 calculates an exposure amount for each pixel that images the subject. The light receiving unit 14 converts the exposure amount into an electrical signal by photoelectric conversion and outputs the electrical signal to the signal processing unit 15.
  • the signal processing unit 15 is a functional unit that calculates a distance to the subject OB for each pixel and generates a distance image. Specifically, the signal processing unit 15 acquires the photoelectrically converted electric signal as an input signal from the light receiving unit 14, and uses this to calculate the distance to the subject OB for each pixel. Further, the signal processing unit 15 generates a distance image in which each pixel having distance information to the subject OB is two-dimensionally arranged.
  • FIG. 2 is a diagram illustrating an example of a detailed configuration of the signal processing unit 15.
  • the signal processing unit 15 includes a separation unit 151, an R / W control unit 152, buffers 153 to 158, a selector 159, and a distance calculation unit 160.
  • the separation unit 151 is a functional unit that separates input signals. Specifically, the separation unit 151 refers to the signal related information and separates the input signal indicating the exposure amount acquired from the light receiving unit 14 for each predetermined light emission intensity and light emission exposure pattern.
  • the R / W control unit 152 is a functional unit that stores (writes) each of the input signals separated by the separation unit 151 in the buffers 153 to 158 and extracts (reads) each signal from the buffers 153 to 158.
  • Buffers 153 to 158 store each of the input signals separated by the separation unit 151.
  • the selector 159 selects the input signal taken out (read out) from the buffers 153 to 158 according to a predetermined standard, and outputs it to the distance calculation unit 160.
  • the distance calculation unit 160 is a functional unit that calculates the distance from the distance image generation device 100 to the subject OB for each pixel using the signal output from the selector 159. Details of the processing by the distance calculation unit 160 will be described later.
  • the schematic configuration of the distance image generation device 100 according to the present embodiment has been described above.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the distance image generating apparatus 100.
  • the distance image generation device 100 is realized by, for example, a distance image sensing camera (so-called TOF camera) that can measure the distance in the depth direction for each pixel according to the reflection time of near-infrared light irradiated on the subject OB.
  • TOF camera distance image sensing camera
  • the distance image generating apparatus 100 includes an arithmetic device 20, an input device 21, a display device 22, a light emitting device 23, and a light receiving element 24.
  • the arithmetic device 20 is a central unit that executes various processes of the distance image generating device 100, and includes a CPU (Central Processing Unit) 25 and an FPGA (field-programmable gate array) 26 that perform arithmetic processing, and a main memory. It has a RAM (Random Access Memory) 27 and a ROM (Read Only Memory) 28 as devices.
  • a CPU Central Processing Unit
  • FPGA field-programmable gate array
  • main memory main memory. It has a RAM (Random Access Memory) 27 and a ROM (Read Only Memory) 28 as devices.
  • the input device 21 is a device that receives a setting of an imaging mode and an imaging instruction from a user of the distance image generation device 100, and is, for example, a touch panel or a dial button.
  • the display device 22 is a device that displays setting information, menu information, and the like of the distance image generation device 100, and is, for example, a liquid crystal display.
  • the light-emitting device 23 is a device that irradiates near-infrared light toward the subject OB, and is an electronic flash (strobe) device.
  • the light receiving element 24 is an electronic element (imaging element) that converts light contrast into an electrical signal, and is, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • imaging element imaging element
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the control unit 12 and the signal processing unit 15 of the distance image generating device 100 are realized by a predetermined program that causes the FPGA 26 (or the CPU 25) to perform processing. Such a program is stored in the RAM 27 or the ROM 28, loaded onto the RAM 27 for execution, and executed by the FPGA 26 (or the CPU 25).
  • the light emitting unit 13 is realized by the light emitting device 23.
  • the light receiving unit 14 is realized by the light receiving element 24.
  • the hardware configuration of the distance image generation device 100 according to the present embodiment has been described above.
  • FIG. 4 is a view showing an example of a timing chart of the light emission timing control signal S1 and the exposure timing control signal S2. As shown in the figure, the light emission timing control signal S1 and the exposure timing control signal S2 include three types of light emission exposure patterns.
  • the three types of light emission exposure patterns are a total exposure period W0, a distance measurement period W1, and a background light measurement period WB.
  • the total exposure period W0 is a period during which exposure is performed at a timing at which all of the reflected light of the light emitted from the light emitting unit 13 to the subject OB can be received.
  • the control unit 12 sets the pulse width of the light emission timing control signal S1 to ⁇ t, and sets the pulse width of the exposure timing control signal S2 to 2 ⁇ t, which is twice ⁇ t. Further, the control unit 12 synchronizes the rising timings of the light emission timing control signal S1 and the exposure timing control signal S2. The control unit 12 sets the time length of the total exposure period W0 to 2 ⁇ t. Thereby, in synchronism with the irradiation of the near-infrared light by the light emitting unit 13, it is possible to set the total exposure period W0 in which all the reflected light from the subject OB can be exposed.
  • control unit 12 specifies the measurement distance range based on the setting information of the imaging mode, and determines a predetermined value associated therewith as ⁇ t.
  • the distance measurement period W1 is a period in which exposure is performed at a timing such that the amount of received light decreases as the reflected light delays with respect to the light emission timing.
  • the control unit 12 synchronizes the falling timings of the light emission timing control signal S1 and the exposure timing control signal S2.
  • the control part 12 sets the time length of the distance measurement period W1 to 2 (DELTA) t similarly to all the exposure periods W0. Thereby, in synchronism with the irradiation of near-infrared light by the light emitting unit 13, the distance measurement period W1 in which the exposure amount decreases as the reflected light from the subject OB is delayed can be set.
  • the background light measurement period WB is a period in which exposure is performed at a timing such that only background light other than the reflected light from the subject OB is received.
  • the control unit 12 synchronizes the rise timing of the light emission timing control signal S1 and the fall timing of the exposure timing control signal S2.
  • the control unit 12 sets the time length of the background light measurement period WB to 2 ⁇ t, similarly to the total exposure period W0. Thereby, the background light measurement period WB for exposing only the background light not including the reflected light can be set.
  • the distance image generating apparatus 100 can obtain three types of exposure amounts Q0, Q1, and QB for each pixel that images the subject OB.
  • ⁇ tTOF is the time (seconds) from when the light emitting unit 13 irradiates near infrared light to when the light receiving unit 14 receives the reflected light reflected by the subject OB.
  • the distance to the subject OB is proportional to the delay time of the reflected light, it is obtained by the ratio of the exposure amount Q0 in the entire exposure period W0 and the exposure amount Q1 in the distance measurement period W1.
  • the distance calculation unit 160 calculates the value of ⁇ tTOF using the following equation (1).
  • ⁇ tTOF ⁇ tX ⁇ 1- (Q1-QB) ⁇ / (Q0-QB) ... (1)
  • FIG. 5 is a flowchart showing an example of the flow of the distance image generation process executed by the distance image generation device 100.
  • the distance image generation process is started when the distance image generation apparatus 100 is activated, for example.
  • the input reception unit 11 monitors whether or not an input of setting of an imaging mode related to the measurement distance range from the distance image generation device 100 to the subject OB is received from the user (step S001). . If it is determined that a setting input has been received (Yes in step S001), the input receiving unit 11 outputs a measurement distance range corresponding to the set imaging mode to the control unit 12.
  • control unit 12 generates a light emission intensity control signal S0, a light emission timing control signal S1, and an exposure timing control signal S2 corresponding to the measurement distance range (step S002). Specifically, the control unit 12 generates a light emission intensity control signal S0, a light emission timing control signal S1, and an exposure timing control signal S2 shown in FIG.
  • FIG. 6 shows an example of a timing chart of the light emission intensity control signal S0, the light emission timing control signal S1, and the exposure timing control signal S2.
  • the light emission intensity control signal S0 has two kinds of periods P0 and P1 having different light emission intensities, and each of the periods P0 and P1 includes three kinds of light emission exposure patterns. Note that the details of the light emission exposure pattern are the same as described above, and a description thereof will be omitted.
  • the control unit 12 generates two types of emission intensity control signals S0 having different emission intensity. Specifically, the control unit 12 includes a light emission intensity period P0 of strong light emission and a light emission intensity period P1 of weak light emission, and the time lengths of the periods P0 and P1 each include the above-described three types of light emission exposure patterns. Set the length to In other words, the control unit 12 emits the light emission intensity control signal S0 and the light emission exposure pattern so that the light emission exposure patterns of the light emission timing control signal S1 and the exposure timing control signal S2 are included in each of the strong light emission period P0 and the weak light emission period P1. A timing control signal S1 and an exposure timing control signal S2 are generated.
  • control unit 12 outputs the generated light emission intensity control signal S0 and the light emission timing control signal S1 to the light emitting unit 13 (step S003), and outputs the exposure timing control signal S2 to the light receiving unit 14 (step S004).
  • the control unit 12 also generates signal related information and outputs it to the signal processing unit 15.
  • the light emitting unit 14 irradiates the subject OB with near-infrared light at the light emission timing and the light emission intensity indicated by the light emission timing control signal S1 and the light emission intensity control signal S0 (step S005).
  • the light receiving unit 14 receives the reflected light from the subject OB at the timing indicated by the exposure timing control signal S2, and performs exposure (step S006).
  • the light receiving unit 14 obtains the exposure amounts Q00, Q01, and Q0B for each pixel that images the subject OB in the strong light emission period P0.
  • the light receiving unit 14 obtains the exposure amounts Q10, Q11, and Q1B in the weak light emission period P1.
  • the light receiving unit 14 converts the exposure amount into an electrical signal by photoelectric conversion and outputs the electrical signal to the signal processing unit 15.
  • the exposure amount obtained according to the timing chart of FIG. 6 is output to the signal processing unit 15 by time division using the same signal line.
  • the signal processing unit 15 generates a distance image using the input signal (step S007).
  • the separation unit 151 of the signal processing unit 15 refers to the signal related information and separates the input signal indicating the exposure amount for each light emission intensity and light emission exposure pattern.
  • the R / W control unit 152 writes the signals separated by the separation unit 151 to the buffers 153 to 158, respectively.
  • the R / W control unit 152 writes signals indicating the exposure amounts Q00, Q01, Q0B, Q10, Q11, and Q1B to the buffers 153 to 158, respectively.
  • the R / W control unit 152 reads a signal indicating the exposure amount from each of the buffers 153 to 158 at a predetermined timing and inputs the signal to the selector 159.
  • the selector 159 selects an input signal of an exposure amount that is not saturated and outputs it to the distance calculation unit 160.
  • the selector 159 determines for each pixel whether or not the exposure amount Q00 of the entire exposure period W0 included in the strong light emission period P0 is equal to or greater than a predetermined saturation value QS. Then, the selector 159 selects signals indicating the exposure amounts Q10, Q11, and Q1B obtained in each period of the light emission exposure pattern included in the weak light emission period P1 for pixels whose Q00 value is equal to or greater than the value of QS. Is output to the distance calculation unit 160.
  • the selector 159 selects a signal indicating the exposure amounts Q00, Q01, and Q0B obtained in each period of the light emission exposure pattern included in the strong light emission period P0 for pixels whose Q00 value is less than the QS value, These are output to the distance calculation unit 160.
  • the distance calculation unit 160 uses the values of Q00, Q01, and Q0B to obtain the subject OB according to the following equation (4).
  • the distance calculation unit 160 calculates the distance from the distance image generation device 100 to the subject OB for each pixel of the captured subject OB.
  • FIG. 7 is a diagram illustrating an example of an imaging configuration including the distance image generation device 100, the subject OB0, and the subject OB1.
  • FIG. 8 is a diagram showing an example of an image (hereinafter referred to as a Q00 image) in which the exposure amounts Q00 of the subjects OB0 and OB1 captured in the strong light emission period P0 are two-dimensionally arranged.
  • FIG. 9 is a diagram illustrating an example of an image (hereinafter referred to as a Q10 image) in which the exposure amounts Q10 of the subjects OB0 and OB1 captured in the weak light emission period P1 are two-dimensionally arranged.
  • the subject OB0 indicates a subject having a high surface light reflectance (for example, a material having a white surface or a glossy material).
  • the subject OB1 indicates a subject whose surface light reflectance is low (for example, a material whose surface is black or non-glossy).
  • the exposure amount of the subject OB0 is saturated, and an accurate distance from the distance image device to the subject OB0 cannot be calculated.
  • the exposure amount of the subject OB1 is not saturated, so that accurate distance calculation is possible.
  • the distance image generation device 100 uses the exposure amount of the weak light emission period P1 for the pixels in which the exposure amount of the captured subject is saturated by the above-described distance image generation processing, and the pixels in which the exposure amount is not saturated. Calculates the distance to the subject using the exposure amount in the strong light emission period P0. In other words, the distance image generating apparatus 100 can calculate the exact distance to the subject by replacing the saturated pixel in the Q00 image with the exposure amount of the corresponding pixel in the Q10 image.
  • the distance image generation device 100 can generate a distance image with higher accuracy.
  • the distance image generation device 100 captures a subject with two different light emission intensities, and generates a distance image by replacing a pixel with a saturated exposure amount with a non-saturated pixel exposure amount (distance information). .
  • distance information a distance image can be generated using measurement information that contains as little exposure saturation and signal noise as possible.
  • FIG. 10 is a diagram illustrating an example of a schematic configuration of the distance image generation device 100 according to the second embodiment.
  • the distance image generation device 100 according to the present embodiment is different from the first embodiment in that the received light amount control unit 16 is included.
  • the received light amount control unit 16 changes the received light amount of the light receiving unit 14 based on the received light amount control signal S ⁇ b> 3 generated by the control unit 12. Since the basic configuration of the distance image generation device 100 is the same as that of the first embodiment, the same reference numerals are given and description thereof is omitted.
  • the received light amount control unit 1612 is realized by a device such as an iris (Iris) or a liquid crystal shutter, for example.
  • the received light amount control unit 16 changes the aperture value based on the received light amount control signal S3 output from the control unit 12, and adjusts the amount of light received by the light receiving unit 14. Thereby, the light quantity of the reflected light from the subject OB received by the light receiving unit 14, that is, the exposure amount can be changed.
  • the control unit 12 generates a light emission timing control signal S1, an exposure timing control signal S2, and a received light amount control signal S3.
  • the received light amount control signal S3 is a signal for controlling the aperture value by the received light amount control unit 16. Since the light emission timing control signal S1 and the exposure timing control signal S2 are the same as described above, the description thereof is omitted.
  • FIG. 11 is a diagram showing an example of a timing chart of the light emission timing control signal S1, the exposure timing control signal S2, and the received light amount control signal S3.
  • the received light amount control signal S3 has periods P2 and P3 of two different received light amounts (strong light amount and weak light amount). Each of the periods P2 and P3 includes the three types of light emission exposure patterns described in the first embodiment.
  • the control unit 12 generates a received light amount control signal S3 including a strong light amount period P2 and a weak light amount period P3 set to a time length including the light emission exposure pattern. Further, the control unit 12 outputs the received light amount control signal S3 to the received light amount control unit 16 at a predetermined timing.
  • the received light amount control unit 16 controls the aperture value based on the received light amount control signal S3 to control the received light amount of the light receiving unit 14.
  • the control unit 12 outputs a light emission timing control signal S1 to the light emitting unit 13 at a predetermined timing, and outputs an exposure timing control signal S2 to the light receiving unit 14.
  • the control unit 12 generates signal related information regarding the light emission timing control signal S1, the exposure timing control signal S2, and the received light amount control signal S3, and outputs the signal related information to the signal processing unit 15.
  • the light emitting unit 13 irradiates the subject OB with near infrared light based on the light emission timing control signal S1.
  • the received light amount control unit 1612 changes the aperture value based on the received light amount control signal S3.
  • the light receiving unit 14 performs exposure using reflected light that has been reflected by the subject OB and returned. Accordingly, the light receiving unit 14 obtains the exposure amounts Q20, Q21, and Q2B for each pixel that images the subject OB in the high light amount period P2. In addition, the light receiving unit 14 obtains exposure amounts Q30, Q31, and Q3B in the low light amount period P3. In addition, the light receiving unit 14 converts the exposure amount into an electrical signal by photoelectric conversion and outputs the electrical signal to the signal processing unit 15.
  • the signal processing unit 15 generates a distance image using the input signal as described above.
  • the separation unit 151 of the signal processing unit 15 refers to the signal related information and separates the input signal indicating the exposure amount for each received light amount and the light emission exposure pattern.
  • the R / W control unit 152 writes each signal separated by the separation unit 151 to predetermined buffers 153 to 158.
  • the R / W control unit 152 reads a signal indicating the exposure amount from each of the buffers 153 to 158 at a predetermined timing and inputs the signal to the selector 159.
  • the selector 159 selects an input signal of an exposure amount that is not saturated and outputs it to the distance calculation unit 160.
  • the selector 159 determines for each pixel whether or not the exposure amount Q20 of the entire exposure period W0 included in the strong light amount period P2 is equal to or greater than a predetermined saturation value QS. Then, the selector 159 selects signals indicating the exposure amounts Q30, Q31, and Q3B obtained in each period of the light emission exposure pattern included in the weak light amount period P3 for pixels having a Q20 value equal to or greater than the QS value. Is output to the distance calculation unit 160.
  • the selector 159 selects a signal indicating the exposure amounts Q20, Q21, and Q2B obtained in each period of the light emission exposure pattern included in the high light amount period P2 for the pixels having the Q20 value less than the QS value. These are output to the distance calculation unit 160.
  • the distance calculation unit 160 uses the values of Q20, Q21, and Q2B to obtain the subject OB according to the following equation (6).
  • the distance image generation device 100 has been described above. Such a distance image generation apparatus 100 can also generate a distance image with higher accuracy.
  • the distance image generating apparatus 100 according to the present embodiment can provide a high-precision distance image by adding simple hardware (iris or liquid crystal shutter) even when it is difficult to control the light emission amount due to restrictions on the light source side, for example. Can be generated.
  • the generated distance image is used for analysis of three-dimensional recognition such as identification of the depth direction of the subject (for example, analysis of human flow or analysis of worker work in a factory).
  • the functional units of the distance image generation device 100 described above are classified according to main processing contents in order to facilitate understanding of the functions of the distance image generation device 100 realized in the present embodiment.
  • the present invention is not limited by the classification method or the name of the classification.
  • each configuration of the distance image generation device 100 can be classified into more components according to the processing content.
  • it can also classify
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • control lines and information lines indicate what is considered necessary for the description, and not all control lines and information lines on the product are necessarily shown. In practice, it can be considered that almost all the components are connected to each other.
  • DESCRIPTION OF SYMBOLS 100 ... Distance image generation apparatus, 11 ... Input reception part, 12 ... Control part, 13 ... Light emitting part, 14 ... Light receiving part, 15 ... Signal processing part, 151... Separation unit, 152... R / W control unit, 153 to 158. 159... Selector, 160... Distance calculation unit, 20. 21 ... Input device, 22 ... Display device, 23 ... Light emitting device, 24 ... Light receiving element

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

より精度の高い距離画像を生成することができる。異なる発光強度で被写体（ＯＢ）に向けて発光する発光部（１３）と、前記被写体（ＯＢ）からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部（１４）と、所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体（ＯＢ）までの距離を算出し、距離画像を生成する距離算出部と、を備える。

Description

距離画像生成装置および距離画像生成方法
　本発明は、距離画像生成装置および距離画像生成方法に関する。
　特許文献１には、「対象空間に存在する対象物までの距離画像をＴＯＦ方式で推定する際、距離画像の高解像度化や高フレームレート化を実現しようとすると、ショットノイズや環境光等の影響でＣＣＤ飽和を発生し、距離精度の低下を招く恐れがある。光源からの発光がない時点での対象物からの反射光Ｓ２を受光しその反射光Ｓ２の周波数分析をもとに環境光の影響を受けにくい発光周波数を持つ照明光Ｓ１を発光周波数選択部（７）が行う。この最適発光周波数を持つ照射光を用意された光源からの照明光Ｓ１の反射光を受光して対象物までの距離を画像生成部（６）が生成することで、受光時の環境光の影響を抑えることが可能となり、受光素子部（２）を高解像度化した際の距離精度に与えるノイズの影響を低減することが可能となる。」と記載されている。
国際公開第２０１０／０２１０９０号
　近年、デジタルサイネージ、ゲーム、自律走行ロボット、自動車、セキュリティなど様々な分野において、被写体や被写体周辺の状況を正確に把握したいというニーズが高まっている。それに伴い、カメラで取得した映像に加えて被写体との距離を２次元的に表現した、いわゆる距離画像を用いて物体認識を高精度化するというアプローチが増えている。距離画像を用いた３次元認識の技術（方式）は複数あるが、Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ（ＴＯＦ）方式は、カメラと投光器を組み合わせて制御し、投光器によって投光された光が対象物に反射して戻ってくるまでの時間を画素毎にリアルタイムで測定する。この方法によれば、例えばステレオ画像処理方式といった他の３次元認識技術と比較して、環境光の変化や温度変化などの影響を受けにくい点や、高精度かつリアルタイムでの距離測定が可能であるという点でメリットがある。
　一方で、ＴＯＦ方式では、一般的に近赤外光を用いるため、極端に近赤外光が強い環境（例えば、日照時の屋外）や金属等の表面に光沢のある物体に対しては、イメージセンサで露光して得られる信号が飽和してしまい、正確な距離情報を取得できないという問題がある。特許文献１の技術では、環境光の影響を受けにくい発光周波数を推定し、照明の周波数を変更することによってイメージセンサの飽和を抑制することが記載されている。しかしながら、同文献の技術では、被写体表面が鏡面状になっているなど光反射率が高い被写体の場合、イメージセンサの飽和を抑制することができず、距離精度を改善できないという問題が生じ得る。
　そこで、本発明は、より精度の高い距離画像の生成を可能とする距離画像生成装置の提供を目的とする。
　本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
　上記課題を解決するため、本発明に係る距離画像生成装置は、異なる発光強度で被写体に向けて発光する発光部と、前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部と、所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える。
　本発明に係る距離画像生成装置によれば、より精度の高い距離画像を生成することができる。なお、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の第一実施形態に係る距離画像生成装置の概略構成の一例を示した図である。 本発明の第一および第二実施形態に係る信号処理部の詳細な構成の一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置のハードウェア構成の一例を示した図である。 本発明の第一および第二実施形態に係る発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置で実行される距離画像生成処理の流れの一例を示したフロー図である。 本発明の第一実施形態に係る発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。 本発明の第一実施形態に係る距離画像生成装置と、被写体ＯＢ０と、被写体ＯＢ１とを含む撮像構成の一例を示した図である。 本発明の第一実施形態に係る強発光期間Ｐ０で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ００を２次元的に配列した画像の一例を示した図である。 本発明の第一実施形態に係る弱発光期間Ｐ１で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ１０を２次元的に配列した画像の一例を示した図である。 本発明の第二実施形態に係る距離画像生成装置の概略構成の一例を示した図である。 本発明の第二実施形態に係る発光タイミング制御信号Ｓ１ならびに露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３のタイミングチャートの一例を示した図である。
　以下、本発明の第一実施形態に係る距離画像生成装置について説明する。
　＜第一実施形態＞
　図１は、本実施形態に係る距離画像生成装置１００の概略構成の一例を示した図である。距離画像生成装置１００は、ＴＯＦ方式を採用し、被写体ＯＢまでの距離を画素ごとに２次元的に配列した距離画像を生成する装置である。具体的には、距離画像生成装置１００は、入力受付部１１と、制御部１２と、発光部１３と、受光部１４と、信号処理部１５とを有している。
　入力受付部１１は、距離画像生成装置１００の使用者から指示入力を受け付ける機能部である。具体的には、入力受付部１１は、距離画像生成装置１００から被写体ＯＢまでの測定距離範囲（例えば、１～３ｍ（近距離測定範囲）、３～７ｍ（中距離測定範囲）、７～１０ｍ（遠距離測定範囲）など）に関する所定の撮像モード（例えば、近距離モード、中距離モード、遠距離モードなど）の設定を使用者から受け付ける。また、入力受付部１１は、受け付けた設定情報を所定の機能部（例えば、制御部１２など）に出力する。
　制御部１２は、距離画像生成装置１００で実行される様々な処理を制御する機能部である。具体的には、制御部１２は、測定距離範囲に応じた発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する。なお、発光強度制御信号Ｓ０は、発光部１３における発光の強さの度合い（発光強度）を制御する信号である。また、発光タイミング制御信号Ｓ１は、発光部１３による発光のタイミングおよび発光時間の長さを制御する信号である。また、露光タイミング制御信号Ｓ２は、受光部１４による露光のタイミングおよび露光時間の長さを制御する信号である。
　制御部１２は、所定のタイミング（例えば、被写体ＯＢの撮像による距離画像の生成指示を使用者から受け付けた時）で、発光強度制御信号Ｓ０および発光タイミング制御信号Ｓ１を発光部１３に出力し、露光タイミング制御信号Ｓ２を受光部１４に出力する。また、制御部１２は、これらの制御信号に示されるタイミングに関する情報（以下、信号関連情報という）を生成し、信号処理部１５に出力する。
　発光部１３は、被写体ＯＢに向けて近赤外光を照射する機能部である。具体的には、発光部１３は、発光タイミング制御信号Ｓ１および発光強度制御信号Ｓ０が示すタイミングおよび発光強度で被写体ＯＢに向けて近赤外光を照射する。
　受光部１４は、被写体ＯＢに照射された光の反射光を含む光を受光し、露光量を算出する機能部である。具体的には、受光部１４は、露光タイミング制御信号Ｓ２が示すタイミングで被写体ＯＢからの反射光を含む光を受光（露光）することで被写体ＯＢを撮像する。また、受光部１４は、被写体を撮像した画素ごとに露光量を算出する。また、受光部１４は、露光量を光電変換により電気信号に変換して信号処理部１５に出力する。
　信号処理部１５は、画素ごとに被写体ＯＢまでの距離を算出し、距離画像を生成する機能部である。具体的には、信号処理部１５は、光電変換された電気信号を入力信号として受光部１４から取得し、これを用いて被写体ＯＢまでの距離を画素ごとに算出する。また、信号処理部１５は、被写体ＯＢまでの距離情報を有する各画素を２次元的に配列した距離画像を生成する。
　図２は、信号処理部１５の詳細な構成の一例を示した図である。信号処理部１５は、分離部１５１と、Ｒ／Ｗ制御部１５２と、バッファ１５３～１５８と、セレクタ１５９と、距離算出部１６０とを有している。
　分離部１５１は、入力信号を分離する機能部である。具体的には、分離部１５１は、信号関連情報を参照し、受光部１４から取得した露光量を示す入力信号を所定の発光強度および発光露光パターンごとに分離する。
　Ｒ／Ｗ制御部１５２は、分離部１５１が分離した入力信号の各々を各バッファ１５３～１５８へ格納し（書き込み）、各バッファ１５３～１５８から各信号を取り出す（読み込み）機能部である。
　バッファ１５３～１５８は、分離部１５１が分離した入力信号の各々を格納する。
　セレクタ１５９は、バッファ１５３～１５８から取り出された（読み出された）入力信号を所定の基準に応じて選択し、距離算出部１６０に出力する。
　距離算出部１６０は、セレクタ１５９から出力された信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する機能部である。なお、距離算出部１６０による処理の詳細については後述する。
　以上、本実施形態に係る距離画像生成装置１００の概略構成について説明した。
　図３は、距離画像生成装置１００のハードウェア構成の一例を示した図である。距離画像生成装置１００は、例えば、被写体ＯＢに照射した近赤外光の反射時間に応じて奥行き方向の距離を画素ごとに測定できる距離画像センシングカメラ（いわゆる、ＴＯＦカメラ）によって実現される。
　図示するように、距離画像生成装置１００は、演算装置２０と、入力装置２１と、表示装置２２と、発光装置２３と、受光素子２４とを有している。
　演算装置２０は、距離画像生成装置１００の様々な処理を実行する中心的なユニットであって、演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２５およびＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）２６と、主記憶装置としてのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２７およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２８とを有している。
　入力装置２１は、距離画像生成装置１００の使用者から撮像モードの設定や撮像指示を受け付ける装置であって、例えば、タッチパネルやダイヤルボタンである。
　表示装置２２は、距離画像生成装置１００の設定情報やメニュー情報などを表示する装置であって、例えば、液晶ディスプレイである。
　発光装置２３は、被写体ＯＢに向けて近赤外光を照射する装置であって、エレクトロニックフラッシュ（ストロボ）装置である。
　受光素子２４は、光の明暗を電気信号に変換する電子素子（撮像素子）であって、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
　なお、距離画像生成装置１００の制御部１２および信号処理部１５は、ＦＰＧＡ２６（あるいはＣＰＵ２５）に処理を行わせる所定のプログラムによって実現される。このようなプログラムは、ＲＡＭ２７またはＲＯＭ２８に格納され、実行にあたってＲＡＭ２７上にロードされ、ＦＰＧＡ２６（あるいはＣＰＵ２５）により実行される。また、発光部１３は、発光装置２３によって実現される。また、受光部１４は、受光素子２４によって実現される。
　以上、本実施形態に係る距離画像生成装置１００のハードウェア構成について説明した。
　図４は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。図示するように、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２には、３種類の発光露光パターンが含まれている。
　図示するように、３種類の発光露光パターンは、全露光期間Ｗ０と、距離測定期間Ｗ１と、バックグラウンド光測定期間ＷＢである。全露光期間Ｗ０は、発光部１３から被写体ＯＢに照射された光の反射光の全てを受光可能なタイミングで露光が行われる期間である。
　制御部１２は、発光タイミング制御信号Ｓ１のパルス幅をΔｔに設定し、露光タイミング制御信号Ｓ２のパルス幅をΔｔの２倍の２Δｔに設定する。また、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の立ち上がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０の時間長さを２Δｔに設定する。これにより、発光部１３による近赤外光の照射に同期して、被写体ＯＢからの反射光を全て露光できる全露光期間Ｗ０を設定することができる。
　なお、Δｔの設定値は、測定しようとする被写体ＯＢまでの測定距離に比例して大きくする必要がある。そのため、制御部１２は、撮像モードの設定情報に基づいて測定距離範囲を特定し、これに対応付けられた所定の値をΔｔとして決定する。
　距離測定期間Ｗ１は、反射光が発光タイミングに対して遅延すればするほど受光量が減少するようなタイミングで露光が行われる期間である。距離測定期間Ｗ１において、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の立ち下がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０と同様に、距離測定期間Ｗ１の時間長さを２Δｔに設定する。これにより、発光部１３による近赤外光の照射に同期して、被写体ＯＢからの反射光が遅延するほど露光量が減少する距離測定期間Ｗ１を設定することができる。
　バックグラウンド光測定期間ＷＢは、被写体ＯＢからの反射光以外のバックグラウンド光のみを受光するようなタイミングで露光が行われる期間である。バックグラウンド光測定期間ＷＢにおいて、制御部１２は、発光タイミング制御信号Ｓ１の立ち上がりと露光タイミング制御信号Ｓ２の立ち下がりのタイミングを同期させる。なお、制御部１２は、全露光期間Ｗ０と同様に、バックグラウンド光測定期間ＷＢの時間長さを２Δｔに設定する。これにより、反射光を含まないバックグラウンド光のみを露光するバックグラウンド光測定期間ＷＢを設定することができる。
　このような発光露光パターンにより、距離画像生成装置１００は、被写体ＯＢを撮像した画素ごとに３種類の露光量Ｑ０、Ｑ１およびＱＢを得ることができる。
　なお、ΔｔＴＯＦは、発光部１３が近赤外光を照射してから、被写体ＯＢで反射した反射光を受光部１４が受光するまでの時間（秒）である。ここで、被写体ＯＢまでの距離は、反射光の遅延時間に比例するため、全露光期間Ｗ０の露光量Ｑ０と、距離測定期間Ｗ１の露光量Ｑ１の比率によって求められる。ただし、いずれの場合もバックグラウンド光を含んでいるため、かかる期間の露光量ＱＢを用いてこれをキャンセルする必要がある。したがって、距離算出部１６０は、以下の式（１）を用いてΔｔＴＯＦの値を算出する。
ΔｔＴＯＦ＝ΔｔＸ｛１－（Ｑ１－ＱＢ）｝／（Ｑ０－ＱＢ）
・・・（１）
　また、ΔｔＴＯＦは、発光部１３から被写体ＯＢまでの往復時間である。したがって、距離算出部１６０は、以下の式（２）を用いて被写体ＯＢまでの距離Ｌ（ｍ）を算出する。なお、ｃは、光速のことであり、単位は（ｍ／ｓｅｃ）である。
　Ｌ＝（ｃＸΔｔＴＯＦ）／２
　　　＝（ｃＸΔｔ）／２Ｘ｛１－（Ｑ１－ＱＢ）／（Ｑ０－ＱＢ）｝
・・・（２）
　上記の式（１）および（２）は、いずれも露光量Ｑ０およびＱ１が飽和していないことが条件である。なお、露光量Ｑ１は、反射光の遅延時間に比例して減少した露光量であるから、Ｑ０＞Ｑ１が成立する。したがって、露光量Ｑ０が飽和しないように制御すれば、露光量Ｑ０およびＱ１のいずれも飽和しない条件を作り出すことができる。
　本実施形態では、飽和していない露光量を得るため、発光部１３から照射する近赤外光の発光強度を変化させて測定を行う。かかる測定の詳細については後述する。
　［動作の説明］
　図５は、距離画像生成装置１００で実行される距離画像生成処理の流れの一例を示したフロー図である。距離画像生成処理は、例えば距離画像生成装置１００の起動と共に開始される。
　距離画像生成処理が開始されると、入力受付部１１は、距離画像生成装置１００から被写体ＯＢまでの測定距離範囲に関する撮像モードの設定入力を使用者から受け付けたか否かを監視する（ステップＳ００１）。そして、設定入力を受け付けたと判定した場合（ステップＳ００１でＹｅｓ）、入力受付部１１は、設定された撮像モードに対応する測定距離範囲を制御部１２に出力する。
　次に、制御部１２は、測定距離範囲に応じた発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する（ステップＳ００２）。具体的には、制御部１２は、図６に示す発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２を生成する。
　図６は、発光強度制御信号Ｓ０ならびに発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２のタイミングチャートの一例を示した図である。図示するように、発光強度制御信号Ｓ０は２種類の異なる発光強度の期間Ｐ０およびＰ１を有し、期間Ｐ０およびＰ１の各々に、３種類の発光露光パターンが含まれている。なお、発光露光パターンの詳細は前述と同様であるため、説明を省略する。
　制御部１２は、発光強度が異なる２種類の発光強度制御信号Ｓ０を生成する。具体的には、制御部１２は、強発光の発光強度期間Ｐ０と、弱発光の発光強度期間Ｐ１を含み、期間Ｐ０およびＰ１の時間長さを各々、前述の３種類の発光露光パターンが含まれる長さに設定する。言い換えれば、制御部１２は、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２の発光露光パターンが強発光の期間Ｐ０および弱発光の期間Ｐ１の各々に含まれるように発光強度制御信号Ｓ０と、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２とを生成する。
　次に、制御部１２は、生成した発光強度制御信号Ｓ０および発光タイミング制御信号Ｓ１を発光部１３に出力し（ステップＳ００３）、露光タイミング制御信号Ｓ２を受光部１４に出力する（ステップＳ００４）。また、制御部１２は、信号関連情報を生成し、これを信号処理部１５に出力する。
　次に、発光部１４は、発光タイミング制御信号Ｓ１および発光強度制御信号Ｓ０が示す発光タイミングおよび発光強度で近赤外光を被写体ＯＢに照射する（ステップＳ００５）。また、受光部１４は、露光タイミング制御信号Ｓ２が示すタイミングで被写体ＯＢからの反射光を受光して、露光を行う（ステップＳ００６）。
　これにより、受光部１４は、強発光の期間Ｐ０において、被写体ＯＢを撮像した画素ごとに露光量Ｑ００、Ｑ０１およびＱ０Ｂを得る。また、受光部１４は、弱発光の期間Ｐ１において、露光量Ｑ１０、Ｑ１１およびＱ１Ｂを得る。また、受光部１４は、光電変換により露光量を電気信号に変換し、信号処理部１５に出力する。これにより、図６のタイミングチャートに従って得られた露光量は、同一の信号線を用いて時分割で信号処理部１５に出力される。
　次に、信号処理部１５は、入力信号を用いて距離画像を生成する（ステップＳ００７）。具体的には、信号処理部１５の分離部１５１は、信号関連情報を参照し、露光量を示す入力信号を発光強度および発光露光パターンごとに分離する。また、Ｒ／Ｗ制御部１５２は、分離部１５１で分離された信号を各々、バッファ１５３～１５８に書き込む。例えば、Ｒ／Ｗ制御部１５２は、露光量Ｑ００、Ｑ０１、Ｑ０Ｂ、Ｑ１０、Ｑ１１およびＱ１Ｂを示す信号を各々、バッファ１５３～１５８に書き込む。
　次に、Ｒ／Ｗ制御部１５２は、所定のタイミングで各バッファ１５３～１５８から露光量を示す信号を読み出し、セレクタ１５９に入力する。セレクタ１５９は、飽和していない露光量の入力信号を選択し、距離算出部１６０に出力する。
　具体的には、セレクタ１５９は、強発光期間Ｐ０に含まれる全露光期間Ｗ０の露光量Ｑ００が所定の飽和値ＱＳ以上であるか否かを画素ごとに判定する。そして、セレクタ１５９は、Ｑ００の値がＱＳの値以上の画素について、弱発光期間Ｐ１に含まれる発光露光パターンの各期間で得られた露光量Ｑ１０、Ｑ１１およびＱ１Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。
　一方で、セレクタ１５９は、Ｑ００の値がＱＳの値未満の画素について、強発光期間Ｐ０に含まれる発光露光パターンの各期間で得られた露光量Ｑ００、Ｑ０１およびＱ０Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。
　距離算出部１６０は、セレクタ１５９から取得した入力信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する。具体的には、セレクタ１５９によって弱発光期間Ｐ１の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ１０、Ｑ１１およびＱ１Ｂの値を用いて、以下の式（３）により被写体ＯＢまでの距離Ｌ（ｍ）を算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１－（Ｑ１１－Ｑ１Ｂ）／（Ｑ１０－Ｑ１Ｂ）｝
・・・（３）
　一方で、セレクタ１５９によって強発光期間Ｐ０の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ００、Ｑ０１およびＱ０Ｂの値を用いて、以下の式（４）により被写体ＯＢまでの距離Ｌ（ｍ）を画素ごとに算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１－（Ｑ０１－Ｑ０Ｂ）／（Ｑ００－Ｑ０Ｂ）｝
・・・（４）
　このようにして、距離算出部１６０は、撮像した被写体ＯＢの画素ごとに、距離画像生成装置１００から被写体ＯＢまでの距離を算出する。
　次に、図７～９を用いて、距離画像の生成例の一例について説明する。
　図７は、距離画像生成装置１００と、被写体ＯＢ０と、被写体ＯＢ１とを含む撮像構成の一例を示した図である。
　図８は、強発光期間Ｐ０で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ００を２次元的に配列した画像（以下、Ｑ００画像という）の一例を示した図である。
　図９は、弱発光期間Ｐ１で撮像された被写体ＯＢ０、ＯＢ１の露光量Ｑ１０を２次元的に配列した画像（以下、Ｑ１０画像という）の一例を示した図である。
　なお、被写体ＯＢ０は、表面の光反射率が高い被写体（例えば、表面が白い素材あるいは光沢のある材質のもの）を示している。また、被写体ＯＢ１は、表面の光反射率が低い被写体（例えば、表面が黒い素材あるいは光沢のない材質のもの）を示している。
　図８に示すように、強発光期間Ｐ０におけるＱ００画像では、被写体ＯＢ０の露光量が飽和してしまい、距離画像装置から被写体ＯＢ０までの正確な距離を算出することができない。一方で、強発光期間Ｐ０におけるＱ００画像であっても、被写体ＯＢ１の露光量は飽和していないため、正確な距離算出が可能である。
　また、図９に示すように、弱発光期間Ｐ１におけるＱ１０画像では、被写体ＯＢ０およびＯＢ１のいずれの露光量も飽和していない。しかしながら、被写体ＯＢ１は極めて暗く写り、ショット雑音や受光部１４におけるＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換時の量子化などにより、信号のＳ／Ｎ（ｓｉｇｎａｌ／ｎｏｉｓｅ）比が低下し、距離算出の誤差要因となり得る。
　そこで、距離画像生成装置１００は、前述の距離画像生成処理により、撮像した被写体の露光量が飽和している画素については弱発光期間Ｐ１の露光量を用い、露光量が飽和していない画素については強発光期間Ｐ０の露光量を用いて被写体までの距離を算出する。言い換えれば、距離画像生成装置１００は、Ｑ００画像において飽和している画素をＱ１０画像の対応する画素の露光量に置換することにより、被写体までの正確な距離算出を可能としている。
　以上の通り、距離画像生成装置１００は、より精度の高い距離画像を生成することができる。特に、距離画像生成装置１００は、２種類の異なる発光強度で被写体を撮像し、露光量が飽和している画素を飽和していない画素の露光量（距離情報）に置き換えて距離画像を生成する。これにより、露光量の飽和や信号ノイズを極力含まない測定情報を用いて距離画像を生成することができる。
　＜第二実施形態＞
　図１０は、第二実施形態に係る距離画像生成装置１００の概略構成の一例を示した図である。本実施形態に係る距離画像生成装置１００は、受光量制御部１６を有する点で第一実施形態と異なる。受光量制御部１６は、制御部１２で生成される受光量制御信号Ｓ３に基づいて受光部１４の受光量を変化させる。なお、距離画像生成装置１００の基本的構成は第一実施形態と同様であるため、同一の符号を付して説明を省略する。
　受光量制御部１６１２は、例えば、アイリス（Ｉｒｉｓ：絞り）や液晶シャッタなどのデバイスにより実現される。受光量制御部１６は、制御部１２から出力される受光量制御信号Ｓ３に基づいて絞りの値を変化させ、受光部１４が受光する光の量を調整する。これにより、受光部１４が受光する被写体ＯＢからの反射光の光量すなわち露光量を変化させることができる。
　制御部１２は、発光タイミング制御信号Ｓ１と、露光タイミング制御信号Ｓ２と、受光量制御信号Ｓ３を生成する。受光量制御信号Ｓ３は、受光量制御部１６による絞りの値を制御するための信号である。なお、発光タイミング制御信号Ｓ１および露光タイミング制御信号Ｓ２は前述と同様であるため、説明を省略する。
　図１１は、発光タイミング制御信号Ｓ１ならびに露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３のタイミングチャートの一例を示した図である。図示するように、受光量制御信号Ｓ３は、２種類の異なる受光量（強光量および弱光量）の期間Ｐ２およびＰ３を有している。また、期間Ｐ２およびＰ３の各々に、第一実施形態で説明した３種類の発光露光パターンが含まれている。
　制御部１２は、発光露光パターンが含まれる時間長さに設定した強光量の期間Ｐ２および弱光量の期間Ｐ３を含む受光量制御信号Ｓ３を生成する。また、制御部１２は、受光量制御信号Ｓ３を所定のタイミングで受光量制御部１６に出力する。
　受光量制御部１６は、受光量制御信号Ｓ３に基づいて絞りの値を制御し、受光部１４の受光量を制御する。なお、第一実施形態と同様、制御部１２は、所定のタイミングで発光タイミング制御信号Ｓ１を発光部１３に出力し、露光タイミング制御信号Ｓ２を受光部１４に出力する。また、制御部１２は、発光タイミング制御信号Ｓ１、露光タイミング制御信号Ｓ２および受光量制御信号Ｓ３に関する信号関連情報を生成し、信号処理部１５に出力する。
　発光部１３は、発光タイミング制御信号Ｓ１に基づき被写体ＯＢに近赤外光を照射する。受光量制御部１６１２は、受光量制御信号Ｓ３に基づき絞りの値を変化させる。受光部１４は、被写体ＯＢに反射して戻ってきた反射光による露光を行う。これにより、受光部１４は、強光量の期間Ｐ２において、被写体ＯＢを撮像した画素ごとに露光量Ｑ２０、Ｑ２１およびＱ２Ｂを得る。また、受光部１４は、弱光量の期間Ｐ３において、露光量Ｑ３０、Ｑ３１およびＱ３Ｂを得る。また、受光部１４は、光電変換により露光量を電気信号に変換し、信号処理部１５に出力する。
　信号処理部１５は、前述と同様、入力信号を用いて距離画像を生成する。具体的には、信号処理部１５の分離部１５１は、信号関連情報を参照し、露光量を示す入力信号を受光量および発光露光パターンごとに分離する。また、Ｒ／Ｗ制御部１５２は、分離部１５１で分離された各信号を所定のバッファ１５３～１５８に書き込む。
　次に、Ｒ／Ｗ制御部１５２は、所定のタイミングで各バッファ１５３～１５８から露光量を示す信号を読み出し、セレクタ１５９に入力する。セレクタ１５９は、飽和していない露光量の入力信号を選択し、距離算出部１６０に出力する。
　具体的には、セレクタ１５９は、強光量期間Ｐ２に含まれる全露光期間Ｗ０の露光量Ｑ２０が所定の飽和値ＱＳ以上であるか否かを画素ごとに判定する。そして、セレクタ１５９は、Ｑ２０の値がＱＳの値以上の画素について、弱光量期間Ｐ３に含まれる発光露光パターンの各期間で得られた露光量Ｑ３０、Ｑ３１およびＱ３Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。
　一方で、セレクタ１５９は、Ｑ２０の値がＱＳの値未満の画素について、強光量期間Ｐ２に含まれる発光露光パターンの各期間で得られた露光量Ｑ２０、Ｑ２１およびＱ２Ｂを示す信号を選択し、これらを距離算出部１６０に出力する。
　距離算出部１６０は、セレクタ１５９から取得した入力信号を用いて、距離画像生成装置１００から被写体ＯＢまでの距離を画素ごとに算出する。具体的には、セレクタ１５９によって弱光量期間Ｐ３の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ３０、Ｑ３１およびＱ３Ｂの値を用いて、以下の式（５）により被写体ＯＢまでの距離Ｌ（ｍ）を算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１－（Ｑ３１－Ｑ３Ｂ）／（Ｑ３０－Ｑ３Ｂ）｝
・・・（５）
　一方で、セレクタ１５９によって強光量期間Ｐ２の露光量を示す信号が選択された場合、距離算出部１６０は、Ｑ２０、Ｑ２１およびＱ２Ｂの値を用いて、以下の式（６）により被写体ＯＢまでの距離Ｌ（ｍ）を画素ごとに算出する。
Ｌ＝（ｃＸΔｔ）／２Ｘ｛１－（Ｑ２１－Ｑ２Ｂ）／（Ｑ２０－Ｑ２Ｂ）｝
・・・（６）
　以上、第二実施形態に係る距離画像生成装置１００について説明した。このような距離画像生成装置１００によっても、より精度の高い距離画像を生成することができる。特に、本実施形態に係る距離画像生成装置１００は、例えば、光源側の制約などで発光量の制御が困難な場合でも、簡易なハードウェア（アイリスや液晶シャッタ）の付加によって精度の高い距離画像を生成することができる。
　なお、生成された距離画像は、被写体の奥行き方向の識別など３次元認識の解析（例えば、人流解析や工場内の工員作業の解析）に利用される。
　前述の距離画像生成装置１００の各機能部は、本実施形態において実現される距離画像生成装置１００の機能を理解容易にするために、主な処理内容に応じて分類したものであり、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、距離画像生成装置１００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。
　また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
　また、上記説明では、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
１００・・・距離画像生成装置、１１・・・入力受付部、１２・・・制御部、
１３・・・発光部、１４・・・受光部、１５・・・信号処理部、
１５１・・・分離部、１５２・・・Ｒ／Ｗ制御部、１５３～１５８・・・バッファ、
１５９・・・セレクタ、１６０・・・距離算出部、２０・・・演算装置、
２１・・・入力装置、２２・・・表示装置、２３・・・発光装置、２４・・・受光素子

Claims (10)

  1. 　異なる発光強度で被写体に向けて発光する発光部と、
    　前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光部と、
    　所定の場合に、第１の発光強度における露光量と、第２の発光強度における露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える
    ことを特徴とする距離画像生成装置。
  2. 　請求項１に記載の距離画像生成装置であって、
    　前記距離算出部は、
    　第１の発光強度において飽和している画素の露光量を、対応する画素の第２の発光強度における露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成する
    ことを特徴とする距離画像生成装置。
  3. 　請求項１に記載の距離画像生成装置であって、
    　前記発光部は、
    　発光強度の強い前記第１の発光強度と、発光強度が前記第１の発光強度よりも弱い第２の発光強度で前記被写体に向けて発光する
    ことを特徴とする距離画像生成装置。
  4. 　請求項１に記載の距離画像生成装置であって、
    　前記受光部は、
    　前記第１の発光強度および第２の発光強度ごとに、露光量が異なる所定の露光タイミングで前記被写体からの反射光を含む光を露光する
    ことを特徴とする距離画像生成装置。
  5. 　請求項４に記載の距離画像生成装置であって、
    　前記受光部は、
    　前記第１の発光強度および第２の発光強度ごとに、
    　前記発光部から前記被写体に照射された光の反射光の全てを受光可能な第１のタイミングと、
    　前記反射光が発光タイミングに対して遅延すればするほど受光量が減少する第２のタイミングと、
    　前記被写体からの反射光以外のバックグラウンド光のみを受光する第３のタイミングと、を含む露光タイミングで前記被写体からの反射光を含む光を露光する
    ことを特徴とする距離画像生成装置。
  6. 　請求項５に記載の距離画像生成装置であって、
    　前記距離算出部は、
    　前記第１のタイミングで受光した光の露光量と、前記第２のタイミングで受光した光の露光量との比率に応じて前記被写体までの画素ごとの距離を算出する
    ことを特徴とする距離画像生成装置。
  7. 　被写体に向けて発光する発光部と、
    　前記被写体からの反射光を含む光の受光量を制御する受光量制御部と、
    　前記受光量制御部によって制御された光を受光することで撮像し、画素ごとの露光量を算出する受光部と、
    　所定の場合に、第１の受光量に制御された場合の露光量と、第２の受光量に制御された場合の露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離算出部と、を備える
    ことを特徴とする距離画像生成装置。
  8. 　請求項７に記載の距離画像生成装置であって、
    　前記距離算出部は、
    　第１の受光量において飽和している画素の露光量を、対応する画素の第２の受光量に制御された場合の露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成する
    ことを特徴とする距離画像生成装置。
  9. 　距離画像生成装置による距離画像生成方法であって、
    　異なる発光強度で被写体に向けて発光する発光ステップと、
    　前記被写体からの反射光を含む光を受光することで撮像し、画素ごとの露光量を算出する受光ステップと、
    　第１の発光強度において飽和している画素の露光量を、第２の発光強度の対応する画素の露光量に置き換えて前記被写体までの距離を算出し、距離画像を生成する距離画像生成ステップと、を行う
    ことを特徴とする距離画像生成方法。
  10. 　距離画像生成装置による距離画像生成方法であって、
    　被写体に向けて発光する発光ステップと、
    　前記被写体からの反射光を含む光の受光量を制御する受光量制御ステップと、
    　前記受光量制御ステップによって制御された光を受光することで撮像し、画素ごとの露光量を算出する受光ステップと、
    　所定の場合に、第１の受光量に制御された場合の露光量と、第２の受光量に制御された場合の露光量とを置換して前記被写体までの距離を算出し、距離画像を生成する距離画像生成ステップと、を行う
    ことを特徴とする距離画像生成方法。
PCT/JP2016/062419 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法 WO2017183114A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2016/062419 WO2017183114A1 (ja) 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法
US16/094,901 US10928518B2 (en) 2016-04-19 2016-04-19 Range image generation apparatus and range image generation method
CN201680084945.3A CN109073754B (zh) 2016-04-19 2016-04-19 距离图像生成装置和距离图像生成方法
JP2018512687A JP6751137B2 (ja) 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法
TW106110113A TWI648549B (zh) 2016-04-19 2017-03-27 Distance image generating device and distance image generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062419 WO2017183114A1 (ja) 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法

Publications (1)

Publication Number Publication Date
WO2017183114A1 true WO2017183114A1 (ja) 2017-10-26

Family

ID=60115758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062419 WO2017183114A1 (ja) 2016-04-19 2016-04-19 距離画像生成装置および距離画像生成方法

Country Status (5)

Country Link
US (1) US10928518B2 (ja)
JP (1) JP6751137B2 (ja)
CN (1) CN109073754B (ja)
TW (1) TWI648549B (ja)
WO (1) WO2017183114A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107775640A (zh) * 2017-12-05 2018-03-09 深圳市银星智能科技股份有限公司 移动机器人
EP3663801A1 (en) * 2018-12-07 2020-06-10 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
WO2020137199A1 (ja) * 2018-12-27 2020-07-02 株式会社デンソー 物体検出装置および物体検出方法
JP2020181186A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法
WO2021107036A1 (ja) * 2019-11-27 2021-06-03 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
WO2022196139A1 (ja) * 2021-03-15 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム
WO2023079944A1 (ja) * 2021-11-02 2023-05-11 株式会社デンソー 制御装置、制御方法、制御プログラム
WO2024101195A1 (ja) * 2022-11-11 2024-05-16 株式会社Ｊｖｃケンウッド ３次元形状計測装置および３次元形状計測方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608360A (zh) * 2017-10-26 2018-01-19 深圳市银星智能科技股份有限公司 移动机器人
TWI703341B (zh) * 2019-06-04 2020-09-01 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法
EP3994485B1 (en) * 2019-07-05 2024-05-08 Sony Semiconductor Solutions Corporation Time-of-flight sensing circuitry with different imaging modes and method for operating such a time-of-flight sensing circuitry
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
CN114600000A (zh) * 2019-11-15 2022-06-07 松下知识产权经营株式会社 感测设备及信息处理装置
JP2021148897A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
CN113296114B (zh) * 2021-05-21 2024-05-14 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
JP2007271373A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 物体検出装置
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2012220285A (ja) * 2011-04-06 2012-11-12 Optex Co Ltd 距離画像カメラおよびこれを用いた距離測定方法
JP2012225807A (ja) * 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295442A (ja) * 2004-04-05 2005-10-20 Hitachi Kokusai Electric Inc 撮像装置及び撮像方法
JP4777087B2 (ja) * 2005-03-03 2011-09-21 富士フイルム株式会社 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法
JP4897350B2 (ja) * 2006-05-16 2012-03-14 株式会社リコー 画像記録方法、および画像記録装置
WO2010021090A1 (ja) 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
JP2016040520A (ja) * 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
JP6424338B2 (ja) * 2014-06-09 2018-11-21 パナソニックＩｐマネジメント株式会社 測距装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
JP2007271373A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 物体検出装置
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2012220285A (ja) * 2011-04-06 2012-11-12 Optex Co Ltd 距離画像カメラおよびこれを用いた距離測定方法
JP2012225807A (ja) * 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
WO2015107869A1 (ja) * 2014-01-14 2015-07-23 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107775640A (zh) * 2017-12-05 2018-03-09 深圳市银星智能科技股份有限公司 移动机器人
EP3663801A1 (en) * 2018-12-07 2020-06-10 Infineon Technologies AG Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
US11879993B2 (en) 2018-12-07 2024-01-23 Infineon Technologies Ag Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
WO2020137199A1 (ja) * 2018-12-27 2020-07-02 株式会社デンソー 物体検出装置および物体検出方法
JP2020106341A (ja) * 2018-12-27 2020-07-09 株式会社デンソー 物体検出装置および物体検出方法
JP7135846B2 (ja) 2018-12-27 2022-09-13 株式会社デンソー 物体検出装置および物体検出方法
JP2020181186A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法
JP7234171B2 (ja) 2019-04-25 2023-03-07 キヤノン株式会社 撮像装置及びその制御方法
WO2021107036A1 (ja) * 2019-11-27 2021-06-03 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
WO2022196139A1 (ja) * 2021-03-15 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム
WO2023079944A1 (ja) * 2021-11-02 2023-05-11 株式会社デンソー 制御装置、制御方法、制御プログラム
WO2024101195A1 (ja) * 2022-11-11 2024-05-16 株式会社Ｊｖｃケンウッド ３次元形状計測装置および３次元形状計測方法

Also Published As

Publication number Publication date
US20190129034A1 (en) 2019-05-02
JPWO2017183114A1 (ja) 2019-02-28
TWI648549B (zh) 2019-01-21
CN109073754B (zh) 2022-07-01
US10928518B2 (en) 2021-02-23
JP6751137B2 (ja) 2020-09-02
TW201812334A (zh) 2018-04-01
CN109073754A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
WO2017183114A1 (ja) 距離画像生成装置および距離画像生成方法
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
CN108369089B (zh) 3维图像测量装置及方法
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
EP2717012B1 (en) Image processing apparatus and image processing method
WO2014097539A1 (ja) ３次元測定装置および３次元測定方法
US20180227475A1 (en) Imaging device, and solid-state imaging element used for same
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
WO2015001770A1 (ja) 複数の光源を有するモーションセンサ装置
KR20200127849A (ko) ToF(time-of-flight) 깊이 측정 방법 및 이를 수행하는 ToF 카메라
US20160047905A1 (en) Distance measuring apparatus and distance measuring method
JP2018528633A (ja) ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔセンサを使用して露出推定を実行するための方法および装置
US8391698B2 (en) Systems and methods of generating Z-buffers for an image capture device of a camera
US10536626B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
US20170208261A1 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
Lee et al. Motion blur-free time-of-flight range sensor
US9063219B2 (en) Optical touch system
US10321113B2 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium
JP2017161374A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP6912449B2 (ja) 測距装置を有する物体監視システム
JP4410603B2 (ja) ３次元情報検出方法及びその装置
CN112461154B (zh) 3d成像方法、装置和深度相机
JP2018141681A (ja) 距離測定装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018512687

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899388

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899388

Country of ref document: EP

Kind code of ref document: A1