WO2021107036A1 - 測距撮像装置 - Google Patents

測距撮像装置 Download PDF

Info

Publication number
WO2021107036A1
WO2021107036A1 PCT/JP2020/044071 JP2020044071W WO2021107036A1 WO 2021107036 A1 WO2021107036 A1 WO 2021107036A1 JP 2020044071 W JP2020044071 W JP 2020044071W WO 2021107036 A1 WO2021107036 A1 WO 2021107036A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
control pulse
signal
distance
light emission
Prior art date
Application number
PCT/JP2020/044071
Other languages
English (en)
French (fr)
Inventor
遥 高野
山田　徹
西本　雅彦
中村　清治
真由 西川
Original Assignee
ヌヴォトンテクノロジージャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヌヴォトンテクノロジージャパン株式会社 filed Critical ヌヴォトンテクノロジージャパン株式会社
Priority to CN202080081588.1A priority Critical patent/CN115176174A/zh
Priority to JP2021561508A priority patent/JPWO2021107036A1/ja
Publication of WO2021107036A1 publication Critical patent/WO2021107036A1/ja
Priority to US17/748,695 priority patent/US20220276358A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/489—Gain of receiver varied automatically during pulse-recurrence period

Definitions

  • This disclosure relates to a distance measuring image pickup device.
  • Patent Document 1 discloses a distance measuring imaging device that measures the distance to an object by irradiating it with pulsed light and receiving the reflected light from the object.
  • the present disclosure provides a distance measuring imager that reduces deterioration of distance measuring accuracy in a multipath environment.
  • the distance measuring imager is a distance measuring imager that measures the distance to an object by irradiating pulsed light and receiving reflected light from the object, and instructing light emission.
  • a drive control unit that outputs a light emission control signal including a light emission control pulse and an exposure control signal including an exposure control pulse that instructs exposure, and a light source unit that irradiates the pulsed light at the timing of the light emission control pulse.
  • the drive control unit includes a first exposure control pulse, a second exposure control pulse, and a third exposure control pulse based on the timing of the light emission control pulse.
  • An exposure control signal is generated, and the time difference between the third exposure control pulse and the light emission control pulse is larger than the time difference between the second exposure control pulse and the light emission control pulse, and the time difference between the second exposure control pulse and the light emission control pulse is larger than the time difference between the second exposure control pulse and the light emission control pulse.
  • the time difference from the control pulse is larger than the time difference between the first exposure control pulse and the light emission control pulse, and the imaging unit has a time difference from the first exposure signal indicating the amount of signal charge generated by the exposure by the first exposure control pulse.
  • the second exposure signal indicating the amount of signal charge generated by the exposure by the second exposure control pulse and the third exposure signal indicating the amount of signal charge generated by the exposure by the third exposure control pulse are output.
  • the ranging imaging device According to the ranging imaging device according to the present disclosure, it is possible to reduce the deterioration of ranging accuracy in a multipath environment.
  • FIG. 1 is a block diagram showing a configuration example of a distance measuring image pickup device according to the first embodiment.
  • FIG. 2A is a timing diagram showing an example of signal waveforms of a light emission control signal and an exposure control signal of the distance measuring image pickup apparatus according to the first embodiment.
  • FIG. 2B is a timing diagram showing another signal waveform example of the light emission control signal and the exposure control signal of the distance measuring image pickup apparatus according to the first embodiment.
  • FIG. 3 is a diagram showing an example of signal waveforms of the light emission control signal and the exposure control signal of FIG. 2A during the A0 period, the A1 period, and the BG period.
  • FIG. 1 is a block diagram showing a configuration example of a distance measuring image pickup device according to the first embodiment.
  • FIG. 2A is a timing diagram showing an example of signal waveforms of a light emission control signal and an exposure control signal of the distance measuring image pickup apparatus according to the first embodiment.
  • FIG. 2B is a timing diagram showing another signal waveform example of the
  • FIG. 4 is a diagram showing the relationship between the light emission control signal and the exposure control signal of the distance measuring image pickup apparatus according to the first embodiment and the measurement distance D.
  • FIG. 5 is a block diagram showing a configuration example of the distance measuring image pickup device according to the second embodiment.
  • FIG. 6A is a timing diagram showing an operation example of the distance measuring image pickup device according to the second embodiment.
  • FIG. 6B is a timing diagram showing another operation example of the distance measuring image pickup device according to the second embodiment.
  • FIG. 7 is a diagram showing signal waveforms of the light emission control signal and the exposure control signal of FIG. 6A according to the second embodiment in the A0 period, the A1 period, and the BG period of the frame A.
  • FIG. 6A is a timing diagram showing an operation example of the distance measuring image pickup device according to the second embodiment.
  • FIG. 6B is a timing diagram showing another operation example of the distance measuring image pickup device according to the second embodiment.
  • FIG. 7 is a diagram showing signal waveforms of the light emission control
  • FIG. 8 is a diagram showing signal waveforms of the light emission control signal and the exposure control signal of FIG. 6A according to the second embodiment in the bA0 period, the bA1 period, and the bBG period of the frame B.
  • FIG. 9A shows the time relationship between the directly reflected light and the indirect reflected light from the target object, the A0 and A1 exposure control signals, and the relationship between the actual distance and the measurement distance D in the frame A of the distance measuring image pickup device according to the second embodiment. It is a figure which shows.
  • FIG. 9A shows the time relationship between the directly reflected light and the indirect reflected light from the target object, the A0 and A1 exposure control signals, and the relationship between the actual distance and the measurement distance D in the frame A of the distance measuring image pickup device according to the second embodiment. It is a figure which shows.
  • FIG. 9A shows the time relationship between the directly reflected light and the indirect reflected light from the target object, the A0 and A1 exposure control signals, and the relationship between the actual distance and the measurement
  • FIG. 9B shows the time relationship between the adjusted reflected light and the indirect reflected light from the target object, the A0 and A1 exposure control signals, and the relationship between the actual distance and the measured distance D in the frame B of the distance measuring image pickup device according to the second embodiment. It is a figure which shows.
  • FIG. 9C shows the time relationship between the directly reflected light and the indirect reflected light from another target object, the A0 and A1 exposure control signals, and the actual distance and the measurement distance D in the frame B of the distance measuring image pickup device according to the second embodiment. It is a figure which shows another relationship.
  • FIG. 9C shows the time relationship between the directly reflected light and the indirect reflected light from another target object, the A0 and A1 exposure control signals, and the actual distance and the measurement distance D in the frame B of the distance measuring image pickup device according to the second embodiment. It is a figure which shows another relationship.
  • FIG. 9C shows the time relationship between the directly reflected light and the indirect reflected light from another target object, the A0 and A1 exposure control signals
  • FIG. 10 is a timing diagram showing another drive of the distance measuring image pickup apparatus according to the first and second embodiments, and is a diagram showing outputs during the A0 period, the A1 period, and the BG period.
  • FIG. 11 is a timing diagram showing the driving of the distance measuring image pickup apparatus according to the first and second embodiments, and is a diagram showing different outputs of the A0 period, the A1 period, and the BG period.
  • FIG. 12 is a timing diagram showing the driving of the distance measuring image pickup apparatus according to the first and second embodiments, and is a diagram showing different outputs of the A0 period, the A1 period, and the BG period.
  • FIG. 13A is an explanatory diagram showing a pixel identification signal of the distance measuring image pickup device according to the embodiment.
  • FIG. 13B is an explanatory diagram showing a pixel identification signal of the distance measuring image pickup device according to the embodiment.
  • FIG. 14 is a timing diagram showing the driving of the distance measuring image pickup apparatus according to the first and second embodiments.
  • FIG. 15 is a timing diagram showing the driving of the distance measuring image pickup apparatus according to the first and second embodiments.
  • the irradiation light emitted from the light source usually has a spread of about 20 to 150 degrees.
  • a reflecting object such as a wall, ceiling, or obstacle near the target object and the distance measuring imager
  • a part of the irradiation light with a spread is reflected by the target object via the reflecting object and measured as indirect reflected light.
  • the intensity of the reflected light observed by the distance measuring image pickup device is a mixture of both the high-intensity direct reflected light and the low-intensity indirect reflected light. Since the indirect reflected light has a longer flight distance than the directly reflected light, it returns to the distance measuring image pickup device later than the directly reflected light.
  • the observed distance between the distance measuring image pickup device and the target object is observed farther than the original distance derived by the directly reflected light because the indirect reflected light is mixed.
  • indirect reflected light causes a measurement error, and there is a problem that the measured distance becomes larger than the actual distance.
  • the ranging imaging device measures the distance to the target object by irradiating the pulsed light and receiving the reflected light from the target object.
  • a distance imaging device, the drive control unit that outputs a light emission control signal including a light emission control pulse instructing light emission and an exposure control signal including an exposure control pulse instructing exposure, and the above-mentioned at the timing of the light emission control pulse.
  • Imaging that exposes the light source unit that irradiates the pulsed light and the reflected light from the target object of the irradiated pulsed light at the timing of the exposure control pulse, and outputs an exposure signal indicating the amount of signal charge generated by the exposure.
  • the drive control unit includes a unit and a calculation unit that performs distance calculation by inputting the exposure signal and outputs a distance image, and the drive control unit is a first exposure control pulse and a second unit based on the timing of the light emission control pulse.
  • An exposure control signal including an exposure control pulse and a third exposure control pulse is generated, and the time difference between the third exposure control pulse and the light emission control pulse is larger than the time difference between the second exposure control pulse and the light emission control pulse.
  • the time difference between the second exposure control pulse and the light emission control pulse is larger than the time difference between the first exposure control pulse and the light emission control pulse, and the imaging unit is generated by exposure by the first exposure control pulse.
  • the first exposure signal indicating the signal charge amount, the second exposure signal indicating the signal charge amount generated by the exposure by the second exposure control pulse, and the signal charge amount generated by the exposure by the third exposure control pulse are shown.
  • the third exposure signal is output.
  • the first exposure signal and the second exposure signal mainly include the signal charges corresponding to the directly reflected light
  • the third exposure signal mainly corresponds to the indirect reflected light. It is possible to include the signal charge to be used. Therefore, if the distance measuring imager calculates the distance using not only the first exposure signal and the second exposure signal but also the third exposure signal, the deterioration of the distance measuring accuracy in the multipath environment can be reduced.
  • the calculation unit obtains distance information based on the ratio of the signal charge amount of the second exposure signal to the total signal charge amount of each of the first exposure signal, the second exposure signal, and the third exposure signal. It may be output.
  • the drive control unit may generate the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse.
  • the first exposure signal and the third exposure signal can be obtained by exposing twice for one light emission. At that time, the signal charge of the indirect reflected light can be acquired in the third exposure signal.
  • the drive control unit generates the first exposure control pulse in correspondence with one light emission control pulse, and generates the second exposure control pulse in correspondence with one light emission control pulse, and the first The three exposure control pulses may be generated in correspondence with one of the emission control pulses.
  • the first exposure signal can be obtained by exposing once for each light emission.
  • a second exposure signal can be obtained by exposing once for each light emission.
  • a third exposure signal can be obtained by exposing once for each light emission.
  • the first exposure signal, the second exposure signal, and the third exposure signal can be acquired by a simple control of one exposure for one light emission. Since the third exposure signal mainly contains the signal charge corresponding to the indirect reflected light, it is possible to reduce the deterioration of the distance measurement accuracy in the multipath environment.
  • the exposure control signal includes a fourth exposure control pulse
  • the time difference between the fourth exposure control pulse and the light emission control pulse is larger than the time difference between the third exposure control pulse and the light emission control pulse.
  • the drive control unit generates the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and shares the second exposure control pulse and the fourth exposure control pulse. It may be generated corresponding to one of the above-mentioned emission control pulses.
  • the first exposure signal and the third exposure signal can be obtained by exposing twice for one light emission.
  • the second exposure signal and the fourth exposure signal can be obtained by exposing twice for one light emission.
  • the operation of obtaining the first exposure signal and the third exposure signal and the operation of obtaining the second exposure signal and the fourth exposure signal use the same control sequence of one emission and two exposures. Therefore, in the above two operations, for example, the fluctuation of the power supply voltage does not cause a significant difference, so that the deterioration of the distance measurement accuracy can be further reduced.
  • the calculation unit performs the second exposure signal and the fourth exposure with respect to the first total obtained by adding the signal charge amounts of the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the distance information may be output based on the ratio of the second total obtained by adding the signal charge amounts of the signals.
  • distance information with reduced deterioration in distance measurement accuracy can be obtained by using the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the calculation unit is the ratio of the signal charge amount of the second exposure signal to the total of the signal charge amounts of the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the distance information may be output based on the above.
  • the signal charge amount of the second exposure signal can be used instead of the second total obtained by adding the signal charge amounts of each of the second exposure signal and the fourth exposure signal. This also makes it possible to obtain distance information with reduced deterioration in distance measurement accuracy.
  • the drive control unit inputs an identification signal that specifies one of a plurality of operation modes including the first operation mode and the second operation mode, and the identification signal specifies the first operation mode
  • the identification signal specifies the first operation mode
  • the first operation is Distance measurement by a different second motion may be controlled.
  • the distance is measured in each of the first operation mode and the second operation mode, so that the distance information with a smaller measurement error can be selected.
  • the distance image generation unit generates a multi-pass detection signal indicating the presence or absence of multi-pass based on the first distance information obtained in the first operation and the second distance information obtained in the second operation. Generates and further outputs the multi-path detection signal indicating the magnitude of the error included in the first distance information or the second distance information based on the difference between the first distance information and the second distance information. You may.
  • the distance image generation unit generates a multipath detection signal indicating the presence or absence of multipath based on the first distance information obtained in the first operation and the second distance information obtained in the second operation. It may be generated.
  • the distance image generation unit indicates the magnitude of the error included in the first distance information or the second distance information based on the difference between the first distance information and the second distance information.
  • a detection signal may be output.
  • the drive control unit in the second operation mode, the drive control unit generates the exposure control signal including the first pulse and the second pulse as the exposure control pulse, and the time difference between the second pulse and the light emission control pulse is set. , It may be larger than the time difference between the first pulse and the light emission control pulse.
  • the second operation mode may be, for example, the same distance measurement operation as before.
  • the imaging unit may output a pre-exposure signal indicating the amount of signal charge generated by the exposure by the first pulse and a trailing exposure signal indicating the amount of signal charge generated by the exposure by the second pulse. Good.
  • the distance can be calculated from the leading exposure signal and the trailing exposure signal.
  • the calculation unit may output the distance information based on the ratio of the signal charge amount of the trailing exposure signal to the total signal charge amount of each of the preceding exposure signal and the trailing exposure signal.
  • the distance information is calculated based on the above ratio.
  • the distance image generation unit is based on the addition of the distance value indicated by the first distance information obtained in the first operation and the distance value indicated by the second distance information obtained in the second operation.
  • a distance image may be generated.
  • the average may be calculated from the added value of the first distance information and the second distance information.
  • the drive control unit repeatedly executes an exposure process for generating the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and out of the plurality of times.
  • the first exposure control pulse or the third exposure control pulse may be thinned out in a predetermined number of exposure processes.
  • the drive control unit repeatedly executes the first exposure process for generating the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and repeatedly executes the second exposure process.
  • the second exposure process of generating the exposure control pulse and the fourth exposure control pulse corresponding to one common light emission control pulse is repeatedly executed a plurality of times, and the corresponding first exposure process is performed a predetermined number of times out of the plurality of times.
  • the first exposure control pulse and the second exposure control pulse, or the third exposure control pulse and the fourth exposure control pulse may be thinned out.
  • the drive control unit may generate the light emission control signal so that the duty ratio corresponding to the light emission pulse period is 33% or less.
  • the pulsed light can be made higher in intensity with respect to the background light, and the light resistance, which is the distance measurement performance, can be improved.
  • the calculation unit may calculate and output the distance information using the TOF principle.
  • FIG. 1 is a block diagram showing a configuration example of the distance measuring image pickup device 10 according to the first embodiment.
  • a target object and a reflecting object are also shown.
  • the target object shows an example of an object for distance measurement.
  • the reflecting object generates indirect reflected light and shows an example of a multipath environment.
  • the ranging imaging device 10 exposes the flight time (TOF) of the light emitted from the light source unit until it is directly reflected by the target object and returned to the imaging unit 2 as the directly reflected light. Calculate from the signal amount obtained and multiply by an appropriate coefficient to derive the distance. Therefore, the distance measuring image pickup device 10 includes a light source unit 1, an image pickup unit 2, a drive control unit 3, and a calculation unit 5.
  • TOF flight time
  • the light source unit 1 irradiates the pulsed light at the timing of the light emission control pulse included in the light emission control signal from the drive control unit 3.
  • the pulsed light is preferably infrared light when a human being is present, but may be other than infrared light otherwise.
  • the imaging unit 2 exposes the reflected light from the target object irradiated with the pulsed light at the timing of the exposure control pulse, and outputs an exposure signal indicating the amount of signal charge generated by the exposure.
  • the image pickup unit 2 includes a solid-state image sensor called an image sensor.
  • the image pickup unit 2 takes an image with a resolution of, for example, about 20,000 pixels to 2 million pixels.
  • the drive control unit 3 outputs a light emission control signal including a light emission control pulse instructing the light emission timing and an exposure control signal including an exposure control pulse instructing the exposure timing.
  • FIG. 2A is a timing diagram showing an example of signal waveforms of the light emission control signal and the exposure control signal of the distance measuring image pickup apparatus 10 according to the first embodiment.
  • the light emission control signal includes a positive logic light emission control pulse.
  • the light emission control pulse causes the light source 1 to emit light at a high level.
  • the exposure control signal includes a negative logic exposure control pulse.
  • the exposure control pulse exposes the imaging unit 2 at a low level. In the figure, the exposure process is performed in each of the A0 period, the A1 period, and the BG period.
  • the timing of combining light emission and exposure is different between the A0 period and the A1 period.
  • the BG period is a period in which the background light is exposed, and only the exposure is performed without emitting light.
  • the light emission control signal is a signal having a light emission control pulse that is repeated n times. Therefore, the combination of light emission and exposure is also repeated n times.
  • the n times may be an integer of 2 or more, for example, tens to tens of thousands of times. The same applies to the light emission control signal during the A1 period.
  • the drive control unit 3 may generate a light emission control signal and an exposure control signal as shown in FIG. 2B instead of FIG. 2A.
  • the unit processing of the A0 period, the unit processing of the A1 period, and the unit processing of the B period are performed once each without continuing the unit processing repeated n times, and the processing is repeated m times.
  • the drive control unit 3 generates an exposure control signal including a first exposure control pulse, a second exposure control pulse, a third exposure control pulse, and a fourth exposure control pulse based on the timing of the light emission control pulse.
  • the time difference between the fourth exposure control pulse and the light emission control pulse is larger than the time difference between the third exposure control pulse and the light emission control pulse.
  • the time difference between the third exposure control pulse and the light emission control pulse is larger than the time difference between the second exposure control pulse and the light emission control pulse.
  • the time difference between the second exposure control pulse and the light emission control pulse is larger than the time difference between the first exposure control pulse and the light emission control pulse.
  • the first exposure control pulse and the third exposure control pulse are included in the unit processing of the A0 period.
  • the second exposure control pulse and the fourth exposure control pulse are included in the unit processing of the A1 period.
  • the imaging unit 2 includes a first exposure signal indicating the amount of signal charge generated by exposure by the first exposure control pulse, a second exposure signal indicating the amount of signal charge generated by exposure by the second exposure control pulse, and a third exposure.
  • a third exposure signal indicating the amount of signal charge generated by exposure by the control pulse is output.
  • the calculation unit 5 outputs distance information based on the ratio of the signal charge amount of the second exposure signal to the total signal charge amount of each of the first exposure signal, the second exposure signal, and the third exposure signal. As a result, it is possible to suppress deterioration in accuracy due to multipath in distance information. This is because a part of the indirect reflected light in the multipath environment is included in the third exposure signal, so that the error is suppressed.
  • the total signal charge amount of each of the first exposure signal, the second exposure signal, and the third exposure signal, and the signal charge amount obtained by repeating the unit processing in the A0 period is expressed as A0.
  • the signal charge amount of the second exposure signal, which is obtained by repeating the unit processing during the A1 period, is represented as A1.
  • the calculation unit 5 calculates the distance information based on A1 / (A0 + A1). However, it is assumed that the signal charge amounts of A0 and A1 in this equation are obtained by subtracting the signal charge amounts of the background light obtained during the BG period.
  • the signal charge amount A1 in this equation includes a third exposure signal corresponding to a part of the indirect reflected light, so that accuracy deterioration due to multipath can be suppressed as compared with the prior art.
  • the pulsed light emits intermittent light at a low frequency.
  • the duty ratio of light emission of pulsed light may be 33% or less.
  • the pulsed light can be made to have high intensity with respect to the background light coming from the surrounding sun and illumination, and the light resistance, which is the distance measurement performance, can be improved.
  • the calculation unit 5 inputs the exposure signal and outputs the distance information by TOF calculation.
  • FIG. 2A is a timing diagram showing an operation example of the distance measuring image pickup device according to the first embodiment.
  • the drive control unit 3 outputs a light emission control signal and an exposure control signal, and the light source unit 1 outputs pulsed light when the light emission control signal is at a high level.
  • the order of the exposure periods of A0, A1, and BG may be changed, or as shown in FIG. 2B, each exposure period is shortened to 1 / m corresponding to the unit processing, and the A0 period / m and the A1 period /
  • the unit processing set of m and BG period / m may be repeated m times.
  • n is an integer of 2 or more.
  • m is an integer of 2 or more and n or less.
  • the exposure signals A0 and A1 contain BG, and the component obtained by subtracting BG is the net signal amount of the irradiation light.
  • the measurement distance D indicates a normalized distance value that takes a value from 0 to 1.
  • FIG. 3 shows in detail a part of the outputs of the light emission control signal and the exposure control signal of FIGS. 2A and 2B during the A0 period, the A1 period, and the BG period.
  • the exposure control signal outputs a light emission control signal, exposure control signals A0e, A1e, and BGe in a phase relationship of three patterns with respect to the light emission control signal.
  • a light emission control signal basically two exposure control pulses are output for one light emission control signal.
  • the light emission control signal is always at a low level (no light emission).
  • L the low level
  • H the high level
  • each of the exposure control signals A0e, A1e, and BGe is composed of two consecutive exposure control pulses (A0e0, A0e1, A1e0, A1e1, BGe0, BGe1). That is the point.
  • the exposure control pulse A0e0 is a specific example of the first exposure control pulse.
  • the exposure control pulse A1e0 is a specific example of the second exposure control pulse.
  • the exposure control pulse A0e1 is a specific example of the third exposure control pulse.
  • the exposure control pulse A1e1 is a specific example of the fourth exposure control pulse.
  • FIG. 4 is a diagram showing the relationship between the exposure control signal and the exposure control signal of the distance measuring image pickup apparatus according to the first embodiment and the measurement distance D.
  • FIG. 4 shows a case where a reflecting object exists between the light source unit 1 and the target object, and not only the directly reflected light but also the indirect reflected light is applied to the imaging unit 2 to cause a multipath problem. It is a figure which shows typically the time relationship of the direct reflected light pulse DP, the indirect reflected light pulse MP and the exposure control signals A0e, A1e from the target object, and the relationship between the actual distance and the measurement distance D.
  • FIG. 4 shows typically the time relationship of the direct reflected light pulse DP, the indirect reflected light pulse MP and the exposure control signals A0e, A1e from the target object, and the relationship between the actual distance and the measurement distance D.
  • the exposure control signals A0e and A1e are shown together for convenience of understanding, but in the A0 period, unit processing in which the light emission control signal and the exposure control signal A0e are combined is performed. In the A1 period, unit processing in which the light emission control signal and the exposure control signal A0e are combined is performed.
  • the distance DDP in the figure shows an example of the actual distance of the object when it can be measured only by the direct reflected light.
  • the distance D1MP shows an example of the distance measured in the present embodiment when the directly reflected light and the indirect reflected light are mixed.
  • the distance DMP shows an example of the distance measured by the prior art when the directly reflected light and the indirect reflected light are mixed.
  • the irradiation light pulse from the light source unit 1 is divided into a directly reflected light DP directly reflected by the target object and an indirect reflected light MP reflected by the target object via the surrounding reflecting object, and is incident on the imaging unit 2.
  • the indirect reflected light MP has a longer flight time than the directly reflected light DP due to the longer round-trip optical path length, and the light intensity is lowered by the scattered reflection a plurality of times.
  • the imaging unit 2 mainly measures the exposure signal A0DP by the direct reflected light DP when the first pulse A0e0 of the exposure control signal A0e is L, and the second exposure control signal A0e.
  • the exposure signal A0MP mainly by the indirect reflected light MP is measured.
  • the exposure signal A1DP by the direct reflected light DP and the exposure signal A1MP by the indirect reflected light MP are measured together.
  • A0DP, A0MP, A1DP, and A1MP are all net exposure signals after subtracting BG. Based on these exposure signals, the measurement distance D1MP for each pixel when multipath exists is output by (A1DP + A1MP) / [(A0DP + A0MP) + (A1DP + A1MP)].
  • the exposure signal A1MP by the indirect reflected light MP is added to the exposure signal A1DP by the direct reflected light DP, and at the same time, the exposure signal A0MP by the indirect reflected light MP is the exposure signal A0DP by the direct reflected light DP. Is added to.
  • the measurement distance D1MP has a larger denominator and can be observed closer than the measurement distance DMP of the conventional example. It is possible to reduce the error of the conventional distance measuring method that ends up.
  • the exposure control signals A1e and the second pulses A1e1 and BGe1 of the BGe are applied in order to align the exposure control signal A0e and the BG signal amount to improve the calculation accuracy of the measurement distance D1, but this is not essential. Even if the second pulses A1e1 and BGe1 are eliminated in order to simplify the exposure control, the error of the conventional distance measuring method can be reduced.
  • first pulse A0e0 of the exposure control signal A0e is a specific example of the first exposure control pulse
  • second pulse A0e1 is a specific example of the third exposure control pulse
  • first pulse A1e0 of the exposure control signal A1e is a specific example of the second exposure control pulse
  • second pulse A1e1 is a specific example of the fourth exposure control pulse.
  • the distance measuring imager 10 that measures the distance in each of the first operation mode and the second operation mode and obtains the distance information with a small measurement error by synthesizing or selecting the two distance information will be described. ..
  • FIG. 5 is a configuration diagram of the distance measuring image pickup device 10 according to the second embodiment.
  • the distance measuring imager 10 in the figure is different from the configuration in FIG. 1 in that a frame control unit 4 and a frame composition unit (distance image generation unit) 6 are added.
  • a frame control unit 4 and a frame composition unit (distance image generation unit) 6 are added.
  • the differences will be mainly described.
  • the frame control unit 4 outputs L as a frame identification signal at the Nth frame and H at the (N + 1) th frame.
  • the frame corresponding to the frame identification signal of L is called a frame A.
  • the frame corresponding to the frame identification number of H is called frame B.
  • the first operation mode that is, the same operation as in the first embodiment is performed.
  • the second operation mode is performed.
  • the distance image generation unit 6 generates distance information with a small measurement error by synthesizing or selecting the distance information measured in each of the first operation mode and the second operation mode.
  • the image pickup unit 2 outputs three types of exposure signals (A0DP + A0MP), (A1DP + A1MP), and BG in which the exposure signal due to the indirect reflected light is superimposed on the exposure signal due to the directly reflected light to the calculation unit 5.
  • the frame control unit 4 outputs L as a frame identification signal at the Nth frame (frame A) and H at the N + 1th frame (frame B), and the drive control unit 3 outputs H as a frame identification signal.
  • the light emission control signal and the exposure control signal are output by inputting the frame identification signal, and the light source unit 1 outputs the irradiation light when the light emission control signal is H.
  • the frame identification signals L and H may be reversed, and the light emission control signal includes tens to tens of thousands of light emission control pulses.
  • the irradiation light corresponding to the light emission control pulse may be pulsed light.
  • the pulsed light emits light intermittently at a low frequency.
  • the irradiation light pulse light
  • the light resistance which is the distance measurement performance, can be improved.
  • the image pickup unit 2 has an image sensor (a solid-state image sensor, for example, an image is taken with a resolution of about 20,000 pixels to 2 million pixels), and the irradiation light is reflected on the target object with respect to the reflected light. Then, the exposure is performed only during the period when the exposure control signal is L, the total exposure amount during the L period is photoelectrically converted by the image sensor 2, and the exposure signals A0, A1 and BG are output for each pixel.
  • an image sensor a solid-state image sensor, for example, an image is taken with a resolution of about 20,000 pixels to 2 million pixels
  • the order of the exposure periods of A0, A1, and BG may be changed, or the exposure period may be shortened to 1 / m as shown in FIG. 6B to obtain A0 period / m, A1 period / m, and BG period / m.
  • the set may be repeated m times. In this case, since the time difference between the three exposure signals A0, A1, and BG used for the measurement distance calculation is shortened to 1 / m, the effect that the distance measurement distance calculation can be performed accurately even if the target object is moving. There is.
  • the exposure signals A0 and A1 contain BG, and the component obtained by subtracting BG is the net signal amount of the irradiation light.
  • the multipath detection signal is output based on the difference between the result of multiplying the measurement distance of frame A by a specific coefficient La and the result of multiplying the measurement distance of frame B by a specific coefficient Lb.
  • FIG. 7 shows in detail a part of the output of the light emission control signal and the exposure control signal of FIGS. 6A and 6B during the A0 period, the A1 period, and the BG period of the frame A.
  • the exposure control signal outputs the exposure control signals A0e, A1e, and BGe in a phase relationship of three patterns with respect to the light emission control signal. During the A0 period and the A1 period, two exposure control signals are output for one light emission control signal.
  • the light emission control signal during the BG period is always L (no light emission).
  • the exposure control signals A0e, A1e, and BGe each have two consecutive exposure control pulses (A0e0 and A0e1, A1e0 and A1e1, BGe0), as in the first embodiment. And BGe1).
  • FIG. 8 shows in detail a part of the output of the light emission control signal and the exposure control signal of FIGS. 6A and 6B in the bA0 period, the bA1 period, and the bBG period of the frame B, respectively.
  • FIG. 8 corresponds to the second operation mode.
  • the exposure control signal shown in FIG. 8 outputs the exposure control signals bA0e, bA1e, and bBGe0 in a phase relationship of three patterns with respect to the light emission control signal.
  • bA0 period and the bA1 period one exposure control pulse is output for each light emission control pulse.
  • the light emission control signal during the BG period is always L (no light emission).
  • 9A and 9B show a case where a reflecting object exists between the light source unit 1 and the target object, and not only the directly reflected light but also the indirect reflected light is applied to the imaging unit 2 to cause a multipath problem.
  • the direct reflected light pulse DP and bDP from the target object the reflected light pulse MP and bMP and A0e, A1e, bA0e, bA1e exposure control signal time relationship, and the actual distance and measurement distance D.
  • the distance DDP in the figure shows an example of the actual distance of the object when it can be measured only by the direct reflected light.
  • the distance D1MP shows an example of the distance measured by the frame A of the present embodiment when the directly reflected light and the indirect reflected light are mixed.
  • the distance DMP shows an example of the distance measured by the prior art when the directly reflected light and the indirect reflected light are mixed.
  • the distance D2MP shows an example of the distance measured by the frame B of the present embodiment when the directly reflected light and the indirect reflected light are mixed.
  • the irradiation light pulse from the light source unit 1 is divided into direct reflected light DP and bDP directly reflected by the target object and indirect reflected light MP and bMP reflected by the target object via surrounding reflective objects. It is incident on 2.
  • the indirect reflected light MP and bMP have a longer flight time than the directly reflected light DP and bDP due to the longer round-trip optical path length, and the light intensity is lowered by a plurality of scattered reflections.
  • the imaging unit 2 outputs the exposure signal A0DP by the direct reflected light DP when the first pulse A0e0 of the exposure control signal A0e is L, as in the first embodiment.
  • the exposure signal A0MP by the indirect reflected light MP is measured when the second pulse A0e1 of the exposure control signal A0e is L. Further, when the first pulse A1e0 of the exposure control signal A1e is L, the exposure signal A1DP by the direct reflected light DP and the exposure signal A1MP by the indirect reflected light MP are measured together.
  • A0DP, A0MP, A1DP, and A1MP are all net exposure signals after subtracting BG. Based on these exposure signals, the measurement distance D1MP for each pixel when multipath exists is output by (A1DP + A1MP) / [(A0DP + A0MP) + (A1DP + A1MP)].
  • the imaging unit 2 measures the exposure signal bA0DP by the direct reflected light bDP and the exposure signal bA0MP by the indirect reflected light bMP when the exposure control signal bA0e is L. Further, when the exposure control signal bA1e is L, the exposure signal bA1DP by the direct reflected light DP and the exposure signal bA1MP by the indirect reflected light bMP are measured together.
  • bA0DP, bA0MP, bA1DP, and bA1MP are all net exposure signals after subtracting BG. Based on these exposure signals, the measurement distance D2MP for each pixel when multipath is present is output by (bA1DP + bA1MP) / [(bA0DP + bA0MP) + (bA1DP + bA1MP)]. From the relationship between the actual distances of frames A and B and the measurement distance D, the measurement distance D is the actual distance in both frames when the lower limit of the actual distance is about 0 m and the upper limit of the measured value is about 1.5 m.
  • the measurement distance D of the frame B increases monotonically with respect to the actual distance, whereas the measurement distance of the frame A increases monotonically. D decreases monotonically.
  • the measurement distance D2MP of the frame B is output larger, and the measurement distance D1MP of the frame A is the measurement distance of the frame B.
  • the output is smaller than D2MP.
  • the multipath component can be detected by subtracting the measurement distance D1MP of the frame A from the measurement distance D2MP of the frame B. That is, the larger (D2MP-D1MP) is, the larger the multipath can be detected.
  • the target object is in the range from the lower limit of the actual distance of about 0 m to the upper limit of the measured value of about 1.5 m, and the target object is 1.5 m.
  • indirect reflected light MP and bMP by multipath enter in frame A and frame B, respectively, in a path of about the degree or more (that is, about the upper limit of the measured value or more), the size of the multipath component mixed in each pixel. Can be detected.
  • the exposure signal A1MP by the indirect reflected light MP is added to the exposure signal A1DP by the direct reflected light DP at the same time as the indirect reflected light MP.
  • the exposure signal A0MP is added to the exposure signal A0DP by the direct reflected light DP.
  • the measurement distance D1MP has a larger denominator and can be observed closer than the measurement distance DMP of the conventional example. It is possible to reduce the error of the conventional distance measuring method that ends up.
  • a distance of about 1.5 m or more is obtained. Even in the case of, the distance can be measured while suppressing the distance error due to multipath. That is, in the frame A shown in FIG. 9A, D1MP simply increases from 0 to 1 at an actual distance of about 0 to 1.5 m (short distance range), and the actual distance is about 1.5 m to 3.0 m (medium distance range).
  • D1MP simply decreases from 1 to 0, and further, at an actual distance of about 3.0 m to 4.5 m (long-distance range), D1MP simply decreases from 0 to 1 again. It is not possible to determine in which range the actual distance of the target object is short, medium, or long distance only by the measurement distance D1MP obtained from the frame A (same as the problem in the first embodiment). However, in the frame B, by combining the measurement distance D to the target object obtained by the distance measurement drive shown in FIGS. 9B and 9C, the target object exists in any of the short, medium, and long distance ranges of the frame A. It becomes possible to distinguish between the two, and it is possible to greatly expand the distance measuring range while suppressing the distance deviation due to the multipath as in the first embodiment.
  • frame A and frame B are output, but three or more types of frame identification signals may be output.
  • the frame synthesizing unit 6 may output as a distance image the result of multiplying the measurement distance of frame A by a specific coefficient La and the result of multiplying the measurement distance of frame B by a specific coefficient Lb. good.
  • the average ratio of the result of multiplying the measurement distance of frame A by a specific coefficient La and the result of multiplying the measurement distance of frame B by a specific coefficient Lb is changed according to the measurement distance and output as a distance image. You may.
  • a frame other than the frame A in which only the phase difference between the light emission control signal and the exposure control signal of the frame A is changed, may be used.
  • the phase difference by changing the phase difference, it is possible to slide the shortest distance and the longest distance that can be measured.
  • two exposure control pulses (A0e0 and A0e1, A1e0 and A1e1, BGe0 and BGe1) and one exposure control pulse (A0e1, A1e1, BGe1) may be mixed.
  • the number of exposures by the exposure control pulses A0e1, A1e1, and BGe1 including more multipath information is increased, it is possible to acquire the multipath information with higher accuracy.
  • one exposure control pulse for one light emission control pulse of the frame A (A0e0 and A0e1, A1e0 and A1e1, BGe0 and BGe1).
  • one exposure control pulse may be applied to one light emission control pulse, the load on the drive control unit 3 that generates the exposure control pulse is reduced, and a steeper exposure control pulse can be supplied. It is possible to improve the distance accuracy.
  • the frame identification signal may be switched not in frame units but in pixel units such as odd-numbered pixels and even-numbered pixels, and in line units such as odd-numbered lines and even-numbered lines as shown in FIG. 13B.
  • the exposure control signals A0e, A1e, and A2e may generate exposure signals A0, A1, and A2, respectively, and add A2 to A0 to calculate the measurement distance D.
  • the exposure control signals A0e, A1e, A2e, and A3e generate exposure signals A0, A1, A2, and A3, respectively, add A2 to A0, and add A3 to A1.
  • the measurement distance D may be calculated.
  • FIG. 9B narrows the pulse widths of the light emission control signal and the exposure control signal of the frame B and delays the exposure control pulse to delay the short-range range, medium-range range, and long-range range of the frame A. Area determination may be performed.
  • k in FIG. 6A or FIG. 6B may be the same value as n or may be a different value. Further, m in frame A and m in frame B in FIG. 6B may have the same value, but may have different values.
  • the ranging imaging device 10 measures the distance to the target object by irradiating the pulsed light and receiving the reflected light from the target object.
  • a distance imaging device, the drive control unit that outputs a light emission control signal including a light emission control pulse instructing light emission and an exposure control signal including an exposure control pulse instructing exposure, and the above-mentioned at the timing of the light emission control pulse.
  • Imaging that exposes the light source unit that irradiates the pulsed light and the reflected light from the target object of the irradiated pulsed light at the timing of the exposure control pulse, and outputs an exposure signal indicating the amount of signal charge generated by the exposure.
  • the drive control unit includes a unit and a calculation unit that performs distance calculation by inputting the exposure signal and outputs a distance image, and the drive control unit is a first exposure control pulse and a second unit based on the timing of the light emission control pulse.
  • An exposure control signal including an exposure control pulse and a third exposure control pulse is generated, and the time difference between the third exposure control pulse and the light emission control pulse is larger than the time difference between the second exposure control pulse and the light emission control pulse.
  • the time difference between the second exposure control pulse and the light emission control pulse is larger than the time difference between the first exposure control pulse and the light emission control pulse, and the imaging unit is generated by exposure by the first exposure control pulse.
  • the first exposure signal indicating the signal charge amount, the second exposure signal indicating the signal charge amount generated by the exposure by the second exposure control pulse, and the signal charge amount generated by the exposure by the third exposure control pulse are shown.
  • the third exposure signal is output.
  • the first exposure signal and the second exposure signal mainly include the signal charges corresponding to the directly reflected light
  • the third exposure signal mainly corresponds to the indirect reflected light. It is possible to include the signal charge to be used. Therefore, if the distance measuring imager calculates the distance using not only the first exposure signal and the second exposure signal but also the third exposure signal, the deterioration of the distance measuring accuracy in the multipath environment can be reduced.
  • the calculation unit obtains the distance information based on the ratio of the signal charge amount of the second exposure signal to the total signal charge amount of each of the first exposure signal, the second exposure signal, and the third exposure signal. It may be output.
  • the drive control unit may generate the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse.
  • the first exposure signal and the third exposure signal can be obtained by exposing twice for one light emission. At that time, the signal charge of the indirect reflected light can be acquired in the third exposure signal.
  • the drive control unit generates the first exposure control pulse in correspondence with one light emission control pulse, and generates the second exposure control pulse in correspondence with one light emission control pulse, and the first The three exposure control pulses may be generated in correspondence with one of the emission control pulses.
  • the first exposure signal can be obtained by exposing once for each light emission.
  • a second exposure signal can be obtained by exposing once for each light emission.
  • a third exposure signal can be obtained by exposing once for each light emission.
  • the first exposure signal, the second exposure signal, and the third exposure signal can be acquired by a simple control of one exposure for one light emission. Since the third exposure signal mainly contains the signal charge corresponding to the indirect reflected light, it is possible to reduce the deterioration of the distance measurement accuracy in the multipath environment.
  • the exposure control signal includes a fourth exposure control pulse
  • the time difference between the fourth exposure control pulse and the light emission control pulse is larger than the time difference between the third exposure control pulse and the light emission control pulse.
  • the drive control unit generates the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and shares the second exposure control pulse and the fourth exposure control pulse. It may be generated corresponding to one of the above-mentioned emission control pulses.
  • the first exposure signal and the third exposure signal can be obtained by exposing twice for one light emission.
  • the second exposure signal and the fourth exposure signal can be obtained by exposing twice for one light emission.
  • the operation of obtaining the first exposure signal and the third exposure signal and the operation of obtaining the second exposure signal and the fourth exposure signal use the same control sequence of one emission and two exposures. Therefore, in the above two operations, for example, the fluctuation of the power supply voltage does not cause a significant difference, so that the deterioration of the distance measurement accuracy can be further reduced.
  • the calculation unit performs the second exposure signal and the fourth exposure with respect to the first total obtained by adding the signal charge amounts of the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the distance information may be output based on the ratio of the second total obtained by adding the signal charge amounts of the signals.
  • distance information with reduced deterioration in distance measurement accuracy can be obtained by using the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the calculation unit is the ratio of the signal charge amount of the second exposure signal to the total of the signal charge amounts of the first exposure signal, the second exposure signal, the third exposure signal, and the fourth exposure signal.
  • the distance information may be output based on the above.
  • the signal charge amount of the second exposure signal can be used instead of the second total obtained by adding the signal charge amounts of each of the second exposure signal and the fourth exposure signal. This also makes it possible to obtain distance information with reduced deterioration in distance measurement accuracy.
  • the drive control unit inputs an identification signal that specifies one of a plurality of operation modes including the first operation mode and the second operation mode, and the identification signal specifies the first operation mode
  • the identification signal specifies the first operation mode
  • the first operation is Distance measurement by a different second motion may be controlled.
  • the distance is measured in each of the first operation mode and the second operation mode, so that the distance information with a smaller measurement error can be selected.
  • the distance image generation unit generates a multi-pass detection signal indicating the presence or absence of multi-pass based on the first distance information obtained in the first operation and the second distance information obtained in the second operation. Generates and further outputs the multi-path detection signal indicating the magnitude of the error included in the first distance information or the second distance information based on the difference between the first distance information and the second distance information. You may.
  • the distance image generation unit generates a multipath detection signal indicating the presence or absence of multipath based on the first distance information obtained in the first operation and the second distance information obtained in the second operation. It may be generated.
  • the distance image generation unit indicates the magnitude of the error included in the first distance information or the second distance information based on the difference between the first distance information and the second distance information.
  • a detection signal may be output.
  • the drive control unit in the second operation mode, the drive control unit generates the exposure control signal including the first pulse and the second pulse as the exposure control pulse, and the time difference between the second pulse and the light emission control pulse is set. , It may be larger than the time difference between the first pulse and the light emission control pulse.
  • the second operation mode may be, for example, the same distance measurement operation as before.
  • the imaging unit may output a pre-exposure signal indicating the amount of signal charge generated by the exposure by the first pulse and a trailing exposure signal indicating the amount of signal charge generated by the exposure by the second pulse. Good.
  • the distance can be calculated from the leading exposure signal and the trailing exposure signal.
  • the calculation unit may output the distance information based on the ratio of the signal charge amount of the trailing exposure signal to the total signal charge amount of each of the preceding exposure signal and the trailing exposure signal.
  • the distance information is calculated based on the above ratio.
  • the distance image generation unit is based on the addition of the distance value indicated by the first distance information obtained in the first operation and the distance value indicated by the second distance information obtained in the second operation.
  • a distance image may be generated.
  • the average may be calculated from the added value of the first distance information and the second distance information.
  • the drive control unit repeatedly executes an exposure process for generating the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and out of the plurality of times.
  • the first exposure control pulse or the third exposure control pulse may be thinned out in a predetermined number of exposure processes.
  • the first exposure control pulse is thinned out by a predetermined number of operations among a plurality of repetitions of the operation of exposing twice for one light emission.
  • the accuracy of multipath detection can be improved.
  • the drive control unit repeatedly executes the first exposure process for generating the first exposure control pulse and the third exposure control pulse in correspondence with one common light emission control pulse, and repeatedly executes the second exposure process.
  • the second exposure process of generating the exposure control pulse and the fourth exposure control pulse corresponding to one common light emission control pulse is repeatedly executed a plurality of times, and the corresponding first exposure process is performed a predetermined number of times out of the plurality of times.
  • the first exposure control pulse and the second exposure control pulse, or the third exposure control pulse and the fourth exposure control pulse may be thinned out.
  • the exposure control pulse is used.
  • the load on the drive control unit 3 that generates the above is reduced, a steeper exposure control pulse can be supplied, and the distance measurement accuracy can be improved.
  • the drive control unit may generate the light emission control signal so that the duty ratio corresponding to the light emission pulse period is 33% or less.
  • the pulsed light can be made higher in intensity with respect to the background light, and the light resistance, which is the distance measurement performance, can be improved.
  • the calculation unit may calculate and output the distance information using the TOF principle.
  • the ranging imaging device according to the present disclosure can be used for, for example, a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距撮像装置（１０）において駆動制御部（３）は、発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルスおよび第３露光制御パルスを含む露光制御信号を生成し、第３露光制御パルスと発光制御パルスとの時間差は、第２露光制御パルスと発光制御パルスとの時間差よりも大きく、第２露光制御パルスと発光制御パルスとの時間差は、第１露光制御パルスと発光制御パルスの時間差よりも大きく、撮像部（２）は、第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する。

Description

測距撮像装置
　本開示は、測距撮像装置に関する。
　特許文献１は、パルス光を照射して対象物体からの反射光を受光することによって対象物までの距離を測定する測距撮像装置を開示している。
国際公開第２０１７／１５０２４６号
　従来技術によれば、対象物からの直接反射光だけでなく間接反射光も含むマルチパス環境において測距精度が劣化するという問題がある。
　本開示は、マルチパス環境における測距精度の劣化を低減する測距撮像装置を提供する。
　本開示の一態様に係る測距撮像装置は、パルス光を照射して対象物体からの反射光を受光することによって、対象物までの距離を測定する測距撮像装置であって、発光を指示する発光制御パルスを含む発光制御信号と、露光を指示する露光制御パルスを含む露光制御信号とを出力する駆動制御部と、前記発光制御パルスのタイミングで前記パルス光の照射を行う光源部と、照射された前記パルス光の対象物体からの反射光を、前記露光制御パルスのタイミングで露光し、露光で生じた信号電荷量を示す露光信号を出力する撮像部と、前記露光信号を入力として距離演算を行い、距離画像を出力する演算部とを備え、前記駆動制御部は、前記発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルスおよび第３露光制御パルスを含む露光制御信号を生成し、前記第３露光制御パルスと前記発光制御パルスとの時間差は、前記第２露光制御パルスと前記発光制御パルスとの時間差よりも大きく、前記第２露光制御パルスと前記発光制御パルスとの時間差は、前記第１露光制御パルスと前記発光制御パルスの時間差よりも大きく、前記撮像部は、前記第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、前記第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、前記第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する。
　本開示に係る測距撮像装置によれば、マルチパス環境における測距精度の劣化を低減することが可能となる。
図１は、実施形態１に係る測距撮像装置の構成例を示すブロック図である。 図２Ａは、実施形態１に係る測距撮像装置の発光制御信号および露光制御信号の信号波形例を示すタイミング図である。 図２Ｂは、実施形態１に係る測距撮像装置の発光制御信号および露光制御信号の他の信号波形例を示すタイミング図である。 図３は、図２Ａの発光制御信号と露光制御信号のＡ０期間、Ａ１期間、ＢＧ期間の信号波形例を示す図である。 図４は、実施形態１に係る測距撮像装置の発光制御信号と露光制御信号と、測定距離Ｄの関係を示す図である。 図５は、実施形態２に係る測距撮像装置の構成例を示すブロック図である。 図６Ａは、実施形態２に係る測距撮像装置の動作例を示すタイミング図である。 図６Ｂは、実施形態２に係る測距撮像装置の他の動作例を示すタイミング図である。 図７は、実施形態２に係る図６Ａの発光制御信号と露光制御信号の、フレームＡのＡ０期間、Ａ１期間、ＢＧ期間の信号波形を示す図である。 図８は、実施形態２に係る図６Ａの発光制御信号と露光制御信号の、フレームＢのｂＡ０期間、ｂＡ１期間、ｂＢＧ期間の信号波形を示す図である。 図９Ａは、実施形態２に係る測距撮像装置のフレームＡにおける、対象物体からの直接反射光と間接反射光およびＡ０、Ａ１露光制御信号の時間関係と、実距離と測定距離Ｄの関係を示す図である。 図９Ｂは、実施形態２に係る測距撮像装置のフレームＢにおける、対象物体からの調節反射光と間接反射光およびＡ０、Ａ１露光制御信号の時間関係と、実距離と測定距離Ｄの関係を示す図である。 図９Ｃは、実施形態２に係る測距撮像装置のフレームＢにおける、別の対象物体からの直接反射光と間接反射光およびＡ０、Ａ１露光制御信号の時間関係と、実距離と測定距離Ｄの別の関係を示す図である。 図１０は、実施形態１および２に係る測距撮像装置の別の駆動を示すタイミング図であり、Ａ０期間、Ａ１期間、ＢＧ期間の出力を示す図である。 図１１は、実施形態１および２に係る測距撮像装置の駆動を示すタイミング図であり、Ａ０期間、Ａ１期間、ＢＧ期間の別の出力を示す図である。 図１２は、実施の形態１および２に係る測距撮像装置の駆動を示すタイミング図であり、Ａ０期間、Ａ１期間、ＢＧ期間の別の出力を示す図である。 図１３Ａは、実施形態に係る測距撮像装置の画素識別信号を示す説明図である。 図１３Ｂは、実施形態に係る測距撮像装置の画素識別信号を示す説明図である。 図１４は、実施形態１および２に係る測距撮像装置の駆動を示すタイミング図である。 図１５は、実施形態１および２に係る測距撮像装置の駆動を示すタイミング図である。
　（本開示の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した測距撮像装置に関し、以下の問題が生じることを見出した。
　従来のＴＯＦ測距方式において、光源から射出された照射光は、通常２０度～１５０度程度の広がりを持っている。対象物体と測距撮像装置の近くに壁や天井、障害物などの反射物体が有る場合、広がりを持つ照射光の一部は反射物体を経由して対象物体で反射し、間接反射光として測距撮像装置に戻ってくる。その結果、測距撮像装置で観測される反射光の強度は、強度の強い直接反射光と、強度の低い間接反射光の両方が混在して露光される。間接反射光は、直接反射光よりも飛行距離が長いので、直接反射光よりも遅れて測距撮像装置に戻ってくる。このとき、測距撮像装置と対象物体との間の観測される距離は、直接反射光によって導出される本来の距離よりも、間接反射光が混在することで、より遠くに観測されてしまう。このように、マルチパス環境では間接反射光が測定誤差を生み出す原因となり、測定される距離が実際の距離よりも大きくなるという問題がある。
　このような問題を解決するために、本開示の一態様に係る測距撮像装置は、パルス光を照射して対象物体からの反射光を受光することによって、対象物までの距離を測定する測距撮像装置であって、発光を指示する発光制御パルスを含む発光制御信号と、露光を指示する露光制御パルスを含む露光制御信号とを出力する駆動制御部と、前記発光制御パルスのタイミングで前記パルス光の照射を行う光源部と、照射された前記パルス光の対象物体からの反射光を、前記露光制御パルスのタイミングで露光し、露光で生じた信号電荷量を示す露光信号を出力する撮像部と、前記露光信号を入力として距離演算を行い、距離画像を出力する演算部と、を備え、前記駆動制御部は、前記発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルスおよび第３露光制御パルスを含む露光制御信号を生成し、前記第３露光制御パルスと前記発光制御パルスとの時間差は、前記第２露光制御パルスと前記発光制御パルスとの時間差よりも大きく、前記第２露光制御パルスと前記発光制御パルスとの時間差は、前記第１露光制御パルスと前記発光制御パルスの時間差よりも大きく、前記撮像部は、前記第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、前記第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、前記第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する。
　これにより、予め定められた測距レンジの範囲内において、第１露光信号と第２露光信号が主に直接反射光に対応する信号電荷を含み、第３露光信号は主に間接反射光に対応する信号電荷を含むことが可能である。よって、測距撮像装置は、第１露光信号および第２露光信号だけでなく、第３露光信号も用いて距離を算出すれば、マルチパス環境における測距精度の劣化を低減することできる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号および前記第３露光信号それぞれの信号電荷量の合計に対する、前記第２露光信号の信号電荷量の比率に基づいて距離情報を出力してもよい。
　これにより、上記の合計に対する上記に比率に基づいて、測距精度の劣化を低減した距離情報を容易に算出することができる。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して２回露光することにより、第１露光信号および第３露光信号を得ることができる。その際、第３露光信号では間接反射光の信号電荷を取得可能である。
　例えば、前記駆動制御部は、前記第１露光制御パルスを１つの前記発光制御パルスに対応させて生成し、前記第２露光制御パルスを１つの前記発光制御パルスに対応させて生成し、前記第３露光制御パルスを１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して１回露光することにより、第１露光信号を得ることができる。同様に、１回の発光に対して１回露光することにより、第２露光信号を得ることができる。また、１回の発光に対して１回露光することにより、第３露光信号を得ることができる。このように、１回の発光に対して１回露光する単純な制御により、第１露光信号、第２露光信号および第３露光信号を取得することができる。第３露光信号は主に間接反射光に対応する信号電荷を含むので、マルチパス環境における測距精度の劣化を低減することを可能にする。
　例えば、前記露光制御信号は、第４露光制御パルスを含み、前記第４露光制御パルスと前記発光制御パルスとの時間差は、前記第３露光制御パルスと前記発光制御パルスとの時間差よりも大きく、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成し、前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して２回露光することにより、第１露光信号および第３露光信号を得ることができる。同様に、１回の発光に対して２回露光することにより、第２露光信号および第４露光信号を得ることができる。第１露光信号および第３露光信号を得る動作と、第２露光信号および第４露光信号を得る動作とで、１発光２露光という同様の制御シーケンスを用いる。そのため、上記の２つの動作において、例えば、電源電圧の変動等に著しい差異を生じさせないので、測距精度の劣化をより一層低減することができる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号それぞれの信号電荷量を加算した第１合計に対する、前記第２露光信号および第４露光信号それぞれの信号電荷量を加算した第２合計の比率に基づいて前記距離情報を出力してもよい。
　これにより、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号を用いて、測距精度の劣化を低減した距離情報を得ることができる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号それぞれの信号電荷量を加算した合計に対する、前記第２露光信号の信号電荷量の比率に基づいて前記距離情報を出力してもよい。
　これにより、前記第２露光信号および第４露光信号それぞれの信号電荷量を加算した第２合計の代わりに、第２露光信号の信号電荷量を用いることができる。これによっても、測距精度の劣化を低減した距離情報を得ることができる。
　例えば、前記駆動制御部は、第１動作モードと第２動作モードとを含む複数の動作モードの何れかを指定する識別信号を入力し、前記識別信号が前記第１動作モードを指定するとき、前記第１露光制御パルスから第３露光制御パルスを含む前記露光制御信号を用いる第１動作による距離測定を制御し、前記識別信号が前記第２動作モードを指定するとき、前記第１動作とは異なる第２動作による距離測定を制御してもよい。
　これにより、第１動作モードおよび第２動作モードのそれぞれで距離測定するので、より測定誤差の小さい距離情報を選択することができる。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成し、更に、前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示す前記マルチパス検出信号を出力してもよい。
　これにより、マルチパスの有無の検出と、マルチパスによる誤差の大きさの検出とが可能である。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成してもよい。
　これにより、マルチパスの有無の検出が可能である。
　例えば、前記距離画像生成部は、前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示す前記マルチパス検出信号を出力してもよい。
　これにより、マルチパスによる誤差の大きさの検出が可能である。
　例えば、前記駆動制御部は、前記第２動作モードにおいて、前記露光制御パルスとして第１パルスおよび第２パルスを含む前記露光制御信号を生成し、前記第２パルスと前記発光制御パルスとの時間差は、前記第１パルスと前記発光制御パルスとの時間差よりも大きくてもよい。
　これにより、第２動作モードは例えば従来と同様の測距動作でもよい。
　例えば、前記撮像部は、前記第１パルスによる露光で生じた信号電荷量を示す先行露光信号と、前記第２パルスによる露光で生じた信号電荷量を示す後行露光信号とを出力してもよい。
　これにより、第２動作モードでは、先行露光信号と後行露光信号とから距離を算出可能である。
　例えば、前記演算部は、前記先行露光信号および前記後行露光信号それぞれの信号電荷量の合計に対する、前記後行露光信号の信号電荷量の比率に基づいて前記距離情報を出力してもよい。
　これにより、第２動作モードでは、上記の比率に基づいて距離情報を算出する。第２動作モードと第１動作モードとを組み合わせることにより、測距精度の劣化を低減した距離情報を導出することができる。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報が示す距離値と、前記第２動作で得られた第２距離情報が示す距離値との加算に基づいて前記距離画像を生成してもよい。
　これにより、第１距離情報と第２距離情報との加算値から平均を算出してもよい。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する露光処理を複数回繰り返し実行し、前記複数回のうち所定回数の露光処理において前記第１露光制御パルスまたは前記第３露光制御パルスを間引いてもよい。
　これにより、１回の発光に対して２回露光する動作の複数回の繰り返しのうち、所定回数の動作で第１露光制御パルスを間引く場合には、間接反射光をより多く露光できるため、マルチパスの検出の精度を向上させることができる。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第１露光処理を複数回繰り返し実行し、前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第２露光処理を複数回繰り返し実行し、前記複数回のうち所定回数の対応する第１露光処理および第２露光処理において、前記第１露光制御パルスおよび第２露光制御パルス、または、前記第３露光制御パルスおよび第４露光制御パルスを間引いてもよい。
　これにより、１回の発光に対して２回露光する動作の複数回の繰り返しのうち、所定回数の動作で第１露光制御パルスまたは第２露光制御パルスを間引く場合には、露光制御パルスを生成する駆動制御部３の負荷が低減され、より急峻な露光制御パルスを供給でき、測距精度を向上させることが可能となる。
　例えば、前記駆動制御部は、発光パルス周期に対応するデューティ比が３３％以下となるように前記発光制御信号を生成してもよい。
　これにより、パルス光を、背景光に対して高強度とすることができ、測距性能である耐光性を向上させることができる。
　例えば、前記演算部は、ＴＯＦ原理を用いて前記距離情報を演算し出力してもよい。
　これにより、ＴＯＦ原理による距離情報を出力する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムで実現されてもよく、システム、方法、集積回路、コンピュータプログラムの任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、駆動タイミング等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうちの、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成について、重複する説明は省略又は簡略化する。
　（実施形態１）
　図１は、実施形態１に係る測距撮像装置１０の構成例を示すブロック図である。同図には、測距撮像装置１０の他に対象物体と反射物体も図示してある。対象物体は距離測定の対象物の一例を示す。反射物体は、間接反射光を発生させ、マルチパス環境の一例を示す。測距撮像装置１０は、光源部より射出された照射光が、対象物体で直接反射し、直接反射光として撮像部２に戻ってくるまでの光の飛行時間（ＴＯＦ）を、撮像部で露光された信号量から計算し、適切な係数を乗算して距離を導出する。そのため、測距撮像装置１０は、光源部１と、撮像部２と、駆動制御部３と、および演算部５を備える。
　光源部１は、駆動制御部３からの発光制御信号に含まれる発光制御パルスのタイミングでパルス光の照射を行う。パルス光は、人間が周囲に存在する場合は赤外光が望ましいが、そうで無い場合は赤外光以外でもよい。
　撮像部２は、パルス光が照射された対象物体からの反射光を、露光制御パルスのタイミングで露光し、露光で生じた信号電荷量を示す露光信号を出力する。撮像部２は、イメージセンサと呼ばれる固体撮像素子を含む。撮像部２は、例えば、２万画素～２００万画素程度の解像度で撮像する。
　駆動制御部３は、発光のタイミングを指示する発光制御パルスを含む発光制御信号と、露光のタイミング指示する露光制御パルスを含む露光制御信号とを出力する。図２Ａは、実施形態１に係る測距撮像装置１０の発光制御信号および露光制御信号の信号波形例を示すタイミング図である。図２Ａの例では、発光制御信号は、正論理の発光制御パルスを含む。発光制御パルスは、ハイレベルのとき光源１を発光させる。露光制御信号は、負論理の露光制御パルスを含む。露光制御パルスは、ローレベルのとき撮像部２を露光させる。同図では、Ａ０期間、Ａ１期間、ＢＧ期間のそれぞれにおいて露光処理がなされる。Ａ０期間とＡ１期間とでは、発光と露光とを組み合わるタイミングが異なっている。ＢＧ期間は、背景光を露光する期間であり、発光することなく露光のみ行われる。Ａ０期間において、発光制御信号はｎ回繰り返される発光制御パルスを有する信号である。したがって、発光と露光との組み合わせもｎ回繰り返される。ｎ回は、２以上の整数でよく、例えば数十回～数万回である。Ａ１期間における発光制御信号も同様である。なお、駆動制御部３は、図２Ａの代わりに図２Ｂのように発光制御信号および露光制御信号を生成してもよい。図２Ｂでは、ｎ回繰り返される単位処理を連続させないで、Ａ０期間の単位処理、Ａ１期間の単位処理、Ｂ期間の単位処理をそれぞれ１回ずつ行う処理をｍ回繰り返す。
　駆動制御部３は、発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルス、第３露光制御パルスおよび第４露光制御パルスを含む露光制御信号を生成する。ここで、第４露光制御パルスと発光制御パルスとの時間差は、第３露光制御パルスと発光制御パルスとの時間差よりも大きい。第３露光制御パルスと発光制御パルスとの時間差は、第２露光制御パルスと発光制御パルスとの時間差よりも大きい。第２露光制御パルスと発光制御パルスとの時間差は、第１露光制御パルスと発光制御パルスの時間差よりも大きい。第１露光制御パルスと第３露光制御パルスは、Ａ０期間の単位処理に含まれる。第２露光制御パルスと第４露光制御パルスは、Ａ１期間の単位処理に含まれる。
　撮像部２は、第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する。
　演算部５は、第１露光信号、第２露光信号および第３露光信号それぞれの信号電荷量の合計に対する、第２露光信号の信号電荷量の比率に基づいて距離情報を出力する。これにより、距離情報におけるマルチパスによる精度劣化を抑制することができる。なぜなら、マルチパス環境における間接反射光の一部が第３露光信号に含まれるので、誤差を抑制するからである。
　また、第１露光信号、第２露光信号および第３露光信号それぞれの信号電荷量の合計であって、Ａ０期間の単位処理の繰り返しで得られる信号電荷量をＡ０と表す。第２露光信号の信号電荷量であって、Ａ１期間の単位処理の繰り返しで得られる信号電荷量をＡ１と表す。演算部５は、Ａ１／（Ａ０＋Ａ１）に基づいて距離情報を算出する。ただし、この式におけるＡ０、Ａ１の信号電荷量は、ＢＧ期間で得られた背景光の信号電荷量が減算されたものとする。この式における信号電荷量Ａ１は、本開示では、間接反射光の一部に対応する第３露光信号を含むので、従来技術と比較して、マルチパスによる精度劣化を抑制することができる。
　なお、パルス光は、低頻度で間欠発光する。例えば、パルス光の発光のデューティ比は３３％以下でよい。これにより、パルス光を、周囲の太陽や照明からやってくる背景光に対して高強度とすることができ、測距性能である耐光性を向上させることが出来る。
　演算部５は、露光信号を入力としてＴＯＦ演算により距離情報を出力する。
　次に、本実施形態１に係る測距撮像装置１０の動作について説明する。
　図２Ａは、実施形態１に係る測距撮像装置の動作例を示すタイミング図である。
　図２Ａに示すように、駆動制御部３は、発光制御信号と露光制御信号を出力し、光源部１は、発光制御信号がハイレベルの時にパルス光を出力する。
　このＡ０、Ａ１、ＢＧの露光期間の順番は入れ替わっていてもよく、または図２Ｂのように、各露光期間を単位処理に相当する１／ｍに短くして、Ａ０期間／ｍ、Ａ１期間／ｍ、ＢＧ期間／ｍの単位処理セットをｍ回繰り返しても良い。ここで、ｎは２以上の整数である。ｍは２以上ｎ以下の整数である。この場合、測定距離演算に用いる３つの露光信号Ａ０、Ａ１、ＢＧの時間差が１／ｍに短縮されるため、対象物体が動いていても、正確に測距距離演算を行うことができるという効果がある。
　なお、露光信号Ａ０、Ａ１にはＢＧが含まれており、ＢＧを減算した成分が照射光の正味の信号量となる。
　また、演算部５は、測定距離Ｄ＝（Ａ１－ＢＧ）／［（Ａ０－ＢＧ）＋（Ａ１－ＢＧ）］によって、画素毎の測定距離Ｄを出力する。測定距離Ｄは、０から１の値をとる正規化された距離値を示す。
　図３は、図２Ａおよび図２Ｂの発光制御信号と露光制御信号のＡ０期間、Ａ１期間、ＢＧ期間の出力の一部を詳細に示したものである。
　露光制御信号は、発光制御信号に対して３パターンの位相関係で発光制御信号、露光制御信号Ａ０ｅ、Ａ１ｅ、ＢＧｅを出力する。Ａ０期間、Ａ１期間は、発光制御信号１つに対して、基本的には２つの露光制御パルスを出力する。ＢＧ期間は、発光制御信号は常にローレベル（発光無し）である。以下、ローレベルをＬと略し、ハイレベルをＨと略すことがある。
　従来の測距撮像装置の駆動方法と大きく異なるのは、露光制御信号Ａ０ｅ、Ａ１ｅ、ＢＧｅそれぞれが２発の連続した露光制御パルス（Ａ０ｅ０、Ａ０ｅ１、Ａ１ｅ０、Ａ１ｅ１、ＢＧｅ０、ＢＧｅ１）で構成されている点である。露光制御パルスＡ０ｅ０は、第１露光制御パルスの具体例である。露光制御パルスＡ１ｅ０は、第２露光制御パルスの具体例である。露光制御パルスＡ０ｅ１は、第３露光制御パルスの具体例である。露光制御パルスＡ１ｅ１は、第４露光制御パルスの具体例である。
　図４は、実施形態１に係る測距撮像装置の露光制御信号と露光制御信号と、測定距離Ｄの関係を示す図である。図４では、光源部１と対象物体の間に反射物体が存在し、直接反射光だけでなく、間接反射光も撮像部２に照射され、マルチパス問題が発生する場合を示している。対象物体からの直接反射光パルスＤＰ、間接反射光パルスＭＰと露光制御信号Ａ０ｅ、Ａ１ｅの時間関係、および実距離と測定距離Ｄの関係を模式的に示した図である。図４では、露光制御信号Ａ０ｅ、Ａ１ｅを理解の便宜上併記しているが、Ａ０期間では、発光制御信号と露光制御信号Ａ０ｅとの組み合わせた単位処理が行われる。Ａ１期間では、発光制御信号と露光制御信号Ａ０ｅとの組み合わせた単位処理が行われる。図中の距離ＤＤＰは、直接反射光のみで測定できた場合の対象物の実際の距離例を示す。距離Ｄ１ＭＰは、直接反射光と間接反射光とが混在する場合に本実施形態で測定される距離例を示す。距離ＤＭＰは、直接反射光と間接反射光とが混在する場合に従来技術で測定される距離例を示す。
　光源部１からの照射光パルスは、直接対象物体で反射される直接反射光ＤＰと、周囲の反射物体を経由して対象物体で反射される間接反射光ＭＰに分かれて撮像部２に入射される。この時、間接反射光ＭＰは、直接反射光ＤＰに対して、往復の光路長が長い分だけ飛行時間が長くなると共に、複数回の散乱反射により光強度は低下する。
　これらの反射光パルスＤＰ、ＭＰに対して、撮像部２は露光制御信号Ａ０ｅの第一パルスＡ０ｅ０がＬの時に主に直接反射光ＤＰによる露光信号Ａ０ＤＰを計測し、露光制御信号Ａ０ｅの第二パルスＡ０ｅ１がＬの時に主に間接反射光ＭＰによる露光信号Ａ０ＭＰを計測する。また、露光制御信号Ａ１ｅの第一パルスＡ１ｅ０がＬの時に直接反射光ＤＰによる露光信号Ａ１ＤＰと間接反射光ＭＰによる露光信号Ａ１ＭＰを合わせて計測する。
　なお、ここではＡ０ＤＰ、Ａ０ＭＰ、Ａ１ＤＰ、Ａ１ＭＰは、いずれもＢＧを減算した後の正味の露光信号とする。これらの露光信号に基づき、（Ａ１ＤＰ＋Ａ１ＭＰ）／［（Ａ０ＤＰ＋Ａ０ＭＰ）＋（Ａ１ＤＰ＋Ａ１ＭＰ）］によって、マルチパスが存在する場合の画素毎の測定距離Ｄ１ＭＰが出力される。
　この測距距離Ｄ１ＭＰは、直接反射光ＤＰが露光制御信号Ａ０ｅの第一パルスＡ０ｅ０のＬ期間と同じ時間だけ飛行すると、露光信号Ａ０ＤＰ＝０、測定距離Ｄ１ＭＰ＝１となり、それ以上の時間飛行すると、Ｄ１ＭＰは再び１から０へと減少する。従って、本実施形態１の測距可能レンジは、例えば露光制御信号Ａ０ｅの第一パルスＡ０ｅ０のＬ期間が１０ｎｓｅｃの場合、Ｄ１ＭＰがゼロから１までの光の往復飛行距離は約３ｍ（＝光速３．０Ｅ８ｍ／ｓ×１０ｎｓｅｃ）となるため、測距可能レンジは、従来例と同じくその片道分の約１．５ｍとなる。
　本実施形態の測距方法では、間接反射光ＭＰによる露光信号Ａ１ＭＰが直接反射光ＤＰによる露光信号Ａ１ＤＰに加算されると同時に、間接反射光ＭＰによる露光信号Ａ０ＭＰが直接反射光ＤＰによる露光信号Ａ０ＤＰに加算される。この露光信号Ａ０ＭＰがＡ０ＤＰに加算されることにより、測定距離Ｄ１ＭＰは分母が大きくなり、従来例の測定距離ＤＭＰよりも近くに観測されるようになり、マルチパスで対象物体が遠方に観測されてしまうという従来例の測距方式の誤差を低減することが出来る。
　なお、露光制御信号Ａ１ｅおよびＢＧｅの第二パルスＡ１ｅ１、ＢＧｅ１は、露光制御信号Ａ０ｅとＢＧ信号量を揃えて測定距離Ｄ１の計算精度を高めるために印加しているが、これは必須ではなく、露光制御を簡単にするために第二パルスＡ１ｅ１、ＢＧｅ１を無くしたとしても、従来例の測距方式の誤差を低減することが出来る。
　また、上記の露光制御信号Ａ０ｅの第１パルスＡ０ｅ０は、第１露光制御パルスの具体例であり、第２パルスＡ０ｅ１は第３露光制御パルスの具体例である。また、露光制御信号Ａ１ｅの第１パルスＡ１ｅ０は、第２露光制御パルスの具体例であり、第２パルスＡ１ｅ１は第４露光制御パルスの具体例である。
　（実施形態２）
　本実施の形態では、第１動作モードおよび第２動作モードのそれぞれで距離測定をし、２つの距離情報を合成または選択することにより測定誤差の小さい距離情報を得る測距撮像装置１０について説明する。
　図５は、実施形態２に係る測距撮像装置１０の構成図である。
　同図の測距撮像装置１０は、図１の構成と比較して、フレーム制御部４と、フレーム合成部（距離画像生成部）６とが追加された点が異なっている。以下、異なる点を中心に説明する。
　フレーム制御部４は、Ｎ番目のフレームではＬを、（Ｎ＋１）番目の時はＨをフレーム識別信号として出力する。Ｌのフレーム識別信号に対応するフレームをフレームＡと呼ぶ。Ｈのフレーム識別番号に対応するフレームをフレームＢと呼ぶ。フレームＡでは、第１動作モードつまり実施形態１と同様の動作がなされる。フレームＢでは、第２動作モードがなされる。
　距離画像生成部６は、第１動作モードおよび第２動作モードのそれぞれで測定された距離情報を合成または選択することにより測定誤差の小さい距離情報を生成する。
　なお、撮像部２からは、直接反射光による露光信号に間接反射光による露光信号が重畳された３種類の露光信号（Ａ０ＤＰ＋Ａ０ＭＰ）、（Ａ１ＤＰ＋Ａ１ＭＰ）、ＢＧが演算部５に出力される。次に、本実施形態２に係る測距撮像装置１０の動作について説明する。
　図６Ａに示すように、フレーム制御部４は、Ｎ番目のフレーム（フレームＡ）の時はＬを、Ｎ＋１番目（フレームＢ）の時はＨをフレーム識別信号として出力し、駆動制御部３は、フレーム識別信号を入力として発光制御信号と露光制御信号を出力し、光源部１は、発光制御信号がＨの時に照射光を出力する。
　なお、フレーム識別信号のＬとＨは逆であっても良く、発光制御信号は数十～数万の発光制御パルスを含む。発光制御パルスに対応する照射光はパルス光でよい。
　また、このパルス光は、低頻度間欠発光であることが、より好ましい。これにより、照射光（パルス光）を、周囲の太陽や照明からやってくるＢＧ定常光に対して高強度とすることが出来、測距性能である耐光性を向上させることが出来る。
　また、撮像部２は、イメージセンサ（固体撮像素子、例えば、２万画素～２百万画素程度の解像度で撮像する）を有し、照射光が対象物体に反射した光である反射光に対して、露光制御信号がＬの期間のみ露光を行い、Ｌ期間の露光量の総和を、撮像部２で光電変換を行い、画素毎で露光信号Ａ０、Ａ１、ＢＧを出力する。
　このＡ０、Ａ１、ＢＧの露光期間の順番は入れ替わっていてもよく、または図６Ｂのように露光期間を１／ｍに短くして、Ａ０期間／ｍ、Ａ１期間／ｍ、ＢＧ期間／ｍのセットをｍ回繰り返しても良い。この場合、測定距離演算に用いる３つの露光信号Ａ０、Ａ１、ＢＧの時間差が１／ｍに短縮されるため、対象物体が動いていても、正確に測距距離演算を行うことができるという効果がある。
　なお、露光信号Ａ０、Ａ１にはＢＧが含まれており、ＢＧを減算した成分が照射光の正味の信号量となる。
　また、演算部５は、測定距離Ｄ＝（Ａ１－ＢＧ）／［（Ａ０－ＢＧ）＋（Ａ１－ＢＧ）］によって、画素毎の測定距離Ｄを出力する。
　また、フレーム合成部６は、測定距離Ｄの閾値Ｔ＝０．３程度として、画素毎で、フレームＢの測定距離＜閾値Ｔの時は、フレームＡの測定距離に特定の係数（例えばＬａ＝１５００ｍｍ程度）を乗算して、距離画像として出力する。
　また、フレームＢの測定距離≧閾値Ｔの時は、フレームＢの測定距離に特定の係数（例えばＬｂ＝４５００ｍｍ程度）を乗算して、距離画像として出力する。
　また、フレームＡの測定距離に特定の係数Ｌａを乗算した結果と、フレームＢの測定距離に特定の係数Ｌｂを乗算した結果の差分によってマルチパス検出信号として出力する。
　図７は、図６Ａおよび図６Ｂの発光制御信号と露光制御信号の、フレームＡのＡ０期間、Ａ１期間、ＢＧ期間の出力の一部を詳細に示したものである。
　露光制御信号は、発光制御信号に対して３パターンの位相関係で、露光制御信号Ａ０ｅ、Ａ１ｅ、ＢＧｅを出力する。Ａ０期間、Ａ１期間は、発光制御信号１つに対して、２つの露光制御信号を出力する。ＢＧ期間の発光制御信号は常にＬ（発光無し）である。
　従来の測距撮像装置の駆動方法と大きく異なるのは、実施形態１と同様に、露光制御信号Ａ０ｅ、Ａ１ｅ、ＢＧｅそれぞれが２発の連続した露光制御パルス（Ａ０ｅ０とＡ０ｅ１、Ａ１ｅ０とＡ１ｅ１、ＢＧｅ０とＢＧｅ１）で構成されている点である。
　次に、図８は、それぞれ図６Ａおよび図６Ｂの発光制御信号と露光制御信号の、フレームＢのｂＡ０期間、ｂＡ１期間、ｂＢＧ期間の出力の一部を詳細に示したものである。図８は、第２動作モードに対応する。
　図８に示す露光制御信号は、発光制御信号に対して３パターンの位相関係で露光制御信号ｂＡ０ｅ、ｂＡ１ｅ、ｂＢＧｅ０を出力する。ｂＡ０期間、ｂＡ１期間は、発光制御パルス１つに対して、１つの露光制御パルスを出力する。ＢＧ期間の発光制御信号は常にＬ（発光無し）である。
　次に、マルチパスの検出について詳細に説明する。
　図９Ａおよび図９Ｂは、光源部１と対象物体の間に反射物体が存在し、直接反射光だけでなく、間接反射光も撮像部２に照射され、マルチパス問題が発生する場合を示しており、フレームＡとフレームＢそれぞれについて、対象物体からの直接反射光パルスＤＰおよびｂＤＰ、反射光パルスＭＰとｂＭＰとＡ０ｅ、Ａ１ｅ、ｂＡ０ｅ、ｂＡ１ｅ露光制御信号の時間関係、および実距離と測定距離Ｄの関係を模式的に示した図である。図中の距離ＤＤＰは、直接反射光のみで測定できた場合の対象物の実際の距離例を示す。距離Ｄ１ＭＰは、直接反射光と間接反射光とが混在する場合に本実施形態のフレームＡで測定される距離例を示す。距離ＤＭＰは、直接反射光と間接反射光とが混在する場合に従来技術で測定される距離例を示す。距離Ｄ２ＭＰは、直接反射光と間接反射光とが混在する場合に本実施形態のフレームＢで測定される距離例を示す。
　光源部１からの照射光パルスは、直接対象物体で反射される直接反射光ＤＰおよびｂＤＰと、周囲の反射物体を経由して対象物体で反射される間接反射光ＭＰおよびｂＭＰに分かれて撮像部２に入射される。この時、間接反射光ＭＰおよびｂＭＰは、直接反射光ＤＰおよびｂＤＰに対して、往復の光路長が長い分だけ飛行時間が長くなると共に、複数回の散乱反射により光強度は低下する。
　図９Ａにおいて、フレームＡにおける反射光パルスＤＰ、ＭＰに対して、撮像部２は実施形態１と同様に、露光制御信号Ａ０ｅの第一パルスＡ０ｅ０がＬの時に直接反射光ＤＰによる露光信号Ａ０ＤＰを計測し、露光制御信号Ａ０ｅの第二パルスＡ０ｅ１がＬの時に間接反射光ＭＰによる露光信号Ａ０ＭＰを計測する。また、露光制御信号Ａ１ｅの第一パルスＡ１ｅ０がＬの時に直接反射光ＤＰによる露光信号Ａ１ＤＰと間接反射光ＭＰによる露光信号Ａ１ＭＰを合わせて計測する。
　なお、ここではＡ０ＤＰ、Ａ０ＭＰ、Ａ１ＤＰ、Ａ１ＭＰは、いずれもＢＧを減算した後の正味の露光信号とする。これらの露光信号に基づき、（Ａ１ＤＰ＋Ａ１ＭＰ）／［（Ａ０ＤＰ＋Ａ０ＭＰ）＋（Ａ１ＤＰ＋Ａ１ＭＰ）］によって、マルチパスが存在する場合の画素毎の測定距離Ｄ１ＭＰが出力される。
　図９Ｂにおいて、フレームＢにおける反射光パルスｂＤＰ、ｂＭＰに対して、撮像部２は露光制御信号ｂＡ０ｅがＬの時に直接反射光ｂＤＰによる露光信号ｂＡ０ＤＰと間接反射光ｂＭＰによる露光信号ｂＡ０ＭＰを計測する。また、露光制御信号ｂＡ１ｅがＬの時に直接反射光ＤＰによる露光信号ｂＡ１ＤＰと間接反射光ｂＭＰによる露光信号ｂＡ１ＭＰを合わせて計測する。
　なお、ここではｂＡ０ＤＰ、ｂＡ０ＭＰ、ｂＡ１ＤＰ、ｂＡ１ＭＰは、いずれもＢＧを減算した後の正味の露光信号とする。これらの露光信号に基づき、（ｂＡ１ＤＰ＋ｂＡ１ＭＰ）／［（ｂＡ０ＤＰ＋ｂＡ０ＭＰ）＋（ｂＡ１ＤＰ＋ｂＡ１ＭＰ）］によって、マルチパスが存在する場合の画素毎の測定距離Ｄ２ＭＰが出力される。フレームＡとフレームＢそれぞれの実距離と測定距離Ｄの関係より、実距離の下限値が０ｍ程度から実測値の上限値が１．５ｍ程度の範囲では、両フレームとも測定距離Ｄが実距離に対して単調増加するのに対し、実距離の下限値が１．５ｍ程度から３ｍ程度の範囲では、フレームＢの測定距離Ｄが実距離に対して単調増加するのに対し、フレームＡの測定距離Ｄは単調減少する。
　ここで、実距離の下限値が０ｍ程度から実測値の上限値が１．５ｍ程度の範囲に、対象物体があって、１．５ｍ程度以上（つまり、実測値の上限値程度以上）の経路で、マルチパスによる間接反射光ＭＰおよびｂＭＰがそれぞれのフレームにおいて撮像部２に入射してきた場合、フレームＢの測定距離Ｄ２ＭＰはより大きく出力され、フレームＡの測定距離Ｄ１ＭＰは、フレームＢの測定距離Ｄ２ＭＰより小さく出力される。
　フレームＢの測定距離Ｄ２ＭＰからフレームＡの測定距離Ｄ１ＭＰを減算する事で、マルチパス成分を検出することが出来る。すなわち、（Ｄ２ＭＰ－Ｄ１ＭＰ）が大きければ大きいほど、大きなマルチパスが発生していると検出することが可能となる。
　以上のように、実施形態２に係る測距撮像装置１０によれば、実距離の下限値が０ｍ程度から実測値の上限値が１．５ｍ程度の範囲に対象物体があって、１．５ｍ程度以上（つまり、実測値の上限値程度以上）の経路で、マルチパスによる間接反射光ＭＰおよびｂＭＰがフレームＡおよびフレームＢでそれぞれ入ってきた場合、画素毎で混入したマルチパス成分の大きさの検出が可能となる。また、実施形態２の測距方法では、フレームＡにおいて、実施形態１と同様に間接反射光ＭＰによる露光信号Ａ１ＭＰが直接反射光ＤＰによる露光信号Ａ１ＤＰに加算されると同時に、間接反射光ＭＰによる露光信号Ａ０ＭＰが直接反射光ＤＰによる露光信号Ａ０ＤＰに加算される。この露光信号Ａ０ＭＰがＡ０ＤＰに加算されることにより、測定距離Ｄ１ＭＰは分母が大きくなり、従来例の測定距離ＤＭＰよりも近くに観測されるようになり、マルチパスで対象物体が遠方に観測されてしまうという従来例の測距方式の誤差を低減することが出来る。
　更に、図９Ａに示されるフレームＡの測距駆動で生成される測定距離と、図９Ｂや図９Ｃの測距駆動で生成される測定距離とを合成する事で、１．５ｍ程度以上の距離の場合でも、マルチパスによる距離誤差を抑制しながら距離測定が可能となる。すなわち、図９Ａに示されるフレームＡにおいて、実距離０～１．５ｍ程度（短距離レンジ）ではＤ１ＭＰは０→１に単純増加し、実距離１．５ｍ程度～３．０ｍ程度（中距離レンジ）ではＤ１ＭＰは１→０に単純減少し、更に実距離３．０ｍ程度～４．５ｍ程度（遠距離レンジ）ではＤ１ＭＰは再び０→１に単純減少する。フレームＡから得られる測定距離Ｄ１ＭＰだけでは、対象物体の実距離が短、中、長距離のどこのレンジにあるのか判断できない（実施形態１での課題と同じ）。しかし、フレームＢにおいて、図９Ｂや図９Ｃに示される測距駆動で得られる対象物体までの測定距離Ｄを組み合わせることで、対象物体がフレームＡの短、中、長距離のどのレンジに存在するかを区別できるようになり、実施形態１と同様にマルチパスによる距離ズレを抑制しながら、測距レンジを大幅に拡大することが可能となる。
　なお、実施形態２では、フレームＡとフレームＢの、２種類のフレーム識別信号を出力しているが、３種類以上のフレーム識別信号を出力してもよい。
　また、実施形態２では、閾値Ｔ＝０．３程度、特定の係数（Ｌａ＝１５００程度）、特定の係数（Ｌｂ＝４５００程度）と置いているが、これらの数値は任意で設定して良い。
　なお、フレーム合成部６は、フレームＡの測定距離に特定の係数Ｌａを乗算した結果とフレームＢの測定距離に特定の係数Ｌｂを乗算した結果を平均した結果を、距離画像として出力しても良い。
　さらに、フレームＡの測定距離に特定の係数Ｌａを乗算した結果と、フレームＢの測定距離に特定の係数Ｌｂを乗算した結果の平均の比率を、測定距離に応じて変更し、距離画像として出力しても良い。
　なお、図１０に示すように、フレームＡ以外のフレームで、フレームＡの発光制御信号と露光制御信号の位相差のみ変更したものを使ってもよい。この場合、位相差を変更することで、測距可能な最短距離と最長距離をスライドさせることが可能となる。
　なお、図１１に示すように、フレームＡの発光制御パルス１つに対して、２つの露光制御パルス（Ａ０ｅ０とＡ０ｅ１、Ａ１ｅ０とＡ１ｅ１、ＢＧｅ０とＢＧｅ１）と１つの露光制御パルス（Ａ０ｅ１、Ａ１ｅ１、ＢＧｅ１）が混在していても良い。この場合、マルチパスの情報がより多く含まれている露光制御パルスＡ０ｅ１、Ａ１ｅ１、ＢＧｅ１による露光回数が多くなるため、より高精度にマルチパスの情報を取得することが可能となる。
　また、図１２に示すように、フレームＡの発光制御パルス１つに対して、１つの露光制御パルスが２種類あっても良い（Ａ０ｅ０とＡ０ｅ１、Ａ１ｅ０とＡ１ｅ１、ＢＧｅ０とＢＧｅ１）。この場合、１つの発光制御パルスに対して、１つの露光制御パルスを印加すれば良く、露光制御パルスを生成する駆動制御部３の負荷が低減され、より急峻な露光制御パルスを供給でき、測距精度を向上させることが可能となる。
　なお、図１３Ａに示すように、フレーム識別信号は、フレーム単位ではなく、奇数画素と偶数画素など画素単位や図１３Ｂに示すように、奇数ラインと偶数ラインなどライン単位で切替えても良い。
　なお、図１４に示すように、露光制御信号Ａ０ｅ、Ａ１ｅ、Ａ２ｅによって、それぞれ露光信号Ａ０、Ａ１、Ａ２を生成し、Ａ０にＡ２を加算して、測定距離Ｄを計算しても良い。
　また、図１５に示すように、露光制御信号Ａ０ｅ、Ａ１ｅ、Ａ２ｅ、Ａ３ｅによって、それぞれ露光信号Ａ０、Ａ１、Ａ２、Ａ３を生成し、Ａ０にＡ２を加算し、Ａ１にＡ３を加算して、測定距離Ｄを計算しても良い。
　なお、図９Ｂは、図９Ｃのように、フレームＢの発光制御信号と露光制御信号のパルス幅を狭め、露光制御パルスを遅延させて、フレームＡの短距離レンジ、中距離レンジ、長距離レンジの領域判定を行っても良い。
　なお、図６Ａまたは図６Ｂにおけるｋはｎと同じ値でもよいし、異なる値でもよい。また、図６ＢにおけるフレームＡにおけるｍと、フレームＢにおけるｍは同じ値でよいが、異なる値でもよい。
　以上、図面を用いて説明したように、実施の形態に係る測距撮像装置１０は、パルス光を照射して対象物体からの反射光を受光することによって、対象物までの距離を測定する測距撮像装置であって、発光を指示する発光制御パルスを含む発光制御信号と、露光を指示する露光制御パルスを含む露光制御信号とを出力する駆動制御部と、前記発光制御パルスのタイミングで前記パルス光の照射を行う光源部と、照射された前記パルス光の対象物体からの反射光を、前記露光制御パルスのタイミングで露光し、露光で生じた信号電荷量を示す露光信号を出力する撮像部と、前記露光信号を入力として距離演算を行い、距離画像を出力する演算部と、を備え、前記駆動制御部は、前記発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルスおよび第３露光制御パルスを含む露光制御信号を生成し、前記第３露光制御パルスと前記発光制御パルスとの時間差は、前記第２露光制御パルスと前記発光制御パルスとの時間差よりも大きく、前記第２露光制御パルスと前記発光制御パルスとの時間差は、前記第１露光制御パルスと前記発光制御パルスの時間差よりも大きく、前記撮像部は、前記第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、前記第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、前記第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する。
　これにより、予め定められた測距レンジの範囲内において、第１露光信号と第２露光信号が主に直接反射光に対応する信号電荷を含み、第３露光信号は主に間接反射光に対応する信号電荷を含むことが可能である。よって、測距撮像装置は、第１露光信号および第２露光信号だけでなく、第３露光信号も用いて距離を算出すれば、マルチパス環境における測距精度の劣化を低減することできる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号および第３露光信号それぞれの信号電荷量の合計に対する、前記第２露光信号の信号電荷量の比率に基づいて前記距離情報を出力してもよい。
　これにより、上記の合計に対する上記に比率に基づいて、測距精度の劣化を低減した距離情報を容易に算出することができる。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して２回露光することにより、第１露光信号および第３露光信号を得ることができる。その際、第３露光信号では間接反射光の信号電荷を取得可能である。
　例えば、前記駆動制御部は、前記第１露光制御パルスを１つの前記発光制御パルスに対応させて生成し、前記第２露光制御パルスを１つの前記発光制御パルスに対応させて生成し、前記第３露光制御パルスを１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して１回露光することにより、第１露光信号を得ることができる。同様に、１回の発光に対して１回露光することにより、第２露光信号を得ることができる。また、１回の発光に対して１回露光することにより、第３露光信号を得ることができる。このように、１回の発光に対して１回露光する単純な制御により、第１露光信号、第２露光信号および第３露光信号を取得することができる。第３露光信号は主に間接反射光に対応する信号電荷を含むので、マルチパス環境における測距精度の劣化を低減することを可能にする。
　例えば、前記露光制御信号は、第４露光制御パルスを含み、前記第４露光制御パルスと前記発光制御パルスとの時間差は、前記第３露光制御パルスと前記発光制御パルスとの時間差よりも大きく、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成し、前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成してもよい。
　これにより、１回の発光に対して２回露光することにより、第１露光信号および第３露光信号を得ることができる。同様に、１回の発光に対して２回露光することにより、第２露光信号および第４露光信号を得ることができる。第１露光信号および第３露光信号を得る動作と、第２露光信号および第４露光信号を得る動作とで、１発光２露光という同様の制御シーケンスを用いる。そのため、上記の２つの動作において、例えば、電源電圧の変動等に著しい差異を生じさせないので、測距精度の劣化をより一層低減することができる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号それぞれの信号電荷量を加算した第１合計に対する、前記第２露光信号および第４露光信号それぞれの信号電荷量を加算した第２合計の比率に基づいて前記距離情報を出力してもよい。
　これにより、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号を用いて、測距精度の劣化を低減した距離情報を得ることができる。
　例えば、前記演算部は、前記第１露光信号、前記第２露光信号、第３露光信号および第４露光信号それぞれの信号電荷量を加算した合計に対する、前記第２露光信号の信号電荷量の比率に基づいて前記距離情報を出力してもよい。
　これにより、前記第２露光信号および第４露光信号それぞれの信号電荷量を加算した第２合計の代わりに、第２露光信号の信号電荷量を用いることができる。これによっても、測距精度の劣化を低減した距離情報を得ることができる。
　例えば、前記駆動制御部は、第１動作モードと第２動作モードとを含む複数の動作モードの何れかを指定する識別信号を入力し、　前記識別信号が前記第１動作モードを指定するとき、前記第１露光制御パルスから第３露光制御パルスを含む前記露光制御信号を用いる第１動作による距離測定を制御し、前記識別信号が前記第２動作モードを指定するとき、前記第１動作とは異なる第２動作による距離測定を制御してもよい。
　これにより、第１動作モードおよび第２動作モードのそれぞれで距離測定するので、より測定誤差の小さい距離情報を選択することができる。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成し、更に、前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示す前記マルチパス検出信号を出力してもよい。
　これにより、マルチパスの有無の検出と、マルチパスによる誤差の大きさの検出とが可能である。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成してもよい。
　これにより、マルチパスの有無の検出が可能である。
　例えば、前記距離画像生成部は、前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示す前記マルチパス検出信号を出力してもよい。
　これにより、マルチパスによる誤差の大きさの検出が可能である。
　例えば、前記駆動制御部は、前記第２動作モードにおいて、前記露光制御パルスとして第１パルスおよび第２パルスを含む前記露光制御信号を生成し、前記第２パルスと前記発光制御パルスとの時間差は、前記第１パルスと前記発光制御パルスとの時間差よりも大きくてもよい。
　これにより、第２動作モードは例えば従来と同様の測距動作でもよい。
　例えば、前記撮像部は、前記第１パルスによる露光で生じた信号電荷量を示す先行露光信号と、前記第２パルスによる露光で生じた信号電荷量を示す後行露光信号とを出力してもよい。
　これにより、第２動作モードでは、先行露光信号と後行露光信号とから距離を算出可能である。
　例えば、前記演算部は、前記先行露光信号および前記後行露光信号それぞれの信号電荷量の合計に対する、前記後行露光信号の信号電荷量の比率に基づいて前記距離情報を出力してもよい。
　これにより、第２動作モードでは、上記の比率に基づいて距離情報を算出する。第２動作モードと第１動作モードとを組み合わせることにより、測距精度の劣化を低減した距離情報を導出することができる。
　例えば、前記距離画像生成部は、前記第１動作で得られた第１距離情報が示す距離値と、前記第２動作で得られた第２距離情報が示す距離値との加算に基づいて前記距離画像を生成してもよい。
　これにより、第１距離情報と第２距離情報との加算値から平均を算出してもよい。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する露光処理を複数回繰り返し実行し、前記複数回のうち所定回数の露光処理において前記第１露光制御パルスまたは前記第３露光制御パルスを間引くようにしてもよい。
　これにより、１回の発光に対して２回露光する動作の複数回の繰り返しのうち、所定回数の動作で、例えば第１露光制御パルスを間引く場合には、間接反射光をより多く露光できるため、マルチパスの検出の精度を向上させることができる。
　例えば、前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第１露光処理を複数回繰り返し実行し、前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第２露光処理を複数回繰り返し実行し、前記複数回のうち所定回数の対応する第１露光処理および第２露光処理において、前記第１露光制御パルスおよび第２露光制御パルス、または、前記第３露光制御パルスおよび第４露光制御パルスを間引くようにしてもよい。
　これにより、１回の発光に対して２回露光する動作の複数回の繰り返しのうち、所定回数の動作で、例えば第１露光制御パルスまたは第２露光制御パルスを間引く場合には、露光制御パルスを生成する駆動制御部３の負荷が低減され、より急峻な露光制御パルスを供給でき、測距精度を向上させることが可能となる。
　例えば、前記駆動制御部は、発光パルス周期に対応するデューティ比が３３％以下となるように前記発光制御信号を生成してもよい。
　これにより、パルス光を、背景光に対して高強度とすることができ、測距性能である耐光性を向上させることができる。
　例えば、前記演算部は、ＴＯＦ原理を用いて前記距離情報を演算し出力してもよい。
　これにより、ＴＯＦ原理による距離情報を出力する。
　本開示に係る測距撮像装置は、例えばカメラに利用可能である。
１　光源部
２　撮像部
３　駆動制御部
４　フレーム制御部
５　演算部（ＴＯＦ演算部）
６　フレーム合成部（距離画像生成部）
１０　測距撮像装置

Claims (19)

  1. 　パルス光を照射して対象物体からの反射光を受光することによって、対象物までの距離を測定する測距撮像装置であって、
    　発光を指示する発光制御パルスを含む発光制御信号と、露光を指示する露光制御パルスを含む露光制御信号とを出力する駆動制御部と、
    　前記発光制御パルスのタイミングで前記パルス光の照射を行う光源部と、
    　照射された前記パルス光の対象物体からの反射光を、前記露光制御パルスのタイミングで露光し、露光で生じた信号電荷量を示す露光信号を出力する撮像部と、
    　前記露光信号を入力として距離演算を行い、距離画像を出力する演算部と、を備え、
    　前記駆動制御部は、前記発光制御パルスのタイミングを基準とする第１露光制御パルス、第２露光制御パルスおよび第３露光制御パルスを含む露光制御信号を生成し、
    　前記第３露光制御パルスと前記発光制御パルスとの時間差は、前記第２露光制御パルスと前記発光制御パルスとの時間差よりも大きく、
    　前記第２露光制御パルスと前記発光制御パルスとの時間差は、前記第１露光制御パルスと前記発光制御パルスの時間差よりも大きく、
    　前記撮像部は、前記第１露光制御パルスによる露光で生じた信号電荷量を示す第１露光信号と、前記第２露光制御パルスによる露光で生じた信号電荷量を示す第２露光信号と、前記第３露光制御パルスによる露光で生じた信号電荷量を示す第３露光信号とを出力する
    測距撮像装置。
  2. 　前記演算部は、前記第１露光信号、前記第２露光信号および前記第３露光信号それぞれの信号電荷量の合計に対する、前記第２露光信号の信号電荷量の比率に基づいて距離情報を出力する
    請求項１に記載の測距撮像装置。
  3. 　前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する
    請求項２に記載の測距撮像装置。
  4. 　前記駆動制御部は、
    　前記第１露光制御パルスを１つの前記発光制御パルスに対応させて生成し、
    　前記第２露光制御パルスを１つの前記発光制御パルスに対応させて生成し、
    　前記第３露光制御パルスを１つの前記発光制御パルスに対応させて生成する
    請求項２に記載の測距撮像装置。
  5. 　前記露光制御信号は、第４露光制御パルスを含み、
    　前記第４露光制御パルスと前記発光制御パルスとの時間差は、前記第３露光制御パルスと前記発光制御パルスとの時間差よりも大きく、
    　前記駆動制御部は、
    　前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成し、
    　前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する
    請求項１に記載の測距撮像装置。
  6. 　前記演算部は、前記第１露光信号、前記第２露光信号、前記第３露光信号および第４露光信号それぞれの信号電荷量を加算した第１合計に対する、前記第２露光信号および前記第４露光信号それぞれの信号電荷量を加算した第２合計の比率に基づいて前記距離情報を出力する
    請求項５に記載の測距撮像装置。
  7. 　前記演算部は、前記第１露光信号、前記第２露光信号、前記第３露光信号および第４露光信号それぞれの信号電荷量を加算した合計に対する、前記第２露光信号の信号電荷量の比率に基づいて前記距離情報を出力する
    請求項５に記載の測距撮像装置。
  8. 　前記駆動制御部は、第１動作モードと第２動作モードとを含む複数の動作モードの何れかを指定する識別信号を入力し、前記識別信号が前記第１動作モードを指定するとき、前記第１露光制御パルスから前記第３露光制御パルスを含む前記露光制御信号を用いる第１動作による距離測定を制御し、
    　前記識別信号が前記第２動作モードを指定するとき、前記第１動作とは異なる第２動作による距離測定を制御する
    請求項１～７のいずれか一項に記載の測距撮像装置。
  9. 　前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成し、
    更に、
    　前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示す前記マルチパス検出信号を出力する
    請求項８に記載の測距撮像装置。
  10. 　前記距離画像生成部は、前記第１動作で得られた第１距離情報と前記第２動作で得られた第２距離情報とに基づいて、マルチパスの有無を示すマルチパス検出信号を生成する
    請求項８に記載の測距撮像装置。
  11. 　前記距離画像生成部は、前記第１距離情報と前記第２距離情報との差分に基づいて、前記第１距離情報または前記第２距離情報に含まれる誤差の大きさを示すマルチパス検出信号を出力する
    請求項８に記載の測距撮像装置。
  12. 　前記駆動制御部は、前記第２動作モードにおいて、前記露光制御パルスとして第１パルスおよび第２パルスを含む前記露光制御信号を生成し、
    　前記第２パルスと前記発光制御パルスとの時間差は、前記第１パルスと前記発光制御パルスとの時間差よりも大きい
    請求項８～１１のいずれか一項に記載の測距撮像装置。
  13. 　前記撮像部は、前記第１パルスによる露光で生じた信号電荷量を示す先行露光信号と、前記第２パルスによる露光で生じた信号電荷量を示す後行露光信号とを出力する
    請求項１２に記載の測距撮像装置。
  14. 　前記演算部は、前記先行露光信号および前記後行露光信号それぞれの信号電荷量の合計に対する、前記後行露光信号の信号電荷量の比率に基づいて前記距離情報を出力する
    請求項１３に記載の測距撮像装置。
  15. 　前記距離画像生成部は、前記第１動作で得られた第１距離情報が示す距離値と、前記第２動作で得られた第２距離情報が示す距離値との加算に基づいて前記距離画像を生成する
    請求項８に記載の測距撮像装置。
  16. 　前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する露光処理を複数回繰り返し実行し、
    　前記複数回のうち所定回数の露光処理において前記第１露光制御パルスまたは前記第３露光制御パルスを間引く
    請求項３または５に記載の測距撮像装置。
  17. 　前記駆動制御部は、前記第１露光制御パルスおよび前記第３露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第１露光処理を複数回繰り返し実行し、
    　前記第２露光制御パルスおよび前記第４露光制御パルスを共通の１つの前記発光制御パルスに対応させて生成する第２露光処理を複数回繰り返し実行し、
    　前記複数回のうち所定回数の対応する第１露光処理および第２露光処理において、前記第１露光制御パルスおよび第２露光制御パルス、または、前記第３露光制御パルスおよび前記第４露光制御パルスを間引く
    請求項３または５に記載の測距撮像装置。
  18. 　前記駆動制御部は、発光パルス周期に対応するデューティ比が３３％以下となるように前記発光制御信号を生成する
    請求項１～１７のいずれか一項に記載の測距撮像装置。
  19. 　前記演算部は、ＴＯＦ原理を用いて前記距離情報を演算し出力する
    請求項１～１８のいずれか一項に記載の測距撮像装置。
PCT/JP2020/044071 2019-11-27 2020-11-26 測距撮像装置 WO2021107036A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080081588.1A CN115176174A (zh) 2019-11-27 2020-11-26 测距摄像装置
JP2021561508A JPWO2021107036A1 (ja) 2019-11-27 2020-11-26
US17/748,695 US20220276358A1 (en) 2019-11-27 2022-05-19 Distance-measuring imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962941436P 2019-11-27 2019-11-27
US62/941,436 2019-11-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/748,695 Continuation US20220276358A1 (en) 2019-11-27 2022-05-19 Distance-measuring imaging device

Publications (1)

Publication Number Publication Date
WO2021107036A1 true WO2021107036A1 (ja) 2021-06-03

Family

ID=76129593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044071 WO2021107036A1 (ja) 2019-11-27 2020-11-26 測距撮像装置

Country Status (4)

Country Link
US (1) US20220276358A1 (ja)
JP (1) JPWO2021107036A1 (ja)
CN (1) CN115176174A (ja)
WO (1) WO2021107036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009739A1 (ja) * 2022-07-08 2024-01-11 ソニーグループ株式会社 光学式測距センサ、及び光学式測距システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックＩｐマネジメント株式会社 固体撮像装置の駆動方法
WO2017183114A1 (ja) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ 距離画像生成装置および距離画像生成方法
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
JP2019504326A (ja) * 2016-02-08 2019-02-14 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JP2020056698A (ja) * 2018-10-03 2020-04-09 株式会社日立エルジーデータストレージ 測距撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックＩｐマネジメント株式会社 固体撮像装置の駆動方法
JP2019504326A (ja) * 2016-02-08 2019-02-14 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
WO2017183114A1 (ja) * 2016-04-19 2017-10-26 株式会社日立エルジーデータストレージ 距離画像生成装置および距離画像生成方法
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
JP2020056698A (ja) * 2018-10-03 2020-04-09 株式会社日立エルジーデータストレージ 測距撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009739A1 (ja) * 2022-07-08 2024-01-11 ソニーグループ株式会社 光学式測距センサ、及び光学式測距システム

Also Published As

Publication number Publication date
CN115176174A (zh) 2022-10-11
JPWO2021107036A1 (ja) 2021-06-03
US20220276358A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
WO2017022152A1 (ja) 測距撮像装置、及び、固体撮像装置
US10686994B2 (en) Imaging device, and solid-state imaging element used for same
WO2017130996A1 (ja) 距離測定装置
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JPWO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
WO2019188348A1 (ja) 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
US10132926B2 (en) Range finder, mobile object and range-finding method
JP2020112443A (ja) 距離測定装置及び距離測定方法
JP2020056698A (ja) 測距撮像装置
CN110346781B (zh) 基于多激光束的雷达发射接收装置及激光雷达系统
WO2021107036A1 (ja) 測距撮像装置
CN110850426A (zh) 一种tof深度相机
JP2020153799A (ja) 測距装置および測距方法
TW202001190A (zh) 使用飛行時間及偽隨機位元序列來測量至物體之距離
GB2275841A (en) Optoelectric distance measuring equipment
JP2006329902A (ja) 測距装置及び測距方法
US20200150271A1 (en) Distance-measurement controller and distance measuring system
JP5216673B2 (ja) 距離計用受光装置および距離計
JPWO2021107036A5 (ja)
JP2020008483A (ja) 撮像装置および撮像装置の制御方法
JP2020197422A (ja) マルチパス検出装置およびマルチパス検出方法
EP3835720B1 (en) Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
JP7411656B2 (ja) 測距撮像装置
JP7257275B2 (ja) ３次元距離測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893387

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561508

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893387

Country of ref document: EP

Kind code of ref document: A1