WO2022158603A1 - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
WO2022158603A1
WO2022158603A1 PCT/JP2022/002581 JP2022002581W WO2022158603A1 WO 2022158603 A1 WO2022158603 A1 WO 2022158603A1 JP 2022002581 W JP2022002581 W JP 2022002581W WO 2022158603 A1 WO2022158603 A1 WO 2022158603A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
distance
distance image
pixel
image processing
Prior art date
Application number
PCT/JP2022/002581
Other languages
English (en)
French (fr)
Inventor
友洋 中込
優 大久保
聡 高橋
浩成 後藤
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Priority to EP22742722.6A priority Critical patent/EP4283254A1/en
Priority to CN202280009941.4A priority patent/CN116710803A/zh
Publication of WO2022158603A1 publication Critical patent/WO2022158603A1/ja
Priority to US18/357,546 priority patent/US20230367018A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals

Definitions

  • the present invention relates to a range image capturing device and a range image capturing method.
  • TOF Time of Flight
  • the distance to an object is calculated using the fact that the speed of light is known.
  • a depth image capturing apparatus for obtaining depth information for each pixel in a two-dimensional image including an object, that is, three-dimensional information for the object has been put into practical use.
  • pixels including photodiodes (PD) are arranged in a two-dimensional matrix on a silicon substrate, and light pulses reflected by an object on the pixel surface are received.
  • a depth image pickup device outputs a photoelectric conversion signal for one image based on the amount of light (amount of charge) received by each pixel, thereby obtaining a two-dimensional image including an object and each pixel constituting the image.
  • Get distance information for each For example, Patent Literature 1 discloses a technique of calculating a distance by sequentially distributing and accumulating electric charges corresponding to received light in three charge accumulating portions provided in one pixel.
  • an arithmetic expression for calculating the distance is defined on the assumption that the pixels receive a direct wave (single path) that directly reciprocates between the light source of the light pulse and the object.
  • a direct wave single path
  • the light pulse is multiple-reflected at a corner portion of the object, a portion where the surface of the object has an uneven structure, or the like, and multipaths in which direct waves and indirect waves are mixed are received.
  • multipath light is received, if the distance is calculated assuming that the light is received as a single path, there is a problem that an error occurs in the measured distance.
  • the present invention has been made based on the above problems, and provides a range image capturing apparatus and a range image capturing method that can determine whether a pixel has received single-path light or multi-path light. for the purpose. Further, calculating the distance to one reflector if it is determined that the pixel received single-pass light, and calculating the distance to each of a plurality of reflectors if it is determined that the pixel received multi-path light. intended to
  • the distance image pickup device of the present invention comprises a light source unit that irradiates a light pulse into a measurement space, which is a space to be measured, a photoelectric conversion element that generates charges according to the incident light, and three or more that store the charges.
  • a light-receiving portion having a pixel having a charge storage portion; and a pixel drive circuit that distributes and accumulates the charge in each of the charge storage portions of the pixel at a timing synchronized with the irradiation of the light pulse; and the light pulse. and the accumulation timing of distributing and accumulating the charge in each of the charge accumulation units, and based on the amount of charge accumulated in each of the charge accumulation units, up to the object existing in the measurement space.
  • the distance image processing unit performs a plurality of measurements with different relative timing relationships between the irradiation timing and the accumulation timing, and extracts a feature amount based on the amount of charge accumulated in each of the plurality of measurements. and determining whether the reflected light of the light pulse is received by the pixel through a single pass or whether the reflected light of the light pulse is received by the pixel through multiple passes, based on the tendency of the extracted feature quantity. and calculating the distance to the subject existing in the measurement space according to the result of the determination.
  • the distance image processing unit performs lookup in which the relative timing relationship and the feature amount are associated with each other when the reflected light is received by the pixels in a single pass. using a table, based on the degree of similarity between the tendency of the lookup table and the tendency of the feature amount of each of the plurality of measurements, whether the reflected light was received by the pixel in a single pass, or whether the light It may be determined whether the reflected light of the pulse is received by the pixel in multiple paths.
  • the lookup table defines at least one measurement condition among the shape of the light pulse, the irradiation time of the light pulse, and the accumulation time for accumulating charges in each of the charge accumulation units.
  • the distance image processing unit uses the lookup table corresponding to the measurement conditions to determine whether the reflected light was received by the pixel in a single pass or whether the reflected light was received in multiple passes. It may be determined whether light is received by the pixel.
  • the feature amount is stored in the charge storage unit that stores at least the charge corresponding to the reflected light among the charges stored in each of the three or more charge storage units. It may be a value calculated using the charge amount obtained.
  • the pixels are provided with a first charge storage section, a second charge storage section, and a third charge storage section
  • the range image processing section comprises the first charge storage section
  • the feature amount has a real part as a first variable that is a difference between a first charge amount accumulated in the first charge accumulation unit and a second charge amount accumulated in the second charge accumulation unit, and Even if there is a value represented by a complex number whose imaginary part is the second variable that is the difference between the second charge amount accumulated in the second charge accumulation unit and the third charge amount accumulated in the third charge accumulation unit good.
  • the plurality of measurements may be controlled such that delay times for delaying the irradiation timing relative to the accumulation timing are different from each other.
  • the distance image processing unit performs lookup in which the relative timing relationship and the feature amount are associated with each other when the reflected light is received by the pixels in a single pass.
  • an index value indicating a degree of similarity between the tendency of the lookup table and the tendency of each of the feature amounts of the plurality of measurements is calculated, and if the index value does not exceed a threshold, the reflected light is received by the pixel in a single pass, and if the index value exceeds the threshold value, it is determined that the reflected light is received by the pixel in multiple passes, and the index value is determined by the plurality of measurements
  • the difference between the first feature amount that is the feature amount calculated from each of the and the second feature amount that is the feature amount that corresponds to each of the plurality of measurements in the lookup table is calculated as the second feature amount may be an addition value obtained by adding the normalized difference values of each of the plurality of measurements to the normalized difference values normalized by the absolute value of .
  • the distance image processing unit determines that the reflected light is received by the pixel through multipaths
  • the distance corresponding to each light path included in the multipaths is minimized. It may be calculated by using the square method.
  • the distance image pickup device of the present invention may further include a charge discharging section for discharging charges generated by the photoelectric conversion elements.
  • the distance image processing unit repeats a unit accumulation process a plurality of times in which charges are distributed to and accumulated in the respective charge accumulation units of the pixels at timing synchronized with the irradiation of the light pulse, Charges are accumulated in each of the charge accumulation units, and in a time interval different from a time interval in which charges are accumulated in each of the charge accumulation units in the unit accumulation process, charges generated by the photoelectric conversion element are discharged from the charge discharge. You may control so that it may be discharged by the department.
  • the distance image processing unit calculates the provisional distance to the subject based on the first measurement among the plurality of measurements, and calculates the provisional distance to the subject based on the provisional distance.
  • a delay time used for the remaining measurements may be determined, and the delay time may be a time for delaying the irradiation timing relative to the accumulation timing.
  • the distance image processing unit may determine the delay time based on the time required for the light pulse to travel the provisional distance and the tendency of the feature amount.
  • the distance image processing unit compares a case where the provisional distance is a short distance not exceeding the threshold with the plurality of The number of times of accumulation may be determined so that the number of times of accumulation for distributing and accumulating the electric charge in each of the charge accumulating units in the remaining measurements among the measurements of (1) increases.
  • the distance image processing unit when the distance image processing unit determines that the reflected light is received by the pixels in a single pass, calculates the provisional distance to the subject based on the measurements at the plurality of measurement timings. may be calculated, and a representative value of each of the calculated provisional distances may be determined as the distance to the subject. Further, in the distance image capturing device, when the distance image processing unit determines that the reflected light is received by the pixels in a single pass, the distance image processing unit calculates a provisional distance to the subject based on measurements at the plurality of measurement timings. Determine each based on the least squares method. When determining that the reflected light is received by the pixel through multipath, the distance image processing unit determines the distance of each of the objects based on the least squares method based on the measurements at the plurality of measurement timings. may
  • the depth image capturing method of the present invention comprises a light source unit that irradiates a light pulse into a measurement space, which is a space to be measured, a photoelectric conversion element that generates charges according to the incident light, and three or more that store charges.
  • a light-receiving portion having a pixel having a charge storage portion; and a pixel drive circuit that distributes and accumulates the charge in each of the charge storage portions of the pixel at a timing synchronized with the irradiation of the light pulse; and the light pulse. and the accumulation timing of distributing and accumulating the charge in each of the charge accumulation units, and based on the amount of charge accumulated in each of the charge accumulation units, up to the object existing in the measurement space.
  • a distance image capturing method performed by a distance image capturing device comprising: performing a plurality of different measurements, extracting a feature quantity based on the amount of charge accumulated in each of the plurality of measurements, and measuring the reflected light of the light pulse in a single pass based on the tendency of the extracted feature quantity It is determined whether the light is received by the pixel or whether the reflected light of the light pulse is received by the pixel by multipath, and the distance to the subject existing in the measurement space is calculated according to the determination result.
  • the present invention it is possible to determine whether a pixel receives single-pass light or multi-pass light. Further, when it is determined that the pixel has received single-path light, the distance to one reflector is calculated, and when it is determined that the pixel has received multi-path light, the distance to each of a plurality of reflectors is calculated. can be done.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image capturing device according to one embodiment
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image sensor of one embodiment
  • FIG. 2 is a circuit diagram showing an example of the configuration of a pixel according to one embodiment
  • FIG. 4 is a timing chart showing timings for driving pixels of one embodiment. It is a figure explaining the multipath of one embodiment.
  • FIG. 4 illustrates an example of a complex function CP( ⁇ ) of one embodiment
  • FIG. 4 illustrates an example of a complex function CP( ⁇ ) of one embodiment
  • 4 is a timing chart showing timings for driving pixels of one embodiment. It is a figure explaining the process which the distance image processing part of one embodiment performs.
  • a distance image pickup device according to one embodiment will be described below with reference to the drawings.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image pickup device according to one embodiment of the present invention.
  • a distance image pickup device 1 configured as shown in FIG. FIG. 1 also shows an object OB, which is an object whose distance is to be measured in the distance image pickup device 1 .
  • the light source unit 2 irradiates the space of the object of measurement in which the object OB whose distance is to be measured in the distance image capturing device 1 exists, with a light pulse PO.
  • the light source unit 2 is, for example, a surface emitting semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source unit 2 includes a light source device 21 and a diffuser plate 22 .
  • the light source device 21 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band of 850 nm to 940 nm) as a light pulse PO to irradiate the subject OB.
  • the light source device 21 is, for example, a semiconductor laser light emitting device.
  • the light source device 21 emits pulsed laser light under the control of the timing control section 41 .
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over the area of the surface that irradiates the subject OB.
  • the pulsed laser light diffused by the diffusion plate 22 is emitted as a light pulse PO, and is irradiated onto the object OB.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the object OB whose distance is to be measured in the distance image pickup device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the light receiving section 3 includes a lens 31 and a distance image sensor 32 .
  • the lens 31 is an optical lens that guides the incident reflected light RL to the range image sensor 32 .
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and causes pixels provided in the light receiving area of the distance image sensor 32 to receive the light (incident).
  • the distance image sensor 32 is an image pickup device used in the distance image pickup device 1 .
  • the distance image sensor 32 has a plurality of pixels in a two-dimensional light receiving area.
  • Each pixel of the distance image sensor 32 is provided with one photoelectric conversion element, a plurality of charge storage units corresponding to this one photoelectric conversion element, and a component for distributing the charge to each charge storage unit.
  • the pixel is an imaging device having a distribution structure in which charges are distributed and accumulated in a plurality of charge accumulation units.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion elements to the respective charge storage units according to control from the timing control unit 41 . Also, the distance image sensor 32 outputs a pixel signal corresponding to the amount of charge distributed to the charge storage section. A plurality of pixels are arranged in a two-dimensional matrix in the range image sensor 32, and pixel signals for one frame (one frame period) corresponding to each pixel are output.
  • the distance image processing unit 4 controls the distance image capturing device 1 and calculates the distance to the subject OB.
  • the distance image processing section 4 includes a timing control section 41 , a distance calculation section 42 and a measurement control section 43 .
  • the timing control section 41 controls the timing of outputting various control signals required for measurement according to the control of the measurement control section 43 .
  • the various control signals here include, for example, a signal for controlling the irradiation of the light pulse PO, a signal for distributing the reflected light RL to a plurality of charge accumulation units, a signal for controlling the number of times of distribution (number of times of accumulation) per frame, and the like. is.
  • the distribution count (accumulation count) is the number of repetitions of the process of distributing the charge to the charge storage section CS (see FIG. 3).
  • the exposure time is the product of the number of distribution times and the time (accumulation time Ta, which will be described later) for accumulating charges in each charge accumulation unit per charge distribution process.
  • the distance calculation unit 42 outputs distance information obtained by calculating the distance to the object OB based on the pixel signal output from the distance image sensor 32 .
  • the distance calculation unit 42 calculates the delay time Td (see FIG. 4) from the irradiation of the light pulse PO to the reception of the reflected light RL based on the charge amounts accumulated in the plurality of charge accumulation units.
  • the distance calculator 42 calculates the distance to the subject OB according to the calculated delay time Td.
  • the measurement control section 43 controls the timing control section 41 .
  • the measurement control unit 43 sets the number of allocation times for one frame and the accumulation time Ta (see FIG. 4), and controls the timing control unit 41 so that imaging is performed according to the set contents.
  • the light receiving unit 3 receives the reflected light RL that is reflected by the object OB from the light pulse PO in the near-infrared wavelength band that the light source unit 2 irradiates the object OB.
  • a distance image processing unit 4 outputs distance information obtained by measuring the distance to the subject OB.
  • FIG. 1 shows the distance image pickup device 1 having a configuration in which the distance image processing unit 4 is provided inside, the distance image processing unit 4 is a component provided outside the distance image pickup device 1.
  • FIG. 2 is a block diagram showing a schematic configuration of an imaging device (distance image sensor 32) used in the distance image pickup device 1 according to one embodiment of the present invention.
  • the distance image sensor 32 includes, for example, a light receiving area 320 in which a plurality of pixels 321 are arranged, a control circuit 322, a vertical scanning circuit 323 having a sorting operation, a horizontal scanning circuit 324, and a pixel signal processing circuit 325 .
  • the light-receiving region 320 is a region in which a plurality of pixels 321 are arranged, and FIG. 2 shows an example in which they are arranged in a two-dimensional matrix of 8 rows and 8 columns.
  • the pixel 321 accumulates electric charge corresponding to the amount of light received.
  • a control circuit 322 controls the distance image sensor 32 in an integrated manner.
  • the control circuit 322 controls the operation of the components of the range image sensor 32 according to instructions from the timing control section 41 of the range image processing section 4, for example. It should be noted that the components provided in the distance image sensor 32 may be controlled directly by the timing control section 41, in which case the control circuit 322 may be omitted.
  • the vertical scanning circuit 323 is a circuit that controls the pixels 321 arranged in the light receiving area 320 for each row according to control from the control circuit 322 .
  • the vertical scanning circuit 323 causes the pixel signal processing circuit 325 to output a voltage signal corresponding to the amount of charge accumulated in each charge accumulation portion CS of the pixel 321 .
  • the vertical scanning circuit 323 distributes the charges converted by the photoelectric conversion elements to the respective charge accumulating portions of the pixels 321 . That is, the vertical scanning circuit 323 is an example of a "pixel driving circuit".
  • the pixel signal processing circuit 325 performs predetermined signal processing (for example, noise suppression processing) on the voltage signals output to the corresponding vertical signal lines from the pixels 321 in each column under the control of the control circuit 322 . , A/D conversion processing, etc.).
  • predetermined signal processing for example, noise suppression processing
  • the horizontal scanning circuit 324 is a circuit that sequentially outputs signals output from the pixel signal processing circuit 325 to horizontal signal lines in accordance with control from the control circuit 322 . As a result, pixel signals corresponding to the amount of charge accumulated for one frame are sequentially output to the distance image processing section 4 via the horizontal signal line.
  • the pixel signal processing circuit 325 performs A/D conversion processing and the pixel signal is a digital signal.
  • FIG. 3 is a circuit diagram showing an example of the configuration of the pixels 321 arranged within the light receiving area 320 of the range image sensor 32 of one embodiment.
  • FIG. 3 shows an example of the configuration of one pixel 321 among the plurality of pixels 321 arranged in the light receiving region 320.
  • the pixel 321 is an example of a configuration including three pixel signal readout units.
  • the pixel 321 includes one photoelectric conversion element PD, a drain gate transistor GD, and three pixel signal readout units RU for outputting voltage signals from corresponding output terminals OUT.
  • Each pixel signal readout unit RU includes a readout gate transistor G, a floating diffusion FD, a charge storage capacitor C, a reset gate transistor RT, a source follower gate transistor SF, and a selection gate transistor SL.
  • the floating diffusion FD and the charge storage capacitor C constitute a charge storage unit CS.
  • three pixel signal readout units RU are distinguished by adding numerals "1", “2” or “3” after the symbol "RU" of the three pixel signal readout units RU. do.
  • each component provided in the three pixel signal readout units RU is also indicated by a numeral representing each pixel signal readout unit RU after the symbol, so that each component corresponds to the pixel signal readout unit. RUs are distinguished.
  • the pixel signal readout unit RU1 that outputs a voltage signal from the output terminal OUT1 includes a readout gate transistor G1, a floating diffusion FD1, a charge storage capacitor C1, a reset gate transistor RT1, and a source follower. It includes a gate transistor SF1 and a selection gate transistor SL1.
  • the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacitor C1.
  • the pixel signal readout unit RU2 and the pixel signal readout unit RU3 also have the same configuration.
  • the charge storage section CS1 is an example of a "first charge storage section".
  • the charge storage section CS2 is an example of a "second charge storage section”.
  • the charge storage section CS3 is an example of a "third charge storage section”.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate charges and accumulate the generated charges.
  • the structure of the photoelectric conversion element PD may be arbitrary.
  • the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined together, or a structure in which an I-type semiconductor is sandwiched between a P-type semiconductor and an N-type semiconductor. It may be a PIN photodiode.
  • the photoelectric conversion element PD is not limited to a photodiode, and may be, for example, a photogate type photoelectric conversion element.
  • the charge generated by photoelectrically converting the light incident on the photoelectric conversion element PD is distributed to each of the three charge storage units CS, and each voltage signal corresponding to the charge amount of the distributed charge is output to the pixel. Output to the signal processing circuit 325 .
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration provided with three pixel signal readout units RU as shown in FIG. If it is That is, the number of pixel signal readout units RU (charge storage units CS) provided for the pixels arranged in the distance image sensor 32 may be four or more.
  • the charge storage section CS may be composed of at least the floating diffusion FD, and the pixel 321 may be configured without the charge storage capacitor C.
  • an example of the configuration including the drain gate transistor GD is shown. may be configured without the drain gate transistor GD.
  • FIG. 4 is a timing chart showing timings for driving the pixels 321 of one embodiment.
  • FIG. 4 shows a timing chart of pixels receiving reflected light after the delay time Td has elapsed since the light pulse PO was applied.
  • the timing of emitting the light pulse PO is “L”
  • the timing of receiving the reflected light is “R”
  • the timing of the driving signal TX1 is “G1”
  • the timing of the driving signal TX2 is “G2”
  • the driving signal The timing of TX3 and the timing of the drive signal RSTD are indicated by item names of "G3" and "GD,” respectively.
  • the drive signal TX1 is a signal for driving the readout gate transistor G1. The same applies to the drive signals TX2 and TX3.
  • the vertical scanning circuit 323 accumulates charges in the order of the charge accumulation units CS1, CS2, and CS3 in synchronization with the irradiation of the light pulse PO.
  • the unit accumulation time UT represents the time from the irradiation of the light pulse PO to the accumulation of charges in the charge accumulation units CS in order.
  • the vertical scanning circuit 323 turns off the drain gate transistor GD and turns on the readout gate transistor G1 in synchronization with the timing of irradiating the light pulse PO.
  • the vertical scanning circuit 323 turns off the readout gate transistor G1 after the accumulation time Ta has elapsed since turning on the readout gate transistor G1.
  • the charge photoelectrically converted by the photoelectric conversion element PD while the readout gate transistor G1 is controlled to be on is accumulated in the charge storage unit CS1 via the readout gate transistor G1.
  • the vertical scanning circuit 323 turns on the readout gate transistor G2 for the accumulation time Ta at the timing when the readout gate transistor G1 is turned off.
  • the charge photoelectrically converted by the photoelectric conversion element PD while the readout gate transistor G2 is controlled to be on is accumulated in the charge storage unit CS2 via the readout gate transistor G2.
  • the vertical scanning circuit 323 turns on the readout gate transistor G3 at the timing when the charge accumulation in the charge accumulation unit CS2 is completed, and turns off the readout gate transistor G3 after the accumulation time Ta has elapsed. do.
  • the charge photoelectrically converted by the photoelectric conversion element PD while the readout gate transistor G3 is controlled to be on is accumulated in the charge storage unit CS3 via the readout gate transistor G3.
  • the vertical scanning circuit 323 turns on the drain gate transistor GD at the timing when the charge storage in the charge storage section CS3 is completed to discharge the charge. As a result, charges photoelectrically converted by the photoelectric conversion element PD are discarded via the drain gate transistor GD.
  • control is performed so that photoelectrically converted charges are not accumulated at a timing other than the time period during which charges are accumulated in the charge accumulation section CS during the unit accumulation time UT.
  • the present embodiment employs a so-called short pulse method (hereinafter referred to as an SP method) in which the optical pulse PO is intermittently emitted.
  • the SP method the drain gate transistor GD is turned on during a unit storage time UT during which the reflected light RL is not supposed to be received, and the charge is discharged. This avoids the continuous accumulation of electric charges corresponding to the external light component in the time interval in which the reflected light RL of the light pulse PO is not supposed to be received.
  • the CW method in which the light pulse PO is continuously irradiated, it is impossible to discharge the charge each time the charge is accumulated in the charge accumulation portion CS during the unit accumulation time UT. do not have. This is because, in the CW system, since the reflected light RL is always received, there is no time interval in which the reflected light RL is not supposed to be received.
  • a charge discharging unit such as a reset gate transistor connected to the photoelectric conversion element PD is controlled to be in an off state, No charge discharge.
  • the charge discharging unit such as the reset gate transistor is controlled to be in an ON state, and the charge is discharged.
  • the mechanism in which the charge discharging unit is connected to the photoelectric conversion element PD is described as an example, but the present invention is not limited to this.
  • a mechanism using a reset gate transistor in which a charge discharging portion is not present in the photoelectric conversion element PD and the charge discharging portion is connected to the floating diffusion FD may be used.
  • charges photoelectrically converted in a time interval different from the time interval for accumulating charges in the charge accumulation portion CS in the unit accumulation time UT are discharged by the drain gate transistor GD (an example of the “charge discharge portion”). control so that As a result, even if there is an error in the amount of charge accumulated in the charge accumulation unit CS due to a delay in charge transfer or the like, it is compared to the case where charges are not discharged every unit accumulation time UT as in the CW method. By doing so, it is possible to reduce the error.
  • the pixel 321 of the range image pickup device 1 has the drain gate transistor GD.
  • the SN ratio of the amount of charges ratio of errors to signal components
  • the accuracy of the charge amount accumulated in the charge accumulation section CS can be maintained, and the feature amount can be calculated with high accuracy.
  • the vertical scanning circuit 323 repeats the above-described driving a predetermined number of times over one frame. After that, the vertical scanning circuit 323 outputs a voltage signal corresponding to the amount of charge distributed to each charge storage section CS. Specifically, the vertical scanning circuit 323 outputs a voltage signal corresponding to the amount of charge accumulated in the charge storage unit CS1 via the pixel signal readout unit RU1 by turning on the selection gate transistor SL1 for a predetermined time. Output from OUT1. Similarly, the vertical scanning circuit 323 sequentially turns on the selection gate transistors SL2 and SL3 to output voltage signals corresponding to the amounts of charge accumulated in the charge accumulation units CS2 and CS3 from the output terminals OUT2 and OUT3. Let Then, an electric signal corresponding to the amount of charge for one frame accumulated in each of the charge accumulation units CS is output to the distance calculation unit 42 via the pixel signal processing circuit 325 and the horizontal scanning circuit 324 .
  • the case where the light source unit 2 irradiates the light pulse PO at the timing when the readout gate transistor G1 is turned on has been described as an example. However, it is not limited to this.
  • the light pulse PO may be emitted at a timing such that at least the reflected light RL from the object to be measured is received across any two of the three charge storage units CS1 to CS3.
  • the light pulse PO may be applied after the readout gate transistor G1 is turned on.
  • the case where the irradiation time To for irradiating the light pulse PO is the same length as the accumulation time Ta has been described as an example. However, it is not limited to this.
  • the irradiation time To and the accumulation time Ta may be different time intervals.
  • the relationship between the timing of irradiating the light pulse PO and the timing of accumulating the charge in each of the charge accumulating portions CS causes the reflected light RL and the amount of charge corresponding to the external light component is distributed and held.
  • the charge storage section CS3 holds a charge amount corresponding to an external light component such as background light.
  • the distribution (distribution ratio) of the amount of charge distributed to the charge accumulating units CS1 and CS2 is a ratio corresponding to the delay time Td until the light pulse PO is reflected by the object OB and is incident on the range image pickup device 1 .
  • the distance calculation unit 42 calculates the delay time Td in the conventional short-distance light-receiving pixel using the following formula (1).
  • the formula (1) assumes that the charge amount corresponding to the external light component among the charge amounts accumulated in the charge storage units CS1 and CS2 is the same as the charge amount accumulated in the charge storage unit CS3.
  • Td To ⁇ (Q2 ⁇ Q3)/(Q1+Q2 ⁇ 2 ⁇ Q3) Equation (1)
  • Q1 is the amount of charge accumulated in the charge storage section CS1
  • Q2 is the amount of charge accumulated in the charge storage section CS2
  • Q3 is the amount of charge accumulated in the charge storage section CS3.
  • the distance calculation unit 42 multiplies the delay time Td obtained by Equation (1) by the speed of light (velocity) in the short-distance light-receiving pixel, thereby calculating the round-trip distance to the object OB. Then, the distance calculation unit 42 obtains the distance to the object OB by halving the round trip distance calculated above.
  • FIG. 5 is a diagram illustrating multipath according to one embodiment.
  • the distance image pickup device 1 uses a light source with a wider irradiation range than Lider (Light Detection and Ranging). For this reason, while it has the advantage of being able to measure a space having a certain range at once, it has the disadvantage of being susceptible to the occurrence of multipaths.
  • the range imaging device 1 irradiates the measurement space E with a light pulse PO and receives a plurality of reflected waves (multipaths) of the direct wave W1 and the indirect wave W2.
  • a multipath is composed of two reflected waves
  • the present invention is not limited to this, and a multipath may be composed of three or more reflected waves. Even when the multipath is composed of three or more reflected waves, it is possible to apply the method described below.
  • the shape (time-series change) of the reflected light received by the range imaging device 1 when receiving multipath light differs from the shape of the reflected light when only a single path is received.
  • the reflected light (direct wave W1) having the same shape as the light pulse is received by the distance imaging device 1 with a delay time Td.
  • the reflected light (indirect wave W2) having the same shape as the optical pulse is received with a delay time Td+ ⁇ .
  • ⁇ is the time by which the indirect wave W2 is delayed with respect to the direct wave W1. That is, in the case of multipath, the distance image pickup device 1 receives reflected light in a state in which a plurality of light beams having the same shape as the light pulse are added while having a time difference.
  • the formula (1) above is a formula based on the premise that the delay time is the time required for the light pulse to directly go back and forth between the light source and the object. That is, the formula (1) assumes that the range image pickup device 1 receives single-pass light. Therefore, if the distance is calculated using the formula (1) even though the distance image capturing device 1 receives multipath light, the calculated distance is an unphysical distance that does not correspond to the position of any reflector. distance. For this reason, for example, the difference between the calculated distance (measured distance) and the actual distance diverges, causing an error.
  • the distance image capturing device 1 it is determined whether the distance image capturing device 1 has received single-path light or multi-path light, and the distance is calculated according to the determination result. For example, when the distance imaging device 1 receives a single-pass light, the distance is calculated using a relational expression assuming a single reflector, such as Expression (1). When the distance imaging device 1 receives multipath light, the distance is calculated by other means without using the equation (1). As a result, the calculated distance can always be the distance corresponding to the position where the reflector exists, or it can be a physically reasonable distance corresponding to a plurality of positions, and the error occurring in the measured distance can be reduced. can be reduced.
  • the distance image pickup device 1 extracts the feature amount based on the amount of charge accumulated in each of the three charge accumulation units CS included in the pixel 321 . Then, it is determined whether the pixel 321 has received single-path light or multi-path light according to the tendency of the extracted feature amount.
  • the distance image processing unit 4 calculates a complex variable CP represented by the following equation (2) based on the amount of charge accumulated in each charge accumulation unit CS.
  • the complex variable CP is an example of a "feature amount”.
  • CP (Q1-Q2)+j(Q2-Q3) Equation (2)
  • j is an imaginary unit
  • Q1 is the accumulated charge amount (first charge amount) accumulated in the charge accumulating section CS1
  • Q2 is the accumulated charge amount (second charge amount) accumulated in the charge accumulation unit CS2
  • Q3 is the accumulated charge amount (third charge amount) accumulated in the charge accumulation unit CS3;
  • the distance image processing unit 4 expresses the complex variable CP shown in Equation (2) as a function GF of the phase (2 ⁇ f ⁇ A ) using Equation (3).
  • Equation (3) assumes that only reflected light from object OB A at distance LA is received, that is, a single pass is received.
  • the function GF is an example of a "feature amount".
  • Equation (3) if the values of the function GF corresponding to phases 0 (zero) to 2 ⁇ can be obtained, all single paths that can be received by the range image pickup device 1 can be defined. Therefore, the distance image processing unit 4 defines the complex function CP( ⁇ ) of the phase ⁇ for the complex variable CP shown in Equation (3), and expresses it as Equation (4).
  • ⁇ is the amount of phase change when the phase of the complex variable CP in Equation (3) is set to 0 (zero).
  • FIG. 6 and 7 are diagrams illustrating examples of the complex function CP( ⁇ ) of one embodiment.
  • the horizontal axis of FIG. 6 is the phase x, and the vertical axis is the value of the function GF(x).
  • the solid line indicates the real part of the complex function CP( ⁇ )
  • the dotted line indicates the imaginary part of the complex function CP( ⁇ ). That is, the feature amount has the real part as the first variable that is the difference between the first charge amount and the second charge amount, and the imaginary part as the second variable that is the difference between the second charge amount and the third charge amount.
  • a value represented by a complex number A value represented by a complex number.
  • FIG. 7 shows an example of the function GF(x) of FIG. 6 in the complex plane.
  • the horizontal axis in FIG. 7 indicates the real axis, and the vertical axis indicates the imaginary axis.
  • the complex function CP( ⁇ ) is obtained by multiplying the function GF(x) in FIGS. 6 and 7 by a constant (D A ) corresponding to the intensity of the signal.
  • a change in the complex function CP( ⁇ ) is determined according to the shape (time series change) of the optical pulse PO.
  • FIG. 6 shows, for example, a trajectory associated with phase changes in the complex function CP( ⁇ ) when the optical pulse PO is a rectangular wave.
  • max is a signal value corresponding to the amount of charge corresponding to the total reflected light.
  • the distance image processing unit 4 determines that the pixel 321 has received a single pass when the tendency of change in the complex function CP( ⁇ ) calculated by the measurement matches the tendency of change in the function GF(x) in the single pass. do.
  • range image processing unit 4 determines that pixel 321 received multipath light. I judge.
  • the distance image processing unit 4 changes the measurement environment and performs measurements a plurality of times (M times in the example of this figure).
  • M is any natural number of 2 or more.
  • the irradiation timing for irradiating the light pulse PO and the accumulation timing for accumulating charges in each of the charge accumulating units CS are set to be the same timing. More specifically, as in FIG. 4, the charge storage section CS1 is turned on at the same time as the irradiation of the light pulse PO is started, and thereafter, the charge storage sections CS2 and CS3 are turned on in order, and the charge storage sections CS1 to CS3 are turned on. Accumulate charge.
  • the reflected light reflected by the object OB existing in the measurement space is received by the pixel 321 with a delay time Td after the irradiation timing, as in FIG.
  • the distance image processing unit 4 calculates the complex function CP(0) in the first measurement.
  • the irradiation timing is delayed from the accumulation timing by an irradiation delay time Dtm2. More specifically, in the second measurement, the start of irradiation of the light pulse PO is delayed by the irradiation delay time Dtm2 while fixing the timing of turning on the charge storage units CS1 to CS3. The position of the object OB existing in the measurement space is unchanged from the first measurement. Therefore, as in the first measurement, the reflected light reflected by the object OB is received by the pixel 321 with a delay time Td after the irradiation timing.
  • the reflected light is apparently received by the pixel 321 with a delay (delay time Td+irradiation delay time Dtm2) from the irradiation timing. be done.
  • the distance image processing unit 4 calculates the complex function CP( ⁇ 1) based on the second measurement.
  • the phase ⁇ 1 is a phase (2 ⁇ f ⁇ Dtm2) corresponding to the irradiation delay time Dtm2.
  • f is the irradiation frequency (frequency) of the light pulse PO.
  • the irradiation timing is delayed from the accumulation timing by the irradiation delay time Dtm3. More specifically, in the (M ⁇ 1)th measurement, the start of irradiation of the light pulse PO is delayed by the irradiation delay time Dtm3 while the timing of turning on the charge storage units CS1 to CS3 is fixed. As a result, the reflected light is apparently received by the pixel 321 with a delay of (delay time Td+irradiation delay time Dtm3) from the irradiation timing.
  • the distance image processing unit 4 calculates a complex function CP( ⁇ 2) based on the (M ⁇ 1)th measurement.
  • the phase ⁇ 2 is a phase (2 ⁇ f ⁇ Dtm3) corresponding to the irradiation delay time Dtm3.
  • the irradiation timing is delayed by an irradiation delay time Dtm4 with respect to the accumulation timing. More specifically, the start of irradiation of the light pulse PO is delayed by the irradiation delay time Dtm4 while fixing the timing of turning on the charge storage units CS1 to CS3. As a result, the reflected light is received by the pixel 321 apparently with a delay of (delay time Td+irradiation delay time Dtm4) from the irradiation timing.
  • the distance image processing unit 4 calculates a complex function CP( ⁇ 3) based on the Mth measurement.
  • the phase ⁇ 3 is a phase (2 ⁇ f ⁇ Dtm4) corresponding to the irradiation delay time Dtm4.
  • the distance image processing unit 4 performs a plurality of measurements while changing the measurement timing in this way, and calculates the complex function CP for each measurement.
  • the distance image processing unit 4 performs the measurement with the irradiation delay time Dtm2 in the second measurement, and calculates the complex function CP( ⁇ 1).
  • the distance image processing unit 4 performs measurement with the irradiation delay time Dtm3 in the (M ⁇ 1)th measurement, and calculates the complex function CP( ⁇ 2).
  • the distance image processing unit 4 performs measurement with the irradiation delay time Dtm4 in the Mth measurement, and calculates the complex function CP( ⁇ 3).
  • FIGS. 9 to 12 show a complex plane in which the horizontal axis is the real axis and the vertical axis is the imaginary axis.
  • the distance image processing unit 4 plots the lookup table LUT and the measured points P1 to P3 on the complex plane.
  • the lookup table LUT is information that associates the function GF(x) with its phase x when the pixel 321 receives single-pass light.
  • the lookup table LUT is, for example, measured in advance and stored in a storage unit (not shown).
  • the measured points P1 to P3 are the values of the complex function CP( ⁇ ) calculated by measurement.
  • the distance image processing unit 4 determines that the pixel 321 has received a single pass in the measurement when the change tendency of the lookup table LUT matches the change tendency of the actual measurement points P1 to P3. judge.
  • the distance image processing unit 4 plots the lookup table LUT and the measured points P1# to P3# on the complex plane, as shown in FIG.
  • the lookup table LUT is similar to the lookup table LUT in FIG.
  • the measured points P1# to P3# are values of the complex function CP( ⁇ ) calculated by measurement in a measurement space different from that in FIG.
  • the distance image processing unit 4 determines that when the trend of change in the lookup table LUT does not match the trend of change in the actual measurement points P1# to P3#, the pixel 321 receives multipath light during measurement. It is determined that
  • the distance image processing unit 4 determines whether or not the tendency of the lookup table LUT matches the tendency of the measured points P1 to P3 (coincidence determination).
  • a method for the distance image processing unit 4 to perform match determination using scale adjustment and an SD index will be described.
  • Scale adjustment is a process of adjusting the scale (absolute value of complex number) of the lookup table LUT and the scale (absolute value of complex number) of the measurement point P so that they have the same value.
  • the complex function CP( ⁇ ) is the function GF(x) multiplied by the constant DA .
  • the constant DA is a constant value determined according to the amount of reflected light received. That is, the constant DA is a value determined for each measurement according to the irradiation time of the optical pulse PO, the irradiation intensity, the number of allocations per frame, and the like. Therefore, the measured point P has coordinates enlarged (or reduced) by a constant DA with respect to the origin as compared with the corresponding points in the lookup table LUT.
  • the distance image processing unit 4 adjusts the scale in order to easily determine whether the change tendency of the lookup table LUT and the change tendency of the measured points P1 to P3 match.
  • the distance image processing unit 4 extracts a specific measured point P (for example, measured point P1) from among the measured points P1 to P3.
  • the distance image processing unit 4 scales the extracted actual measurement point so that the actual measurement point Ps (for example, actual measurement point P1s) after scale adjustment, which is obtained by multiplying the extracted actual measurement point by a constant D with the origin as a reference, becomes a point on the lookup table LUT. make adjustments.
  • the distance image processing unit 4 also multiplies the remaining measured points P (for example, the measured points P2 and P3) by the same multiplication value (constant D), and converts the scale-adjusted measured points Ps (for example, the measured points Ps points P2s and P3s).
  • the distance image processing unit 4 does not need scale adjustment when a specific measured point P (for example, measured point P1) is a point on the lookup table LUT without scale adjustment. In this case, the distance image processing unit 4 can omit the scale adjustment.
  • FIG. 12 shows a lookup table LUT showing the function GF(x) when the pixel 321 receives single-pass light, and points G(x0), G(x0+ ⁇ ), and G(x0+2 ⁇ ) on the lookup table LUT. It is shown.
  • FIG. 12 also shows complex functions CP(0), CP(1), and CP(2) as actual measurement points.
  • the distance image processing unit 4 first creates (defines) a function GG(n) whose starting point matches the complex function CP(n) obtained by measurement.
  • the function GG(x) is a function obtained by shifting the phase of the function GF(x) so as to coincide with the starting point of the complex function CP(n) obtained by measurement.
  • x0 is the initial phase
  • n is the measurement number
  • ⁇ is the phase shift amount for each measurement.
  • the distance image processing unit 4 creates (defines) the complex function CP(n), the function GG(x), and the function SD(n) representing the difference, as shown in Equation (6).
  • n in Formula (6) indicates a measurement number.
  • the distance image processing unit 4 uses the function SD(n) to use the SD index (index value).
  • n indicates the measurement number
  • NN indicates the number of measurements.
  • the SD index defined here is an example.
  • the SD index replaces the complex function CP(n) and the degree of dissociation on the complex plane in the function GG(n) with a single real number, and the function Of course, the shape is adjustable.
  • the SD index may be arbitrarily defined as long as it indicates at least the degree of dissociation of the complex function CP(n) and the function GG(n) on the complex plane.
  • the distance image processing unit 4 compares the calculated SD index with a predetermined threshold. The distance image processing unit 4 determines that the pixel 321 has received a single pass when the SD index does not exceed a predetermined threshold. On the other hand, when the SD index exceeds a predetermined threshold, the distance image processing unit 4 determines that the pixel 321 has received multipath light.
  • the SD index is the difference between the first feature amount, which is the feature amount calculated from each of the plurality of measurements, and the second feature amount, which is the feature amount corresponding to each of the plurality of measurements in the lookup table LUT. It is an added value obtained by adding the respective normalized differential values of a plurality of measurements to the normalized differential values normalized by the absolute values of the two feature quantities.
  • the judgment result here is the result of judging whether the single-path light was received or the multi-path light was received.
  • the distance image processing unit 4 calculates the measured distance using Equation (8).
  • n is the measurement number
  • x0 is the initial phase
  • n is the measurement number
  • ⁇ is the phase shift amount for each measurement.
  • the internal distance in Expression (8) may be arbitrarily set according to the structure of the pixel 321 or the like. If the internal distance is not particularly considered, the internal distance is set to 0.
  • the delay time Td is calculated based on the equation (1), and the measured distance is calculated using the calculated delay time Td.
  • the distance image processing unit 4 converts the complex function CP obtained by the measurement as the sum of the reflected light arriving from a plurality of (here, two) paths as shown in equation (9). show.
  • D A in Equation (9) is the intensity of the reflected light from the object OB A at the distance LA .
  • xA is the phase required for light to make a round trip to object OBA at distance LA .
  • n is the measurement number.
  • ⁇ indicates the amount of phase shift for each measurement.
  • D B is the intensity of the reflected light from the object OB B at the distance L B.
  • xB is the phase required for light to make a round trip to an object OBB at a distance LB.
  • the distance image processing unit 4 determines a combination of ⁇ phases x A , x B and intensities D A , D B ⁇ that minimizes the difference J shown in Equation (10).
  • the difference J corresponds to the sum of the squares of the absolute values of the differences between the complex function CP(n) and the function G in Equation (9).
  • the distance image processing unit 4 determines a combination of ⁇ phases x A , x B and intensities D A , D B ⁇ by applying, for example, the method of least squares.
  • the lookup table LUT is used as an example to determine whether single-path light is received or multi-path light is received.
  • the distance image processing unit 4 may use a formula representing the function GF(x) instead of the lookup table LUT.
  • the formula representing the function GF(x) is, for example, a formula defined according to the phase range.
  • the function GF(x) is defined as a linear function with a slope ( ⁇ 1/2) and an intercept (max/2) in the range (0 ⁇ x ⁇ 2/ ⁇ ) for the phase x. .
  • the function GF(x) is defined as a linear function with slope (-2) and intercept (-max).
  • lookup table LUT may be created based on actual measurement results performed in an environment where only a single path is received, or may be created based on calculation results by simulation or the like.
  • the complex variable CP may be a variable calculated using at least the amount of charge accumulated in the charge accumulation unit CS that accumulates the amount of charge corresponding to the reflected light RL.
  • the timing (accumulation timing) for turning on the charge accumulation section CS is fixed, and the irradiation timing for irradiating the light pulse PO is delayed.
  • the accumulation timing and the irradiation timing should at least change relatively.
  • the irradiation timing may be fixed and the accumulation timing may be advanced.
  • the function SD(n) is defined by Equation (6) has been described as an example. However, it is not limited to this.
  • the function SD(n) may be arbitrarily defined as long as it is a function representing at least the difference between the complex function CP(n) and the function GG(n) on the complex plane.
  • FIG. 13 is a flow chart showing the flow of processing performed by the distance image capturing device 1 of one embodiment.
  • NN ⁇ 2 measurements are performed.
  • Dtm the irradiation delay time Dtm for each of the NN measurements is determined in advance.
  • Step S10 The distance image processing unit 4 sets the irradiation delay time Dtm and performs measurement.
  • the distance image processing unit 4 sets the irradiation delay time Dtm, performs charge accumulation for the number of distribution times corresponding to one frame at the set measurement timing, and causes each of the charge accumulation units CS to accumulate charges.
  • Step S11 The distance image processing unit 4 calculates a complex function CP(n) based on the amount of charge accumulated in each charge accumulation unit CS obtained by measurement. n is the measurement number.
  • Step S12 The distance image processing unit 4 determines whether or not NN measurements have been completed. If NN measurements have been completed, the process proceeds to step S13.
  • the distance image processing unit 4 calculates the SD index.
  • the distance image processing unit 4 adjusts the scale of the complex function CP(n) obtained from the measurement as necessary.
  • the distance image processing unit 4 uses the scale-adjusted complex function CP(n) to create a function GG(n) with the same starting point.
  • the distance image processing unit 4 uses the created function GG(n) and the scale-adjusted complex function CP(n) to create a difference function SD(n).
  • the distance image processing unit 4 uses the created function SD(n) and function GG(n) to calculate the SD index.
  • Step S14 The distance image processing unit 4 compares the SD index with a predetermined threshold. If the SD index does not exceed the threshold, the distance image processing unit 4 proceeds to step S15. On the other hand, if the SD index does not exceed the threshold, the distance image processing unit 4 proceeds to step S16.
  • Step S15 The distance image processing unit 4 determines that the pixel 321 has received the single pass, and calculates the distance corresponding to the round trip route of the single pass as the measured distance.
  • Step S16 The distance image processing unit 4 determines that the pixel 321 has received the multipath, and calculates the distance corresponding to each path of the multipath as the measurement distance using, for example, the least squares method.
  • the distance image capturing device 1 of one embodiment includes the light source unit 2, the light receiving unit 3, and the distance image processing unit 4.
  • the light source unit 2 irradiates the measurement space E with a light pulse PO.
  • the light-receiving unit 3 includes a pixel having a photoelectric conversion element PD that generates charges according to incident light, a plurality of charge storage units CS that store the charges, and a predetermined accumulation synchronized with the irradiation of the light pulse PO. and a vertical scanning circuit 323 (pixel driving circuit) that performs a unit accumulation process of distributing and accumulating electric charges in each of the charge accumulating portions CS at timing.
  • the distance image processing unit 4 controls the irradiation timing of irradiating the light pulse PO and the accumulation timing of distributing and accumulating the charge in each of the charge accumulating units CS.
  • the distance image processing unit 4 calculates the distance to the object OB existing in the measurement space E based on the amount of charge accumulated in each of the charge accumulation units CS.
  • the distance image processing unit 4 performs a plurality of measurements. In the plurality of measurements, measurements with different relative timing relationships between the irradiation timing and the accumulation timing are performed.
  • the distance image processing unit 4 calculates a complex function CP(n) from each of the multiple measurements. n is the measurement number.
  • the distance image processing unit 4 determines whether the reflected light RL is received by the pixel 321 in a single pass or whether the reflected light RL is received by the pixel 321 in multiple passes. The distance image processing unit 4 calculates the distance to the subject OB existing in the measurement space E according to the determination result.
  • the distance image capturing device 1 of one embodiment can determine whether the pixel 321 has received single-path light or multi-path light.
  • the complex variable CP, complex function ( ⁇ ), complex function CP(n), function GF(x), and function GG(n) are examples of "feature amounts based on the amount of charge accumulated in each of a plurality of measurements.” be.
  • the SD index is an example of the "tendency of feature amount”.
  • determination may be made using a lookup table LUT.
  • the lookup table LUT is a table in which phases (relative timing relationships) and functions GF(x) (feature amounts) are associated with each other when the reflected light RL is received by the pixels 321 in a single pass.
  • the distance image processing unit 4 determines that the reflected light RL has been received by the pixel 321 in a single pass when the measured point P can be plotted as a point on the lookup table LUT.
  • the distance image capturing device 1 of the embodiment can make a determination by a simple method of comparing the tendency with the lookup table LUT.
  • the lookup table LUT includes: It is created according to at least one measurement condition.
  • the distance image processing unit 4 uses a lookup table LUT corresponding to the measurement conditions to determine whether the reflected light RL is received by the pixel 321 in a single pass or whether the reflected light RL is received by the pixel 321 in multiple passes. judge.
  • the distance image capturing device 1 of the embodiment can select an appropriate lookup table LUT according to the measurement conditions, and can perform determination with high accuracy.
  • the feature amount is the charge storage unit in which at least the charge corresponding to the reflected light RL is stored among the charges stored in each of the three or more charge storage units CS. This value is calculated using the amount of charge accumulated in CS.
  • the reflected light RL is received by the pixels 321 in a single pass, or the reflected light RL is received in the pixels 321 in multiple passes, depending on how the reflected light RL is received. It becomes possible to determine whether the light is received by 321 .
  • the feature amount is the complex variable CP. Accordingly, in the range image pickup device 1 of one embodiment, by observing the behavior of the complex variable CP regarding the delay time Td as a phase delay, it is possible to determine whether the reflected light RL is received by the pixels 321 in a single pass. It is possible to determine whether the reflected light RL is received by the pixel 321 through multipath.
  • the distance image processing unit 4 determines the distance image of the object OB based on the measurements at a plurality of measurement timings. Each distance may be determined based on the least squares method. In this case as well, the most probable route can be determined for each single path, and the distance corresponding to each single path can be calculated. Further, when the distance image processing unit 4 determines that the reflected light RL is received by the pixel 321 through multipaths, the distance corresponding to each light path included in the multipaths is obtained by applying the least squares method to calculate. As a result, the range image capturing apparatus 1 of the embodiment can determine the most probable route for each route of the multipaths, and can calculate the distance corresponding to each multipath.
  • FIG. 14 is a flow chart showing the flow of processing performed by the distance imaging device 1 according to the modification of one embodiment.
  • the processing shown in steps S23 to S30 in the flow chart of FIG. 14 is the same as the processing shown in steps S10 to S17 in the flow chart of FIG. 13, so description thereof will be omitted.
  • Step S20 The distance image processing unit 4 performs the first measurement at a predetermined irradiation delay time Dtim1.
  • the irradiation delay time Dtim1 is a predetermined value, such as 0 (zero).
  • Step S21 The distance image processing unit 4 calculates the provisional distance ZK based on the amount of charge accumulated in each of the charge accumulation units CS in the first measurement.
  • the distance image processing unit 4 calculates the provisional distance ZK assuming that the pixel 321 received the single-pass light in the first measurement.
  • the distance image processing unit 4 calculates the provisional distance ZK using the same method as when it is determined that the pixel 321 has received a single pass.
  • the distance image processing unit 4 uses the provisional distance ZK to determine irradiation delay times Dtim2 to DtimNN to be applied to the remaining measurements.
  • the distance image processing unit 4 for example, determines the irradiation delay times Dtim2 to DtimNN so that distances in the vicinity of the provisional distance ZK can be calculated with high accuracy.
  • the distance image processing unit 4 considers a case where the phase corresponding to the provisional distance ZK is near ⁇ /4.
  • the distance image processing unit 4 considers a case where the phase corresponding to the provisional distance ZK is near ( ⁇ 3/4).
  • the distance image processing unit 4 considers a case where the phase corresponding to the provisional distance ZK is near ⁇ /2.
  • the phase x is (0 ⁇ x ⁇ /2) or ( ⁇ /2 ⁇
  • the irradiation delay time Dtim corresponds to one of x ⁇ )
  • the range image processing unit 4 sets the irradiation delay times Dtim2 to DtimNN applied to the remaining measurements to either the range of (0 ⁇ x ⁇ /2) or ( ⁇ /2 ⁇ x ⁇ ). decide to be
  • the distance image processing unit 4 may determine not only the irradiation delay time Dtim, but also the number of distributions in the remaining measurements. For example, when the provisional distance ZK is a long distance larger than a predetermined distance, the distance image processing unit 4 increases the number of allocations compared to when the provisional distance ZK is a short distance smaller than the predetermined distance. In general, when reflected light arrives from an object OB existing at a long distance, the light amount of the reflected light RL reaching the range imaging device 1 decreases. Therefore, by increasing the number of distributions in the case of a long distance, the amount of charge accumulated in one measurement is increased. By doing so, it is possible to accurately calculate the measured distance even in the case of a long distance.
  • the distance image processing unit 4 calculates the provisional distance ZK to the object OB based on the first measurement among multiple measurements. Based on the provisional distance ZK, the distance image processing unit 4 determines the irradiation delay time Dtim (an example of the “delay time”) used for the remaining measurements among the plurality of measurements.
  • the irradiation delay time Dtim can be determined according to the situation of the object OB existing in the measurement space E, and single-pass or multi-pass can be determined. It is possible to make an accurate determination.
  • the distance image processing unit 4 determines the time (phase) required for the light pulse PO to travel the provisional distance ZK and the trend of the function GF(x). Based on this, the irradiation delay time Dtim may be determined.
  • the irradiation delay time Dtim can be determined. Therefore, it is possible to accurately determine whether it is a single pass or a multipass.
  • the distance image processing unit 4 performs the following when the provisional distance ZK is a long distance exceeding the threshold and when the provisional distance ZK is a short distance not exceeding the threshold: , the allocation count (an example of the “accumulation count”) is increased in the remaining measurements among the plurality of measurements.
  • the distance imaging device 1 according to the modified example of the embodiment can accurately calculate the distance even when the subject exists at a long distance.
  • the representative value of the measured distances calculated from a plurality of measurements is You may make it determine as a calculation result. This makes it possible to determine the measured distance with high accuracy compared with the measured distance calculated from one measurement.
  • the distance image processing unit 4 when calculating the respective distances of the multipaths using the least squares method, determines the range for finding the optimal solution combination based on the provisional distance ZK. You can also narrow it down. For example, the distance image processing unit 4 considers that the reflected light reflected from the object OB existing in the range of the provisional distance ZK ⁇ with the provisional distance ZK as the center is received as multipath, and finds the combination of the optimum solutions within that range. Do the math to find out. This makes it possible to calculate the error of the combination of solutions within a limited range compared to the case of calculating the error of all possible combinations of solutions, thereby reducing the computational load.
  • the pixel 321 includes the three charge storage units CS1 to CS3 has been exemplified and explained. However, it is not limited to this. It can also be applied when the pixel 321 has four or more charge storage units CS.
  • the pixel 321 has four charge storage units CS, as an example, it is possible to define the complex variable CP as shown in Equations (11) and (12) below. Further, the formulas are not limited to the formulas (11) and (12), and the first charge amount, the second charge amount, the third charge amount, and the It is possible to define a complex variable CP whose real part or imaginary part is a value calculated by adding or subtracting the four electric charges.
  • CP (Q1-Q3)+j(Q2-Q4) Equation (11)
  • CP ⁇ (Q1+Q2)-(Q3+Q4) ⁇ +j ⁇ (Q2+Q3)-(Q4+Q1) ⁇
  • j an imaginary unit
  • Q1 is the accumulated charge amount (first charge amount) accumulated in the charge accumulating section CS1
  • Q2 is the accumulated charge amount (second charge amount) accumulated in the charge accumulation unit CS2
  • Q3 is the accumulated charge amount (third charge amount) accumulated in the charge accumulation unit CS3
  • Q4 is the accumulated charge amount (fourth charge amount) accumulated in the charge accumulation unit CS4;
  • the feature amount is the real part of the first variable, which is the difference between the first charge amount accumulated in the first charge accumulation unit and the third charge amount accumulated in the third charge accumulation unit.
  • All or part of the distance image capturing device 1 and the distance image processing unit 4 in the above-described embodiment may be realized by a computer.
  • a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed.
  • the "computer system” referred to here is a system including hardware such as an OS and peripheral devices.
  • the term "computer-readable recording medium” refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems.
  • “computer-readable recording medium” refers to a program that dynamically retains programs for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a medium such as a volatile memory inside a computer system that is a server or a client in that case, may also include a medium that retains the program for a certain period of time.
  • the program may be a program for realizing part of the functions described above, or may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. It may be a program implemented using a programmable logic device such as FPGA.
  • the present invention it is possible to determine whether a pixel receives single-pass light or multi-pass light. Further, when it is determined that the pixel has received single-path light, the distance to one reflector is calculated, and when it is determined that the pixel has received multi-path light, the distance to each of a plurality of reflectors is calculated. can be done.

Abstract

光源部と、受光部と、被写体までの距離を演算する距離画像処理部と、を備え、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。

Description

距離画像撮像装置、及び距離画像撮像方法
　本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
　本願は、２０２１年１月２５日に日本に出願された特願２０２１－００９６７３号について優先権を主張し、その内容をここに援用する。
　従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ、以下、ＴＯＦという）と呼ばれる。ＴＯＦでは、光の速度が既知であることを利用して物体との距離を算出する。ＴＯＦの技術を用いて、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得る距離画像撮像装置が実用化されている。距離画像撮像装置では、フォトダイオード（ＰＤ）を含む画素がシリコン基板に二次元の行列状に配置され、この画素面で光パルスが物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量（電荷量）に基づいた光電変換信号を１つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得る。例えば、特許文献１には、１つの画素に設けられた三個の電荷蓄積部に、受光した光に応じた電荷を順に振り分けて蓄積させることにより距離を計算する技術が開示されている。
日本国特許第４２３５７２９号公報
　このような距離画像撮像装置では、光パルスの光源と物体との間を直接往復した直接波（シングルパス）を画素が受光することを想定して距離を算出する演算式が定義されている。しかしながら、物体のコーナー部や、物体の表面が凹凸構造となっている部分などにおいて光パルスが多重反射し、直接波と間接波とが混在したマルチパスが受光される場合がある。このようなマルチパスを受光した場合に、シングルパスを受光したとみなして距離を算出してしまうと、測定距離に誤差が生じてしまうという問題があった。
　本発明は、上記の課題に基づいてなされたものであり、画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。さらに、画素がシングルパスを受光したと判定した場合は一つの反射体までの距離を算出すること、及び画素がマルチパスを受光したと判定した場合は複数の反射体の各々までの距離を算出することを目的とする。
　本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える。前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いに基づいて、前記反射光がシングルパスにて前記画素に受光されたか、前記光パルスの前記反射光がマルチパスにて前記画素に受光されたかを判定してもよい。
　本発明の距離画像撮像装置では、前記ルックアップテーブルは、前記光パルスの形状、前記光パルスの照射時間、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間のうち、少なくともいずれかの測定条件に応じて作成され、前記距離画像処理部は、前記測定条件に対応する前記ルックアップテーブルを用いて、前記反射光がシングルパスにて前記画素に受光されたか、前記反射光がマルチパスにて前記画素に受光されたかを判定してもよい。
　本発明の距離画像撮像装置では、前記特徴量は、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷のうち、少なくとも前記反射光に応じた電荷が蓄積される電荷蓄積部に蓄積された電荷量を用いて算出される値であってもよい。
　本発明の距離画像撮像装置では、前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、又は前記第３電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の順に電荷を蓄積させ、前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の蓄積電荷量を変数とする複素函数（複素関数）であってもよい。例えば、前記特徴量は、前記第１電荷蓄積部に蓄積された第１電荷量と前記第２電荷蓄積部に蓄積された第２電荷量との差分である第１変数を実部とし、前記第２電荷蓄積部に蓄積された第２電荷量と前記第３電荷蓄積部に蓄積された第３電荷量との差分である第２変数を虚部とする複素数で表される値あってもよい。
　本発明の距離画像撮像装置では、前記複数の測定では、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる遅延時間が互いに異なる時間となるように制御されていてもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いを示す指標値を算出し、前記指標値が閾値を超えない場合に前記反射光がシングルパスにて前記画素に受光されたと判定し、前記指標値が前記閾値を超える場合に前記反射光がマルチパスにて前記画素に受光されたと判定し、前記指標値は、前記複数の測定のそれぞれから算出される前記特徴量である第１特徴量と、前記ルックアップテーブルにおいて前記複数の測定のそれぞれに対応する前記特徴量である第２特徴量との差分を、前記第２特徴量の絶対値で正規化した差分正規化値について、前記複数の測定のそれぞれの前記差分正規化値を加算した加算値であってもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を用いることにより算出してもよい。
　本発明の距離画像撮像装置では、前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備えてもよい。前記距離画像処理部は、１フレーム期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を、複数回繰り返すことによって、前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記光電変換素子によって発生された電荷が前記電荷排出部によって排出されるように制御してもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記複数の測定のうち最初の測定に基づいて前記被写体までの暫定距離を算出し、前記暫定距離に基づいて前記複数の測定のうち残りの測定に用いる遅延時間を決定し、前記遅延時間は、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる時間であってもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記暫定距離を前記光パルスが進むのに要する時間、及び前記特徴量の傾向に基づいて、前記遅延時間を決定してもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記暫定距離が閾値を超える遠距離である場合、前記暫定距離が前記閾値を超えない短距離である場合と比較して、前記複数の測定のうち残りの測定における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積回数が増加するように、前記蓄積回数を決定してもよい。
　本発明の距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離をそれぞれ算出し、算出した暫定距離のそれぞれの代表値を、前記被写体までの距離と決定してもよい。
　また、距離画像撮像装置では、前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離を最小二乗法に基づいてそれぞれ決定する。前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体の各々の距離を最小二乗法に基づいて決定してもよい。
　本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する。
　本発明によれば、画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる。また、画素がシングルパスを受光したと判定した場合は一つの反射体までの距離を算出し、画素がマルチパスを受光したと判定した場合は複数の反射体の各々までの距離を算出することができる。
一実施形態の距離画像撮像装置の概略構成を示したブロック図である。 一実施形態の距離画像センサの概略構成を示したブロック図である。 一実施形態の画素の構成の一例を示した回路図である。 一実施形態の画素を駆動するタイミングを示すタイミングチャートである。 一実施形態のマルチパスを説明する図である。 一実施形態の複素関数ＣＰ（φ）の例を示す図である。 一実施形態の複素関数ＣＰ（φ）の例を示す図である。 一実施形態の画素を駆動するタイミングを示すタイミングチャートである。 一実施形態の距離画像処理部が行う処理を説明する図である。 一実施形態の距離画像処理部が行う処理を説明する図である。 一実施形態の距離画像処理部が行う処理を説明する図である。 一実施形態の距離画像処理部が行う処理を説明する図である。 一実施形態の距離画像撮像装置が行う処理の流れを示すフローチャートである。 一実施形態の変形例に係る距離画像撮像装置が行う処理の流れを示すフローチャートである。
　以下、一実施形態の距離画像撮像装置を、図面を参照しながら説明する。
（一実施形態）
　まず、一実施形態について説明する。図１は、本発明の一実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
　光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ　Ｃａｖｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
　光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
　拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
　受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
　レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
　距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
　距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分（１フレーム期間）の画素信号を出力する。
　距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
　タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数（蓄積回数）を制御する信号などである。振り分け回数（蓄積回数）とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分ける処理を繰返す回数である。この振り分け回数と、電荷を振り分ける処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（後述する蓄積時間Ｔａ）の積が露光時間となる。
　距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄ（図４参照）を算出する。距離演算部４２は、算出した遅延時間Ｔｄに応じて被写体ＯＢまでの距離を演算する。
　測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの振り分け回数及び蓄積時間Ｔａ（図４参照）を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
　このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
　なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
　次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の一実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
　図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
　受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
　垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
　画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
　水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
　以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号として説明する。
　ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、一実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
　画素３２１は、１つの光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子ＯＵＴから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。
　画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
　なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
　図３に示した画素３２１において、出力端子ＯＵＴ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。
　光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されず、例えば、フォトゲート方式の光電変換素子であってもよい。
　画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
　距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されず、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、４つ以上であってもよい。
　また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
　また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
　次に、一実施形態の画素３２１の駆動タイミングについて図４を用いて説明する。図４は、一実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。図４には、光パルスＰＯが照射されてから遅延時間Ｔｄ経過後に反射光を受光する画素のタイミングチャートが示されている。
　図４では、光パルスＰＯを照射するタイミングを「Ｌ」、反射光が受光されるタイミングを「Ｒ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
　図４に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。図４では、１回の振り分け処理において、光パルスＰＯを照射して電荷蓄積部ＣＳに順に電荷を蓄積させるまでの時間を単位蓄積時間ＵＴと表している。
　図４に示すように、垂直走査回路３２３は、光パルスＰＯを照射させるタイミングに同期させて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
　次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
　次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
　次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。
　このように、本一実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間以外のタイミングにて光電変換された電荷を蓄積することがないように制御する。これは、本一実施形態において光パルスＰＯを断続的に照射する、所謂ショートパルス方式（以下、ＳＰ方式という）であるためである。ＳＰ方式においては、単位蓄積時間ＵＴにおいて、反射光ＲＬを受光することが想定されていない時間区間にはドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光パルスＰＯの反射光ＲＬを受光することが想定されていない時間区間において、外光成分に応じた電荷が蓄積され続けることを回避する。
　一方、光パルスＰＯが連続的に照射される、所謂コンティニアスウェイブ方式（以下、ＣＷ方式という）では、単位蓄積時間ＵＴにおいて電荷を電荷蓄積部ＣＳに蓄積させる度に電荷の排出を行うことはない。これは、ＣＷ方式においては、常時、反射光ＲＬを受光していることから、反射光ＲＬを受光することが想定されていない時間区間が存在しないためである。ＣＷ方式においては、１フレームにおいて単位蓄積時間ＵＴを複数回繰り返す処理が実行されている時間区間においては、光電変換素子ＰＤに接続されたリセットゲートトランジスタなどの電荷排出部はオフ状態に制御され、電荷の排出を行わない。そして、１フレームにおいて読出時間ＲＤが到来すると、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を読み出した後、リセットゲートトランジスタなどの電荷排出部がオン状態に制御され、電荷の排出が行われる。また、上記の説明では、光電変換素子ＰＤに電荷排出部が接続された機構を例に説明したがこれに限定されない。光電変換素子ＰＤに電荷排出部が存在せず、フローティングディフュージョンＦＤに電荷排出部が接続されたリセットゲートトランジスタを用いる機構などであってもよい。
　本一実施形態では、単位蓄積時間ＵＴにおいて電荷蓄積部ＣＳに電荷を蓄積させる時間区間とは異なる時間区間に光電変換された電荷が、ドレインゲートトランジスタＧＤ（「電荷排出部」の一例）によって排出されるように制御する。これにより、電荷転送の遅延等に起因して電荷蓄積部ＣＳに蓄積される電荷量に誤差が生じる場合があっても、ＣＷ方式のように単位蓄積時間ＵＴごとに電荷を排出しない場合と比較して、その誤差を低減することが可能となる。
　本一実施形態では、ＳＰ方式を採用していることから、距離画像撮像装置１の画素３２１がドレインゲートトランジスタＧＤを備える。これにより、ＣＷ方式により１フレームにおいて継続的に電荷を蓄積させる場合と比較して誤差を低減させることができるため、電荷量のＳＮ比（信号成分に対する誤差の比率）を高めることが可能である。したがって、積算回数を増やしても誤差が積算され難いために、電荷蓄積部ＣＳに蓄積される電荷量の精度を維持することができ、特徴量を精度よく算出することができる。
　垂直走査回路３２３は、上述したような駆動を、１フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子ＯＵＴ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子ＯＵＴ２、ＯＵＴ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が距離演算部４２に出力される。
　なお、上記では、光源部２が読み出しゲートトランジスタＧ１がオン状態となったタイミングで、光パルスＰＯを照射する場合を例に説明した。しかしながらこれに限定されることはない。光パルスＰＯは、少なくとも測定対象にある物体からの反射光ＲＬが、３つの電荷蓄積部ＣＳ１～ＣＳ３のいずれか２つに跨って受光されるようなタイミングで照射されればよい。例えば、読み出しゲートトランジスタＧ１がオン状態となった後に光パルスＰＯが照射されるようにしてもよい。また、上記では、光パルスＰＯを照射する照射時間Ｔｏが蓄積時間Ｔａと同じ長さである場合を例に説明した。しかしながらこれに限定されることはない。照射時間Ｔｏと蓄積時間Ｔａとが異なる時間間隔であってもよい。
　図４に示すような近距離受光画素においては、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２に、反射光ＲＬ及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部ＣＳ３には背景光などの外光成分に相当する電荷量が保持される。電荷蓄積部ＣＳ１及びＣＳ２に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体ＯＢに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
　距離演算部４２は、この原理を利用して、従来の近距離受光画素においては、以下の式（１）により、遅延時間Ｔｄを算出する。なお、式（１）では、電荷蓄積部ＣＳ１及びＣＳ２に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部ＣＳ３に蓄積された電荷量と同量であることを前提とする。
　Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３）　…式（１）
　ただし、Ｔｏは光パルスＰＯが照射された期間
　　　　　Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量
　　　　　Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量
　　　　　Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量
　距離演算部４２は、近距離受光画素においては、式（１）で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。
　次に、図５を用いて、一実施形態のマルチパスについて説明する。図５は、一実施形態のマルチパスについて説明する図である。距離画像撮像装置１では、Ｌｉｄｅｒ（Light Detection and Ranging）などと比較して照射範囲の広い光源を使用する。このため、ある程度の範囲を有する空間を一度に測定できるメリットを有する一方で、マルチパスが発生し易いというデメリットを有している。図５の例では、距離画像撮像装置１が測定空間Ｅに光パルスＰＯを照射し、直接波Ｗ１と、間接波Ｗ２との複数の反射波（マルチパス）を受光する様子が模式的に示されている。以下の説明では、マルチパスが２つの反射波により構成される場合を例示して説明する。しかしながらこれに限定されることはなく、マルチパスが３つ以上の反射波により構成されていてもよい。マルチパスが３つ以上の反射波により構成されている場合にも、以下に説明する方法を適用することが可能である。
　マルチパスを受光した場合の距離画像撮像装置１に受光される反射光の形状（時系列変化）は、シングルパスのみを受光した場合の反射光の形状と異なる。
　例えば、シングルパスの場合、距離画像撮像装置１には、光パルスと同じ形状の反射光（直接波Ｗ１）が、遅延時間Ｔｄ遅れて受光される。これに対し、マルチパスの場合、直接波に加え、さらに光パルスと同じ形状の反射光（間接波Ｗ２）が遅延時間Ｔｄ＋α遅れて受光される。ここでのαは、直接波Ｗ１に対して間接波Ｗ２が遅延する時間である。すなわち、マルチパスの場合、距離画像撮像装置１には、光パルスと同じ形状の光が複数、互いに時間差を有しながら加算された状態の反射光が受光される。
　つまり、マルチパスとシングルパスの場合とでは、異なる形状（時系列変化）の反射光が受光される。上述した式（１）は、遅延時間が、光パルスが光源と物体との間を直接往復するのに要した時間であることを前提とした数式である。すなわち、式（１）では距離画像撮像装置１がシングルパスを受光することを前提としている。このため、距離画像撮像装置１がマルチパスを受光したにもかかわらず、式（１）を用いて距離を算出してしまうと、算出された距離はどの反射体の位置とも対応しない非物理的な距離となってしまう。このため、例えば、算出した距離（測定距離）と実際の距離との差異が乖離してしまい、誤差が発生する要因となる。
　この対策として、本一実施形態では、距離画像撮像装置１がシングルパスを受光したか、マルチパスを受光したかを判定し、判定結果に応じて距離を演算する。例えば、距離画像撮像装置１がシングルパスを受光した場合、単一の反射体を想定した関係式、例えば、式（１）を用いて距離を算出する。距離画像撮像装置１がマルチパスを受光した場合、式（１）を用いず別の手段で距離を算出する。これにより、算出された距離が、必ず、反射体が存在する位置に対応する距離となる、或いは、複数の位置に対応した物理的に妥当な距離とすることができ、測定距離に生じる誤差を低減させることが可能となる。
　ここで、距離画像撮像装置１がシングルパスを受光したか、マルチパスを受光したかを判定する判定方法について説明する。距離画像撮像装置１は、画素３２１が備える３つの電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、その特徴量を抽出する。そして、抽出した特徴量の傾向に応じて、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定する。
　具体的に、距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、以下の式（２）に示す複素変数ＣＰを算出する。複素変数ＣＰは「特徴量」の一例である。
　ＣＰ＝（Ｑ１－Ｑ２）＋ｊ（Ｑ２－Ｑ３）　…式（２）
　ただし、ｊは虚数単位
　　　　　Ｑ１は電荷蓄積部ＣＳ１に蓄積された蓄積電荷量（第１電荷量）
　　　　　Ｑ２は電荷蓄積部ＣＳ２に蓄積された蓄積電荷量（第２電荷量）
　　　　　Ｑ３は電荷蓄積部ＣＳ３に蓄積された蓄積電荷量（第３電荷量）
　また、距離画像処理部４は、式（２）に示す複素変数ＣＰを、式（３）を用いて位相（２πｆτＡ）の関数ＧＦとして表す。ここでの位相（２πｆτＡ）は光パルスＰＯの照射タイミングに対する遅延時間τＡを、光パルスＰＯの周期（１／ｆ＝２Ｔｏ）に対する位相遅延で示す。式（３）では、距離ＬＡにある被写体ＯＢＡからの反射光のみ、すなわちシングルパスが受光されたことを前提とする。関数ＧＦは「特徴量」の一例である。
　ＣＰ＝ＤＡ×ＧＦ（２πｆτＡ）　…式（３）
　ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度（定数）
　　　　　τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
　　　　　τＡ＝２ＬＡ／ｃ
　　　　　ｃは光速
　式（３）において、位相０（ゼロ）～２πに対応する関数ＧＦの値を求めることができれば、距離画像撮像装置１に受光され得る全てのシングルパスを規定することができる。
そこで、距離画像処理部４は、式（３）に示す複素変数ＣＰについて位相φの複素関数ＣＰ（φ）を定義し、式（４）のように表す。φは、式（３）における複素変数ＣＰの位相を０（ゼロ）とした場合の位相変化量である。
　ＣＰ（φ）＝ＤＡ×ＧＦ（２πｆτＡ－φ）　…式（４）
　ただし、ＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度
　　　　　τＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する時間
　　　　　τＡ＝２ＬＡ／ｃ
　　　　　ｃは光速
　　　　　φは位相
　ここで複素関数ＣＰ（φ）のふるまい（位相の変化に伴う複素数の変化）について、図６、図７を用いて説明する。図６、図７は、一実施形態の複素関数ＣＰ（φ）の例を示す図である。図６の横軸は位相ｘ、縦軸は関数ＧＦ（ｘ）の値である。図６において実線は複素関数ＣＰ（φ）の実部、点線は複素関数ＣＰ（φ）の虚部の値をそれぞれ示している。
　すなわち、特徴量は、第１電荷量と第２電荷量との差分である第１変数を実部とし、第２電荷量と第３電荷量との差分である第２変数を虚部とする複素数で現される値である。
　図７には、図６の関数ＧＦ（ｘ）を複素平面に示した例が示されている。図７の横軸は実軸、縦軸は虚軸を示している。図６、及び図７の関数ＧＦ（ｘ）に、信号の強度に相当する定数（ＤＡ）を乗じた値が複素関数ＣＰ（φ）となる。
　複素関数ＣＰ（φ）の変化は、光パルスＰＯの形状（時系列変化）に応じて決定される。図６には、例えば、光パルスＰＯが矩形波である場合の複素関数ＣＰ（φ）において位相の変化に伴う軌跡が示されている。
　位相ｘ＝０（つまり、遅延時間Ｔｄ＝０）においては、電荷蓄積部ＣＳ１に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ２、ＣＳ３には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝０）の実部（Ｑ１－Ｑ２）が最大値ｍａｘとなり、虚部（Ｑ２－Ｑ３）が０（ゼロ）となる。ｍａｘは全反射光に応じた電荷量に相当する信号値である。位相ｘ＝π／２（つまり、遅延時間Ｔｄ＝照射時間Ｔｏ）においては、電荷蓄積部ＣＳ２に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ１、ＣＳ３には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝π／２）の実部（Ｑ１－Ｑ２）が最小値（－ｍａｘ）となり、虚部（Ｑ２－Ｑ３）が最大値ｍａｘとなる。位相ｘ＝π（つまり、遅延時間Ｔｄ＝照射時間Ｔｏ×２）においては、電荷蓄積部ＣＳ３に反射光に応じた電荷の全てが蓄積され、電荷蓄積部ＣＳ１、ＣＳ２には反射光に応じた電荷が蓄積されない。このため、関数ＧＦ（ｘ＝π）の実部（Ｑ１－Ｑ２）が０（ゼロ）となり、虚部（Ｑ２－Ｑ３）が最小値（－ｍａｘ）となる。
　図７に示すように、複素平面においては、位相ｘ＝０で関数ＧＦ（ｘ＝０）は座標（ｍａｘ、０）、位相ｘ＝π／２で関数ＧＦ（ｘ＝π／２）は座標（－ｍａｘ、ｍａｘ）、位相ｘ＝πで関数ＧＦ（ｘ＝π）は座標（０、－ｍａｘ）となる。
　距離画像処理部４は、図６、図７に示すような関数ＧＦ（ｘ）のふるまい（位相の変化に伴う複素数の変化）の傾向に基づいて、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定する。距離画像処理部４は、測定にて算出した複素関数ＣＰ（φ）変化の傾向が、シングルパスにおける関数ＧＦ（ｘ）の変化の傾向と一致する場合、画素３２１がシングルパスを受光したと判定する。一方、距離画像処理部４は、測定にて算出した複素関数ＣＰ（φ）変化の傾向が、シングルパスにおける関数ＧＦ（ｘ）の変化の傾向と一致しない場合、画素３２１がマルチパスを受光したと判定する。
　ここで、図８を用いて、距離画像処理部４が、シングルパスを受光したか、マルチパスを受光したかを判定する具体的な方法について説明する。図８に示すように、距離画像処理部４は、測定環境を変えて複数回（この図の例ではＭ回）の測定を行う。ここでＭは２以上の任意の自然数である。
　距離画像処理部４は、まず特定の測定環境にて測定を行い、式（３）における複素変数ＣＰを算出し、算出した複素変数ＣＰを位相φ＝０における複素関数ＣＰ（０）とする。
　次に、距離画像処理部４は、複素関数ＣＰ（０）に対応する測定環境において位相φだけ変化させた測定環境にて測定を行い、複素関数ＣＰ（φ）を算出する。
　具体的には、１回目の測定では、光パルスＰＯを照射する照射タイミングと電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる蓄積タイミングを同じタイミングとする。より具体的には、図４と同様に、光パルスＰＯの照射開始と同時に電荷蓄積部ＣＳ１をオン状態とし、以降、順に電荷蓄積部ＣＳ２、ＣＳ３をオン状態として、電荷蓄積部ＣＳ１～ＣＳ３に電荷を蓄積させる。この図の例では、図４と同様に測定空間に存在する被写体ＯＢに反射した反射光が、照射タイミングから遅延時間Ｔｄだけ遅れて画素３２１に受光される。距離画像処理部４は、１回目の測定にて、複素関数ＣＰ（０）を算出する。
　２回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ２遅らせる。より具体的には、２回目の測定では、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ２だけ遅らせる。測定空間に存在する被写体ＯＢの位置は１回目の測定と変更がない。このため、１回目の測定と同様に、被写体ＯＢに反射した反射光が、照射タイミングから遅延時間Ｔｄだけ遅れて画素３２１に受光される。２回目の測定では、蓄積タイミングに対して照射タイミングを照射遅延時間Ｄｔｍ２だけ遅らせていることから、反射光は、見かけ上、照射タイミングから（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ２）遅れて画素３２１に受光される。距離画像処理部４は、２回目の測定に基づいて、複素関数ＣＰ（φ１）を算出する。位相φ１は、照射遅延時間Ｄｔｍ２に相当する位相（２πｆ×Ｄｔｍ２）である。ｆは光パルスＰＯの照射周波数（頻度）である。
　（Ｍ－１）回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ３遅らせる。より具体的には、（Ｍ－１）回目の測定では、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ３だけ遅らせる。これにより、反射光が、照射タイミングから、見かけ上、（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ３）遅れて画素３２１に受光される。距離画像処理部４は、（Ｍ－１）回目の測定に基づいて、複素関数ＣＰ（φ２）を算出する。位相φ２は、照射遅延時間Ｄｔｍ３に相当する位相（２πｆ×Ｄｔｍ３）である。
　Ｍ回目の測定では、照射タイミングを蓄積タイミングに対して、照射遅延時間Ｄｔｍ４遅らせる。より具体的には、電荷蓄積部ＣＳ１～ＣＳ３をオン状態とするタイミングを固定させたまま、光パルスＰＯの照射開始を照射遅延時間Ｄｔｍ４だけ遅らせる。これにより、反射光が、照射タイミングから、見かけ上、（遅延時間Ｔｄ＋照射遅延時間Ｄｔｍ４）遅れて画素３２１に受光される。距離画像処理部４は、Ｍ回目の測定に基づいて、複素関数ＣＰ（φ３）を算出する。位相φ３は、照射遅延時間Ｄｔｍ４に相当する位相（２πｆ×Ｄｔｍ４）である。
　本一実施形態では、距離画像処理部４は、このように測定タイミングを変更しながら複数回の測定を行い、測定毎の複素関数ＣＰを算出する。この図の例では、距離画像処理部４は、１回目の測定にて照射遅延時間Ｄｔｍ１（＝０）とした測定を行い、複素関数ＣＰ（０）を算出する。距離画像処理部４は、２回目の測定にて照射遅延時間Ｄｔｍ２とした測定を行い、複素関数ＣＰ（φ１）を算出する。距離画像処理部４は、（Ｍ－１）回目の測定にて照射遅延時間Ｄｔｍ３とした測定を行い、複素関数ＣＰ（φ２）を算出する。距離画像処理部４は、Ｍ回目の測定にて照射遅延時間Ｄｔｍ４とした測定を行い、複素関数ＣＰ（φ３）を算出する。
　ここで、図９～図１２を用いて、距離画像処理部４が、シングルパスを受光したか、マルチパスを受光したかを判定する具体的な方法について説明する。図９～図１２には、図７同様に、横軸が実軸、縦軸が虚軸の複素平面に示されている。
　距離画像処理部４は、例えば、図９に示すように、複素平面においてルックアップテーブルＬＵＴと、実測点Ｐ１～Ｐ３をプロットする。ルックアップテーブルＬＵＴは、画素３２１がシングルパスを受光した場合における関数ＧＦ（ｘ）とその位相ｘとを対応づけた情報である。ルックアップテーブルＬＵＴは、例えば、予め測定され、記憶部（不図示）に記憶されている。実測点Ｐ１～Ｐ３は測定により算出された複素関数ＣＰ（φ）の値である。距離画像処理部４は、図９に示すように、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１～Ｐ３の変化の傾向が一致する場合に、測定において画素３２１がシングルパスを受光したと判定する。
　距離画像処理部４は、図１０に示すように、複素平面においてルックアップテーブルＬＵＴと、実測点Ｐ１＃～Ｐ３＃をプロットする。ルックアップテーブルＬＵＴは、図９におけるルックアップテーブルＬＵＴと同様である。実測点Ｐ１＃～Ｐ３＃は、図９とは異なる測定空間における測定により算出された複素関数ＣＰ（φ）の値である。距離画像処理部４は、図１０に示すように、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１＃～Ｐ３＃の変化の傾向が一致しない場合に、測定において画素３２１がマルチパスを受光したと判定する。
　ここで、距離画像処理部４が、ルックアップテーブルＬＵＴの傾向と、実測点Ｐ１～Ｐ３の傾向とが一致するか否かを判定（一致判定）する。ここで、距離画像処理部４が、スケール調整、及びＳＤ指標を用いて、一致判定を行う方法について説明する。
（スケール調整について）
　ここで、距離画像処理部４は、必要に応じてスケール調整を行う。スケール調整とは、ルックアップテーブルＬＵＴのスケール（複素数の絶対値）と、実測点Ｐのスケール（複素数の絶対値）とが同じ値となるように調整する処理である。式（４）に示すように、複素関数ＣＰ（φ）は、関数ＧＦ（ｘ）に定数ＤＡを乗算した値である。定数ＤＡは、受光する反射光の光量に応じて決定される一定値である。すなわち、定数ＤＡは、光パルスＰＯの照射時間、照射強度、及び１フレームあたりの振り分け回数などに応じて、測定毎に決定される値となる。このため、実測点Ｐは、ルックアップテーブルＬＵＴの対応点と比較して、原点を基準として定数ＤＡだけ拡大（或いは縮小）された座標となる。
　このような場合、距離画像処理部４は、ルックアップテーブルＬＵＴの変化の傾向と、実測点Ｐ１～Ｐ３の変化の傾向が一致するか判定し易くするために、スケール調整を行う。
　距離画像処理部４は、図１１に示すように、実測点Ｐ１～Ｐ３のうちの特定の実測点Ｐ（例えば、実測点Ｐ１）を抽出する。距離画像処理部４は、抽出した実測点を、原点を基準として定数Ｄ倍した、スケール調整後の実測点Ｐｓ（例えば、実測点Ｐ１ｓ）が、ルックアップテーブルＬＵＴ上の点となるようにスケール調整を行う。そして、距離画像処理部４は、残りの実測点Ｐ（例えば、実測点Ｐ２、Ｐ３）についても、同じ乗算値（定数Ｄ）を乗算した値を、スケール調整後の実測点Ｐｓ（例えば、実測点Ｐ２ｓ、Ｐ３ｓ）とする。
　なお、距離画像処理部４は、スケール調整を行わなくとも特定の実測点Ｐ（例えば、実測点Ｐ１）がルックアップテーブルＬＵＴ上の点となる場合にはスケール調整は不要である。この場合、距離画像処理部４は、スケール調整を省略することができる。
（ＳＤ指標を用いた一致判定について）
　ここで、図１２を用いて、ＳＤ指標を用いた一致判定について説明する。図１２の上側には複素平面を示しており、横軸が実軸、縦軸が虚軸を示している。図１２には、画素３２１がシングルパスを受光した場合における関数ＧＦ（ｘ）を示すルックアップテーブルＬＵＴ、及びルックアップテーブルＬＵＴ上の点Ｇ（ｘ０）、Ｇ（ｘ０＋Δφ）、Ｇ（ｘ０＋２Δφ）が示されている。また、図１２には、実測点として複素関数ＣＰ（０）、ＣＰ（１）、ＣＰ（２）が示されている。
　距離画像処理部４は、まず、測定により得られた複素関数ＣＰ（ｎ）と始点を一致させた関数ＧＧ（ｎ）を作成（定義）する。ｎは測定番号を示す自然数である。例えば、複数の測定のうち１回目の測定においては（ｎ＝０）、複数の測定のうち２回目の測定においては（ｎ＝１）、…、ＮＮ回目の測定においては（ｎ＝ＮＮ－１）となる。
　関数ＧＧ（ｘ）は、測定により得られた複素関数ＣＰ（ｎ）の始点と一致するように関数ＧＦ（ｘ）の位相をシフトさせた関数である。例えば、距離画像処理部４は、式（５）に示すように、１回目の測定により得られた複素関数ＣＰ（ｎ＝０）に相当する位相量（ｘ０）を初期位相とし、初期位相をシフトさせた関数ＧＧ（ｘ）を作成する。式（５）におけるｘ０は初期位相、ｎは測定番号、Δφは測定毎の位相シフト量を示す。
Figure JPOXMLDOC01-appb-M000001
　距離画像処理部４は、次に、式（６）に示すように、複素関数ＣＰ（ｎ）と関数ＧＧ（ｘ）と差分を示す関数ＳＤ（ｎ）を作成（定義）する。式（６）におけるｎは測定番号を示す。
Figure JPOXMLDOC01-appb-M000002
　そして、距離画像処理部４は、式（７）に示すように、関数ＳＤ（ｎ）を用いて、複素関数ＣＰ（ｎ）と関数ＧＧ（ｘ）とが類似する度合を示すＳＤ指標（指標値）を算出する。式（７）におけるｎは測定番号、ＮＮは測定回数を示す。なお、ここで定義したＳＤ指標は、一例である。ＳＤ指標は、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での解離度を、単一の実数に置換えており、関数ＧＦ（ｘ）の函数形などに応じて、函数形が調節可能であることは勿論である。ＳＤ指標は、少なくとも、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での解離度を示す指標であればよく、任意に定義されてよい。
Figure JPOXMLDOC01-appb-M000003
　距離画像処理部４は、算出したＳＤ指標を所定の閾値と比較する。距離画像処理部４は、ＳＤ指標が所定の閾値を超えない場合、画素３２１がシングルパスを受光したと判定する。一方、距離画像処理部４は、ＳＤ指標が所定の閾値を超える場合、画素３２１がマルチパスを受光したと判定する。
　ＳＤ指標は、複数の測定のそれぞれから算出される特徴量である第１特徴量と、ルックアップテーブルＬＵＴにおいて複数の測定のそれぞれに対応する特徴量である第２特徴量との差分を、第２特徴量の絶対値で正規化した差分正規化値について、複数の測定のそれぞれの差分正規化値を加算した加算値である。
　ここで、距離画像処理部４が、判定結果に応じて測定距離を算出する方法について説明する。ここでの判定結果とは、シングルパスを受光したか、マルチパスを受光したかを判定した結果である。
　シングルパスを受光した場合、距離画像処理部４は、式（８）を用いて測定距離を算出する。式（８）におけるｎは測定番号、ｘ０は初期位相、ｎは測定番号、Δφは測定毎の位相シフト量を示す。なお、式（８）における内部距離は、画素３２１の構造などに応じて任意に設定されてよい。内部距離を特に考慮しない場合、内部距離＝０とする。
Figure JPOXMLDOC01-appb-M000004
　或いは、距離画像処理部４は、画素３２１がシングルパスを受光したと判定した場合、式（１）に基づいて遅延時間Ｔｄを算出し、算出した遅延時間Ｔｄを用いて測定距離を算出するようにしてもよい。
　マルチパスを受光した場合、距離画像処理部４は、式（９）に示すように、測定により得られた複素関数ＣＰを、複数（ここでは２つ）の経路から到来した反射光の和として表す。式（９）におけるＤＡは距離ＬＡにある被写体ＯＢＡからの反射光の強度である。ｘＡは距離ＬＡにある被写体ＯＢＡまで光が往復するのに要する位相である。ｎは測定番号である。Δφは測定毎の位相シフト量を示す。ＤＢは距離ＬＢにある被写体ＯＢＢからの反射光の強度である。ｘＢは距離ＬＢにある被写体ＯＢＢまで光が往復するのに要する位相である。
Figure JPOXMLDOC01-appb-M000005
　距離画像処理部４は、式（１０）に示す差分Ｊを最小にする｛位相ｘＡ、ｘＢ、及び強度ＤＡ、ＤＢ｝の組合せを決定する。差分Ｊは式（９）における複素関数ＣＰ（ｎ）と関数Ｇとの差分の絶対値の二乗和に相当する。距離画像処理部４は、例えば、最小二乗法などを適用することにより、｛位相ｘＡ、ｘＢ、及び強度ＤＡ、ＤＢ｝の組合せを決定する。
Figure JPOXMLDOC01-appb-M000006
　なお、上記では、ルックアップテーブルＬＵＴを用いて、シングルパスを受光したか、マルチパスを受光したかを判定する場合を例に説明した。しかしながらこれに限定されない。距離画像処理部４は、ルックアップテーブルＬＵＴの代わりに、関数ＧＦ（ｘ）を示す数式を用いてもよい。
　関数ＧＦ（ｘ）を示す数式とは、例えば、位相の範囲に応じて定義される数式である。
図７の例であれば、位相ｘについて（０≦ｘ≦２／π）の範囲において関数ＧＦ（ｘ）は傾き（－１／２）、切片（ｍａｘ／２）の一次関数として定義される。また（２／π０＜ｘ≦π）の範囲において関数ＧＦ（ｘ）は傾き（－２）、切片（－ｍａｘ）の一次関数として定義される。
　また、ルックアップテーブルＬＵＴは、シングルパスのみが受光される環境で行った実際の測定結果に基づいて作成されていてもよいし、シミュレーション等による算出結果に基づいて作成されていてもよい。
　また、上記では、式（２）に示す複素変数ＣＰを用いる場合を例示して説明したが、これに限定されることはない。複素変数ＣＰは、少なくとも、反射光ＲＬに応じた電荷量を蓄積する電荷蓄積部ＣＳに蓄積された蓄積電荷量を用いて算出される変数であればよい。例えば、実部と虚部を入れ替えた複素変数ＣＰ２＝（Ｑ２－Ｑ３）＋ｊ（Ｑ１－Ｑ２）であってもよいし、実部と虚部の組合せを変更した複素変数ＣＰ３＝（Ｑ１－Ｑ３）＋ｊ（Ｑ２－Ｑ３）などであってもよい。
　また、上記では、図８において、電荷蓄積部ＣＳをオン状態とするタイミング（蓄積タイミング）を固定とし、光パルスＰＯを照射する照射タイミングを遅らせる場合を例示して説明したが、これに限定されることはない。複数の測定において、蓄積タイミングと照射タイミングが少なくとも相対的に変化すればよく、例えば、照射タイミングを固定し、蓄積タイミングを早めるようにしてもよいのは勿論である。また、上記では、関数ＳＤ（ｎ）が式（６）で定義される場合を例に説明した。しかしながら、これに限定されることはない。関数ＳＤ（ｎ）は、少なくとも、複素関数ＣＰ（ｎ）と、関数ＧＧ（ｎ）における複素平面上での差分を示す関数であればよく、任意に定義されてよい。
　ここで、図１３を用いて一実施形態の距離画像撮像装置１が行う距離画像撮像方法を説明する。
図１３は一実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。
　このフローチャートの例では、ＮＮ（≧２）回の測定を行うことを前提とする。また、ＮＮ回の測定のそれぞれにおける照射遅延時間Ｄｔｍが予め決定されていることを前提とする。
（ステップＳ１０）
　距離画像処理部４は、照射遅延時間Ｄｔｍを設定し測定を行う。距離画像処理部４は、照射遅延時間Ｄｔｍを設定し、設定した測定タイミングにて１フレームに相当する振り分け回数の電荷蓄積を行い、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。
（ステップＳ１１）
　距離画像処理部４は、測定により得られた電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づき複素関数ＣＰ（ｎ）を算出する。ｎは測定番号である。
（ステップＳ１２）
　距離画像処理部４は、ＮＮ回の測定が終了したか否かを判定する。ＮＮ回の測定が終了した場合にはステップＳ１３に進み、ＮＮ回の測定が終了していない場合には、測定回数をインクリメントし（ステップＳ１７）、ステップＳ１０に戻り測定を繰り返す。
（ステップＳ１３）
　距離画像処理部４は、ＳＤ指標を算出する。距離画像処理部４は、測定から得られた複素関数ＣＰ（ｎ）について、必要に応じてスケール調整を行う。距離画像処理部４は、スケール調整後の複素関数ＣＰ（ｎ）を用いて、始点を一致させた関数ＧＧ（ｎ）を作成する。距離画像処理部４は、作成した関数ＧＧ（ｎ）とスケール調整後の複素関数ＣＰ（ｎ）を用いて、差分の関数ＳＤ（ｎ）を作成する。距離画像処理部４は、作成した関数ＳＤ（ｎ）と関数ＧＧ（ｎ）とを用いて、ＳＤ指標を算出する。
（ステップＳ１４）
　距離画像処理部４は、ＳＤ指標と所定の閾値とを比較する。距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１５に進む。一方、距離画像処理部４は、ＳＤ指標が閾値を超えていない場合、ステップＳ１６に進む。
（ステップＳ１５）
　距離画像処理部４は、画素３２１がシングルパスを受光したと判定し、そのシングルパスが往復した経路に相当する距離を測定距離として算出する。
（ステップＳ１６）
　距離画像処理部４は、画素３２１がマルチパスを受光したと判定し、そのマルチパスのそれぞれの経路に相当する距離を測定距離として、例えば最小二乗法を用いて算出する。
　以上説明したように、一実施形態の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。光源部２は、測定空間Ｅに光パルスＰＯを照射する。受光部３は、入射した光に応じた電荷を発生する光電変換素子ＰＤ、及び前記電荷を蓄積する複数の電荷蓄積部ＣＳを具備する画素と、光パルスＰＯの照射に同期させた所定の蓄積タイミングで、電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を行う垂直走査回路３２３（画素駆動回路）と、を有する。距離画像処理部４は、光パルスＰＯを照射する照射タイミングと電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御する。距離画像処理部４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間Ｅに存在する被写体ＯＢまでの距離を算出する。距離画像処理部４は、複数の測定を行う。複数の測定では、照射タイミングと蓄積タイミングとの相対的なタイミング関係が互いに異なる測定を行う。距離画像処理部４は、複数の測定のそれぞれから複素関数ＣＰ（ｎ）を算出する。ｎは測定番号である。距離画像処理部４は、ＳＤ指標に基づいて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。距離画像処理部４は、判定した結果に応じて測定空間Ｅに存在する被写体ＯＢまでの距離を算出する。
　これにより、一実施形態の距離画像撮像装置１は、画素３２１がシングルパスを受光したか、マルチパスを受光したかを判定することができる。複素変数ＣＰ、複素関数（φ）、複素関数ＣＰ（ｎ）、関数ＧＦ（ｘ）、関数ＧＧ（ｎ）は「複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量」の一例である。また、ＳＤ指標は「特徴量の傾向」の一例である。
　また、一実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴを用いて判定を行うようにしてもよい。ルックアップテーブルＬＵＴは、反射光ＲＬがシングルパスで画素３２１に受光された場合における、位相（相対的なタイミング関係）と関数ＧＦ（ｘ）（特徴量）とが対応付けられたテーブルである。距離画像処理部４は、ルックアップテーブルＬＵＴ上の点として実測点Ｐがプロットできる場合に反射光ＲＬがシングルパスにて画素３２１に受光されたと判定する。すなわち、ルックアップテーブルＬＵＴの傾向と、複数の測定のそれぞれの特徴量の傾向との類似度合いに基づいて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。これにより、一実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴと傾向を比較するという容易な方法で判定することができる。
　また、一実施形態の距離画像撮像装置１では、ルックアップテーブルＬＵＴは、光パルスＰＯの形状、光パルスＰＯの照射時間Ｔｏ、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる蓄積時間Ｔａのうち、少なくともいずれかの測定条件に応じて作成される。距離画像処理部４は、測定条件に対応するルックアップテーブルＬＵＴを用いて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定する。これにより、一実施形態の距離画像撮像装置１では、測定条件に応じて適切なルックアップテーブルＬＵＴ選択することができ、精度よく判定することができる。
　また、一実施形態の距離画像撮像装置１では、特徴量は、三つ以上の電荷蓄積部ＣＳのそれぞれに蓄積された電荷のうち、少なくとも反射光ＲＬに応じた電荷が蓄積される電荷蓄積部ＣＳに蓄積された電荷量を用いて算出される値である。これにより、一実施形態の距離画像撮像装置１では、反射光ＲＬが受光される状況に応じて、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定することが可能となる。
　また、一実施形態の距離画像撮像装置１では、特徴量は、複素変数ＣＰである。これにより、一実施形態の距離画像撮像装置１では、遅延時間Ｔｄを位相の遅れとみなして複素変数ＣＰのふるまいを観察することにより、反射光ＲＬがシングルパスにて画素３２１に受光されたか、反射光ＲＬがマルチパスにて画素３２１に受光されたかを判定することが可能となる。
　また、一実施形態の距離画像撮像装置１では、距離画像処理部４は、反射光ＲＬがシングルパスで画素３２１に受光されたと判定した場合、複数の測定タイミングでの測定に基づいて被写体ＯＢの各々の距離を最小二乗法に基づいて決定してもよい。この場合も、シングルパスのそれぞれの経路について、最も確からしい経路を決定することができ、シングルパスのそれぞれに対応する距離を算出することが可能となる。また、距離画像処理部４は、反射光ＲＬがマルチパスで画素３２１に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を適用することにより算出する。これにより、一実施形態の距離画像撮像装置１では、マルチパスのそれぞれの経路について、最も確からしい経路を決定することができ、マルチパスのそれぞれに対応する距離を算出することが可能となる。
（一実施形態の変形例）
　ここで、一実施形態の変形例について説明する。本変形例では、複数の測定のうちの最初の測定の結果に応じて、残りの測定における照射遅延時間Ｄｔｉｍを決定する点において、上述した一実施形態と相違する。
　図１４を用いて、本変形例に係る距離画像撮像装置１が行う処理の流れを説明する。図１４は、一実施形態の変形例に係る距離画像撮像装置１が行う処理の流れを示すフローチャートである。図１４のフローチャートにおけるステップＳ２３～Ｓ３０に示す処理は、図１３のフローチャートにおけるステップＳ１０～Ｓ１７に示す処理と同様であるためその説明を省略する。
（ステップＳ２０）
　距離画像処理部４は、所定の照射遅延時間Ｄｔｉｍ１にて最初の測定を行う。照射遅延時間Ｄｔｉｍ１は、予め決定された値であり、例えば０（ゼロ）である。
（ステップＳ２１）
　距離画像処理部４は、最初の測定にて電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて暫定距離ＺＫを算出する。距離画像処理部４は、最初の測定において画素３２１がシングルパスを受光したとみなして、暫定距離ＺＫを算出する。距離画像処理部４は、画素３２１がシングルパスを受光したと判定した場合と同様な方法を用いて、暫定距離ＺＫを算出する。
（ステップＳ２２）
　距離画像処理部４は、暫定距離ＺＫを用いて、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。距離画像処理部４は、例えば、暫定距離ＺＫの近傍の距離が精度よく算出できるように、照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを決定する。
　例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相がπ／４近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝２／πの近傍で切り替わる関数であれば、位相ｘが（０≦ｘ≦π／２）に相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（０≦ｘ≦π／２）の範囲となるように決定する。
　例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相が（π×３／４）近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝２／πの近傍で切り替わる関数であれば、位相ｘが（π／２＜ｘ≦π）に相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（π／２＜ｘ≦π）の範囲となるように決定する。
　例えば、距離画像処理部４は、暫定距離ＺＫに相当する位相がπ／２近傍である場合を考える。この場合、図７の例に示すような関数ＧＦ（ｘ）がｘ＝π／２の近傍で切り替わる関数であれば、位相ｘが（０≦ｘ≦π／２）、或いは（π／２＜ｘ≦π）のいずれかに相当する照射遅延時間Ｄｔｉｍとする方が、シングルパスかマルチパスかを判定し易くなる。このため、距離画像処理部４は、残りの測定に適用する照射遅延時間Ｄｔｉｍ２～ＤｔｉｍＮＮを（０≦ｘ≦π／２）、或いは（π／２＜ｘ≦π）のいずれか一方の範囲となるように決定する。
　また、この場合において、距離画像処理部４は、照射遅延時間Ｄｔｉｍのみならず、残りの測定における振り分け回数を決定するようにしてもよい。例えば、距離画像処理部４は、暫定距離ＺＫが所定の距離より大きい遠距離である場合、暫定距離ＺＫが所定の距離より小さい近距離である場合と比較して、振り分け回数を増加させる。一般に、遠距離に存在する被写体ＯＢから反射光が到来する場合、距離画像撮像装置１に到達する反射光ＲＬの光量が減少する。このため、遠距離の場合に振り分け回数を増加させることで、１回の測定で蓄積する電荷量を増加させる。こうすることで、遠距離の場合であっても精度よく測定距離を算出することが可能となる。
　以上説明したように、一実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、複数の測定のうち最初の測定に基づいて被写体ＯＢまでの暫定距離ＺＫを算出する。距離画像処理部４は、暫定距離ＺＫに基づいて、複数の測定のうち残りの測定に用いる照射遅延時間Ｄｔｉｍ（「遅延時間」の一例）を決定する。これにより、一実施形態の変形例に係る距離画像撮像装置１では、測定空間Ｅに存在する被写体ＯＢの状況に応じて、照射遅延時間Ｄｔｉｍを決定することができ、シングルパスかマルチパスかを精度よく判定することが可能となる。
　また、一実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、暫定距離ＺＫを光パルスＰＯが進むのに要する時間（位相）、及び関数ＧＦ（ｘ）の傾向に基づいて、照射遅延時間Ｄｔｉｍを決定するようにしてもよい。これにより、一実施形態の変形例に係る距離画像撮像装置１では、関数ＧＦ（ｘ）の傾向に基づいて、例えば、線形な範囲（０≦ｘ≦π／２）或いは（π／２＜ｘ≦π）のいずれか一方の範囲に対応させて照射遅延時間Ｄｔｉｍを決定することができる。したがって、シングルパスかマルチパスかを精度よく判定することが可能となる。
　また、一実施形態の変形例に係る距離画像撮像装置１では、距離画像処理部４は、暫定距離ＺＫが閾値を超える遠距離である場合、暫定距離ＺＫが閾値を超えない短距離である場合と比較して、複数の測定のうち残りの測定における、振り分け回数（「蓄積回数」の一例）を増加させる。これにより、一実施形態の変形例に係る距離画像撮像装置１では、遠距離に被写体が存在する場合であっても精度よく距離を算出することが可能となる。
　なお、一実施形態、及び一実施形態の変形例に係る距離画像撮像装置１において、画素３２１がシングルパスを受光した場合、複数の測定から算出された測定距離の代表値を、その測定距離の算出結果として決定するようにしてもよい。これにより、１つの測定から算出された測定距離と比較して、精度よく測定距離を決定することが可能となる。
　また、一実施形態の変形例において、距離画像処理部４は、最小二乗法を用いてマルチパスのそれぞれの距離を算出する際に、暫定距離ＺＫに基づいて、最適解の組合せを見つける範囲を絞るようにしてもよい。例えば、距離画像処理部４は、暫定距離ＺＫを中心として、暫定距離ＺＫ±αの範囲に存在する被写体ＯＢから反射した反射光がマルチパスとして受光されたとみなし、その範囲で最適解の組合せを見つけるように演算を行う。これにより、取り得る解の組合せ全ての誤差を算出する場合と比較して、限定された範囲にある解の組合せの誤差を算出することができるため、演算負荷を低減させることが可能である。
　なお、上述した一実施形態では、画素３２１が三つの電荷蓄積部ＣＳ１～ＣＳ３を備える場合を例示して説明した。しかしながら、これに限定されることはない。画素３２１が四つ以上の電荷蓄積部ＣＳを備える場合にも適用することができる。例えば、画素３２１が四つの電荷蓄積部ＣＳを備える場合、一例として、以下の式（１１）、式（１２）に示すように複素変数ＣＰを定義することが可能である。また、式（１１）、式（１２）に示す数式に限定されることはなく、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに蓄積された第１電荷量、第２電荷量、第３電荷量、第４電荷量を、加算したり減算したりすることにより算出される値を、実部や虚部とする複素変数ＣＰを定義することが可能である。
　ＣＰ＝（Ｑ１－Ｑ３）＋ｊ（Ｑ２－Ｑ４）　…式（１１）
　ＣＰ＝｛（Ｑ１＋Ｑ２）－（Ｑ３＋Ｑ４）｝
　　＋ｊ｛（Ｑ２＋Ｑ３）－（Ｑ４＋Ｑ１）｝　…式（１２）
　ただし、ｊは虚数単位
　　　　　Ｑ１は電荷蓄積部ＣＳ１に蓄積された蓄積電荷量（第１電荷量）
　　　　　Ｑ２は電荷蓄積部ＣＳ２に蓄積された蓄積電荷量（第２電荷量）　　　　　　　　
　　　　　Ｑ３は電荷蓄積部ＣＳ３に蓄積された蓄積電荷量（第３電荷量）
　　　　　Ｑ４は電荷蓄積部ＣＳ４に蓄積された蓄積電荷量（第４電荷量）
　上記式（１１）において、特徴量は、第１電荷蓄積部に蓄積された第１電荷量と第３電荷蓄積部に蓄積された第３電荷量との差分である第１変数を実部とし、第２電荷蓄積部に蓄積された第２電荷量と第４電荷蓄積部に蓄積された第４電荷量との差分である第２変数を虚部とする複素数で表される値である。
　上述した一実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むシステムである。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持する媒体、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持している媒体も含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのプログラムであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるプログラムであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるプログラムであってもよい。
　以上、この発明の一実施形態及び変形例について図面を参照して詳述してきたが、具体的な構成はこの一実施形態及び変形例に限られず、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明によれば、画素がシングルパスを受光したか、マルチパスを受光したかを判定することができる。また、画素がシングルパスを受光したと判定した場合は一つの反射体までの距離を算出し、画素がマルチパスを受光したと判定した場合は複数の反射体の各々までの距離を算出することができる。
　１…距離画像撮像装置
　２…光源部
　３…受光部
　３２…距離画像センサ
　３２１…画素
　３２３…垂直走査回路
　４…距離画像処理部
　４１…タイミング制御部
　４２…距離演算部
　４３…測定制御部
　ＣＳ…電荷蓄積部
　ＰＯ…光パルス

Claims (18)

  1. 　測定対象の空間である測定空間に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    　前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
    　を備え、
    　前記距離画像処理部は、前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
    　距離画像撮像装置。
  2. 　前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いに基づいて、前記反射光がシングルパスにて前記画素に受光されたか、前記光パルスの前記反射光がマルチパスにて前記画素に受光されたかを判定する、
    　請求項１に記載の距離画像撮像装置。
  3. 　前記ルックアップテーブルは、前記光パルスの形状、前記光パルスの照射時間、前記電荷蓄積部のそれぞれに電荷を蓄積させる蓄積時間のうち、少なくともいずれかの測定条件に応じて作成され、
    　前記距離画像処理部は、前記測定条件に対応する前記ルックアップテーブルを用いて、前記反射光がシングルパスにて前記画素に受光されたか、前記反射光がマルチパスにて前記画素に受光されたかを判定する、
    　請求項２に記載の距離画像撮像装置。
  4. 　前記特徴量は、前記三つ以上の電荷蓄積部のそれぞれに蓄積された電荷のうち、少なくとも前記反射光に応じた電荷が蓄積される電荷蓄積部に蓄積された電荷量を用いて算出される値である、
    　請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
  5. 　前記画素には、第１電荷蓄積部、第２電荷蓄積部、及び第３電荷蓄積部が設けられ、
    　前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、又は前記第３電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部の順に電荷を蓄積させ、
    　前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、及び前記第３電荷蓄積部のそれぞれの蓄積電荷量を変数とする複素数である、
    　請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。
  6. 　前記特徴量は、前記第１電荷蓄積部に蓄積された第１電荷量と前記第２電荷蓄積部に蓄積された第２電荷量との差分である第１変数を実部とし、前記第２電荷蓄積部に蓄積された第２電荷量と前記第３電荷蓄積部に蓄積された第３電荷量との差分である第２変数を虚部とする複素数で表される値である、
    　請求項５に記載の距離画像撮像装置。
  7. 　前記画素には、第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部、及び第４電荷蓄積部が設けられ、
    　前記距離画像処理部は、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部、又は前記第４電荷蓄積部の少なくともいずれかに前記反射光に応じた電荷が蓄積されるタイミングにて、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部、前記第４電荷蓄積部の順に電荷を蓄積させ、
    　前記特徴量は、前記第１電荷蓄積部、前記第２電荷蓄積部、前記第３電荷蓄積部、及び前記第４電荷蓄積部のそれぞれの蓄積電荷量を変数とする複素数である、
    　請求項１から請求項４のいずれか一項に記載の距離画像撮像装置。
  8. 　前記特徴量は、前記第１電荷蓄積部に蓄積された第１電荷量と前記第３電荷蓄積部に蓄積された第３電荷量との差分である第１変数を実部とし、前記第２電荷蓄積部に蓄積された第２電荷量と前記第４電荷蓄積部に蓄積された第４電荷量との差分である第２変数を虚部とする複素数で表される値である、
    　請求項７に記載の距離画像撮像装置。
  9. 　前記複数の測定では、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる遅延時間が互いに異なる時間となるように制御される、
    　請求項１から請求項８のいずれか一項に記載の距離画像撮像装置。
  10. 　前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光された場合における、前記相対的なタイミング関係と前記特徴量とが対応付けられたルックアップテーブルを用いて、前記ルックアップテーブルの傾向と、前記複数の測定のそれぞれの前記特徴量の傾向との類似度合いを示す指標値を算出し、前記指標値が閾値を超えない場合に前記反射光がシングルパスにて前記画素に受光されたと判定し、前記指標値が前記閾値を超える場合に前記反射光がマルチパスにて前記画素に受光されたと判定し、
    　前記指標値は、前記複数の測定のそれぞれから算出される前記特徴量である第１特徴量と、前記ルックアップテーブルにおいて前記複数の測定のそれぞれに対応する前記特徴量である第２特徴量との差分を、前記第２特徴量の絶対値で正規化した差分正規化値について、前記複数の測定のそれぞれの前記差分正規化値を加算した加算値である、
    　請求項１から請求項９のいずれか一項に記載の距離画像撮像装置。
  11. 　前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、マルチパスに含まれる光の経路のそれぞれに対応する距離を、最小二乗法を用いることにより算出する、
    　請求項１から請求項１０のいずれか一項に記載の距離画像撮像装置。
  12. 　前記光電変換素子によって発生された電荷を排出する電荷排出部を更に備え、
    　前記距離画像処理部は、１フレーム期間において、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる単位蓄積処理を、複数回繰り返すことによって、前記電荷蓄積部のそれぞれに電荷を蓄積させ、前記単位蓄積処理において前記電荷蓄積部のそれぞれに電荷を蓄積させる時間区間とは異なる時間区間では、前記光電変換素子によって発生された電荷が前記電荷排出部によって排出されるように制御する、
    　請求項１から請求項１１のいずれか一項に記載の距離画像撮像装置。
  13. 　前記距離画像処理部は、前記複数の測定のうち最初の測定に基づいて前記被写体までの暫定距離を算出し、前記暫定距離に基づいて前記複数の測定のうち残りの測定に用いる遅延時間を決定し、
    　前記遅延時間は、前記蓄積タイミングに対して前記照射タイミングを相対的に遅らせる時間である、
    　請求項１から請求項１２のいずれか一項に記載の距離画像撮像装置。
  14. 　前記距離画像処理部は、前記暫定距離を前記光パルスが進むのに要する時間、及び前記特徴量の傾向に基づいて、前記遅延時間を決定する、
    　請求項１３に記載の距離画像撮像装置。
  15. 　前記距離画像処理部は、前記暫定距離が閾値を超える遠距離である場合、前記暫定距離が前記閾値を超えない短距離である場合と比較して、前記複数の測定のうち残りの測定における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積回数を増加させる、
    　請求項１３又は請求項１４に記載の距離画像撮像装置。
  16. 　前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離をそれぞれ算出し、算出した暫定距離のそれぞれの代表値を、前記被写体までの距離と決定する、
    　請求項１から請求項１５のいずれか一項に記載の距離画像撮像装置。
  17. 　前記距離画像処理部は、前記反射光がシングルパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体までの暫定距離を最小二乗法に基づいてそれぞれ決定し、
    　前記距離画像処理部は、前記反射光がマルチパスで前記画素に受光されたと判定した場合、前記複数の測定タイミングでの測定に基づいて前記被写体の各々の距離を最小二乗法に基づいて決定する、
    　請求項１から請求項１５のいずれか一項に記載の距離画像撮像装置。
  18. 　測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する三つ以上の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させたタイミングで前記画素における前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記光パルスを照射する照射タイミングと前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる蓄積タイミングとを制御し、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
    　前記距離画像処理部は、
    　前記照射タイミングと前記蓄積タイミングとの相対的なタイミング関係が互いに異なる複数の測定を行い、
    　前記複数の測定のそれぞれにて蓄積された電荷量に基づく特徴量を抽出し、
    　前記抽出した特徴量の傾向に基づいて、前記光パルスの反射光がシングルパスにて前記画素に受光されたか、前記光パルスの反射光がマルチパスにて前記画素に受光されたかを判定し、
    　前記判定した結果に応じて前記測定空間に存在する被写体までの距離を算出する、
    　距離画像撮像方法。
PCT/JP2022/002581 2021-01-25 2022-01-25 距離画像撮像装置、及び距離画像撮像方法 WO2022158603A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22742722.6A EP4283254A1 (en) 2021-01-25 2022-01-25 Distance image capturing device and distance image capturing method
CN202280009941.4A CN116710803A (zh) 2021-01-25 2022-01-25 距离图像摄像装置以及距离图像摄像方法
US18/357,546 US20230367018A1 (en) 2021-01-25 2023-07-24 Range imaging device and range imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-009673 2021-01-25
JP2021009673A JP2022113429A (ja) 2021-01-25 2021-01-25 距離画像撮像装置、及び距離画像撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/357,546 Continuation US20230367018A1 (en) 2021-01-25 2023-07-24 Range imaging device and range imaging method

Publications (1)

Publication Number Publication Date
WO2022158603A1 true WO2022158603A1 (ja) 2022-07-28

Family

ID=82548741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002581 WO2022158603A1 (ja) 2021-01-25 2022-01-25 距離画像撮像装置、及び距離画像撮像方法

Country Status (5)

Country Link
US (1) US20230367018A1 (ja)
EP (1) EP4283254A1 (ja)
JP (1) JP2022113429A (ja)
CN (1) CN116710803A (ja)
WO (1) WO2022158603A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
US20200309898A1 (en) * 2019-03-29 2020-10-01 Rockwell Automation Technologies, Inc. Multipath interference error correction in a time of flight sensor
JP2020197422A (ja) * 2019-05-31 2020-12-10 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
JP2021009673A (ja) 2019-06-28 2021-01-28 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
US20200309898A1 (en) * 2019-03-29 2020-10-01 Rockwell Automation Technologies, Inc. Multipath interference error correction in a time of flight sensor
JP2020197422A (ja) * 2019-05-31 2020-12-10 ヌヴォトンテクノロジージャパン株式会社 マルチパス検出装置およびマルチパス検出方法
JP2021009673A (ja) 2019-06-28 2021-01-28 株式会社Ｆｉｖｅ ｆｏｒ 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014547A1 (ja) * 2022-07-15 2024-01-18 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
CN116710803A (zh) 2023-09-05
JP2022113429A (ja) 2022-08-04
US20230367018A1 (en) 2023-11-16
EP4283254A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
US11467286B2 (en) Methods and systems for high-resolution long-range flash lidar
EP3268771B1 (en) Coherent ladar using intra-pixel quadrature detection
US8767189B2 (en) Solid state imaging device and distance image measurement device
CA2650235C (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
US11531094B2 (en) Method and system to determine distance using time of flight measurement comprising a control circuitry identifying which row of photosensitive image region has the captured image illumination stripe
CN110389351A (zh) Tof距离传感器、传感阵列及基于tof距离传感器的测距方法
US20200103526A1 (en) Time of flight sensor
WO2022158603A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2007232687A (ja) 光学式測距装置
US20210055419A1 (en) Depth sensor with interlaced sampling structure
US20210074743A1 (en) Light detection apparatus and electronic device
WO2024014547A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024011621A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US20230333218A1 (en) Range imaging apparatus and range imaging method
US20230243928A1 (en) Overlapping sub-ranges with power stepping
US20220236386A1 (en) Methods and systems for lidar walk error correction
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742722

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280009941.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022742722

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022742722

Country of ref document: EP

Effective date: 20230825