WO2021205888A1 - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
WO2021205888A1
WO2021205888A1 PCT/JP2021/012468 JP2021012468W WO2021205888A1 WO 2021205888 A1 WO2021205888 A1 WO 2021205888A1 JP 2021012468 W JP2021012468 W JP 2021012468W WO 2021205888 A1 WO2021205888 A1 WO 2021205888A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
light
distance measuring
dtof
itof
Prior art date
Application number
PCT/JP2021/012468
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202180018298.7A priority Critical patent/CN115280180A/zh
Priority to US17/907,552 priority patent/US20230146183A1/en
Publication of WO2021205888A1 publication Critical patent/WO2021205888A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement

Definitions

  • the present disclosure relates to a distance measuring device and a distance measuring method, and more particularly to a distance measuring device and a distance measuring method in which a plurality of sensors having different distance measuring methods can be used in combination at low cost.
  • the directToF method which can measure long distances
  • the indirectToF method which can measure relatively short distances with high accuracy.
  • Patent Document 1 discloses a direct ToF type distance measuring sensor.
  • Patent Document 2 discloses an indirect ToF type distance measuring sensor.
  • the distance measuring device it is possible to cover a wide range of distance measurement by using a plurality of distance measuring sensors having different distance measuring methods.
  • This disclosure has been made in view of such a situation, and in particular, it enables a plurality of sensors having different distance measuring methods to be used in combination at low cost.
  • the distance measuring device on one side of the present disclosure includes a light emitting unit that emits distance measuring light, a first pixel used for distance measurement by a first ToF (Time of Flight) method, and a distance measuring by a second ToF method. It is a distance measuring device including a pixel region having a second pixel used for the above, the first pixel, the second pixel, and a control unit for controlling the light emitting unit.
  • the distance measuring method of one aspect of the present disclosure includes a light emitting unit that emits distance measuring light, a first pixel used for distance measurement by a first ToF (Time of Flight) method, and a distance measuring by a second ToF method.
  • a method for measuring a distance of a distance measuring device including a pixel region including a second pixel used for the above, the first pixel, the second pixel, and a control unit for controlling the light emitting unit.
  • the control unit is a distance measuring method including a step of controlling the first pixel, the second pixel, and the light emitting unit.
  • a light emitting unit that emits distance measurement light, a first pixel used for distance measurement by the first ToF (Time of Flight) method, and a second pixel used for distance measurement by the second ToF method.
  • the first pixel and the second pixel in the pixel region having two pixels are controlled.
  • FIG. 6 is a timing chart illustrating other operations of the distance measuring device of FIG. 6 is a timing chart illustrating still other operations of the distance measuring device of FIG. It is a figure explaining the structural example of the 2nd Embodiment of the distance measuring apparatus of this disclosure. It is a figure explaining the 1st application example of the distance measurement result by the distance measurement device of FIG. It is a figure explaining the 2nd application example of the distance measurement result by the distance measurement device of FIG. It is a figure explaining the example of the variation of the i / dToF sensor.
  • the distance measuring device 11 when the distance measuring device 11 is mounted on the vehicle 1, the situation where the vehicle 1 is traveling at high speed, for example, with respect to the traveling direction of the vehicle 1, which is the upper part in the figure, etc. In order to take a collision avoidance action, it is necessary to be able to measure an object in a region ZF farther than a predetermined distance from the vehicle 1.
  • a ToF type distance measuring sensor when detecting a distant area of the vehicle 1 shown in the area ZF of FIG. 1, a direct ToF type distance measuring sensor is used and is indicated by the area ZN of FIG. When detecting an area in the vicinity of the vehicle 1, an indirect ToF type distance measuring sensor is used.
  • the directToF type distance measuring sensor will be referred to as a dToF sensor
  • the indirectToF type distance measuring sensor will be referred to as an iToF sensor.
  • the iToF sensor detects the flight time from the timing at which the distance measuring light is emitted to the timing at which the reflected light generated by the reflection of the distance measuring light by the object is received as a phase difference, and reaches the object. It is a distance measurement sensor of the type that calculates the distance, and can realize distance measurement in a range closer than a predetermined distance with high accuracy.
  • the dToF sensor directly measures the flight time from the timing when the ranging light is emitted to the timing when the reflected light generated by the reflection of the ranging light by the object is received, and calculates the distance to the object. It is a distance measuring sensor that can measure a distance in a range farther than a predetermined distance.
  • the iToF sensor and the dToF sensor are required.
  • a ranging device 11 having both of the above and the above is required.
  • the distance measuring device 11 has a configuration as shown in FIG.
  • the distance measuring device 11 of FIG. 2 includes an iToF block 21 provided with an iToF sensor 31 and a dToF block 22 provided with a dToF sensor 51.
  • the iToF block 21 includes an iToF sensor 31, an LD (laser driver) 32, and a light emitting unit 33.
  • the iToF sensor 31 is composed of a light receiving element such as a CAPD (Current Assisted Photonic Demodulator), and supplies a light emitting trigger instructing the LD 32 to emit light from the light emitting unit 33.
  • a light receiving element such as a CAPD (Current Assisted Photonic Demodulator)
  • CAPD Current Assisted Photonic Demodulator
  • the LD 32 continuously modulates a light emitting unit 33 composed of a VCSEL LED (Vertical Cavity Surface Emitting LASER LED) or the like at a predetermined high frequency based on a light emission trigger, and repeats light emission and extinguishing.
  • a VCSEL LED Very Cavity Surface Emitting LASER LED
  • the iToF sensor 31 receives the reflected light reflected by the object from the ranging light emitted by the light emitting unit 33, and the light emitted by the light emitting unit 33 is emitted from the timing of causing the light emitting unit 33 to emit light based on the light emission trigger.
  • the flight time until the timing of receiving the reflected light reflected by the object is detected as the phase difference of the light flashing-modulated at a predetermined high frequency of the light emitting unit 33, and the distance to the object is calculated.
  • the dToF block 22 includes a dToF sensor 51, an LD (laser driver) 52, and a light emitting unit 53.
  • the dToF sensor 51 is composed of a light receiving element such as a SPAD (Single Photon Avaranche Diode), and supplies a light emitting trigger instructing the LD 52 to emit light from the light emitting unit 53.
  • a light receiving element such as a SPAD (Single Photon Avaranche Diode)
  • SPAD Single Photon Avaranche Diode
  • the LD 52 causes a light emitting unit 53 composed of a VCSEL LED (Vertical Cavity Surface Emitting LASER LED) or the like to emit light, for example, as spot light.
  • VCSEL LED Very Cavity Surface Emitting LASER LED
  • the dToF sensor 51 receives the reflected light reflected by the object from the ranging light emitted by the light emitting unit 53, and measures the light emitted by the light emitting unit 53 from the timing of causing the light emitting unit 53 to emit light based on the light emission trigger.
  • the flight time until the timing at which the distance light receives the reflected light consisting of the spot light reflected by the object is directly detected, and the distance to the object is calculated.
  • each of the iToF block 21 and the dToF block 22 is provided with a sensor, an LD, and a light emitting unit, the device configuration becomes large and the cost increases. Let me.
  • the distance measuring device 71 includes an iToF sensor 81, a dToF sensor 82, an LD83, and a light emitting unit 84.
  • the iToF sensor 81 and the dToF sensor 82 have configurations corresponding to the iToF sensor 31 and the dToF sensor 51 of FIG. 2, respectively, and have the same functions.
  • the LD 83 and the light emitting unit 84 have a configuration corresponding to the LD 32 and 52 and the light emitting unit 33 and 53 in FIG. 2, respectively.
  • the LD83 projects the distance measurement light to the range where the distance measurement is performed by causing the light emitting unit 84 to emit light, and the distance measurement is performed.
  • the distance to the object is measured by measuring the flight time, which is the difference between the light emission timing and the timing at which the reflected light reflected by the object is received.
  • the iToF sensor 81 and the dToF sensor 82 receive reflected light from an object in the same region, the iToF sensor 81 receives high-frequency continuously modulated light, so that the flight time is detected from the phase difference.
  • the flight time is directly detected by receiving the spot light.
  • the iToF sensor 81 and the dToF sensor 82 have different frequencies of the received light, interference will occur if the light is projected at the same time. Therefore, it is necessary to operate the iToF sensor 81 and the dToF sensor 82 at different timings by time division processing. ..
  • the iToF sensor 81 and the dToF sensor 82 control the LD83 by time division processing to cause the light emitting unit 84 to emit light, and perform distance measurement at different timings.
  • the iToF sensor 111, LD 112, and the light emitting unit 113, and the dToF sensor 114, LD 114, and the light emitting unit 115 are composed, and the two types of iToF sensor and the dToF sensor are independent of each other.
  • the distance measuring device 102 provided is controlled by the control device 101.
  • the iToF sensor 111, LD112, and the light emitting unit 113, and the dToF sensor 114, LD115, and the light emitting unit 116 are the iToF sensor 31, LD32, and the light emitting unit 33, and the dToF sensor 51, LD52, which are shown in FIG. And the configuration corresponding to the light emitting unit 53.
  • the control device 101 supplies a synchronization signal to the iToF sensor 111 and the dToF sensor 114, and supplies light emission requests at different timings from each other.
  • the iToF sensor 111 and the dToF sensor 114 generate a light emission trigger in response to a light emission request from the control device 101, control the LD 112 and 115, respectively, and emit the ranging light from the light emitting units 113 and 116.
  • the iToF sensor 111 and the dToF sensor 114 Based on the distance measurement light emitted from the light emitting units 113 and 116, the iToF sensor 111 and the dToF sensor 114 receive the reflected light generated by the distance measurement light being reflected by the object, and a light emission trigger is output. The flight time from the timing to the timing when the reflected light is received is detected and the distance is measured.
  • control device 101 supplies a synchronization signal to either the iToF sensor 111 or the dToF sensor 114 to supply a light emission request, and one of the light emission requests is measured by the light emitting units 113 and 116. The distance light is emitted, and the reflected light from the object is received to measure the distance.
  • the light emitting units 113 and 116 emit light, receive the reflected light, perform distance measurement, and return the data output to the control device 101.
  • the iToF sensor 111 and the dToF sensor 114 obtain the distance to the object in a time-division manner.
  • a distance measuring device 132 including an i / dToF sensor 141 including both an iToF sensor and a dToF sensor, an LD 142, and a light emitting unit 143 is used by the control device 131.
  • the configuration is to be controlled.
  • the i / dToF sensor 141 since the i / dToF sensor 141 includes an iToF sensor and a dToF sensor, when it receives a synchronization signal from the control device 131, it operates by switching the operation timing of the iToF sensor and the dToF sensor by itself, and responds to a light emission request. Based on this, a light emitting trigger is supplied to the LD 142 to emit the ranging light from the light emitting unit 143.
  • control device 101 since the control device 101 only needs to acquire the distance measurement instruction and the data output, it is not necessary to separately control the iToF sensor and the dToF sensor, so that the processing load related to the control can be reduced and the processing load can be reduced. It is possible to improve the processing speed.
  • the distance measuring device 200 of FIG. 6 is composed of an i / dToF sensor 201, an LD202, and a light emitting unit 203.
  • the distance measuring device 200 of FIG. 6 has a configuration corresponding to the distance measuring device 132 of FIG. 5, and the i / dToF sensor 201, LD202, and the light emitting unit 203 of FIG. 6 have the i / dToF sensor 141 of FIG. , LD142, and the light emitting unit 143.
  • the i / dToF sensor 201 includes a control unit 221, a communication unit 222, a pixel block 223, a light emission timing control unit 224, a data processing unit 225, and an output IF (Interface) 226.
  • the control unit 221 controls the entire operation of the i / dToF sensor 201.
  • control unit 221 controls the communication unit 222 and controls the light emission timing control unit 224 based on the light emission request and the synchronization signal from the external control device corresponding to the control device 131 in FIG. Then, a light emitting trigger is generated and supplied to the LD202.
  • the LD202 controls the light emitting unit 203 based on the light emission trigger from the i / dToF sensor 201 to emit the ranging light.
  • control unit 221 controls the pixel block 223 so that the distance measuring light emitted by the light emitting unit 203 receives the reflected light reflected by the object and outputs a signal corresponding to the amount of light to the data processing unit 225. ..
  • control unit 221 controls the data processing unit 225 to execute data processing based on a signal corresponding to the amount of light generated by receiving the reflected light from the object supplied from the pixel block 223. , The distance to the object is calculated and output to the external control device corresponding to the control device 131 in FIG. 5 via the output IF226.
  • the pixel block 223 includes a dToF block 231 that functions as a dToF sensor and an iToF block 232 that functions as an iToF sensor. That is, the pixel block 223 has a configuration having both a function as a dToF sensor and a function as an iToF sensor.
  • the dToF block 231 includes a dToF pixel area 241, a dToF control unit 242, and a sampling processing unit 243.
  • the dToF pixel region 241 has a configuration in which pixels made of SPAD are arranged in an array, and is controlled by the dToF control unit 242 to receive and receive reflected light generated by reflection of distance measurement light by an object. A pixel signal corresponding to the amount of light is output.
  • the sampling processing unit 243 samples the pixel signal output from the dToF pixel area 241 and outputs it to the data processing unit 225.
  • the iToF block 232 includes an iToF pixel region 251, an iToF control unit 252, a pixel modulation unit 253, and an ADC 254.
  • the iToF pixel area 251 has a configuration in which pixels composed of CAPD (Current Assisted Photonic Demodulator) are arranged in an array, and is controlled by the iToF control unit 252 to reflect distance-finding light generated by reflection by an object. It receives light, accumulates pixel signals according to the amount of received light, and outputs it.
  • CAPD Current Assisted Photonic Demodulator
  • the pixel modulation unit 253 modulates the pixel signal output from the iToF pixel area 251 and outputs it to the ADC 254.
  • the ADC (Analog Digital Converter) 254 converts the pixel signal modulated by the pixel modulation unit 253 into a digital signal and outputs it to the data processing unit 225.
  • the data processing unit 225 includes a dToF data processing unit 261 and an iToF data processing unit 262.
  • the dToF data processing unit 261 realizes the distance measurement calculation based on the sampling result of the pixel signal supplied from the dToF block 231 of the pixel block 223.
  • the dToF data processing unit 261 includes a histogram generation unit 281 and a distance calculation unit 282.
  • the histogram generation unit 281 generates a histogram from the sampling result supplied from the iToF block 232 of the pixel block 223 and outputs it to the distance calculation unit 282.
  • the distance calculation unit 282 calculates the distance based on the histogram supplied by the histogram generation unit 281 and outputs it to the output IF 226.
  • the reflected light indicated by the left-pointing arrow in the figure is generated.
  • the photons that make up the reflected light are received by the pixels that make up the SPAD that makes up the dToF pixel area 241, and the pixel signals that correspond to the amount of light are sampled. It is supplied to the dToF data processing unit 261.
  • the histogram generation unit 281 of the dToF data processing unit 261 generates a histogram Hg as shown in the lower part of FIG. 7 based on the sampled pixel signal.
  • the histogram generation unit 281 adds a plurality of pixel signals for removing the influence of external light and dark current, and generates a histogram Hg from the integration result of repeating light emission and light reception a plurality of times. ..
  • the distance calculation unit 282 determines the distance corresponding to the detection result of the dToF block 231 of the pixel blocks 223 based on the time Ds which is the difference between the time t0 which is the light emission timing and the peak time tp based on the histogram Hg. calculate.
  • the iToF data processing unit 262 realizes distance measurement processing based on the pixel signal supplied from the iToF block 232 of the pixel block 223.
  • the iToF data processing unit 262 includes a data processing unit 291 and a distance measuring calculation unit 292.
  • the data processing unit 291 performs various processing such as binning processing, filtering processing, and error determination processing on the data based on the pixel signal supplied from the iToF block 232 of the pixel block 223, and outputs the data to the distance measuring calculation unit 292. ..
  • the distance measurement calculation unit 292 calculates the distance by processing the variously processed data supplied from the data processing unit 291 and outputs it to the output IF 226.
  • the distance measuring light indicated by the arrow to the right which is generated by the light emission and extinguishing caused by the light emitting unit 203 repeatedly emitting light at a high frequency, is an object.
  • the reflected light indicated by the arrow to the left generated by being reflected by Tg is stored as a pixel signal obtained at the first timing and a pixel signal obtained at the second timing, which differ by a predetermined phase difference.
  • the pixel signal obtained at the first timing is referred to as TAPA
  • the pixel signal obtained at the second timing is referred to as TAPB.
  • the accumulation result of the pixel signal TAPA at the first timing is the pixel value Q1 indicated by the shaded portion rising to the right, and the second timing differs from the first timing by a predetermined phase difference.
  • the accumulation result of the pixel signal at the timing of 2 is the pixel value Q2 shown by the diagonally downward-sloping portion.
  • the emission timing of the light emitting unit 203 in the lower right dotted line frame W of FIG. 8 is indicated by the waveform Illumination, and when the light emitting unit 203 emits light for the time Tp from the time t0, the reflected light is reflected by the object Tp.
  • the waveform Reflection indicating the light receiving timing is received as a waveform delayed by the time that the distance measuring light reciprocates the distance from the light emitting unit 203 to the object Tp.
  • the pixel signal TAPA receives the reflected light at the timing shown by the waveform Exp.1 and the pixel signal TAPB receives the reflected light at the timing shown by the waveform Exp.2, for example, in the lower left of FIG.
  • the pixel value Q1 of the pixel signal TAPA corresponds to the upward-sloping shaded portion of the total area of the rectangular waveform Exp.1 and is the pixel of the pixel signal TAPB.
  • the value Q2 corresponds to the downward-sloping shaded portion of the total area of the rectangular waveform Exp.2.
  • the distance measuring calculation unit 292 uses the ratio of the pixel values Q1 and Q2. Then, the delay time (Delay Time) at the reception timing of the reflected light is obtained, and the distance (Distance) to the object Tg corresponding to the detection result of the iToF block 232 of the pixel blocks 223 based on the delay time (Delay Time). ) Is calculated.
  • distance measurement based on the above-mentioned dToF block 231 and dToF data processing unit 261 (hereinafter, also referred to as dToF distance measurement) and distance measurement based on iToF block 232 and iToF data processing unit 262 (hereinafter, iToF measurement). Since the emission timing of the ranging light of the light emitting unit 203 is different as described above, dToF ranging and iToF ranging cannot be executed at the same time, and must be executed at different timings. ..
  • control unit 221 controls the light emission timing control unit 224, and emits the distance measurement light corresponding to each process according to the timing at which dToF distance measurement is performed and the timing at which iToF distance measurement is performed.
  • the light emission setting is adjusted so that the light is emitted from the unit 203.
  • the pixel 301 constituting the dToF pixel region 241 in FIG. 9 is composed of a load element (LOAD element) 321, a photoelectric conversion element 322 composed of a SPAD, and an inverter 323.
  • LOAD element load element
  • photoelectric conversion element 322 composed of a SPAD
  • inverter 323 inverter
  • one terminal of the load element 321 is connected to the power supply potential Vcc, and the other terminal is connected to the cathode of the photoelectric conversion element 322 and the input terminal of the inverter 323.
  • the other terminal of the load element 321 and the input terminal of the inverter 323 are connected to the cathode, and a predetermined power supply potential VAN is applied to the anode from the outside.
  • the other terminal of the load element 321 and the cathode of the photoelectric conversion element 322 are connected to the input terminal.
  • Pixel 301 in FIG. 9 has a configuration called a passive recovery (passive recharge) circuit, and passively recovers the voltage drop caused by quenching.
  • the pixel 301 ′ constituting the dToF pixel region 241 in FIG. 10 is composed of a MOSFET 341, 342, a photoelectric conversion element 343 composed of a SPAD, an inverter 344, and a delay circuit 345.
  • the source is connected to the power potential Vcc
  • the gate is connected to the input terminal of the inverter 344 and the input terminal of the delay circuit 345
  • the drain is the cathode of the photoelectric conversion element 343 and the drain of the MOSFET 342.
  • And is connected to the input terminal of the inverter 344.
  • the source of the MOSFET 342 is connected to the power supply potential Vcc, the gate is connected to the output terminal of the delay circuit 345, and the drain is connected to the cathode of the photoelectric conversion element 343, the drain of the MOSFET 341, and the input terminal of the inverter 344.
  • the photoelectric conversion element 343, the drains of MOSFET341,342 the cathode, and the input terminal is connected to an inverter 323, a predetermined power supply potential V AN is applied externally to the anode.
  • the sources of the MOSFETs 341 and 342 and the cathode of the photoelectric conversion element 322 are connected to the input terminals.
  • the gate of the MOSFET 341 and the output terminal of the inverter are connected to the input terminal, and the gate of the MOSFET 342 is connected to the output terminal.
  • the pixel 301'in FIG. 10 has a configuration called an active recovery (active recharge) circuit, and the delay circuit 345 sends a delay signal to the gate of the MOSFET 342 based on the output of the inverter 344 and the adjustment signal S_Delay. By outputting, it is configured to actively recover the voltage drop caused by quenching.
  • active recovery active recharge
  • the pixel 301 ′′ constituting the dToF pixel region 241 in FIG. 11 is composed of a load element (LOAD element) 361, a photoelectric conversion element 362 composed of a SPAD, a MOSFET 363, an inverter 364, and a delay circuit 365.
  • LOAD element load element
  • photoelectric conversion element 362 composed of a SPAD
  • MOSFET MOSFET
  • one terminal of the load element 361 is connected to the power supply potential Vcc, and the other terminal is connected to the cathode of the photoelectric conversion element 322, the drain of the MOSFET 363, and the input terminal of the inverter 364.
  • the photoelectric conversion element 362, the cathode other terminal of the load element 361 is connected to the drain of MOSFET363, and is connected to the input terminal of inverter 323, a predetermined power supply potential V AN is applied externally to the anode.
  • the source is connected to the power potential Vcc
  • the gate is connected to the output terminal of the delay circuit 365
  • the drain is connected to the other terminal of the load element 361, the cathode of the photoelectric conversion element 362, and the input terminal of the inverter 364. Has been done.
  • the input terminal of the inverter 364 is connected to the other terminal of the load element 361, the cathode of the photoelectric conversion element 322, and the drain of the MOSFET 363, and the output terminal is connected to the input terminal of the delay circuit 365.
  • the input terminal is connected to the output terminal of the inverter 364, and the output terminal is connected to the gate of the MOSFET 363.
  • the pixel 301'' in FIG. 11 has a configuration called an active recovery (active recharge) circuit, and the delay circuit 365 outputs a delay signal to the gate of the MOSFET 363 based on the output of the inverter 364 and the adjustment signal S_Delay. As a result, the voltage drop caused by quenching is actively recovered.
  • active recovery active recharge
  • pixels constituting the dToF pixel area ⁇ Fourth example of pixels constituting the dToF pixel area>
  • the pixels consisting of the passive recovery (passive recharge) circuit and the pixels consisting of the active recovery (active recharge) circuit have been described, but both may be combined and used by switching. ..
  • FIG. 12 is an example of pixels constituting the dToF pixel region 241 in which a pixel composed of a passive recovery circuit and a pixel composed of an active recovery circuit are combined and used by switching.
  • the pixel 301 ′′ that constitutes the dToF pixel region 241 in FIG. 12 is composed of a passive component unit 371 and an active component unit 372.
  • the passive component 371 includes a photoelectric conversion element 383 composed of a load element (LOAD element) 381, a switch 382, and a SPAD.
  • LOAD element load element
  • SPAD SPAD
  • the active component 372 includes a MOSFET 391, 392, a switch 393, 394, an inverter 395, and a delay circuit 396.
  • the load element 381 of the passive component 371, the photoelectric conversion element 383, and the inverter 395 of the active component 372 have a configuration corresponding to the load element 321 of FIG. 9, the photoelectric conversion element 322, and the inverter 323. be.
  • MOSFETs 391, 392, the inverter 395, and the delay circuit 396 of the active component unit 372 have a configuration corresponding to the MOSFETs 341, 342, the inverter 344, and the delay circuit 345 of FIG.
  • FIG. 12 shows a state in which the active component 372 functions by turning off the switch 382 and turning on the switches 391 and 392.
  • the active component 372 functions by turning off the switch 382 and turning on the switches 391 and 392.
  • pixels constituting the iToF pixel area ⁇ First example of pixels constituting the iToF pixel area>
  • the pixels constituting the iToF pixel region are divided into two regions, and are controlled so as to operate in a state where a phase difference of a predetermined time interval occurs.
  • the configurations corresponding to each of the two regions will be distinguished by adding "A" and "B" to the reference numerals.
  • Pixels 401 in FIG. 13 include selection transistors 421A, 421B, amplification transistors 422A, 422B, FD gate transistors 423A, 423B, transfer transistors 424A, 424B, reset transistors 425, PD (photoelectric conversion element) 426, additional capacitances 427A, 427B, FD (floating diffusion region) 428A, 428B is provided.
  • the transfer transistors 424A and 424B become conductive when the transfer drive signal TRG supplied to the gate is activated, respectively, and transfer the electric charge stored in the PD426 to the FD427A and 427B.
  • one transfer drive signal TRG is configured to share the transfer transistors 424A and 424B, but in reality, they are individually provided and each is operated exclusively. On or off is controlled so that.
  • FD428A and 428B are charge storage units that temporarily store and hold the charge transferred from PD426.
  • the FD gate transistors 423A and 423B become conductive when the FD drive signal FDG supplied to the gate becomes active, and are connected to the FD448A and 448B and the additional capacitances 429A and 429B.
  • one FD drive signal FDG is configured to share the FD gate transistors 423A and 423B, but in reality, they are individually provided and each is operated exclusively. On or off is controlled so as to.
  • the reset transistor 425 conducts when the reset drive signal RST supplied to the gate becomes active, and resets the potential of PD426.
  • the amplification transistors 422A and 422B are connected to a constant current source (not shown) by connecting the source electrodes to the vertical transfer lines VSLA and VSLB via the transistors 421A and 421B to form a source follower circuit.
  • the selection transistors 421A and 421B are connected between the amplification transistors 422A and 422B and the vertical transfer lines VSLA and VSLB, and conduct when the selection signal SEL supplied to the gate becomes active, from the amplification transistors 422A and 422B.
  • the output signal is output to the vertical transfer lines VSLA and VSLB.
  • one selection signal SEL is configured to share the selection transistors 421A and 421B, but in reality, they are individually provided so that they can be operated exclusively. Is controlled on or off.
  • the charge of all pixels 401 is reset before receiving light.
  • the FD gate transistors 423A and 423B, the transfer transistors 424A and 424B, and the reset transistor 425 are turned on, and the accumulated charges of the PD447, FD448A, and 448B are discharged.
  • the transfer transistors 424A and 424B are driven alternately.
  • the electric charges accumulated by the PD426 are alternately distributed and accumulated in the FD428A and 428B.
  • the reflected light received by the pixel 401 is received by being delayed by the object according to the distance from the timing when the light source emits the ranging light.
  • the pixel 401'in FIG. 14 is a selection transistor 441A, 441B, an amplification transistor 442A, 442B, a transfer transistor 443A, 443B, an FD gate transistor 444A, 444B, a reset transistor 445A, 445B, an overflow gate transistor 446, a PD (photoelectric conversion element). It includes 447 and FDs (suspended diffusion regions) 448A and 448B.
  • the transfer transistors 443A and 443B become conductive when the transfer drive signal TRG supplied to the gate is activated, respectively, and transfer the electric charge stored in the PD447 to the FD448A and 448B.
  • one transfer drive signal TRG is configured to share the transfer transistors 443A and 443B, but in reality, they are individually provided and each is operated exclusively. On or off is controlled so that.
  • FD448A and 448B are charge storage units that temporarily store and hold the charge transferred from PD447.
  • the FD gate transistors 444A and 444B become conductive when the FD drive signal FDG supplied to the gate becomes active, and are connected to the FD448A and 448B and the reset transistors 445A and 445B.
  • one FD drive signal FDG is configured to share the FD gate transistors 444A and 444B, but in reality, they are individually provided and each is operated exclusively. On or off is controlled so as to.
  • the reset transistors 445A and 445B conduct when the reset drive signal RST supplied to the gate becomes active, are connected to the FD gate transistors 444A and 444B, and FD448A and 448B when the FD gate transistors 444A and 444B are in the conductive state. Reset the potential of.
  • one reset drive signal RST is used to share the reset transistors 445A and 445B, but in reality, they are individually provided and each is operated exclusively. On or off is controlled as such.
  • the overflow gate transistor 446 conducts when the discharge drive signal OFG supplied to the gate becomes active, and discharges the electric charge accumulated in the PD447.
  • the amplification transistors 442A and 442B are connected to a constant current source (not shown) by connecting the source electrodes to the vertical transfer lines VSLA and VSLB via the transistors 441A and 441B to form a source follower circuit.
  • the selection transistors 441A and 441B are connected between the amplification transistors 442A and 442B and the vertical transfer lines VSLA and VSLB, and conduct when the selection signal SEL supplied to the gate becomes active, from the amplification transistors 442A and 442B.
  • the output signal is output to the vertical transfer lines VSLA and VSLB.
  • one selection signal SEL is configured to share the selection transistors 441A and 441B, but in reality, they are individually provided so that they can be operated exclusively. Is controlled on or off.
  • the FD gate transistors 444A and 444B, the overflow gate transistors 446, and the reset transistors 445A and 445B are turned on, and the accumulated charges of the PD447, FD448A and 448B are discharged.
  • the transfer transistors 443A and 443B are driven alternately.
  • the electric charge accumulated by PD447 is alternately distributed and accumulated in FD448A and 448B.
  • the reflected light received by the pixel 401' is received by being delayed by the object according to the distance from the timing when the light source emits the ranging light.
  • the exposure timing and data output timing of the iToF sensor the timing of the light emission trigger (iToF) that emits the ranging light to the iToF sensor, and the exposure timing and data output timing of the dToF sensor are shown from the top.
  • the timing of the light emission trigger (dToF) that emits the distance measurement light to the dToF sensor are shown.
  • Distance measurement light is emitted by the light emitting unit 203 emitting light, and when the iToF sensor and the dToF sensor measure the distance in the same range, interference occurs when the distance measurement is attempted at the same timing. It is necessary to operate at different timings.
  • a trigger (LD light emitting trigger (LD light emitting trigger) When iToF) is output at a predetermined frequency, light emission and extinguishing are repeated at a predetermined frequency, and distance measurement light is projected.
  • the iToF sensor performs exposure to receive the reflected light, and a pixel signal corresponding to the amount of received light is accumulated.
  • the emission of the ranging light to the iToF sensor has ended. Therefore, at time t21, which is the timing immediately after that (after time t12), the light emitting unit is used to emit the ranging light to the dToF sensor. (LD light emission trigger (dToF)) is output and the distance measurement light is projected.
  • dToF LD light emission trigger
  • the dToF sensor performs exposure to receive the reflected light, and a pixel signal corresponding to the amount of received light is accumulated.
  • iToF light emission trigger
  • the iToF sensor performs exposure to receive the reflected light, and a pixel signal corresponding to the amount of received light is accumulated.
  • the light emission of the distance measuring light to the iToF sensor is finished at the time t14, the light is emitted to emit the distance measuring light to the dToF sensor at the time t23, which is the timing immediately after that (after the time t14).
  • a trigger that causes the unit to emit light (LD light emission trigger (dToF)) is output and distance measurement light is projected.
  • the dToF sensor performs exposure for receiving the reflected light, and a pixel signal corresponding to the amount of received light is accumulated.
  • the projection of the distance measuring light on the iToF sensor and the projection of the distance measuring light on the dToF sensor are alternately repeated, and the pixels of the iToF sensor are projected within the period in which the distance measuring light is projected on the dToF sensor.
  • Data processing is performed on the signal and the distance measurement result is output, and data processing is performed on the pixel signal of the dToF sensor within the period in which the distance measurement light is projected on the iToF sensor, and the distance measurement result is output.
  • the emission (projection) of the ranging light in the dToF sensor and the exposure are noise countermeasures by repeating the exposure and the emission within the exposure period as shown in the upper right part of FIG. At the same time, a histogram is generated.
  • a light emission trigger (dToF) is output at predetermined time intervals and at times t31, t32, ... Tn within the exposure period surrounded by the alternate long and short dash line, and corresponds to this. From the timing, it is shown that the exposures Ex1, Ex2, ... Exn for a predetermined period are repeated.
  • the light emitting trigger (dToF) has a frequency lower than the frequency at which light is emitted as compared with the light emitting trigger (iToF).
  • the control unit 221 switches the light emission setting controlled by the light emission timing control unit 224 to the light emission setting for the iToF block 232.
  • the light emission timing control unit 224 outputs LD communication indicating switching to the light emission setting for the iToF block 232 to the LD 202.
  • the LD202 adjusts the light emitting state of the light emitting unit 203 based on the light emitting setting for the iToF block 232 notified by the LD communication.
  • the light emission setting for the iToF block 232 is, for example, a setting for emitting light at a normal light emission intensity.
  • the light emitting timing control unit 224 outputs a light emitting trigger (iToF) that causes the light emitting unit 203 to emit light to the LD 202 so that the light emitting unit 203 emits light with the light emitting setting for the iToF block 232.
  • iToF light emitting trigger
  • the light emitting unit 203 repeatedly emits light and turns off at a predetermined frequency with normal light emission intensity, and projects distance measurement light to the iToF block 232.
  • the iToF block 232 performs exposure for receiving the reflected light, and outputs a pixel signal according to the amount of received light to the dToF data processing unit 261 of the data processing unit 225.
  • the iToF control unit 252 controls the iToF pixel region 251 to receive the reflected light generated by the distance measurement light being reflected by the object, and output a pixel signal corresponding to the received light amount.
  • the pixel modulation unit 253 modulates the pixel signal output from the iToF pixel area 251 and outputs it to the ADC 254.
  • the ADC (Analog Digital Converter) 254 converts the pixel signal modulated by the pixel modulation unit 253 into a digital signal and outputs it to the data processing unit 225.
  • the light emitting timing control unit 224 stops the output of the light emitting trigger (iToF) that causes the light emitting unit 203 to emit light to the LD 202.
  • the light emitting unit 203 stops emitting light, is turned off, and the projection of the ranging light is stopped.
  • the iToF data processing unit 262 of the data processing unit 225 processes the data of the pixel signal supplied from the iToF block 232, calculates the distance for each pixel, and outputs the data.
  • the data processing unit 291 of the iToF data processing unit 262 performs various processes such as binning processing, filtering processing, and error determination processing on the data based on the pixel signal supplied from the iToF block 232 of the pixel block 223. Is applied and output to the distance measurement calculation unit 292.
  • the distance measurement calculation unit 292 calculates the distance of the data subjected to various processing by the data processing unit 291 by the processing described with reference to FIG. 8, and outputs the data to the output IF 226.
  • the control unit 221 switches the light emission setting controlled by the light emission timing control unit 224 to the light emission setting for the dToF block 231.
  • the light emission timing control unit 224 outputs LD communication indicating switching to the light emission setting for the dToF block 231 to the LD 202.
  • the LD202 adjusts the light emitting state of the light emitting unit 203 based on the light emitting setting for the dToF block 231 notified by the LD communication.
  • the light emission setting for the dToF block 231 is, for example, a setting that makes the light emission intensity higher than the light emission intensity in the light emission setting for the iToF block 232.
  • the light emitting timing control unit 224 outputs a light emitting trigger (dToF) that causes the light emitting unit 203 to emit light to the LD 202.
  • dToF light emitting trigger
  • the light emitting unit 203 emits light with a light emission intensity higher than the light emission intensity in the light emission setting for the iToF block 232, and projects the ranging light to the dToF block 231.
  • the dToF block 231 performs exposure for receiving the reflected light, and outputs a pixel signal according to the amount of received light to the dToF data processing unit 261 of the data processing unit 225.
  • the dToF control unit 242 controls the dToF pixel region 241 to receive the reflected light generated by the distance measurement light being reflected by the object, and output a pixel signal corresponding to the received light amount.
  • the sampling processing unit 243 samples the pixel signal output from the dToF pixel area 241 and outputs the sampling result to the data processing unit 225.
  • the light emitting timing control unit 224 stops the output of the light emitting trigger (dToF) that causes the light emitting unit 203 to emit light to the LD 202.
  • the light emitting unit 203 stops emitting light, is turned off, and the projection of the ranging light is stopped.
  • the dToF data processing unit 261 of the data processing unit 225 processes the pixel signal data supplied from the dToF block 231 and calculates and outputs the distance for each pixel.
  • the histogram generation unit 281 generates a histogram from the sampling result supplied from the dToF block 231 of the pixel block 223 and outputs it to the distance calculation unit 271.
  • the distance calculation unit 282 calculates the distance based on the histogram supplied by the histogram generation unit 281 by the method described with reference to FIG. 7, and outputs the distance to the output IF 226.
  • the control unit 221 sets the emission setting controlled by the emission timing control unit 224 to iToF. Switch to the light emission setting for block 232.
  • the light emission timing control unit 224 outputs LD communication indicating switching to the light emission setting for the iToF block 232 to the LD 202.
  • the LD202 adjusts the light emitting state of the light emitting unit 203 based on the light emitting setting for the iToF block 232 notified by the LD communication.
  • the light emission timing control unit 224 outputs a light emission trigger (iToF) that causes the light emitting unit 203 to emit light in order to emit the distance measurement light to the iToF block 232, and causes the distance measurement light to be projected.
  • iToF light emission trigger
  • the iToF block 232 performs exposure for receiving the reflected light and generates a pixel signal according to the amount of the received light.
  • the control unit 221 sets the light emission setting controlled by the light emission timing control unit 224 to dToF. Switch to the light emission setting for block 231.
  • the light emission timing control unit 224 outputs LD communication indicating switching to the light emission setting for the dToF block 231 to the LD 202.
  • the LD202 adjusts the light emitting state of the light emitting unit 203 based on the light emitting setting for the dToF block 231 notified by the LD communication.
  • the light emitting timing control unit 224 outputs a light emitting trigger (dToF) that causes the light emitting unit 203 to emit light in order to emit the ranging light for the dToF block 231, and causes the light emitting unit 203 to emit light.
  • dToF light emitting trigger
  • the dToF block 231 performs exposure for receiving reflected light and accumulates pixel signals according to the amount of received light.
  • the data is processed based on the pixel signal supplied from the dToF block 231 at the time t54 to t55. , Output the distance measurement result.
  • the control unit 221 sets the light emission setting controlled by the light emission timing control unit 224 immediately after that (after the time t54). Switch to the light emission setting for iToF block 232.
  • the light emission timing control unit 224 outputs LD communication indicating switching to the light emission setting for the iToF block 232 to the LD 202.
  • the LD202 adjusts the light emitting state of the light emitting unit 203 based on the light emitting setting for the iToF block 232 notified by the LD communication.
  • the iToF block 232 performs exposure for receiving reflected light and outputs a pixel signal according to the amount of received light.
  • the projection of the ranging light to the iToF block 232 and the projection of the ranging light to the dToF block 231 are alternately repeated by switching the respective emission settings, and the ranging light to the dToF block 231 is repeated.
  • Data processing is performed on the pixel signal of the iToF block 232 within the period when the light is projected, and the distance measurement result is output. Processing is performed and the distance measurement result is output.
  • the dToF block 231 capable of measuring a long distance and the iToF block 232 capable of measuring a short distance with high accuracy are provided to measure a short distance and a long distance in a time-division manner. Becomes possible.
  • a vehicle exists in front of the center in the image, a road extends behind it, and the front and rear of the vehicle are measured with respect to a space relatively close to the vehicle.
  • the regions Z1 and Z2 are in a relatively short distance range, so the distance measurement result by the iToF block 232 is used to form a relatively long distance range.
  • the distance measurement result by the dToF block 231 for the region Z3 it is possible to improve the distance measurement accuracy as a whole.
  • the light emission timing control unit 224, LD202 and the light emission unit 203 can be shared and used, and the number of parts can be used. It is possible to reduce the cost and the complexity of control by reducing the number of.
  • the processing in the dToF block 231 and the iToF block 232 is time-division processing, only one of the processing results is always output, so that the output IF 226 can be shared. It is possible to reduce the equipment cost.
  • the light emission setting for the dToF block 231 and the light emission setting for the iToF block 232 are usually shown in Example Ex11 of FIG. 17, and the light emission setting for the iToF block 232 is usually shown in the image P51.
  • the light emission setting for the dToF block 231 as the light emission intensity of as shown in the image P52, an example of setting the light emission intensity higher than the normal light emission intensity has been described.
  • the images P51 and P52 of FIG. 17 there is an object Tg11 to be distance-measured.
  • the light emission setting for the dToF block 231 and the light emission setting for the iToF block 232 may be other settings.
  • the light emission setting for the iToF block 232 is set to the normal light emission intensity as shown in the image P61, and the light emission setting for the dToF block 231 is shown in the image P62. As described above, it may be set to emit light as a spot light SP having a brightness higher than a predetermined emission intensity.
  • the spot light SP having a high emission intensity in consideration of diffusion in a long distance realizes the distance measurement at a longer distance. ..
  • the pattern of the spot light SP may be a pattern other than the image P62 of FIG.
  • the light emission setting for the iToF block 232 is set to the normal light emission intensity as shown in the image P71, and the light emission setting for the dToF block 231 is shown in the image P72.
  • the light emission intensity may be normal, but light may be emitted so as to irradiate only the region in the vicinity where the object Tg11 to be measured exists.
  • the pattern of the region where the light emitting unit 203 irradiates the ranging light may be a pattern other than the image P72.
  • the LD202 and the light emitting unit 203 are each one has been described, but the LD202 corresponding to each light emission setting of the iToF block 232 and the dToF block 231 is individually provided. Only the light emitting unit 203 may be shared.
  • the exposure and data output, the light emission trigger output, and the light emission setting do not necessarily have to alternate, and may be other patterns as long as the fixed pattern is repeated.
  • the pattern may be repeated in the order of iToF block 232, iToF block 232, and dToF block 231.
  • the light emission setting for the iToF block 232 (for the light emission setting, from time t0), the output of the light emission trigger, and the exposure are performed, and at times t161 to t152, iToF is performed.
  • the light emission setting, the light emission trigger output, and the exposure may be made to the block 232, and the light emission setting, the light emission trigger output, and the exposure may be made to the dToF block 231 at times t162 to t153. That is, a fixed pattern may be used in which the light emission setting and exposure for each of the iToF block 232, the iToF block 232, and the dToF block 231 are repeated in this order.
  • data is output by the iToF data processing unit 262, at times t162 to t153, data is output by the iToF data processing unit 262, and at times t163 to t154, the dToF data processing unit
  • the data is output by 261, and thereafter, the data output is repeated in the order of the iToF data processing unit 262, the iToF data processing unit 262, and the dToF data processing unit 261.
  • the light emission setting by the dToF block 231 may be set so as to measure a long distance, and the light emission setting by the iToF block 232 may be set only at the timing when an object passes a short distance.
  • the light emission setting is basically made by the dToF block 231.
  • the light emission setting is made by the iToF block 232.
  • An example of a timing chart is shown.
  • the iToF block 232 and the iToF data processing unit 262 output data from time t0 to t205 and time t221 to t224.
  • the light emission setting, the light emission trigger output, and the exposure for the iToF block 232 are performed at time t224 to t206, and the time t206 is set.
  • data is output by the iToF data processing unit 262.
  • Second Embodiment >> In the above, an example in which the iToF pixel area 251 is provided in the iToF block 232 in the pixel block 223 in order to realize a short-distance distance measurement has been described, but it is usual that the iToF pixel area 251 is replaced with a normal pixel. The pixel area may be used.
  • FIG. 20 shows a configuration example of the i / dToF sensor 201'of the distance measuring device 200'in which a normal pixel area is provided instead of the iToF pixel area 251.
  • iToF block 232 is provided with a normal pixel area 501 instead of the iToF pixel area 251 and the iToF data processing unit 262 This is a new point that the image processing unit 511 is provided.
  • the normal pixel area 501 composed of normal pixels can realize the same function as the iToF pixel area 251 and can also capture and output a normal image.
  • the normal pixel area 501 has a mode that functions as an iToF pixel area and a mode that functions as a normal pixel area, and the processing result is output by switching by time division processing.
  • the image processing unit 511 performs image processing using the pixel signal output in the mode in which the normal pixel area 501 functions as the normal pixel area, and outputs the normal image signal to the output IF 226.
  • the feature amount recognized by using the information output as a normal image is associated with the distance measurement result, for example.
  • Features that match the distance measurement results can be grouped and displayed.
  • the image recognition of the user's face face captured by the image and the unevenness of the user's face face based on the distance measurement result can be obtained.
  • the user authentication with higher authentication accuracy may be realized by the unevenness recognition used.
  • FIG. 23 shows a configuration example of a pixel block 601 in which the dToF pixel area 241 and the iToF pixel area 251 are arranged alternately in a predetermined sequence unit.
  • the dToF pixel areas 623-1 to 623-n and the iToF pixel areas 624-1 to 624-n are alternately configured. Unless otherwise specified, the dToF pixel areas 623-1 to 623-n and the iToF pixel areas 624-1 to 624-n are simply referred to as dToF pixel areas 623 and iToF pixel areas 624, respectively.
  • the dToF pixel area 623 and the iToF pixel area 624 are alternately arranged by a predetermined number of columns.
  • the dToF pixel area 623 and the iToF pixel area 624 do not necessarily have to be configured by the same number of columns, and may not have the same size.
  • the size of the pixel Pixi of the iToF pixel area 624 is the pixel Pixd of the dToF pixel area 623.
  • the horizontal direction x vertical direction 2 x 2 times the size
  • the number of pixels Pixi in the iToF pixel area 624 which is twice the number of the pixel Pixd in the dToF pixel area 623, is arranged in the horizontal direction. It may be arranged alternately in the vertical direction.
  • the number of pixels Pixi in the iToF pixel area 624 which is twice the number of the pixel Pixd in the dToF pixel area 623, is alternately arranged in the horizontal direction and the vertical direction, respectively. You may do so.
  • the iToF control unit 621, the dToF control unit 622, the sampling processing unit 645, and the ADC 646 have configurations corresponding to the iToF control unit 252, the dToF control unit 242, the sampling processing unit 243, and the ADC 254 in FIG. 6, respectively.
  • a depth map (Deapth map) is generated, a depth map is output, a distance measurement unnecessary range is determined based on the depth map, and only a range other than the distance measurement unnecessary range is determined based on the determination result.
  • the distance may be measured and output as a depth map.
  • the unnecessary area is, for example, an area farther than a predetermined distance in the depth map. That is, an area in the image in which there is no object that requires distance measurement within a predetermined distance and processing based on object detection is unnecessary may be regarded as an unnecessary area.
  • the unnecessary area is not limited to this, and may be defined as an area in the image at various distances.
  • FIG. 25 outputs the distance measurement result obtained by the dToF block 231 and the dToF data processing unit 261 together with the distance measurement result obtained by the iToF block 232 and the iToF data processing unit 262, and further outputs a depth map.
  • (Deapth map) is generated, the depth map is output, the range that does not require distance measurement is determined based on the depth map, and based on the judgment result, only the range other than the range that does not require distance measurement is measured and the depth map is used.
  • the configuration example of the i / dToF sensor 201'' of the ranging device 200'' is shown.
  • the i / dToF sensor 201 ′′ of FIG. 25 differs from the i / dToF sensor 201 of FIG. 6 in that it is newly provided with a memory 651, a Depth map generation unit 652, and an unnecessary area determination unit 653.
  • a control unit 221'' is provided instead of the control unit 221 in that processing is performed based on the information of the unnecessary area from the determination unit 653.
  • the memory 651 temporarily stores the distance measurement result obtained by the dToF block 231 and the dToF data processing unit 261 and the distance measurement result obtained by the iToF block 232 and the iToF data processing unit 262.
  • the Deapth map generation unit 652 includes the distance measurement result obtained by the dToF block 231 and the dToF data processing unit 261 stored in the memory 651 and the distance measurement result obtained by the iToF block 232 and the iToF data processing unit 262. For the distance measurement result closer than the predetermined distance, the distance measurement result obtained by the iToF block 232 and the iToF data processing unit 262 is used, and for the distance measurement result farther than the predetermined distance, the dToF block 231 and the dToF data.
  • a depth map (Deapth map) is generated using the distance measurement result obtained by the processing unit 261 and output to the output IF 226 and the unnecessary area determination unit 653.
  • the unnecessary area determination unit 653 determines the unnecessary area based on the depth map, and outputs the determination result to the control unit 221 ′′.
  • the unnecessary area determination unit 653 extracts information on an area farther than a predetermined distance in the depth map as unnecessary area information. The determination result is output to the control unit 221''.
  • the control unit 221'' controls the pixel block 223 based on the information of the unnecessary area supplied from the unnecessary area determination unit 653, and dToF pixel area 241 and iToF pixel area 251 of the dToF block 231 and the iToF block 232, respectively. It is controlled so that the distance measurement result is obtained in an area other than the unnecessary area in.
  • FIG. 26 shows an external example of the i / dToF sensor 201 ′′ ′′ in which the pixels of the dToF pixel area 241 and the iToF pixel area 251 are arranged in a line.
  • the i / dToF sensor 201''' has a cylindrical exterior, and dToF is vertically applied to the surface of the cylindrical exterior from the upper bottom to the lower bottom in the drawing.
  • the pixel area 241'''' in which the pixels corresponding to the pixels in the pixel area 241 are arranged in a line shape and the pixel area 251''' in which the pixels corresponding to the pixels in the iToF pixel area 251 are arranged in a line shape are adjacent to each other.
  • a pixel block 223'''arranged in this state is provided.
  • the cylindrical i / dToF sensor 201 ′ ′′ rotates in the direction of the arrow in the figure, and the pixel block 223 ′ ′′ rotates 360 degrees, so that the distance is measured in the direction of 360 degrees in chronological order. Can be realized.
  • the pixel block 223 ′′ can realize distance measurement by driving only the pixels in line units, thus reducing the power consumption when driving the pixels. Since the number of pixels to be driven is small, it is possible to improve the processing speed when the distance is measured by the pixels arranged in line units.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present disclosure may also have the following configuration.
  • ⁇ 1> It has a light emitting unit that emits distance measurement light, a first pixel used for distance measurement in the first ToF (Time of Flight) method, and a second pixel used for distance measurement in the second ToF method.
  • Pixel area and A distance measuring device including the first pixel, the second pixel, and a control unit that controls the light emitting unit.
  • the first ToF method is a direct ToF method
  • the first pixel is composed of an avalanche diode
  • the second ToF method is an indirect ToF method
  • the second pixel is.
  • CAPD Current Assisted Photonic Demodulator
  • the control unit When the first pixel is exposed, it is made to emit light so as to repeatedly emit light and extinguish at a predetermined frequency.
  • the distance measuring device according to ⁇ 2>, wherein when the second pixel is exposed, the light emission is controlled so as to repeat light emission and extinguishment at a frequency higher than the predetermined frequency.
  • the control unit When the first pixel is exposed, the light emitting portion is made to emit light with the first light emission intensity.
  • ⁇ 5> The control unit When the first pixel is exposed, spot light is emitted from the light emitting unit to emit light.
  • ⁇ 7> The distance measuring device according to any one of ⁇ 1> to ⁇ 6>, wherein the control unit exposes the first pixel and the second pixel in a time-division manner.
  • ⁇ 8> The distance measuring device according to ⁇ 7>, wherein the control unit alternately exposes the first pixel and the second pixel at predetermined intervals.
  • ⁇ 9> The distance measuring device according to ⁇ 7>, wherein the control unit exposes the first pixel and the second pixel in a predetermined order.
  • ⁇ 10> The distance measuring device according to ⁇ 7>, wherein the control unit switches the exposure of the first pixel and the second pixel when a predetermined condition is satisfied.
  • ⁇ 11> The distance measuring device according to ⁇ 10>, wherein the control unit starts exposure at the first pixel and switches to exposure of the second pixel based on the distance measuring result of the first pixel. ..
  • ⁇ 12> The distance measuring device according to ⁇ 2>, wherein the pixel area is composed of an area in which the first pixel is concentrated and an area in which the second pixel is concentrated. .. ⁇ 13>
  • ⁇ 15> The measurement according to ⁇ 2>, wherein in the pixel area, a line in which the first pixel is arranged and a line in which the second pixel is arranged are alternately arranged by a predetermined number of lines.
  • Distance device. ⁇ 16> The distance measurement according to ⁇ 2>, wherein in the pixel region, a line in which the first pixel is arranged and a line in which the second pixel is arranged are alternately arranged by a different number of lines.
  • Device. ⁇ 17> The distance measuring device according to ⁇ 2>, wherein the pixel region has a size different from that of the first pixel and the second pixel.
  • the distance measuring device further including a depth map generating unit that generates a depth map based on the distance measuring result by the first pixel and the distance measuring result by the second pixel.
  • the distance measuring device further including an unnecessary area determination unit for determining an unnecessary area among the distance measuring areas by the first pixel and the second pixel based on the depth map. .. ⁇ 20> It has a light emitting unit that emits distance measurement light, a first pixel used for distance measurement in the first ToF (Time of Flight) method, and a second pixel used for distance measurement in the second ToF method.
  • ToF Time of Flight
  • Pixel area and In a distance measuring method of a distance measuring device including the first pixel, the second pixel, and a control unit that controls the light emitting unit.
  • the control unit is a distance measuring method including a step of controlling the first pixel, the second pixel, and the light emitting unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示は、測距方式の異なる複数のセンサを低コストで組み合わせて使用できるようにする測距装置および測距方法に関する。 direct ToF方式の測距に用いるSPADからなる画素と、indirect ToF方式の測距に用いるCAPD（Current Assisted Photonic Demodulator）または通常画素より構成される画素からなる画素領域と、発光部とを共有制御する。本開示は、測距装置に適用することができる。

Description

測距装置および測距方法
　本開示は、測距装置および測距方法に関し、特に、測距方式の異なる複数のセンサを低コストで組み合わせて使用できるようにした測距装置および測距方法に関する。
　近年、注目されている測距方式として、ToF（Time-of-Flight）法により距離計測を行う測距センサが注目されている。
　測距センサには、遠距離を測距可能なdirect ToF方式と、比較的近距離を高精度に測定可能なindirect ToF方式とがある。
　例えば、特許文献１には、direct ToF方式の測距センサが開示されている。
　また、特許文献２には、indirect ToF方式の測距センサが開示されている。
国際公開第２０１８／０７４５３０号 特開２０１１－８６９０４号公報
　ところで、測距装置を構成するにあたって、測距方式が異なる複数の測距センサを用いることで、幅広い測距レンジをカバーすることが可能となる。
　しかしながら、単純に、direct ToF方式の測距センサと、indirect ToF方式の測距センサとを組み合わせると、装置規模が大きくなり、コストが増大する。
　本開示は、このような状況に鑑みてなされたものであり、特に、測距方式の異なる複数のセンサを低コストで組み合わせて使用できるようにするものである。
　本開示の一側面の測距装置は、測距光を発光する発光部と、第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部とを備える測距装置である。
　本開示の一側面の測距方法は、測距光を発光する発光部と、第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部とを備える測距装置の測距方法であって、前記制御部は、前記第１の画素、および前記第２の画素、並びに前記発光部を制御するステップを含む測距方法である。
　本開示の一側面においては、測距光を発光する発光部と、第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域の前記第１の画素、および前記第２の画素が制御される。
測距装置が車両に搭載された場合の検出範囲の例を示す図である。 iToFセンサと、dToFセンサとを備える測距装置の構成例を説明する図である。 iToFセンサと、dToFセンサとを備える測距装置のその他の構成例を説明する図である。 iToFセンサと、dToFセンサとを備える測距装置の制御を説明する図である。 本開示の測距装置の概要を説明する図である。 本開示の測距装置の第１の実施の形態の構成例を説明する図である。 dTOFセンサによる測距方法を説明する図である。 iTOFセンサによる測距方法を説明する図である。 dTOF画素領域の画素の第１の構成例を示す図である。 dTOF画素領域の画素の第２の構成例を示す図である。 dTOF画素領域の画素の第３の構成例を示す図である。 dTOF画素領域の画素の第４の構成例を示す図である。 iTOF画素領域の画素の第１の構成例を示す図である。 iTOF画素領域の画素の第２の構成例を示す図である。 図６の測距装置の動作を説明するタイミングチャートである。 図６の測距装置による測距結果により得られるデプス画像の例を説明する図である。 発光設定の例を説明する図である。 図６の測距装置のその他の動作を説明するタイミングチャートである。 図６の測距装置のさらにその他の動作を説明するタイミングチャートである。 本開示の測距装置の第２の実施の形態の構成例を説明する図である。 図２０の測距装置による測距結果の第１の適用例を説明する図である。 図２０の測距装置による測距結果の第２の適用例を説明する図である。 i/dToFセンサのバリエーションの例を説明する図である。 i/dToFセンサのバリエーションの例を説明する図である。 本開示の測距装置の第１の応用例を説明する図である。 本開示の測距装置の第２の応用例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
＜＜１．本開示の概要＞＞
　図１を参照し、車両に搭載される測距装置を例として、本開示の測距装置の概要について説明する。
　図１の右部で示されるように、車両１に測距装置１１が搭載される場合、図中の上方となる、車両１の進行方向に対しては、例えば、高速走行している状況などで衝突回避行動をとるために、車両１から所定の距離より遠方の領域ＺＦにおける物体を測距できるようにする必要がある。
　また、車両１が、図中上方となる進行方向に対して、例えば、歩行者が歩行している狭い路地などを走行する場合、車両１から所定の距離より近傍の領域ＺＮにおける物体を測距できるようにする必要がある。
　ToF方式の測距センサを用いる場合、一般に、図１の領域ＺＦで示される車両１の遠方の領域を検出するときには、direct ToF方式の測距センサが用いられ、図１の領域ＺＮで示される車両１の近傍の領域を検出するときには、indirect ToF方式の測距センサが用いられる。
　以下、direct ToF方式の測距センサについては、dToFセンサと称し、indirect ToF方式の測距センサについては、iToFセンサと称する。
　ここで、iToFセンサは、測距光が発光されたタイミングから、物体により測距光が反射されることで生じる反射光が受光されるタイミングまでの飛行時間を位相差として検出し、物体までの距離を算出する方式の測距センサであり、所定の距離より近傍の範囲の測距を高精度に実現することができる。
　また、dToFセンサは、測距光が発光されたタイミングから、物体により測距光が反射されることで生じる反射光が受光されるタイミングまでの飛行時間を直接計測し、物体までの距離を算出する測距センサであり、所定の距離より遠方の範囲の測距を実現することができる。
　従って、図１の車両１から遠方の領域である領域ＺＦと、車両１から近傍の領域である領域ＺＮとの両方の領域における物体の測距を実現するには、少なくともiToFセンサと、dToFセンサとの両方を備えた測距装置１１が必要となる。
　そこで、iToFセンサと、dToFセンサとを、単純に、両方備えるようにした場合、測距装置１１は、図２で示されるような構成となる。
　図２の測距装置１１は、iToFセンサ３１を備えたiToFブロック２１と、dToFセンサ５１を備えたdToFブロック２２とを備えている。
　より詳細には、iToFブロック２１は、iToFセンサ３１、LD（レーザドライバ）３２、および発光部３３を備えている。
　iToFセンサ３１は、CAPD（Current Assisted Photonic Demodulator）などの受光素子からなり、LD３２に対して発光部３３の発光を指示する発光トリガを供給する。
　LD３２は、発光トリガに基づいて、VCSEL LED（Vertical Cavity Surface Emitting LASER LED）などからなる発光部３３を、所定の高周波で連続変調させて、発光と消灯とを繰り返させる。
　iToFセンサ３１は、発光部３３により発せられた測距光が物体により反射された反射光を受光し、発光トリガに基づいて、発光部３３を発光させるタイミングから、発光部３３により発せられた光が物体により反射された反射光を受光するタイミングまでの飛行時間を、発光部３３の所定の高周波で点滅変調された光の位相差として検出し、物体までの距離を算出する。
　また、dToFブロック２２は、dToFセンサ５１、LD（レーザドライバ）５２、および発光部５３を備えている。
　dToFセンサ５１は、SPAD（Single Photon Avaranche Diode）などの受光素子からなり、LD５２に対して発光部５３の発光を指示する発光トリガを供給する。
　LD５２は、VCSEL LED（Vertical Cavity Surface Emitting LASER LED）などからなる発光部５３を、例えば、スポット光として発光させる。
　dToFセンサ５１は、発光部５３により発せられた測距光が物体により反射された反射光を受光し、発光トリガに基づいて、発光部５３を発光させるタイミングから、発光部５３により発せられた測距光が物体により反射されたスポット光からなる反射光を受光するタイミングまでの飛行時間を直接検出し、物体までの距離を算出する。
　しかしながら、図２の構成からなる測距装置１１は、iToFブロック２１、およびdToFブロック２２のそれぞれが、センサ、LD、および発光部を備えた構成となるため、装置構成が大型化し、コストを増大させる。
　そこで、LD、および発光部については、iToFセンサとdToFセンサとで共用することで、装置構成を簡素化することが考えられる。
　より詳細には、図３で示されるように、測距装置７１は、iToFセンサ８１、dToFセンサ８２、LD８３、および発光部８４を備えている。
　尚、iToFセンサ８１、およびdToFセンサ８２は、それぞれ図２のiToFセンサ３１、およびdToFセンサ５１に対応する構成であり、同一の機能を備えている。
　また、LD８３、および発光部８４は、それぞれ図２のLD３２，５２、および発光部３３，５３に対応する構成である。
　iToFセンサ８１、およびdToFセンサ８２からの発光トリガがLD８３に供給されると、LD８３は、発光部８４を発光させることにより測距がなされる範囲に対して測距光を投光し、測距光の発光タイミングと、物体により測距光が反射された反射光が受光されるタイミングとの差分となる飛行時間が測定されて、物体までの距離が測定される。
　ただし、iToFセンサ８１、およびdToFセンサ８２が同一領域の物体からの反射光を受光する場合、iToFセンサ８１においては、高周波の連続変調光が受光されることで位相差から飛行時間が検出されるが、dToFセンサ８２においては、スポット光が受光されることにより直接飛行時間が検出される。
　このため、iToFセンサ８１、およびdToFセンサ８２は、受光する光の周波数が異なるため、同時に投光すれば混信が生じることになるので、相互に時分割処理により、異なるタイミングで動作させる必要がある。
　そこで、iToFセンサ８１、およびdToFセンサ８２が時分割処理によりLD８３を制御して、発光部８４を発光させて、異なるタイミングで測距を行うことが考えられる。
　しかしながら、図３の構成の場合、iToFセンサ８１よりLD８３に供給される発光トリガは高周波信号であるため、dToFセンサ５１への配線において反射が生じて、発光トリガの波形を変形させてしまうことにより、適切な測距ができない恐れがあり、単純にLDや発光部を共用させることができない。
　また、図２を参照して説明したように、iToFブロック２１、およびdToFブロック２２が設けられ、iToFセンサ３１、およびdToFセンサ５１が独立して構成される場合、相互に時分割処理がなされることになるため、制御が複雑になる。
　例えば、図４で示されるように、iToFセンサ１１１、LD１１２、および発光部１１３、並びに、dToFセンサ１１４、LD１１４、および発光部１１５からなり、２種類のiToFセンサとdToFセンサとがそれぞれ独立して設けられた測距装置１０２が、制御装置１０１により制御される場合について考える。
　ここで、iToFセンサ１１１、LD１１２、および発光部１１３、並びに、dToFセンサ１１４、LD１１５、および発光部１１６は、図１のiToFセンサ３１、LD３２、および発光部３３、並びに、dToFセンサ５１、LD５２、および発光部５３と対応する構成である。
　制御装置１０１は、iToFセンサ１１１、およびdToFセンサ１１４に対して同期信号を供給しつつ、相互に異なるタイミングで発光リクエストを供給する。
　iToFセンサ１１１、およびdToFセンサ１１４は、制御装置１０１からの発光リクエストに応じて、発光トリガを発生して、それぞれLD１１２，１１５を制御して、発光部１１３，１１６より測距光を発光させる。
　発光部１１３，１１６より発光された測距光に基づいて、iToFセンサ１１１、およびdToFセンサ１１４は、測距光が物体により反射されることで生じる反射光を受光し、発光トリガが出力されたタイミングから、反射光が受光されたタイミングまでの飛行時間を検出して、距離を測定する。
　または、制御装置１０１が、iToFセンサ１１１、およびdToFセンサ１１４のいずれか一方に同期信号を供給して、発光リクエストを供給し、発光リクエストを受けたいずれか一方が、発光部１１３，１１６より測距光を発光させて、物体からの反射光を受光して測距を行う。
　このとき、発光リクエストを受けたiToFセンサ１１１、およびdToFセンサ１１４のいずれか一方が、他方に対して発光リクエストを供給し、供給を受けたiToFセンサ１１１、およびdToFセンサ１１４のいずれか他方が、発光部１１３，１１６を発光させて、反射光を受光して測距を行いデータ出力を制御装置１０１に返す。
　このような処理のいずれかにより、iToFセンサ１１１、およびdToFセンサ１１４が時分割に物体までの距離を求める。
　しかしながら、iToFセンサ１１１、およびdToFセンサ１１４の相互の動作が重ならないように適切に制御する必要があり、動作を適切に制御するための装置構成、および制御が複雑なものとなる。
　そこで、本開示においては、図５で示されるように、iToFセンサ、およびdToFセンサの双方を含んだi/dToFセンサ１４１、LD１４２、および発光部１４３を備えた測距装置１３２を制御装置１３１で制御する構成とする。
　i/dToFセンサ１４１は、iToFセンサ、およびdToFセンサを備えているので、制御装置１３１からの同期信号を受けると、自らでiToFセンサ、およびdToFセンサの動作タイミングを切り替えて動作し、発光リクエストに基づいてLD１４２に対して発光トリガを供給して、発光部１４３より測距光を発光させる。
　これにより、制御装置１０１は、測距の指示と、データ出力を取得するだけでよくなるので、iToFセンサ、およびdToFセンサを区別して制御する必要がなくなるので、制御に係る処理負荷を低減させると共に、処理速度を向上させることが可能となる。
　また、iToFセンサ、およびdToFセンサを区別して制御する必要がないので、iToFセンサ、およびdToFセンサを区別して制御するための配線等が不要となるので、装置構成をより簡素化し、コストを低減させることが可能となる。
＜＜２．第１の実施の形態＞＞
　次に、図６を参照して、本開示の測距装置の第１の実施の形態の構成例について説明する。
　図６の測距装置２００は、i/dToFセンサ２０１、LD２０２、および発光部２０３より構成される。
　尚、図６の測距装置２００は、図５の測距装置１３２に対応する構成であり、図６のi/dToFセンサ２０１、LD２０２、および発光部２０３は、図５におけるi/dToFセンサ１４１、LD１４２、および発光部１４３に対応する構成である。
　i/dToFセンサ２０１は、制御部２２１、通信部２２２、画素ブロック２２３、発光タイミング制御部２２４、データ処理部２２５、出力IF（Interface）２２６を備えている。
　制御部２２１は、i/dToFセンサ２０１の動作の全体を制御する。
　より詳細には、制御部２２１は、通信部２２２を制御して、図５における制御装置１３１に対応する外部の制御装置からの発光リクエストや同期信号に基づいて、発光タイミング制御部２２４を制御して、発光トリガを発生させ、LD２０２に供給する。
　LD２０２は、i/dToFセンサ２０１からの発光トリガに基づいて、発光部２０３を制御して、測距光を発光させる。
　また、制御部２２１は、画素ブロック２２３を制御して、発光部２０３により発光された測距光が物体により反射された反射光を受光させ、光量に応じた信号をデータ処理部２２５に出力させる。
　さらに、制御部２２１は、データ処理部２２５を制御して、画素ブロック２２３より供給される物体からの反射光が受光されることにより生じる光量に応じた信号に基づいて、データ処理を実行させて、物体までの距離を算出させて出力IF２２６を介して図５における制御装置１３１に対応する外部の制御装置に出力させる。
　画素ブロック２２３は、dToFセンサとして機能するdToFブロック２３１およびiToFセンサとして機能するiToFブロック２３２を備えている。すなわち、画素ブロック２２３は、dToFセンサとしての機能とiToFセンサとしての機能とを併せ持った構成を備えている。
　dToFブロック２３１は、dToF画素領域２４１、dToF制御部２４２、およびサンプリング処理部２４３を備えている。
　dToF画素領域２４１は、SPADからなる画素がアレイ状に配置された構成とされており、dToF制御部２４２により制御されて、測距光が物体により反射することにより生じる反射光を受光し、受光した光量に応じた画素信号を出力する。
　サンプリング処理部２４３は、dToF画素領域２４１より出力される画素信号をサンプリング処理し、データ処理部２２５に出力する。
　iToFブロック２３２は、iToF画素領域２５１、iToF制御部２５２、画素変調部２５３、およびADC２５４を備えている。
　iToF画素領域２５１は、CAPD（Current Assisted Photonic Demodulator）からなる画素がアレイ状に配置された構成とされており、iToF制御部２５２により制御されて、測距光が物体により反射することにより生じる反射光を受光し、受光した光量に応じた画素信号を蓄積し、出力する。
　画素変調部２５３は、iToF画素領域２５１より出力される画素信号に変調を掛けてADC２５４に出力させる。
　ADC（Analog Digital Converter）２５４は、画素変調部２５３により変調が掛けられた画素信号を、アナログ信号からデジタル信号に変換してデータ処理部２２５に出力する。
　データ処理部２２５は、dToFデータ処理部２６１およびiToFデータ処理部２６２を備えている。
　dToFデータ処理部２６１は、画素ブロック２２３のdToFブロック２３１より供給される画素信号のサンプリング結果に基づいて、測距演算を実現する。
　より詳細には、dToFデータ処理部２６１は、ヒストグラム生成部２８１、および距離算出部２８２を備えている。
　ヒストグラム生成部２８１は、画素ブロック２２３のiToFブロック２３２より供給されるサンプリング結果よりヒストグラムを生成し、距離算出部２８２に出力する。
　距離算出部２８２は、ヒストグラム生成部２８１より供給されるヒストグラムに基づいて、距離を算出して出力IF２２６に出力する。
　すなわち、図７の上段で示されるように、発光部２０３より発せられる、図中の右向き矢印の測距光が、物体Ｔｇで反射されると、図中の左向き矢印で示される反射光が生じ、反射光を構成するフォトンがdToF画素領域２４１を構成するSPADからなる画素により受光され、光量に応じた画素信号がサンプリング処理されて。dToFデータ処理部２６１に供給される。
　そして、dToFデータ処理部２６１のヒストグラム生成部２８１は、サンプリングされた画素信号に基づいて、図７の下段で示されるようなヒストグラムＨｇを生成する。
　より詳細には、ヒストグラム生成部２８１は、外光や暗電流の影響を除去するための複数の画素信号を加算すると共に、複数回数の発光と受光とを繰り返した積算結果よりヒストグラムＨｇを生成する。
　距離算出部２８２は、ヒストグラムＨｇに基づいて、発光タイミングである時刻ｔ０とピーク時刻ｔｐとの差分となる時間Ｄｓに基づいて、画素ブロック２２３のうちのdToFブロック２３１の検出結果に対応する距離を算出する。
　iToFデータ処理部２６２は、画素ブロック２２３のiToFブロック２３２より供給される画素信号に基づいて、測距処理を実現する。
　より詳細には、iToFデータ処理部２６２は、データ処理部２９１、および測距演算部２９２を備えている。
　データ処理部２９１は、画素ブロック２２３のiToFブロック２３２より供給される画素信号に基づいたデータにビニング処理、フィルタ処理、およびエラー判定処理等の各種の処理を施し、測距演算部２９２に出力する。
　測距演算部２９２は、データ処理部２９１より供給された各種の処理が施されたデータを処理することにより、距離を算出して出力IF２２６に出力する。
　すなわち、iToF画素領域２５１を構成する各画素は、図８の上部で示されるように、発光部２０３が高周波数で繰り返す発光と消灯により生じる、右方向の矢印で示される測距光が、物体Ｔｇにより反射されることにより生じる左方向の矢印で示される反射光を、所定位相差だけ異なる第１のタイミングで得られる画素信号と、第２のタイミングで得られる画素信号として蓄積する。
　ここで、同一画素について、第１のタイミングで得られる画素信号をＴＡＰＡとし、第２のタイミングで得られる画素信号ＴＡＰＢとする。
　また、図８の左下部においては、第１のタイミングにおける画素信号ＴＡＰＡの蓄積結果は、右上がりの斜線部で示される画素値Ｑ１であり、第１のタイミングに対して所定位相差だけ異なる第２のタイミングにおける画素信号の蓄積結果が、右下がりの斜線部で示される画素値Ｑ２である。
　このとき、図８の右下点線枠Ｗ内の発光部２０３の発光タイミングが波形Illuminationで示され、発光部２０３が時刻ｔ０から時間Ｔｐだけ発光する場合、反射光は、物体Ｔｐで反射してから受光されることにより、例えば、受光タイミングを示す波形Reflectionは、測距光が発光部２０３から物体Ｔｐまでの距離を往復する時間だけ遅延した波形として受光される。
　また、画素信号ＴＡＰＡが、波形Exp.1で示されるタイミングにおいて反射光を受光し、画素信号ＴＡＰＢが、波形Exp.2で示されるタイミングにおいて反射光を受光すると、例えば、図８の左下部における点線で囲まれる範囲ＺＥに対応する所定の画素については、画素信号ＴＡＰＡの画素値Ｑ１は、矩形状の波形Exp.1の全面積のうちの右上がり斜線部に対応し、画素信号ＴＡＰＢの画素値Ｑ２が、矩形状の波形Exp.2の全面積のうちの右下がりの斜線部に対応する。
　そこで、データ処理部２９１が、画素値Ｑ１，Ｑ２にビニング処理、フィルタ処理、およびエラー判定処理等の各種の処理を施した後、測距演算部２９２が、画素値Ｑ１，Ｑ２の比を用いて、反射光の受光タイミングにおける遅延時間（Delay Time）を求めて、遅延時間（Delay Time）に基づいて、画素ブロック２２３のうちのiToFブロック２３２の検出結果に対応する物体Ｔｇまでの距離（Distance）を演算する。
　また、上述したdToFブロック２３１、およびdToFデータ処理部２６１に基づいた測距（以下、dToF測距とも称する）と、iToFブロック２３２、およびiToFデータ処理部２６２に基づいた測距（以下、iToF測距とも称する）とは、上述したように発光部２０３の測距光の発光タイミングが異なるため、dToF測距とiToF測距とは同時に実行することはできず、異なるタイミングで実行する必要がある。
　このため、制御部２２１は、発光タイミング制御部２２４を制御して、dToF測距がなされるタイミングと、iToF測距がなされるタイミングとに応じて、それぞれの処理に対応した測距光が発光部２０３においる発光されるように発光設定を調整する。
　＜dToF画素領域を構成する画素の第１の例＞
　次に、図９を参照して、dToF画素領域２４１を構成する画素の第１の例について説明する。
　図９のdToF画素領域２４１を構成する画素３０１は、負荷素子（LOAD素子）３２１、SPADからなる光電変換素子３２２、およびインバータ３２３より構成される。
　より詳細には、負荷素子３２１は、一方の端子が電源電位Ｖｃｃと接続され、他方の端子が光電変換素子３２２のカソード、およびインバータ３２３の入力端子と接続されている。
　光電変換素子３２２は、カソードに負荷素子３２１の他方の端子、およびインバータ３２３の入力端子が接続されており、アノードに外部から所定電源電位ＶＡＮが印可されている。
　インバータ３２３は、入力端子に負荷素子３２１の他方の端子および光電変換素子３２２のカソードが接続されている。
　図９の画素３０１は、受動的回復（パッシブリチャージ）回路と呼ばれる構成であり、クエンチングにより生じた電圧降下を受動的に回復させる。
　＜dToF画素領域を構成する画素の第２の例＞
　次に、図１０を参照して、dToF画素領域２４１を構成する画素の第２の例について説明する。
　図１０のdToF画素領域２４１を構成する画素３０１’は、MOSFET３４１，３４２、SPADからなる光電変換素子３４３、インバータ３４４、および遅延回路３４５より構成される。
　より詳細には、MOSFET３４１は、ソースが電源電位Ｖｃｃと接続され、ゲートがインバータ３４４の入力端子、および、遅延回路３４５の入力端子と接続され、ドレインが、光電変換素子３４３のカソード、MOSFET３４２のドレイン、およびインバータ３４４の入力端子と接続されている。
　MOSFET３４２は、ソースが電源電位Ｖｃｃと接続され、ゲートが遅延回路３４５の出力端子と接続され、ドレインが、光電変換素子３４３のカソード、MOSFET３４１のドレイン、およびインバータ３４４の入力端子と接続されている。
　光電変換素子３４３は、カソードにMOSFET３４１，３４２のそれぞれのドレイン、およびインバータ３２３の入力端子が接続されており、アノードに外部から所定電源電位ＶＡＮが印可されている。
　インバータ３４４は、入力端子にMOSFET３４１，３４２のそれぞれのソースおよび光電変換素子３２２のカソードが接続されている。
　遅延回路３４５は、入力端子にMOSFET３４１のゲートおよびインバータの出力端子が接続されており、出力端子にMOSFET３４２のゲートが接続されている。
　図１０の画素３０１’は、能動的回復（アクティブリチャージ）回路と呼ばれる構成であり、遅延回路３４５が、インバータ３４４の出力と調整信号S_Delayとに基づいて、遅延信号をMOSFET３４２のゲートに遅延信号を出力することで、クエンチングにより生じた電圧降下を能動的に回復させる構成とされる。
　＜dToF画素領域を構成する画素の第３の例＞
　次に、図１１を参照して、dToF画素領域２４１を構成する画素の第３の例について説明する。
　図１１のdToF画素領域２４１を構成する画素３０１’’は、負荷素子（LOAD素子）３６１、SPADからなる光電変換素子３６２、MOSFET３６３、インバータ３６４、および遅延回路３６５より構成される。
　より詳細には、負荷素子３６１は、一方の端子が電源電位Ｖｃｃと接続され、他方の端子が光電変換素子３２２のカソード、MOSFET３６３のドレイン、およびインバータ３６４の入力端子と接続されている。
　光電変換素子３６２は、カソードに負荷素子３６１の他方の端子が接続され、MOSFET３６３のドレイン、およびインバータ３２３の入力端子に接続されており、アノードに外部から所定電源電位ＶＡＮが印可されている。
　MOSFET３６３は、ソースが電源電位Ｖｃｃと接続され、ゲートが遅延回路３６５の出力端子と接続され、ドレインが、負荷素子３６１の他方の端子、光電変換素子３６２のカソード、およびインバータ３６４の入力端子に接続されている。
　インバータ３６４は、入力端子が、負荷素子３６１の他方の端子、光電変換素子３２２のカソード、およびMOSFET３６３のドレインが接続されており、出力端子が、遅延回路３６５の入力端子に接続されている。
　遅延回路３６５は、入力端子が、インバータ３６４の出力端子を接続され、出力端子がMOSFET３６３のゲートに接続されている。
　図１１の画素３０１’’は、能動的回復（アクティブリチャージ）回路と呼ばれる構成であり、遅延回路３６５が、インバータ３６４の出力と調整信号S_Delayとに基づいて、遅延信号をMOSFET３６３のゲートに出力することで、クエンチングにより生じた電圧降下を能動的に回復させる構成とされる。
　＜dToF画素領域を構成する画素の第４の例＞
　以上においては、受動的回復（パッシブリチャージ）回路からなる画素と能動的回復（アクティブリチャージ）回路からなる画素とを説明してきたが、両方を組み合わせるようにして、切り替えて使用するようにしてもよい。
　すなわち、図１２は、受動的回復回路からなる画素と能動的回復回路からなる画素とが組み合わされて、切り替えて使用される、dToF画素領域２４１を構成する画素の例である。
　図１２のdToF画素領域２４１を構成する画素３０１’’’は、受動的構成部３７１と能動的構成部３７２とから構成される。
　受動的構成部３７１は、負荷素子（LOAD素子）３８１、スイッチ３８２、およびSPADからなる光電変換素子３８３を備える。
　また、能動的構成部３７２は、MOSFET３９１，３９２、スイッチ３９３，３９４、インバータ３９５、および遅延回路３９６を備えている。
　ここで、受動的構成部３７１の負荷素子３８１、および光電変換素子３８３、および能動的構成部３７２のインバータ３９５は、図９の負荷素子３２１、光電変換素子３２２、およびインバータ３２３に対応する構成である。
　また、能動的構成部３７２のMOSFET３９１，３９２、インバータ３９５、および遅延回路３９６は、図１０のMOSFET３４１，３４２、インバータ３４４、および遅延回路３４５に対応する構成である。
　そして、スイッチ３８２とスイッチ３９１，３９２のオンオフを相互に排他的に切り替えるようにすることで、受動的構成部３７１を機能させるか、能動的構成部３７２を機能させるかを切り替える。
　図１２においては、スイッチ３８２がオフとされ、スイッチ３９１，３９２がオンとされることにより、能動的構成部３７２が機能する状態が示されている。当然のことながら、図１２の状態とは逆に、スイッチ３８２がオンとされ、スイッチ３９１，３９２がオフとされることで、受動的構成部３７１が機能する状態に切り替えることが可能である。
　＜iToF画素領域を構成する画素の第１の例＞
　次に、図１３を参照して、iToF画素領域を構成する画素の第１の例について説明する。尚、iToF画素領域を構成する画素は、２つの領域に分けられており、所定時間間隔の位相差が生じた状態で動作するように制御される。ここでは、２つの領域のそれぞれに対応する構成については、符号に「Ａ」および「Ｂ」と付すことにより区別することにする。
　図１３の画素４０１は、選択トランジスタ４２１Ａ，４２１Ｂ、増幅トランジスタ４２２Ａ，４２２Ｂ、FDゲートトランジスタ４２３Ａ，４２３Ｂ、転送トランジスタ４２４Ａ，４２４Ｂ，リセットトランジスタ４２５、PD（光電変換素子）４２６、付加容量４２７Ａ，４２７Ｂ、FD（浮遊拡散領域）４２８Ａ，４２８Ｂを備える。
　転送トランジスタ４２４Ａ，４２４Ｂは、それぞれゲートに供給される転送駆動信号TRGがアクティブにされると導通状態となり、PD４２６に蓄積されている電荷をFD４２７Ａ，４２７Ｂに転送する。
　尚、図１３においては、転送駆動信号TRGが１つで、転送トランジスタ４２４Ａ，４２４Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　FD４２８Ａ，４２８Ｂは、PD４２６から転送された電荷を一時的に蓄積し保持する電荷蓄積部である。
　FDゲートトランジスタ４２３Ａ，４２３Ｂは、ゲートに供給されるFD駆動信号FDGがアクティブ状態になると導通状態となり、FD４４８Ａ，４４８Ｂと付加容量４２９Ａ，４２９Ｂに接続させる。
　尚、図１３においては、FD駆動信号FDGが１つで、FDゲートトランジスタ４２３Ａ，４２３Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　リセットトランジスタ４２５は、ゲートに供給されるリセット駆動信号RSTがアクティブ状態になると導通し、PD４２６の電位をリセットする。
　増幅トランジスタ４２２Ａ，４２２Ｂは、ソース電極がトランジスタ４２１Ａ，４２１Ｂを介して垂直転送線ＶＳＬＡ，ＶＳＬＢと接続されることにより不図示の定電流源と接続し、ソースフォロワ回路を構成する。
　選択トランジスタ４２１Ａ，４２１Ｂは、増幅トランジスタ４２２Ａ，４２２Ｂと垂直転送線ＶＳＬＡ，ＶＳＬＢとの間に接続されており、ゲートに供給される選択信号SELがアクティブ状態になると導通し、増幅トランジスタ４２２Ａ，４２２Ｂより出力される信号を、垂直転送線ＶＳＬＡ，ＶＳＬＢに出力する。
　尚、図１３においては、選択信号SELが１つで、選択トランジスタ４２１Ａ，４２１Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　次に、図１３の画素４０１の動作について説明する。
　受光が行われる前に全画素４０１の電荷がリセットされる。
　すなわち、FDゲートトランジスタ４２３Ａ，４２３Ｂ、転送トランジスタ４２４Ａ，４２４Ｂ、およびリセットトランジスタ４２５がオンにされて、PD４４７，FD４４８Ａ，４４８Ｂの蓄積電荷が排出される。
　蓄積電荷の排出後、全画素４０１で受光が開始される。
　すなわち、転送トランジスタ４２４Ａ，４２４Ｂが交互に駆動される。これにより、PD４２６により蓄積された電荷がFD４２８Ａ，４２８Ｂに交互に振り分けられて蓄積される。
　画素４０１が受光する反射光は、光源が測距光を発光したタイミングから物体に距離に応じて遅延されて受光される。
　このとき、図８を参照して説明したように、物体までの距離に応じた遅延時間により、FD４２８Ａ，４２８Ｂに蓄積される電荷の配分が変化するため、FD４２８Ａ，４２８Ｂに蓄積される電荷の配分比から物体までの距離を求めることが可能となる。
　＜iToF画素領域を構成する画素の第２の例＞
　次に、図１４を参照して、iToF画素領域を構成する画素の第２の例について説明する。
　図１４の画素４０１’は、選択トランジスタ４４１Ａ，４４１Ｂ、増幅トランジスタ４４２Ａ，４４２Ｂ、転送トランジスタ４４３Ａ，４４３Ｂ、FDゲートトランジスタ４４４Ａ，４４４Ｂ、リセットトランジスタ４４５Ａ，４４５Ｂ、オーバーフローゲートトランジスタ４４６、PD（光電変換素子）４４７、およびFD（浮遊拡散領域）４４８Ａ，４４８Ｂを備える。
　転送トランジスタ４４３Ａ，４４３Ｂは、それぞれゲートに供給される転送駆動信号TRGがアクティブにされると導通状態となり、PD４４７に蓄積されている電荷をFD４４８Ａ，４４８Ｂに転送する。
　尚、図１４においては、転送駆動信号TRGが１つで、転送トランジスタ４４３Ａ，４４３Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　FD４４８Ａ，４４８Ｂは、PD４４７から転送された電荷を一時的に蓄積し保持する電荷蓄積部である。
　FDゲートトランジスタ４４４Ａ，４４４Ｂは、ゲートに供給されるFD駆動信号FDGがアクティブ状態になると導通状態となり、FD４４８Ａ，４４８Ｂとリセットトランジスタ４４５Ａ，４４５Ｂに接続させる。
　尚、図１４においては、FD駆動信号FDGが１つで、FDゲートトランジスタ４４４Ａ，４４４Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　リセットトランジスタ４４５Ａ，４４５Ｂは、ゲートに供給されるリセット駆動信号RSTがアクティブ状態になると導通し、FDゲートトランジスタ４４４Ａ，４４４Ｂと接続され、FDゲートトランジスタ４４４Ａ，４４４Ｂが導通状態であるとき、FD４４８Ａ，４４８Ｂの電位をリセットする。
　尚、図１４においては、リセット駆動信号RSTが１つで、リセットトランジスタ４４５Ａ，４４５Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　オーバーフローゲートトランジスタ４４６は、ゲートに供給される排出駆動信号OFGがアクティブ状態になると導通し、PD４４７に蓄積された電荷を排出する。
　増幅トランジスタ４４２Ａ，４４２Ｂは、ソース電極がトランジスタ４４１Ａ，４４１Ｂを介して垂直転送線ＶＳＬＡ，ＶＳＬＢと接続されることにより不図示の定電流源と接続し、ソースフォロワ回路を構成する。
　選択トランジスタ４４１Ａ，４４１Ｂは、増幅トランジスタ４４２Ａ，４４２Ｂと垂直転送線ＶＳＬＡ，ＶＳＬＢとの間に接続されており、ゲートに供給される選択信号SELがアクティブ状態になると導通し、増幅トランジスタ４４２Ａ，４４２Ｂより出力される信号を、垂直転送線ＶＳＬＡ，ＶＳＬＢに出力する。
　尚、図１４においては、選択信号SELが１つで、選択トランジスタ４４１Ａ，４４１Ｂを共有する構成とされているが、現実にはそれぞれ個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
　次に、図１４の画素４０１’の動作について説明する。
　受光が行われる前に全画素４０１’の電荷がリセットされる。
　すなわち、FDゲートトランジスタ４４４Ａ，４４４Ｂ、オーバーフローゲートトランジスタ４４６、リセットトランジスタ４４５Ａ，４４５Ｂがオンにされて、PD４４７，FD４４８Ａ，４４８Ｂの蓄積電荷が排出される。
　蓄積電荷の排出後、全画素４０１’で受光が開始される。
　すなわち、転送トランジスタ４４３Ａ，４４３Ｂが交互に駆動される。これにより、PD４４７により蓄積された電荷がFD４４８Ａ，４４８Ｂに交互に振り分けられて蓄積される。
　画素４０１’が受光する反射光は、光源が測距光を発光したタイミングから物体に距離に応じて遅延されて受光される。
　このとき、図８を参照して説明したように、物体までの距離に応じた遅延時間により、FD４４８Ａ，４４８Ｂに蓄積される電荷の配分が変化するため、FD４４８Ａ，４４８Ｂに蓄積される電荷の配分比から物体までの距離を求めることが可能となる。
　＜図６のi/dToFセンサの動作＞
　次に、図６のi/dToFセンサ２０１の動作について説明する。
（iToFセンサと、dToFセンサとが独立しているときの動作）
　まず、図６のi/dToFセンサ２０１の動作を説明するにあたって、図１５の上段のタイミングチャートを参照して、図６のi/dToFセンサ２０１のようにiToFセンサと、dToFセンサとが一体化した構成ではなく、図２の測距装置１１のように、それぞれが独立した構成である場合の動作について説明する。
　尚、図１５の上段のタイミングチャートにおいては、上からiToFセンサの露光タイミングとデータ出力タイミング、iToFセンサに対する測距光を発光させる発光トリガ（iToF）のタイミング、dToFセンサの露光タイミングとデータ出力タイミング、およびdToFセンサに対する測距光を発光させる発光トリガ（dToF）のタイミングがそれぞれ示されている。
　発光部２０３が発光することにより測距光が発せられ、iToFセンサとdToFセンサとが同一の範囲を測距する場合、同一のタイミングに測距しようとすると混信が発生するため、それぞれ時分割処理により異なるタイミングで動作する必要がある。
　すなわち、図１５の上段で示されるように、iToFセンサを先に動作させる場合、時刻ｔ１１乃至ｔ１２において、iToFセンサに対する測距光を発光させるために、発光部を発光させるトリガ（LD発光トリガ（iToF））が所定の周波数で出力されることで、所定の周波数で、発光と消灯が繰り返されて測距光が投光される。
　これに応じて、時刻ｔ１１乃至ｔ１２において、iToFセンサは、反射光を受光するための露光を行い、受光した光量に応じた画素信号が蓄積される。
　そして、時刻ｔ１２において、発光部のiToFセンサに対する発光と、iToFセンサによる露光とが終了すると、時刻ｔ１２乃至ｔ１３において、iToFセンサに蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力される。
　一方、時刻ｔ１２において、iToFセンサに対する測距光の発光は終了しているので、その直後（時刻ｔ１２以降）のタイミングである時刻ｔ２１において、dToFセンサに対する測距光を発光させるために、発光部を発光させるトリガ（LD発光トリガ（dToF））が、出力されて測距光が投光される。
　これに応じて、時刻ｔ２１乃至ｔ２２において、dToFセンサは、反射光を受光するための露光を行い、受光した光量に応じた画素信号が蓄積される。
　そして、時刻ｔ２２において、発光部のdToFセンサに対する発光と、dToFセンサによる露光とが終了すると、時刻ｔ２２乃至ｔ１４において、dToFセンサに蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力（データ出力）される。
　さらに、時刻ｔ２２において、dToFセンサに対する測距光の発光は終了しているので、その直後（時刻ｔ１３以降）において、iToFセンサに対する測距光を発光させるために、発光部を発光させるトリガ（LD発光トリガ（iToF））が所定の周波数で出力されることで、所定の周波数で、発光と消灯が繰り返されて測距光が投光される。
　これに応じて、時刻ｔ１３乃至ｔ１４において、iToFセンサは、反射光を受光するための露光を行い、受光した光量に応じた画素信号が蓄積される。
　そして、時刻ｔ１４において、発光部のiToFセンサに対する発光と、iToFセンサによる露光とが終了すると、時刻ｔ１４乃至ｔ２４において、iToFセンサに蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力（データ出力）される。
　さらにまた、時刻ｔ１４において、iToFセンサに対する測距光の発光は終了しているので、その直後（時刻ｔ１４以降）のタイミングである時刻ｔ２３において、dToFセンサに対する測距光を発光させるために、発光部を発光させるトリガ（LD発光トリガ（dToF））が、出力されて測距光が投光される。
　これに応じて、時刻ｔ２３乃至ｔ２４において、dToFセンサは、反射光を受光するための露光を行い、受光した光量に応じた画素信号が蓄積される。
　そして、時刻ｔ２４において、発光部のdToFセンサに対する発光と、dToFセンサによる露光とが終了すると、時刻ｔ２４乃至ｔ１６において、dToFセンサに蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力される。
　このように、iToFセンサに対する測距光の投光と、dToFセンサに対する測距光の投光とが交互に繰り返されると共に、dToFセンサに対する測距光が投光される期間内にiToFセンサの画素信号に対するデータ処理がなされて測距結果が出力され、iToFセンサに対する測距光が投光される期間内にdToFセンサの画素信号に対するデータ処理がなされて測距結果が出力される。
　ここで、dToFセンサにおける測距光の発光（投光）と、露光とは、図１５の上段右部で示されるように、露光期間内において、露光と発光が繰り返されることにより、ノイズ対策がなされると共に、ヒストグラムが生成される。
　すなわち、図１５の上段右部においては、一点鎖線で囲まれた露光期間内において、所定の時間間隔で、時刻ｔ３１，ｔ３２，・・・ｔｎにおいて、発光トリガ（dToF）が出力され、対応するタイミングから所定の期間についての露光Ｅｘ１，Ｅｘ２，・・・Ｅｘｎが繰り返しなされていることが示されている。尚、発光トリガ（dToF）は、発光トリガ（iToF）に比べて、発光させる周波数よりも低い周波数である。
（iToFセンサと、dToFセンサとが一体化している本開示のi/dToFセンサの動作）
　一方、本開示の技術を適用した、図６のi/dToFセンサ２０１の場合、動作は、図１５の下段で示されるようなタイミングチャートで示される。
　尚、図１５の下段で示されるタイミングチャートにおいては、上からi/dToFセンサにおける露光およびデータ出力に係る処理、発光部２０３を発光させる発光トリガ、および発光設定切り替え、すなわち、発光部２０３がiToFブロック２３２に対する発光設定であるか、または、dToFブロック２３１に対する発光設定であるのかが示されている。
　すなわち、時刻ｔ０においては、制御部２２１は、発光タイミング制御部２２４が制御する発光設定をiToFブロック２３２に対する発光設定に切り替える。これに応じて、発光タイミング制御部２２４は、iToFブロック２３２に対する発光設定に切り替えることを示すLD通信をLD２０２に出力する。LD２０２は、LD通信により通知されたiToFブロック２３２に対する発光設定に基づいて、発光部２０３の発光状態を調整する。ここで、iToFブロック２３２に対する発光設定とは、例えば、通常程度の発光強度で発光する設定である。
　そして、時刻ｔ５０乃至ｔ５１において、発光タイミング制御部２２４は、LD２０２に対して発光部２０３を発光させる発光トリガ（iToF）を、発光部２０３がiToFブロック２３２に対する発光設定で発光するように出力する。
　これにより、発光部２０３は、通常の発光強度で、かつ、所定の周波数で、発光と消灯を繰り返して、iToFブロック２３２に対する測距光を投光する。
　これに応じて、時刻ｔ５０乃至ｔ５１において、iToFブロック２３２は、反射光を受光するための露光を行い、受光した光量に応じた画素信号をデータ処理部２２５のdToFデータ処理部２６１に出力する。
　より詳細には、iToF制御部２５２は、iToF画素領域２５１を制御して、測距光が物体により反射することにより生じる反射光を受光させ、受光した光量に応じた画素信号を出力させる。
　画素変調部２５３は、iToF画素領域２５１より出力される画素信号に変調を掛けてADC２５４に出力させる。
　ADC（Analog Digital Converter）２５４は、画素変調部２５３により変調が掛けられた画素信号を、アナログ信号からデジタル信号に変換してデータ処理部２２５に出力する。
　そして、時刻ｔ５１において、発光タイミング制御部２２４は、LD２０２に対する発光部２０３を発光させる発光トリガ（iToF）の出力を停止する。これにより、発光部２０３は、発光を停止し、消灯状態となり、測距光の投光が停止される。
　時刻ｔ５１乃至ｔ５２において、データ処理部２２５のiToFデータ処理部２６２は、iToFブロック２３２より供給された画素信号のデータをデータ処理し、各画素について距離を算出して出力する。
　より詳細には、iToFデータ処理部２６２のデータ処理部２９１は、画素ブロック２２３のiToFブロック２３２より供給される画素信号に基づいたデータにビニング処理、フィルタ処理、およびエラー判定処理等の各種の処理を施し、測距演算部２９２に出力する。
　測距演算部２９２は、データ処理部２９１により各種の処理が施されたデータを、図８を参照して説明した処理により、距離を算出して出力IF２２６に出力する。
　また、時刻ｔ５１においては、制御部２２１は、発光タイミング制御部２２４が制御する発光設定をdToFブロック２３１に対する発光設定に切り替える。発光タイミング制御部２２４は、dToFブロック２３１に対する発光設定に切り替えることを示すLD通信をLD２０２に出力する。LD２０２は、LD通信により通知されたdToFブロック２３１に対する発光設定に基づいて、発光部２０３の発光状態を調整する。
　ここで、dToFブロック２３１に対する発光設定とは、例えば、iToFブロック２３２に対する発光設定における発光強度よりも高い発光強度にする設定である。
　そして、時刻ｔ６１において、発光タイミング制御部２２４は、LD２０２に対して発光部２０３を発光させる発光トリガ（dToF）を出力する。
　これにより、発光部２０３は、例えば、iToFブロック２３２に対する発光設定における発光強度よりも高い発光強度で発光し、dToFブロック２３１に対する測距光を投光する。
　これに応じて、時刻ｔ６１乃至ｔ５２において、dToFブロック２３１は、反射光を受光するための露光を行い、受光した光量に応じた画素信号をデータ処理部２２５のdToFデータ処理部２６１に出力する。
　より詳細には、dToF制御部２４２は、dToF画素領域２４１を制御して、測距光が物体により反射することにより生じる反射光を受光させ、受光した光量に応じた画素信号を出力させる。
　サンプリング処理部２４３は、dToF画素領域２４１より出力される画素信号をサンプリング処理し、サンプリング結果をデータ処理部２２５に出力する。
　そして、時刻ｔ５２において、発光タイミング制御部２２４は、LD２０２に対する発光部２０３を発光させる発光トリガ（dToF）の出力を停止する。これにより、発光部２０３は、発光を停止し、消灯状態となり、測距光の投光が停止される。
　時刻ｔ５２乃至ｔ５３において、データ処理部２２５のdToFデータ処理部２６１は、dToFブロック２３１より供給された画素信号のデータを処理し、各画素について距離を算出して出力する。
　より詳細には、ヒストグラム生成部２８１は、画素ブロック２２３のdToFブロック２３１より供給されるサンプリング結果よりヒストグラムを生成し、距離算出部２７１に出力する。
　距離算出部２８２は、ヒストグラム生成部２８１より供給されるヒストグラムに基づいて、図７を参照して説明した手法で、距離を算出して出力IF２２６に出力する。
　一方、時刻ｔ５２において、dToFブロック２３１に対する測距光の発光は終了しているので、その直後（時刻ｔ５２以降）のタイミングにおいて、制御部２２１は、発光タイミング制御部２２４が制御する発光設定をiToFブロック２３２に対する発光設定に切り替える。発光タイミング制御部２２４は、iToFブロック２３２に対する発光設定に切り替えることを示すLD通信をLD２０２に出力する。LD２０２は、LD通信により通知されたiToFブロック２３２に対する発光設定に基づいて、発光部２０３の発光状態を調整する。
　そして、時刻ｔ６２において、発光タイミング制御部２２４は、iToFブロック２３２に対する測距光を発光させるために、発光部２０３を発光させる発光トリガ（iToF）を、出力して測距光を投光させる。
　これに応じて、時刻ｔ６２乃至ｔ５３において、iToFブロック２３２は、反射光を受光するための露光を行い、受光した光量に応じた画素信号を生成する。
　そして、時刻ｔ５３において、発光部のiToFセンサに対する発光と、iToFセンサによる露光とが終了すると、時刻ｔ５３乃至ｔ５４において、iToFブロック２３２に蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力される。
　さらに、時刻ｔ５３において、iToFブロック２３２に対する測距光の発光は終了しているので、その直後（時刻ｔ５３以降）のタイミングにおいて、制御部２２１は、発光タイミング制御部２２４が制御する発光設定をdToFブロック２３１に対する発光設定に切り替える。発光タイミング制御部２２４は、dToFブロック２３１に対する発光設定に切り替えることを示すLD通信をLD２０２に出力する。LD２０２は、LD通信により通知されたdToFブロック２３１に対する発光設定に基づいて、発光部２０３の発光状態を調整する。
　そして、時刻ｔ６３において、発光タイミング制御部２２４は、dToFブロック２３１に対する測距光を発光させるために、発光部２０３を発光させる発光トリガ（dToF）を出力し、発光部２０３を発光させる。
　これに応じて、時刻ｔ６３乃至ｔ５４において、dToFブロック２３１は、反射光を受光するための露光を行い、受光した光量に応じた画素信号を蓄積する。
　そして、時刻ｔ５４において、発光部２０３のdToFブロック２３１に対する発光と、dToFブロック２３１による露光とが終了すると、時刻ｔ５４乃至ｔ５５において、dToFブロック２３１より供給された画素信号に基づいてデータを処理して、測距結果を出力する。
　さらにまた、時刻ｔ５４において、dToFブロック２３１に対する測距光の発光は終了しているので、その直後（時刻ｔ５４以降）のタイミングにおいて、制御部２２１は、発光タイミング制御部２２４が制御する発光設定をiToFブロック２３２に対する発光設定に切り替える。発光タイミング制御部２２４は、iToFブロック２３２に対する発光設定に切り替えることを示すLD通信をLD２０２に出力する。LD２０２は、LD通信により通知されたiToFブロック２３２に対する発光設定に基づいて、発光部２０３の発光状態を調整する。
　これに応じて、時刻ｔ６４乃至ｔ５５において、iToFブロック２３２は、反射光を受光するための露光を行い、受光した光量に応じた画素信号を出力する。
　そして、時刻ｔ５５において、発光部のiToFブロック２３２に対する発光と、iToFブロック２３２による露光とが終了すると、時刻ｔ５５乃至ｔ５６において、iToFブロック２３２に蓄積された画素信号に基づいたデータ処理がなされて、測距結果が出力される。
　このように、iToFブロック２３２に対する測距光の投光と、dToFブロック２３１に対する測距光の投光とが交互に、それぞれの発光設定が切り替えられて繰り返されると共に、dToFブロック２３１に対する測距光が投光される期間内にiToFブロック２３２の画素信号に対するデータ処理がなされて測距結果が出力され、iToFブロック２３２に対する測距光が投光される期間内にdToFブロック２３１の画素信号に対するデータ処理がなされて測距結果が出力される。
　以上の処理により、遠距離を測距可能なdToFブロック２３１と、近距離を高精度に測距可能なiToFブロック２３２とを備えることで、近距離と遠距離とを時分割で測距することが可能になる。
　結果として、例えば、図１６の画像Ｐ１で示されるような、画像内における中央手前に車両が存在し、その奥に道が伸びており、車両の前後が比較的車両に近い空間に対して測距を行う場合、図１６の画像Ｐ２で示されるように領域Ｚ１，Ｚ２については、比較的近距離の範囲であるので、iToFブロック２３２による測距結果を用い、比較的遠距離の範囲からなる領域Ｚ３については、dToFブロック２３１による測距結果を用いるようにすることで、全体としての測距精度を向上させることが可能となる。
　また、dToFブロック２３１およびiToFブロック２３２のそれぞれに異なる発光設定を時分割に切り替えるようにすることで、発光タイミング制御部２２４、LD２０２および発光部２０３を共有して使用することが可能となり、部品点数を少なくすることでコストの低減や、制御の煩雑さを低減させることが可能となる。
　さらに、dToFブロック２３１およびiToFブロック２３２における処理は時分割処理されることになるため、処理結果は常にいずれか一方のみが出力されるだけであるので、出力IF２２６を共通化することが可能となり、装置コストを低減させることが可能となる。
　＜発光設定のバリエーション＞
　以上においては、dToFブロック２３１に対する発光設定と、iToFブロック２３２に対する発光設定とは、図１７の例Ｅｘ１１で示されるように、iToFブロック２３２に対する発光設定については、画像Ｐ５１で示されるように、通常の発光強度とし、dToFブロック２３１に対する発光設定については、画像Ｐ５２で示されるように、通常の発光強度よりも高い強度にする例について説明してきた。尚、図１７の画像Ｐ５１，Ｐ５２内には、測距対象となる物体Ｔｇ１１が存在する。
　しかしながら、dToFブロック２３１に対する発光設定と、iToFブロック２３２に対する発光設定とは、これ以外の設定でもよい。
　例えば、図１７の例Ｅｘ１２で示されるように、iToFブロック２３２に対する発光設定については、画像Ｐ６１で示されるように、通常の発光強度とし、dToFブロック２３１に対する発光設定については、画像Ｐ６２で示されるように、所定の発光強度よりも高い明るさのスポット光ＳＰとして発光するような設定にしてもよい。
　すなわち、dToFブロック２３１においては、遠距離を測距するための発光となるので、遠方での拡散を考慮して高い発光強度のスポット光ＳＰとすることで、より遠方での測距を実現させる。
　スポット光ＳＰのパターンは、図１７の画像Ｐ６２以外のパターンであってもよい。
　また、例えば、図１７の例Ｅｘ１３で示されるように、iToFブロック２３２に対する発光設定については、画像Ｐ７１で示されるように、通常の発光強度とし、dToFブロック２３１に対する発光設定については、画像Ｐ７２で示されるように、iToFブロック２３２と同様に、通常の発光強度であるが、測定対象となる物体Ｔｇ１１が存在する付近の領域だけを照射するように発光してもよい。
　尚、発光部２０３が測距光を照射する領域のパターンについては、画像Ｐ７２以外のパターンであってもよい。
　また、以上においては、LD２０２と発光部２０３とがそれぞれ１個ずつの例について説明してきたが、iToFブロック２３２およびdToFブロック２３１のそれぞれの発光設定に対応するLD２０２が個別に設けられるようにして、発光部２０３のみが共用されるようにしてもよい。
　＜発光設定の切り替えパターンのバリエーション＞
　（固定パターン）
　以上においては、図１８の上段で示されるように、i/dToFセンサ２０１におけるdToFブロック２３１およびiToFブロック２３２における露光およびデータ出力、発光トリガ、および発光設定が、dToFブロック２３１とiToFブロック２３２とで交互に繰り返される例について説明してきた。
　しかしながら、露光およびデータ出力、発光トリガの出力、および発光設定は、必ずしも交互でなくてもよく、固定されたパターンが繰り返されれば、他のパターンであってもよい。
　すなわち、例えば、iToFブロック２３２、iToFブロック２３２、dToFブロック２３１の順序からなるパターンで繰り返されるようにしてもよい。
　すなわち、図１８の下段においては、時刻ｔ１５０乃至ｔ１５１においては、iToFブロック２３２に対する発光設定（発光設定については、時刻ｔ０から）、発光トリガの出力、露光がなされ、時刻ｔ１６１乃至ｔ１５２においては、iToFブロック２３２に対する発光設定、発光トリガの出力、および露光がなされ、時刻ｔ１６２乃至ｔ１５３においては、dToFブロック２３１に対する発光設定、発光トリガの出力、および露光がなされるように設定されてもよい。すなわち、iToFブロック２３２、iToFブロック２３２、dToFブロック２３１の順序で、それぞれに対する発光設定と露光が繰り返されるような固定パターンにしてもよい。
　ここで、時刻ｔ１６１乃至ｔ１５２においては、iToFデータ処理部２６２によるデータ出力がなされ、時刻ｔ１６２乃至ｔ１５３においては、iToFデータ処理部２６２によるデータ出力がなされ、時刻ｔ１６３乃至ｔ１５４においては、dToFデータ処理部２６１によるデータ出力がなされて、以降同様に、iToFデータ処理部２６２、iToFデータ処理部２６２、およびdToFデータ処理部２６１の順序でデータ出力が繰り返される。
　（可変パターン）
　また、以上においては、図１９の上段で示されるように、固定的なパターンにより発光設定を切り替える例について説明してきたが、発光設定の切り替えパターンは可変であってもよい。
　例えば、通常は、遠距離の測距を行うように、dToFブロック２３１による発光設定とし、近距離を物体が通過するようなタイミングでのみ、iToFブロック２３２による発光設定としてもよい。
　すなわち、図１９の下段においては、基本的にdToFブロック２３１による発光設定とされているが、例えば、近距離を物体が通過したことが分かったタイミングにおいて、iToFブロック２３２による発光設定とするときのタイミングチャートの例が示されている。
　すなわち、図１９の下段においては、時刻ｔ０乃至ｔ２０５、および時刻ｔ２２１乃至ｔ２２４までは、iToFブロック２３２とiToFデータ処理部２６２とによるデータ出力がなされているものとする。
　ここで、例えば、時刻ｔ２０５において、比較的近距離を物体が通過することが検知された場合、時刻ｔ２２４乃至ｔ２０６において、iToFブロック２３２に対する発光設定、発光トリガの出力、および露光がなされ、時刻ｔ２０６乃至ｔ２０７において、iToFデータ処理部２６２によるデータ出力がなされる。
　このような処理により、通常は、遠方の物体を測距し、その測距結果から物体の接近が認識されたときだけ近距離の物体の測距を高精度に実現することが可能となる。
　結果として、効率の良い測距を実現することが可能となる。
　＜＜３．第２の実施の形態＞＞
　以上においては、近距離の測距を実現するために、画素ブロック２２３におけるiToFブロック２３２において、iToF画素領域２５１が設けられる例について説明してきたが、iToF画素領域２５１に代えて通常画素からなる通常画素領域を用いるようにしてもよい。
　図２０は、iToF画素領域２５１に代えて通常画素領域を設けるようにした測距装置２００’のi/dToFセンサ２０１’の構成例を示している。
　尚、図２０のi/dToFセンサ２０１’において、図６のi/dToFセンサ２０１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
　図２０のi/dToFセンサ２０１’において、図６のi/dToFセンサ２０１と異なる構成は、iToFブロック２３２においてiToF画素領域２５１に代えて通常画素領域５０１が設けられると共に、iToFデータ処理部２６２に新たに、画像処理部５１１が設けられた点である。
　すなわち、通常画素からなる通常画素領域５０１は、iToF画素領域２５１と同一の機能を実現することが可能であると共に、通常の画像を撮像して出力することも可能である。
　通常画素領域５０１は、iToF画素領域として機能するモードと、通常画素領域として機能するモードとがあり、時分割処理により切り替えて処理結果を出力する。
　画像処理部５１１は、通常画素領域５０１が通常画素領域として機能するモードにおいて出力された画素信号を用いて画像処理を行い、通常の画像信号として出力IF２２６に出力する。
　このような構成により、例えば、図２１で示されるように、画像Ｐ１１内において、通常の画像として出力された情報を用いて認識される特徴量と、測距結果とを対応付けて、例えば、測距結果が一致する特徴量をグルーピングして表示させることができる。
　すなわち、図２１の画像Ｐ１１１においては、バツ印で示される特徴量が検出された位置と、測距結果とが用いられることにより、測距結果が一致する特徴点が集まる領域がグルーピングされて、枠Ｆ１乃至Ｆ４として表示される例が示されている。
　すなわち、図２１の画像Ｐ１１１においては、枠Ｆ１乃至Ｆ４のそれぞれに含まれる特徴点を示すバツ印については、測距結果が一致することが示されている。
　また、図２２で示されるように、スマートフォンＰＨなどの撮像装置に設けられるようにすることで、画像により撮像されたユーザの顔Ｆａｃｅの画像認識と、測距結果によるユーザの顔Ｆａｃｅの凹凸を用いた凹凸認識とにより、より認証精度の高いユーザ認証を実現させるようにしてもよい。
　＜画素ブロックのバリエーション＞
　以上においては、画素ブロックにおいては、dToFブロック２３１およびiToFブロック２３２が上下に配置される例について説明してきたが、これらのdToF画素領域２４１およびiToF画素領域２５１が、所定数列単位で交互に配置されるような構成にしてもよい。
　図２３は、dToF画素領域２４１およびiToF画素領域２５１が、所定数列単位で交互に配置されるように構成された画素ブロック６０１の構成例を示している。
　画素ブロック６０１においては、dToF画素領域６２３－１乃至６２３－ｎおよびiToF画素領域６２４－１乃至６２４－ｎが交互に構成されている。尚、dToF画素領域６２３－１乃至６２３－ｎおよびiToF画素領域６２４－１乃至６２４－ｎのそれぞれについて、特に区別しない場合、それぞれ単にdToF画素領域６２３およびiToF画素領域６２４と称する。
　すなわち、dToF画素領域６２３およびiToF画素領域６２４は、それぞれ所定列数ずつ交互に配置されている。
　また、dToF画素領域６２３およびiToF画素領域６２４は必ずしも同一列数ずつ構成されなくてもよいし、同一の大きさでなくてもよい。
　すなわち、例えば、図２３における、一点鎖線で囲まれた範囲については、例えば、図２４の上段で示されるように、iToF画素領域６２４の画素Ｐｉｘｉの大きさが、dToF画素領域６２３の画素Ｐｉｘｄの大きさに対して、水平方向×垂直方向＝２×２倍であるような場合、dToF画素領域６２３の画素Ｐｉｘｄの２倍の数のiToF画素領域６２４の画素Ｐｉｘｉが水平方向に配置されるようにして、垂直方向に対して交互に配置されるようにしてもよい。
　また、図２４の下段で示されるように、dToF画素領域６２３の画素Ｐｉｘｄの２倍の数のiToF画素領域６２４の画素Ｐｉｘｉが水平方向および垂直方向のそれぞれに配置された状態で交互に配置されるようにしてもよい。
　尚、iToF制御部６２１、dToF制御部６２２、サンプリング処理部６４５、およびADC６４６は、それぞれ図６のiToF制御部２５２、dToF制御部２４２、サンプリング処理部２４３、およびADC２５４に対応する構成である。
　＜応用例１＞
　以上においては、dToFブロック２３１およびdToFデータ処理部２６１により求められた測距結果と、iToFブロック２３２およびiToFデータ処理部２６２により求められた測距結果とを併せて出力する例について説明してきた。
　しかしながら、さらに、デプスマップ（Deapth map）を生成し、デプスマップを出力すると共に、デプスマップに基づいて、測距不要範囲を判定し、判定結果に基づいて、測距不要範囲以外の範囲のみを測距してデプスマップとして出力するようにしてもよい。
　ここで、不要領域とは、例えば、デプスマップにおける所定の距離よりも遠い領域などである。すなわち、所定の距離内に測距が必要な物体が存在せず、物体検出に基づいた処理が不要となる画像内の領域を不要領域としてもよい。尚、不要領域は、これに限らず、様々な距離の画像内の領域として定義してもよい。
　図２５は、dToFブロック２３１およびdToFデータ処理部２６１により求められた測距結果と、iToFブロック２３２およびiToFデータ処理部２６２により求められた測距結果とを併せて出力すると共に、さらに、デプスマップ（Deapth map）を生成し、デプスマップを出力すると共に、デプスマップに基づいて、測距不要範囲を判定し、判定結果に基づいて、測距不要範囲以外の範囲のみを測距してデプスマップとして出力するようにした測距装置２００’’のi/dToFセンサ２０１’’の構成例を表している。
　尚、図２５のi/dToFセンサ２０１’’において、図６のi/dToFセンサ２０１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　図２５のi/dToFセンサ２０１’’において、図６のi/dToFセンサ２０１と異なる点は、新たに、メモリ６５１、Depth map生成部６５２、および不要領域判定部６５３を備えており、不要領域判定部６５３からの不要領域の情報に基づいた処理を行う点で、制御部２２１に代えて、制御部２２１’’が設けられている点である。
　メモリ６５１は、dToFブロック２３１およびdToFデータ処理部２６１により求められた測距結果と、iToFブロック２３２およびiToFデータ処理部２６２により求められた測距結果とを一時的に記憶する。
　Deapth map生成部６５２は、メモリ６５１に記憶されたdToFブロック２３１およびdToFデータ処理部２６１により求められた測距結果と、iToFブロック２３２およびiToFデータ処理部２６２により求められた測距結果とのうち、所定の距離よりも近い測距結果については、iToFブロック２３２およびiToFデータ処理部２６２により求められた測距結果を用い、所定の距離よりも遠い測距結果については、dToFブロック２３１およびdToFデータ処理部２６１により求められた測距結果を用いてデプスマップ（Deapth map）を生成し、出力IF２２６および不要領域判定部６５３に出力する。
　不要領域判定部６５３は、デプスマップに基づいて、不要領域を判定し、判定結果を制御部２２１’’に出力する。
　例えば、デプスマップ内における所定の距離よりも遠い領域を不要領域として設定する場合、不要領域判定部６５３は、デプスマップ内における所定の距離よりも遠い領域の情報を不要領域の情報として抽出して判定結果として制御部２２１’’に出力する。
　制御部２２１’’は、不要領域判定部６５３より供給される不要領域の情報に基づいて、画素ブロック２２３を制御し、dToFブロック２３１およびiToFブロック２３２のそれぞれのdToF画素領域２４１およびiToF画素領域２５１における不要領域以外の領域において測距結果を求めさせるように制御する。
　このような構成により、不要領域における測距処理を省略させることが可能となり、不要な処理負荷を低減し、処理速度を向上させることが可能となる。
　＜応用例２＞
　以上においては、dToF画素領域２４１およびiToF画素領域２５１の画素については、アレイ状に配置される例について説明してきたが、例えば、ライン状に配置して、画素の配列方向となるラインに対して垂直方向に対して回転するようにして、周囲の測距を実現するようにしてもよい。
　図２６は、dToF画素領域２４１およびiToF画素領域２５１の画素がライン状に配置されているi/dToFセンサ２０１’’’の外観例を示している。
　すなわち、図２６で示されるように、i/dToFセンサ２０１’’’は、円筒状の外装からなり、円筒状の外装の表面に、図中の上底から下底に掛けて鉛直方向にdToF画素領域２４１の画素に対応する画素がライン状に配置された画素領域２４１’’’と、iToF画素領域２５１の画素に対応する画素がライン状に配置された画素領域２５１’’’とが隣接した状態で配置された画素ブロック２２３’’’が設けられている。
　円筒状のi/dToFセンサ２０１’’’は、図中の矢印方向に回転することにより、画素ブロック２２３’’’が３６０度回転することで、時系列に３６０度の方向に対して測距を実現することが可能となる。
　図２６のi/dToFセンサ２０１’’’により、画素ブロック２２３’’’は、ライン単位の画素のみを駆動させるだけで測距を実現することができるので画素を駆動させる際の消費電力を低減させることが可能になると共に、駆動させる画素数が少ないので、ライン単位で配置された画素により測距される際の処理速度を向上させることが可能となる。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　測距光を発光する発光部と
　第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、
　前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部と
　を備える測距装置。
＜２＞　前記第１のToF方式は、direct ToF方式であり、前記第１の画素は、アバランシェダイオードより構成される
　前記第２のToF方式は、indirect ToF方式であり、前記第２の画素は、CAPD（Current Assisted Photonic Demodulator）または通常画素より構成される
　＜１＞に記載の測距装置。
＜３＞　前記制御部は、
　　前記第１の画素を露光させるとき、所定の周波数で発光と消灯を繰り返すように発光させ、
　　前記第２の画素を露光させるとき、前記所定の周波数よりも高い周波数で発光と消灯を繰り返すように発光を制御する
　＜２＞に記載の測距装置。
＜４＞　前記制御部は、
　　前記第１の画素を露光させるとき、第１の発光強度で前記発光部を発光させ、
　　前記第２の画素を露光させるとき、前記第１の発光強度よりも低い第２の発光強度で前記発光部を発光させる
　＜２＞に記載の測距装置。
＜５＞　前記制御部は、
　　前記第１の画素を露光させるとき、前記発光部よりスポット光を発光させ、
　　前記第２の画素を露光させるとき、前記発光部を全面発光させる
　＜２＞に記載の測距装置。
＜６＞　前記制御部は、
　　前記第１の画素を露光させるとき、前記発光部より対象物が存在する領域にのみ発光させ、
　　前記第２の画素を露光させるとき、前記発光部を全面発光させる
　＜２＞に記載の測距装置。
＜７＞　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを時分割で露光させる
　＜１＞乃至＜６＞のいずれかに記載の測距装置。
＜８＞　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを所定の間隔で交互に露光させる
　＜７＞に記載の測距装置。
＜９＞　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを所定の順序で露光させる
　＜７＞に記載の測距装置。
＜１０＞　前記制御部は、前記第１の画素と前記第２の画素との露光を所定の条件が満たされたとき切り替える
　＜７＞に記載の測距装置。
＜１１＞　前記制御部は、前記第１の画素で露光を開始し、前記第１の画素の測距結果に基づいて、前記第２の画素の露光に切り替える
　＜１０＞に記載の測距装置。
＜１２＞　前記画素領域は、前記第１の画素が集中して配置された領域と、前記第２の画素が集中して配置された領域とから構成される
　＜２＞に記載の測距装置。
＜１３＞　前記画素領域は、前記第１の画素がライン状に配置され、前記第２の画素がライン状に配置される
　＜２＞に記載の測距装置。
＜１４＞　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが交互に配置される
　＜２＞に記載の測距装置。
＜１５＞　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが、所定のライン数ずつ交互に配置される
　＜２＞に記載の測距装置。
＜１６＞　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが、異なるライン数ずつ交互に配置される
　＜２＞に記載の測距装置。
＜１７＞　前記画素領域は、前記第１の画素と、前記第２の画素とは異なる大きさである
　＜２＞に記載の測距装置。
＜１８＞　前記第１の画素による測距結果と、前記第２の画素による測距結果に基づいて、デプスマップを生成するデプスマップ生成部をさらに含む
　＜１＞に記載の測距装置。
＜１９＞　前記デプスマップに基づいて、前記第１の画素、および前記第２の画素による測距領域のうち、不要領域を判定する不要領域判定部をさらに含む
　＜１８＞に記載の測距装置。
＜２０＞　測距光を発光する発光部と
　第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、
　前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部と
　を備える測距装置の測距方法において、
　前記制御部は、前記第１の画素、および前記第２の画素、並びに前記発光部を制御する
　ステップを含む測距方法。
　２００，２００’，２００’’　測距装置，　２０１，２０１’，２０１’’，２０１’’’　i/dToFセンサ，　２０２　LD，　２０３　発光部，　２２１，２２１’’　制御部，　２２２　通信部，　２２３，２２３’，２２３’’’　画素ブロック，　２２４　発光タイミング制御部，　２２５　データ処理部，　２２６　出力IF，　２３１　dToFブロック，　２３２　iToFブロック，　２４１，２４１’’’　dToF画素領域，　２４２　dToF制御部，　２４３　サンプリング処理部，　２５１，２５１’’’　iToF画素領域，　２５２　iToF制御部，　２５３　画素変調部，　２５４　ADC，　２６１　dToFデータ処理部，　２８１　ヒストグラム生成部，　２８２　距離算出部，　２９１　データ処理部，　２９２　測距演算部，　５０１　通常画素領域，　５１１　画像処理部，　６２１　iToF制御部，　６２２　dToF制御部，　６２３，６２３－１乃至６２３－ｎ　dToF画素領域，　６２４，６２４－１乃至６２４－ｎ　iToF画素領域，　６５１　メモリ，　６５２　Depth map生成部，　６５３　不要領域判定部

Claims (20)

  1. 　測距光を発光する発光部と、
    　第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、
    　前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部と
    　を備える測距装置。
  2. 　前記第１のToF方式は、direct ToF方式であり、前記第１の画素は、アバランシェダイオードより構成される
    　前記第２のToF方式は、indirect ToF方式であり、前記第２の画素は、CAPD（Current Assisted Photonic Demodulator）または通常画素より構成される
    　請求項１に記載の測距装置。
  3. 　前記制御部は、
    　　前記第１の画素を露光させるとき、所定の周波数で発光と消灯を繰り返すように発光させ、
    　　前記第２の画素を露光させるとき、前記所定の周波数よりも高い周波数で発光と消灯を繰り返すように発光を制御する
    　請求項２に記載の測距装置。
  4. 　前記制御部は、
    　　前記第１の画素を露光させるとき、第１の発光強度で前記発光部を発光させ、
    　　前記第２の画素を露光させるとき、前記第１の発光強度よりも低い第２の発光強度で前記発光部を発光させる
    　請求項２に記載の測距装置。
  5. 　前記制御部は、
    　　前記第１の画素を露光させるとき、前記発光部よりスポット光を発光させ、
    　　前記第２の画素を露光させるとき、前記発光部を全面発光させる
    　請求項２に記載の測距装置。
  6. 　前記制御部は、
    　　前記第１の画素を露光させるとき、前記発光部より対象物が存在する領域にのみ発光させ、
    　　前記第２の画素を露光させるとき、前記発光部を全面発光させる
    　請求項２に記載の測距装置。
  7. 　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを時分割で露光させる
    　請求項１に記載の測距装置。
  8. 　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを所定の間隔で交互に露光させる
    　請求項７に記載の測距装置。
  9. 　前記制御部は、前記第１の画素と前記第２の画素とをそれぞれを所定の順序で露光させる
    　請求項７に記載の測距装置。
  10. 　前記制御部は、前記第１の画素と前記第２の画素との露光を所定の条件が満たされたとき切り替える
    　請求項７に記載の測距装置。
  11. 　前記制御部は、前記第１の画素で露光を開始し、前記第１の画素の測距結果に基づいて、前記第２の画素の露光に切り替える
    　請求項１０に記載の測距装置。
  12. 　前記画素領域は、前記第１の画素が集中して配置された領域と、前記第２の画素が集中して配置された領域とから構成される
    　請求項２に記載の測距装置。
  13. 　前記画素領域は、前記第１の画素がライン状に配置され、前記第２の画素がライン状に配置される
    　請求項２に記載の測距装置。
  14. 　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが交互に配置される
    　請求項２に記載の測距装置。
  15. 　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが、所定のライン数ずつ交互に配置される
    　請求項２に記載の測距装置。
  16. 　前記画素領域は、前記第１の画素が配置されたラインと、前記第２の画素が配置されたラインとが、異なるライン数ずつ交互に配置される
    　請求項２に記載の測距装置。
  17. 　前記画素領域は、前記第１の画素と、前記第２の画素とは異なる大きさである
    　請求項２に記載の測距装置。
  18. 　前記第１の画素による測距結果と、前記第２の画素による測距結果に基づいて、デプスマップを生成するデプスマップ生成部をさらに含む
    　請求項１に記載の測距装置。
  19. 　前記デプスマップに基づいて、前記第１の画素、および前記第２の画素による測距領域のうち、不要領域を判定する不要領域判定部をさらに含む
    　請求項１８に記載の測距装置。
  20. 　測距光を発光する発光部と、
    　第１のToF（Time of Flight）方式で測距に用いる第１の画素と、第２のToF方式で測距に用いる第２の画素とを有する画素領域と、
    　前記第１の画素、および前記第２の画素、並びに前記発光部を制御する制御部と
    　を備える測距装置の測距方法において、
    　前記制御部は、前記第１の画素、および前記第２の画素、並びに前記発光部を制御する
    　ステップを含む測距方法。
PCT/JP2021/012468 2020-04-08 2021-03-25 測距装置および測距方法 WO2021205888A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180018298.7A CN115280180A (zh) 2020-04-08 2021-03-25 距离测量装置及距离测量方法
US17/907,552 US20230146183A1 (en) 2020-04-08 2021-03-25 Distance measuring device and distance measuring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-069486 2020-04-08
JP2020069486A JP2021165692A (ja) 2020-04-08 2020-04-08 測距装置および測距方法

Publications (1)

Publication Number Publication Date
WO2021205888A1 true WO2021205888A1 (ja) 2021-10-14

Family

ID=78021974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012468 WO2021205888A1 (ja) 2020-04-08 2021-03-25 測距装置および測距方法

Country Status (4)

Country Link
US (1) US20230146183A1 (ja)
JP (1) JP2021165692A (ja)
CN (1) CN115280180A (ja)
WO (1) WO2021205888A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US20160327638A1 (en) * 2015-05-04 2016-11-10 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
US20180247422A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics Sa Method and apparatus for depth-map estimation of a scene
JP2018194501A (ja) * 2017-05-19 2018-12-06 株式会社デンソー 測距装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US20160327638A1 (en) * 2015-05-04 2016-11-10 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
US20180247422A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics Sa Method and apparatus for depth-map estimation of a scene
JP2018194501A (ja) * 2017-05-19 2018-12-06 株式会社デンソー 測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMADA, SHOTA ET AL.: "A 1200x900 6µm 450fps Geiger-Mode Vertical Avalanche Photodiodes CMOS Image Sensor for a 250m Time-of-Flight Raging System Using Direct-Indirect-Mixed Frame Synthesis with Configurable-Depth-Resolution Down to 10cm", ITE TECHNICAL REPORT, vol. 44, no. 11, 20 March 2020 (2020-03-20), pages 17 - 20, ISSN: 1342-6893 *

Also Published As

Publication number Publication date
JP2021165692A (ja) 2021-10-14
CN115280180A (zh) 2022-11-01
US20230146183A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN112913222B (zh) 传感器和控制方法
US10534240B2 (en) Imaging control device, imaging control method, and recording medium having same recorded thereon
CN112219280A (zh) 光接收元件、测距模块和电子设备
CN111427048B (zh) 一种ToF深度测量装置、控制方法及电子设备
JP2020088676A (ja) センサ及び制御方法
US20230408692A1 (en) Distance measuring sensor and distance measuring system
WO2021085125A1 (ja) 測距システム、駆動方法、および、電子機器
JP2020134463A (ja) 測距装置、測距方法、並びにプログラム
CN114207827A (zh) 成像元件和测距装置
WO2021205888A1 (ja) 測距装置および測距方法
JP2020134464A (ja) 測距装置、測距方法、並びにプログラム
CN112241012B (zh) 测距传感器
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
CN110545390B (zh) 飞行时间传感器及方法
CN113875214A (zh) 距离测量传感器、信号处理方法和距离测量模块
WO2021210423A1 (ja) 測距装置および測距方法
WO2022059397A1 (ja) 測距システムおよび光検出装置
WO2021153299A1 (ja) 撮像素子、測距モジュール
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
WO2024048275A1 (ja) 情報処理装置、情報処理方法および車室内監視装置
WO2021261079A1 (ja) 光検出装置および測距システム
WO2022080128A1 (ja) 測距センサ、測距システム、および、電子機器
WO2022168500A1 (ja) 測距装置およびその制御方法、並びに、測距システム
WO2022034844A1 (ja) 面発光レーザ装置及び電子機器
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21784092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21784092

Country of ref document: EP

Kind code of ref document: A1