WO2020255770A1 - 測距装置、測距方法、および、測距システム - Google Patents

測距装置、測距方法、および、測距システム Download PDF

Info

Publication number
WO2020255770A1
WO2020255770A1 PCT/JP2020/022486 JP2020022486W WO2020255770A1 WO 2020255770 A1 WO2020255770 A1 WO 2020255770A1 JP 2020022486 W JP2020022486 W JP 2020022486W WO 2020255770 A1 WO2020255770 A1 WO 2020255770A1
Authority
WO
WIPO (PCT)
Prior art keywords
weight
pixel
unit
tdc
light receiving
Prior art date
Application number
PCT/JP2020/022486
Other languages
English (en)
French (fr)
Inventor
恭範 佃
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2020255770A1 publication Critical patent/WO2020255770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out

Definitions

  • the present technology relates to a distance measuring device, a distance measuring method, and a distance measuring system, and more particularly to a distance measuring device, a distance measuring method, and a distance measuring system capable of measuring a distance with high accuracy.
  • the DirectToF sensor (hereinafter, simply referred to as a ToF sensor) directly measures the distance from the time when the light is irradiated toward the subject and the time when the reflected light reflected from the subject is received.
  • the flight time of light from the time when light is irradiated to the time when reflected light is received is converted into a count value equivalent to the distance by TDC (time to digital converter).
  • TDC time to digital converter
  • Light irradiation and reception are performed multiple times in order to eliminate the influence of ambient light and multipath.
  • a histogram of the count values for a plurality of times is generated, and the count value having the highest frequency value is output as the final count value.
  • Patent Document 1 discloses a process of changing a unit for generating a histogram into an area to which a large number of SPADs are assigned and an area to which a small number of SPADs are assigned according to the condition of reflected light or the like.
  • This technology was made in view of such a situation, and makes it possible to measure the distance with high accuracy.
  • the ranging device on the first side of the present technology has a measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of a photon on the pixel, and a weighting unit that determines the weight based on the number of reactions.
  • a TDC that counts the time from the light source emitting light to the incident timing at which a photon is incident on the pixel, and a weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
  • a histogram generation unit that generates a histogram based on the count value subjected to the processing corresponding to the weight.
  • the distance measuring device measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixels, and determines the weight based on the number of reactions.
  • the time from when the light source emits light to when the photon is incident on the pixel is counted, and the count value supplied from the TDC is subjected to a process corresponding to the weight and a process corresponding to the weight.
  • a histogram is generated based on the count value given by.
  • the distance measuring system on the third side of the present technology includes a lighting device having a light source and a distance measuring device that receives the reflected light reflected by the object from the light source, and the distance measuring device is a pixel.
  • a measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the light source, a weighting unit that determines the weight based on the number of reactions, and a photon that is incident on the pixel after the light source emits light.
  • a TDC that counts the time until the incident timing is performed, a weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC, and the count that is processed corresponding to the weight. It includes a histogram generation unit that generates a histogram based on the value.
  • the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixels is measured, the weight is determined based on the number of reactions, and the light source emits light.
  • the time from to the incident timing at which the photon is incident on the pixel is counted, and the count value supplied from the TDC is subjected to a process corresponding to the weight and a process corresponding to the weight.
  • a histogram is generated based on the count value.
  • the distance measuring device and the electronic device may be an independent device or a module incorporated in another device.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a distance measuring system to which the present technology is applied.
  • the distance measuring system 11 is a system that measures the distances to the object 12 and the object 13 as measurement targets by using, for example, the ToF method.
  • the distance measuring system 11 includes a timing signal generation circuit 21, a lighting device 22, and a distance measuring device 23.
  • the timing signal generation circuit 21 generates a light emission timing signal that controls the timing at which the lighting device 22 irradiates light, and supplies it to the lighting device 22 and the distance measuring device 23.
  • the lighting device 22 includes a lighting control unit 31 and a light source 32.
  • the lighting control unit 31 irradiates the light source 32 with light according to the light emission timing signal supplied from the timing signal generation circuit 21.
  • the light emission timing signal is composed of high (1) and low (0) pulse signals, and the illumination control unit 31 turns on the light source 32 when the light emission timing signal is High and when the light emission timing signal is low. Turn off the light source 32.
  • the light source 32 emits light in a predetermined wavelength range under the control of the illumination control unit 31.
  • the light source 32 is composed of, for example, an infrared laser diode.
  • the type of the light source 32 and the wavelength range of the irradiation light can be arbitrarily set according to the application of the ranging system 11.
  • the distance measuring device 23 receives the reflected light reflected by the object 12 or the object 13 from the light emitted from the lighting device 22 (irradiation light), and calculates the distance to the object based on the timing at which the reflected light is received. ..
  • the distance measuring device 23 includes a lens 41 and a light receiving device 42.
  • the lens 41 forms an image of incident light on the light receiving surface of the light receiving device 42.
  • the configuration of the lens 41 is arbitrary, and for example, the lens 41 can be configured by a plurality of lens groups.
  • the light receiving device 42 has, for example, a pixel array in which pixels using SPAD (Single Photon Avalanche Diode) or APD (Avalanche photodiode) as a light receiving element are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the light receiving device 42 calculates the distance to the object 12 or the object 13 based on the digital count value and the speed of light, which counts the time from when the lighting device 22 irradiates the irradiation light to when the light receiving device 42 receives the light. Is performed, and a distance image in which the calculation result is stored in each pixel is generated and output.
  • the light emission timing signal indicating the timing at which the light source 32 emits light is also supplied from the timing signal generation circuit 21 to the light receiving device 42.
  • the light receiving device 42 is affected by ambient light, multipath, etc. by repeating the light emission of the light source 32 and the reception of the reflected light a plurality of times (for example, several thousand to tens of thousands of times). It is possible to generate and output a distance image from which.
  • FIG. 2 is a block diagram showing a schematic configuration example of the light receiving device 42.
  • the light receiving device 42 includes a pixel driving unit 71, a pixel array 72, a time measuring unit 73, a signal processing unit 74, and an input / output unit 75.
  • the pixel array 72 is configured by two-dimensionally arranging pixels 81 that detect the incident of photons and output a detection signal indicating the detection result as a pixel signal in a matrix in the row direction and the column direction.
  • the row direction refers to the arrangement direction of the pixels 81 in the horizontal direction
  • the column direction refers to the arrangement direction of the pixels 81 in the vertical direction.
  • the pixel array 72 is shown in a pixel array configuration of 10 rows and 12 columns due to space limitations, but the number of rows and columns of the pixel array 72 is not limited to this, and is arbitrary.
  • a pixel drive line 82 is wired in the horizontal direction for each pixel row with respect to the matrix-like pixel array of the pixel array 72.
  • the pixel drive line 82 transmits a drive signal for driving the pixel 81.
  • the pixel drive line 82 is shown as one wiring in FIG. 2, it may be composed of a plurality of wirings.
  • the pixel drive unit 71 drives each pixel 81 by supplying a predetermined drive signal to each pixel 81 via the pixel drive line 82.
  • the pixel drive unit 71 is at least a part of a plurality of pixels 81 arranged two-dimensionally in a matrix at a predetermined timing in accordance with a light emission timing signal supplied from the outside via the input / output unit 75.
  • Is an active pixel and the remaining pixels 81 are inactive pixels.
  • An active pixel is a pixel that detects the incident of a photon
  • an inactive pixel is a pixel that does not detect the incident of a photon.
  • the pixel drive line (not shown) wired in the vertical direction is used to control the active pixel and the inactive pixel by the logical product of both. May be good.
  • all the pixels 81 of the pixel array 72 may be active pixels.
  • the pixel signal generated by the active pixels in the pixel array 72 is input to the time measuring unit 73. The detailed configuration of the pixel 81 will be described later.
  • the time measuring unit 73 receives light after the light source 32 emits light based on the pixel signal supplied from the active pixel of the pixel array 72 and the emission timing signal indicating the emission timing of the light source 32. Generate a count value corresponding to the time until it is done.
  • the light emission timing signal is supplied to the time measurement unit 73 from the outside (timing signal generation circuit 21) via the input / output unit 75.
  • the signal processing unit 74 counts the time until the reflected light is received based on the light emission of the light source 32 that is repeatedly executed a predetermined number of times (for example, thousands to tens of thousands of times) and the reception of the reflected light. Create a histogram of count values for each pixel. Then, by detecting the peak of the histogram, the signal processing unit 74 determines the time until the light emitted from the light source 32 is reflected by the object 12 or the object 13 and returned. The signal processing unit 74 calculates the distance to the object based on the digital count value obtained by counting the time until the light receiving device 42 receives light and the speed of light.
  • the input / output unit 75 generates a distance image in which the distance of each pixel detected by the signal processing unit 74 is stored as a pixel value, and outputs the signal of the distance image (distance image signal) to the outside. Further, the input / output unit 75 acquires the light emission timing signal supplied from the timing signal generation circuit 21 and supplies it to the pixel drive unit 71 and the time measurement unit 73.
  • the light receiving device 42 is configured as described above.
  • FIG. 3 is a block diagram showing a basic configuration example of the light receiving device as a comparative example to be compared with the light receiving device 42.
  • each pixel 81 of the pixel array 72 has a SPAD 101 and a read circuit 102
  • the time measurement unit 73 has a TDC clock generation unit 111 and a plurality of TDC 112.
  • the signal processing unit 74 includes a TDC code input unit 131, a histogram generation unit 132, and a distance calculation unit 133.
  • the SPAD (single photon avalanche photodiode) 101 is a light receiving element that avalanche amplifies the generated electrons and outputs a signal when incident light is incident. It should be noted that APD may be used as the light receiving element instead of SPAD.
  • the readout circuit 102 is a circuit that outputs the timing at which a photon is detected in the SPAD 101 as a detection signal PFout (FIG. 4).
  • the reading circuit 102 reads out the timing at which the incident light is incident on the SPAD 101 and outputs it to the TDC 112.
  • the SPAD 101 and the read circuit 102 are provided on a one-to-one basis in one pixel 81, but as will be described later with reference to FIG.
  • One read circuit 102 may be provided for a plurality of SPAD 101s.
  • One TDC clock generation unit 111 is provided in the time measurement unit 73, generates a TDC clock signal, and supplies it to all TDC 112s in the time measurement unit 73.
  • the TDC clock signal is a clock signal for counting the time from when the TDC 112 irradiates the irradiation light to when the pixel 81 receives the light.
  • the TDC (Time to Digital Converter) 112 counts the time based on the output of the read circuit 102, and supplies the count value obtained as a result to the TDC code input unit 131 of the signal processing unit 74.
  • the value counted by the TDC 112 is referred to as a TDC code.
  • a TDC clock signal is supplied to the TDC 112 from the TDC clock generation unit 111.
  • the TDC 112 counts up the TDC code in order from 0 based on the TDC clock signal. Then, when the detection signal PFout input from the readout circuit 102 indicates the timing at which the incident light is incident on the SPAD 101, the count-up is stopped, and the TDC code in the final state is output to the TDC code input unit 131.
  • a plurality of TDC 112s are connected to the input stage of the TDC code input unit 131, and one histogram generation unit 132 is connected to the output stage of the TDC code input unit 131.
  • the TDC code input unit 131 inputs the TDC code output from any of the plurality of TDC 112s to the histogram generation unit 132. That is, the histogram generation unit 132 in the subsequent stage is provided in units of a plurality of pixels 81 of the pixel array 72.
  • the TDC code input unit 131 has a plurality of TDC 112s corresponding to the plurality of pixels 81 belonging to the pixel group in charge of the histogram generation unit 132.
  • the TDC code is input to the histogram generation unit 132.
  • the histogram generation unit 132 generates a histogram of the TDC code, which is the time from when the light source 32 irradiates the light to when the reflected light is received.
  • a plurality of TDC codes are generated because the light emission of the light source 32 and the reception of the reflected light are repeated a predetermined number of times (for example, thousands to tens of thousands of times) in the generation of one distance image. To do.
  • the histogram generation unit 132 generates a histogram for the generated plurality of TDC codes and supplies the histogram to the distance calculation unit 133.
  • the histogram generation unit 132 generates a histogram based on the TDC codes from the plurality of TDCs 112 belonging to the pixel group in charge of the histogram generation unit 132, so that the plurality of pixels of the pixel group in charge of the histogram generation unit 132 are generated.
  • a histogram is generated for all of a plurality of active pixels in the pixel group.
  • a histogram of one pixel set as the active pixel is generated.
  • the histogram generation unit 132 is provided for each pixel group composed of a plurality of pixels in this way.
  • the histogram generation unit 132 may be provided for each pixel.
  • the distance calculation unit 133 detects, for example, the TDC code having the maximum frequency value (peak) in the histogram supplied from the histogram generation unit 132.
  • the distance calculation unit 133 performs a calculation for obtaining the distance to the object based on the peaked TDC code and the speed of light.
  • a set of a plurality of pixels 81 of the pixel array 72 and a plurality of TDC 112, a TDC code input unit 131, a histogram generation unit 132, and a distance calculation unit 133 corresponding to the plurality of pixels 81 of the pixel array 72 shown in FIG. , Multiple are provided. Then, in the entire light receiving device, histograms of each active pixel set in the pixel array 72 are generated in parallel (simultaneously), and the distance of each active pixel is calculated.
  • FIG. 4 shows an example of a circuit configuration of the pixel 81.
  • Pixel 81 in FIG. 4 includes a SPAD 101 and a readout circuit 102 composed of a transistor 141 and an inverter 142.
  • the pixel 81 also includes a switch 143, a latch circuit 144, and an inverter 145.
  • the transistor 141 is composed of a P-type MOS transistor.
  • the cathode of the SPAD 101 is connected to the drain of the transistor 141, and is also connected to the input terminal of the inverter 142 and one end of the switch 143.
  • the anode of the SPAD101 is connected to the power supply voltage VA (hereinafter, also referred to as the anode voltage VA).
  • SPAD101 is a photodiode (single photon avalanche photodiode) that avalanche-amplifies the generated electrons and outputs a cathode voltage VS signal when incident light is incident.
  • the power supply voltage VA supplied to the anode of the SPAD101 has, for example, a negative bias (negative potential) of about ⁇ 20 V.
  • Transistor 141 is a constant current source that operates in the saturation region, and performs passive quenching by acting as a quenching resistor.
  • the source of the transistor 141 is connected to the power supply voltage VE, and the drain is connected to the cathode of the SPAD 101, the input terminal of the inverter 142, and one end of the switch 143.
  • the power supply voltage VE is also supplied to the cathode of the SPAD 101.
  • a pull-up resistor can also be used instead of the transistor 141 connected in series with the SPAD 101.
  • a voltage larger than the yield voltage VBD of SPAD101 is applied to SPAD101.
  • the yield voltage VBD of the SPAD 101 is 20V and a voltage 3V larger than that is applied, the power supply voltage VE supplied to the source of the transistor 141 is 3V.
  • the yield voltage VBD of SPAD101 changes greatly depending on the temperature and the like. Therefore, the applied voltage applied to the SPAD 101 is controlled (adjusted) according to the change in the yield voltage VBD. For example, if the power supply voltage VE is a fixed voltage, the anode voltage VA is controlled (adjusted).
  • the switch 143 can be composed of, for example, an N-type MOS transistor, and turns the gating control signal VG, which is the output of the latch circuit 144, on and off according to the gating inverting signal VG_I inverted by the inverter 145.
  • the latch circuit 144 sends a gating control signal VG that controls the pixel 81 to either an active pixel or an inactive pixel to the inverter 145 based on the trigger signal SET supplied from the pixel drive unit 71 and the address data DEC. Supply.
  • the inverter 145 generates a gating inversion signal VG_I in which the gating control signal VG is inverted, and supplies the gating control signal VG to the switch 143.
  • the trigger signal SET is a timing signal indicating the timing of switching the gating control signal VG
  • the address data DEC is a pixel set as the active pixel among the plurality of pixels 81 arranged in a matrix in the pixel array 72. It is data indicating an address.
  • the trigger signal SET and the address data DEC are supplied from the pixel drive unit 71 via the pixel drive line 82.
  • the latch circuit 144 reads the address data DEC at a predetermined timing indicated by the trigger signal SET. Then, when the pixel address indicated by the address data DEC includes the pixel address of its own (pixel 81), the latch circuit 144 of Hi (1) for setting its own pixel 81 as an active pixel. Outputs the gating control signal VG. On the other hand, when the pixel address indicated by the address data DEC does not include the pixel address of its own (pixel 81), the Lo (0) gating control signal for setting its own pixel 81 as an inactive pixel. Output VG.
  • the switch 143 is turned off (disconnected) when the pixel 81 is set to the active pixel and turned on (connected) when the pixel 81 is set to the inactive pixel.
  • the inverter 142 outputs a Hi detection signal PFout when the cathode voltage VS as an input signal is Lo, and outputs a Lo detection signal PFout when the cathode voltage VS is Hi.
  • the inverter 142 is an output unit that outputs the incident of a photon on the SPAD 101 as a detection signal PFout.
  • FIG. 5 is a graph showing the change in the cathode voltage VS of SPAD101 and the detection signal PFout according to the incident of photons.
  • the switch 143 is set to off as described above.
  • the power supply voltage VE for example, 3V
  • the power supply voltage VA for example, -20V
  • a reverse voltage larger than the breakdown voltage VBD 20V
  • SPAD101 is set to Geiger mode.
  • the cathode voltage VS of the SPAD 101 is the same as the power supply voltage VE, for example, at time t0 in FIG.
  • the cathode voltage VS of SPAD101 becomes lower than 0V
  • the anode-cathode voltage of SPAD101 becomes lower than the breakdown voltage VBD
  • the avalanche amplification stops.
  • a voltage drop is generated by the current generated by the avalanche amplification flowing through the transistor 141, and the cathode voltage VS becomes lower than the breakdown voltage VBD due to the generated voltage drop, so that the avalanche amplification is stopped.
  • the action of causing is a quenching action.
  • the inverter 142 outputs the Lo detection signal PFout when the cathode voltage VS, which is the input voltage, is equal to or higher than the predetermined threshold voltage Vth, and outputs the Hi detection signal PFout when the cathode voltage VS is less than the predetermined threshold voltage Vth.
  • the gating inversion signal VG_I of Hi (1) is supplied to the switch 143, and the switch 143 is turned on.
  • the switch 143 is turned on, the cathode voltage VS of the SPAD 101 becomes 0V.
  • the voltage between the anode and the cathode of the SPAD 101 becomes equal to or lower than the breakdown voltage VBD, so that even if a photon enters the SPAD 101, it does not react.
  • FIG. 6 is a diagram illustrating the operation of the TDC 112 and the histogram generation unit 132.
  • the TDC 112 counts up the TDC code based on the TDC clock signal, setting the light emission start of the light source 32 to 0. Then, as described above, the count stops when the incident light is incident on the active pixel and the Hi detection signal PFout is input to the TDC 112 from the readout circuit 102.
  • the histogram generation unit 132 acquires the TDC code in the final state of the TDC 112 via the TDC code input unit 131, and adds only one frequency value of the histogram bin corresponding to the TDC code. As a result of repeating the light emission of the light source 32 and the reception of the reflected light a predetermined number of times (for example, thousands to tens of thousands of times), the frequency of the TDC code as shown in the lower part of FIG. A histogram showing the distribution is completed.
  • the TDC code of the bin represented by Bin # having the maximum frequency value is supplied from the histogram generation unit 132 to the distance calculation unit 133.
  • FIG. 7 is a block diagram showing a detailed configuration example of the light receiving device 42.
  • the TDC 112 of FIG. 3 is replaced with the TDC 151 in the time measuring unit 73. Further, in the signal processing unit 74, a reaction signal input unit 171, a reaction number measurement unit 172, a weight determination unit 173, and a plurality of weight processing units 174 are newly added.
  • the other configurations shown in FIG. 7 are the same as the basic configuration examples shown in FIG.
  • the light receiving device 42 of FIG. 7 receives the first light receiving process for receiving the reflected light for determining the weight for each pixel and the reflected light for measuring the distance to the measurement target using the determined weight.
  • a two-step light receiving process is performed with the second light receiving process.
  • the TDC 151 outputs a reaction signal indicating that the SPAD 101 has reacted in response to the incident of a photon on the pixel 81 in the first light receiving process to the reaction signal input unit 171.
  • the reaction of SPAD101 in response to the incident of photons means that the detection signal PFout of Hi was output from the readout circuit 102, and more specifically, the avalanche multiplication occurred in response to the incident of photons in SPAD101. Represent.
  • the TDC 151 counts the time from when the light source 32 of the lighting device 22 emits light to when the photon is incident on the SPAD 101 in the second light receiving process, and corresponds to the TDC code which is the counting result. Output to the weight processing unit 174.
  • the weight processing unit 174 is provided on a one-to-one basis with respect to the TDC 151.
  • the process executed by the TDC 151 in the second light receiving process is the same process as the TDC 112 of the basic configuration example. Therefore, the TDC 151 has a function of further executing the output processing of the reaction signal in the first light receiving processing in addition to the output processing of the TDC code of the basic configuration example.
  • the TDC code output to the weight processing unit 174 in the second light receiving process has time information from the light source 32 of the lighting device 22 to the incident timing when the photon is incident on the SPAD 101, but the first light receiving process Since the reaction signal output to the reaction signal input unit 171 in the process only notifies that the SPAD 101 has reacted, it does not have time information. Therefore, the reaction signal may be a signal different from the TDC code of the second light receiving process, but the TDC code of the second light receiving process may be used as it is as a reaction signal and supplied to the reaction signal input unit 171. ..
  • a plurality of TDC 151s are connected to the input stage of the reaction signal input unit 171, and one reaction number measurement unit 172 is connected to the output stage of the reaction signal input unit 171.
  • the reaction signal input unit 171 inputs the reaction signal output from any one of the plurality of TDC 151 to the reaction number measurement unit 172. That is, the reaction number measurement unit 172 in the subsequent stage is provided in the same pixel group unit as the histogram generation unit 132.
  • the reaction signal is output from any of the plurality of TDCs 112 corresponding to the plurality of pixels 81 belonging to the pixel group in charge of the reaction number measurement unit 172
  • the reaction signal input unit 171 outputs the reaction signal to the reaction number. Input to the measurement unit 172.
  • the reaction number measurement unit 172 measures the reaction number of each pixel 81 belonging to the pixel group based on the reaction signal supplied from the reaction signal input unit 171. That is, the reaction number measurement unit 172 measures the number of reactions that the SPAD 102 has reacted to in each pixel 81 belonging to the pixel group, and supplies the measurement result to the weight determination unit 173.
  • the weight determination unit 173 determines the weight of each pixel 81 belonging to the pixel group based on the number of reactions of each pixel 81 belonging to the pixel group supplied from the reaction number measurement unit 172.
  • the weight determination unit 173 supplies the weight determined for each pixel 81 belonging to the pixel group to the weight processing unit 174 in which the TDC code of the pixel 81 is input.
  • the weight processing unit 174 performs a process corresponding to the weight supplied from the weight determination unit 173 on the TDC code supplied from the TDC 151, and supplies the TDC code to the TDC code input unit 131.
  • the weight processing unit 174 holds the weight supplied from the weight determination unit 173 as the number of output times of the TDC code, and inputs the TDC code supplied from the TDC 151 as many times as the number of times corresponding to the weight. Output to unit 131.
  • the number of times the TDC code is output is reduced with respect to the number of times the TDC code is input (the process of thinning out the TDC code).
  • the weight value By expressing the weight value as 2 n or 1/2 n , the weight determined by the weight determination unit 173 and the number of outputs held by the weight processing unit 174 are processed by the fixed-point bit shift operation of M bits. can do.
  • the weight may be determined using a value other than 2 n or 1/2 n .
  • the weight processing unit 174 inputs the TDC code supplied from the TDC 151 as many times as the number of times corresponding to the weight, the TDC code input unit 131. Output to. When the weight is 0, the TDC code is not output to the TDC code input unit 131.
  • the weight determination unit 173 determines the weight as a binary value of 0 or 1
  • the weight processing unit 174 determines the TDC code supplied from the TDC 151 and the weight supplied from the weight determination unit 173.
  • the TDC code may be output to the TDC code input unit 131 only when the weight is 1.
  • the weight determined by the weight determination unit 173 increases or decreases the number of TDC codes supplied to the histogram generation unit 132 via the TDC code input unit 131, so that the frequency value of the histogram is increased or decreased. Therefore, it can be said that the weight is a weight for the frequency value of the histogram.
  • the histogram generation unit 132 generates a histogram based on the TDC code supplied from the TDC code input unit 131 and supplies it to the distance calculation unit 133, as in the basic configuration example of FIG.
  • the histogram generation unit 132 is supplied with the TDC code for the number of times according to the weight by the weight processing unit 174. As a result, a histogram is generated in which the TDC code of the pixel 81 with a large weight is set to a larger frequency value than the histogram generated by the basic configuration example of FIG.
  • FIG. 8 shows an example of weights determined in the second light receiving process according to the spot light of the reflected light received in the first light receiving process, with 9 pixels of 3x3 as one pixel group. Is shown.
  • the example on the left side of FIG. 8 shows an example of the weight corresponding to the spot light of the first light receiving process when the weight is determined by 2 n .
  • the number written in the pixel 81 of the second light receiving process represents the weight.
  • the example on the left side of FIG. 8 shows an example of the weight corresponding to the spot light of the first light receiving process when the weight is determined in five stages from 0 to 5.
  • the number written in the pixel 81 of the second light receiving process represents the weight.
  • step S1 the light receiving device 42 starts the first light receiving process for receiving the reflected light for determining the weight for each pixel.
  • the TDC 151 of the light receiving device 42 is in a mode of outputting a reaction signal when the Hi detection signal PFout is output from the readout circuit 102.
  • step S2 the TDC 151 outputs a reaction signal based on the detection signal PFout indicating the timing when the photon is detected in the SPAD 101 of the corresponding pixel 81. More specifically, the readout circuit 102 of the pixel 81 outputs a Hi detection signal PFout when a photon is detected in the SPAD 101 in the same pixel. When the Hi detection signal PFout is supplied from the read circuit 102, the TDC 151 outputs a reaction signal indicating that the SPAD 101 has reacted to the reaction signal input unit 171.
  • step S3 the light receiving device 42 determines whether or not the first light receiving process has been completed. If it is determined in step S3 that the first light receiving process has not yet been completed, the process returns to step S2, and the processes of steps S2 and S3 are repeated. As a result, the light emission of the light source 32 and the reception of the reflected light in the first light receiving process are repeated a predetermined number of times.
  • step S3 If it is determined in step S3 that the first light receiving process has been completed, the process proceeds to step S4, and the reaction count measuring unit 172 enters the pixel group based on the reaction signal supplied from the reaction signal input unit 171. The number of reactions of each pixel 81 to which it belongs is measured, and the measurement result is supplied to the weight determination unit 173.
  • step S5 the weight determination unit 173 determines the weight of each pixel 81 belonging to the pixel group based on the number of reactions of each pixel 81 belonging to the pixel group supplied from the reaction number measurement unit 172. The determined weight is supplied to the weight processing unit 174 in which the weight is set.
  • step S6 the light receiving device 42 starts a second light receiving process for receiving the reflected light for measuring the distance to the measurement target using the determined weight.
  • the TDC 151 of the light receiving device 42 is in a mode of outputting the TDC code when the Hi detection signal PFout is output from the reading circuit 102.
  • step S7 the TDC 151 outputs a TDC code based on the detection signal PFout indicating the timing when a photon is detected in the SPAD 101 of the corresponding pixel 81. More specifically, the readout circuit 102 of the pixel 81 outputs a Hi detection signal PFout when a photon is detected in the SPAD 101 in the same pixel.
  • the TDC 151 counts the time from when the light source 32 of the lighting device 22 emits light to when the photon is incident on the SPAD 101, and outputs the TDC code, which is the counting result, to the corresponding weight processing unit 174.
  • step S8 the weight processing unit 174 performs a process (weight correspondence process) corresponding to the weight supplied from the weight determination unit 173 on the TDC code supplied from the TDC 151, and supplies the TDC code to the TDC code input unit 131.
  • the weight processing unit 174 holds the weight supplied from the weight determination unit 173 as the number of output times of the TDC code, and the TDC code supplied from the TDC 151 is input to the TDC code as many times as the number of times corresponding to the weight. Output to 131.
  • the TDC code input unit 131 supplies the TDC code supplied from the weight processing unit 174 to the histogram generation unit 132.
  • step S9 the histogram generation unit 132 generates a histogram based on the TDC code after the weight correspondence process supplied via the TDC code input unit 131.
  • the generated histogram is supplied to the distance calculation unit 133.
  • the distance calculation unit 133 detects, for example, the TDC code of the peak having the maximum frequency value in the histogram supplied from the histogram generation unit 132.
  • the distance calculation unit 133 calculates the distance to the object based on the peaked TDC code and the speed of light, and supplies the distance to the input / output unit 75.
  • step S11 the input / output unit 75 generates a distance image in which the distance of each pixel calculated by the distance calculation unit 133 is stored as a pixel value, and outputs a distance image signal (distance image signal) to the outside. , End the process.
  • the pixel weights are set to be the same for all pixels. Then, the number of reactions (the number of times the reflected light is received) that the SPAD 102 reacts to is measured, and the weight in the second light receiving process is determined based on the measurement result. Then, in the second light receiving process, the weight determined in the first light receiving process is supplied to the weight processing unit 174, and individual weights are set for each TDC 151. Then, the number of times the TDC code is output from the TDC 151 is increased or decreased according to the set weight.
  • the histogram generation unit 132 generates a histogram based on the TDC code after the weight correspondence process. The distance to the object is calculated based on the generated histogram.
  • the weight when generating the histogram for distance measurement is determined according to the number of times the incident light (photon) is incident on the pixel 81 measured before the second light receiving process, and is necessary for observation. It is possible to increase the weight of the pixel 81 (high signal) and reduce the weight of the pixel 81 in which only background light is observed (low signal). In other words, the S / N can be improved and the distance can be measured at a high frame rate or with high accuracy.
  • the distance is measured using all the pixels 81 of the pixel array 72, so that there is no deterioration in resolution. Further, for example, even if there is a pixel 81 that is not used with the weight set to 0 or 1, the pixel 81 is a pixel 81 that is known in advance to be a pixel 81 to which reflected light is not incident, so that the resolution is high. Does not mean that has deteriorated. In other words, the distance measurement can be performed efficiently by reducing the weight of the pixel 81 in which the reflected light is not missed and the reflected light is not incident.
  • the weights of the plurality of pixels 81 belonging to the pixel group are controlled so as to be individually set for each pixel 81, but the same weight is determined for all the pixels 81 belonging to the pixel group. In this way, the weight may be determined for each pixel group.
  • the arrangement of the weight processing unit 174 and the TDC code input unit 131 is reversed, the TDC code from the TDC code input unit 131 is subjected to weight correspondence processing, and then supplied to the histogram generation unit 132. You may.
  • FIG. 10 is a block diagram showing a modified example of the light receiving device 42.
  • FIG. 10 the parts corresponding to those in FIG. 7 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • the weight determining unit 173 of FIG. 7 is replaced with the weight determining unit 201, and the unique data storage unit 202 is newly added.
  • the other points are the same as those of the light receiving device 42 of FIG.
  • the light receiving device 42 of FIG. 7 In the distance measurement process by the light receiving device 42 of FIG. 7 described above, in the first light receiving process, only the number of reactions was measured, and the distance was not measured.
  • the light receiving device 42 according to the modified example of FIG. 10 generates a histogram based on the TDC code in the first light receiving process as well as the second light receiving process, and calculates the distance. Then, the weight determining unit 201 determines the weight based on the distance information and the number of reactions in the first light receiving process. If the distance information to the object is known, the approximate light receiving position (light receiving pixel) of the incident light can be predicted. Therefore, the weight of the pixel 81 to which the incident light is predicted is predicted based on the distance information in the first light receiving process. Can be largely determined.
  • the unique data storage unit 202 stores the light receiving characteristic information unique to the light receiving device 42, which is measured in advance in the pre-shipment inspection of the light receiving device 42 or the like.
  • the light receiving characteristic information is, for example, data such as a spot shape and a spot position when receiving incident light.
  • the weight determining unit 201 can largely determine the weight of the pixel 81 in which the incident light is predicted, based on the number of reactions and the light receiving characteristic information unique to the light receiving device 42.
  • the weight determining unit 201 uses both the distance information in the first light receiving process and the light receiving characteristic data stored in the unique data storage unit 202 in addition to the number of reactions in the first light receiving process to weight the pixel 81. May be determined.
  • FIG. 11 is a perspective view showing a chip configuration example of the light receiving device 42.
  • the light receiving device 42 can be composed of one chip in which a sensor die 251 and a logic die 252 as a plurality of dies (boards) are laminated.
  • the sensor die 251 is configured with a sensor unit 261 (circuit as), and the logic die 252 is configured with a logic unit 262.
  • a pixel drive unit 71 and a pixel array 72 are formed in the sensor unit 261.
  • the logic unit 262 is formed with a time measurement unit 73, a signal processing unit 74, and an input / output unit 75.
  • the input / output unit 75 includes, for example, a solder ball or the like formed on a surface opposite to the joint surface with the sensor die 251.
  • the light receiving device 42 may be composed of three layers in which another logic die is laminated in addition to the sensor die 251 and the logic die 252. Of course, it may be composed of a stack of four or more dies (boards).
  • the light receiving device 42 is composed of, for example, as shown in B of FIG. 11, a first chip 271 and a second chip 272, and a relay board (interposer board) 273 on which they are mounted. May be good.
  • a pixel drive unit 71 and a pixel array 72 are formed on the first chip 271.
  • a time measuring unit 73, a signal processing unit 74, and an input / output unit 75 are formed on the second chip 272.
  • the input / output unit 75 includes, for example, a solder ball or the like formed on the lower surface of the relay board 273.
  • the circuit arrangement of the sensor die 251 and the logic die 252 in A of FIG. 11 and the circuit arrangement of the first chip 271 and the second chip 272 in B of FIG. 11 are merely examples. Not limited to.
  • the time measuring unit 73 may be formed on the sensor die 251 or the first chip 271 in which the pixel array 72 is arranged.
  • ⁇ Read circuit and TDC connection configuration In the configuration of the light receiving device 42 described above, as shown in FIG. 7 and the like, the SPAD 101 and the read circuit 102 are arranged in pairs on one pixel 81, and one TDC 112 is provided for one read circuit 102. Was configured to be provided. That is, the SPAD 101, the read circuit 102, and the TDC 112 are provided in a one-to-one relationship.
  • the correspondence between the number of SPAD 101 and the read circuit 102 and the correspondence between the number of read circuits 102 and the number of TDC 112 are not limited to the above examples, and can be arbitrarily combined.
  • FIG. 12 shows a modified example in which the number of the readout circuit 102 and the TDC 112 is changed with respect to the first configuration example of the light receiving device 42 shown in FIG.
  • the SPAD 101 is arranged in each pixel 81 of the pixel array 72, and one reading circuit 102 is provided for the SPAD 101 of the plurality of pixels 81.
  • the read circuit 102 for example, when the light receiving device 42 is composed of one chip having a laminated structure shown in FIG. 11A, the logic of the lower layer of the region of the plurality of SPAD 101 to be read from the pixel array 72 of the sensor die 251. It can be placed on the die 252.
  • the readout circuit 102 may be arranged on the outer peripheral portion of the pixel array 72 of the sensor die 251.
  • one TDC 112 is provided for the plurality of read circuits 102. Then, one histogram generation unit 132 is provided for the plurality of TDC 112s.
  • one histogram generation unit 132 is provided for one pixel group, that is, a plurality of pixels 81 connected to one TDC code input unit 131, which is shown in FIG.
  • a plurality of histogram generation units 132 may be provided for one pixel group.
  • FIG. 13 shows an example in which two histogram generation units 132A and 132B are provided for one pixel group.
  • the two histogram generators 132A and 132B can, for example, execute the same processing in parallel in order to improve reliability.
  • the histogram generation unit 132A and the histogram generation unit 132B may generate a histogram of the TDC code corresponding to different readout circuits 102.
  • the present technology is not limited to application to a ranging system. That is, the present technology can be applied to all electronic devices such as smartphones, tablet terminals, mobile phones, personal computers, game machines, television receivers, wearable terminals, digital still cameras, and digital video cameras.
  • the distance measuring device 23 may be in a modular form in which the lens 41 and the light receiving device 42 are packaged together, or the lens 41 and the light receiving device 42 are separately configured, and only the light receiving device 42 is integrated. It may be configured as a chip.
  • FIG. 14 is a diagram showing a usage example of the distance measuring system 11 or the distance measuring device 23 described above.
  • the above-mentioned ranging system 11 can be used in various cases of sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as described below.
  • Devices that take images for viewing such as digital cameras and portable devices with camera functions.
  • Devices used for traffic such as in-vehicle sensors that photograph the rear, surroundings, and interior of vehicles, surveillance cameras that monitor traveling vehicles and roads, and distance measurement sensors that measure distance between vehicles, etc.
  • User gestures Equipment used in home appliances such as TVs, refrigerators, and air conditioners to take pictures and operate the equipment according to the gestures
  • Endoscopes devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare ⁇ Equipment used for security such as surveillance cameras for crime prevention and cameras for person authentication ⁇ Skin measuring instruments for taking pictures of the skin and taking pictures of the scalp Equipment used for beauty such as microscopes ⁇ Equipment used for sports such as action cameras and wearable cameras for sports applications ⁇ Camera etc. for monitoring the condition of fields and crops , Equipment used for agriculture
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 16 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 16 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the distance measuring system 11 of FIG. 1 can be applied to the imaging unit 12031.
  • the image pickup unit 12031 is, for example, LIDAR, and is used for detecting an object around the vehicle 12100 and the distance to the object.
  • LIDAR LIDAR
  • the detection accuracy of the object around the vehicle 12100 and the distance to the object is improved.
  • a vehicle collision warning can be issued at an appropriate timing, and a traffic accident can be prevented.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have the following configurations.
  • a measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel, A weight determination unit that determines the weight based on the number of reactions, TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel, A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
  • a distance measuring device including a histogram generation unit that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
  • a distance calculation unit for calculating the distance to the object based on the histogram is further provided.
  • a pixel array in which a plurality of pixels including at least the light receiving element are arranged in a matrix is further provided. The distance measuring device according to (2), wherein the weight determining unit determines the weight for each pixel.
  • the weights of the pixels when measuring the number of reactions are the same, The distance measuring device according to any one of (1) to (5), wherein the weight of the pixel when generating the histogram is determined for each TDC. (7) The distance measuring device according to any one of (1) to (6), wherein the weight processing unit outputs the count value as a process corresponding to the weight a number of times corresponding to the weight. (8) The distance measuring device according to (7) above, wherein when the weight is larger than 1, the weight processing unit increases the number of times the count value is output with respect to the number of times the count value is input.
  • the distance measuring device (9) The distance measuring device according to (7) or (8), wherein when the weight is smaller than 1, the weight processing unit reduces the number of times the count value is output with respect to the number of times the count value is input. (10) A readout circuit that outputs the timing at which a photon is detected in the light receiving element is further provided. The distance measuring device according to any one of (1) to (9), wherein the readout circuit is provided for a plurality of the light receiving elements. (11) The distance measuring device according to any one of (1) to (10), wherein the histogram generation unit is provided for each pixel group composed of a plurality of the pixels. (12) The distance measuring device according to (11), wherein the weight determining unit determines the weight for each pixel group.
  • the distance measuring device according to any one of (1) to (12) above, which is composed of one chip.
  • the distance measuring device The number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel is measured. The weight is determined based on the number of reactions. The time from when the light source emits light to when the photon is incident on the pixel is counted. The count value supplied from the TDC is subjected to a process corresponding to the weight. A distance measuring method that generates a histogram based on the count value that has been processed corresponding to the weight. (15) Lighting equipment with a light source and It is equipped with a ranging device that receives the reflected light reflected by the object from the light from the light source.
  • the distance measuring device is A measuring unit that measures the number of reactions that the light receiving element reacts to in response to the incident of photons on the pixel, A weight determination unit that determines the weight based on the number of reactions, TDC, which counts the time from when the light source emits light to when the photon is incident on the pixel, A weight processing unit that performs processing corresponding to the weight on the count value supplied from the TDC.
  • a distance measuring system including a histogram generating unit that generates a histogram based on the count value that has been subjected to processing corresponding to the weight.
  • 11 ranging system 21 timing signal generation circuit, 22 lighting device, 23 ranging device, 31 lighting control unit, 32 light source, 42 light receiving device, 71 pixel drive unit, 72 pixel array, 73 time measurement unit, 74 signal processing unit , 75 input / output unit, 81 pixels, 101 SPAD, 102 read circuit, 111 TDC clock generation unit, 112 TDC, 131 TDC code input unit, 132 histogram generation unit, 133 distance calculation unit, 151 TDC, 171 reaction signal input unit, 172 reaction count measurement unit, 173 weight determination unit, 174 weight processing unit, 201 weight determination unit, 202 unique data storage unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本技術は、高精度に距離を測定することができるようにする測距装置、測距方法、および、測距システムに関する。　測距装置（２３）は、画素（８１）への光子の入射に応じて受光素子が反応した反応回数を計測する計測部（１７２）と、反応回数に基づいて、重みを決定する重み決定部（１７３）と、光源（３２）が発光してから画素（８１）に光子が入射される入射タイミングまでの時間をカウントするTDC（１５１）と、TDCから供給されるカウント値に対して、重みに対応する処理を施す重み処理部（１７４）と、重みに対応する処理が施されたカウント値に基づいて、ヒストグラムを生成するヒストグラム生成部（１３２）とを備える。　本技術は、例えば、被写体までの奥行き方向の距離を検出する測距システム等に適用できる。

Description

測距装置、測距方法、および、測距システム
　本技術は、測距装置、測距方法、および、測距システムに関し、特に、高精度に距離を測定することができるようにした測距装置、測距方法、および、測距システムに関する。
　被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある。Direct ToFセンサ（以下、単にToFセンサと称する。）は、被写体に向けて光を照射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
　ToFセンサでは、光を照射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離相当のカウント値に変換される。光の照射と受信は、外乱光やマルチパスの影響を除去するために、複数回に渡って実施される。そして、複数回分のカウント値のヒストグラムが生成され、頻度値が最も大きいカウント値が、最終的なカウント値として出力される。
　例えば、特許文献１には、反射光の状況などに応じて、ヒストグラムを生成する単位を、多数のSPADを割り当てる領域と、少数のSPADを割り当てる領域とに変化させる処理が開示されている。
特開２０１８－１７９９７４号公報
　しかしながら、特許文献１の技術では、分解能が変化するので、解像度の劣化が懸念される。
　本技術は、このような状況に鑑みてなされたものであり、高精度に距離を測定することができるようにするものである。
　本技術の第１の側面の測距装置は、画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、前記反応回数に基づいて、重みを決定する重み決定部と、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部とを備える。
　本技術の第２の側面の測距方法は、測距装置が、画素への光子の入射に応じて受光素子が反応した反応回数を計測し、前記反応回数に基づいて、重みを決定し、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する。
　本技術の第３の側面の測距システムは、光源を有する照明装置と、前記光源からの光が物体に反射された反射光を受光する測距装置とを備え、前記測距装置は、画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、前記反応回数に基づいて、重みを決定する重み決定部と、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部とを備える。
　本技術の第１乃至第３の側面においては、画素への光子の入射に応じて受光素子が反応した反応回数が計測され、前記反応回数に基づいて、重みが決定され、光源が発光してから前記画素に光子が入射される入射タイミングまでの時間がカウントされ、前記TDCから供給されるカウント値に対して、前記重みに対応する処理が施され、前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムが生成される。
　測距装置及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 図１の受光装置の概略構成例を示すブロック図である。 比較例としての受光装置の基本構成例を示すブロック図である。 画素の回路構成例を示す図である。 画素の動作を説明する図である。 TDCおよびヒストグラム生成部の動作を説明する図である。 受光装置の詳細構成を示すブロック図である。 第２の受光処理において決定される重みの例を示す図である。 距離測定処理を説明するフローチャートである。 受光装置の変形例を示すブロック図である。 受光装置のチップ構成例を示す斜視図である。 図７の受光装置の変形例を示すブロック図である。 図７の受光装置の変形例を示すブロック図である。 測距システムの使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距システムの構成例
２．受光装置の概略構成例
３．受光装置の基本構成例
４．受光装置の詳細構成例
５．距離測定処理
６．変形例
７．測距システムの使用例
８．移動体への応用例
＜１．測距システムの構成例＞
　図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
　測距システム１１は、例えば、ToF法を用いて、測定対象としての物体１２及び物体１３までの距離を測定するシステムである。測距システム１１は、タイミング信号生成回路２１、照明装置２２、及び、測距装置２３を備える。
　タイミング信号生成回路２１は、照明装置２２が光を照射するタイミングを制御する発光タイミング信号を生成し、照明装置２２および測距装置２３に供給する。
　照明装置２２は、照明制御部３１及び光源３２を備える。
　照明制御部３１は、タイミング信号生成回路２１から供給される発光タイミング信号に従って、光源３２に光を照射させる。例えば、発光タイミング信号は、High（１）とLow（０）のパルス信号で構成され、照明制御部３１は、発光タイミング信号が、Highのとき光源３２を点灯させ、発光タイミング信号がLowのとき光源３２を消灯させる。
　光源３２は、照明制御部３１の制御の下、所定の波長域の光を発する。光源３２は、例えば、赤外線レーザダイオードで構成される。なお、光源３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。
　測距装置２３は、照明装置２２から照射された光（照射光）が物体１２または物体１３によって反射された反射光を受光し、反射光を受光したタイミングに基づいて物体までの距離を算出する。
　測距装置２３は、レンズ４１、及び、受光装置４２を備える。レンズ４１は、入射光を受光装置４２の受光面に結像させる。なお、レンズ４１の構成は任意であり、例えば、複数のレンズ群によりレンズ４１を構成することも可能である。
　受光装置４２は、例えば、受光素子としてSPAD（Single Photon Avalanche Diode）やAPD(Avalanche photodiode)などを用いた画素が行方向及び列方向の行列状に２次元配置された画素アレイを有する。受光装置４２は、照明装置２２が照射光を照射してから受光装置４２が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体１２または物体１３までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成して出力する。光源３２が発光するタイミングを示す発光タイミング信号は、タイミング信号生成回路２１から受光装置４２にも供給される。
　なお、測距システム１１では、光源３２の発光と、その反射光の受光とを複数回（例えば、数千乃至数万回）繰り返すことにより、受光装置４２が、外乱光やマルチパス等の影響を除去した距離画像を生成して出力することができる。
＜２．受光装置の概略構成例＞
　図２は、受光装置４２の概略構成例を示すブロック図である。
　受光装置４２は、画素駆動部７１、画素アレイ７２、時間計測部７３、信号処理部７４、および、入出力部７５を備える。
　画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置されて構成されている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。
　画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。
　画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７５を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。なお、水平方向に配線された画素駆動線８２だけでなく、垂直方向に配線された画素駆動線（不図示）も用いて、両者の論理積により、アクティブ画素及び非アクティブ画素の制御を行ってもよい。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素アレイ７２内のアクティブ画素で生成された画素信号は、時間計測部７３へ入力される。画素８１の詳細構成については後述する。
　時間計測部７３は、画素アレイ７２のアクティブ画素から供給される画素信号と、光源３２の発光タイミングを示す発光タイミング信号とに基づいて、光源３２が光を発光してからアクティブ画素が光を受光するまでの時間に対応するカウント値を生成する。発光タイミング信号は、入出力部７５を介して外部（タイミング信号生成回路２１）から時間計測部７３へ供給される。
　信号処理部７４は、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間をカウントしたカウント値のヒストグラムを画素ごとに作成する。そして、信号処理部７４は、ヒストグラムのピークを検出することで、光源３２から照射された光が物体１２または物体１３で反射して戻ってくるまでの時間を判定する。信号処理部７４は、受光装置４２が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体までの距離を算出する。
　入出力部７５は、信号処理部７４において検出された各画素の距離を画素値として格納した距離画像を生成し、距離画像の信号（距離画像信号）を、外部に出力する。また、入出力部７５は、タイミング信号生成回路２１から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７３に供給する。
　受光装置４２は、以上のように構成されている。
＜３．受光装置の基本構成例＞
　受光装置４２の詳細構成を説明する前に、受光装置４２の前提となる受光装置の基本構成例について説明する。
　図３は、受光装置４２と比較する比較例としての受光装置の基本構成例を示すブロック図である。
　図３の基本構成例においては、画素アレイ７２の各画素８１は、SPAD１０１と、読み出し回路１０２とを有し、時間計測部７３は、TDCクロック生成部１１１と、複数のTDC１１２とを有し、信号処理部７４は、TDCコード入力部１３１、ヒストグラム生成部１３２、および、距離演算部１３３を有する。
　SPAD（単一光子アバランシェフォトダイオード）１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させて信号を出力する受光素子である。なお、受光素子として、SPADではなく、APDを用いることもできる。
　読み出し回路１０２は、SPAD１０１において光子が検出されたタイミングを検出信号PFout（図４）として出力する回路である。
　したがって、画素８１では、SPAD１０１に入射光が入射されたタイミングを読み出し回路１０２が読み出して、TDC１１２に出力する。
　なお、本実施の形態では、簡単のため、１つの画素８１に、SPAD１０１と、読み出し回路１０２とが１対１で設けられていることとするが、図１２を参照して後述するように、複数のSPAD１０１に対して、１つの読み出し回路１０２を設けてもよい。
　TDCクロック生成部１１１は、時間計測部７３内に１つ設けられ、TDCクロック信号を生成して、時間計測部７３内の全てのTDC１１２に供給する。TDCクロック信号は、TDC１１２が、照射光を照射してから画素８１が受光するまでの時間をカウントするためのクロック信号である。
　TDC（Time to Digital Converter）１１２は、読み出し回路１０２の出力に基づいて、時間をカウントし、その結果得られたカウント値を、信号処理部７４のTDCコード入力部１３１に供給する。以下では、TDC１１２がカウントする値をTDCコードと呼ぶ。
　TDC１１２には、TDCクロック生成部１１１からTDCクロック信号が供給される。TDC１１２は、TDCクロック信号に基づいて、TDCコードを０から順にカウントアップする。そして、読み出し回路１０２から入力される検出信号PFoutが、SPAD１０１に入射光が入射されたタイミングを示した時点でカウントアップを停止し、最終状態のTDCコードを、TDCコード入力部１３１に出力する。
　TDCコード入力部１３１の入力段には、複数のTDC１１２が接続され、TDCコード入力部１３１の出力段には、１つのヒストグラム生成部１３２が接続されている。TDCコード入力部１３１は、複数のTDC１１２のいずれかから出力されたTDCコードを、ヒストグラム生成部１３２に入力する。すなわち、後段のヒストグラム生成部１３２は、画素アレイ７２の複数の画素８１単位で設けられている。１つのヒストグラム生成部１３２が担当する複数の画素８１を画素グループと称することとすると、TDCコード入力部１３１は、ヒストグラム生成部１３２が担当する画素グループに属する複数の画素８１に対応する複数のTDC１１２のいずれかから、TDCコードが出力された場合に、そのTDCコードを、ヒストグラム生成部１３２に入力させる。
　ヒストグラム生成部１３２は、光源３２が光を照射してから反射光を受光するまでの時間であるTDCコードのヒストグラムを生成する。測距システム１１では、１回の距離画像の生成において、光源３２の発光と、その反射光の受光とが所定回数（例えば、数千乃至数万回）繰り返されるので、複数のTDCコードが発生する。ヒストグラム生成部１３２は、発生した複数のTDCコードについて、ヒストグラムを生成し、距離演算部１３３に供給する。
　ヒストグラム生成部１３２は、上述したように、ヒストグラム生成部１３２が担当する画素グループに属する複数のTDC１１２からのTDCコードに基づいてヒストグラムを生成するので、ヒストグラム生成部１３２が担当する画素グループの複数画素が同時にアクティブ画素に設定されている場合には、画素グループ内の複数のアクティブ画素全体におけるヒストグラムを生成する。一方、ヒストグラム生成部１３２が担当する画素グループのいずれか１画素がアクティブ画素に設定されている場合には、アクティブ画素に設定された１画素のヒストグラムを生成する。
　なお、図３の基本構成例および、後述する受光装置４２の構成では、ヒストグラム生成部１３２の回路面積削減のため、このように、複数画素からなる画素グループ単位で、ヒストグラム生成部１３２を設けることとするが、勿論、画素単位に、ヒストグラム生成部１３２を設けてもよい。
　距離演算部１３３は、ヒストグラム生成部１３２から供給されるヒストグラムにおいて、例えば、頻度値が最大（ピーク）となるTDCコードを検出する。距離演算部１３３は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を求める演算を行う。
　基本構成例においては、図３に示される、画素アレイ７２の複数の画素８１と、それに対応する、複数のTDC１１２、TDCコード入力部１３１、ヒストグラム生成部１３２、および、距離演算部１３３のセットが、複数設けられている。そして、受光装置全体では、画素アレイ７２内に設定された各アクティブ画素のヒストグラムが並列に（同時に）生成され、各アクティブ画素の距離が算出される。
　図４は、画素８１の回路構成例を示している。
　図４の画素８１は、SPAD１０１と、トランジスタ１４１およびインバータ１４２で構成される読み出し回路１０２とを備える。また、画素８１は、スイッチ１４３、ラッチ回路１４４、および、インバータ１４５も備える。トランジスタ１４１は、P型のMOSトランジスタで構成される。
　SPAD１０１のカソードは、トランジスタ１４１のドレインに接続されるとともに、インバータ１４２の入力端子、及び、スイッチ１４３の一端に接続されている。SPAD１０１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。
　SPAD１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１０１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。
　トランジスタ１４１は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１４１のソースは電源電圧VEに接続され、ドレインがSPAD１０１のカソード、インバータ１４２の入力端子、及び、スイッチ１４３の一端に接続されている。これにより、SPAD１０１のカソードにも、電源電圧VEが供給される。SPAD１０１と直列に接続されたトランジスタ１４１の代わりに、プルアップ抵抗を用いることもできる。
　SPAD１０１には、十分な効率で光（フォトン）を検出するため、SPAD１０１の降伏電圧VBDよりも大きな電圧（過剰バイアス（ExcessBias））が印加される。例えば、SPAD１０１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１４１のソースに供給される電源電圧VEは、３Vとされる。
　なお、SPAD１０１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１０１に印加する印加電圧が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。
　スイッチ１４３は、両端の一端がSPAD１０１のカソード、インバータ１４２の入力端子、および、トランジスタ１４１のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１４６に接続されている。スイッチ１４３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１４４の出力であるゲーティング制御信号VGを、インバータ１４５で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
　ラッチ回路１４４は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１４５に供給する。インバータ１４５は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１４３に供給する。
　トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。
　ラッチ回路１４４は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１４４は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0)のゲーティング制御信号VGを出力する。これにより、画素８１がアクティブ画素とされる場合には、インバータ１４５によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ１４３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１４３に供給される。したがって、スイッチ１４３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。
　インバータ１４２は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１４２は、SPAD１０１への光子の入射を検出信号PFoutとして出力する出力部である。
　次に、図５を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。
　図５は、光子の入射に応じたSPAD１０１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
　まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１４３はオフに設定される。
　SPAD１０１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、－２０V）が供給されることから、SPAD１０１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１０１がガイガーモードに設定される。この状態では、SPAD１０１のカソード電圧VSは、例えば図５の時刻t0のように、電源電圧VEと同じである。
　ガイガーモードに設定されたSPAD１０１に光子が入射すると、アバランシェ増倍が発生し、SPAD１０１に電流が流れる。
　図５の時刻t1において、アバランシェ増倍が発生し、SPAD１０１に電流が流れたとすると、時刻t1以降、SPAD１０１に電流が流れることにより、トランジスタ１４１にも電流が流れ、トランジスタ１４１の抵抗成分により電圧降下が発生する。
　時刻t2において、SPAD１０１のカソード電圧VSが0Vよりも低くなると、SPAD１０１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１４１に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
　アバランシェ増幅が停止するとトランジスタ１４１の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
　インバータ１４２は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１０１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１０１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
　なお、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１４３に供給され、スイッチ１４３がオンされる。スイッチ１４３がオンされると、SPAD１０１のカソード電圧VSが０Vとなる。その結果、SPAD１０１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１０１に光子が入ってきても反応しない状態となる。
　図６は、TDC１１２およびヒストグラム生成部１３２の動作を説明する図である。
　TDC１１２は、図６に示されるように、光源３２の発光開始を０として、TDCクロック信号に基づいてTDCコードをカウントアップする。そして、上述したように、アクティブ画素に入射光が入射され、Hiの検出信号PFoutが、読み出し回路１０２からTDC１１２に入力された時点で、カウントが停止する。
　ヒストグラム生成部１３２は、TDC１１２の最終状態のTDCコードを、TDCコード入力部１３１を介して取得し、TDCコードに対応するヒストグラムのビン（Bin）の頻度値を１だけ追加する。光源３２の発光と、その反射光の受光とが所定回数（例えば、数千乃至数万回）繰り返された結果、ヒストグラム生成部１３２において、図６の下段に示されるような、TDCコードの頻度分布を示すヒストグラムが完成する。
　図６の例では、頻度値が最大となるBin#で示されるビンのTDCコードが、ヒストグラム生成部１３２から、距離演算部１３３に供給される。
　以上が、受光装置の基本構成例における動作の概要となる。
＜４．受光装置の詳細構成例＞
　次に、図３に示した基本構成例と比較して、測距システム１１の受光装置４２の詳細構成について説明する。
　図７は、受光装置４２の詳細構成例を示すブロック図である。
　図７において、図３に示した基本構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図７の構成を、図３に示した構成と比較すると、時間計測部７３において、図３のTDC１１２がTDC１５１へ置き換えられている。また、信号処理部７４において、反応信号入力部１７１、反応回数計測部１７２、重み決定部１７３、および、複数の重み処理部１７４が、新たに追加されている。図７のその他の構成は、図３に示した基本構成例と同一である。
　図７の受光装置４２は、画素ごとの重みを決定するための反射光を受光する第１の受光処理と、決定された重みを用いて測定対象までの距離を測定するための反射光を受光する第２の受光処理との２段階の受光処理を行う。
　TDC１５１は、第１の受光処理において、画素８１への光子の入射に応じてSPAD１０１が反応したことを示す反応信号を、反応信号入力部１７１に出力する。ここで、光子の入射に応じたSPAD１０１の反応とは、読み出し回路１０２からHiの検出信号PFoutが出力されたこと、さらに言えば、SPAD１０１において光子の入射に応じてアバランシェ増倍が発生したことを表す。
　また、TDC１５１は、第２の受光処理において、照明装置２２の光源３２が発光してからSPAD１０１に光子が入射された入射タイミングまでの時間をカウントし、そのカウント結果であるTDCコードを、対応する重み処理部１７４に出力する。重み処理部１７４は、TDC１５１に対して、１対１に設けられている。
　第２の受光処理でTDC１５１が実行する処理は、基本構成例のTDC１１２と同じ処理である。したがって、TDC１５１は、基本構成例のTDCコードの出力処理に加えて、第１の受光処理における反応信号の出力処理をさらに実行する機能を備えている。
　第２の受光処理において重み処理部１７４に出力されるTDCコードは、照明装置２２の光源３２が発光してからSPAD１０１に光子が入射された入射タイミングまでの時間情報をもつが、第１の受光処理において反応信号入力部１７１に出力される反応信号は、SPAD１０１が反応したことのみを通知するので、時間情報は持たない。したがって、反応信号は、第２の受光処理のTDCコードと異なる信号でもよいが、第２の受光処理のTDCコードを、そのまま、反応信号として用いて、反応信号入力部１７１に供給してもよい。
　反応信号入力部１７１の入力段には、複数のTDC１５１が接続され、反応信号入力部１７１の出力段には、１つの反応回数計測部１７２が接続されている。反応信号入力部１７１は、複数のTDC１５１のいずれかから出力された反応信号を、反応回数計測部１７２に入力する。すなわち、後段の反応回数計測部１７２は、ヒストグラム生成部１３２と同じ画素グループ単位で設けられている。反応信号入力部１７１は、反応回数計測部１７２が担当する画素グループに属する複数の画素８１に対応する複数のTDC１１２のいずれかから、反応信号が出力された場合に、その反応信号を、反応回数計測部１７２に入力させる。
　反応回数計測部１７２は、反応信号入力部１７１から供給される反応信号に基づいて、画素グループに属する各画素８１の反応回数を計測する。すなわち、反応回数計測部１７２は、画素グループに属する各画素８１において、SPAD１０２が反応した反応回数を計測し、計測結果を重み決定部１７３に供給する。
　重み決定部１７３は、反応回数計測部１７２から供給される、画素グループに属する各画素８１の反応回数に基づいて、画素グループに属する各画素８１の重みを決定する。
　光を照射した時刻から反射光を受信した時刻までをカウントするToF法では、図６のヒストグラムから明らかなように、物体からの反射光を受光した画素８１では、反応回数が多くなる。そのため、重み決定部は、反応回数が多い画素８１には、大きい重みを決定し、反応回数が少ない画素８１には、少ない重みを決定するように、重みを決定する。例えば、重み決定部１７３は、２nまたは１／２n（ｎ＝０以上の正数）を重みとして決定する。
　重み決定部１７３は、画素グループに属する各画素８１について決定した重みを、その画素８１のTDCコードが入力される重み処理部１７４に供給する。
　重み処理部１７４は、第２の受光処理において、TDC１５１から供給されるTDCコードに対して、重み決定部１７３から供給される重みに対応する処理を施して、TDCコード入力部１３１に供給する。
　具体的には、重み処理部１７４は、重み決定部１７３から供給される重みを、TDCコードの出力回数として保持し、TDC１５１から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部１３１に出力する。
　例えば、重みが２である場合、重み処理部１７４は、TDC１５１から供給されるTDCコードを２回、TDCコード入力部１３１に出力する。また例えば、重みが１／２である場合、重み処理部１７４は、TDC１５１から供給されるTDCコードを２回に１回の割合で、TDCコード入力部１３１に出力する。２nまたは１／２n（ｎ＝０以上の正数）の重みを採用した場合、重み処理部１７４は、重みが１より大きい場合、TDCコードの入力回数に対して、TDCコードを出力する回数を増やし、重みが１より小さい場合、TDCコードの入力回数に対して、TDCコードを出力する回数を減らす処理（TDCコードを間引く処理）となる。重みの値を２nまたは１／２nで表現することにより、重み決定部１７３で決定する重み、および、重み処理部１７４で保持する出力回数を、Mビットの固定小数点のビットシフト演算で処理することができる。
　なお勿論、重みは、２nまたは１／２n以外の値を用いて決定してもよい。
　例えば、重み決定部１７３は、重みを０から５までの整数で決定することとすると、重み処理部１７４は、TDC１５１から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部１３１に出力する。重みが０の場合は、TDCコードは、TDCコード入力部１３１に出力されない。
　また例えば、重み決定部１７３は、重みを０または１の２値で決定し、重み処理部１７４は、TDC１５１から供給されるTDCコードと、重み決定部１７３から供給される重みとの２つをANDゲートの入力として、重みが１のときのみ、TDCコードをTDCコード入力部１３１に出力する処理としてもよい。
　以上のように、重み決定部１７３で決定される重みは、TDCコード入力部１３１を介してヒストグラム生成部１３２に供給されるTDCコードの回数を増減するので、ヒストグラムの頻度値を増減させる。したがって、重みは、ヒストグラムの頻度値に対する重みであると言える。
　ヒストグラム生成部１３２は、図３の基本構成例と同様に、TDCコード入力部１３１から供給されるTDCコードに基づいて、ヒストグラムを生成し、距離演算部１３３に供給する。
　ただし、ヒストグラム生成部１３２には、重み処理部１７４によって、重みに応じた回数のTDCコードが供給される。これにより、図３の基本構成例により生成されるヒストグラムと比較して、大きい重みが設定された画素８１のTDCコードが、より大きな頻度値となるヒストグラムが生成される。
　図８は、３ｘ３の９画素を１つの画素グループとして、１つの画素グループが、第１の受光処理において受光した反射光のスポット光に応じて、第２の受光処理において決定された重みの例を示している。
　図８の左側の例は、重みを２nで決定した場合の、第１の受光処理のスポット光に応じた重みの例を示している。第２の受光処理の画素８１内に記載された数字が重みを表す。
　図８の左側の例は、重みを０から５までの５段階で決定した場合の、第１の受光処理のスポット光に応じた重みの例を示している。第２の受光処理の画素８１内に記載された数字が重みを表す。
＜５．距離測定処理＞
　次に、図９のフローチャートを参照して、受光装置４２における距離測定処理を説明する。この処理は、例えば、測距システム１１において、距離測定の実行が指示されたとき、開始される。照明装置２２は、発光タイミング信号に基づく光の照射を開始する。
　初めに、ステップＳ１において、受光装置４２は、画素ごとの重みを決定するための反射光を受光する第１の受光処理を開始する。第１の受光処理の開始により、受光装置４２のTDC１５１は、読み出し回路１０２からHiの検出信号PFoutが出力されてきたとき、反応信号を出力するモードとなる。
　ステップＳ２において、TDC１５１は、対応する画素８１のSPAD１０１において光子が検出されたタイミングを示す検出信号PFoutに基づいて、反応信号を出力する。より具体的には、画素８１の読み出し回路１０２は、同一画素内のSPAD１０１において光子が検出されると、Hiの検出信号PFoutを出力する。TDC１５１は、読み出し回路１０２からHiの検出信号PFoutが供給されると、SPAD１０１が反応したことを示す反応信号を、反応信号入力部１７１に出力する。
　ステップＳ３において、受光装置４２は、第１の受光処理が終了したかを判定する。ステップＳ３で、第１の受光処理がまだ終了していないと判定された場合、処理はステップＳ２に戻り、ステップＳ２およびＳ３の処理が繰り返される。これにより、第１の受光処理における、光源３２の発光と、その反射光の受光とが、所定回数繰り返される。
　ステップＳ３で、第１の受光処理が終了したと判定された場合、処理はステップＳ４に進み、反応回数計測部１７２は、反応信号入力部１７１から供給された反応信号に基づいて、画素グループに属する各画素８１の反応回数を計測し、計測結果を、重み決定部１７３に供給する。
　ステップＳ５において、重み決定部１７３は、反応回数計測部１７２から供給された、画素グループに属する各画素８１の反応回数に基づいて、画素グループに属する各画素８１の重みを決定する。決定された重みは、その重みが設定される重み処理部１７４に供給される。
　ステップＳ６において、受光装置４２は、決定された重みを用いて測定対象までの距離を測定するための反射光を受光する第２の受光処理を開始する。第２の受光処理の開始により、受光装置４２のTDC１５１は、読み出し回路１０２からHiの検出信号PFoutが出力されてきたとき、TDCコードを出力するモードとなる。
　ステップＳ７において、TDC１５１は、対応する画素８１のSPAD１０１において光子が検出されたタイミングを示す検出信号PFoutに基づいて、TDCコードを出力する。より具体的には、画素８１の読み出し回路１０２は、同一画素内のSPAD１０１において光子が検出されると、Hiの検出信号PFoutを出力する。TDC１５１は、照明装置２２の光源３２が発光してからSPAD１０１に光子が入射された入射タイミングまでの時間をカウントし、そのカウント結果であるTDCコードを、対応する重み処理部１７４に出力する。
　ステップＳ８において、重み処理部１７４は、TDC１５１から供給されたTDCコードに対して、重み決定部１７３から供給された重みに対応する処理（重み対応処理）を施して、TDCコード入力部１３１に供給する。具体的には、重み処理部１７４は、重み決定部１７３から供給された重みをTDCコードの出力回数として保持し、TDC１５１から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部１３１に出力する。TDCコード入力部１３１は、重み処理部１７４から供給されたTDCコードを、ヒストグラム生成部１３２に供給する。
　ステップＳ９において、ヒストグラム生成部１３２は、TDCコード入力部１３１を介して供給された重み対応処理後のTDCコードに基づいて、ヒストグラムを生成する。生成されたヒストグラムは、距離演算部１３３に供給される。
　ステップＳ１０において、距離演算部１３３は、ヒストグラム生成部１３２から供給されたヒストグラムにおいて、例えば、頻度値が最大となるピークのTDCコードを検出する。距離演算部１３３は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を算出して、入出力部７５に供給する。
　ステップＳ１１において、入出力部７５は、距離演算部１３３において算出された各画素の距離を画素値として格納した距離画像を生成し、距離画像の信号（距離画像信号）を、外部に出力して、処理を終了する。
　以上の距離測定処理によれば、第１の受光処理においては、画素の重みが全画素で同一に設定される。そして、SPAD１０２が反応した反応回数（反射光の受光回数）が計測され、計測結果に基づいて、第２の受光処理における重みが決定される。そして、第２の受光処理においては、第１の受光処理で決定された重みが重み処理部１７４に供給され、TDC１５１ごとに個別の重みが設定される。そして、設定された重みに応じて、TDC１５１からのTDCコードの出力回数が増減される。ヒストグラム生成部１３２では、重み対応処理後のTDCコードに基づいて、ヒストグラムが生成される。生成されたヒストグラムに基づいて、物体までの距離が算出される。
　したがって、距離測定用のヒストグラムを生成する際の重みは、第２の受光処理の前に測定した、画素８１に入射光（光子）が入射された回数に応じて決定されるので、観測に必要な画素８１の重みを大きくし（高シグナル）、背景光などしか観測されない画素８１の重みを減らす（低シグナル）ことができる。つまり、S/Nを向上させ、高フレームレートまたは高精度に距離を測定することができる。
　第１の受光処理および第２の受光処理のいずれにおいても、画素アレイ７２の全ての画素８１を用いて距離を測定するので、解像度の劣化がない。また、例えば、重みを０または１にして、使用しない画素８１が存在したとしても、その画素８１は、反射光が入射されない画素８１であると事前に把握されている画素８１であるので、解像度が劣化したことにはならない。換言すれば、反射光を逃さずに、かつ、反射光が入射されない画素８１は重みを小さくすることで、効率よく測距を行うことができる。
　なお、上述した例では、画素グループに属する複数の画素８１に対して、画素８１ごとに、個別に重みを設定可能に制御したが、画素グループに属する全ての画素８１に同一の重みを決定するようにして、画素グループ単位に重みを決定してもよい。また、図７の構成例において、重み処理部１７４とTDCコード入力部１３１の配置を反対とし、TDCコード入力部１３１からのTDCコードに重み対応処理を施した後、ヒストグラム生成部１３２に供給してもよい。
＜６．変形例＞
＜重みのその他の決定方法＞
　図１０は、受光装置４２の変形例を示すブロック図である。
　図１０において、図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１０の受光装置４２では、図７の重み決定部１７３が、重み決定部２０１に置き換えられている点と、固有データ記憶部２０２が新たに追加されている点が、図７の受光装置４２と異なり、その他の点は図７の受光装置４２と同一である。
　上述した図７の受光装置４２による距離測定処理では、第１の受光処理において、反応回数のみを計測し、距離は計測しなかった。これに対して、図１０の変形例に係る受光装置４２は、第１の受光処理においても、第２の受光処理と同様にTDCコードに基づいてヒストグラムを生成し、距離を算出する。そして、重み決定部２０１は、第１の受光処理における距離情報と反応回数とに基づいて、重みを決定する。物体までの距離情報が分かれば、入射光のおおよその受光位置（受光画素）を予測することができるので、第１の受光処理における距離情報に基づいて、入射光が予測される画素８１の重みを大きく決定することができる。
　また、固有データ記憶部２０２には、受光装置４２の出荷前検査等で予め測定した、受光装置４２に固有な受光特性情報が記憶される。受光特性情報は、例えば、入射光を受光するときのスポット形状やスポット位置などのデータである。重み決定部２０１は、反応回数と、受光装置４２に固有な受光特性情報とに基づいて、入射光が予測される画素８１の重みを大きく決定することができる。
　重み決定部２０１は、第１の受光処理における反応回数に加えて、第１の受光処理における距離情報と、固有データ記憶部２０２に記憶されている受光特性データの両方を用いて画素８１の重みを決定してもよい。
＜受光装置のチップ構成例＞
　図１１は、受光装置４２のチップ構成例を示す斜視図である。
　受光装置４２は、例えば、図１１のAに示されるように、複数のダイ（基板）としてのセンサダイ２５１とロジックダイ２５２とが積層された１つのチップで構成することができる。
　センサダイ２５１には、センサ部２６１（としての回路）が構成され、ロジックダイ２５２には、ロジック部２６２が構成されている。
　センサ部２６１には、例えば、画素駆動部７１と画素アレイ７２とが形成されている。ロジック部２６２には、時間計測部７３、信号処理部７４、および、入出力部７５が形成されている。入出力部７５は、例えば、センサダイ２５１との接合面とは反対側の面に形成された、はんだボール等を含む。
　また、受光装置４２は、センサダイ２５１とロジックダイ２５２とに加えて、もう１つのロジックダイを積層した３層で構成してもよい。勿論、４層以上のダイ（基板）の積層で構成してもよい。
　あるいはまた、受光装置４２は、例えば、図１１のBに示されるように、第１のチップ２７１および第２のチップ２７２と、それらが搭載された中継基板（インターポーザ基板）２７３とで構成してもよい。
　第１のチップ２７１には、例えば、画素駆動部７１と画素アレイ７２とが形成されている。第２のチップ２７２には、時間計測部７３、信号処理部７４、および、入出力部７５が形成されている。入出力部７５は、例えば、中継基板２７３の下面に形成された、はんだボール等を含む。
　なお、上述した図１１のAにおけるセンサダイ２５１とロジックダイ２５２との回路配置、および、図１１のBにおける第１のチップ２７１と第２のチップ２７２との回路配置は、あくまで一例であり、これに限定されない。例えば、時間計測部７３を、画素アレイ７２が配置されているセンサダイ２５１または第１のチップ２７１に形成してもよい。
＜読出し回路およびTDCの接続構成＞
　上述した受光装置４２の構成では、図７等に示したように、１つの画素８１に、SPAD１０１と読み出し回路１０２とが対で配置されるとともに、１つの読み出し回路１０２に対して、１つのTDC１１２が設けられるように構成されていた。すなわち、SPAD１０１と、読み出し回路１０２と、TDC１１２とが、１対１の関係で設けられていた。
　しかしながら、SPAD１０１と読み出し回路１０２との個数の対応関係、および、読み出し回路１０２とTDC１１２との個数の対応関係は、上述の例に限定されず、任意に組み合わせることができる。
　図１２は、図７に示した受光装置４２の第１構成例に対して、読み出し回路１０２とTDC１１２の個数を変更した変形例を示している。
　図１２の例では、画素アレイ７２の各画素８１にはSPAD１０１のみが配置され、複数の画素８１のSPAD１０１に対して、１つの読み出し回路１０２が設けられている。読み出し回路１０２は、例えば、受光装置４２が、図１１のAに示した積層構造の１チップで構成されている場合、センサダイ２５１の画素アレイ７２の読み出し対象の複数のSPAD１０１の領域の下層のロジックダイ２５２に配置することができる。読み出し回路１０２は、センサダイ２５１の画素アレイ７２の外周部に配置してもよい。
　さらに、図１２の例では、複数の読み出し回路１０２に対して、１個のTDC１１２が設けられている。そして、複数のTDC１１２に対して、１つのヒストグラム生成部１３２が設けられている。
　図１２の例では、画素８１からヒストグラム生成部１３２まで、後段の回路に行くに従って、各回路の個数が少なくなるような接続関係となっている。すなわち、SPAD１０１：読み出し回路１０２＝Ｍ1：１、読み出し回路１０２：TDC１１２＝Ｍ2：１、TDC１１２：ヒストグラム生成部１３２＝Ｍ3：１（Ｍ1，Ｍ2，Ｍ3は２以上の整数）の関係となっている。
　しかしながら、各回路の個数は任意に設定することができ、信頼性向上等の観点から、後段の回路を複数設けた冗長構成としてもよい。すなわち、SPAD１０１：読み出し回路１０２＝Ｍ1’：Ｎ1’、読み出し回路１０２：TDC１１２＝Ｍ2’：Ｎ2’、TDC１１２：ヒストグラム生成部１３２＝Ｍ3’：Ｎ3’（Ｍ1’，Ｍ2’，Ｍ3’，Ｎ1’，Ｎ2’，Ｎ3’は１以上の整数）の関係とすることができる。
　さらに、上述した例では、１つの画素グループ、即ち、１つのTDCコード入力部１３１に接続される複数の画素８１に対して１つのヒストグラム生成部１３２を設ける構成としたが、図１３に示されるように、１つの画素グループに対して、複数のヒストグラム生成部１３２を設けるようにしてもよい。図１３の例は、１つの画素グループに対して、２つのヒストグラム生成部１３２Aおよび１３２Bを設けた例を示している。２つのヒストグラム生成部１３２Aおよび１３２Bは、例えば、信頼性向上のため、同一の処理を並行して実行することができる。あるいはまた、ヒストグラム生成部１３２Aと、ヒストグラム生成部１３２Bとが、異なる読み出し回路１０２に対応するTDCコードのヒストグラムを生成してもよい。
＜７．測距システムの使用例＞
　本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の測距装置２３は、レンズ４１及び受光装置４２がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ４１と受光装置４２とが別に構成され、受光装置４２のみをワンチップとして構成してもよい。
　図１４は、上述の測距システム１１または測距装置２３の使用例を示す図である。
　上述した測距システム１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜８．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１６は、撮像部１２０３１の設置位置の例を示す図である。
　図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距システム１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は、以下の構成を取ることができる。
（１）
　画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
　前記反応回数に基づいて、重みを決定する重み決定部と、
　光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
　を備える測距装置。
（２）
　前記重み決定部は、前記反応回数に基づいて、前記ヒストグラムの頻度値に対する重みを決定する
　前記（１）に記載の測距装置。
（３）
　前記ヒストグラムに基づいて、対象物までの距離を算出する距離演算部をさらに備え、
　前記重み決定部は、前記距離と前記反応回数とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
　前記（２）に記載の測距装置。
（４）
　前記重み決定部は、前記反応回数と、内部に記憶されている受光特性情報とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
　前記（２）に記載の測距装置。
（５）
　前記受光素子を少なくとも含む画素が行列状に複数配置された画素アレイをさらに備え、
　前記重み決定部は、前記画素ごとに前記重みを決定する
　前記（２）に記載の測距装置。
（６）
　前記反応回数を計測する場合の前記画素の重みは、同一であり、
　前記ヒストグラムを生成する場合の前記画素の重みは、前記TDCごとに決定される
　前記（１）乃至（５）のいずれかに記載の測距装置。
（７）
　前記重み処理部は、前記重みに対応する処理として、前記カウント値を、前記重みに対応する回数だけ出力する
　前記（１）乃至（６）のいずれかに記載の測距装置。
（８）
　前記重み処理部は、前記重みが１より大きい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を増やす
　前記（７）に記載の測距装置。
（９）
　前記重み処理部は、前記重みが１より小さい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を減らす
　前記（７）または（８）に記載の測距装置。
（１０）
　前記受光素子において光子が検出されたタイミングを出力する読み出し回路をさらに備え、
　前記読み出し回路は、複数の前記受光素子に対して設けられている
　前記（１）乃至（９）のいずれかに記載の測距装置。
（１１）
　前記ヒストグラム生成部は、複数の前記画素で構成される画素グループ単位で設けられている
　前記（１）乃至（１０）のいずれかに記載の測距装置。
（１２）
　前記重み決定部は、前記画素グループ単位に前記重みを決定する
　前記（１１）に記載の測距装置。
（１３）
　１チップで構成されている
　前記（１）乃至（１２）のいずれかに記載の測距装置。
（１４）
　測距装置が、
　画素への光子の入射に応じて受光素子が反応した反応回数を計測し、
　前記反応回数に基づいて、重みを決定し、
　光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、
　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、
　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する
　測距方法。
（１５）
　光源を有する照明装置と、
　前記光源からの光が物体に反射された反射光を受光する測距装置と
　を備え、
　前記測距装置は、
　　画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
　　前記反応回数に基づいて、重みを決定する重み決定部と、
　　前記光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
　　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
　　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
　を備える測距システム。
　１１　測距システム，　２１　タイミング信号生成回路，　２２　照明装置，　２３　測距装置，　３１　照明制御部，　３２　光源，　４２　受光装置，　７１　画素駆動部，　７２　画素アレイ，　７３　時間計測部，　７４　信号処理部，　７５　入出力部，　８１　画素，　１０１　SPAD，　１０２　読み出し回路，　１１１　TDCクロック生成部，　１１２　TDC，　１３１　TDCコード入力部，　１３２　ヒストグラム生成部，　１３３　距離演算部，　１５１　TDC，　１７１　反応信号入力部，　１７２　反応回数計測部，　１７３　重み決定部，　１７４　重み処理部，　２０１　重み決定部，　２０２　固有データ記憶部

Claims (15)

  1. 　画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
    　前記反応回数に基づいて、重みを決定する重み決定部と、
    　光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
    　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
    　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
    　を備える測距装置。
  2. 　前記重み決定部は、前記反応回数に基づいて、前記ヒストグラムの頻度値に対する重みを決定する
    　請求項１に記載の測距装置。
  3. 　前記ヒストグラムに基づいて、対象物までの距離を算出する距離演算部をさらに備え、
    　前記重み決定部は、前記距離と前記反応回数とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
    　請求項１に記載の測距装置。
  4. 　前記重み決定部は、前記反応回数と、内部に記憶されている受光特性情報とに基づいて、前記ヒストグラムの頻度値に対する重みを決定する
    　請求項１に記載の測距装置。
  5. 　前記受光素子を少なくとも含む画素が行列状に複数配置された画素アレイをさらに備え、
    　前記重み決定部は、前記画素ごとに前記重みを決定する
    　請求項１に記載の測距装置。
  6. 　前記反応回数を計測する場合の前記画素の重みは、同一であり、
    　前記ヒストグラムを生成する場合の前記画素の重みは、前記TDCごとに決定される
    　請求項１に記載の測距装置。
  7. 　前記重み処理部は、前記重みに対応する処理として、前記カウント値を、前記重みに対応する回数だけ出力する
    　請求項１に記載の測距装置。
  8. 　前記重み処理部は、前記重みが１より大きい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を増やす
    　請求項１に記載の測距装置。
  9. 　前記重み処理部は、前記重みが１より小さい場合、前記カウント値の入力回数に対して、カウント値を出力する回数を減らす
    　請求項１に記載の測距装置。
  10. 　前記受光素子において光子が検出されたタイミングを出力する読み出し回路をさらに備え、
    　前記読み出し回路は、複数の前記受光素子に対して設けられている
    　請求項１に記載の測距装置。
  11. 　前記ヒストグラム生成部は、複数の前記画素で構成される画素グループ単位で設けられている
    　請求項１に記載の測距装置。
  12. 　前記重み決定部は、前記画素グループ単位に前記重みを決定する
    　請求項１１に記載の測距装置。
  13. 　１チップで構成されている
    　請求項１に記載の測距装置。
  14. 　測距装置が、
    　画素への光子の入射に応じて受光素子が反応した反応回数を計測し、
    　前記反応回数に基づいて、重みを決定し、
    　光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントし、
    　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施し、
    　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成する
    　測距方法。
  15. 　光源を有する照明装置と、
    　前記光源からの光が物体に反射された反射光を受光する測距装置と
    　を備え、
    　前記測距装置は、
    　　画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
    　　前記反応回数に基づいて、重みを決定する重み決定部と、
    　　前記光源が発光してから前記画素に光子が入射される入射タイミングまでの時間をカウントするTDCと、
    　　前記TDCから供給されるカウント値に対して、前記重みに対応する処理を施す重み処理部と、
    　　前記重みに対応する処理が施された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と
    　を備える測距システム。
PCT/JP2020/022486 2019-06-20 2020-06-08 測距装置、測距方法、および、測距システム WO2020255770A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019114622A JP2021001764A (ja) 2019-06-20 2019-06-20 測距装置、測距方法、および、測距システム
JP2019-114622 2019-06-20

Publications (1)

Publication Number Publication Date
WO2020255770A1 true WO2020255770A1 (ja) 2020-12-24

Family

ID=73994026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022486 WO2020255770A1 (ja) 2019-06-20 2020-06-08 測距装置、測距方法、および、測距システム

Country Status (2)

Country Link
JP (1) JP2021001764A (ja)
WO (1) WO2020255770A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799097A (zh) * 2021-04-14 2021-05-14 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备
WO2022160610A1 (zh) * 2021-01-28 2022-08-04 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备
WO2022209219A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 測距装置およびその信号処理方法、並びに、測距システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023072868A (ja) * 2021-11-15 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091378A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 画像取得装置及び方法
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
JP2018091760A (ja) * 2016-12-05 2018-06-14 株式会社豊田中央研究所 光学測定装置、光学測定方法、及び光学測定プログラム
US20180246212A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics (Research & Development) Limited Higher pixel density histogram time of flight sensor with higher pixel density
US20180259645A1 (en) * 2017-03-01 2018-09-13 Ouster, Inc. Accurate photo detector measurements for lidar

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010091378A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp 画像取得装置及び方法
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
JP2018091760A (ja) * 2016-12-05 2018-06-14 株式会社豊田中央研究所 光学測定装置、光学測定方法、及び光学測定プログラム
US20180246212A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics (Research & Development) Limited Higher pixel density histogram time of flight sensor with higher pixel density
US20180259645A1 (en) * 2017-03-01 2018-09-13 Ouster, Inc. Accurate photo detector measurements for lidar

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160610A1 (zh) * 2021-01-28 2022-08-04 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备
WO2022209219A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 測距装置およびその信号処理方法、並びに、測距システム
CN112799097A (zh) * 2021-04-14 2021-05-14 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备
CN112799097B (zh) * 2021-04-14 2023-11-28 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备

Also Published As

Publication number Publication date
JP2021001764A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US11940536B2 (en) Light receiving element and ranging system
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
TWI821381B (zh) 受光元件及測距系統
US20210325244A1 (en) Light receiving element and ranging system
CN211507638U (zh) 受光装置以及测距系统
WO2020045125A1 (ja) 受光素子および測距システム
WO2020153261A1 (ja) 受光装置および測距装置
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2021029262A1 (ja) 装置、測定装置、測距システムおよび方法
US20220075029A1 (en) Measuring device, distance measuring device and measuring method
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2021029270A1 (ja) 測定装置および測距装置
JP2021001756A (ja) 測距装置
WO2023085040A1 (ja) 測距装置、測距システム及び測距方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20827658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20827658

Country of ref document: EP

Kind code of ref document: A1