WO2023085040A1 - 測距装置、測距システム及び測距方法 - Google Patents

測距装置、測距システム及び測距方法 Download PDF

Info

Publication number
WO2023085040A1
WO2023085040A1 PCT/JP2022/039209 JP2022039209W WO2023085040A1 WO 2023085040 A1 WO2023085040 A1 WO 2023085040A1 JP 2022039209 W JP2022039209 W JP 2022039209W WO 2023085040 A1 WO2023085040 A1 WO 2023085040A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
processing
pixel
pixels
light
Prior art date
Application number
PCT/JP2022/039209
Other languages
English (en)
French (fr)
Inventor
武仕 親川
彰人 関谷
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023085040A1 publication Critical patent/WO2023085040A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection

Definitions

  • Embodiments according to the present disclosure relate to ranging devices, ranging systems, and ranging methods.
  • a Direct ToF sensor (hereafter referred to simply as a ToF sensor) directly measures the distance from the time when the subject is irradiated with light and the time when the light reflected from the subject is received.
  • the flight time of light from the time the light is emitted to the time the reflected light is received is converted into a count value equivalent to the distance by a TDC (time to digital converter). Irradiation and reception of light are performed multiple times in order to remove the effects of ambient light and multipath. Then, a histogram of the count values for multiple times is generated, and the count value with the highest frequency value is output as the final count value (see Patent Documents 1 to 3, for example).
  • the present disclosure provides a ranging device, a ranging system, and a ranging method capable of suppressing ranging errors.
  • a time counting unit that counts the time from when the light source emits light to when the photons are incident on the pixel; a processing unit that performs correction processing on the count value output by the time counting unit based on a preset correction parameter; a histogram generation unit that generates a histogram based on the count values corrected by the processing unit;
  • the processing unit has a compensating unit that performs offset compensation processing on the count value output from the time counting unit based on a preset offset of the count value
  • the histogram generation unit may generate the histogram based on the count values that have been offset-compensated.
  • the compensating unit performs offset compensation processing on the count value output from the time counting unit so that the count value that maximizes the frequency value of the count value is the same among the plurality of pixels. may be performed.
  • the compensation unit may perform offset compensation processing for each pixel based on the offset corresponding to each pixel.
  • the compensation unit may perform offset compensation processing for each pixel group based on the offset corresponding to one pixel included in a pixel group having a plurality of pixels.
  • the processing unit is a measurement unit that measures the number of times the light receiving element reacts in response to the incidence of photons on the pixel; Based on the result of measuring the number of reactions by the measurement unit for each of the plurality of pixels, the preset number of reactions, or a predetermined ratio of the preset number of reactions among the plurality of pixels, a weight processing unit that performs weight processing on the frequency value of the count value output by the time counting unit; has The histogram generator may generate the histogram based on the weighted frequency values.
  • the weight processing unit may perform weight processing on the frequency values so that the ratio of the reaction count measurement results among the plurality of pixels becomes the predetermined ratio.
  • the weight processing unit determines that, in light receiving processing performed after the reference light receiving processing, the ratio of the measurement results of the number of reactions among the plurality of pixels is the result of measuring the number of reactions among the plurality of pixels in the reference light reception processing.
  • a weighting process may be performed on the frequency value so as to be the same as the ratio of .
  • the weight processing unit In the reference light receiving process, weighting is performed on the frequency value so that a ratio of the measurement results of the number of reactions among the plurality of pixels becomes a first predetermined ratio; In light receiving processing performed after the reference light receiving processing, weighting processing is performed on the frequency value so that a ratio of the measurement result of the number of reactions among the plurality of pixels becomes the first predetermined ratio. good too.
  • the reference light reception processing may be calibration of the distance measuring device.
  • the weight processing unit weights the frequency value in the second light receiving process based on the measurement result of the number of reactions in the first light receiving process. processing may be performed.
  • Weight processing may be performed.
  • a determination unit may be further provided for determining whether or not the result of measuring the number of reactions is within a predetermined range.
  • the time counting unit may count the time from when the light source emits light until the incident timing for each pixel.
  • the processing unit may perform correction processing based on the correction parameters stored in the first storage unit.
  • a lighting device having a light source; a distance measuring device that receives light reflected by an object from the light source; with The rangefinder is a time counting unit that counts the time from when the light source emits light to when the photons are incident on the pixels; a processing unit that performs correction processing on the count value output by the time counting unit based on a preset correction parameter; a histogram generation unit that generates a histogram based on the count values corrected by the processing unit;
  • a ranging system comprising:
  • the distance measuring device further includes a first storage unit that stores the correction parameter, The processing unit may perform correction processing based on the correction parameters stored in the first storage unit.
  • the processing unit may perform correction processing based on the correction parameters stored in the second storage unit.
  • the lighting device further includes a third storage unit that stores the correction parameter, The processing unit may perform correction processing based on the correction parameters stored in the third storage unit.
  • the time counting unit counts the time from when the light source emits light to when the photons are incident on the pixels, performing correction processing by a processing unit on the count value output by the time counting unit based on a preset correction parameter;
  • a histogram is generated by a histogram generation unit based on the count value corrected by the processing unit;
  • a ranging method is provided, comprising:
  • FIG. 1 is a block diagram showing an example of a configuration of a ranging system according to a first embodiment
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a light receiving device according to a first embodiment
  • FIG. 1 is a block diagram showing an example of the basic configuration of a light receiving device according to a first embodiment
  • FIG. 4 is a block diagram showing an example of arrangement of offset storage units according to the first embodiment
  • FIG. 2 is a circuit diagram showing an example of the configuration of a pixel according to the first embodiment
  • FIG. It is a figure which shows an example of the offset compensation process by the offset compensation part which concerns on 1st Embodiment.
  • FIG. 4 is a block diagram showing an example of calibration according to the first embodiment;
  • FIG. FIG. 3 is a diagram showing an example of pixel arrangement according to the first embodiment;
  • 3 is a block diagram showing an example of the configuration of an offset compensator according to the first embodiment;
  • FIG. 5 is a diagram showing an example of representation of an offset amount by an offset compensator according to the first embodiment; It is a figure which shows an example of the change of a histogram with respect to the light-receiving position change of the spot light which concerns on a comparative example. It is a block diagram which shows an example of a structure of the ranging system based on the 1st modification of 1st Embodiment.
  • FIG. 11 is a block diagram showing an example of a configuration of a ranging system according to a second modified example of the first embodiment;
  • FIG. FIG. 11 is a block diagram showing an example of a configuration of a ranging system according to a third modified example of the first embodiment;
  • FIG. 14 is a diagram showing an example of offsets stored in an offset storage unit according to the fourth modification of the first embodiment;
  • FIG. FIG. 12 is a block diagram showing an example of the configuration of an offset compensator according to a fifth modified example of the first embodiment;
  • FIG. FIG. 14 is a diagram showing an example of representation of an offset amount by an offset compensator according to a fifth modification of the first embodiment;
  • It is a block diagram which shows an example of the basic composition of the light receiving device which concerns on 2nd Embodiment.
  • It is a figure which shows an example of the weighting process by the weighting process part which concerns on 2nd Embodiment.
  • FIG. 11 is a block diagram showing an example of calibration according to the second embodiment;
  • FIG. FIG. 11 is a block diagram showing an example of a configuration of a weight determining section, a weight processing section, and their peripherals according to the second embodiment; It is a block diagram which shows an example of the basic composition of the light receiving device which concerns on the 1st modification of 2nd Embodiment.
  • FIG. 12 is a block diagram showing an example of calibration according to a second modified example of the second embodiment;
  • FIG. FIG. 11 is a block diagram showing an example of the configuration of a weight determination unit, a weight processing unit, and their peripherals according to a second modified example of the second embodiment;
  • FIG. 12 is a block diagram showing an example of the configuration of a weight determining section, a weight processing section, and their peripherals according to a third modified example of the second embodiment; It is a figure explaining the usage example of a ranging system.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 is a block diagram showing an example of the configuration of a ranging system 11 according to the first embodiment.
  • the ranging system 11 is, for example, a system that measures the distance to the objects 12 and 13 as measurement targets using the ToF method. Note that the distance measurement system 11 may be an independent system, or may be a distance measurement module incorporated in another device (electronic device).
  • the distance measurement system 11 includes a timing signal generation circuit 21 , an illumination device 22 and a distance measurement device 23 .
  • the timing signal generation circuit 21 generates a light emission timing signal that controls the timing at which the illumination device 22 emits light, and supplies it to the illumination device 22 and the distance measuring device 23 .
  • the lighting device 22 includes a lighting control section 31 and a light source 32 .
  • the illumination control unit 31 causes the light source 32 to emit light according to the light emission timing signal supplied from the timing signal generation circuit 21 .
  • the light emission timing signal is composed of High (1) and Low (0) pulse signals, and the illumination control unit 31 turns on the light source 32 when the light emission timing signal is High, and The light source 32 is extinguished.
  • the light source 32 emits light in a predetermined wavelength range under the control of the illumination control section 31 .
  • the light source 32 is composed of, for example, an infrared laser diode. Note that the type of the light source 32 and the wavelength range of the irradiation light can be arbitrarily set according to the application of the distance measuring system 11 and the like.
  • the distance measuring device 23 receives the light (irradiation light) emitted from the lighting device 22 and reflected by the object 12 or the object 13, and calculates the distance to the object based on the timing at which the reflected light is received. .
  • the distance measuring device 23 has a lens 41 and a light receiving device 42 .
  • the lens 41 forms an image of incident light on the light receiving surface of the light receiving device 42 .
  • the configuration of the lens 41 is arbitrary, and for example, the lens 41 can be configured by a plurality of lens groups.
  • the light receiving device 42 has a pixel array in which pixels using, for example, SPAD (Single Photon Avalanche Diode) or APD (Avalanche photodiode) as light receiving elements are arranged two-dimensionally in rows and columns.
  • the light receiving device 42 calculates the distance to the object 12 or 13 based on the speed of light and the digital count value obtained by counting the time from when the illumination device 22 irradiates the irradiation light until the light receiving device 42 receives the light. is performed to generate and output a distance image in which the calculation result is stored in each pixel.
  • a light emission timing signal indicating the timing at which the light source 32 emits light is also supplied from the timing signal generation circuit 21 to the light receiving device 42 .
  • the light receiving device 42 is affected by disturbance light, multipath, and the like. can be generated and output.
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the light receiving device 42 according to the first embodiment.
  • the light receiving device 42 includes a pixel driving section 71 , a pixel array 72 , a time measuring section 73 , a signal processing section 74 and an input/output section 75 .
  • the pixel array 72 is configured by two-dimensionally arranging pixels 81 in rows and columns in rows and columns for detecting incident photons and outputting detection signals indicating detection results as pixel signals.
  • the row direction is the horizontal direction in which the pixels 81 are arranged
  • the column direction is the vertical direction in which the pixels 81 are arranged.
  • the pixel array 72 is shown with a pixel array configuration of 10 rows and 12 columns, but the number of rows and columns of the pixel array 72 is not limited to this, and is arbitrary.
  • a pixel drive line 82 is wired horizontally for each pixel row in the matrix-like pixel arrangement of the pixel array 72 .
  • the pixel drive lines 82 transmit drive signals for driving the pixels 81 .
  • the pixel driving line 82 is shown as one wiring in FIG. 2, it may be composed of a plurality of wirings.
  • the pixel drive section 71 drives each pixel 81 by supplying a predetermined drive signal to each pixel 81 through the pixel drive line 82 .
  • the pixel driving unit 71 drives at least part of the plurality of pixels 81 arranged two-dimensionally in a matrix at a predetermined timing in accordance with a light emission timing signal externally supplied via the input/output unit 75. are set as active pixels, and the remaining pixels 81 are set as inactive pixels. Active pixels are pixels that detect the incidence of photons, and inactive pixels are pixels that do not detect the incidence of photons.
  • pixels 81 of the pixel array 72 may be active pixels. Pixel signals generated by active pixels in the pixel array 72 are input to the time measuring section 73 . A detailed configuration of the pixel 81 will be described later.
  • the time measurement unit 73 Based on the pixel signal supplied from the active pixel of the pixel array 72 and the light emission timing signal indicating the light emission timing of the light source 32, the time measurement unit 73 detects light from the active pixel after the light source 32 emits light. Generates a count value corresponding to the time until A light emission timing signal is supplied from the outside (timing signal generation circuit 21 ) to the time measuring section 73 via the input/output section 75 .
  • the signal processing unit 74 counts the time until the reflected light is received based on the light emission of the light source 32 and the reception of the reflected light, which are repeatedly performed a predetermined number of times (for example, thousands to tens of thousands of times). A histogram of count values is created for each pixel. Then, the signal processing unit 74 determines the time until the light emitted from the light source 32 is reflected by the object 12 or 13 and returns by detecting the peak of the histogram. The signal processing unit 74 calculates the distance to the object based on the digital count value obtained by counting the time until the light receiving device 42 receives the light and the speed of light.
  • the input/output unit 75 generates a distance image in which the distance of each pixel detected by the signal processing unit 74 is stored as a pixel value, and outputs a distance image signal (distance image signal) to the outside.
  • the input/output unit 75 also acquires the light emission timing signal supplied from the timing signal generation circuit 21 and supplies it to the pixel drive unit 71 and the time measurement unit 73 .
  • the light receiving device 42 is configured as described above.
  • FIG. 3 is a block diagram showing an example of the basic configuration of the light receiving device according to the first embodiment.
  • each pixel 81 of the pixel array 72 has a SPAD 101 and a readout circuit 102
  • the time measurement unit 73 has a TDC clock generation unit 111 and a plurality of TDCs 112
  • the signal processing unit 74 has a TDC code input unit 131 , a histogram generation unit 132 , a distance calculation unit 133 , an offset storage unit 134 and an offset compensation unit 135 .
  • a SPAD (single-photon avalanche photodiode) 101 is a light-receiving element that avalanche-amplifies electrons generated when incident light is incident and outputs a signal. Note that an APD can also be used as the light receiving element instead of the SPAD.
  • the readout circuit 102 is a circuit that outputs the timing at which photons are detected by the SPAD 101 as a detection signal PFout (FIG. 5).
  • the readout circuit 102 reads out the timing at which the incident light enters the SPAD 101 and outputs it to the TDC 112 .
  • one pixel group 81G has a plurality of pixels 81.
  • One pixel group 81G receives the spot light SL, so that one point of distance measurement is performed.
  • One TDC clock generation unit 111 is provided in the time measurement unit 73 to generate a TDC clock signal and supply it to all the TDCs 112 in the time measurement unit 73 .
  • the TDC clock signal is a clock signal for counting the time from when the TDC 112 irradiates irradiation light to when the pixel 81 receives light.
  • a TDC (Time to Digital Converter) 112 counts time based on the output of the readout circuit 102 and supplies the resulting count value to the TDC code input section 131 of the signal processing section 74 .
  • the value counted by the TDC 112 is called a TDC code.
  • a TDC clock signal is supplied from the TDC clock generator 111 to the TDC 112 .
  • the TDC 112 sequentially counts up the TDC code from 0 based on the TDC clock signal.
  • the detection signal PFout input from the readout circuit 102 indicates the timing at which the incident light is incident on the SPAD 101 , counting up is stopped, and the TDC code in the final state is output to the TDC code input section 131 .
  • the TDC 112 counts the time from when the light source emits light until the incident timing for each pixel 81 .
  • a TDC 112 is provided for each pixel 81 .
  • a plurality of TDCs 112 are connected to the input stage of the TDC code input section 131 via an offset compensation section 135, and one histogram generation section 132 is connected to the output stage of the TDC code input section 131.
  • the TDC code input unit 131 inputs the TDC code output from one of the plurality of TDCs 112 to the histogram generation unit 132 . That is, the latter-stage histogram generation unit 132 is provided in units of a plurality of pixels 81 of the pixel array 72 .
  • the TDC code input unit 131 inputs a plurality of pixels 81 belonging to the pixel group 81G handled by the histogram generation unit 132.
  • the TDC code is input to the histogram generator 132 .
  • the histogram generator 132 generates a histogram of the TDC code, which is the time from when the light source 32 emits light until it receives the reflected light.
  • a histogram of the TDC code which is the time from when the light source 32 emits light until it receives the reflected light.
  • the histogram generator 132 in generating one distance image, light emission from the light source 32 and reception of the reflected light are repeated a predetermined number of times (for example, thousands to tens of thousands of times), so a plurality of TDC codes are generated. do.
  • the histogram generator 132 generates histograms for the generated TDC codes, and supplies the histograms to the distance calculator 133 .
  • the histogram generator 132 generates a histogram based on the TDC codes from the plurality of TDCs 112 belonging to the pixel group 81G that the histogram generator 132 is in charge of.
  • a histogram is generated for all of the plurality of active pixels in the pixel group 81G.
  • any one pixel of the pixel group 81G handled by the histogram generation unit 132 is set as an active pixel, a histogram of the one pixel set as the active pixel is generated.
  • the histogram generation section 132 is provided for each pixel group 81G consisting of a plurality of pixels.
  • the histogram generator 132 may be provided for each pixel.
  • the distance calculation unit 133 detects, for example, the TDC code with the maximum (peak) frequency value in the histogram supplied from the histogram generation unit 132 .
  • the distance calculation unit 133 calculates the distance to the object based on the peak TDC code and the speed of light.
  • the offset storage unit 134 stores the offset of each pixel 81 .
  • Offset is a correction parameter used for offset compensation (see FIG. 6).
  • the offset is measured, for example, during calibration (during zero point correction) shown in FIG. 9 and stored in the offset storage unit 134 .
  • the calibration performs a distance measurement operation for a certain fixed distance so that the distance measurement result is approximately constant within the plane of the pixel plane. , is the corrective action. Details of the calibration will be described later with reference to FIG.
  • the offset compensation unit 135 performs offset compensation processing on the TDC code (count value) output by the TDC 112 based on a preset TDC code offset. Histogram generating section 132 generates a histogram based on the offset-compensated TDC code. Details of the offset compensation process will be described later with reference to FIG.
  • FIG. 4 is a block diagram showing an example of arrangement of the offset storage unit 134 according to the first embodiment.
  • An application processor (AP, Application Processor) 14 is arranged outside the ranging system 11 .
  • the application processor 14 sends control commands to the illumination device 22 and the rangefinder 23 from outside the rangefinder system 11 . Thereby, the distance measuring system 11 operates.
  • the offset storage unit (first storage unit) 134 is arranged in the distance measuring device 23 (signal processing unit 74). That is, the distance measuring device 23 has an offset storage section 134 . Thereby, the distance between the offset storage unit 134 and the offset compensation unit 135 can be shortened. As a result, offset compensation processing can be performed more efficiently.
  • the plurality of pixels 81 of the pixel array 72 shown in FIG. , and a plurality of sets of offset compensation units 135 are provided. Then, in the entire light-receiving device, a histogram of each active pixel set in the pixel array 72 is generated in parallel (simultaneously), and the distance of each active pixel is calculated.
  • FIG. 5 is a circuit diagram showing an example of the configuration of the pixel 81 according to the first embodiment.
  • a pixel 81 in FIG. 5 includes a SPAD 101 and a readout circuit 102 composed of a transistor 141 and an inverter 142 .
  • Pixel 81 also includes switch 143 , latch circuit 144 , and inverter 145 .
  • the transistor 141 is composed of a P-type MOS transistor.
  • the cathode of the SPAD 101 is connected to the drain of the transistor 141 and also to the input terminal of the inverter 142 and one end of the switch 143 .
  • the anode of the SPAD 101 is connected to a power supply voltage VA (hereinafter also referred to as anode voltage VA).
  • the SPAD 101 is a photodiode (single-photon avalanche photodiode) that avalanche-amplifies electrons generated when incident light is incident and outputs a signal with a cathode voltage VS.
  • the power supply voltage VA supplied to the anode of the SPAD 101 is, for example, a negative bias (negative potential) of about -20V.
  • the transistor 141 is a constant current source that operates in the saturation region and performs passive quenching by acting as a quenching resistor.
  • the source of the transistor 141 is connected to the power supply voltage VE, and the drain is connected to the cathode of the SPAD 101 , the input terminal of the inverter 142 and one end of the switch 143 .
  • the cathode of the SPAD 101 is also supplied with the power supply voltage VE.
  • a pull-up resistor could be used instead of transistor 141 in series with SPAD 101 .
  • a voltage (excess bias) higher than the breakdown voltage VBD of the SPAD 101 is applied to the SPAD 101 in order to detect light (photons) with sufficient efficiency. For example, if the breakdown voltage VBD of the SPAD 101 is 20V and a voltage 3V higher than that is applied, the power supply voltage VE supplied to the source of the transistor 141 is 3V.
  • the breakdown voltage VBD of the SPAD 101 varies greatly depending on temperature and other factors. Therefore, the applied voltage applied to the SPAD 101 is controlled (adjusted) according to the change of the breakdown voltage VBD. For example, if the power supply voltage VE is a fixed voltage, the anode voltage VA is controlled (adjusted).
  • the switch 143 has one end connected to the cathode of the SPAD 101, the input terminal of the inverter 142, and the drain of the transistor 141, and the other end connected to a ground connection line 146 connected to the ground (GND). .
  • the switch 143 can be composed of, for example, an N-type MOS transistor, and turns on and off the gating control signal VG, which is the output of the latch circuit 144, according to the inverted gating signal VG_I obtained by inverting the inverter 145.
  • the latch circuit 144 supplies the inverter 145 with a gating control signal VG for controlling the pixel 81 to be either an active pixel or an inactive pixel based on the trigger signal SET supplied from the pixel driving section 71 and the address data DEC. supply.
  • the inverter 145 generates an inverted gating signal VG_I by inverting the gating control signal VG, and supplies it to the switch 143 .
  • the trigger signal SET is a timing signal indicating the timing of switching the gating control signal VG
  • the address data DEC indicates which of the plurality of pixels 81 arranged in rows and columns in the pixel array 72 is set as an active pixel. This is data indicating an address.
  • the trigger signal SET and address data DEC are supplied from the pixel drive section 71 via the pixel drive line 82 .
  • the latch circuit 144 reads the address data DEC at a predetermined timing indicated by the trigger signal SET. Then, when the pixel address indicated by the address data DEC includes the pixel address of its own (pixel 81), the latch circuit 144 sets Hi (1) for setting its own pixel 81 as an active pixel. Outputs a gating control signal VG. On the other hand, when the pixel address indicated by the address data DEC does not include the pixel address of itself (the pixel 81), a Lo (0) gating control signal for setting the own pixel 81 as an inactive pixel. Output VG.
  • the switch 143 is turned off (disconnected) when the pixel 81 is set as an active pixel, and turned on (connected) when it is set as an inactive pixel.
  • the inverter 142 outputs a Hi detection signal PFout when the cathode voltage VS as an input signal is Lo, and outputs a Lo detection signal PFout when the cathode voltage VS is Hi.
  • the inverter 142 is an output unit that outputs the incident photon to the SPAD 101 as a detection signal PFout.
  • FIG. 6 is a diagram showing an example of offset compensation processing by the offset compensator 135 according to the first embodiment.
  • FIG. 6 shows the relationship between the position of the spotlight SL with respect to the pixel 81 and the frequency value of each TDC code of the pixel 81.
  • FIG. 6 shows a histogram H in which the frequency values F1-F4 of pixels 1-4 are summed.
  • the upper part of FIG. 6 shows the state before the offset compensation process.
  • the lower part of FIG. 6 shows the state after the offset compensation process.
  • pixels 81 are included in one pixel group 81G.
  • the four pixels 81 shown in FIG. 6 are pixels 1-4.
  • the TDC codes at which the frequency values F1 to F4 peak are usually different for each of the pixels 1 to 4.
  • the TDC code (peak position) at which the generated histogram H peaks is determined by the degree of contribution of the frequency values F1 to F4.
  • the offset compensating unit 135 performs offset compensating processing on the TDC codes of the pixels 1 to 4 so that the TDC codes with the peak frequency values are the same for the pixels 1 to 4, respectively. That is, the offset compensation unit 135 performs offset compensation processing on the TDC code output by the TDC 112 so that the TDC code with the maximum TDC code frequency value is the same among the plurality of pixels 81 . This makes it possible to suppress ranging errors. Details of the ranging error will be described later with reference to FIGS. 7 and 8. FIG.
  • FIG. 7 is a diagram showing an example of deviation of the light receiving position of the spot light SL.
  • the light receiving position of the spot light SL is changed.
  • the ranging distance is short, the photons of the spot light SL are more likely to enter the pixels 1 and 2 than the pixels 3 and 4 .
  • a histogram is generated in which the contribution of the frequency values of pixels 1 and 2 is greater than the contribution of the frequency values of pixels 3 and 4 .
  • the photons of the spot light SL are more likely to enter the pixels 3 and 4 than the pixels 1 and 2 .
  • a histogram is generated in which the contribution of the frequency values of pixels 3 and 4 is greater than the contribution of the frequency values of pixels 1 and 2 .
  • the displacement of the light receiving position of the spot light SL is, for example, a physical impact, a change in the physical position of the optical system over time, and a change in the return position of the range-finding light due to the range-finding distance (commonly known as parallax ) is considered.
  • FIG. 8 is a diagram showing an example of histogram changes with respect to changes in the light receiving position of the spot light SL according to the first embodiment.
  • the upper part of FIG. 8 shows the state after the offset compensation process and before the light receiving position of the spot light SL is changed.
  • the lower part of FIG. 8 shows the state after the offset compensation process and after the light receiving position of the spot light SL is changed.
  • the light-receiving position of the spot light SL has changed and is closer to the pixel 3 and farther from the pixel 1.
  • the frequency value F3 of pixel 3 increases and the frequency value F1 of pixel 1 decreases. That is, in the histogram H, the contribution of the frequency value F3 of pixel 3 increases, and the contribution of the frequency value F1 of pixel 1 decreases.
  • the TDC code (time) at which the generated histogram H peaks is almost the same before and after the change in the light receiving position of the spot light SL. That is, even if the light receiving position of the spot light SL changes, the TDC code at which the histogram H peaks, that is, the value of the distance measured by the distance measuring device 23 hardly changes. This is because the TDC codes at which the frequency values F1 to F4 of the pixels 1 to 4 are peaked by the offset compensation processing are substantially the same. That is, even if the degree of contribution of the frequency value of any pixel changes, the TDC code (peak position) at which the generated histogram H has a peak does not substantially change.
  • FIG. 9 is a block diagram illustrating an example of calibration according to the first embodiment. Calibration is performed, for example, at the time of shipment.
  • the ranging system 11 further includes a peak detecting section 15, a peak correction value computing section 16, a ranging point correction storing section 17, an adder/subtractor 18, and an offset computing section 19, which are not shown in FIGS.
  • the peak detector 15, peak correction value calculator 16, distance measuring point correction memory 17, adder/subtracter 18, and offset calculator 19 are provided outside the signal processor 74, for example.
  • the peak detection unit 15 detects the TDC code at which the histogram generated by the histogram generation unit 132 peaks.
  • the peak detector 15 may be the distance calculator 133 .
  • the peak correction value calculation unit 16 calculates a calibration correction value so as to suppress variations in distance measurement results among the plurality of pixel groups 81G.
  • a distance measurement operation is performed for a certain constant distance, and a calibration correction value is calculated so that the distance measurement result is substantially constant within the plane of the pixel plane.
  • a calibration correction value is calculated for each pixel group 81G.
  • the ranging point correction storage unit 17 stores the calibration correction values calculated by the peak correction value calculation unit.
  • the calibration correction value is stored in the ranging point correction storage unit 17 at the time of shipment, for example.
  • the adder/subtractor 18 performs calibration correction processing during actual operation, that is, during the distance measurement operation of the object to be measured.
  • the adder/subtractor 18 performs calibration correction processing on the TDC code detected by the peak detection unit 15 based on the calibration correction value stored in the ranging point correction storage unit 17 .
  • the adder/subtractor 18 performs correction processing by, for example, adding/subtracting a calibration correction value to/from the TDC code.
  • the offset calculation unit 19 calculates an offset from each TDC code of the pixel 81.
  • the offset of a certain pixel 81 is determined, for example, based on the difference between the reference value and the TDC code at which the frequency value at the certain pixel 81 peaks.
  • the reference value is, for example, the average value, minimum value, maximum value, or the like of the TDC code at which the TDC code peaks in all the pixels of the pixel array 72 .
  • the offset may be the value of the TDC code at which the TDC code of any pixel 81 in the pixel array 72 peaks.
  • the offset storage unit 134 stores the offset of each pixel 81 calculated by the offset calculation unit 19 .
  • the offset is stored in the offset storage unit 134 at the timing of calibration, that is, at the time of shipment, for example.
  • FIG. 10A is a diagram showing an example of arrangement of pixels 81 according to the first embodiment.
  • FIG. 10B is a diagram showing an example of offsets stored in the offset storage unit 134 according to the first embodiment. Note that the positions of the pixels 81 are common in FIGS. 10A and 10B.
  • the offset storage unit 134 stores offsets corresponding to all pixels 81.
  • Each of the plurality of pixels 81 is offset compensated with a corresponding plurality of offsets. That is, the offset compensation unit 135 performs offset compensation processing for each pixel 81 based on the offset corresponding to each pixel 81 . Thereby, more accurate offset compensation processing can be performed on all the pixels 81 .
  • FIG. 11 is a block diagram showing an example of the configuration of the offset compensator 135 according to the first embodiment.
  • the offset compensation section 135 has an adder/subtractor 1351 , a dither section 1352 and a rounding section 1353 .
  • the offset amount is 0.25
  • the TDC code output by TDC 112 is typically an integer.
  • the offset amount may contain decimals.
  • the adder/subtractor 1351 adds/subtracts the TDC code of the pixel X and the offset amount of the pixel X.
  • the adder/subtractor 1351 outputs, for example, 4.75 (5-0.25).
  • a dithering unit 1352 expresses the TDC code subjected to offset compensation processing by dithering.
  • the value output from the adder/subtractor 1351 may contain decimals, such as 4.75. Histogram bins are usually whole numbers and do not contain decimals. Histograms can become skewed if decimal numbers are not handled properly.
  • the dither unit 1352 generates random numbers according to the offset.
  • the rounding unit 1353 outputs an integer (eg, 5 and 4) TDC code with a predetermined probability based on the generated random number.
  • FIG. 12 is a diagram showing an example of representation of the offset amount by the offset compensator 135 according to the first embodiment.
  • the rounding unit 1353 outputs, for example, a compensated TDC code of 5 with a probability of 75% and a compensated TDC code of 4 with a probability of 25%.
  • the rounding unit 1353 can output a TDC code of 5 and a TDC code of 4 so that the average is 4.75. This allows a better representation of the fractional part of the offset.
  • the processing unit 130 performs correction processing on the TDC code (count value) output by the TDC 112 based on preset correction parameters. Histogram generator 132 generates a histogram based on the corrected TDC code. More specifically, the processing unit 130 has an offset compensation unit 135, for example. The offset compensation unit 135 performs offset compensation processing on the TDC code output from the TDC 112 based on a preset offset. As a result, it is possible to suppress distance measurement errors due to changes in the light receiving position of the spot light SL.
  • the offset compensation process is performed for each frequency value of the pixel 81 . Therefore, the offset compensation process is performed before the histogram generation unit 132 generates the histogram so that the frequency value of the pixel 81 can be processed.
  • timing at which the offset is stored in the offset storage unit 134 is not necessarily limited to the calibration timing, and may be other timing.
  • FIG. 13 is a diagram showing an example of changes in histogram with respect to changes in the light receiving position of the spot light SL according to the comparative example.
  • the comparative example differs from the first embodiment in that offset compensation processing is not performed. That is, in the comparative example, the offset storage section 134 and the offset compensation section 135 are not provided.
  • FIG. 13 shows the state before the offset compensation process and before the light receiving position of the spot light SL is changed.
  • the lower part of FIG. 8 shows the state before the offset compensation process and after the light receiving position of the spot light SL is changed.
  • the TDC codes at which the frequency values F1 to F4 peak are different for each of the pixels 1 to 4.
  • the light receiving position of the spot light SL changes to move closer to the pixel 3 and farther from the pixel 1, as in the lower part of FIG. Therefore, in the histogram H, the contribution of the frequency value F3 of pixel 3 increases, and the contribution of the frequency value F1 of pixel 1 decreases.
  • the TDC code at which the generated histogram H has a peak shifts from before the change in the light receiving position of the spot light SL.
  • the results of distance measurement may deviate, and distance measurement errors may occur due to the deviation of the light receiving position of the spot light SL.
  • the TDC codes (peak positions) at which the frequency values F1 to F4 of the pixels 1 to 4 reach peaks are substantially the same.
  • the TDC code at which the generated histogram H peaks is substantially constant. As a result, it is possible to suppress distance measurement errors due to changes in the light receiving position of the spot light SL.
  • FIG. 14 is a block diagram showing an example of the configuration of the ranging system 11 according to the first modified example of the first embodiment.
  • the first modification of the first embodiment differs from the first embodiment in the arrangement of the offset storage section 134 .
  • the offset storage unit (second storage unit) 134 is arranged at a position different from the lighting device 22 and the range finding device 23 in the range finding system 11 .
  • the application processor 14 sends a control command to the lighting device 22, the distance measuring device 23, and the offset storage unit 134 from outside the distance measuring system 11. Thereby, the distance measuring system 11 operates.
  • the distance measuring device 23 acquires the offset from the offset storage unit 134 outside the distance measuring device 23 in order to perform offset compensation processing.
  • the arrangement of the offset storage unit 134 may be changed as in the first modified example of the first embodiment. Also in this case, the same effect as in the first embodiment can be obtained.
  • FIG. 15 is a block diagram showing an example of the configuration of the ranging system 11 according to the second modification of the first embodiment.
  • the second modification of the first embodiment differs from the first embodiment in the arrangement of the offset storage section 134 .
  • the offset storage unit 134 is arranged inside the lighting device 22 . That is, the illumination device 22 has an offset storage section (third storage section) 134 .
  • the distance measuring device 23 acquires the offset from the offset storage unit 134 outside the distance measuring device 23 in order to perform offset compensation processing.
  • the arrangement of the offset storage unit 134 may be changed as in the second modification of the first embodiment. Also in this case, the same effect as in the first embodiment can be obtained.
  • FIG. 16 is a block diagram showing an example of the configuration of the distance measuring system 11 according to the third modified example of the first embodiment.
  • the third modified example of the first embodiment differs from the first embodiment in the arrangement of the offset storage section 134 .
  • the offset storage unit 134 is arranged within the application processor 14 . That is, the application processor 14 has an offset storage unit 134 .
  • the application processor 14 sends the offset amount stored in the offset storage unit 134 to the distance measuring device 23 . Accordingly, the distance measuring device 23 performs offset compensation processing.
  • the arrangement of the offset storage unit 134 may be changed as in the third modification of the first embodiment. Also in this case, the same effect as in the first embodiment can be obtained.
  • FIG. 17A is a diagram showing an example of arrangement of pixels 81 according to the fourth modification of the first embodiment.
  • FIG. 17B is a diagram showing an example of offsets stored in the offset storage unit 134 according to the fourth modification of the first embodiment.
  • the fourth modification of the first embodiment differs from the first embodiment in the offset storage method.
  • the offset storage unit 134 stores the offset of one pixel 81 (SPAD1) in the pixel group 81G.
  • the offset (offset 1) of one pixel 81 (SPAD1) is applied to the other pixels 81 included in the pixel group 81G.
  • a plurality of pixels 81 are subjected to offset compensation processing in units of pixel groups 81G. That is, the offset compensation unit 135 performs offset compensation processing for each pixel group 81G based on the offset corresponding to one pixel 81 included in the pixel group 81G having a plurality of pixels 81.
  • FIG. This makes it possible to suppress the required storage capacity of the offset.
  • the offset storage method may be changed as in the fourth modification of the first embodiment. Also in this case, the same effect as in the first embodiment can be obtained.
  • FIG. 18 is a block diagram showing an example of the configuration of the offset compensator 135 according to the fifth modification of the first embodiment.
  • the fifth modification of the first embodiment differs from the first embodiment in the method of offset compensation processing.
  • the offset compensator 135 has an integer/fraction separator 1354 , an adder/subtractor 1355 , an adder/subtractor 1356 , and a count-up amount decoder 1357 .
  • the integer and decimal separator 1354 separates the integer part and the decimal part of the offset amount. Integer/fraction separating section 1354 outputs the integer part of the offset amount to adder/subtractor 1355 and outputs the decimal part of the offset amount to count-up amount decoder 1357 . The integer fraction separator 1354 outputs, for example, the integer part 5 to the adder/subtractor 1355, and outputs the fraction part 0.25 to the count-up amount decoder.
  • the adder/subtractor 1355 adds/subtracts the TDC code of the pixel X and the integer part of the offset amount of the pixel X.
  • the adder/subtractor 1355 outputs 5 (5-0), for example.
  • the adder/subtractor 1356 subtracts 1 from the output of the adder/subtractor 1356 and outputs the result.
  • the adder/subtractor 1356 outputs 4 (5-1), for example.
  • the compensated TDC codes are 4 and 5.
  • the count-up amount decoder 1357 outputs the count-up amount of each code based on the fractional part of the offset amount.
  • FIG. 19 is a diagram showing an example of representation of the offset amount by the offset compensator 135 according to the fifth modification of the first embodiment.
  • the count-up amount decoder 1357 outputs, for example, a count-up amount of 1 for a compensated TDC code of 4 (4th bin) and a count-up amount of 3 for a compensated TDC code of 5 (5th bin). Outputs the count-up amount of In the examples shown in FIGS. 18 and 19, four counts are performed for one input of the TDC code from the TDC 112 . In this case, the average value of compensated TDC codes in one count-up is 4.75. Thus, an offset TDC code of 4.75 (5-0.25) can be represented. By inputting the count-up amount to the histogram generation unit 132, a histogram is generated in consideration of the decimal part of the offset amount.
  • the method of offset compensation processing may be changed as in the fifth modification of the first embodiment. Also in this case, the same effect as in the first embodiment can be obtained.
  • FIG. 20 is a block diagram showing an example of the basic configuration of the light receiving device 42 according to the second embodiment.
  • the second embodiment differs from the first embodiment in that weighting processing is performed on the frequency value of the TDC code.
  • the signal processing unit 74 further includes a reaction signal input unit 171 , a reaction count measurement unit 172 , a weight determination unit 173 and a plurality of weight processing units 174 .
  • the light-receiving device 42 of FIG. 20 receives the reflected light for determining the weight for each pixel, and receives the reflected light for measuring the distance to the measurement object using the determined weight.
  • a two-stage light receiving process including the second light receiving process is performed.
  • the TDC 112 outputs to the reaction signal input section 171 a reaction signal indicating that the SPAD 101 has reacted in response to the incident photon on the pixel 81 in the first light receiving process.
  • the reaction of the SPAD 101 in response to the incidence of photons means that the detection signal PFout of Hi was output from the readout circuit 102, and more specifically, the occurrence of avalanche multiplication in the SPAD 101 in response to the incidence of photons. show.
  • the TDC 112 counts the time from when the light source 32 of the lighting device 22 emits light to when the photon is incident on the SPAD 101, and converts the TDC code, which is the count result, into the corresponding weight Output to the processing unit 174 .
  • the weight processing section 174 is provided on a one-to-one basis with respect to the TDC 112 .
  • the TDC code output to the reaction signal input unit 171 in the second light receiving process has time information from when the light source 32 of the lighting device 22 emits light to when the photon is incident on the SPAD 101 .
  • a plurality of TDCs 112 are connected to the input stage of the reaction signal input section 171 , and one reaction number measuring section 172 is connected to the output stage of the reaction signal input section 171 .
  • the reaction signal input unit 171 inputs the TDC code output from one of the plurality of TDCs 112 to the reaction count measurement unit 172 .
  • the latter-stage reaction count measurement unit 172 is provided in units of pixel groups 81G, which are the same as the histogram generation unit 132 .
  • reaction signal input unit 171 When a TDC code is output from one of the plurality of TDCs 112 corresponding to the plurality of pixels 81 belonging to the pixel group 81G handled by the reaction count measurement unit 172, the reaction signal input unit 171 outputs the TDC code as a reaction. It is input to the number-of-times counting unit 172 .
  • the TDC 112 may directly calculate a reaction signal (the number of reactions) without time information from the TDC code and output it to the reaction number measuring section 172 . In this case, reaction signal input section 171 may not be provided.
  • the reaction count measurement unit 172 measures the number of reactions of each pixel 81 belonging to the pixel group 81G based on the reaction signal supplied from the reaction signal input unit 171. That is, the reaction count measurement unit 172 counts the number of reactions of the SPAD 102 in each pixel 81 belonging to the pixel group 81G, and supplies the measurement result to the weight determination unit 173 .
  • the weight determination unit 173 determines the weight of each pixel 81 belonging to the pixel group 81G based on the number of reactions of each pixel 81 belonging to the pixel group 81G supplied from the reaction number measurement unit 172 .
  • the weight determination unit 173 supplies the weight determined for each pixel 81 belonging to the pixel group 81G to the weight processing unit 174 to which the TDC code of the pixel 81 is input. Details of the weight determination unit 173 will be described later with reference to FIG.
  • the weight processing unit 174 performs processing corresponding to the weight supplied from the weight determination unit 173 on the TDC code supplied from the TDC 112 and supplies the result to the TDC code input unit 131 .
  • the weight processing unit 174 outputs the TDC code supplied from the TDC 112 to the TDC code input unit 131 the number of times corresponding to the weight according to the weight supplied from the weight determination unit 173 .
  • the weight processing unit 174 calculates the frequency value of the TDC code output by the TDC 112 based on the reaction count measurement result of the reaction count measurement unit 172 for each of the plurality of pixels 81 and the preset reaction count. Perform weight processing. Details of the weighting process will be described later with reference to FIG.
  • the weight determined by the weight determination unit 173 increases or decreases the number of TDC codes supplied to the histogram generation unit 132 via the TDC code input unit 131, so the frequency value for each pixel 81 is increased or decreased.
  • the histogram generation unit 132 generates a histogram and supplies it to the distance calculation unit 133, as in the first embodiment. However, the histogram generation unit 132 is supplied with the TDC code the number of times corresponding to the weight by the weight processing unit 174 . As a result, a weighted TDC code is supplied for each pixel 81 . Therefore, the histogram generator 132 generates a histogram based on the weighted frequency values.
  • FIG. 21 is a diagram showing an example of weighting processing by the weighting processing unit 174 according to the second embodiment. In FIG. 21, two pixels 81 are described for simplification.
  • the frequency value of pixel 1 shows a peak at the TDC code of 3 during calibration (during zero point correction).
  • the frequency value for pixel 2 shows a peak at a TDC code of 4. That is, as described with reference to FIG. 6, the TDC code at which the frequency value peaks differs for each of the pixels 1 and 2.
  • FIG. The frequency value of the histogram generated by summing the frequency values of pixels 1 and 2 shows a peak at the TDC code of 3. This is because the contribution of pixel 1, which shows a peak in the TDC code with a frequency value of 3, is greater than the contribution of pixel 2, which shows a peak in the TDC code with a frequency value of 4.
  • the contributions of the pixels 1 and 2 change.
  • the contribution of pixel 1 is low and the contribution of pixel 2 is high.
  • the frequency values of the generated histogram show a peak at the TDC code of 4, with a large contribution from pixel 2.
  • the weight processing unit 174 adjusts the TDC output from the pixel 1 and the pixel 2 so that the ratio (weight) of the degree of contribution of each of the pixels 1 and 2 maintains the state at the time of calibration (at the time of zero point correction). Weight processing is performed on the frequency values of the chords. That is, the weight processing unit 174 weights the frequency values so that the ratio of the measurement results of the number of reactions among the plurality of pixels 81 becomes a predetermined ratio.
  • the predetermined ratio is a preset ratio of the number of reactions among the plurality of pixels 81, more specifically, a ratio of the number of reactions among the plurality of pixels 81 in calibration. As a result, it is possible to suppress distance measurement errors due to deviation of the light receiving position of the spot light SL.
  • the weight processing unit 174 weights the frequency value in the second light receiving process based on the measurement result of the number of reactions in the first light receiving process. conduct.
  • the deviation of the light receiving position of the spot light SL occurs, for example, due to aging and physical impact.
  • the number of times of reaction (percentage of contribution) of each pixel 81 usually does not change greatly for each light receiving process. Therefore, the difference between the first light receiving process for determining the parameters of the weighting process and the second light receiving process for performing the weighting process causes a small ranging error.
  • FIG. 22 is a block diagram showing an example of calibration according to the second embodiment.
  • the calibration operation is the same as the calibration operation in the first embodiment described with reference to FIG.
  • the reaction count storage unit 1731 (see FIG. 23) stores the number of reactions of each pixel 81 output from the reaction count measurement unit 172 during calibration.
  • the number of reactions is stored in the reaction number storage unit 1731 at the time of shipment, for example.
  • FIG. 23 is a block diagram showing an example of the configuration of the weight determination unit 173, the weight processing unit 174, and their peripherals according to the second embodiment.
  • the reaction count measurement unit 172 integrates the TDC code from the TDC 112 for each pixel 81 and measures the total number of reactions.
  • the weight determination unit 173 includes a reaction frequency storage unit 1731, a reaction frequency normalization unit 1732, an adder/subtractor 1733,
  • the number-of-reactions storage unit 1731 stores the number of reactions during calibration (during zero-point correction), which is the reference light receiving process of the distance measuring device 23, as described above.
  • the reaction frequency normalization unit 1732 acquires the reaction frequency of all reactions from the reaction frequency measurement unit 172 in the first light receiving process.
  • the reaction count normalization unit 1732 calculates the ratio between the reaction count stored in the reaction count storage unit 1731 and the reaction count measurement result output from the reaction count measurement unit 172 in the first light receiving process, and performs weighting. determine the parameters of Thus, the weighting parameters can be determined so as to maintain the contribution ratio of the frequency values between the pixels 81 at the time of calibration.
  • the adder/subtractor 1733 adds/subtracts the reaction count measurement result output from the reaction count measurement unit 172 and the weight processing parameter determined by the reaction count normalization unit 1732, and outputs the weight.
  • the weight processing unit 174 has a multiplier. For example, the weight processing unit 174 multiplies the frequency value of the TDC code by the weight determined by the weight determination unit 173, thereby performing weight processing so as to control the number of times the TDC code is output.
  • the reaction count measuring unit 172 , weight determining unit 173 , and weight processing unit 174 perform the above processing for each pixel 81 . That is, the weight processing unit 174 determines that the ratio of the measurement result of the number of reactions among the plurality of pixels 81 in the light reception processing (actual operation) performed after the reference light reception processing (calibration) is the ratio of the plurality of pixels 81 in the calibration. Weight processing is performed on the frequency value of the TDC code so that it becomes the same as the ratio of the measurement result of the number of reactions between.
  • the processing unit 130 performs correction processing on the TDC code (count value) output by the TDC 112 based on preset correction parameters. More specifically, the processing unit 130 has, for example, a reaction count measurement unit 172, a weight determination unit 173, and a weight processing unit 174.
  • the weight processing unit 174 calculates the frequency value of the TDC code output by the TDC 112 based on the reaction count measurement result of the reaction count measurement unit 172 for each of the plurality of pixels 81 and the preset reaction count. Perform weight processing. As a result, it is possible to suppress distance measurement errors due to deviation of the light receiving position of the spot light SL.
  • weighting may be performed on the frequency value of the TDC code. Also in this case, the same effect as in the first embodiment can be obtained.
  • the number of reactions storage unit 1731 is arranged in the distance measuring device 23 .
  • the arrangement of the reaction number storage unit 1731 is not limited to this, and may be changed in the same manner as the offset storage unit 134 in the first to third modifications of the first embodiment.
  • FIG. 24 is a block diagram showing an example of the basic configuration of a light receiving device 42 according to the first modified example of the second embodiment.
  • the first modified example of the second embodiment differs from the second embodiment in that the first light receiving process for determining the weight and the second light receiving process for performing the weighting process are the same.
  • the signal processor 74 further has a memory controller 175 .
  • the storage control unit 175 has a TDC code storage unit 1751.
  • the storage control unit 175 stores the TDC code output from the TDC 112 in the TDC code storage unit (count value storage unit) 1751 .
  • the weight processing unit 174 calculates the frequency of the TDC code stored in the TDC code storage unit 1751 in a certain light receiving process (third light receiving process) based on the measurement result of the number of reactions in a certain light receiving process. Weight processing is performed on the value. Thereby, the light receiving process for determining the parameters of the weighting process and the light receiving process for performing the weighting process can be made the same. Also, the weighting process can be performed in one light receiving process.
  • the first light receiving process for determining the weight and the second light receiving process for performing the weighting process may be the same. Also in this case, the same effects as in the second embodiment can be obtained.
  • FIG. 25 is a block diagram showing an example of calibration according to the second modification of the second embodiment.
  • the second modification of the second embodiment differs from the second embodiment in that weighting processing is performed during calibration.
  • reaction count storage unit 1731 is not provided.
  • the weight determination unit 173 determines parameters for weight processing so as to achieve the first predetermined ratio.
  • the first predetermined ratio is, for example, 1:1:1:1.
  • the weight processing unit 174 weights the frequency values of the TDC codes so that the ratio of the measurement results of the number of reactions among the plurality of pixels 81 becomes the first predetermined ratio. I do.
  • a histogram is generated with the ratio of the number of reactions of the pixels 81 being 1:1:1:1. Also, the calibration process is performed in a state where the ratio of the number of times of reaction of the pixels 81 is 1:1:1:1.
  • FIG. 26 is a block diagram showing an example of the configuration of the weight determination unit 173, the weight processing unit 174, and their peripherals according to the second modification of the second embodiment.
  • the weight determining unit 173 sets the parameters of the weighting process so that the measurement results of the number of reactions of the pixels 81 in the first light receiving process have a first predetermined ratio (1:1:1:1) set in advance. decide.
  • the weight processing unit 174 is based on the reaction count measurement result of the reaction count measurement unit 172 for each of the plurality of pixels 81 and a predetermined ratio of the reaction counts set in advance among the plurality of pixels 81, and the TDC 112 outputs Weight processing is performed on the frequency value of the TDC code.
  • the weight processing unit 174 weights the frequency value of the TDC code so that the ratio of the measurement result of the number of reactions among the plurality of pixels 81 becomes the first predetermined ratio in the light receiving process performed after the first light receiving process. , perform weight processing.
  • the weight determination unit 173 determines parameters for weight processing so that the ratio of the number of times the pixel 81 reacts becomes the first predetermined ratio in both calibration and actual operation. That is, since the target ratio for weighting processing is the same as the target ratio for calibration, there is no need to store the measurement results of the number of reactions during calibration. Accordingly, it is not necessary to provide the reaction number storage unit 1731 as compared with the second embodiment.
  • weighting may also be performed during calibration. Also in this case, the same effects as in the second embodiment can be obtained.
  • FIG. 27 is a block diagram showing an example of the configuration of the weight determination unit 173, the weight processing unit 174, and their peripherals according to the third modification of the second embodiment.
  • the third modification of the second embodiment differs from the second embodiment in that anomaly detection is performed based on the number of reactions.
  • the signal processing unit 74 further includes a determination unit 176 and a notification unit 177.
  • the determination unit 176 determines whether the measurement result of the reaction count measurement unit 172 exceeds a predetermined range. For example, if the number of reactions of the pixel 3 shown in FIG. 27 is too small or too large, there is a possibility that the reliability of the reaction of the pixel 81 is low due to some abnormality occurring in the pixel 81. .
  • the notification unit 177 notifies the determination result.
  • the notification unit 177 notifies that the reliability of the reaction obtained from the pixel 3 is low. This can prompt the user to re-calibrate or inform the user of the failure.
  • Anomaly detection may be performed based on the number of reactions as in the third modification of the second embodiment. Also in this case, the same effects as in the second embodiment can be obtained.
  • the present technology is not limited to application to ranging systems. That is, the present technology is applicable to general electronic devices such as smart phones, tablet terminals, mobile phones, personal computers, game machines, television receivers, wearable terminals, digital still cameras, and digital video cameras.
  • the distance measuring device 23 described above may have a modular form in which the lens 41 and the light receiving device 42 are packaged together, or the lens 41 and the light receiving device 42 may be configured separately, and only the light receiving device 42 may be integrated into one package. It may be configured as a chip.
  • FIG. 28 is a diagram showing a usage example of the distance measuring system 11 or the distance measuring device 23 described above.
  • the distance measuring system 11 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
  • ⁇ Devices that capture images for viewing purposes, such as digital cameras and mobile devices with camera functions.
  • Devices used for transportation such as in-vehicle sensors that capture images behind, around, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, and ranging sensors that measure the distance between vehicles.
  • Devices used in home appliances such as TVs, refrigerators, air conditioners, etc., to take pictures and operate devices according to gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes such as surveillance cameras for crime prevention and cameras for personal authentication
  • microscopes used for beauty such as microscopes used for beauty
  • Sports such as action cameras and wearable cameras for use in sports ⁇ Cameras, etc. for monitoring the condition of fields and crops , agricultural equipment
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 29 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an inside information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 30 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 30 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided in the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to, for example, the imaging units 12031, 12101, 12102, 12103, 12104, 12105 and the like among the configurations described above.
  • the distance measuring system 11 in FIG. 1 can be applied to these imaging units.
  • the imaging units 12031, 12101, 12102, 12103, 12104, and 12105 are LIDARs, for example, and are used to detect objects around the vehicle 12100 and the distance to the objects.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • this technique can take the following structures.
  • a time counting unit that counts the time from when the light source emits light to when the photons are incident on the pixel; a processing unit that performs correction processing on the count value output by the time counting unit based on a preset correction parameter; a histogram generation unit that generates a histogram based on the count values corrected by the processing unit; A ranging device.
  • the processing unit has a compensating unit that performs offset compensation processing on the count value output from the time counting unit based on a preset offset of the count value, The distance measuring device according to (1), wherein the histogram generation unit generates the histogram based on the count values subjected to offset compensation processing.
  • the compensating unit performs offset compensation processing on the count value output from the time counting unit so that the count value that maximizes the frequency value of the count value is the same among the plurality of pixels.
  • the distance measuring device according to (2) wherein (4) The distance measuring device according to (2) or (3), wherein the compensation section performs offset compensation processing for each pixel based on the offset corresponding to each pixel.
  • the processing unit is a measurement unit that measures the number of times the light receiving element reacts in response to the incidence of photons on the pixel; Based on the result of measuring the number of reactions by the measurement unit for each of the plurality of pixels, the preset number of reactions, or a predetermined ratio of the preset number of reactions among the plurality of pixels, a weight processing unit that performs weight processing on the frequency value of the count value output by the time counting unit; has The distance measuring device according to (1), wherein the histogram generator generates the histogram based on the weighted frequency values. (7) The distance measurement according to (6), wherein the weight processing unit weights the frequency value so that a ratio of the measurement results of the number of reactions among the plurality of pixels becomes the predetermined ratio. Device.
  • the weight processing unit determines that, in light receiving processing performed after the reference light receiving processing, the ratio of the measurement results of the number of reactions among the plurality of pixels is the result of measuring the number of reactions among the plurality of pixels in the reference light reception processing.
  • the weight processing unit In the reference light receiving process, weighting is performed on the frequency value so that a ratio of the measurement results of the number of reactions among the plurality of pixels becomes a first predetermined ratio; weighting the frequency value so that a ratio of the measurement result of the number of reactions among the plurality of pixels becomes the first predetermined ratio in the light reception processing performed after the reference light reception processing; (7) A distance measuring device according to the above. (10) The distance measuring device according to (8) or (9), wherein the reference light receiving process is calibration of the distance measuring device. (11) In a second light receiving process executed after the first light receiving process, the weight processing unit weights the frequency value in the second light receiving process based on the measurement result of the number of reactions in the first light receiving process.
  • the distance measuring device according to any one of (6) to (10), which performs processing. (12) further comprising a storage control unit for storing the count value output from the time counting unit in a count value storage unit; In the third light receiving process, the weight processing unit, based on the measurement result of the number of reactions in the third light receiving process, for the frequency value in the third light receiving process stored in the count value storage unit: The distance measuring device according to any one of (6) to (10), which performs weighting. (13) The distance measuring device according to any one of (6) to (12), further comprising a determination unit that determines whether the result of measuring the number of reactions is within a predetermined range.
  • the distance measuring device according to any one of (1) to (13), wherein the time counting section counts the time from when the light source emits light to when the light is incident on each pixel.
  • the processing section performs correction processing based on the correction parameters stored in the first storage section.
  • a lighting device having a light source; a distance measuring device that receives light reflected by an object from the light source; with The rangefinder is a time counting unit that counts the time from when the light source emits light to when the photons are incident on the pixels; a processing unit that performs correction processing on the count value output by the time counting unit based on a preset correction parameter; a histogram generation unit that generates a histogram based on the count values corrected by the processing unit; A ranging system.
  • the distance measuring device further includes a first storage unit that stores the correction parameter, The distance measuring system according to (16), wherein the processing unit performs correction processing based on the correction parameters stored in the first storage unit.
  • the lighting device further includes a third storage unit that stores the correction parameter, The distance measuring system according to (16), wherein the processing unit performs correction processing based on the correction parameters stored in the third storage unit.
  • a ranging method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

[課題]測距誤差を抑制する。 [解決手段]測距装置は、光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、を備える。

Description

測距装置、測距システム及び測距方法
 本開示による実施形態は、測距装置、測距システム及び測距方法に関する。
 被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある。Direct ToFセンサ(以下、単にToFセンサと称する。)は、被写体に向けて光を照射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
 ToFセンサでは、光を照射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離相当のカウント値に変換される。光の照射と受信は、外乱光やマルチパスの影響を除去するために、複数回に渡って実施される。そして、複数回分のカウント値のヒストグラムが生成され、頻度値が最も大きいカウント値が、最終的なカウント値として出力される(例えば、特許文献1~3参照)。
特開2020-73901号公報 特表2021-507260号公報 特開2021-1764号公報
 しかしながら、例えば、測距スポット光(反射光)が戻ってくる、センサ上の位置が何らかの理由で既知の位置から変化してしまうと、測距誤差が生じてしまう場合がある。
 そこで、本開示では、測距誤差を抑制することができる測距装置、測距システム及び測距方法を提供するものである。
 上記の課題を解決するために、本開示によれば、
 光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
 を備える、測距装置が提供される。
 前記処理部は、予め設定された前記カウント値のオフセットに基づいて、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行う補償部を有し、
 前記ヒストグラム生成部は、オフセット補償処理された前記カウント値に基づいて、前記ヒストグラムを生成してもよい。
 前記補償部は、前記カウント値の頻度値が最大になる前記カウント値が、複数の前記画素の間で同じになるように、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行ってもよい。
 前記補償部は、前記画素のそれぞれに対応する前記オフセットに基づいて、前記画素ごとにオフセット補償処理を行ってもよい。
 前記補償部は、複数の前記画素を有する画素群に含まれる1つの前記画素に対応する前記オフセットに基づいて、前記画素群ごとにオフセット補償処理を行ってもよい。
 前記処理部は、
 前記画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
 複数の前記画素のそれぞれに対する前記計測部の反応回数計測結果と、予め設定された前記反応回数、又は、複数の前記画素の間の予め設定された前記反応回数の所定比率と、基づいて、前記時間カウント部が出力する前記カウント値の頻度値に対して、重み処理を行う重み処理部と、
 を有し、
 前記ヒストグラム生成部は、重み処理された前記頻度値に基づいて、前記ヒストグラムを生成してもよい。
 前記重み処理部は、複数の前記画素の間の前記反応回数計測結果の比率が、前記所定比率になるように、前記頻度値に対して、重み処理を行ってもよい。
 前記重み処理部は、基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記基準受光処理における複数の前記画素の間の前記反応回数計測結果の比率と同じになるように、前記頻度値に対して、重み処理を行ってもよい。
 前記重み処理部は、
 基準受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、第1所定比率になるように、前記頻度値に対して、重み処理を行い、
 前記基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記第1所定比率になるように、前記頻度値に対して、重み処理を行ってもよい。
 前記基準受光処理は、前記測距装置のキャリブレーションであってもよい。
 前記重み処理部は、第1受光処理の後に実行される第2受光処理において、前記第1受光処理における前記反応回数計測結果に基づいて、前記第2受光処理における前記頻度値に対して、重み処理を行ってもよい。
 前記時間カウント部から出力される前記カウント値をカウント値記憶部に記憶させる記憶制御部をさらに備え、
 前記重み処理部は、第3受光処理において、前記第3受光処理における前記反応回数計測結果に基づいて、前記カウント値記憶部に記憶された、前記第3受光処理における前記頻度値に対して、重み処理を行ってもよい。
 前記反応回数計測結果が所定範囲内であるか否かを判定する判定部をさらに備えてもよい。
 前記時間カウント部は、画素ごとに、前記光源が発光してから前記入射タイミングまでの時間をカウントしてもよい。
 前記補正パラメータを記憶する第1記憶部をさらに備え、
 前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行ってもよい。
 本開示によれば、光源を有する照明装置と、
 前記光源からの光が物体に反射された反射光を受光する測距装置と、
 を備え、
 前記測距装置は、
 前記光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
 を備える、測距システムが提供される。
 前記測距装置は、前記補正パラメータを記憶する第1記憶部をさらに備え、
 前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行ってもよい。
 前記照明装置及び前記測距装置が配置された位置とは異なる位置に配置され、前記補正パラメータを記憶する第2記憶部をさらに備え、
 前記処理部は、前記第2記憶部に記憶された前記補正パラメータに基づいて、補正処理を行ってもよい。
 前記照明装置は、前記補正パラメータを格納する第3記憶部をさらに備え、
 前記処理部は、前記第3記憶部に記憶された前記補正パラメータに基づいて、補正処理を行ってもよい。
 本開示によれば、光源が発光してから、画素に光子が入射される入射タイミングまでの時間を時間カウント部によりカウントし、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を処理部により行い、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムをヒストグラム生成部により生成する、
 ことを具備する、測距方法が提供される。
第1実施形態に係る測距システムの構成の一例を示すブロック図である。 第1実施形態に係る受光装置の概略構成の一例を示すブロック図である。 第1実施形態に係る受光装置の基本構成の一例を示すブロック図である。 第1実施形態に係るオフセット記憶部の配置の一例を示すブロック図である。 第1実施形態に係る画素の構成の一例を示す回路図である。 第1実施形態に係るオフセット補償部によるオフセット補償処理の一例を示す図である。 スポット光の受光位置のずれの一例を示す図である。 第1実施形態に係るスポット光の受光位置変化に対するヒストグラムの変化の一例を示す図である。 第1実施形態に係るキャリブレーションの一例を示すブロック図である。 第1実施形態に係る画素の配置の一例を示す図である。 第1実施形態に係るオフセット記憶部に記憶されるオフセットの一例を示す図である。 第1実施形態に係るオフセット補償部の構成の一例を示すブロック図である。 第1実施形態に係るオフセット補償部によるオフセット量の表現の一例を示す図である。 比較例に係るスポット光の受光位置変化に対するヒストグラムの変化の一例を示す図である。 第1実施形態の第1変形例に係る測距システムの構成の一例を示すブロック図である。 第1実施形態の第2変形例に係る測距システムの構成の一例を示すブロック図である。 第1実施形態の第3変形例に係る測距システムの構成の一例を示すブロック図である。 第1実施形態の第4変形例に係る画素の配置の一例を示す図である。 第1実施形態の第4変形例に係るオフセット記憶部に記憶されるオフセットの一例を示す図である。 第1実施形態の第5変形例に係るオフセット補償部の構成の一例を示すブロック図である。 第1実施形態の第5変形例に係るオフセット補償部によるオフセット量の表現の一例を示す図である。 第2実施形態に係る受光装置の基本構成の一例を示すブロック図である。 第2実施形態に係る重み処理部による重み処理の一例を示す図である。 第2実施形態に係るキャリブレーションの一例を示すブロック図である。 第2実施形態に係る重み決定部、重み処理部及びその周辺の構成の一例を示すブロック図である。 第2実施形態の第1変形例に係る受光装置の基本構成の一例を示すブロック図である。 第2実施形態の第2変形例に係るキャリブレーションの一例を示すブロック図である。 第2実施形態の第2変形例に係る重み決定部、重み処理部及びその周辺の構成の一例を示すブロック図である。 第2実施形態の第3変形例に係る重み決定部、重み処理部及びその周辺の構成の一例を示すブロック図である。 測距システムの使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、図面を参照して、測距装置、測距システム及び測距方法の実施形態について説明する。以下では、測距装置、測距システム及び測距方法の主要な構成部分を中心に説明するが、測距装置、測距システム及び測距方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
<第1実施形態>
[測距システムの構成例]
 図1は、第1実施形態に係る測距システム11の構成の一例を示すブロック図である。
 測距システム11は、例えば、ToF法を用いて、測定対象としての物体12及び物体13までの距離を測定するシステムである。なお、測距システム11は、独立したシステムであってもよく、他の装置(電子機器)に組み込まれる測距モジュールであってもよい。測距システム11は、タイミング信号生成回路21、照明装置22、及び、測距装置23を備える。
 タイミング信号生成回路21は、照明装置22が光を照射するタイミングを制御する発光タイミング信号を生成し、照明装置22及び測距装置23に供給する。
 照明装置22は、照明制御部31及び光源32を備える。
 照明制御部31は、タイミング信号生成回路21から供給される発光タイミング信号に従って、光源32に光を照射させる。例えば、発光タイミング信号は、High(1)とLow(0)のパルス信号で構成され、照明制御部31は、発光タイミング信号が、Highのとき光源32を点灯させ、発光タイミング信号がLowのとき光源32を消灯させる。
 光源32は、照明制御部31の制御の下、所定の波長域の光を発する。光源32は、例えば、赤外線レーザダイオードで構成される。なお、光源32の種類、及び、照射光の波長域は、測距システム11の用途等に応じて任意に設定することが可能である。
 測距装置23は、照明装置22から照射された光(照射光)が物体12又は物体13によって反射された反射光を受光し、反射光を受光したタイミングに基づいて物体までの距離を算出する。
 測距装置23は、レンズ41、及び、受光装置42を備える。レンズ41は、入射光を受光装置42の受光面に結像させる。なお、レンズ41の構成は任意であり、例えば、複数のレンズ群によりレンズ41を構成することも可能である。
 受光装置42は、例えば、受光素子としてSPAD(Single Photon Avalanche Diode)やAPD(Avalanche photodiode)などを用いた画素が行方向及び列方向の行列状に2次元配置された画素アレイを有する。受光装置42は、照明装置22が照射光を照射してから受光装置42が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体12又は物体13までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成して出力する。光源32が発光するタイミングを示す発光タイミング信号は、タイミング信号生成回路21から受光装置42にも供給される。
 なお、測距システム11では、光源32の発光と、その反射光の受光とを複数回(例えば、数千乃至数万回)繰り返すことにより、受光装置42が、外乱光やマルチパス等の影響を除去した距離画像を生成して出力することができる。
[受光装置の概略構成例]
 図2は、第1実施形態に係る受光装置42の概略構成の一例を示すブロック図である。
 受光装置42は、画素駆動部71、画素アレイ72、時間計測部73、信号処理部74、及び、入出力部75を備える。
 画素アレイ72は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素81が行方向及び列方向の行列状に2次元配置されて構成されている。ここで、行方向とは水平方向の画素81の配列方向を言い、列方向とは垂直方向の画素81の配列方向を言う。図2では、紙面の制約上、画素アレイ72が10行12列の画素配列構成で示されているが、画素アレイ72の行数及び列数は、これに限定されず、任意である。
 画素アレイ72の行列状の画素配列に対して、画素行ごとに画素駆動線82が水平方向に配線されている。画素駆動線82は、画素81の駆動を行うための駆動信号を伝送する。なお、図2では、画素駆動線82を1本の配線として示しているが、複数の配線で構成してもよい。
 画素駆動部71は、画素駆動線82を介して所定の駆動信号を各画素81に供給することにより、各画素81を駆動する。具体的には、画素駆動部71は、入出力部75を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に2次元配置された複数の画素81の少なくとも一部をアクティブ画素とし、残りの画素81を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。なお、水平方向に配線された画素駆動線82だけでなく、垂直方向に配線された画素駆動線(不図示)も用いて、両者の論理積により、アクティブ画素及び非アクティブ画素の制御を行ってもよい。勿論、画素アレイ72の全ての画素81をアクティブ画素としてもよい。画素アレイ72内のアクティブ画素で生成された画素信号は、時間計測部73へ入力される。画素81の詳細構成については後述する。
 時間計測部73は、画素アレイ72のアクティブ画素から供給される画素信号と、光源32の発光タイミングを示す発光タイミング信号とに基づいて、光源32が光を発光してからアクティブ画素が光を受光するまでの時間に対応するカウント値を生成する。発光タイミング信号は、入出力部75を介して外部(タイミング信号生成回路21)から時間計測部73へ供給される。
 信号処理部74は、所定の回数(例えば、数千乃至数万回)繰り返し実行される光源32の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間をカウントしたカウント値のヒストグラムを画素ごとに作成する。そして、信号処理部74は、ヒストグラムのピークを検出することで、光源32から照射された光が物体12又は物体13で反射して戻ってくるまでの時間を判定する。信号処理部74は、受光装置42が受光するまでの時間をカウントしたデジタルのカウント値と光速とに基づいて、物体までの距離を算出する。
 入出力部75は、信号処理部74において検出された各画素の距離を画素値として格納した距離画像を生成し、距離画像の信号(距離画像信号)を、外部に出力する。また、入出力部75は、タイミング信号生成回路21から供給される発光タイミング信号を取得し、画素駆動部71及び時間計測部73に供給する。
 受光装置42は、以上のように構成されている。
[受光装置の基本構成例]
 受光装置42の詳細構成を説明する前に、受光装置42の前提となる受光装置の基本構成例について説明する。
 図3は、第1実施形態に係る受光装置の基本構成の一例を示すブロック図である。
 図3の基本構成例においては、画素アレイ72の各画素81は、SPAD101と、読み出し回路102とを有し、時間計測部73は、TDCクロック生成部111と、複数のTDC112とを有し、信号処理部74は、TDCコード入力部131、ヒストグラム生成部132、、距離演算部133、オフセット記憶部134、及び、オフセット補償部135を有する。
 SPAD(単一光子アバランシェフォトダイオード)101は、入射光が入射されたとき、発生する電子をアバランシェ増幅させて信号を出力する受光素子である。なお、受光素子として、SPADではなく、APDを用いることもできる。
 読み出し回路102は、SPAD101において光子が検出されたタイミングを検出信号PFout(図5)として出力する回路である。
 したがって、画素81では、SPAD101に入射光が入射されたタイミングを読み出し回路102が読み出して、TDC112に出力する。
 また、図3に示すように、1つの画素群81Gは、複数の画素81を有する。1つの画素群81Gがスポット光SLを受光することにより、1点の測距が行われる。
 TDCクロック生成部111は、時間計測部73内に1つ設けられ、TDCクロック信号を生成して、時間計測部73内の全てのTDC112に供給する。TDCクロック信号は、TDC112が、照射光を照射してから画素81が受光するまでの時間をカウントするためのクロック信号である。
 TDC(Time to Digital Converter)112は、読み出し回路102の出力に基づいて、時間をカウントし、その結果得られたカウント値を、信号処理部74のTDCコード入力部131に供給する。以下では、TDC112がカウントする値をTDCコードと呼ぶ。
 TDC112には、TDCクロック生成部111からTDCクロック信号が供給される。TDC112は、TDCクロック信号に基づいて、TDCコードを0から順にカウントアップする。そして、読み出し回路102から入力される検出信号PFoutが、SPAD101に入射光が入射されたタイミングを示した時点でカウントアップを停止し、最終状態のTDCコードを、TDCコード入力部131に出力する。
 また、TDC112は、画素81ごとに、光源が発光してから入射タイミングまでの時間をカウントする。図3に示す例では、画素81ごとにTDC112が設けられる。
 TDCコード入力部131の入力段には、オフセット補償部135を介して、複数のTDC112が接続され、TDCコード入力部131の出力段には、1つのヒストグラム生成部132が接続されている。TDCコード入力部131は、複数のTDC112のいずれかから出力されたTDCコードを、ヒストグラム生成部132に入力する。すなわち、後段のヒストグラム生成部132は、画素アレイ72の複数の画素81単位で設けられている。1つのヒストグラム生成部132が担当する複数の画素81を画素群81G(画素グループ)と称することとすると、TDCコード入力部131は、ヒストグラム生成部132が担当する画素群81Gに属する複数の画素81に対応する複数のTDC112のいずれかから、TDCコードが出力された場合に、そのTDCコードを、ヒストグラム生成部132に入力させる。
 ヒストグラム生成部132は、光源32が光を照射してから反射光を受光するまでの時間であるTDCコードのヒストグラムを生成する。測距システム11では、1回の距離画像の生成において、光源32の発光と、その反射光の受光とが所定回数(例えば、数千乃至数万回)繰り返されるので、複数のTDCコードが発生する。ヒストグラム生成部132は、発生した複数のTDCコードについて、ヒストグラムを生成し、距離演算部133に供給する。
 ヒストグラム生成部132は、上述したように、ヒストグラム生成部132が担当する画素群81Gに属する複数のTDC112からのTDCコードに基づいてヒストグラムを生成するので、ヒストグラム生成部132が担当する画素群81Gの複数画素が同時にアクティブ画素に設定されている場合には、画素群81G内の複数のアクティブ画素全体におけるヒストグラムを生成する。一方、ヒストグラム生成部132が担当する画素群81Gのいずれか1画素がアクティブ画素に設定されている場合には、アクティブ画素に設定された1画素のヒストグラムを生成する。
 なお、図3の基本構成例及び、後述する受光装置42の構成では、ヒストグラム生成部132の回路面積削減のため、このように、複数画素からなる画素群81G単位で、ヒストグラム生成部132を設けることとするが、勿論、画素単位に、ヒストグラム生成部132を設けてもよい。
 距離演算部133は、ヒストグラム生成部132から供給されるヒストグラムにおいて、例えば、頻度値が最大(ピーク)となるTDCコードを検出する。距離演算部133は、ピークとなったTDCコードと光速とに基づいて、物体までの距離を求める演算を行う。
 オフセット記憶部134は、画素81のそれぞれのオフセットを記憶する。オフセットは、オフセット補償(図6を参照)に用いる補正パラメータである。オフセットは、例えば、図9に示すキャリブレーション時(零点補正時)に計測され、オフセット記憶部134に記憶される。キャリブレーションは、複数の画素群81G間のTOF時間のばらつきを抑制するために、或る一定の距離に対する測距動作を行い、画素面の面内で測距結果が略一定になるようにする、補正動作である。なお、キャリブレーションの詳細については、図9を参照して、後で説明する。
 オフセット補償部135は、予め設定されたTDCコードのオフセットに基づいて、TDC112が出力するTDCコード(カウント値)に対して、オフセット補償処理を行う。ヒストグラム生成部132は、オフセット補償処理されたTDCコードに基づいて、ヒストグラムを生成する。なお、オフセット補償処理の詳細については、図6を参照して、後で説明する。
 図4は、第1実施形態に係るオフセット記憶部134の配置の一例を示すブロック図である。
 アプリケーションプロセッサ(AP、Application Processor)14は、測距システム11の外部に配置される。アプリケーションプロセッサ14は、測距システム11の外部から、照明装置22及び測距装置23に制御指令を送る。これにより、測距システム11が動作する。
 図4に示すように、オフセット記憶部(第1記憶部)134は、測距装置23(信号処理部74)内に配置されている。すなわち、測距装置23は、オフセット記憶部134を有する。これにより、オフセット記憶部134とオフセット補償部135との間の距離を短くすることができる。この結果、オフセット補償処理をより効率よく行うことができる。
 基本構成例においては、図3に示される、画素アレイ72の複数の画素81と、それに対応する、複数のTDC112、TDCコード入力部131、ヒストグラム生成部132、距離演算部133、オフセット記憶部134、及び、複数のオフセット補償部135のセットが、複数設けられている。そして、受光装置全体では、画素アレイ72内に設定された各アクティブ画素のヒストグラムが並列に(同時に)生成され、各アクティブ画素の距離が算出される。
 図5は、第1実施形態に係る画素81の構成の一例を示す回路図である。
 図5の画素81は、SPAD101と、トランジスタ141及びインバータ142で構成される読み出し回路102とを備える。また、画素81は、スイッチ143、ラッチ回路144、及び、インバータ145も備える。トランジスタ141は、P型のMOSトランジスタで構成される。
 SPAD101のカソードは、トランジスタ141のドレインに接続されるとともに、インバータ142の入力端子、及び、スイッチ143の一端に接続されている。SPAD101のアノードは、電源電圧VA(以下では、アノード電圧VAとも称する。)に接続されている。
 SPAD101は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード(単一光子アバランシェフォトダイオード)である。SPAD101のアノードに供給される電源電圧VAは、例えば、-20V程度の負バイアス(負の電位)とされる。
 トランジスタ141は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ141のソースは電源電圧VEに接続され、ドレインがSPAD101のカソード、インバータ142の入力端子、及び、スイッチ143の一端に接続されている。これにより、SPAD101のカソードにも、電源電圧VEが供給される。SPAD101と直列に接続されたトランジスタ141の代わりに、プルアップ抵抗を用いることもできる。
 SPAD101には、十分な効率で光(フォトン)を検出するため、SPAD101の降伏電圧VBDよりも大きな電圧(過剰バイアス(ExcessBias))が印加される。例えば、SPAD101の降伏電圧VBDが20Vであり、それよりも3V大きい電圧を印加することとすると、トランジスタ141のソースに供給される電源電圧VEは、3Vとされる。
 なお、SPAD101の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD101に印加する印加電圧が制御(調整)される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御(調整)される。
 スイッチ143は、両端の一端がSPAD101のカソード、インバータ142の入力端子、及び、トランジスタ141のドレインに接続され、他端が、グランド(GND)に接続されているグランド接続線146に接続されている。スイッチ143は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路144の出力であるゲーティング制御信号VGを、インバータ145で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
 ラッチ回路144は、画素駆動部71から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素81をアクティブ画素又は非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ145に供給する。インバータ145は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ143に供給する。
 トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ72内の行列状に配置された複数の画素81のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線82を介して画素駆動部71から供給される。
 ラッチ回路144は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路144は、アドレスデータDECが示す画素アドレスに自分(の画素81)の画素アドレスが含まれている場合には、自身の画素81をアクティブ画素に設定するためのHi(1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分(の画素81)の画素アドレスが含まれていない場合には、自身の画素81を非アクティブ画素に設定するためのLo(0)のゲーティング制御信号VGを出力する。これにより、画素81がアクティブ画素とされる場合には、インバータ145によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ143に供給される。一方、画素81が非アクティブ画素とされる場合には、Hi(1)のゲーティング反転信号VG_Iがスイッチ143に供給される。したがって、スイッチ143は、画素81がアクティブ画素に設定される場合にオフし(非接続とされ)、非アクティブ画素に設定される場合にオンされる(接続される)。
 インバータ142は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ142は、SPAD101への光子の入射を検出信号PFoutとして出力する出力部である。
[オフセット補償処理]
 図6は、第1実施形態に係るオフセット補償部135によるオフセット補償処理の一例を示す図である。図6は、画素81に対するスポット光SLの位置と、画素81のそれぞれのTDCコードの頻度値と、の関係を示す。図6は、画素1~4の頻度値F1~F4が合算されたヒストグラムHを示す。図6の上段は、オフセット補償処理前の状態を示す。図6の下段は、オフセット補償処理後の状態を示す。
 図6に示す例では、1つの画素群81Gに、4つの画素81が含まれる。図6に示す4つの画素81は、画素1~4である。
 ここで、図6の上段に示すように、通常、画素1~4ごとに、頻度値F1~F4がピークとなるTDCコードが異なっている。生成されるヒストグラムHがピークとなるTDCコード(ピーク位置)は、頻度値F1~F4の寄与度によって決まる。
 そこで、オフセット補償部135は、頻度値がピークとなるTDCコードが、画素1~4のそれぞれで同じにするように、画素1~4のそれぞれのTDCコードに対して、オフセット補償処理を行う。すなわち、オフセット補償部135は、TDCコードの頻度値が最大になるTDCコードが、複数の画素81の間で同じになるように、TDC112が出力するTDCコードに対して、オフセット補償処理を行う。これにより、測距誤差を抑制することができる。なお、測距誤差の詳細については、図7及び図8を参照して、後で説明する。
[測距誤差]
 図7は、スポット光SLの受光位置のずれの一例を示す図である。
 図7に示す例では、測距対象Tが測距システム11から近く、測距距離が短い場合と、測距対象Tが測距システム11から遠く、測距距離が長い場合と、の間で、スポット光SLの受光位置が変化している。測距距離が短い場合、スポット光SLの光子は、画素3及び画素4よりも、画素1及び画素2に入射しやすい。この場合、画素1及び画素2の頻度値の寄与度が、画素3及び画素4の頻度値の寄与度よりも大きいヒストグラムが生成される。測距距離が長い場合、スポット光SLの光子は、画素1及び画素2よりも、画素3及び画素4に入射しやすい。この場合、画素3及び画素4の頻度値の寄与度が、画素1及び画素2の頻度値の寄与度よりも大きいヒストグラムが生成される。
 スポット光SLの受光位置のずれは、例えば、物理的な衝撃、時間経過に伴う光学系の物理的な位置の変化、及び、測距距離により測距光の戻り位置が変化すること(通称parallax)が考えられる。
 図8は、第1実施形態に係るスポット光SLの受光位置変化に対するヒストグラムの変化の一例を示す図である。図8の上段は、オフセット補償処理後であり、かつ、スポット光SLの受光位置変化前の状態を示す。図8の下段は、オフセット補償処理後であり、かつ、スポット光SLの受光位置変化後の状態を示す。
 図8に示す例では、スポット光SLの受光位置が変化して、画素3に近づき、画素1から遠くなっている。この場合、画素3の頻度値F3が大きくなり、画素1の頻度値F1が小さくなる。すなわち、ヒストグラムHにおける、画素3の頻度値F3の寄与度が大きくなり、画素1の頻度値F1の寄与度が小さくなる。
 生成されるヒストグラムHがピークとなるTDCコード(時刻)は、スポット光SLの受光位置の変化の前後で、ほぼ同じである。すなわち、スポット光SLの受光位置が変化しても、ヒストグラムHがピークとなるTDCコード、すなわち、測距装置23により計測される距離の値は、ほぼ変化しない。これは、オフセット補償処理により、画素1~4の頻度値F1~F4のそれぞれがピークとなるTDCコードが略一致しているためである。すなわち、いずれの画素の頻度値の寄与度が変化しても、生成されるヒストグラムHがピークとなるTDCコード(ピーク位置)がほぼ変化しない。
[キャリブレーションの詳細]
 図9は、第1実施形態に係るキャリブレーションの一例について説明するブロック図である。キャリブレーションは、例えば、出荷時に行われる。
 測距システム11は、図1及び図2には図示されないピーク検出部15、ピーク補正値演算部16、測距点補正記憶部17、加減算器18、及び、オフセット演算部19をさらに備える。ピーク検出部15、ピーク補正値演算部16、測距点補正記憶部17、加減算器18、及び、オフセット演算部19は、例えば、信号処理部74の外部に設けられる。
 ピーク検出部15は、ヒストグラム生成部132で生成されたヒストグラムがピークとなるTDCコードを検出する。ピーク検出部15は、距離演算部133であってもよい。
 ピーク補正値演算部16は、複数の画素群81G間の測距結果のばらつきを抑制するように、キャリブレーション補正値を演算する。キャリブレーションでは、或る一定の距離に対する測距動作を行い、画素面の面内で測距結果が略一定になるようにキャリブレーション補正値が演算される。キャリブレーション補正値は、画素群81Gごとに演算される。
 測距点補正記憶部17は、ピーク補正値演算部により演算されたキャリブレーション補正値を記憶する。キャリブレーション補正値は、例えば、出荷時において測距点補正記憶部17に記憶される。
 加減算器18は、実動作時、すなわち、測定対象の測距動作では、キャリブレーション補正処理を行う。加減算器18は、測距点補正記憶部17に記憶されたキャリブレーション補正値に基づいて、ピーク検出部15が検出したTDCコードに対して、キャリブレーション補正処理を行う。加減算器18は、例えば、TDCコードにキャリブレーション補正値を加減算することにより、補正処理を行う。
 オフセット演算部19は、画素81のそれぞれのTDCコードからオフセットを演算する。或る画素81のオフセットは、例えば、基準値と、或る画素81における頻度値がピークとなるTDCコードと、の差に基づいて決定される。基準値は、例えば、画素アレイ72の全画素における、TDCコードがピークとなるTDCコードの平均値、最小値、又は、最大値等である。また、オフセットは、画素アレイ72内の任意の画素81におけるTDCコードがピークとなるTDCコードの値であってもよい。
 オフセット記憶部134は、オフセット演算部19により演算された、画素81のそれぞれのオフセットを記憶する。オフセットは、例えば、キャリブレーションが行われるタイミング、すなわち、出荷時においてオフセット記憶部134に記憶される。
 図10Aは、第1実施形態に係る画素81の配置の一例を示す図である。図10Bは、第1実施形態に係るオフセット記憶部134に記憶されるオフセットの一例を示す図である。なお、図10A及び図10Bにおいて、画素81の位置は共通している。
 図10Bに示す例では、オフセット記憶部134は、全ての画素81に対応するオフセットを記憶する。複数の画素81のそれぞれは、対応する複数のオフセットにより、オフセット補償処理される。すなわち、オフセット補償部135は、画素81のそれぞれに対応するオフセットに基づいて、画素81ごとにオフセット補償処理を行う。これにより、全ての画素81に対して、より精度の高いオフセット補償処理を行うことができる。
[オフセット補償部の詳細]
 図11は、第1実施形態に係るオフセット補償部135の構成の一例を示すブロック図である。
 オフセット補償部135は、加減算器1351と、ディザ部1352と、丸め部1353と、を有する。以下では、一例として、画素X(例えば、X=1~4)のTDCコードが5であり、オフセット量が0.25である場合について説明する。TDC112が出力するTDCコードは、通常、整数である。オフセット量は、小数を含む場合がある。
 加減算器1351は、画素XのTDCコードと、画素Xのオフセット量と、を加減算する。加減算器1351は、例えば、4.75(5-0.25)を出力する。
 ディザ部1352は、ディザリングにより、オフセット補償処理されたTDCコードを表現する。加減算器1351から出力される値は、4.75のように、小数を含む場合がある。ヒストグラムのビンは、通常、整数であり、小数は含まれない。小数が適切に扱われない場合、ヒストグラムに偏りが生じてしまう可能性がある。
 ディザ部1352は、オフセットに応じて、乱数を生成する。
 丸め部1353は、生成した乱数に基づいて、所定の確率で整数(例えば、5及び4)のTDCコードを出力する。
 図12は、第1実施形態に係るオフセット補償部135によるオフセット量の表現の一例を示す図である。
 図12に示すように、丸め部1353は、例えば、5の補償済みTDCコードを75%の確率で出力し、4の補償済みTDCコードを25%の確率で出力させる。これにより、丸め部1353は、平均すると4.75になるように、5のTDCコード、及び、4のTDCコードを出力することができる。これにより、オフセットの小数部をより適切に表現することができる。
 以上のように、第1実施形態によれば、処理部130は、予め設定された補正パラメータに基づいて、TDC112が出力するTDCコード(カウント値)に対して、補正処理を行う。ヒストグラム生成部132は、補正処理されたTDCコードに基づいて、ヒストグラムを生成する。より詳細には、処理部130は、例えば、オフセット補償部135を有する。オフセット補償部135は、予め設定されたオフセットに基づいて、TDC112が出力するTDCコードに対して、オフセット補償処理を行う。これにより、スポット光SLの受光位置が変化することによる測距誤差を抑制することができる。
 また、オフセット補償処理は、画素81のそれぞれの頻度値に対して行われる。したがって、オフセット補償処理は、画素81の頻度値に対して処理可能なように、ヒストグラム生成部132によるヒストグラムの生成前に行われる。
 なお、オフセット記憶部134にオフセットが記憶されるタイミングは、必ずしもキャリブレーションのタイミングに限られず、他のタイミングであってもよい。
[比較例]
 図13は、比較例に係るスポット光SLの受光位置変化に対するヒストグラムの変化の一例を示す図である。比較例は、オフセット補償処理が行われない点で、第1実施形態とは異なっている。すなわち、比較例では、オフセット記憶部134及びオフセット補償部135は設けられない。
 図13の上段は、オフセット補償処理前であり、かつ、スポット光SLの受光位置変化前の状態を示す。図8の下段は、オフセット補償処理前であり、かつ、スポット光SLの受光位置変化後の状態を示す。
 図13の上段に示すように、オフセット補償処理が行われないため、画素1~4ごとに、頻度値F1~F4がピークとなるTDCコードが異なっている。
 図13の下段に示す例では、図8の下段と同様に、スポット光SLの受光位置が変化して、画素3に近づき、画素1から遠くなっている。したがって、ヒストグラムHにおける、画素3の頻度値F3の寄与度が大きくなり、画素1の頻度値F1の寄与度が小さくなる。これにより、生成されるヒストグラムHがピークとなるTDCコードが、スポット光SLの受光位置の変化前に対して、ずれてしまう。この結果、キャリブレーションが行われていても測距結果がずれてしまい、スポット光SLの受光位置のずれによる測距誤差が生じてしまう可能性がある。
 これに対して、第1実施形態では、ヒストグラムHの生成前に、画素1~4の頻度値F1~F4のそれぞれがピークになるTDCコード(ピーク位置)が略一致している。これにより、画素1~4の頻度値F1~F4のそれぞれの寄与度が変化しても、生成されるヒストグラムHがピークとなるTDCコードは略一定である。この結果、スポット光SLの受光位置が変化することよる測距誤差を抑制することができる。
<第1実施形態の第1変形例>
 図14は、第1実施形態の第1変形例に係る測距システム11の構成の一例を示すブロック図である。第1実施形態の第1変形例は、第1実施形態と比較して、オフセット記憶部134の配置が異なっている。
 オフセット記憶部(第2記憶部)134は、測距システム11内において、照明装置22及び測距装置23とは異なる位置に配置される。
 アプリケーションプロセッサ14は、測距システム11の外部から、照明装置22、測距装置23及びオフセット記憶部134に制御指令を送る。これにより、測距システム11が動作する。測距装置23は、オフセット補償処理を行うために、測距装置23の外部のオフセット記憶部134からオフセットを取得する。
 第1実施形態の第1変形例のように、オフセット記憶部134の配置が変更されてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
<第1実施形態の第2変形例>
 図15は、第1実施形態の第2変形例に係る測距システム11の構成の一例を示すブロック図である。第1実施形態の第2変形例は、第1実施形態と比較して、オフセット記憶部134の配置が異なっている。
 オフセット記憶部134は、照明装置22内に配置される。すなわち、照明装置22は、オフセット記憶部(第3記憶部)134を有する。測距装置23は、オフセット補償処理を行うために、測距装置23の外部のオフセット記憶部134からオフセットを取得する。
 第1実施形態の第2変形例のように、オフセット記憶部134の配置が変更されてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
<第1実施形態の第3変形例>
 図16は、第1実施形態の第3変形例に係る測距システム11の構成の一例を示すブロック図である。第1実施形態の第3変形例は、第1実施形態と比較して、オフセット記憶部134の配置が異なっている。
 オフセット記憶部134は、アプリケーションプロセッサ14内に配置される。すなわち、アプリケーションプロセッサ14は、オフセット記憶部134を有する。アプリケーションプロセッサ14は、オフセット記憶部134に記憶されたオフセット量を測距装置23に送る。これにより、測距装置23は、オフセット補償処理を行う。
 第1実施形態の第3変形例のように、オフセット記憶部134の配置が変更されてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
<第1実施形態の第4変形例>
 図17Aは、第1実施形態の第4変形例に係る画素81の配置の一例を示す図である。図17Bは、第1実施形態の第4変形例に係るオフセット記憶部134に記憶されるオフセットの一例を示す図である。第1実施形態の第4変形例は、第1実施形態と比較して、オフセットの記憶方法が異なる。
 図17Bに示す例では、オフセット記憶部134は、画素群81Gのうち1つの画素81(SPAD1)のオフセットを記憶する。画素群81Gに含まれる他の画素81には、1つの画素81(SPAD1)のオフセット(オフセット1)が適用される。複数の画素81は、画素群81G単位でオフセット補償処理される。すなわち、オフセット補償部135は、複数の画素81を有する画素群81Gに含まれる1つの画素81に対応するオフセットに基づいて、画素群81Gごとにオフセット補償処理を行う。これにより、オフセットの必要な記憶容量を抑制することができる。
 第1実施形態の第4変形例のように、オフセットの記憶方法が変更されてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
<第1実施形態の第5変形例>
 図18は、第1実施形態の第5変形例に係るオフセット補償部135の構成の一例を示すブロック図である。第1実施形態の第5変形例は、第1実施形態と比較して、オフセット補償処理の方法が異なっている。
 オフセット補償部135は、整数小数分離部1354、加減算器1355、加減算器1356、及び、カウントアップ量デコーダ1357を有する。以下では、一例として、画素X(例えば、X=1~4)のTDCコードが5であり、オフセット量が0.25である場合について説明する。
 整数小数分離部1354は、オフセット量の整数部と小数部とを分離する。整数小数分離部1354は、オフセット量の整数部を加減算器1355に出力し、オフセット量の小数部をカウントアップ量デコーダ1357に出力する。整数小数分離部1354は、例えば、整数部である5を加減算器1355に出力し、小数部である0.25をカウントアップ量デコーダに出力する。
 加減算器1355は、画素XのTDCコードと、画素Xのオフセット量の整数部と、を加減算する。加減算器1355は、例えば、5(5-0)を出力する。
 加減算器1356は、加減算器1356の出力に1を減算して出力する。加減算器1356は、例えば、4(5-1)を出力する。
 したがって、画素Xから入力されるTDCコードである5に対して、補償済みTDCコードは、4及び5である。
 カウントアップ量デコーダ1357は、オフセット量の小数部に基づいて、各コードのカウントアップ量を出力する。
 図19は、第1実施形態の第5変形例に係るオフセット補償部135によるオフセット量の表現の一例を示す図である。
 図19に示すように、カウントアップ量デコーダ1357は、例えば、4の補償済みTDCコード(4ビン目)に1のカウントアップ量を出力し、5の補償済みTDCコード(5ビン目)に3のカウントアップ量を出力する。図18及び図19に示す例では、TDC112からのTDCコードの1回の入力に対して、4回のカウントアップが行われる。この場合、1回のカウントアップにおける補償済みTDCコードの平均値は、4.75である。このように、オフセットされたTDCコードである4.75(5-0.25)を表現することができる。カウントアップ量がヒストグラム生成部132に入力されることにより、オフセット量の小数部を考慮したヒストグラム生成が行われる。
 第1実施形態の第5変形例のように、オフセット補償処理の方法が変更されてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
<第2実施形態>
 図20は、第2実施形態に係る受光装置42の基本構成の一例を示すブロック図である。第2実施形態は、TDCコードの頻度値に対して、重み処理が行われる点で、第1実施形態とは異なっている。
 信号処理部74は、反応信号入力部171、反応回数計測部172、重み決定部173、及び、複数の重み処理部174をさらに有する。
 図20の受光装置42は、画素ごとの重みを決定するための反射光を受光する第1受光処理と、決定された重みを用いて測定対象までの距離を測定するための反射光を受光する第2受光処理との2段階の受光処理を行う。
 TDC112は、第1受光処理において、画素81への光子の入射に応じてSPAD101が反応したことを示す反応信号を、反応信号入力部171に出力する。ここで、光子の入射に応じたSPAD101の反応とは、読み出し回路102からHiの検出信号PFoutが出力されたこと、さらに言えば、SPAD101において光子の入射に応じてアバランシェ増倍が発生したことを表す。
 また、TDC112は、第2受光処理において、照明装置22の光源32が発光してからSPAD101に光子が入射された入射タイミングまでの時間をカウントし、そのカウント結果であるTDCコードを、対応する重み処理部174に出力する。重み処理部174は、TDC112に対して、1対1に設けられている。
 第2受光処理において反応信号入力部171に出力されるTDCコードは、照明装置22の光源32が発光してからSPAD101に光子が入射された入射タイミングまでの時間情報をもつ。
 反応信号入力部171の入力段には、複数のTDC112が接続され、反応信号入力部171の出力段には、1つの反応回数計測部172が接続されている。反応信号入力部171は、複数のTDC112のいずれかから出力されたTDCコードを、反応回数計測部172に入力する。すなわち、後段の反応回数計測部172は、ヒストグラム生成部132と同じ画素群81G単位で設けられている。反応信号入力部171は、反応回数計測部172が担当する画素群81Gに属する複数の画素81に対応する複数のTDC112のいずれかから、TDCコードが出力された場合に、そのTDCコードを、反応回数計測部172に入力させる。なお、TDC112は、TDCコードから時間情報を持たない反応信号(反応回数)を直接演算し、反応回数計測部172に出力してもよい。この場合、反応信号入力部171は、設けられなくてもよい。
 反応回数計測部172は、反応信号入力部171から供給される反応信号に基づいて、画素群81Gに属する各画素81の反応回数を計測する。すなわち、反応回数計測部172は、画素群81Gに属する各画素81において、SPAD102が反応した反応回数を計測し、計測結果を重み決定部173に供給する。
 重み決定部173は、反応回数計測部172から供給される、画素群81Gに属する各画素81の反応回数に基づいて、画素群81Gに属する各画素81の重みを決定する。
 重み決定部173は、画素群81Gに属する各画素81について決定した重みを、その画素81のTDCコードが入力される重み処理部174に供給する。なお、重み決定部173の詳細については、図21を参照して、後で説明する。
 重み処理部174は、第2受光処理において、TDC112から供給されるTDCコードに対して、重み決定部173から供給される重みに対応する処理を施して、TDCコード入力部131に供給する。
 具体的には、重み処理部174は、重み決定部173から供給される重みに応じて、、TDC112から供給されるTDCコードを、重みに対応する回数だけ、TDCコード入力部131に出力する。
 重み処理部174は、複数の画素81のそれぞれに対する反応回数計測部172の反応回数計測結果と、予め設定された反応回数と、に基づいて、TDC112が出力するTDCコードの頻度値に対して、重み処理を行う。なお、重み処理の詳細については、図21を参照して、後で説明する。
 このように、重み決定部173で決定される重みは、TDCコード入力部131を介してヒストグラム生成部132に供給されるTDCコードの回数を増減するので、画素81ごとの頻度値を増減させる。
 ヒストグラム生成部132は、第1実施形態と同様に、ヒストグラムを生成し、距離演算部133に供給する。ただし、ヒストグラム生成部132には、重み処理部174によって、重みに応じた回数のTDCコードが供給される。これにより、画素81ごとに重み処理されたTDCコードが供給される。したがって、ヒストグラム生成部132は、重み処理された頻度値に基づいて、ヒストグラムを生成する。
[重み処理]
 図21は、第2実施形態に係る重み処理部174による重み処理の一例を示す図である。図21では、簡略化のため、2つの画素81について説明する。
 図21に示す例では、キャリブレーション(零点補正時)において、画素1の頻度値は、3のTDCコードでピークを示す。画素2の頻度値は、4のTDCコードでピークを示す。すなわち、図6を参照して説明したように、画素1、2ごとに、頻度値がピークとなるTDCコードが異なっている。画素1及び画素2の頻度値が合算されて生成されたヒストグラムの頻度値は、3のTDCコードでピークを示す。これは、頻度値が3のTDCコードでピークを示す画素1の寄与度が、頻度値が4のTDCコードでピークを示す画素2の寄与度よりも大きいためである。
 ここで、実動作時において、スポット光SLの受光位置にずれが生じると、画素1、2の寄与度が変化する。図21に示す例では、画素1の寄与度が小さくなり、画素2の寄与度が大きくなっている。この場合、生成されたヒストグラムの頻度値は、画素2の寄与を大きく受けて、4のTDCコードでピークを示す。この結果、測距結果がずれてしまい、スポット光SLの受光位置のずれによる測距誤差が生じてしまう可能性がある。
 そこで、重み処理部174は、画素1、2のそれぞれの寄与度の比率(重み)が、キャリブレーション時(零点補正時)の状態を維持するように、画素1及び画素2から出力されるTDCコードの頻度値に対して、重み処理を行う。すなわち、重み処理部174は、複数の画素81の間の反応回数計測結果の比率が、所定比率になるように、頻度値に対して、重み処理を行う。所定比率は、複数の画素81の間の予め設定された反応回数の比率であり、より詳細には、キャリブレーションにおける複数の画素81間の反応回数の比率である。これにより、スポット光SLの受光位置のずれによる測距誤差を抑制することができる。
 なお、画素81のそれぞれの寄与度の比率を知るためには、複数回(例えば、数千乃至数万回)の反応を全て計測する必要がある。例えば、或る受光処理で得られた反応回数(重み処理のパラメータ)は、次の受光処理で得られたTDCコードの重み処理に用いられる。すなわち、重み処理部174は、第1受光処理の後に実行される第2受光処理において、第1受光処理における反応回数計測結果に基づいて、第2受光処理における頻度値に対して、重み処理を行う。
 スポット光SLの受光位置のずれは、例えば、経年変化、及び、物理的な衝撃を受けた際に生じる。画素81のそれぞれの反応回数(寄与度の比率)は、通常、1回の受光処理ごとに大きくは変化しない。したがって、重み処理のパラメータを決定するための第1受光処理と、重み処理を行う第2受光処理と、が異なることにより生じ得る測距誤差は小さい。
[キャリブレーションの詳細]
 図22は、第2実施形態に係るキャリブレーションの一例を示すブロック図である。
 キャリブレーションの動作は、図9を参照して説明した、第1実施形態におけるキャリブレーションの動作と同じである。
 第2実施形態では、反応回数記憶部1731(図23を参照)は、キャリブレーション時に反応回数計測部172から出力された、画素81のそれぞれの反応回数を記憶する。反応回数は、例えば、出荷時において、反応回数記憶部1731に記憶される。
[実動作の詳細]
 図23は、第2実施形態に係る重み決定部173、重み処理部174及びその周辺の構成の一例を示すブロック図である。
 反応回数計測部172は、例えば、それぞれの画素81に対して、TDC112からTDCコードを積分し、合計の反応回数を計測する。
 重み決定部173は、反応回数記憶部1731と、反応回数正規化部1732と、加減算器1733と、
 反応回数記憶部1731は、上記のように、測距装置23の基準受光処理である、キャリブレーション時(零点補正時)における反応回数を記憶する。
 反応回数正規化部1732は、第1受光処理において、反応回数計測部172から、全ての反応の反応回数を取得する。反応回数正規化部1732は、第1受光処理において、反応回数記憶部1731に記憶された反応回数と、反応回数計測部172から出力される反応回数計測結果と、の比率を演算し、重み処理のパラメータを決定する。これにより、キャリブレーション時における画素81間の頻度値の寄与度の比率維持するように、重み処理のパラメータを決定することができる。
 加減算器1733は、第2受光処理において、反応回数計測部172から出力される反応回数計測結果、及び、反応回数正規化部1732が決定する重み処理のパラメータを加減算し、重みを出力する。
 重み処理部174は、乗算器を有する。重み処理部174は、例えば、TDCコードの頻度値に対して、重み決定部173で決定された重みを乗算することにより、TDCコードの出力回数を制御するように、重み処理を行う。
 反応回数計測部172、重み決定部173、及び、重み処理部174は、上記の処理を、画素81ごとに行う。すなわち、重み処理部174は、基準受光処理(キャリブレーション)の後に行われる受光処理(実動作)において、複数の画素81の間の反応回数計測結果の比率が、キャリブレーションにおける複数の画素81の間の反応回数計測結果の比率と同じになるように、TDCコードの頻度値に対して、重み処理を行う。
 以上のように、第2実施形態によれば、処理部130は、予め設定された補正パラメータに基づいて、TDC112が出力するTDCコード(カウント値)に対して、補正処理を行う。より詳細には、処理部130は、例えば、反応回数計測部172、重み決定部173、及び、重み処理部174を有する。重み処理部174は、複数の画素81のそれぞれに対する反応回数計測部172の反応回数計測結果と、予め設定された反応回数と、に基づいて、TDC112が出力するTDCコードの頻度値に対して、重み処理を行う。これにより、スポット光SLの受光位置のずれによる測距誤差を抑制することができる。
 第2実施形態のように、TDCコードの頻度値に対して、重み処理が行われてもよい。この場合にも、第1実施形態と同様の効果を得ることができる。
 また、第2実施形態では、反応回数記憶部1731は、測距装置23内に配置されている。しかし、これに限られず、反応回数記憶部1731の配置は、第1実施形態の第1変形例~第3変形例におけるオフセット記憶部134と同様に、変更されてもよい。
<第2実施形態の第1変形例>
 図24は、第2実施形態の第1変形例に係る受光装置42の基本構成の一例を示すブロック図である。第2実施形態の第1変形例は、重みを決定する第1受光処理と、重み処理を行う第2受光処理が同じである点で、第2実施形態とは異なっている。
 信号処理部74は、記憶制御部175をさらに有する。
 記憶制御部175は、TDCコード記憶部1751を有する。記憶制御部175は、TDC112から出力されるTDCコードをTDCコード記憶部(カウント値記憶部)1751に記憶させる。
 重み処理部174は、或る受光処理(第3受光処理)において、或る受光処理における反応回数計測結果に基づいて、TDCコード記憶部1751に記憶された、或る受光処理におけるTDCコードの頻度値に対して、重み処理を行う。これにより、重み処理のパラメータを決定する受光処理と、重み処理を行う受光処理と、を同じにすることができる。また、1回の受光処理で重み処理を行うことができる。
 第2実施形態の第1変形例のように、重みを決定する第1受光処理と、重み処理を行う第2受光処理が同じであってよい。この場合にも、第2実施形態と同様の効果を得ることができる。
<第2実施形態の第2変形例>
 図25は、第2実施形態の第2変形例に係るキャリブレーションの一例を示すブロック図である。第2実施形態の第2変形例は、キャリブレーション時に重み処理が行われる点で、第2実施形態とは異なっている。
 図25に示す例では、反応回数記憶部1731が設けられていない。
 重み決定部173は、第1所定比率となるように、重み処理のパラメータを決定する。第1所定比率は、例えば、1:1:1:1である。
 重み処理部174は、基準受光処理(キャリブレーション)において、複数の画素81の間の反応回数計測結果の比率が、第1所定比率になるように、TDCコードの頻度値に対して、重み処理を行う。
 この場合、画素81の反応回数の比率が1:1:1:1の状態でヒストグラムが生成される。また、キャリブレーション処理も、画素81の反応回数の比率が1:1:1:1の状態で行われる。
 図26は、第2実施形態の第2変形例に係る重み決定部173、重み処理部174及びその周辺の構成の一例を示すブロック図である。
 重み決定部173は、第1受光処理において、画素81のそれぞれの反応回数計測結果が、予め設定された第1所定比率(1:1:1:1)となるように、重み処理のパラメータを決定する。
 重み処理部174は、複数の画素81のそれぞれに対する反応回数計測部172の反応回数計測結果と、複数の画素81の間の予め設定された反応回数の所定比率と、基づいて、TDC112が出力するTDCコードの頻度値に対して、重み処理を行う。
 重み処理部174は、第1受光処理の後に行われる受光処理において、複数の画素81の間の反応回数計測結果の比率が、第1所定比率になるように、TDCコードの頻度値に対して、重み処理を行う。重み決定部173は、キャリブレーション及び実動作の両方において、画素81の反応回数の比率が第1所定比率となるように、重み処理のパラメータを決定する。すなわち、重み処理のターゲット比率がキャリブレーション時のターゲット比率と同じであるため、キャリブレーション時における反応回数の計測結果を記憶する必要がない。これにより、第2実施形態と比較して、反応回数記憶部1731を設ける必要がない。
 第2実施形態の第2変形例のように、キャリブレーションにおいても重み処理が行われてもよい。この場合にも、第2実施形態と同様の効果を得ることができる。
<第2実施形態の第3変形例>
 図27は、第2実施形態の第3変形例に係る重み決定部173、重み処理部174及びその周辺の構成の一例を示すブロック図である。第2実施形態の第3変形例は、反応回数に基づいて異常検知が行われる点で、第2実施形態とは異なっている。
 信号処理部74は、判定部176、及び、報知部177をさらに有する。
 判定部176は、反応回数計測部172の計測結果が、所定範囲を超えるか否かを判定する。例えば、図27に示す画素3の反応回数が少なすぎる、又は、多すぎる場合、画素81に何らかの異常が発生している等により、画素81の反応の信頼性が低くなっている可能性がある。
 報知部177は、判定結果を報知する。図27に示す例では、報知部177は、画素3から得られた反応の信頼度が低いことを報知する。これにより、ユーザに再度のキャリブレーションを促す、又は、ユーザに故障を知らせることができる。
 第2実施形態の第3変形例のように、反応回数に基づいて異常検知が行われてもよい。この場合にも、第2実施形態と同様の効果を得ることができる。
<測距システムの使用例>
 本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の測距装置23は、レンズ41及び受光装置42がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ41と受光装置42とが別に構成され、受光装置42のみをワンチップとして構成してもよい。
 図28は、上述の測距システム11又は測距装置23の使用例を示す図である。
 上述した測距システム11は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
 ・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
 ・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
 ・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
 ・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
 ・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
 ・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
 ・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
 ・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
 <移動体への応用例>
 本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図29は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図29に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図29の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図30は、撮像部12031の設置位置の例を示す図である。
 図30では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
 撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図30には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031,12101,12102,12103,12104,12105等に適用され得る。具体的には、これらの撮像部に対して、例えば、図1の測距システム11を適用することができる。撮像部12031,12101,12102,12103,12104,12105は、例えばLIDARであり、車両12100の周囲の物体及び物体までの距離の検出に用いられる。そして、本開示に係る技術を適用することにより、車両12100の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 なお、本技術は以下のような構成を取ることができる。
 (1)
 光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
 を備える、測距装置。
 (2)
 前記処理部は、予め設定された前記カウント値のオフセットに基づいて、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行う補償部を有し、
 前記ヒストグラム生成部は、オフセット補償処理された前記カウント値に基づいて、前記ヒストグラムを生成する、(1)に記載の測距装置。
 (3)
 前記補償部は、前記カウント値の頻度値が最大になる前記カウント値が、複数の前記画素の間で同じになるように、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行う、(2)に記載の測距装置。
 (4)
 前記補償部は、前記画素のそれぞれに対応する前記オフセットに基づいて、前記画素ごとにオフセット補償処理を行う、(2)又は(3)に記載の測距装置。
 (5)
 前記補償部は、複数の前記画素を有する画素群に含まれる1つの前記画素に対応する前記オフセットに基づいて、前記画素群ごとにオフセット補償処理を行う、(2)又は(3)に記載の測距装置。
 (6)
 前記処理部は、
 前記画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
 複数の前記画素のそれぞれに対する前記計測部の反応回数計測結果と、予め設定された前記反応回数、又は、複数の前記画素の間の予め設定された前記反応回数の所定比率と、基づいて、前記時間カウント部が出力する前記カウント値の頻度値に対して、重み処理を行う重み処理部と、
 を有し、
 前記ヒストグラム生成部は、重み処理された前記頻度値に基づいて、前記ヒストグラムを生成する、(1)に記載の測距装置。
 (7)
 前記重み処理部は、複数の前記画素の間の前記反応回数計測結果の比率が、前記所定比率になるように、前記頻度値に対して、重み処理を行う、(6)に記載の測距装置。
 (8)
 前記重み処理部は、基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記基準受光処理における複数の前記画素の間の前記反応回数計測結果の比率と同じになるように、前記頻度値に対して、重み処理を行う、(7)に記載の測距装置。
 (9)
 前記重み処理部は、
 基準受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、第1所定比率になるように、前記頻度値に対して、重み処理を行い、
 前記基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記第1所定比率になるように、前記頻度値に対して、重み処理を行う、(7)に記載の測距装置。
 (10)
 前記基準受光処理は、前記測距装置のキャリブレーションである、(8)又は(9)に記載の測距装置。
 (11)
 前記重み処理部は、第1受光処理の後に実行される第2受光処理において、前記第1受光処理における前記反応回数計測結果に基づいて、前記第2受光処理における前記頻度値に対して、重み処理を行う、(6)乃至(10)のいずれか一項に記載の測距装置。
 (12)
 前記時間カウント部から出力される前記カウント値をカウント値記憶部に記憶させる記憶制御部をさらに備え、
 前記重み処理部は、第3受光処理において、前記第3受光処理における前記反応回数計測結果に基づいて、前記カウント値記憶部に記憶された、前記第3受光処理における前記頻度値に対して、重み処理を行う、(6)乃至(10)のいずれか一項に記載の測距装置。
 (13)
 前記反応回数計測結果が所定範囲内であるか否かを判定する判定部をさらに備える、(6)乃至(12)のいずれか一項に記載の測距装置。
 (14)
 前記時間カウント部は、画素ごとに、前記光源が発光してから前記入射タイミングまでの時間をカウントする、(1)乃至(13)のいずれか一項に記載の測距装置。
 (15)
 前記補正パラメータを記憶する第1記憶部をさらに備え、
 前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、(1)乃至(14)のいずれか一項に記載の測距装置。
 (16)
 光源を有する照明装置と、
 前記光源からの光が物体に反射された反射光を受光する測距装置と、
 を備え、
 前記測距装置は、
 前記光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
 を備える、測距システム。
 (17)
 前記測距装置は、前記補正パラメータを記憶する第1記憶部をさらに備え、
 前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、(16)に記載の測距システム。
 (18)
 前記照明装置及び前記測距装置が配置された位置とは異なる位置に配置され、前記補正パラメータを記憶する第2記憶部をさらに備え、
 前記処理部は、前記第2記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、(16)に記載の測距システム。
 (19)
 前記照明装置は、前記補正パラメータを格納する第3記憶部をさらに備え、
 前記処理部は、前記第3記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、(16)に記載の測距システム。
 (20)
 光源が発光してから、画素に光子が入射される入射タイミングまでの時間を時間カウント部によりカウントし、
 予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を処理部により行い、
 前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムをヒストグラム生成部により生成する、
 ことを具備する、測距方法。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
11 測距システム、22 照明装置、23 測距装置、81 画素、81G 画素群、112 TDC、130 処理部、132 ヒストグラム生成部、134 オフセット記憶部、135 オフセット補償部、172 反応回数計測部、173 重み決定部、1731 反応回数記憶部、174 重み処理部、175 記憶制御部、1751 TDCコード記憶部、176 判定部、177 報知部、F1~F4 頻度値、H ヒストグラム

Claims (20)

  1.  光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
     予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
     前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
     を備える、測距装置。
  2.  前記処理部は、予め設定された前記カウント値のオフセットに基づいて、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行う補償部を有し、
     前記ヒストグラム生成部は、オフセット補償処理された前記カウント値に基づいて、前記ヒストグラムを生成する、請求項1に記載の測距装置。
  3.  前記補償部は、前記カウント値の頻度値が最大になる前記カウント値が、複数の前記画素の間で同じになるように、前記時間カウント部が出力する前記カウント値に対して、オフセット補償処理を行う、請求項2に記載の測距装置。
  4.  前記補償部は、前記画素のそれぞれに対応する前記オフセットに基づいて、前記画素ごとにオフセット補償処理を行う、請求項2に記載の測距装置。
  5.  前記補償部は、複数の前記画素を有する画素群に含まれる1つの前記画素に対応する前記オフセットに基づいて、前記画素群ごとにオフセット補償処理を行う、請求項2に記載の測距装置。
  6.  前記処理部は、
     前記画素への光子の入射に応じて受光素子が反応した反応回数を計測する計測部と、
     複数の前記画素のそれぞれに対する前記計測部の反応回数計測結果と、予め設定された前記反応回数、又は、複数の前記画素の間の予め設定された前記反応回数の所定比率と、基づいて、前記時間カウント部が出力する前記カウント値の頻度値に対して、重み処理を行う重み処理部と、
     を有し、
     前記ヒストグラム生成部は、重み処理された前記頻度値に基づいて、前記ヒストグラムを生成する、請求項1に記載の測距装置。
  7.  前記重み処理部は、複数の前記画素の間の前記反応回数計測結果の比率が、前記所定比率になるように、前記頻度値に対して、重み処理を行う、請求項6に記載の測距装置。
  8.  前記重み処理部は、基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記基準受光処理における複数の前記画素の間の前記反応回数計測結果の比率と同じになるように、前記頻度値に対して、重み処理を行う、請求項7に記載の測距装置。
  9.  前記重み処理部は、
     基準受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、第1所定比率になるように、前記頻度値に対して、重み処理を行い、
     前記基準受光処理の後に行われる受光処理において、複数の前記画素の間の前記反応回数計測結果の比率が、前記第1所定比率になるように、前記頻度値に対して、重み処理を行う、請求項7に記載の測距装置。
  10.  前記基準受光処理は、前記測距装置のキャリブレーションである、請求項8に記載の測距装置。
  11.  前記重み処理部は、第1受光処理の後に実行される第2受光処理において、前記第1受光処理における前記反応回数計測結果に基づいて、前記第2受光処理における前記頻度値に対して、重み処理を行う、請求項6に記載の測距装置。
  12.  前記時間カウント部から出力される前記カウント値をカウント値記憶部に記憶させる記憶制御部をさらに備え、
     前記重み処理部は、第3受光処理において、前記第3受光処理における前記反応回数計測結果に基づいて、前記カウント値記憶部に記憶された、前記第3受光処理における前記頻度値に対して、重み処理を行う、請求項6に記載の測距装置。
  13.  前記反応回数計測結果が所定範囲内であるか否かを判定する判定部をさらに備える、請求項6に記載の測距装置。
  14.  前記時間カウント部は、画素ごとに、前記光源が発光してから前記入射タイミングまでの時間をカウントする、請求項1に記載の測距装置。
  15.  前記補正パラメータを記憶する第1記憶部をさらに備え、
     前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、請求項1に記載の測距装置。
  16.  光源を有する照明装置と、
     前記光源からの光が物体に反射された反射光を受光する測距装置と、
     を備え、
     前記測距装置は、
     前記光源が発光してから、画素に光子が入射される入射タイミングまでの時間をカウントする時間カウント部と、
     予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を行う処理部と、
     前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムを生成するヒストグラム生成部と、
     を備える、測距システム。
  17.  前記測距装置は、前記補正パラメータを記憶する第1記憶部をさらに備え、
     前記処理部は、前記第1記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、請求項16に記載の測距システム。
  18.  前記照明装置及び前記測距装置が配置された位置とは異なる位置に配置され、前記補正パラメータを記憶する第2記憶部をさらに備え、
     前記処理部は、前記第2記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、請求項16に記載の測距システム。
  19.  前記照明装置は、前記補正パラメータを格納する第3記憶部をさらに備え、
     前記処理部は、前記第3記憶部に記憶された前記補正パラメータに基づいて、補正処理を行う、請求項16に記載の測距システム。
  20.  光源が発光してから、画素に光子が入射される入射タイミングまでの時間を時間カウント部によりカウントし、
     予め設定された補正パラメータに基づいて、前記時間カウント部が出力するカウント値に対して、補正処理を処理部により行い、
     前記処理部により補正処理された前記カウント値に基づいて、ヒストグラムをヒストグラム生成部により生成する、
     ことを具備する、測距方法。
PCT/JP2022/039209 2021-11-15 2022-10-21 測距装置、測距システム及び測距方法 WO2023085040A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-185866 2021-11-15
JP2021185866 2021-11-15

Publications (1)

Publication Number Publication Date
WO2023085040A1 true WO2023085040A1 (ja) 2023-05-19

Family

ID=86335710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039209 WO2023085040A1 (ja) 2021-11-15 2022-10-21 測距装置、測距システム及び測距方法

Country Status (1)

Country Link
WO (1) WO2023085040A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018179974A (ja) * 2017-04-10 2018-11-15 株式会社デンソー 光計測装置
JP2021067534A (ja) * 2019-10-21 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 測距装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018179974A (ja) * 2017-04-10 2018-11-15 株式会社デンソー 光計測装置
JP2021067534A (ja) * 2019-10-21 2021-04-30 ソニーセミコンダクタソリューションズ株式会社 測距装置

Similar Documents

Publication Publication Date Title
US11940536B2 (en) Light receiving element and ranging system
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
CN112673622B (zh) 光接收元件和测距系统
WO2020162129A1 (ja) 光源装置および電子機器
WO2020045125A1 (ja) 受光素子および測距システム
WO2020153261A1 (ja) 受光装置および測距装置
WO2020158401A1 (ja) 受光装置および測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
CN115023625A (zh) 光接收装置和光接收电路
US20210325244A1 (en) Light receiving element and ranging system
US20220128690A1 (en) Light receiving device, histogram generating method, and distance measuring system
US20220268942A1 (en) Light receiving device and method for driving light receiving device
US20220146646A1 (en) Light receiving apparatus, ranging apparatus, and light emission control method
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
WO2023085040A1 (ja) 測距装置、測距システム及び測距方法
US11997407B2 (en) Photodetection device
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2021261079A1 (ja) 光検出装置および測距システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892540

Country of ref document: EP

Kind code of ref document: A1