WO2022244322A1 - 光検出装置および光検出システム - Google Patents

光検出装置および光検出システム Download PDF

Info

Publication number
WO2022244322A1
WO2022244322A1 PCT/JP2022/004041 JP2022004041W WO2022244322A1 WO 2022244322 A1 WO2022244322 A1 WO 2022244322A1 JP 2022004041 W JP2022004041 W JP 2022004041W WO 2022244322 A1 WO2022244322 A1 WO 2022244322A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
histogram
correction processing
unit
light receiving
Prior art date
Application number
PCT/JP2022/004041
Other languages
English (en)
French (fr)
Inventor
敬弘 猪田
晋 松本
直紀 渡辺
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022244322A1 publication Critical patent/WO2022244322A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to a photodetection device and a photodetection system that detect light.
  • Non-Patent Document 1 discloses a technique of performing correction processing so as to remove the influence of measurement errors based on a histogram of detection timings of light detection.
  • a photodetector includes a light receiving circuit, a conversion circuit, a histogram generation circuit, a correction processing circuit, and a calculation circuit.
  • the light-receiving circuit includes a light-receiving element, and is configured to be able to detect light pulses reflected by a detection target among the light pulses emitted from the light-emitting unit.
  • the conversion circuit is configured to be capable of calculating a digital value according to the light receiving timing of the light receiving circuit.
  • a histogram generation circuit is configured to be able to generate a first histogram based on the digital values.
  • the correction processing circuit is configured to be capable of generating a second histogram by performing correction processing on the first histogram using the asymmetrical light receiving characteristics of the light receiving element in the time axis direction.
  • the calculation circuit is configured to be able to calculate a representative value of light reception timing based on the second histogram.
  • a photodetection system includes a light emitter and a photodetector.
  • the light emitting unit is configured to be capable of emitting light pulses.
  • the photodetector includes a light receiving circuit, a conversion circuit, a histogram generation circuit, a correction processing circuit, and a calculation circuit.
  • the light-receiving circuit includes a light-receiving element, and is configured to be able to detect light pulses reflected by a detection target among the light pulses emitted from the light-emitting unit.
  • the conversion circuit is configured to be capable of calculating a digital value according to the light receiving timing of the light receiving circuit.
  • a histogram generation circuit is configured to be able to generate a first histogram based on the digital values.
  • the correction processing circuit is configured to be capable of generating a second histogram by performing correction processing on the first histogram using the asymmetrical light receiving characteristics of the light receiving element in the time axis direction.
  • the calculation circuit is configured to be able to calculate a representative value of light reception timing based on the second histogram.
  • the light receiving circuit detects the light pulse reflected by the detection target from among the light pulses emitted from the light emitting unit, and the conversion circuit detects the light pulse.
  • a digital value is calculated according to the light receiving timing in the circuit.
  • a histogram generation circuit generates a first histogram based on the digital values.
  • the second histogram is generated by the correction processing circuit performing correction processing on the first histogram using the asymmetrical light receiving characteristics in the time axis direction of the light receiving elements of the light receiving circuit. Then, the calculation circuit calculates the representative value of the light receiving timing from the second histogram.
  • FIG. 1 is a block diagram showing a configuration example of a photodetection system according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing a configuration example of a photodetector shown in FIG. 1
  • FIG. 3 is a circuit diagram showing a configuration example of a light receiving unit shown in FIG. 2
  • FIG. 3 is a circuit diagram showing another configuration example of the light receiving unit shown in FIG. 2
  • FIG. 3 is an explanatory diagram showing an example of a histogram input to the correction processing unit shown in FIG. 2
  • FIG. 3 is another explanatory diagram showing an example of a histogram input to the correction processing unit shown in FIG. 2
  • FIG. 3 is another explanatory diagram showing an example of a histogram input to the correction processing unit shown in FIG. 2
  • FIG. 3 is another explanatory diagram showing an example of a histogram input to the correction processing unit shown in FIG.
  • FIG. 3 is a block diagram showing a configuration example of a correction processing unit shown in FIG. 2;
  • FIG. 5 is an explanatory diagram showing an example of characteristics of timing jitter;
  • FIG. 4 is an explanatory diagram showing one characteristic example of differential nonlinearity;
  • FIG. 9 is another explanatory diagram showing an example of differential nonlinearity characteristics;
  • FIG. 4 is an explanatory diagram showing a convolution operation of a distribution function of timing jitter and a distribution function of differential nonlinearity;
  • 3 is a flow chart showing an operation example of a correction processing unit and a distance calculation unit shown in FIG. 2;
  • FIG. 5 is an explanatory diagram showing an example of characteristics of timing jitter;
  • FIG. 4 is an explanatory diagram showing one characteristic example of differential nonlinearity;
  • FIG. 9 is another explanatory diagram showing an example of differential nonlinearity characteristics;
  • FIG. 4 is an explanatory diagram showing a convolution operation of a distribution function of timing jitter and
  • FIG. 4 is an explanatory diagram showing an example of a histogram
  • 3 is an explanatory diagram showing an example of calculation results of a correction processing unit shown in FIG. 2
  • FIG. FIG. 5 is a characteristic diagram showing one characteristic example of precision of a distance value
  • FIG. 11 is a characteristic diagram showing one characteristic example of the deviation probability of the distance value
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of an installation position of an imaging unit;
  • FIG. 1 shows a configuration example of a photodetection system (photodetection system 1) according to an embodiment.
  • the light detection system 1 is a ToF sensor, and is configured to emit light to a detection target and detect reflected light reflected by the detection target.
  • the photodetection system 1 includes a light emitter 11 , an optical system 12 , a photodetector 20 and a controller 14 .
  • the light emitting unit 11 is configured to emit a light pulse L0 toward a detection target based on an instruction from the control unit 14.
  • the light emitting unit 11 emits light pulses L0 by performing a light emitting operation in which light emission and non-light emission are alternately repeated based on an instruction from the control unit 14 .
  • the light emitting unit 11 has a light source that emits infrared light, for example. This light source is configured using, for example, a laser light source.
  • the optical system 12 includes a lens that forms an image on the light receiving surface S of the photodetector 20 .
  • a light pulse (reflected light pulse L1) emitted from the light emitting unit 11 and reflected by the object to be detected is incident on the optical system 12 .
  • the photodetector 20 is configured to detect the reflected light pulse L1 based on an instruction from the controller 14 . Then, the photodetector 20 generates a distance image based on the detection result, and outputs image data of the generated distance image as data DT.
  • the control unit 14 is configured to control the operation of the photodetection system 1 by supplying control signals to the light emission unit 11 and the photodetection unit 20 and controlling their operations.
  • the photodetection system 1 generates a histogram of ToF values by repeatedly emitting the light pulse L0 and repeatedly detecting the reflected light pulse L1 corresponding to the light pulse L0. Then, the photodetection system 1 detects the distance to the detection target based on the histogram.
  • FIG. 2 shows a configuration example of the photodetector 20.
  • the light detection unit 20 includes a pixel array 21, a TDC (Time to Digital Converter) unit 22, a histogram generation unit 23, a correction processing unit 30, a distance calculation unit 25, and a distance measurement control unit 26.
  • TDC Time to Digital Converter
  • the pixel array 21 has a plurality of light receiving portions P arranged in a matrix. Each of the plurality of light receiving portions P is configured to generate the pulse signal PLS by detecting the reflected light pulse L1.
  • FIG. 3A shows a configuration example of the light receiving section P.
  • the light receiving portion P has a photodiode PD, a resistive element R1, and an inverter IV1.
  • the photodiode PD is a photoelectric conversion element that converts light into charge.
  • the photodiode PD has an anode supplied with the power supply voltage VSS and a cathode connected to the node N1.
  • a single photon avalanche diode (SPAD), for example, can be used as the photodiode PD.
  • a power supply voltage VDD is supplied to one end of the resistance element R1, and the other end is connected to the node N1.
  • Inverter IV1 outputs a low level when the voltage at node N1 is higher than the logic threshold and outputs a high level when the voltage at node N1 is lower than the logic threshold, thereby generating pulse signal PLS.
  • the light receiving portion P when the photodiode PD detects light, avalanche amplification occurs and the voltage at the node N1 drops.
  • pulse signal PLS changes from low level to high level.
  • a current flows through the node N1 through the resistance element R1, thereby increasing the voltage of the node N1.
  • pulse signal PLS changes from high level to low level. In this manner, the light receiving section P generates a pulse signal PLS having pulses corresponding to the detected light.
  • FIG. 3B shows another configuration example of the light receiving section P.
  • the light receiving section P has a photodiode PD, a transistor MP1, an inverter IV1, and a control circuit CKT1.
  • the transistor MP1 is a P-type MOS (Metal Oxide Semiconductor) transistor having a gate connected to the output terminal of the control circuit CKT1, a source supplied with the power supply voltage VDD, and a drain connected to the node N1.
  • MOS Metal Oxide Semiconductor
  • the control circuit CKT1 is configured to control the operation of the transistor MP1 based on the pulse signal PLS. Specifically, the control circuit CKT1 sets the voltage of the gate of the transistor MP1 to low level after the pulse signal PLS changes from low level to high level, and sets the voltage of the transistor MP1 to low level after the pulse signal PLS changes from high level to low level. The gate voltage is set to a high level.
  • the voltage at the node N1 is lowered by detecting light with the photodiode PD.
  • pulse signal PLS changes from low level to high level.
  • the control circuit CKT1 makes the voltage of the gate of the transistor MP1 low after this change in the pulse signal PLS.
  • the transistor MP1 is turned on, and current flows through the transistor MP1 to the node N1, thereby increasing the voltage of the node N1.
  • pulse signal PLS changes from high level to low level.
  • the control circuit CKT1 makes the voltage of the gate of the transistor MP1 high after this change in the pulse signal PLS. This turns off the transistor MP1. In this manner, the light receiving section P generates a pulse signal PLS having pulses corresponding to the detected light.
  • a plurality of light receiving portions P that operate are sequentially selected from all the light receiving portions P.
  • a plurality of selected light receiving portions P supply the pulse signal PLS to the TDC portion 22 .
  • the TDC section 22 (FIG. 2) is configured to generate a digital code CODE according to the light receiving timing in the light receiving section P based on each of the plurality of pulse signals PLS supplied from the pixel array 21.
  • the TDC section 22 is configured using, for example, a counter and a latch circuit. For example, the counter starts incrementing the count value based on the light emission timing of the light emitting unit 11 . Then, the latch circuit latches the count value based on the rising edge of the pulse signal PLS.
  • the latched count value corresponds to the length of time from the light emission timing of the light emitting unit 11 to the light reception timing of the light receiving unit P (hereinafter also referred to as the ToF value).
  • the TDC section 22 outputs this latched count value as a digital code CODE.
  • the histogram generation unit 23 is configured to generate a histogram H1 indicating light reception timings in each of the plurality of light receiving units P based on the digital code CODE supplied from the TDC unit 22 . That is, the light emitting unit 11 repeatedly emits the light pulse L0 and the light receiving unit P repeatedly detects the reflected light pulse L1, so the TDC unit 22 repeatedly generates the digital code CODE. Therefore, the histogram generation unit 23 generates a histogram H1 for each of the plurality of light receiving units P based on the repeatedly generated digital code CODE.
  • FIG. 4 shows an example of the histogram H1.
  • the horizontal axis indicates time and the vertical axis indicates frequency values.
  • the histogram H1 shows frequency values in each of a plurality of time intervals (approximately 100 time intervals in this example). Each of the multiple time intervals corresponds to a code value of the digital code CODE.
  • the histogram H1 has a reflected light component (portion W1) and an ambient light component.
  • the reflected light component is a component corresponding to the reflected light pulse L1 and occurs at a time corresponding to the distance from the light detection system 1 to the measurement object.
  • the ambient light component is a component corresponding to light incident on the light detection unit 20 from the surroundings of the light detection system 1, regardless of the light pulse L0 emitted from the light emission unit 11, and is substantially uniform on the time axis. occur.
  • the histogram generation unit 23 generates such a histogram H1 for each of the plurality of light receiving units P based on the digital code CODE supplied from the TDC unit 22.
  • the correction processing unit 30 uses an EM (Expectation Maximization) algorithm based on the histogram H1 for each of the plurality of light receiving units P generated by the histogram generation unit 23 to remove the influence of the measurement error.
  • the histogram H2 is generated by performing correction processing so that the histogram H2 is generated. That is, for example, when the light emitting unit 11 emits the light pulse L0 based on an instruction from the control unit 14, the response time can change randomly, so the ToF value fluctuates. Also, for example, when the photodiode PD converts light into electric charges, the response time may vary randomly, resulting in fluctuations in the ToF value. These ToF value fluctuations are also called timing jitter. Moreover, when the TDC unit 22 converts the light reception timing into a digital code CODE, a measurement error may occur due to differential non-linearity (DNL) in conversion characteristics.
  • DNL differential non-linearity
  • Figures 5A and 5B show the effects of measurement errors.
  • the histogram H1 shows 1 corresponding to the predetermined distance among the plurality of time intervals, as shown in FIG. 5A. It is desired to have frequency values only in one time interval. However, in fact, in the histogram H1, frequency values are distributed over a plurality of time intervals as shown in FIG. 5B. This distribution is affected by the timing jitter and differential nonlinearity described above.
  • the correction processing unit 30 Based on the histogram H1, the correction processing unit 30 generates the histogram H2 by performing correction processing so as to remove the effects of the timing jitter and differential nonlinearity.
  • the distance calculation portion 25 determines the detection target from the light detection system 1 in each of the plurality of light receiving portions P. is configured to generate a distance image by calculating a distance value to . Specifically, the distance calculator 25 calculates a representative value of the light receiving timing at the light receiving portion P based on the histogram H2 related to the light receiving portion P, for example. The distance calculation unit 25 can use, for example, the light receiving timing corresponding to the peak value in the histogram H2 as the representative value of the light receiving timing at the light receiving unit P.
  • the distance calculation unit 25 calculates the distance value from the light detection system 1 to the detection target based on the calculated representative value of the light receiving timing.
  • the distance calculation unit 25 calculates a distance value from the photodetection system 1 to the detection target for each of the plurality of light receiving units P in the pixel array 21 .
  • the distance calculator 25 generates a distance image containing these distance values.
  • the distance calculation unit 25 outputs data of the generated distance image as data DT.
  • the ranging control unit 26 supplies control signals to the pixel array 21, TDC unit 22, histogram generation unit 23, correction processing unit 24, and distance calculation unit 25. , to control the operation of the photodetector 20 .
  • FIG. 6 shows a configuration example of a circuit portion in the correction processing section 30 that performs correction processing on one histogram H1 related to a certain light receiving section P.
  • the correction processor 30 has a convolution calculator 31 , a total frequency value estimator 32 , a light component estimator 33 , and a correction controller 36 .
  • the convolution calculation unit 31 is configured to perform a convolution calculation based on the histogram H1 and the function f total .
  • This function f total is a distribution function representing the above-described timing jitter and differential nonlinearity.
  • FIG. 7 shows an example of timing jitter.
  • the response time can change randomly, so the ToF value fluctuates.
  • the photodiode PD converts light into electric charges
  • the response time may vary randomly, resulting in fluctuations in the ToF value.
  • Such timing jitter exhibits a profile as shown in FIG. 7, for example. This profile reflects the response time distribution when the light emitting unit 11 emits the light pulse L0 based on the instruction from the control unit 14 and the response time distribution when the photodiode PD converts light into electric charges.
  • This profile has an asymmetrical shape in the direction of the time axis, including a tail portion that gently drops at the time of fall.
  • This profile is represented by the following equation using a probability density function called EMG (Exponentially Modified Gaussian).
  • EMG Exposentially Modified Gaussian
  • t indicates time
  • erfc indicates a complementary error function
  • ⁇ is a parameter indicating the position of this profile on the time axis
  • ⁇ jitter is a parameter indicating the shape of the tail of this profile
  • ⁇ jitter is a parameter that indicates the width of this profile.
  • the solid line in FIG. 7 indicates the result of fitting using this equation (EQ1).
  • timing jitter can be represented by a distribution function (function fjitter ).
  • FIG. 8 and 9 show an example of differential nonlinearity in the TDC section 22.
  • FIG. 8 As described above, when the TDC unit 22 converts the light reception timing into the digital code CODE, a measurement error may occur due to differential nonlinearity in the conversion characteristics.
  • FIG. 8 in the TDC section 22, there are variations in time widths in a plurality of time intervals.
  • the n-th time interval out of the time width of the nth time interval, the time width of the (n+1)th time interval, the time width of the (n+2)th time interval, and the time width of the (n+3)th time interval , the n-th time interval has the widest time width, and the (n+2)-th time interval has the second widest time width.
  • the ambient light component can be larger as the time span of the time interval is wider.
  • the TDC unit 22 converts the light reception timing into the digital code CODE, if the light reception timing is within the time width of a certain time interval, the TDC unit 22 increments the frequency value in that time interval. Therefore, the conversion characteristic of the TDC section 22 can be considered to exhibit a rectangular distribution function that has a uniform value in the time width of the time interval.
  • a function f total indicating the measurement error is defined by performing a convolution operation based on the timing jitter distribution function (function f jitter ) and the differential nonlinear distribution function. .
  • a function f total is defined for each of a plurality of time intervals. For example, as shown in FIG. 10A, when the time width of a certain time interval is narrow due to differential nonlinearity, the width of the function f total for that time interval is narrow. Further, for example, as shown in FIG. 10B, when the time width of a certain time interval is wide due to differential nonlinearity, the width of the function f total for that time interval is wide.
  • the width ⁇ DNL,ij of the rectangular distribution function is defined using the following equation.
  • ⁇ DNL,ij is the standard deviation corresponding to the time width of the j-th time interval in the histogram H1 corresponding to the i-th light receiving portion P.
  • ⁇ T ij is the time width of the j-th time interval in the histogram H1 corresponding to the i-th light receiving portion P. That is, in this equation EQ2, the time width of the time interval is converted into the width ⁇ which is the standard deviation.
  • the function f total can be expressed, for example, using the following equation.
  • t ij is a parameter indicating the center time of the j-th time interval in the histogram H1 corresponding to the i-th light receiving portion P
  • tb ij indicates the barycentric position on the time axis of the function f total
  • ⁇ total,ij is a parameter indicating the width of the function f total .
  • t ij can be expressed by the following equation. That is, the differential nonlinearity affects the central times t ij of multiple time intervals. Therefore, using this equation EQ4, the time t ij is calculated based on the time width ⁇ T ij of the time interval.
  • the convolution calculation unit 31 performs a convolution calculation based on the histogram H1 and the function f total .
  • the total frequency value estimator 32 calculates the reflected light component and the ambient light in each of the plurality of time intervals in the histogram H1 based on the calculation result of the convolution calculator 31 and the estimation result of the light component estimator 33. It is configured to estimate the total frequency value of the components.
  • the light component estimation unit 33 is configured to estimate the reflected light component and the ambient light component in the histogram H1.
  • the light component estimator 33 has a reflected light component estimator 34 and an ambient light component estimator 35 .
  • the reflected light component estimator 34 estimates the reflected light component in the histogram H1 and supplies the estimation result to the total frequency value estimator 32 .
  • the reflected light component estimator 34 also performs an operation of supplying the estimated histogram of the reflected light component as the histogram H2 to the distance calculator 25 (FIG. 2) based on the instruction from the correction controller 36. It's like
  • the ambient light component estimating unit 35 estimates the ambient light component in the histogram H1 and supplies the estimation result to the total frequency value estimating unit 32.
  • the correction control unit 36 is configured to control the overall operation of the correction processing unit 30 by supplying control signals to the convolution calculation unit 31, the total frequency value estimation unit 32, and the light component estimation unit 33. .
  • the correction control unit 36 controls the total frequency value estimating unit 32 and the light component estimating unit 33 to repeat the processing until a predetermined criterion is satisfied. Then, when the predetermined criterion is satisfied, the correction control section 36 instructs the light component estimating section 33 to output the histogram of the estimated reflected light component as the histogram H2. It's becoming
  • the light receiving part P corresponds to a specific example of the "light receiving circuit” in the present disclosure.
  • the photodiode PD corresponds to a specific example of "light receiving element” in the present disclosure.
  • the TDC section 22 corresponds to a specific example of a “conversion circuit” in the present disclosure.
  • the histogram generation unit 23 corresponds to a specific example of "histogram generation circuit” in the present disclosure.
  • the correction processing unit 30 corresponds to a specific example of "correction processing circuit” in the present disclosure.
  • the distance calculator 25 corresponds to a specific example of the "calculation circuit” in the present disclosure.
  • the light emitting section 11 corresponds to a specific example of the "light emitting section” in the present disclosure.
  • the light emitting unit 11 emits a light pulse L0 toward the detection object OBJ.
  • the optical system 12 forms an image on the light receiving surface S of the photodetector 20 .
  • the photodetector 20 detects the reflected light pulse L1.
  • the control unit 14 supplies control signals to the light emitting unit 11 and the light detecting unit 20 to control the operation of these units, thereby controlling the range finding operation of the light detecting system 1 .
  • the light receiving section P of the pixel array 21 generates a pulse signal PLS by detecting light.
  • the TDC section 22 generates a digital code CODE according to the light receiving timing in the light receiving section P based on each of the plurality of pulse signals PLS supplied from the pixel array 21 .
  • the histogram generation section 23 Based on the digital code CODE supplied from the TDC section 22, the histogram generation section 23 generates a histogram H1 indicating light reception timings in each of the plurality of light receiving sections P.
  • the correction processing unit 30 performs correction processing using the EM algorithm based on the histogram H1 for each of the plurality of light receiving units P generated by the histogram generation unit 23 so as to remove the influence of the measurement error.
  • the distance calculator 25 is generated by the correction processor 30 .
  • a distance image is generated by calculating the distance value from the light detection system 1 to the detection target in each of the plurality of light receiving portions P based on the histogram H2 for each of the plurality of light receiving portions P.
  • the ranging control unit 26 supplies control signals to the pixel array 21, TDC unit 22, histogram generation unit 23, correction processing unit 24, and distance calculation unit 25. , controls the operation of the photodetector 20 .
  • FIG. 11 shows an example of the operation of calculating the distance value based on the histogram H1.
  • the correction processing unit 30 uses the EM algorithm to perform correction processing so as to remove the influence of the measurement error, thereby generating the histogram H2.
  • the distance calculator 25 calculates the distance value from the light detection system 1 to the detection target based on this histogram H2. This operation will be described in detail below.
  • the convolution calculation unit 31 of the correction processing unit 30 performs convolution calculation based on the histogram H1 and the function f total (step S101).
  • the total frequency value estimation unit 32 calculates the reflected light component and the ambient light component in each of the plurality of time intervals in the histogram H1. is estimated (step S102).
  • the light component estimation unit 33 estimates the ambient light component and the reflected light component in each of the plurality of time intervals (step S103).
  • the correction control unit 36 confirms whether or not a predetermined criterion is satisfied (step S104).
  • the predetermined determination criterion may be, for example, that the number of calculations of the total frequency value estimation unit 32 and the light component estimation unit 33 reaches a predetermined number, or that the total frequency value estimation unit 32 and the light component estimation unit 33 It may be that the estimation result of has converged. If the predetermined criterion is not satisfied ("N" in step S104), the process returns to step S102. Thereby, the correction processing unit 30 repeats the processing of steps S102 to S104 until the predetermined criterion is satisfied. If the predetermined criterion is satisfied ("Y" in step S104), the correction processing section 30 terminates the processing of steps S102 and S103. Then, the light component estimator 33 outputs a histogram of the estimated reflected light components as a histogram H2.
  • the distance calculation unit 25 calculates a representative value of light reception timing based on the histogram H2 (step S105). For example, the distance calculation unit 25 can set the light receiving timing corresponding to the peak value in the histogram H2 as the representative value of the light receiving timing at the light receiving unit P.
  • the distance calculation unit 25 calculates the distance value from the light detection system 1 to the detection target based on the calculated representative value of the light receiving timing (step S106).
  • the convolution calculation unit 31 of the correction processing unit 30 performs convolution calculation based on the histogram H1 and the function f total .
  • the histogram H1 is a histogram relating to the i-th light receiving portion P
  • the frequency values Ni ,1 , Ni ,2 , Ni ,3 , . include.
  • the convolution calculation unit 31 calculates the frequency value N ik conv by performing a convolution calculation using the following formula.
  • N ij indicates the frequency value in the j-th time segment included in the histogram H1 related to the i-th light receiving portion P.
  • Nbin is the number of time intervals in histogram H1.
  • N ik conv is the frequency value after the convolution operation in the k-th time interval related to the i-th light receiving portion P.
  • F ijk is a weighting coefficient indicating timing jitter and differential nonlinearity, and is expressed by the following equation.
  • This equation EQ6 indicates that the function f total shown in equation EQ3 is integrated over the time width ⁇ T ik of the k-th time interval related to the i-th light receiving portion P.
  • the convolution calculation unit 31 calculates the frequency value N ik conv by performing the convolution calculation using the equations EQ5 and EQ6.
  • the total frequency value estimation unit 32 calculates the reflected light component and the ambient light component in each of the plurality of time intervals in the histogram H1. Estimate the total frequency value of
  • the total frequency value estimator 32 repeats the calculation multiple times. Since the estimation result of the light component estimation unit 33 has not yet been generated the first time, the total frequency value estimation unit 32 converts the frequency value N ik conv calculated in step S101 into the total frequency value as shown in the following equation. Let the value ⁇ ik (1) .
  • ⁇ ik (1) is the total frequency value of the reflected light component and the ambient light component in the k-th time interval related to the i-th light receiving portion P in the first calculation.
  • the light component estimator 33 estimates the ambient light component and the reflected light component in each of the plurality of time intervals.
  • the light component estimator 33 repeats the calculation multiple times.
  • the light component estimator 33 estimates the ambient light component and the reflected light component, for example, based on the histogram H1.
  • histogram H1 FOG. 4
  • the light component estimating unit 33 calculates the reflected light component and the Ambient light components are specified.
  • the light component estimation unit 33 estimates the frequency value ⁇ i (1) per unit time based on the frequency value in the ambient light component.
  • the frequency value ⁇ i (1) indicates the frequency value of the ambient light component per unit time in the first calculation.
  • the light component estimator 33 estimates the frequency value ⁇ ik (1) based on the frequency value in the reflected light component.
  • the frequency value ⁇ ik (1) is the frequency value of the reflected light component in the k-th time interval related to the i-th light receiving portion P in the first calculation.
  • step S104 the correction control unit 36 confirms whether or not a predetermined criterion is satisfied. If the predetermined criterion is not satisfied ("N" in step S104), the correction processing unit 30 performs the processes of steps S102 and S103 again.
  • the total frequency value estimation unit 32 calculates the reflected light component and the ambient light component in each of the plurality of time intervals in the histogram H1. Estimate the total frequency value of
  • the total frequency value estimator 32 estimates the total frequency value ⁇ ik (m) by performing the m-th calculation using the following equation.
  • ⁇ ik (m) is the total frequency value of the reflected light component and the ambient light component in the k-th time interval related to the i-th light receiving portion P in the m-th calculation.
  • ⁇ ik (m ⁇ 1) is the frequency value of the reflected light component in the k-th time segment related to the i-th light receiving portion P in the (m ⁇ 1)th calculation.
  • ⁇ i (m ⁇ 1) indicates the frequency value of the ambient light component per unit time in the (m ⁇ 1)th calculation.
  • ⁇ T ik is the time width of the k-th time segment related to the i-th light receiving portion P
  • ⁇ T ik ⁇ i (m ⁇ 1) is the time width of the k-th time segment related to the i-th light receiving portion P It is the frequency value of the ambient light component.
  • K ik (m ⁇ 1) is a coefficient for adjusting the estimated total frequency value ⁇ ik (l) so as not to deviate from the frequency value N ik in the histogram H1.
  • the total frequency value estimating unit 32 calculates the frequency value ⁇ ik (m-1) and the frequency value ⁇ i (m-1 ) to estimate the total frequency value ⁇ ik (m) .
  • the total frequency value estimating unit 32 calculates the total frequency value Estimate ⁇ ik (2) .
  • the light component estimator 33 estimates the ambient light component and the reflected light component in each of the plurality of time intervals.
  • the ambient light component estimating unit 35 of the light component estimating unit 33 estimates the frequency value ⁇ i (m) of the ambient light component per unit time by performing m-th calculation using the following equation.
  • JNF indicates a time segment other than the time segment near the peak among the plurality of time segments in the histogram H1, as shown in FIG. That is, j ⁇ J NF denotes the set of time intervals containing only ambient light components. Therefore, ⁇ j ⁇ J NF N ij in the numerator of Equation EQ9 indicates the total number of frequency values of ambient light components on the time axis.
  • Equation EQ9 denotes the sum of the time lengths of the time intervals containing only ambient light components. Therefore, the front part ( ⁇ N ij / ⁇ T ij ) in equation EQ9 indicates the frequency value of the ambient light component per unit time.
  • the latter part ( ⁇ ij (m) / ⁇ N ij ) in Equation EQ9 is the total frequency values ⁇ i,1 (m) , ⁇ i,2 (m) , ⁇ i,3 ( m ) , . _ _ , is a coefficient for adjusting the frequency value per unit time of the ambient light component.
  • the ambient light component estimation unit 35 estimates the frequency value ⁇ i (m) of the ambient light component per unit time.
  • the frequency value of the ambient light component in the k-th time segment can be represented by ⁇ T ik ⁇ i (m) using this frequency value ⁇ i (m) .
  • the reflected light component estimator 34 of the light component estimator 33 estimates the frequency value ⁇ ik (m) of the reflected light component by performing the m-th calculation using the following equation.
  • the reflected light component estimator 34 converts the total frequency value ⁇ ik (m) in the k-th time segment from the frequency value ⁇ T ik ⁇ i (m ) , the frequency value ⁇ ik (m) of the reflected light component is estimated by calculating the difference between them.
  • the correction processing unit 30 repeats the processing of steps S103 and S104 until a predetermined criterion is satisfied. Then, when the predetermined criterion is satisfied after the correction processing unit 30 performs the calculation m times (“Y” in step S104), the light component estimation unit 33 calculates the estimated frequency of the reflected light component. Obtain the values ⁇ i,1 (m) , ⁇ i,2 (m) , ⁇ i,3 (m) , . . . , ⁇ i,Nbin (m) .
  • FIG. 13 shows an example of the calculation result of the correction processing section 30.
  • the correction processing unit 30 calculates the frequency values ⁇ i,1 (m) , ⁇ i,2 (m) , ⁇ i ,3 (m) , . Nbin (m) , and frequency values ⁇ T i ,1 ⁇ i (m) , ⁇ T i,2 ⁇ i (m) , ⁇ T i ,3 ⁇ i (m) , .
  • Estimate (m) the frequency values in the ambient light component are flatter compared to histogram H1 (FIG. 12).
  • the light component estimator 33 generates a histogram containing the frequency values ⁇ i,1 (m) , ⁇ i,2 (m) , ⁇ i,3 (m) , ⁇ i,Nbin (m) of the reflected light components. is output as the histogram H2 of the i-th light receiving portion P.
  • the distance calculator 25 calculates a representative value of the light receiving timing based on the histogram H2. For example, the distance calculation unit 25 can set the light receiving timing corresponding to the peak value in the histogram H2 as the representative value of the light receiving timing at the light receiving unit P.
  • the distance calculation unit 25 calculates the distance value from the light detection system 1 to the detection target based on the calculated representative value of the light receiving timing.
  • FIG. 14 shows a characteristic example of the precision of the distance value obtained by the photodetection system.
  • FIG. 14 shows the deviation of the distance value obtained by the photodetection system from the actual distance value (10m) when the measurement target is placed at a position 10m away from the photodetection system.
  • the intensity of ambient light is varied in the range of 0 klux to 60 klux.
  • FIG. 14 shows the measurement results when the histogram H1 is not subjected to correction processing, the measurement results when correction processing is performed using the Richardson-Lucy method described in Patent Document 1, and the results described in Patent Document 1.
  • the measurement results in the case of performing the correction process using the Wiener-Filter method and the measurement results of the photodetection system 1 according to the present embodiment are plotted.
  • the precision can be suppressed to about 20 mm at any ambient light intensity.
  • the deviation of the distance value can be reduced as compared with other methods.
  • robustness can be enhanced under conditions where the ambient light intensity is high.
  • FIG. 15 shows a characteristic example of the probability that the distance value obtained by the photodetection system deviates from the actual distance value.
  • FIG. 15 shows the probability that the distance value obtained by the photodetection system deviates from the actual distance value by 1.5% or more when the measurement target is placed at a position 10 m away from the photodetection system.
  • the intensity of ambient light is varied in the range of 0 klux to 60 klux.
  • FIG. 15 shows the measurement results when the histogram H1 is not subjected to correction processing, the measurement results when correction processing is performed using the Richardson-Lucy method described in Patent Document 1, and the results described in Patent Document 1.
  • the measurement results in the case of performing the correction process using the Wiener-Filter method and the measurement results of the photodetection system 1 according to the present embodiment are plotted.
  • the photodetection system 1 according to the present embodiment it is possible to reduce the probability of deviation as compared with other methods, regardless of the ambient light intensity.
  • the photodetection system 1 according to this embodiment can obtain a correct distance value.
  • the light receiving unit P includes the photodiode PD and can detect the light pulse reflected by the detection target among the light pulses emitted from the light emitting unit 11;
  • a TDC unit 22 capable of calculating a digital code CODE according to the light receiving timing, a histogram generating unit 23 capable of generating a first histogram (histogram H1) based on the digital code CODE, and asymmetrical photodiodes PD in the time axis direction
  • a correction processing unit 30 capable of generating a second histogram (histogram H2) by performing correction processing on the first histogram (histogram H1) using a light receiving characteristic (function fjitter ); and a distance calculator 25 capable of calculating a representative value of the light receiving timing based on the histogram (histogram H2).
  • correction processing can be performed on the first histogram (histogram H1) so as to remove the component caused by the asymmetrical light receiving characteristics of the photodiode PD in the time axis direction. , the detection accuracy can be improved.
  • the correction processing unit 30 can generate a second histogram (histogram H2) by performing correction processing using the linearity characteristics of the TDC unit 22 in addition to the light reception characteristics. made it possible.
  • This linearity characteristic includes, for example, a differential nonlinearity characteristic.
  • correction processing can be performed on the first histogram (histogram H1) so as to remove components caused by the conversion characteristics of the TDC section 22, so detection accuracy can be improved. can be done.
  • the light receiving unit includes a photodiode and can detect the light pulse reflected by the detection target among the light pulses emitted from the light emitting unit.
  • a TDC unit capable of calculating a digital code
  • a histogram generating unit capable of generating a first histogram based on the digital code, and an asymmetrical light receiving characteristic in the time axis direction of the photodiode
  • the first histogram and a distance calculation unit capable of calculating the representative value of the light receiving timing based on the second histogram. Accuracy can be improved.
  • the correction processing section can generate the second histogram by performing correction processing using the linearity characteristic in the TDC section in addition to the light receiving characteristic.
  • This linearity characteristic includes, for example, a differential nonlinearity characteristic.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an exterior information detection unit 12030, an interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 17 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 17 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the course of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the vehicle control system 12000 can improve the detection accuracy of time (ToF value) and distance.
  • the vehicle control system 12000 realizes a vehicle collision avoidance or collision mitigation function, a follow-up driving function based on the distance between vehicles, a vehicle speed maintenance driving function, a vehicle collision warning function, a vehicle lane deviation warning function, etc. with high accuracy. can.
  • the light receiving portion P as shown in FIGS. 3A and 3B is provided, but the circuit configuration of the light receiving portion P is not limited to this, and various circuit configurations can be applied. can do.
  • This technology can be configured as follows. According to the present technology having the following configuration, detection accuracy can be improved.
  • a light-receiving circuit that includes a light-receiving element and is capable of detecting light pulses reflected by a detection target among the light pulses emitted from the light-emitting unit; a conversion circuit capable of calculating a digital value according to the light receiving timing of the light receiving circuit; a histogram generation circuit capable of generating a first histogram based on the digital values; a correction processing circuit capable of generating a second histogram by performing correction processing on the first histogram using the asymmetrical light receiving characteristics of the light receiving element in the time axis direction; and a calculation circuit capable of calculating a representative value of the light receiving timing based on the second histogram.
  • the correction processing circuit is capable of performing the correction processing by performing a convolution operation based on the first histogram and a characteristic function including the light receiving characteristic and the linearity characteristic.
  • the correction processing circuit is capable of estimating a reflected light component corresponding to the light reflected by the detection target and an ambient light component based on the first histogram by the correction processing.
  • the second histogram can be generated.
  • the light-receiving characteristics include a characteristic indicating a distribution of response times when the light-receiving element converts light into charges.
  • the calculation circuit can calculate a distance from the photodetector to the detection target based on the representative value of the light receiving timing.
  • the light receiving element includes a SPAD.
  • a light emitting unit capable of emitting a light pulse; with a photodetector and The photodetector is a light-receiving circuit that includes a light-receiving element and is capable of detecting a light pulse reflected by a detection target among the light pulses emitted from the light-emitting unit; a conversion circuit capable of calculating a digital value according to the light receiving timing of the light receiving circuit; a histogram generation circuit capable of generating a first histogram based on the digital values; a correction processing circuit capable of generating a second histogram by performing correction processing on the first histogram using the asymmetrical light receiving characteristics of the light receiving element in the time axis direction; and a calculation circuit capable of calculating the representative value of the light receiving timing based on the second histogram.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の光検出装置は、受光素子を含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能な受光回路と、受光回路における受光タイミングに応じたデジタル値を算出可能な変換回路と、デジタル値に基づいて第１のヒストグラムを生成可能なヒストグラム生成回路と、受光素子における時間軸方向において非対称な受光特性を用いて、第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理回路と、第２のヒストグラムに基づいて、受光タイミングの代表値を算出可能な算出回路とを備える。

Description

光検出装置および光検出システム
　本開示は、光を検出する光検出装置および光検出システムに関する。
　検出対象までの距離を計測する際、しばしば、ＴｏＦ（Time Of Flight）法が用いられる。このＴｏＦ法では、光を射出するとともに、検出対象により反射された反射光を検出する。そして、ＴｏＦ法では、光を射出したタイミングおよび反射光を検出したタイミングの間の時間差を計測することにより、検出対象までの距離を計測する。例えば、非特許文献１には、光を検出した検出タイミングのヒストグラムに基づいて、測定誤差による影響を除去するように補正処理を行う技術が開示されている。
T. Neimert-Andersson, "3D imaging using time-correlated single photon counting", Doctoral thesis, Uppsala univ., 2010
　光検出装置では、検出精度を高めることが望まれており、さらなる検出精度の向上が期待されている。
　検出精度を高めることができる光検出装置および光検出システムを提供することが望ましい。
　本開示の一実施の形態における光検出装置は、受光回路と、変換回路と、ヒストグラム生成回路と、補正処理回路と、算出回路とを備えている。受光回路は、受光素子を含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能に構成される。変換回路は、受光回路における受光タイミングに応じたデジタル値を算出可能に構成される。ヒストグラム生成回路は、デジタル値に基づいて第１のヒストグラムを生成可能に構成される。補正処理回路は、受光素子における時間軸方向において非対称な受光特性を用いて、第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能に構成される。算出回路は、第２のヒストグラムに基づいて、受光タイミングの代表値を算出可能に構成される。
　本開示の一実施の形態における光検出システムは、発光部と、光検出部とを備えている。発光部は、光パルスを射出可能に構成される。光検出部は、受光回路と、変換回路と、ヒストグラム生成回路と、補正処理回路と、算出回路とを備えている。受光回路は、受光素子を含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能に構成される。変換回路は、受光回路における受光タイミングに応じたデジタル値を算出可能に構成される。ヒストグラム生成回路は、デジタル値に基づいて第１のヒストグラムを生成可能に構成される。補正処理回路は、受光素子における時間軸方向において非対称な受光特性を用いて、第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能に構成される。算出回路は、第２のヒストグラムに基づいて、受光タイミングの代表値を算出可能に構成される。
　本開示の一実施の形態における光検出装置および光検出システムでは、受光回路により、発光部から射出された光パルスのうちの、検出対象により反射された光パルスが検出され、変換回路により、受光回路における受光タイミングに応じたデジタル値が算出される。ヒストグラム生成回路により、このデジタル値に基づいて第１のヒストグラムが生成される。補正処理回路により、受光回路の受光素子における、時間軸方向において非対称は受光特性を用いて、第１のヒストグラムに対する補正処理が行われることにより、第２のヒストグラムが生成される。そして、算出回路により、第２のヒストグラムにより、受光タイミングの代表値が算出される。
本開示の一実施の形態に係る光検出システムの一構成例を表すブロック図である。 図１に示した光検出部の一構成例を表すブロック図である。 図２に示した受光部の一構成例を表す回路図である。 図２に示した受光部の他の一構成例を表す回路図である。 図２に示した補正処理部に入力されるヒストグラムの一例を表す説明図である。 図２に示した補正処理部に入力されるヒストグラムの一例を表す他の説明図である。 図２に示した補正処理部に入力されるヒストグラムの一例を表す他の説明図である。 図２に示した補正処理部の一構成例を表すブロック図である。 タイミングジッタの一特性例を表す説明図である。 微分非直線性の一特性例を表す説明図である。 微分非直線性の一特性例を表す他の説明図である。 タイミングジッタの分布関数および微分非直線性の分布関数の畳み込み演算を表す説明図である。 図２に示した補正処理部および距離演算部の一動作例を表すフローチャートである。 ヒストグラムの一例を表す説明図である。 図２に示した補正処理部の演算結果の一例を表す説明図である。 距離値のプレシジョンの一特性例を表す特性図である。 距離値のはずれ確率の一特性例を表す特性図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．移動体への応用例
＜１．実施の形態＞
［構成例］
　図１は、一実施の形態に係る光検出システム（光検出システム１）の一構成例を表すものである。光検出システム１は、ＴｏＦセンサであり、検出対象に対して光を射出するとともに、検出対象により反射された反射光を検出するように構成される。光検出システム１は、発光部１１と、光学系１２と、光検出部２０と、制御部１４とを備えている。
　発光部１１は、制御部１４からの指示に基づいて、検出対象に向かって光パルスＬ０を射出するように構成される。発光部１１は、制御部１４からの指示に基づいて、発光および非発光を交互に繰り返す発光動作を行うことにより光パルスＬ０を射出するようになっている。発光部１１は、例えば赤外光を射出する光源を有する。この光源は、例えば、レーザ光源を用いて構成される。
　光学系１２は、光検出部２０の受光面Ｓにおいて像を結像させるレンズを含んで構成される。この光学系１２には、発光部１１から射出され、検出対象により反射された光パルス（反射光パルスＬ１）が入射するようになっている。
　光検出部２０は、制御部１４からの指示に基づいて、反射光パルスＬ１を検出するように構成される。そして、光検出部２０は、検出結果に基づいて距離画像を生成し、生成した距離画像の画像データをデータＤＴとして出力するようになっている。
　制御部１４は、発光部１１および光検出部２０に制御信号を供給し、これらの動作を制御することにより、光検出システム１の動作を制御するように構成される。
　この構成により、光検出システム１は、光パルスＬ０を繰り返し射出するとともに、この光パルスＬ０に応じた反射光パルスＬ１を繰り返し検出することにより、ＴｏＦ値についてのヒストグラムを生成する。そして、光検出システム１では、そのヒストグラムに基づいて、検出対象までの距離を検出するようになっている。
　図２は、光検出部２０の一構成例を表すものである。光検出部２０は、画素アレイ２１と、ＴＤＣ（Time to Digital Converter）部２２と、ヒストグラム生成部２３と、補正処理部３０と、距離演算部２５と、測距制御部２６とを有している。
　画素アレイ２１は、マトリックス状に配置された複数の受光部Ｐを有している。複数の受光部Ｐのそれぞれは、反射光パルスＬ１を検出することによりパルス信号ＰＬＳを生成するように構成される。
　図３Ａは、受光部Ｐの一構成例を表すものである。この例では、受光部Ｐは、フォトダイオードＰＤと、抵抗素子Ｒ１と、インバータＩＶ１とを有している。
　フォトダイオードＰＤは、光を電荷に変換する光電変換素子である。フォトダイオードＰＤのアノードには電源電圧ＶＳＳが供給され、カソードはノードＮ１に接続される。フォトダイオードＰＤは、例えばシングルフォトンアバランシェダイオード（ＳＰＡＤ；Single Photon Avalanche Diode）を用いることができる。
　抵抗素子Ｒ１の一端には電源電圧ＶＤＤが供給され、他端はノードＮ１に接続される。
　インバータＩＶ１は、ノードＮ１における電圧が論理しきい値より高い場合に低レベルを出力し、ノードＮ１における電圧が論理しきい値より低い場合に高レベルを出力することにより、パルス信号ＰＬＳを生成するように構成される。
　この構成により、この受光部Ｐでは、フォトダイオードＰＤが光を検出することにより、アバランシェ増幅が生じ、ノードＮ１における電圧が低下する。そして、ノードＮ１における電圧がインバータＩＶ１の論理しきい値より低くなると、パルス信号ＰＬＳが低レベルから高レベルへ変化する。その後、抵抗素子Ｒ１を介してノードＮ１に電流が流れることにより、ノードＮ１の電圧が上昇する。そして、ノードＮ１における電圧がインバータＩＶ１の論理しきい値より高くなると、パルス信号ＰＬＳが高レベルから低レベルに変化する。このようにして、受光部Ｐは、検出した光に応じたパルスを有するパルス信号ＰＬＳを生成するようになっている。
　図３Ｂは、受光部Ｐの他の一構成例を表すものである。この例では、受光部Ｐは、フォトダイオードＰＤと、トランジスタＭＰ１と、インバータＩＶ１と、制御回路ＣＫＴ１とを有している。
　トランジスタＭＰ１は、Ｐ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタであり、ゲートは制御回路ＣＫＴ１の出力端子に接続され、ソースには電源電圧ＶＤＤが供給され、ドレインはノードＮ１に接続される。
　制御回路ＣＫＴ１は、パルス信号ＰＬＳに基づいてトランジスタＭＰ１の動作を制御するように構成される。具体的には、制御回路ＣＫＴ１は、パルス信号ＰＬＳが低レベルから高レベルに変化した後にトランジスタＭＰ１のゲートの電圧を低レベルにし、パルス信号ＰＬＳが高レベルから低レベルに変化した後にトランジスタＭＰ１のゲートの電圧を高レベルにするようになっている。
　この構成により、この受光部Ｐでは、フォトダイオードＰＤが光を検出することにより、ノードＮ１における電圧が低下する。そして、ノードＮ１における電圧がインバータＩＶ１の論理しきい値より低くなると、パルス信号ＰＬＳが低レベルから高レベルに変化する。制御回路ＣＫＴ１は、このパルス信号ＰＬＳの変化の後に、トランジスタＭＰ１のゲートの電圧を低レベルにする。これにより、トランジスタＭＰ１がオン状態になり、トランジスタＭＰ１を介してノードＮ１に電流が流れることにより、ノードＮ１の電圧が上昇する。そして、ノードＮ１における電圧がインバータＩＶ１の論理しきい値より高くなると、パルス信号ＰＬＳが高レベルから低レベルに変化する。制御回路ＣＫＴ１は、このパルス信号ＰＬＳの変化の後に、トランジスタＭＰ１のゲートの電圧を高レベルにする。これにより、トランジスタＭＰ１がオフ状態になる。このようにして、受光部Ｐは、検出した光に応じたパルスを有するパルス信号ＰＬＳを生成するようになっている。
　画素アレイ２１では、例えば、全ての受光部Ｐのうちの、動作する複数の受光部Ｐが順次選択される。そして、選択された複数の受光部Ｐが、パルス信号ＰＬＳをＴＤＣ部２２に供給するようになっている。
　ＴＤＣ部２２（図２）は、画素アレイ２１から供給された複数のパルス信号ＰＬＳのそれぞれに基づいて、受光部Ｐにおける受光タイミングに応じたデジタルコードＣＯＤＥを生成するように構成される。ＴＤＣ部２２は、例えば、カウンタおよびラッチ回路を用いて構成される。例えば、カウンタは、発光部１１の発光タイミングに基づいてカウント値のインクリメントを開始する。そして、ラッチ回路は、パルス信号ＰＬＳの立ち上がりエッジに基づいてカウント値をラッチする。ラッチされたカウント値は、発光部１１における発光タイミングから、受光部Ｐにおける受光タイミングまでの時間長（以下、ＴｏＦ値ともいう）に対応する。ＴＤＣ部２２は、ラッチされたこのカウント値を、デジタルコードＣＯＤＥとして出力するようになっている。
　ヒストグラム生成部２３は、ＴＤＣ部２２から供給されたデジタルコードＣＯＤＥに基づいて、複数の受光部Ｐのそれぞれにおける受光タイミングを示すヒストグラムＨ１を生成するように構成される。すなわち、発光部１１は、光パルスＬ０を繰り返し射出し、受光部Ｐは、反射光パルスＬ１を繰り返し検出するので、ＴＤＣ部２２はデジタルコードＣＯＤＥを繰り返し生成する。よって、ヒストグラム生成部２３は、繰り返し生成されたデジタルコードＣＯＤＥに基づいて、複数の受光部ＰのそれぞれについてヒストグラムＨ１を生成する。
　図４は、ヒストグラムＨ１の一例を表すものである。ヒストグラムＨ１において、横軸は時間を示し、縦軸は頻度値を示す。このように、ヒストグラムＨ１は、複数の時間区間（この例では約１００個の時間区間）のそれぞれにおける頻度値を示している。複数の時間区間のそれぞれは、デジタルコードＣＯＤＥのコード値に対応する。
　図４に示した例では、ヒストグラムＨ１は、反射光成分（部分Ｗ１）と、環境光成分とを有する。反射光成分は、反射光パルスＬ１に応じた成分であり、光検出システム１から測定対象までの距離に対応する時間において生じる。環境光成分は、発光部１１から射出された光パルスＬ０とは無関係に、光検出システム１の周囲から光検出部２０に入射した光に応じた成分であり、時間軸上においてほぼ一様に生じる。
　ヒストグラム生成部２３は、ＴＤＣ部２２から供給されたデジタルコードＣＯＤＥに基づいて、複数の受光部Ｐのそれぞれについて、このようなヒストグラムＨ１を生成するようになっている。
　補正処理部３０（図２）は、ヒストグラム生成部２３により生成された、複数の受光部ＰのそれぞれについてのヒストグラムＨ１に基づいて、ＥＭ（Expectation Maximization）アルゴリズムを用いて、測定誤差の影響を除去するように補正処理を行うことにより、ヒストグラムＨ２を生成するように構成される。すなわち、例えば、発光部１１が制御部１４からの指示に基づいて光パルスＬ０を射出する際、応答時間はランダムに変化し得るので、ＴｏＦ値が揺らぐ。また、例えば、フォトダイオードＰＤが光を電荷に変換する際、応答時間はランダムに変化し得るので、ＴｏＦ値が揺らぐ。これらのＴｏＦ値の揺らぎは、タイミングジッタとも呼ばれる。また、ＴＤＣ部２２が受光タイミングをデジタルコードＣＯＤＥに変換する際、変換特性における微分非直線性（ＤＮＬ：Differential Non-Linearity）により、測定誤差が生じ得る。
　図５Ａ,５Ｂは、測定誤差の影響を表すものである。例えば、光検出システム１から、ある所定距離だけ離れた位置に測定対象がある場合において、ヒストグラムＨ１では、図５Ａに示したように、複数の時間区間のうちの、その所定距離に対応する１つの時間区間においてのみ頻度値を有することが望まれる。しかしながら、実際には、ヒストグラムＨ１において、図５Ｂに示したように、複数の時間区間にわたって頻度値が分布する。この分布は、上述したタイミングジッタや微分非直線性の影響を受ける。
　補正処理部３０は、ヒストグラムＨ１に基づいて、これらのタイミングジッタや微分非直線性の影響を除去するように補正処理を行うことにより、ヒストグラムＨ２を生成するようになっている。
　距離演算部２５（図２）は、補正処理部３０により生成された、複数の受光部ＰのそれぞれについてのヒストグラムＨ２に基づいて、複数の受光部Ｐのそれぞれにおいて、光検出システム１から検出対象までの距離値を算出することにより、距離画像を生成するように構成される。具体的には、距離演算部２５は、例えば、ある受光部Ｐに係るヒストグラムＨ２に基づいて、その受光部Ｐでの受光タイミングの代表値を算出する。距離演算部２５は、例えば、ヒストグラムＨ２におけるピーク値に対応する受光タイミングを、その受光部Ｐでの受光タイミングの代表値とすることができる。そして、距離演算部２５は、算出された受光タイミングの代表値に基づいて、光検出システム１から検出対象までの距離値を算出する。距離演算部２５は、画素アレイ２１における複数の受光部Ｐのそれぞれについて、光検出システム１から検出対象までの距離値を算出する。このようにして、距離演算部２５は、これらの距離値を含む距離画像を生成する。そして、距離演算部２５は、生成した距離画像のデータをデータＤＴとして出力するようになっている。
　測距制御部２６は、制御部１４からの指示に基づいて、画素アレイ２１、ＴＤＣ部２２、ヒストグラム生成部２３、補正処理部２４、および距離演算部２５に対して制御信号を供給することにより、光検出部２０の動作を制御するように構成される。
（補正処理部３０）
　図６は、補正処理部３０における、ある受光部Ｐに係る１つのヒストグラムＨ１に対して補正処理を行う回路部分の一構成例を表すものである。補正処理部３０は、畳み込み演算部３１と、合計頻度値推定部３２と、光成分推定部３３と、補正制御部３６とを有している。
　畳み込み演算部３１は、ヒストグラムＨ１および関数ｆtotalに基づいて畳み込み演算を行うように構成される。この関数ｆtotalは、上述したタイミングジッタおよび微分非直線性を示す分布関数である。
　図７は、タイミングジッタの一例を表すものである。上述したように、発光部１１が制御部１４からの指示に基づいて光パルスＬ０を射出する際、応答時間はランダムに変化し得るので、ＴｏＦ値が揺らぐ。また、例えば、フォトダイオードＰＤが光を電荷に変換する際、応答時間はランダムに変化し得るので、ＴｏＦ値が揺らぐ。このようなタイミングジッタは、例えば、図７に示したようなプロファイルを示す。このプロファイルは、発光部１１が制御部１４からの指示に基づいて光パルスＬ０を射出する際の応答時間の分布、フォトダイオードＰＤが光を電荷に変換する際の応答時間の分布を反映している。このプロファイルは、立ち下がり時においてなだらかに低下するテール部分を含む、時間軸方向において非対称な形状を有する。このプロファイルは、いわゆるＥＭＧ（Exponentially Modified Gaussian）とよばれる確率密度関数を用いて、次式で表される。
Figure JPOXMLDOC01-appb-M000001
  
ここで、ｔは時間を示し、erfcは相補誤差関数を示し、μは時間軸上におけるこのプロファイルの位置を示すパラメータであり、λjitterはこのプロファイルのテール部分の形状を示すパラメータであり、σjitterはこのプロファイルの幅を示すパラメータである。図７における実線は、この式（ＥＱ１）を用いてフィッティングした結果を示す。このように、タイミングジッタは分布関数（関数ｆjitter）で表すことができる。
　図８, ９は、ＴＤＣ部２２における微分非直線性の一例を表すものである。上述したように、ＴＤＣ部２２が受光タイミングをデジタルコードＣＯＤＥに変換する際、変換特性における微分非直線性により、測定誤差が生じ得る。図８に示したように、ＴＤＣ部２２では、複数の時間区間における時間幅にはばらつきがある。図９の例では、ｎ番目の時間区間の時間幅、（ｎ＋１）番目の時間区間の時間幅、（ｎ＋２）番目の時間区間の時間幅、および（ｎ＋３）番目の時間区間の時間幅のうち、ｎ番目の時間区間の時間幅が一番広く、次に、（ｎ＋２）番目の時間区間の時間幅が広い。例えば、環境光成分は、時間区間の時間幅が広いほど大きくなり得る。ＴＤＣ部２２は、受光タイミングをデジタルコードＣＯＤＥに変換する際、受光タイミングが、ある時間区間の時間幅内のタイミングであれば、その時間区間における頻度値をインクリメントする。よって、ＴＤＣ部２２の変換特性は、時間区間の時間幅において一様な値となるような、矩形状の分布関数を示すとみなすことができる。
　本技術では、これらのタイミングジッタおよび微分非直線性の両方を考慮する。具体的には、図１０に示すように、タイミングジッタの分布関数（関数ｆjitter）および微分非直線性の分布関数に基づいて畳み込み演算を行うことにより、測定誤差を示す関数ｆtotalを定義する。関数ｆtotalは、複数の時間区間のそれぞれに対して定義される。例えば、図１０（Ａ）に示したように、微分非直線性により、ある時間区間の時間幅が狭い場合には、その時間区間に係る関数ｆtotalの幅は狭い。また、例えば、図１０（Ｂ）に示したように、微分非直線性により、ある時間区間の時間幅が広い場合には、その時間区間に係る関数ｆtotalの幅は広い。
　矩形状の分布関数の幅σＤＮＬ，ｉｊを以下の式を用いて定義する。
Figure JPOXMLDOC01-appb-M000002
  
ここで、σＤＮＬ，ｉｊは、ｉ番目の受光部Ｐに対応するヒストグラムＨ１におけるｊ番目の時間区間の時間幅に対応する標準偏差である。ΔＴijは、ｉ番目の受光部Ｐに対応するヒストグラムＨ１におけるｊ番目の時間区間の時間幅である。すなわち、この式ＥＱ２では、時間区間の時間幅を標準偏差である幅σに変換している。
　この幅σＤＮＬ，ｉｊを用いて、関数ｆtotalは、例えば以下の式を用いて表すことができる。
Figure JPOXMLDOC01-appb-M000003
  
ここで、ｔｉｊは、ｉ番目の受光部Ｐに対応するヒストグラムＨ１におけるｊ番目の時間区間の中央の時間を示すパラメータであり、ｔｂｉｊは、関数ｆtotalの時間軸上における重心位置を示すパラメータであり、σtotal,ijは、関数ｆtotalの幅を示すパラメータである。
ｔｉｊは、以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000004
  
すなわち、微分非直線性は、複数の時間区間の中央の時間ｔｉｊに影響を与える。よって、この式ＥＱ４を用いて、時間区間の時間幅ΔＴijに基づいて時間ｔｉｊを算出する。
　光検出システム１では、発光部１１、受光部Ｐ、およびＴＤＣ部２２の特性に基づいて、予め、このような関数ｆtotalを準備しておく。そして、畳み込み演算部３１は、ヒストグラムＨ１および関数ｆtotalに基づいて畳み込み演算を行うようになっている。
　合計頻度値推定部３２（図６）は、畳み込み演算部３１の演算結果、および光成分推定部３３の推定結果に基づいて、ヒストグラムＨ１における複数の時間区間のそれぞれにおける、反射光成分および環境光成分の合計頻度値を推定するように構成される。
　光成分推定部３３は、ヒストグラムＨ１における反射光成分および環境光成分を推定するように構成される。光成分推定部３３は、反射光成分推定部３４と、環境光成分推定部３５とを有している。
　反射光成分推定部３４は、ヒストグラムＨ１における反射光成分を推定し、推定結果を合計頻度値推定部３２に供給するようになっている。また、反射光成分推定部３４は、補正制御部３６からの指示に基づいて、推定された反射光成分のヒストグラムを、ヒストグラムＨ２として、距離演算部２５（図２）に供給する動作をも行うようになっている。
　環境光成分推定部３５は、ヒストグラムＨ１における環境光成分を推定し、推定結果を合計頻度値推定部３２に供給するようになっている。
　補正制御部３６は、畳み込み演算部３１、合計頻度値推定部３２，および光成分推定部３３に対して制御信号を供給することにより、補正処理部３０の全体動作を制御するように構成される。補正制御部３６は、所定の判定基準を満たすまで、合計頻度値推定部３２および光成分推定部３３が処理を繰り返すように制御する。そして、この所定の判定基準が満たされた場合には、補正制御部３６は、光成分推定部３３に対して、推定された反射光成分のヒストグラムをヒストグラムＨ２として出力するように指示するようになっている。
　ここで、受光部Ｐは、本開示における「受光回路」の一具体例に対応する。フォトダイオードＰＤは、本開示における「受光素子」の一具体例に対応する。ＴＤＣ部２２は、本開示における「変換回路」の一具体例に対応する。ヒストグラム生成部２３は、本開示における「ヒストグラム生成回路」の一具体例に対応する。補正処理部３０は、本開示における「補正処理回路」の一具体例に対応する。距離演算部２５は、本開示における「算出回路」の一具体例に対応する。発光部１１は、本開示における「発光部」の一具体例に対応する。
［動作および作用］
　続いて、本実施の形態に係る光検出システム１の動作および作用について説明する。
（全体動作概要）
　まず、図１，２を参照して、光検出システム１の全体動作概要を説明する。発光部１１は、検出対象物ＯＢＪに向かって光パルスＬ０を射出する。光学系１２は、光検出部２０の受光面Ｓにおいて像を結像させる。光検出部２０は、反射光パルスＬ１を検出する。制御部１４は、発光部１１および光検出部２０に制御信号を供給し、これらの動作を制御することにより、光検出システム１の測距動作を制御する。
　光検出部２０において、画素アレイ２１の受光部Ｐは、光を検出することによりパルス信号ＰＬＳを生成する。ＴＤＣ部２２は、画素アレイ２１から供給された複数のパルス信号ＰＬＳのそれぞれに基づいて、受光部Ｐにおける受光タイミングに応じたデジタルコードＣＯＤＥを生成する。ヒストグラム生成部２３は、ＴＤＣ部２２から供給されたデジタルコードＣＯＤＥに基づいて、複数の受光部Ｐのそれぞれにおける受光タイミングを示すヒストグラムＨ１を生成する。補正処理部３０は、ヒストグラム生成部２３により生成された、複数の受光部ＰのそれぞれについてのヒストグラムＨ１に基づいて、ＥＭアルゴリズムを用いて、測定誤差の影響を除去するように補正処理を行うことにより、ヒストグラムＨ２を生成する。距離演算部２５は、補正処理部３０により生成された。複数の受光部ＰのそれぞれについてのヒストグラムＨ２に基づいて、複数の受光部Ｐのそれぞれにおいて、光検出システム１から検出対象までの距離値を算出することにより、距離画像を生成する。測距制御部２６は、制御部１４からの指示に基づいて、画素アレイ２１、ＴＤＣ部２２、ヒストグラム生成部２３、補正処理部２４、および距離演算部２５に対して制御信号を供給することにより、光検出部２０の動作を制御する。
（詳細動作）
　次に、ヒストグラム生成部２３が生成したヒストグラムＨ１に基づいて距離値を算出する動作について、詳細に説明する。
　図１１は、ヒストグラムＨ１に基づいて距離値を算出する動作の一例を表すものである。補正処理部３０は、ヒストグラムＨ１に基づいて、ＥＭアルゴリズムを用いて、測定誤差の影響を除去するように補正処理を行うことにより、ヒストグラムＨ２を生成する。距離演算部２５は、このヒストグラムＨ２に基づいて、光検出システム１から検出対象までの距離値を算出する。以下に、この動作について詳細に説明する。
　まず、補正処理部３０の畳み込み演算部３１は、ヒストグラムＨ１および関数ｆtotalに基づいて畳み込み演算を行う（ステップＳ１０１）。
　次に、合計頻度値推定部３２は、畳み込み演算部３１の演算結果、および光成分推定部３３の推定結果に基づいて、ヒストグラムＨ１における複数の時間区間のそれぞれにおける、反射光成分および環境光成分の合計頻度値を推定する（ステップＳ１０２）。
　次に、光成分推定部３３は、環境光成分、および複数の時間区間のそれぞれにおける反射光成分を推定する（ステップＳ１０３）。
　次に、補正制御部３６は、所定の判定基準を満たしたかどうかを確認する（ステップＳ１０４）。所定の判定基準は、例えば、合計頻度値推定部３２および光成分推定部３３の演算回数が所定の回数に到達したことであってもよいし、合計頻度値推定部３２および光成分推定部３３の推定結果が収束したことであってもよい。所定の判定基準を満たしていない場合（ステップＳ１０４において“Ｎ”）には、処理はステップＳ１０２に戻る。これにより、補正処理部３０は、所定の判定基準を満たすまで、ステップＳ１０２～Ｓ１０４の処理を繰り返す。所定の判定基準を満たした場合（ステップＳ１０４において“Ｙ”）には、補正処理部３０は、ステップＳ１０２，Ｓ１０３の処理を終了する。そして、光成分推定部３３は、推定された反射光成分のヒストグラムを、ヒストグラムＨ２として出力する。
　次に、距離演算部２５は、ヒストグラムＨ２に基づいて、受光タイミングの代表値を算出する（ステップＳ１０５）。例えば、距離演算部２５は、ヒストグラムＨ２におけるピーク値に対応する受光タイミングを、その受光部Ｐでの受光タイミングの代表値とすることができる。
　そして、距離演算部２５は、算出された受光タイミングの代表値に基づいて、光検出システム１から検出対象までの距離値を算出する（ステップＳ１０６）。
　以上で、この処理は終了する。
　次に、図１１に示した処理について、具体的に説明する。
（ステップＳ１０１について）
　まず、補正処理部３０の畳み込み演算部３１は、ヒストグラムＨ１および関数ｆtotalに基づいて畳み込み演算を行う。この例では、ヒストグラムＨ１は、ｉ番目の受光部Ｐに係るヒストグラムであり、Ｎbin個の時間区分における頻度値Ｎｉ，１，Ｎｉ，２，Ｎｉ，３，…，Ｎｉ，Ｎｂｉｎを含む。畳み込み演算部３１は、以下の式を用いて畳み込み演算を行うことにより、頻度値Ｎｉｋ ｃｏｎｖを算出する。
Figure JPOXMLDOC01-appb-M000005
  
ここで、Ｎｉｊは、ｉ番目の受光部Ｐに係るヒストグラムＨ１に含まれる、ｊ番目の時間区分における頻度値を示す。Ｎbinは、ヒストグラムＨ１における複数の時間区分の数である。Ｎｉｋ ｃｏｎｖは、ｉ番目の受光部Ｐに係るｋ番目の時間区間における、畳み込み演算後の頻度値である。Ｆｉｊｋは、タイミングジッタおよび微分非直線性を示す重み係数であり、以下の式で表される。
Figure JPOXMLDOC01-appb-M000006
  
この式ＥＱ６は、ｉ番目の受光部Ｐに係るｋ番目の時間区間の時間幅ΔＴｉｋにわたって、式ＥＱ３に示した関数ｆtotalを積分することを示す。
　このようにして、畳み込み演算部３１は、式ＥＱ５，ＥＱ６を用いて畳み込み演算を行うことにより、頻度値Ｎｉｋ ｃｏｎｖを算出する。
（１回目のステップＳ１０２について）
　次に、合計頻度値推定部３２は、畳み込み演算部３１の演算結果、および光成分推定部３３の推定結果に基づいて、ヒストグラムＨ１における複数の時間区間のそれぞれにおける、反射光成分および環境光成分の合計頻度値を推定する。
　図１１に示したように、合計頻度値推定部３２は、演算を複数回繰り返す。初回では、光成分推定部３３の推定結果がまだ生成されていないので、合計頻度値推定部３２は、以下の式に示すように、ステップＳ１０１により算出された頻度値Ｎｉｋ ｃｏｎｖを、合計頻度値Λｉｋ （１）とする。
Figure JPOXMLDOC01-appb-M000007
  
ここで、Λｉｋ （１）は、１回目の演算における、ｉ番目の受光部Ｐに係るｋ番目の時間区間における、反射光成分および環境光成分の合計頻度値である。
（１回目のステップＳ１０３について）
　次に、光成分推定部３３は、環境光成分、および複数の時間区間のそれぞれにおける反射光成分を推定する。
　図１１に示したように、光成分推定部３３は、演算を複数回繰り返す。初回では、光成分推定部３３は、例えば、ヒストグラムＨ１に基づいて、環境光成分および反射光成分を推定する。例えば、ヒストグラムＨ１（図４）は、反射光成分（部分Ｗ１）と、環境光成分とを含む。よって、光成分推定部３３は、ヒストグラムＨ１におけるＮbin個の時間区分における頻度値Ｎｉ，１，Ｎｉ，２，Ｎｉ，３，…，Ｎｉ，Ｎｂｉｎに基づいて、反射光成分と、環境光成分とを特定する。そして、光成分推定部３３は、環境光成分における頻度値に基づいて、単位時間当たりの頻度値μｉ （１）を推定する。頻度値μｉ （１）は、１回目の演算における、環境光成分の単位時間当たりの頻度値を示す。また、光成分推定部３３は、反射光成分における頻度値に基づいて、頻度値λｉｋ （１）を推定する。頻度値λｉｋ （１）は、１回目の演算における、ｉ番目の受光部Ｐに係るｋ番目の時間区間における、反射光成分の頻度値である。
　そして、補正制御部３６は、ステップＳ１０４において、所定の判定基準を満たしたかどうかを確認する。所定の判定基準を満たさない場合（ステップＳ１０４において“Ｎ”）には、補正処理部３０は、ステップＳ１０２，Ｓ１０３の処理を再度行う。
（２回目以降のステップＳ１０２について）
　次に、合計頻度値推定部３２は、畳み込み演算部３１の演算結果、および光成分推定部３３の推定結果に基づいて、ヒストグラムＨ１における複数の時間区間のそれぞれにおける、反射光成分および環境光成分の合計頻度値を推定する。
　合計頻度値推定部３２は、以下の式を用いて、ｍ回目の演算を行うことにより、合計頻度値Λｉｋ （ｍ）を推定する。
Figure JPOXMLDOC01-appb-M000008
  
ここで、Λｉｋ （ｍ）は、ｍ回目の演算における、ｉ番目の受光部Ｐに係るｋ番目の時間区間における、反射光成分および環境光成分の合計頻度値である。λｉｋ （ｍ－１）は、（ｍ－１）回目の演算における、ｉ番目の受光部Ｐに係るｋ番目の時間区分における、反射光成分の頻度値である。μｉ （ｍ－１）は、（ｍ－１）回目の演算における、環境光成分の単位時間当たりの頻度値を示す。ΔＴｉｋは、ｉ番目の受光部Ｐに係るｋ番目の時間区分の時間幅であるので、ΔＴｉｋμｉ （ｍ―１）は、ｉ番目の受光部Ｐに係る、ｋ番目の時間区分における環境光成分の頻度値である。Ｋｉｋ （ｍ―１）は、推定された合計頻度値Λｉｋ （ｌ）が、ヒストグラムＨ１における頻度値Ｎｉｋから乖離しないように調整するための係数である。
　合計頻度値推定部３２は、例えば、ｍ回目の演算において、（ｍ－１）回目の演算（ステップＳ１０３）において推定された頻度値λｉｋ （ｍ－１）および頻度値μｉ （ｍ－１）に基づいて、合計頻度値Λｉｋ （ｍ）を推定する。例えば、合計頻度値推定部３２は、２回目の演算において、１回目の演算（ステップＳ１０３）において推定された頻度値λｉｋ （１）および頻度値μｉ （１）に基づいて、合計頻度値Λｉｋ （２）を推定する。
（２回目以降のステップＳ１０４について）
　次に、光成分推定部３３は、環境光成分、および複数の時間区間のそれぞれにおける反射光成分を推定する。
　まず、光成分推定部３３の環境光成分推定部３５は、以下の式を用いて、ｍ回目の演算を行うことにより、環境光成分の単位時間当たりの頻度値μｉ （ｍ）を推定する。
Figure JPOXMLDOC01-appb-M000009
  
ここで、ＪＮＦは、図１２に示すように、ヒストグラムＨ１における複数の時間区分のうちのピーク付近の時間区分以外の時間区分を示す。すなわち、ｊ∈ＪＮＦは、環境光成分のみを含む時間区分の集合を示す。よって、式ＥＱ９の分子におけるΣｊ∈ＪＮＦＮｉｊは、時間軸上における環境光成分の頻度値の総数を示す。式ＥＱ９の分母におけるΣｊ∈ＪＮＦ ΔＴｉｊは、環境光成分のみを含む時間区分の時間長の合計値を示す。よって、式ＥＱ９における前部分（ΣＮｉｊ／ΣΔＴｉｊ）は、環境光成分の単位時間当たりの頻度値を示す。式ＥＱ９における後ろ部分（ΣΛｉｊ （ｍ）／ΣＮｉｊ）は、合計頻度値推定部３２により推定された合計頻度値Λｉ，１ （ｍ），Λｉ，２ （ｍ），Λｉ，３ （ｍ），…，Λｉ，Ｎｂｉｎ （ｍ）の和と、ヒストグラムＨ１における頻度値Ｎｉ，１，Ｎｉ，２，Ｎｉ，３，…，Ｎｉ，Ｎｂｉｎの和との比を示し、環境光成分の単位時間当たりの頻度値を調整するための係数である。
　このようにして、環境光成分推定部３５は、環境光成分の単位時間当たりの頻度値μｉ （ｍ）を推定する。例えば、ｋ番目の時間区分における環境光成分の頻度値は、この頻度値μｉ （ｍ）を用いて、ΔＴｉｋμｉ （ｍ）により表すことができる。
　また、光成分推定部３３の反射光成分推定部３４は、以下の式を用いて、ｍ回目の演算を行うことにより、反射光成分の頻度値λｉｋ （ｍ）を推定する。
Figure JPOXMLDOC01-appb-M000010
  
反射光成分推定部３４は、式ＥＱ１０に示したように、ｋ番目の時間区分における合計頻度値Λｉｋ （ｍ）が、ｋ番目の時間区分における環境光成分の頻度値ΔＴｉｋμｉ （ｍ）よりも大きい場合に、これらの差分を算出することにより、反射光成分の頻度値λｉｋ （ｍ）を推定する。
　補正処理部３０は、所定の判定基準を満たすまで、このようなステップＳ１０３，Ｓ１０４の処理を繰り返す。そして、補正処理部３０がｍ回の演算を行った後に、所定の判定基準を満たした場合（ステップＳ１０４において“Ｙ”）には、光成分推定部３３は、推定された反射光成分の頻度値λｉ，１ （ｍ），λｉ，２ （ｍ），λｉ，３ （ｍ），…，λｉ，Ｎｂｉｎ （ｍ）を得る。
　図１３は、補正処理部３０の演算結果の一例を表すものである。補正処理部３０は、ｍ回の演算を行うことにより、反射光成分の頻度値λｉ，１ （ｍ），λｉ，２ （ｍ），λｉ，３ （ｍ），…，λｉ，Ｎｂｉｎ （ｍ）、および環境光成分の頻度値ΔＴｉ，１μｉ （ｍ），ΔＴｉ，２μｉ （ｍ），ΔＴｉ，３μｉ （ｍ），…，ΔＴｉ，Ｎｂｉｎμｉ （ｍ）を推定する。この例では、環境光成分における頻度値が、ヒストグラムＨ１（図１２）に比べてより平坦になる。光成分推定部３３は、この反射光成分の頻度値λｉ，１ （ｍ），λｉ，２ （ｍ），λｉ，３ （ｍ），…，λｉ，Ｎｂｉｎ （ｍ）を含むヒストグラムを、ｉ番目の受光部ＰのヒストグラムＨ２として出力する。
（ステップＳ１０５，Ｓ１０６について）
　次に、距離演算部２５は、ヒストグラムＨ２に基づいて、受光タイミングの代表値を算出する。例えば、距離演算部２５は、ヒストグラムＨ２におけるピーク値に対応する受光タイミングを、その受光部Ｐでの受光タイミングの代表値とすることができる。
　そして、距離演算部２５は、算出された受光タイミングの代表値に基づいて、光検出システム１から検出対象までの距離値を算出する。
（実験について）
　次に、光検出システム１の実験結果について説明する。
　図１４は、光検出システムにより得られた距離値のプレシジョンについての一特性例を表すものである。この図１４は、光検出システムから１０ｍ離れた位置に測定対象を設置した場合における、光検出システムにより得られた距離値の、実際の距離値（１０ｍ）からのずれを示している。この実験では、環境光の強度を０ｋｌｕｘから６０ｋｌｕｘの範囲で変化させている。この図１４には、ヒストグラムＨ１に対して補正処理を行わない場合の測定結果、特許文献１に記載のRichardson-Lucyの方法を用いて補正処理を行った場合の測定結果、特許文献１に記載のWiener-Filterの方法を用いて補正処理を行った場合の測定結果、本実施の形態に係る光検出システム１の測定結果をプロットしている。本実施の形態に係る光検出システム１では、どの環境光強度においても、プレシジョンを２０ｍｍ程度に抑えることができる。特に、光検出システム１では、環境光強度が４０ｋｌｕｘ以上となる条件において、他の方法に比べて距離値のずれを小さくすることができる。このように、光検出システム１では、環境光高度が高い条件において、ロバストネスを高めることができる。
　図１５は、光検出システムにより得られた距離値が実際の距離値から外れる確率についての一特性例を表すものである。この図１５は、光検出システムから１０ｍ離れた位置に測定対象を設置した場合において、光検出システムにより得られた距離値が実際の距離値から１．５％以上乖離する確率を示している。この実験では、環境光の強度を０ｋｌｕｘから６０ｋｌｕｘの範囲で変化させている。この図１５には、ヒストグラムＨ１に対して補正処理を行わない場合の測定結果、特許文献１に記載のRichardson-Lucyの方法を用いて補正処理を行った場合の測定結果、特許文献１に記載のWiener-Filterの方法を用いて補正処理を行った場合の測定結果、本実施の形態に係る光検出システム１の測定結果をプロットしている。本実施の形態に係る光検出システム１では、どの環境光強度においても、他の方法に比べて外れ確率を低くすることができる。このように、本実施の形態に係る光検出システム１では、正しい距離値を得ることができる。
　このように、光検出システム１では、フォトダイオードＰＤを含み、発光部１１から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能な受光部Ｐと、受光部Ｐにおける受光タイミングに応じたデジタルコードＣＯＤＥを算出可能なＴＤＣ部２２と、デジタルコードＣＯＤＥに基づいて第１のヒストグラム（ヒストグラムＨ１）を生成可能なヒストグラム生成部２３と、フォトダイオードＰＤにおける時間軸方向において非対称な受光特性（関数ｆjitter）を用いて、第１のヒストグラム（ヒストグラムＨ１）に対して補正処理を行うことにより、第２のヒストグラム（ヒストグラムＨ２）を生成可能な補正処理部３０と、第２のヒストグラム（ヒストグラムＨ２）に基づいて、受光タイミングの代表値を算出可能な距離演算部２５とを備えるようにした。これにより、光検出システム１では、第１のヒストグラム（ヒストグラムＨ１）に対して、フォトダイオードＰＤにおける時間軸方向において非対称な受光特性に起因する成分を除去するように補正処理を行うことができるので、検出精度を高めることができる。
　また、光検出システム１では、補正処理部３０は、受光特性に加え、さらに、ＴＤＣ部２２におけるリニアリティ特性を用いて補正処理を行うことにより、第２のヒストグラム（ヒストグラムＨ２）を生成することができるようにした。このリニアリティ特性は、例えば、微分非直線性の特性を含む。これにより、光検出システム１では、第１のヒストグラム（ヒストグラムＨ１）に対して、ＴＤＣ部２２の変換特性に起因する成分を除去するように補正処理を行うことができるので、検出精度を高めることができる。
［効果］
　以上のように本実施の形態では、フォトダイオードを含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能な受光部と、受光部における受光タイミングに応じたデジタルコードを算出可能なＴＤＣ部と、デジタルコードに基づいて第１のヒストグラムを生成可能なヒストグラム生成部と、フォトダイオードにおける時間軸方向において非対称な受光特性を用いて、第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理部と、第２のヒストグラムに基づいて、受光タイミングの代表値を算出可能な距離演算部とを備えるようにしたので、検出精度を高めることができる。
　本実施の形態では、補正処理部は、受光特性に加え、さらに、ＴＤＣ部におけるリニアリティ特性を用いて補正処理を行うことにより、第２のヒストグラムを生成することができるようにした。このリニアリティ特性は、例えば、微分非直線性の特性を含む。これにより、検出精度を高めることができる。
＜２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。これにより、車両制御システム１２０００では、時間（ＴｏＦ値）や距離の検出精度を高めることができる。その結果、車両制御システム１２０００では、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等を、高い精度で実現できる。
　以上、実施の形態および具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
　例えば、上記の各実施の形態では、図３Ａ，３Ｂに示したような受光部Ｐを設けたが、受光部Ｐの回路構成は、これに限定されるものではなく、様々な回路構成を適用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、検出精度を高めることができる。
（１）
　受光素子を含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能な受光回路と、
　前記受光回路における受光タイミングに応じたデジタル値を算出可能な変換回路と、
　前記デジタル値に基づいて第１のヒストグラムを生成可能なヒストグラム生成回路と、
　前記受光素子における時間軸方向において非対称な受光特性を用いて、前記第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理回路と、
　前記第２のヒストグラムに基づいて、前記受光タイミングの代表値を算出可能な算出回路と
　を備えた光検出装置。
（２）
　前記補正処理部は、前記受光特性に加え、さらに、前記変換回路におけるリニアリティ特性を用いて前記補正処理を行うことにより、前記第２のヒストグラムを生成可能である
　前記（１）に記載の光検出装置。
（３）
　前記リニアリティ特性は、微分非直線性の特性を含む
　前記（２）に記載の光検出装置。
（４）
　前記補正処理回路は、前記第１のヒストグラムと、前記受光特性および前記リニアリティ特性を含む特性関数とに基づいて、畳み込み演算を行うことにより前記補正処理を行うことが可能である
　前記（２）または（３）に記載の光検出装置。
（５）
　前記補正処理回路は、前記補正処理により、前記第１のヒストグラムに基づいて、前記検出対象により反射された光に応じた反射光成分と、環境光成分とを推定可能であり、前記反射光成分および前記環境光成分のうちの前記反射光成分に基づいて前記第２のヒストグラムを生成可能である
　前記（１）から（４）のいずれかに記載の光検出装置。
（６）
　前記受光特性は、前記受光素子が光を電荷に変換する際の応答時間の分布を示す特性を含む
　前記（１）から（５）のいずれかに記載の光検出装置。
（７）
　前記算出回路は、前記受光タイミングの前記代表値に基づいて、前記光検出装置から前記検出対象までの距離を算出可能である
　前記（１）から（６）のいずれかに記載の光検出装置。
（８）
　前記受光素子は、ＳＰＡＤを含む
　前記（１）から（７）のいずれかに記載の光検出装置。
（９）
　光パルスを射出可能な発光部と、
　光検出部と
　を備え、
　前記光検出部は、
　受光素子を含み、前記発光部から射出された前記光パルスのうちの、検出対象により反射された光パルスを検出可能な受光回路と、
　前記受光回路における受光タイミングに応じたデジタル値を算出可能な変換回路と、
　前記デジタル値に基づいて第１のヒストグラムを生成可能なヒストグラム生成回路と、
　前記受光素子における時間軸方向において非対称な受光特性を用いて、前記第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理回路と、
　前記第２のヒストグラムに基づいて、前記受光タイミングの代表値を算出可能な算出回路と
　を有する
　光検出システム。
　本出願は、日本国特許庁において２０２１年５月１７日に出願された日本特許出願番号２０２１－０８３４３７号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (9)

  1. 　受光素子を含み、発光部から射出された光パルスのうちの、検出対象により反射された光パルスを検出可能な受光回路と、
    　前記受光回路における受光タイミングに応じたデジタル値を算出可能な変換回路と、
    　前記デジタル値に基づいて第１のヒストグラムを生成可能なヒストグラム生成回路と、
    　前記受光素子における時間軸方向において非対称な受光特性を用いて、前記第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理回路と、
    　前記第２のヒストグラムに基づいて、前記受光タイミングの代表値を算出可能な算出回路と
    　を備えた光検出装置。
  2. 　前記補正処理部は、前記受光特性に加え、さらに、前記変換回路におけるリニアリティ特性を用いて前記補正処理を行うことにより、前記第２のヒストグラムを生成可能である
    　請求項１に記載の光検出装置。
  3. 　前記リニアリティ特性は、微分非直線性の特性を含む
    　請求項２に記載の光検出装置。
  4. 　前記補正処理回路は、前記第１のヒストグラムと、前記受光特性および前記リニアリティ特性を含む特性関数とに基づいて、畳み込み演算を行うことにより前記補正処理を行うことが可能である
    　請求項２に記載の光検出装置。
  5. 　前記補正処理回路は、前記補正処理により、前記第１のヒストグラムに基づいて、前記検出対象により反射された光に応じた反射光成分と、環境光成分とを推定可能であり、前記反射光成分および前記環境光成分のうちの前記反射光成分に基づいて前記第２のヒストグラムを生成可能である
    　請求項１に記載の光検出装置。
  6. 　前記受光特性は、前記受光素子が光を電荷に変換する際の応答時間の分布を示す特性を含む
    　請求項１に記載の光検出装置。
  7. 　前記算出回路は、前記受光タイミングの前記代表値に基づいて、前記光検出装置から前記検出対象までの距離を算出可能である
    　請求項１に記載の光検出装置。
  8. 　前記受光素子は、ＳＰＡＤを含む
    　請求項１に記載の光検出装置。
  9. 　光パルスを射出可能な発光部と、
    　光検出部と
    　を備え、
    　前記光検出部は、
    　受光素子を含み、前記発光部から射出された前記光パルスのうちの、検出対象により反射された光パルスを検出可能な受光回路と、
    　前記受光回路における受光タイミングに応じたデジタル値を算出可能な変換回路と、
    　前記デジタル値に基づいて第１のヒストグラムを生成可能なヒストグラム生成回路と、
    　前記受光素子における時間軸方向において非対称な受光特性を用いて、前記第１のヒストグラムに対して補正処理を行うことにより、第２のヒストグラムを生成可能な補正処理回路と、
    　前記第２のヒストグラムに基づいて、前記受光タイミングの代表値を算出可能な算出回路と
    　を有する
    　光検出システム。
PCT/JP2022/004041 2021-05-17 2022-02-02 光検出装置および光検出システム WO2022244322A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021083437A JP2022176812A (ja) 2021-05-17 2021-05-17 光検出装置および光検出システム
JP2021-083437 2021-05-17

Publications (1)

Publication Number Publication Date
WO2022244322A1 true WO2022244322A1 (ja) 2022-11-24

Family

ID=84140488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004041 WO2022244322A1 (ja) 2021-05-17 2022-02-02 光検出装置および光検出システム

Country Status (2)

Country Link
JP (1) JP2022176812A (ja)
WO (1) WO2022244322A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102751A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置
WO2020022137A1 (ja) * 2018-07-27 2020-01-30 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
JP2020106397A (ja) * 2018-12-27 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測距装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102751A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置
WO2020022137A1 (ja) * 2018-07-27 2020-01-30 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
JP2020106397A (ja) * 2018-12-27 2020-07-09 ソニーセミコンダクタソリューションズ株式会社 測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GREELEY ADAM P.; NEUMANN THOMAS A.; KURTZ NATHAN T.; MARKUS THORSTEN; MARTINO ANTHONY J.: "Characterizing the System Impulse Response Function From Photon-Counting LiDAR Data", IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, vol. 57, no. 9, 1 September 2019 (2019-09-01), USA, pages 6542 - 6551, XP011742602, ISSN: 0196-2892, DOI: 10.1109/TGRS.2019.2907230 *

Also Published As

Publication number Publication date
JP2022176812A (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
US11818481B2 (en) Solid-state image sensor and electronic device
EP3748316B1 (en) Solid-state imaging element, imaging device, and control method for solid-state imaging element
US20220317298A1 (en) Distance measurement sensor
JP6860467B2 (ja) フォトダイオード、画素回路、および、フォトダイオードの製造方法
US20190391237A1 (en) Distance measuring device and distance measuring method
WO2020184224A1 (ja) 距離測定装置及びスキュー補正方法
WO2021085123A1 (ja) 受光装置、測距装置および受光回路
US20220373659A1 (en) Solid-state imaging element, electronic device, and method for controlling solid-state imaging element
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2022244322A1 (ja) 光検出装置および光検出システム
JP2021056142A (ja) 測距センサ、信号処理方法、および、測距モジュール
US20240111033A1 (en) Photodetection device and photodetection system
WO2020255855A1 (ja) 測距装置および測距方法
JP2021056141A (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021256276A1 (ja) 測距装置および測距システム
WO2021251057A1 (ja) 光検出回路および測距装置
WO2022254786A1 (ja) 光検出装置、光検出システム、および光検出方法
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
US20240056700A1 (en) Photodetection device and photodetection system
US20240103166A1 (en) Distance measuring device and distance measuring method
WO2020129474A1 (ja) 測距装置および計測装置
JP2021056143A (ja) 測距センサ、信号処理方法、および、測距モジュール

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804244

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18557670

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22804244

Country of ref document: EP

Kind code of ref document: A1