WO2022097522A1 - 測距センサ、および、測距システム - Google Patents

測距センサ、および、測距システム Download PDF

Info

Publication number
WO2022097522A1
WO2022097522A1 PCT/JP2021/039303 JP2021039303W WO2022097522A1 WO 2022097522 A1 WO2022097522 A1 WO 2022097522A1 JP 2021039303 W JP2021039303 W JP 2021039303W WO 2022097522 A1 WO2022097522 A1 WO 2022097522A1
Authority
WO
WIPO (PCT)
Prior art keywords
spad
processing unit
data processing
circuit
pixel
Prior art date
Application number
PCT/JP2021/039303
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202180074374.6A priority Critical patent/CN116368628A/zh
Priority to US18/250,759 priority patent/US20230408692A1/en
Publication of WO2022097522A1 publication Critical patent/WO2022097522A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • This technique relates to a range-finding sensor and a range-finding system, and in particular, a range-finding sensor that enables different measurements to be performed using SPAD pixels, and a range-finding system.
  • the distance measuring sensor includes a direct ToF method and an indirect ToF method.
  • the indirectToF method is a method that calculates the distance to an object by detecting the flight time from the timing when the irradiation light is emitted to the timing when the reflected light is received as a phase difference, and is within a relatively short range. Measurement can be realized with high accuracy.
  • the directToF method is a method that directly measures the flight time from the timing when the irradiation light is emitted to the timing when the reflected light is received to calculate the distance to the object, and is compared with the indirectToF method. Therefore, it is effective for measuring distant distances.
  • Patent Document 1 discloses a direct-to-F type ranging sensor.
  • Patent Document 2 discloses an indirect ToF type distance measuring sensor.
  • SPAD Single Photon Avalanche Diode
  • SPAD Single Photon Avalanche Diode
  • avalanche amplification occurs when one photon enters the PN junction region of a high electric field with a voltage larger than the breakdown voltage applied.
  • This disclosure has been made in view of such a situation, and in particular, it enables different measurements to be performed using SPAD pixels.
  • the distance measuring sensor on the first aspect of the present technology is a ToF that generates and outputs distance measurement data by the ToF method based on a SPAD pixel having a SPAD as a photoelectric conversion element and a pixel signal output from the SPAD pixel. It includes a data processing unit and a viewing data processing unit that generates and outputs viewing data based on a pixel signal output from the SPAD pixel.
  • the distance measuring system on the second side of the present technology includes a light emitting unit that irradiates the irradiation light and a distance measuring sensor that receives the reflected light reflected by the object, and the distance measuring sensor is photoelectric.
  • a SPAD pixel having a SPAD as a conversion element a ToF data processing unit that generates and outputs distance measurement data by the ToF method based on a pixel signal output from the SPAD pixel, and a pixel signal output from the SPAD pixel. It is provided with a viewing data processing unit that generates and outputs viewing data based on the above.
  • distance measurement data by the ToF method is generated and output based on a pixel signal output from a SPAD pixel having a SPAD as a photoelectric conversion element, and output from the SPAD pixel. Viewing data is generated and output based on the pixel signal to be generated.
  • the distance measuring sensor and the distance measuring system may be an independent device or a module incorporated in another device.
  • FIG. 1 is a block diagram showing a configuration example of the ranging system of the present disclosure.
  • the distance measuring system 1 of FIG. 1 includes a control device 10, a distance measuring sensor 11, LD12, and a light emitting unit 13.
  • the control device 10 is a device that controls the distance measuring sensor 11.
  • the control device 10 specifies a predetermined measurement method based on a command from a higher-level host device, and supplies a measurement request requesting execution of measurement to the distance measuring sensor 11.
  • the measurement method specified here is either a direct ToF method distance measurement, an indirect ToF method distance measurement, or a viewing measurement.
  • the indirect ToF method distance measurement is a distance measurement that calculates the distance to an object by detecting the flight time from the timing when the irradiation light is emitted to the timing when the reflected light is received as a phase difference, and is relatively close. Measurement of a range of distance can be realized with high accuracy.
  • the directToF method is a distance measurement that calculates the distance to an object by directly measuring the flight time from the timing when the irradiation light is emitted to the timing when the reflected light is received, and is compared with the indirectToF method. , Effective for measuring distant distances.
  • the viewing measurement is a measurement that outputs luminance data according to the amount of received light, like a general image sensor.
  • the directToF method is referred to as dToF
  • the indirectToF method is referred to as iToF
  • the distance measurement by the directToF method is also referred to as dToF distance measurement
  • the distance measurement by the indirectToF method is also referred to as iToF distance measurement.
  • the control device 10 supplies the measurement request to the distance measuring sensor 11 without designating the measurement method, and the distance measuring sensor 11 executes the three measurement methods in a predetermined order and outputs the measurement result to the control device. It can also be output to 10.
  • the control device 10 acquires distance measurement data or viewing data, which is a measurement result executed by the distance measurement sensor 11 in response to a measurement request, from the distance measurement sensor 11.
  • the ranging sensor 11 executes measurement by a designated measurement method in response to a measurement request from the control device 10, and outputs the ranging data or viewing data as the measurement result to the control device 10.
  • the distance measuring sensor 11 is a sensor equipped with a SPAD (Single Photon Avalanche Diode) as a photoelectric conversion element for receiving light in each pixel.
  • SPAD Single Photon Avalanche Diode
  • the distance measuring sensor 11 controls the light emitting unit 13 as necessary to emit the irradiation light at the time of measurement.
  • the ranging sensor 11 supplies a predetermined emission pulse to the LD 12.
  • the LD 12 is a laser driver that drives the light emitting unit 13, drives the light emitting unit 13 based on the light emitting pulse from the distance measuring sensor 11, and outputs the irradiation light from the light emitting unit 13.
  • the light emitting unit 13 is composed of, for example, a VCSEL LED (Vertical Cavity Surface Emitting LASER LED) or the like, and emits irradiation light by driving the LD 12.
  • IR light infrared light having a wavelength in the range of about 850 nm to 940 nm is used.
  • FIG. 2 is a block diagram showing a first configuration example of the first embodiment of the distance measuring sensor 11.
  • the distance measuring sensor 11 includes a control unit 41, a light emission timing control unit 42, a SPAD pixel array unit 43, a SPAD control circuit 44, a readout circuit 45, a dToF data processing unit 46, an iToF data processing unit 47, and a viewing data processing unit 48. It has a selection unit 49, an output IF 50, and input / output terminals 51a to 51c.
  • the control unit 41 controls the entire operation of the distance measuring sensor 11. For example, the control unit 41 performs predetermined communication such as reception of a measurement request and transmission of distance measurement data or viewing data with the control device 10.
  • the control unit 41 has a mode switching control unit 41A, and switches the measurement mode of the distance measuring sensor 11 based on the measurement method designated by the control device 10.
  • the mode switching control unit 41A outputs either the dToF distance measurement mode, the iToF distance measurement mode, or the viewing mode as the measurement mode to be executed by the read circuit 45, the light emission timing control unit 42, the selection unit 49, and the output. Supply to IF50.
  • the dToF data processing unit 46 has a histogram generation circuit 71 and a distance calculation unit 72, and generates and outputs distance measurement data by dToF distance measurement in the dToF distance measurement mode.
  • the iToF data processing unit 47 has a phase count circuit 81 and a distance calculation unit 82, and generates and outputs distance measurement data by iToF distance measurement in the iToF distance measurement mode.
  • the viewing data processing unit 48 has a photon counting circuit 91 and an image data processing unit 92, and generates and outputs viewing data in the viewing mode.
  • the ranging sensor 11 operates all the SPAD pixels in the SPAD pixel array unit 43 when measuring any of the dToF ranging mode, the iToF ranging mode, and the viewing mode (active pixels described later). It is also possible to operate only some SPAD pixels such as multiple lines.
  • the control unit 41 supplies the SPAD control circuit 44 with an active control signal for controlling which SPAD pixel in the SPAD pixel array unit 43 is operated.
  • the light emission timing control unit 42 generates a light emission pulse that controls the light emission timing of the irradiation light for dToF distance measurement or iToF distance measurement under the control of the mode switching control unit 41A, and generates a light emission pulse via the input / output terminal 51b, and LD12 Output to. Further, the light emission timing control unit 42 also supplies the generated light emission pulse to the dToF data processing unit 46 and the iToF data processing unit 47.
  • the SPAD pixel array unit 43 has a plurality of SPAD pixels arranged two-dimensionally in a matrix, and supplies a pixel signal corresponding to the reflected light detected in each SPAD pixel to the readout circuit 45.
  • the SPAD pixel has, for example, a SPAD (Single Photon Avalanche Diode) as a photoelectric conversion element.
  • SPAD Single Photon Avalanche Diode
  • avalanche amplification occurs when one photon enters the PN junction region of a high electric field with a voltage larger than the breakdown voltage applied. At that time, the timing at which the current flows momentarily is detected and output as a pixel signal to the readout circuit 45.
  • the SPAD pixel may be simply referred to as a pixel.
  • the SPAD control circuit 44 switches between active pixels and inactive pixels for each SPAD pixel of the SPAD pixel array unit 43 based on the active control signal supplied from the control unit 41.
  • An active pixel is a pixel that detects the incident of a photon
  • an inactive pixel is a pixel that does not detect the incident of a photon. Therefore, the SPAD control circuit 44 controls the on / off of the light receiving operation of each SPAD pixel of the SPAD pixel array unit 43.
  • the SPAD control circuit 44 makes at least a part of the plurality of SPAD pixels of the SPAD pixel array unit 43 active pixels at a predetermined timing in accordance with the light emission pulse from the light emission timing control unit 42, and makes the remaining SPAD pixels non-active pixels. Controls the active pixel.
  • all the SPAD pixels of the SPAD pixel array unit 43 may be used as active pixels.
  • the readout circuit 45 inputs the pixel signal supplied from each SPAD pixel of the SPAD pixel array unit 43 to the dToF data processing unit 46, the iToF data processing unit 47, or the iToF data processing unit 47 according to the measurement mode designated by the mode switching control unit 41A. , Supply to any of the viewing data processing units 48. That is, when the measurement mode designated by the mode switching control unit 41A is the dToF distance measurement mode, the readout circuit 45 supplies the pixel signal supplied from each SPAD pixel to the dToF data processing unit 46. On the other hand, when the designated measurement mode is the iToF distance measurement mode, the readout circuit 45 supplies the pixel signal supplied from each SPAD pixel to the iToF data processing unit 47. Alternatively, when the designated measurement mode is the viewing mode, the readout circuit 45 supplies the pixel signal supplied from each SPAD pixel to the viewing data processing unit 48.
  • the histogram generation circuit 71 of the dToF data processing unit 46 receives the reflected light based on the emission of the irradiation light that is repeatedly executed a predetermined number of times (for example, several times to several hundred times) and the reception of the reflected light. Histogram of flight time (count value) up to is created for each pixel. Data about the created histogram (hereinafter referred to as histogram data) is supplied to the distance calculation unit 72. The distance calculation unit 72 performs noise removal, histogram peak detection, and the like on the histogram data supplied from the histogram generation circuit 71.
  • the distance calculation unit 72 calculates the flight time until the light emitted from the light emitting unit 13 is reflected by the subject and returns based on the peak value of the detected histogram, and the flight time is calculated from the calculated flight time.
  • the distance to the subject is calculated for each pixel.
  • the calculated ranging data is supplied to the selection unit 49.
  • the histogram generation circuit 71 and the distance calculation unit 72 of the dToF data processing unit 46 can also calculate the histogram data and the distance to the subject based on the histogram data in units of a plurality of pixels instead of in units of pixels. ..
  • the phase count circuit 81 of the iToF data processing unit 47 counts the number of times the reflected light received at each of the phase 0 degree and the phase 180 degree is received. More specifically, the phase count circuit 81 receives the reflected light at the same phase timing (phase 0 degree) as the emission timing of the irradiation light, and the phase timing (phase 180) in which the emission timing of the irradiation light is inverted. The number of times the reflected light is received is measured and supplied to the distance calculation unit 82. The distance calculation unit 82 calculates the distance to the subject for each pixel by detecting the phase difference of the reflected light with respect to the irradiation light based on the ratio of the count numbers of the phase 0 degree and the phase 180 degree. The calculated ranging data is supplied to the selection unit 49. The iToF data processing unit 47 can also count the number of times of light reception at 0 degree and 180 degree phase, not in pixel units but in multiple pixel units, and calculate the distance to the subject.
  • the photon counting circuit 91 of the viewing data processing unit 48 counts the number of times the SPAD of each pixel in the SPAD pixel array unit 43 reacts within a predetermined period, that is, the number of times the photon is incident, for each pixel. Then, the photon count circuit 91 supplies the count result to the image data processing unit 92.
  • the image data processing unit 92 generates image data (viewing data) in which the photon count result measured in each pixel is used as a pixel value (brightness value) according to the amount of received light, and supplies the image data (viewing data) to the selection unit 49.
  • the viewing data processing unit 48 can also count the photons in units of a plurality of pixels, not in units of pixels.
  • the selection unit 49 selects either the dToF data processing unit 46, the iToF data processing unit 47, or the viewing data processing unit 48 according to the measurement mode designated by the mode switching control unit 41A.
  • the selection unit 49 supplies the distance measurement data or viewing data output from the selected processing unit to the output IF 50.
  • the output IF 50 shapes the ranging data or viewing data acquired via the selection unit 49 into a predetermined format according to the data type, and then outputs the data to the control device 10 via the input / output terminal 51c. ..
  • the distance measuring sensor 11 has the above configuration, and controls the emission of the irradiation light by the light emitting unit 13 in the measurement mode corresponding to the specified measurement method, and the result of receiving the light by the SPAD pixel of the SPAD pixel array unit 43. Generates and outputs ranging data or viewing data based on.
  • the measurement results can be output by aggregating in units of multiple pixels instead of units of one pixel.
  • the measurement is performed in units of one pixel will be described as an example.
  • the distance measuring sensor 11 includes a dToF data processing unit 46, an iToF data processing unit 47, and a viewing data processing unit 48, and has a dToF distance measuring unit.
  • the iToF distance measurement and viewing are appropriately switched by time division, and data is output according to the measurement mode.
  • the configuration shown in FIG. 3 or FIG. 4 can also be adopted.
  • 3 and 4 are block diagrams showing a modified example of the distance measuring sensor 11 according to the first configuration example.
  • the viewing data processing unit 48 is omitted, and the ranging sensor 11 has two measurement modes, dToF ranging mode and iToF ranging mode. It is a configuration corresponding to only.
  • the iToF data processing unit 47 is omitted, and the distance measuring sensor 11 has two measurement modes, dToF distance measuring mode and viewing mode. It is a configuration corresponding to only.
  • the distance measuring sensor 11 in the first configuration example of the first embodiment has a configuration capable of either iToF distance measurement or viewing in addition to dToF distance measurement. You can also do it.
  • FIG. 5 shows an example of a circuit configuration that can be adopted as a SPAD pixel of the SPAD pixel array unit 43.
  • the SPAD pixel 101 in FIG. 5 is composed of a load element (LOAD element) 121, a SPAD 122, and an inverter 123.
  • LOAD element load element
  • one terminal of the load element 121 is connected to the power supply voltage Vcc, and the other terminal is connected to the cathode of the SPAD 122 and the input terminal of the inverter 123.
  • the other terminal of the load element 121 and the input terminal of the inverter 123 are connected to the cathode of the SPAD 122, and a predetermined power supply voltage VAN is applied to the anode from the outside.
  • the SPAD 122 is a photodiode (single photon avalanche photodiode) that avalanche-amplifies the generated electrons and outputs a signal with a cathode voltage V CA when incident light is incident.
  • the power supply voltage V AN supplied to the anode of the SPAD 122 has, for example, a negative bias (negative potential) of about ⁇ 20 V.
  • a voltage larger than the yield voltage VBD of the SPAD 122 (ExcessBias) is applied to the SPAD 122.
  • the yield voltage VBD of the SPAD 122 is 20V and a voltage 3V larger than that is applied, the power supply potential Vcc is 3V.
  • the power supply voltage Vcc (for example, 3V) is supplied to the cathode of the SPAD122 and the power supply voltage VAN (for example, -20V) is supplied to the anode
  • the cathode voltage V CA of the SPAD 122 becomes lower than 0 V at the time ct
  • the anode-cathode voltage of the SPAD 122 becomes lower than the breakdown voltage VBD, so that the avalanche amplification is stopped.
  • the current generated by the avalanche amplification flows through the load element 121 to generate a voltage drop, and the cathode voltage V CA becomes lower than the breakdown voltage VBD as the generated voltage drop causes the avalanche amplification.
  • the operation to stop is the quench operation.
  • the inverter 123 outputs a High detection signal when a voltage drop occurs and the cathode voltage V CA is lower than the predetermined threshold voltage Vth. Assuming that the time when the cathode voltage V CA becomes lower than the threshold voltage Vth due to the voltage drop is time tb and the time when the cathode voltage V CA becomes equal to or higher than the threshold voltage Vth due to the recharge operation is time td, the period from time tb to time td. , High detection signal is output from the SPAD pixel 101.
  • the pulse output by the SPAD pixel 101 in response to the incident of this photon is referred to as the SPAD output pulse PA0.
  • the SPAD pixel 101 outputs the SPAD output pulse PA0 as a pixel signal to the readout circuit 45.
  • the cathode of the SPAD 122, the input terminal of the inverter 123, and GND are connected by a switching element (not shown), and the switching element is used. Can be done by turning on and off based on the active control signal.
  • the switching element is turned on, the cathode of the SPAD 122 becomes 0V, so that the voltage between the anode and the cathode of the SPAD 122 becomes the breakdown voltage VBD or less, and even if a photon enters the SPAD 122, it does not react.
  • the circuit configuration of the SPAD pixel is not limited to the circuit configuration shown in FIG. 5, and other configurations can be adopted.
  • a configuration of an active recharge circuit that actively recovers the voltage drop caused by quenching may be adopted.
  • FIG. 7 is a diagram illustrating the principle of dToF ranging.
  • the light emitting unit 13 emits single light according to the light emitting pulse shown in the upper row.
  • the irradiation light emitted from the light emitting unit 13 is reflected by the object Tg, and is incident on the ranging sensor 11 as reflected light after ⁇ t time.
  • light such as external light or secondarily reflected reflected light is incident other than after ⁇ t time according to the distance DS to the object Tg. Therefore, by repeating the emission and reception of the irradiation light a plurality of times (for example, several times to several hundred times), the histogram Hg as shown in the lower part of FIG. 7 is generated. Then, the arrival time ⁇ t of the irradiation light is determined based on the peak value of the histogram Hg, and the distance DS from the determined arrival time ⁇ t to the object Tg is calculated.
  • FIG. 8 is a diagram illustrating the principle of iToF distance measurement.
  • the light emitting unit 13 periodically repeats light emission and extinguishing (light emission stop) according to the light emission pulse shown in the upper row.
  • the emission period A and the stop period B of the irradiation light are the same period T p .
  • the irradiation light emitted from the light emitting unit 13 is reflected by the object Tg, and is incident on the ranging sensor 11 as reflected light after ⁇ t time. That is, the delay time ⁇ t of the reflected light incident on the distance measuring sensor 11 corresponds to the distance DS to the object.
  • the light receiving timing of the ranging sensor 11 has a phase of 0 ° light receiving timing having the same phase as the light emitting timing of the irradiation light and a phase in which the light emitting timing of the irradiation light is inverted.
  • the ratio of the charge Q1 received at the 0 ° light receiving timing and the charge Q2 received at the 180 ° timing changes depending on the delay time ⁇ t according to the distance DS. Therefore, it is possible to obtain the distance DS to the object Tg from the ratio of the charge Q1 in the light receiving period of phase 0 ° and the charge Q2 in the light receiving period of phase 180 °.
  • FIG. 9 is a diagram illustrating the processing of the dToF data processing unit 46.
  • the histogram generation circuit 71 detects the emission timing of the irradiation light in the emission unit 13 based on the emission pulse from the emission timing control unit 42, and starts counting.
  • the histogram generation circuit 71 acquires the time when the SPAD 122 reacts, that is, the time when the SPAD output pulse PA0 supplied from the read circuit 45 becomes High for each pixel, and creates a histogram.
  • the sampling interval for sampling (detecting) whether the SPAD output pulse PA0 is High or Low is, for example, an interval on the order of gigahertz (GHz).
  • the SPAD output pulse PA0 may become High multiple times for one light emission due to factors such as external light, secondary reflected light, and noise.
  • the SPAD 122 reacts twice at the time t1 and the time t2 after the time t0 when the light emission is started.
  • the count value from time t0 to time t1 is CNT1
  • the count value from time t0 to time t2 is CNT2.
  • the histogram generation circuit 71 repeatedly executes light emission of irradiation light and light reception of the reflected light a predetermined number of times (for example, several times to several hundred times), generates a histogram of count values for each pixel, and generates a histogram.
  • the data is supplied to the distance calculation unit 72.
  • the distance calculation unit 72 detects the peak value of the histogram with respect to the histogram data supplied from the histogram generation circuit 71, calculates the distance corresponding to the flight time of the peak value, and outputs it to the selection unit 49.
  • FIG. 10 is a diagram illustrating the processing of the iToF data processing unit 47.
  • the phase count circuit 81 has a phase (phase 180) in which the emission period A having the same phase (phase 0 degree) as the emission timing of the irradiation light and the emission timing of the irradiation light are inverted based on the emission pulse from the emission timing control unit 42. Identifies the outage period B of degree).
  • the emission interval of the irradiation light is an interval of several tens to several hundreds of megaHz (MHz) order.
  • the phase count circuit 81 determines for each pixel whether the timing at which the SPAD 122 reacts, in other words, the timing at which the SPAD output pulse PA0 supplied from the readout circuit 45 changes to High, is the light emission period A or the stop period B. To detect.
  • the SPAD 122 reacts twice at the time t11 and the time t12 after the time t0 when the light emission is started.
  • the reaction of SPAD122 at time t11 is the reaction of stop period B
  • the reaction of SPAD122 at time t12 is the reaction of emission period A.
  • the phase count circuit 81 counts the number of reactions in the light emission period A and the number of reactions in the stop period B, and supplies them to the distance calculation unit 82.
  • the distance calculation unit 82 calculates the distance to the subject for each pixel based on the ratio of the number of reactions in the light emission period A and the number of reactions in the stop period B, and outputs the distance to the selection unit 49.
  • FIG. 11 is a diagram illustrating the processing of the viewing data processing unit 48.
  • the light emitting unit 13 is either constantly stopped or constantly emitted. In this embodiment, the light emission is always stopped.
  • the photon count circuit 91 counts the number of times the SPAD 122 reacts within a predetermined measurement period, that is, the number of times the photon is incident, for each pixel, and supplies the count result to the image data processing unit 92.
  • the SPAD 122 reacts twice at the time t21 and the time t22 after the time t0 when the light emission is started.
  • the image data processing unit 92 generates image data in which the photon count result measured in each pixel is used as a pixel value (brightness value) according to the amount of received light, and supplies the image data to the selection unit 49.
  • the light emitting unit 13 When the measurement mode is the viewing mode, the light emitting unit 13 always stops emitting light. Therefore, in the example of FIG. 12, a case where the measurement mode is switched between the dToF ranging mode and the iToF ranging mode will be described.
  • IToF distance measurement and dToF distance measurement are executed at different timings by time division processing in order to prevent interference.
  • the mode switching control unit 41A switches the measurement mode to the iToF distance measurement mode. That is, the mode switching control unit 41A supplies the iToF distance measurement mode to the light emission timing control unit 42 as the measurement mode to be executed. As a result, at time t50 to time t52, the light emission timing control unit 42 performs light emission control in the iToF distance measurement mode.
  • the light emission timing control unit 42 generates a light emission pulse having a modulation frequency of several tens to several hundreds MHz, outputs the light emission pulse to the LD 12 via the input / output terminal 51b, and is an iToF data processing unit. It also supplies 47.
  • Each SPAD pixel 101 of the SPAD pixel array unit 43 outputs a High SPAD output pulse PA0 in response to the incident of a photon to the iToF data processing unit 47 via the readout circuit 45.
  • the mode switching control unit 41A switches the measurement mode to the dToF distance measurement mode. That is, the mode switching control unit 41A supplies the dToF distance measurement mode to the light emission timing control unit 42 as the measurement mode to be executed. As a result, at times t52 to t54, the light emission timing control unit 42 performs light emission control in the dToF ranging mode. Further, at time t52 to t54, the iToF data processing unit 47 reaches the subject based on the ratio of the number of reactions in the light emission period A and the number of reactions in the stop period B during the period from time t51 to time t52. The distance is calculated and output for each pixel.
  • the light emission timing control unit 42 generates a light emission pulse that becomes High for a predetermined period, outputs the light emission pulse to the LD 12 via the input / output terminal 51b, and supplies the light emission pulse to the dToF data processing unit 46. ..
  • Each SPAD pixel 101 of the SPAD pixel array unit 43 outputs a High SPAD output pulse PA0 in response to the incident of a photon to the dToF data processing unit 46 via the readout circuit 45.
  • the emission pulse becomes High a plurality of times (for example, several times to several hundred times).
  • the mode switching control unit 41A switches the measurement mode to the iToF distance measurement mode. That is, the mode switching control unit 41A supplies the iToF distance measurement mode to the light emission timing control unit 42 as the measurement mode to be executed. As a result, at time t54 to time t56, the light emission timing control unit 42 performs light emission control in the iToF distance measurement mode. Further, at the time t54 to the time t56, the dToF data processing unit 46 calculates the distance to the subject for each pixel based on the histogram of the time when the SPAD 122 reacts, which is generated during the period from the time t53 to the time t54. And output.
  • the light emission timing control unit 42 generates a light emission pulse having a modulation frequency of several tens to several hundreds MHz, outputs it to the LD 12 via the input / output terminal 51b, and is an iToF data processing unit. It also supplies 47.
  • Each SPAD pixel 101 of the SPAD pixel array unit 43 outputs a High SPAD output pulse PA0 in response to the incident of a photon to the iToF data processing unit 47 via the readout circuit 45.
  • the mode switching control unit 41A switches the measurement mode to the dToF distance measurement mode. That is, the mode switching control unit 41A supplies the dToF distance measurement mode to the light emission timing control unit 42 as the measurement mode to be executed. As a result, at times t56 to t58, the light emission timing control unit 42 performs light emission control in the dToF ranging mode. Further, at time t56 to t58, the iToF data processing unit 47 reaches the subject based on the ratio of the number of reactions in the light emission period A and the number of reactions in the stop period B during the period from time t55 to time t56. The distance is calculated and output for each pixel.
  • the light emission timing control unit 42 generates a light emission pulse that becomes High for a predetermined period, outputs the light emission pulse to the LD 12 via the input / output terminal 51b, and supplies the light emission pulse to the dToF data processing unit 46. ..
  • Each SPAD pixel 101 of the SPAD pixel array unit 43 outputs a High SPAD output pulse PA0 in response to the incident of a photon to the dToF data processing unit 46 via the readout circuit 45.
  • the emission pulse becomes High a plurality of times (for example, several times to several hundred times).
  • the mode switching control unit 41A switches the measurement mode to the iToF distance measurement mode. That is, the mode switching control unit 41A supplies the iToF distance measurement mode to the light emission timing control unit 42 as the measurement mode to be executed. As a result, at time t58 to time t60, the light emission timing control unit 42 performs light emission control in the iToF distance measurement mode. Further, at time t58 to time t60, the dToF data processing unit 46 calculates the distance to the subject for each pixel based on the histogram of the time when the SPAD 122 reacted, which was generated during the period from time t57 to time t58. And output.
  • the light emission timing control unit 42 generates a light emission pulse having a modulation frequency of several tens to several hundreds MHz, outputs it to the LD 12 via the input / output terminal 51b, and is an iToF data processing unit. It also supplies 47.
  • Each SPAD pixel 101 of the SPAD pixel array unit 43 outputs a High SPAD output pulse PA0 in response to the incident of a photon to the iToF data processing unit 47 via the readout circuit 45.
  • the ranging sensor 11 switches between the iToF ranging mode and the dToF ranging mode in time division. More specifically, the distance measuring sensor 11 executes data processing in the other measurement mode and outputs distance measurement data during the period of exposure (light reception) in one measurement mode. Further, during the period of exposure (light reception) in the other measurement mode, the data processing in one measurement mode is executed and the distance measurement data is output. As a result, measurement in a plurality of measurement modes can be efficiently performed.
  • FIG. 13 is a block diagram showing a second configuration example of the first embodiment of the distance measuring sensor 11.
  • FIG. 13 the parts corresponding to the first configuration example shown in FIG. 2 are designated by the same reference numerals, the description of the parts will be omitted as appropriate, and different parts will be described.
  • a high-speed sampling circuit 141 is newly added to the subsequent stage of the readout circuit 45 as compared with the first configuration example shown in FIG.
  • the histogram generation circuit 71 of the dToF data processing unit 46 the phase counting circuit 81 of the iToF data processing unit 47, and the photon counting circuit 91 of the viewing data processing unit 48 in the first configuration example have been added.
  • the ranging sensor 11 according to the second configuration example commonly uses the high-speed sampling circuit 141 in each measurement mode of the iToF ranging mode, the dToF ranging mode, and the viewing mode.
  • the high-speed sampling circuit 141 samples the SPAD output pulse PA0 (state) of each SPAD pixel 101 supplied from the readout circuit 45 in each measurement mode at the first frequency (high frequency), and n bits (n>) thereof.
  • the sampling result of 1) is output to the subsequent stage at a second frequency (low frequency) lower than the first frequency.
  • the sampling interval when sampling at a high frequency is defined as the high-speed sampling interval SD1
  • the time interval for outputting the n-bit sampling result is defined as the low-speed output interval SD2.
  • the histogram generation circuit 71A generates histogram data using the high-speed sampling result supplied from the high-speed sampling circuit 141 and supplies it to the distance calculation unit 72.
  • the phase count circuit 81A counts the number of times the reflected light is received in each of the light emission period A (phase 0 degree) and the stop period B (phase 180 degree) using the high speed sampling result supplied from the high speed sampling circuit 141.
  • the photon count circuit 91A calculates the photon count result using the high-speed sampling result supplied from the high-speed sampling circuit 141 and supplies it to the image data processing unit 92.
  • FIG. 14 is a diagram showing an operation example of the high-speed sampling circuit 141.
  • the high-speed sampling circuit 141 executes a process of sampling the SPAD output pulse PA0 (state) at a high frequency in a predetermined high-speed sampling period, and uses the sampling result as a set of n-bit data for a high-speed sampling period. Output in units.
  • the sampling interval when sampling at a high frequency is the high-speed sampling interval SD1
  • the time interval for outputting the n-bit sampling result is the low-speed output interval SD2.
  • SD1 SD2 ⁇ (1/8), and the high-speed sampling period is equal to the low-speed output interval SD2.
  • the high-speed sampling circuit 141 divides the high-speed sampling period (low-speed output interval SD2) into eight sections D0 to D7, and when the SPAD 122 reacts in the section D0, the first bit is set to ". It is set to "High”, and when the SPAD 122 reacts in the section D1, the second bit is set to "High”, and when the SPAD 122 reacts in the section D2, the third bit is output as "High”. Similarly, when the SPAD 122 reacts in the section D3 to the section D7, the 4th bit to the 8th bit are set to “High” and output, respectively.
  • the emission interval iToF_LS of the irradiation light in iToF distance measurement needs to be a multiple of the high-speed sampling interval SD1. Further, the high-speed sampling period (low-speed output interval SD2) must be the same as the emission interval iToF_LS of the irradiation light in iToF ranging, or a multiple of the emission interval iToF_LS.
  • the emission interval iToF_LS of the irradiation light in iToF distance measurement is 8 times the high-speed sampling interval SD1, and the high-speed sampling period (low-speed output interval SD2) is the emission interval iToF_LS of the irradiation light in iToF distance measurement. It is the same.
  • SD1 SD2 ⁇ (1/4), and the high-speed sampling period is equal to the low-speed output interval SD2.
  • the high-speed sampling circuit 141 divides the high-speed sampling period (low-speed output interval SD2) into four sections D0 to D3, and when the SPAD 122 reacts in the section D0, the first bit is set to ". High, the second bit is set to "High” when the SPAD122 reacts in the section D1, the third bit is set to "High” when the SPAD122 reacts in the section D2, and the SPAD122 reacts in the section D3. Outputs the 4th bit as "High".
  • the emission interval iToF_LS of the irradiation light in iToF ranging needs to be a multiple of the high-speed sampling interval SD1. Further, the high-speed sampling period (low-speed output interval SD2) must be the same as the emission interval iToF_LS of the irradiation light in iToF ranging, or a multiple of the emission interval iToF_LS.
  • the emission interval iToF_LS of the irradiation light in iToF distance measurement is four times the high-speed sampling interval SD1, and the high-speed sampling period (low-speed output interval SD2) is the emission interval iToF_LS of the irradiation light in iToF distance measurement. It is the same.
  • FIG. 16 shows a first configuration example of the high-speed sampling circuit 141.
  • the high-speed sampling circuit 141 of FIG. 16 shows a configuration example in which a 4-bit sampling result is output at a low frequency of 1/4 of the high-speed sampling, which is an example shown in FIG.
  • the high-speed sampling circuit 141 includes four 1-bit latch circuits 161A to 161D and one 4-bit latch circuit 162.
  • the SPAD output pulse PA0 from the SPAD pixel 101 is input to the four 1-bit latch circuits 161A to 161D.
  • the lengths of the wirings of the SPAD pixel 101 and the 1-bit latch circuits 161A to 161D are set to be equal.
  • the 1-bit latch circuit 161 outputs a latch output pulse PB latching the SPAD output pulse PA0 to the 4-bit latch circuit 162 based on the input clock Ck.
  • the clock Ck input to the 1-bit latch circuit 161A is defined as the clock Ck1
  • the latch output pulse PB output to the 4-bit latch circuit 162 is defined as the latch output pulse PB0.
  • the clock Ck input to the 1-bit latch circuit 161B is defined as the clock Ck2
  • the latch output pulse PB output to the 4-bit latch circuit 162 is defined as the latch output pulse PB1.
  • the clock Ck input to the 1-bit latch circuit 161C is defined as the clock Ck3, and the latch output pulse PB output to the 4-bit latch circuit 162 is defined as the latch output pulse PB2.
  • the clock Ck input to the 1-bit latch circuit 161D is defined as the clock Ck4, and the latch output pulse PB output to the 4-bit latch circuit 162 is defined as the latch output pulse PB3.
  • the frequencies of the clocks Ck1 to Ck4 input to the 1-bit latch circuits 161A to 161D are low frequencies that are 1/4 of the high frequencies corresponding to the high-speed sampling interval SD1. Further, the clocks Ck1 to Ck4 are signals whose phases are shifted by the high-speed sampling interval SD1 with respect to the clock Ck of the adjacent 1-bit latch circuit 161.
  • the 4-bit latch circuit 162 latches the latch output pulses PB0 to PB3 output from each of the 1-bit latch circuits 161A to 161D based on the input clock Ck1, and the result is the 4-bit latch output pulse [PB0'. , PB1', PB2', PB3'] and output to the subsequent stage.
  • the processing timing of the 4-bit latch circuit 162 is delayed by one cycle with the clock Ck1 from the processing of the 1-bit latch circuits 161A to 161D.
  • FIG. 17 is a time chart illustrating the processing of the high-speed sampling circuit 141 of FIG. 16 when the measurement mode is the dToF distance measurement mode.
  • the high frequency sampling clock (high-speed sampling clock) corresponding to the high-speed sampling interval SD1 is set to 1 GHz.
  • the low frequency clocks Ck1 to Ck4 corresponding to the low speed output interval SD2 are 250 MHz.
  • the time when the light emitting unit 13, which is the base point of light emission, emits the irradiation light is set to time t0.
  • the SPAD pixel 101 receives the reflected light of the irradiation light emitted at the time t0 by the light emitting unit 13 and outputs the High SPAD output pulse PA0 during the period from the time t100 to the time t101.
  • the SPAD output pulse PA0 is sampled with a high-speed sampling clock of 1 GHz
  • the High SPAD output pulse PA0 is detected for the first time at the rising edge of the time t111 after the time t100, so the High SPAD is detected in the 7th cycle.
  • Output pulse PA0 is detected.
  • the clock Ck3 input to the 1-bit latch circuit 161C becomes High, and the 1-bit latch circuit 161C detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB2 to High. .. Then, at the time t115 when the clock Ck3 becomes High next, the 1-bit latch circuit 161C detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB2 to Low. Therefore, the latch output pulse PB2 becomes High during the period from time t111 to time t115.
  • the clock Ck4 input to the 1-bit latch circuit 161D becomes High, and the 1-bit latch circuit 161D detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB3 to High. .. Then, at the time t116 when the clock Ck4 becomes High next, the 1-bit latch circuit 161D detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB3 to Low. Therefore, the latch output pulse PB2 becomes High during the period from time t112 to time t116.
  • the clock Ck1 input to the 1-bit latch circuit 161A becomes High, and the 1-bit latch circuit 161A detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB0 to High. .. Then, at the time t117 when the clock Ck1 becomes High next, the 1-bit latch circuit 161A detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB0 to Low. Therefore, the latch output pulse PB0 becomes High during the period from time t113 to time t117.
  • the clock Ck2 input to the 1-bit latch circuit 161B becomes High, and the 1-bit latch circuit 161B detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB1 to High. .. Then, at the time t118 when the clock Ck2 becomes High next, the 1-bit latch circuit 161B detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB1 to Low. Therefore, the latch output pulse PB1 becomes High during the period from time t114 to time t118.
  • the 4-bit latch circuit 162 detects the latch output pulses PB0 to PB3 output from the 1-bit latch circuits 161A to 161D, respectively, based on the input clock Ck1.
  • the processing timing of the 4-bit latch circuit 162 is delayed by one cycle with the clock Ck1 from the processing of the 1-bit latch circuits 161A to 161D, the light emission base point (time t0) in the lower stage of FIG. 17 is from the light emission base point in the upper stage. , The clock Ck1 is off by one cycle.
  • the 4-bit latch circuit 162 detects the latch output pulses PB0 to PB3 and outputs the 4-bit latch output pulse [PB0', PB1', PB2', PB3']. Output.
  • the 4-bit latch circuit 162 detects the latch output pulses PB0 to PB3 and outputs the 4-bit latch output pulse [PB0', PB1', PB2', PB3']. Output.
  • the high-speed sampling circuit 141 outputs a 4-bit latch output pulse [PB0', PB1', PB2', PB3'] with a low sampling clock of 250 MHz.
  • the 4-bit latch output pulse [PB0', PB1', PB2', PB3'] is [Low, Low, Low, Low], [Low, Low, High, High], Since it becomes [High, High, Low, Low], it becomes High in the 7th cycle as in the case where the SPAD output pulse PA0 is sampled with a high-speed sampling clock of 1 GHz.
  • the high-speed sampling circuit 141 converts the information of 4 cycles of 1 GHz into the information of 4 bits of 250 MHz and outputs it.
  • FIG. 18 shows the processing of the histogram generation circuit 71A based on the 4-bit latch output pulse sequentially output by the high speed sampling circuit 141.
  • the 4-bit latch output pulse [PB0', PB1', PB2', PB3'] sequentially output by the high-speed sampling circuit 141 is high-speed from the base point of light emission (time t0).
  • Sampling interval Shows the sampling result of sampling the state of the SPAD output pulse PA0 at each time of SD1. More specifically, the latch output pulses PB0', PB1', PB2', PB3', PB0', PB1', PB2', PB3 PB0', PB1', PB2', PB3, which are sequentially output by the high-speed sampling circuit 141,
  • Each bit value of ... Represents the high or low state of the high-speed sampling interval SD1 of the SPAD output pulse PA0 from the base point of light emission (time t0).
  • the histogram generation circuit 71A generates a histogram by integrating the number of Highs of the SPAD output pulse PA0 at each time of the high-speed sampling interval SD1, and supplies the histogram to the distance calculation unit 72. do.
  • the distance calculation unit 72 detects the peak value of the histogram based on the histogram data supplied from the histogram generation circuit 71, and calculates the distance to the subject.
  • a histogram is not generated by integrating the number of Highs of the SPAD output pulse PA0 at each time of the high-speed sampling interval SD1, but a 4-bit latch output pulse [PB0', PB1 of 250 MHz. ', PB2', PB3'] may count the number of cycles until it first becomes High and generate a histogram of the number of cycles.
  • the 4-bit latch output pulse [PB0', PB1', PB2', PB3'] becomes High for the first time in the 7th cycle, so that the histogram generation circuit 71A Counts up the frequency of the "7th" cycle by one. Then, the distance to the subject may be calculated based on the peak value of the histogram of the number of cycles finally generated.
  • FIG. 19 is a time chart illustrating the processing of the high-speed sampling circuit 141 and the iToF data processing unit 47 of FIG. 16 when the measurement mode is the iToF distance measurement mode.
  • the high frequency sampling clock (high speed sampling clock) is 1 GHz, and the low frequency clocks Ck1 to Ck4 are 250 MHz.
  • the emission interval iToF_LS of the irradiation light in iToF distance measurement is 4 cycles of 1 GHz high-speed sampling clock, and the high-speed sampling period (low-speed output interval SD2) is the same as the emission interval iToF_LS of the irradiation light in iToF distance measurement.
  • the light emission timing control unit 42 divides the light emission interval iToF_LS into two, a light emission period A and a stop period B, generates a light emission pulse that alternately repeats the light emission period A and the stop period B, and outputs the light emission pulse to the LD 12.
  • the time at which the light emission timing control unit 42 starts light emission is set to time t0. It is assumed that the SPAD pixel 101 outputs a High SPAD output pulse PA0 for a period from time t140 to time t141 and a period from time t142 to time t143, for example.
  • the four 1-bit latch circuits 161A to 161D of the high-speed sampling circuit 141 are detected. Of these, only two 1-bit latch circuits 161 are used. The remaining two 1-bit latch circuits 161 can be stopped in order to reduce power consumption. In the example of FIG. 19, 1-bit latch circuits 161B and 161D are used.
  • the 1-bit latch circuits 161B and 161D detect the reaction of SPAD122 at the rising timing of the input clock Ck. Since the clock Ck2 has an edge rising at the beginning of the stop period B, the 1-bit latch circuit 161B detects the reaction of the SPAD 122 in the light emission period A. Since the clock Ck4 has an edge rising at the beginning of the light emission period A, the 1-bit latch circuit 161D detects the reaction of the SPAD 122 during the stop period B.
  • the clock Ck4 input to the 1-bit latch circuit 161D becomes High, and the 1-bit latch circuit 161D detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB3 to High. .. Then, at the time t153 when the clock Ck4 becomes High next, the 1-bit latch circuit 161D detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB3 to Low. Therefore, the latch output pulse PB3 becomes High during the period from time t151 to time t153.
  • the clock Ck2 input to the 1-bit latch circuit 161B becomes High, and the 1-bit latch circuit 161B detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB1 to High. .. Then, at the time t154 when the clock Ck2 becomes High next, the 1-bit latch circuit 161B detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB1 to Low. Therefore, the latch output pulse PB1 becomes High during the period from time t152 to time t154.
  • the 4-bit latch circuit 162 detects the latch output pulses PB1 and PB3 output from the 1-bit latch circuits 161B and 161D, respectively, based on the input clock Ck1, and the 2-bit latch output pulse corresponding to the state [ PB1', PB3'] is output to the phase count circuit 81A.
  • the phase count circuit 81A has a counter that counts the number of reactions in the light emission period A and the number of reactions in the stop period B.
  • a counter that counts the number of reactions in the light emission period A is called a period A counter
  • a counter that counts the number of reactions in the stop period B is called a period B counter.
  • the stop is performed. It indicates that the SPAD 122 reacted in the period B. Therefore, the phase count circuit 81A counts up the period B counter by 1 for one SPAD reaction period surrounded by the frame 171.
  • the clock Ck2 input to the 1-bit latch circuit 161B becomes High, and the 1-bit latch circuit 161B detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB1 to High. .. Then, at the time t157 when the clock Ck2 becomes High next, the 1-bit latch circuit 161B detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB1 to Low. Therefore, the latch output pulse PB1 becomes High during the period from time t155 to time t157.
  • the clock Ck4 input to the 1-bit latch circuit 161D becomes High, and the 1-bit latch circuit 161D detects the SPAD output pulse PA0 of High and shifts the latch output pulse PB3 to High. .. Then, at the time t158 when the clock Ck4 becomes High next, the 1-bit latch circuit 161D detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB3 to Low. Therefore, the latch output pulse PB3 becomes High during the period from time t156 to time t158.
  • the 4-bit latch circuit 162 detects the latch output pulses PB1 and PB3 output from the 1-bit latch circuits 161B and 161D, respectively, based on the input clock Ck1, and the 2-bit latch output pulse corresponding to the state [ PB1', PB3'] is output to the phase count circuit 81A.
  • the phase count circuit 81A counts up the period A counter by 1 for one SPAD reaction period surrounded by the frame 172.
  • the phase count circuit 81A depends on whether the latch output pulse PB1'corresponding to the light emission period A becomes High first or the latch output pulse PB3' corresponding to the stop period B becomes High first. Then, it is determined whether the SPAD 122 reacts in the light emission period A or the SPAD 122 reacts in the stop period B. Then, the phase count circuit 81A counts the number of reactions in the light emission period A and the number of reactions in the stop period B by the period A counter and the period B counter, respectively.
  • the distance calculation unit 82 detects the phase difference of the reflected light using the ratio of the count results, and calculates the distance to the subject.
  • the above-mentioned example is a method of detecting the light receiving timing in two phases of phase 0 degree and phase 180 degree with respect to the light emission period A, but in iToF distance measurement, phase 0 degree, phase 90 degree, and phase 180 are used. There is also a method of detecting with four phases of degree and phase of 270 degrees.
  • the number of SPAD reactions in each phase is detected by using the four 1-bit latch circuits 161A to 161D of the high-speed sampling circuit 141.
  • four 1-bit latch circuits 161A to 161D may be used to operate and detect at different duty ratios (for example, 75% and 25%). ..
  • FIG. 20 is a time chart illustrating the processing of the high-speed sampling circuit 141 and the viewing data processing unit 48 of FIG. 16 when the measurement mode is the viewing mode.
  • the high frequency sampling clock (high speed sampling clock) is 1 GHz, and the low frequency clocks Ck1 to Ck4 are 250 MHz.
  • the 1-bit latch circuit 161A In the viewing mode, since only the number of times the SPAD 122 has reacted is detected, only one 1-bit latch circuit 161 of the four 1-bit latch circuits 161A to 161D of the high-speed sampling circuit 141 is used. The remaining three 1-bit latch circuits 161 can be stopped in order to reduce power consumption. In the example of FIG. 20, the 1-bit latch circuit 161A is used.
  • the clock Ck1 input to the 1-bit latch circuit 161A becomes High, and the 1-bit latch circuit 161A detects the SPAD output pulse PA0 of High and transitions the latch output pulse PB0 to High. Let me. Then, at the time t192 when the clock Ck1 becomes High next, the 1-bit latch circuit 161A detects the Low SPAD output pulse PA0 and shifts the latch output pulse PB0 to Low. Therefore, the latch output pulse PB0 becomes High during the period from time t191 to time t192.
  • the 4-bit latch circuit 162 detects the latch output pulse PB0 output from the 1-bit latch circuit 161A based on the input clock Ck1, and outputs the 1-bit latch output pulse PB0'corresponding to that state to the photon count circuit. Output to 91A.
  • the photon count circuit 91A has a counter that counts the number of times the 1-bit latch output pulse PB0'supplied from the high-speed sampling circuit 141 is asserted (changed to High).
  • the photon count circuit 91A counts up the counter by 1 for one SPAD reaction period surrounded by the frame 173.
  • the final count result is supplied to the image data processing unit 92, and the image data processing unit 92 generates image data having the count result as a pixel value (brightness value).
  • the frequency of the high-speed sampling clock is described as 1 GHz, which is the same as the dToF ranging mode, but the operating clock frequency of the iToF ranging mode and the viewing mode is the dToF ranging mode. It may be changed to the operating clock frequency of.
  • FIG. 21 shows a second configuration example of the high-speed sampling circuit 141.
  • the high-speed sampling circuit 141 of FIG. 21 corresponds to the case of outputting a 4-bit sampling result at a low frequency of 1/4 of the high-speed sampling of the first configuration example shown in FIG.
  • the high-speed sampling circuit 141 includes a high-speed counter circuit 181, a fixed pulse generation circuit 182, a latch circuit 183, and a clock transfer circuit 184.
  • the high frequency sampling clock (high speed sampling clock) CK_H corresponding to the high speed sampling interval SD1 is input to the high speed counter circuit 181.
  • the high-speed counter circuit 181 periodically counts only the high-speed sampling period of FIG. 15 with 2 bits based on the high-speed sampling clock CK_H.
  • the high-speed counter circuit 181 supplies the count result to the latch circuit 183. By setting the count number to a power of 2, a free run counter that does not require a synchronous reset can be used.
  • the fixed pulse generation circuit 182 detects the rising edge of the SPAD output pulse PA0 supplied from the SPAD pixel 101, generates a SPAD output pulse PA0'with a fixed High period, and supplies it to the latch circuit 183 and the clock transfer circuit 184. That is, since the SPAD pixel 101 shown in FIG. 5 is a circuit that passively performs quenching and recharging, the length of the High period in which the SPAD output pulse PA0 becomes High according to the detection of photons differs each time.
  • the fixed pulse generation circuit 182 converts the SPAD output pulse PA0 having a variable High period supplied from the SPAD pixel 101 into a SPAD output pulse PA0'with a fixed High period, and outputs the pulse PA0.
  • the High period can be, for example, one cycle of the low-speed sampling clock CK_L.
  • the latch circuit 183 latches the 2-bit count value from the high-speed counter circuit 181 based on the SPAD output pulse PA0'and supplies it to the clock transfer circuit 184.
  • the low-speed sampling clock CK_L which is a low frequency of 1/4 of the high-speed sampling, is input to the clock transfer circuit 184.
  • the clock transfer circuit 184 detects the low-speed clock cycle number LOWCY_NUM and the high-speed count value HIGHCNT_NUM based on the low-speed sampling clock CK_L, and outputs the high-speed count value HIGHCNT_NUM to the subsequent stage.
  • the number of low-speed clock cycles LOWCY_NUM indicates the cycle in which the assertion of the SPAD output pulse PA0'is detected in the low-speed sampling clock CK_L from the light emission start time t0.
  • the high-speed count value HIGHCNT_NUM represents the latch data (2 bits) of the latch circuit 183 when the SPAD output pulse PA0'is asserted.
  • FIG. 22 is a time chart illustrating the processing of the high-speed sampling circuit 141 of FIG. 21 when the measurement mode is the dToF distance measurement mode.
  • the high-speed sampling clock CK_H is 1 GHz and the low-speed sampling clock CK_L is 250 MHz.
  • the time when the light emitting unit 13, which is the base point of light emission, emits the irradiation light is set to time t0. It is assumed that the SPAD pixel 101 receives the reflected light of the irradiation light emitted at the time t0 by the light emitting unit 13 and outputs the High SPAD output pulse PA0 during the period from the time t220 to the time t221.
  • the latch circuit 183 changes the clock, which is the count value of the high-speed counter 181 at that time, at time t241, which is the rising edge of the first high-speed sampling clock CK_H after the SPAD output pulse PA0'is set to High. Output to circuit 184.
  • the clock transfer circuit 184 counts the number of low-speed clock cycles LOWCY_NUM according to the low-speed sampling clock CK_L from the time t0 when the light emitting unit 13 emits the irradiation light, and the low-speed clock cycle when the SPAD output pulse PA0'is High. Detects and outputs the number LOWCY_NUM. Further, the clock transfer circuit 184 outputs the count value which is the output of the latch circuit 183 when the SPAD output pulse PA0'is High as the high-speed count value HIGHCNT_NUM.
  • the high-speed counter circuit 181 can be shared and used by a plurality of SPAD pixels 101 as shown in FIG. 23.
  • the dToF distance measurement mode, the iToF distance measurement mode, or the viewing mode is switched in time division, and the SPAD pixels 101 are commonly used in each measurement mode. Different measurements can be made depending on the.
  • the SPAD pixel 101 in common as the light receiving pixel, the number of parts can be reduced. Circuits other than the measured mode to be executed can stop the supply of power and clock. As a result, power consumption can be reduced. Since the distance measuring sensor 11 operates by switching the measurement mode in the sensor, and the control device 10 only needs to specify the measurement method and transmit the measurement request, the control of the control device 10 is simplified. By performing the operation according to each measurement mode in a time division manner, it is possible to measure the distance with high accuracy or generate viewing data with high resolution.
  • the frequency of the high-speed sampling clock in each measurement mode is described as 1 GHz, which is the same as in the dToF distance measurement mode, but the frequency of the high-speed sampling clock in the iToF distance measurement mode and the viewing mode is lower than that in the dToF distance measurement mode. It may be set. As a result, power consumption can be reduced.
  • the counting circuit of the phase counting circuit 81 and the counting circuit of the photon counting circuit 91 may be configured as a common circuit and may be used properly according to the measurement mode.
  • the distance calculation unit 72, the distance calculation unit 82, and the image data processing unit 92 are omitted, and the histogram data and the photon count result are output to the control device 10 as measurement data. May be good.
  • the calculation of the distance based on the histogram data or the phase count result and the generation of the viewing data based on the photon count result may be executed by a DSP (Digital Signal Processor) or the like in the subsequent stage.
  • the distance measuring system 1 is configured to include one light emitting unit 13 as shown in FIG. 1, but includes a plurality of light emitting units 13, for example, a light emitting unit 13 that emits irradiation light according to a distance measuring mode. You may switch.
  • the ranging sensor 11 switches between the dToF ranging mode, the iToF ranging mode, and the viewing mode in time division, and outputs the measurement results in each measurement mode in time division.
  • the distance measuring sensor 11 basically drives dToF distance measuring, generates a histogram based on the SPAD output pulse PA0 output by each SPAD pixel 101, and reaches the subject. Calculate the distance. Further, the ranging sensor 11 according to the second embodiment also generates viewing image data (viewing data) using the generated histogram data, and outputs the viewing image data at the same time as the dToF ranging data. In other words, in the second embodiment, when the control device 10 sends only the measurement request to the distance measuring sensor 11 without specifying the measurement method, the distance measuring sensor 11 measures dToF as a response to the measurement request. Distance measurement data and viewing data are returned.
  • FIG. 24 is a block diagram showing a first configuration example of the second embodiment of the distance measuring sensor 11.
  • FIG. 24 the parts corresponding to the first embodiment shown in FIG. 2 are designated by the same reference numerals, and the description of the parts will be omitted as appropriate.
  • the distance measuring sensor 11 includes a control unit 41, a light emission timing control unit 42, a SPAD control circuit 44, a SPAD pixel array unit 200, a read circuit 201, a dToF data processing unit 202, a viewing data processing unit 203, an output IF 204, and an input / output sensor 11. It has output terminals 51a to 51d.
  • control unit 41 In the distance measuring sensor 11 of FIG. 24, the control unit 41, the light emission timing control unit 42, and the SPAD control circuit 44 are common to the distance measuring sensor 11 of FIG. However, since the control unit 41 does not need to switch the measurement mode, it does not include the mode switching control unit 41A.
  • the SPAD pixel array unit 200, the readout circuit 201, the dToF data processing unit 202, the viewing data processing unit 203, and the output IF 204 are different from the distance measuring sensor 11 in FIG.
  • an input / output terminal 51d has been added.
  • the dToF data processing unit 202 has a histogram generation circuit 211 and a distance calculation unit 212.
  • the viewing data processing unit 203 includes a photon counting circuit 221 and an image data processing unit 222.
  • the first point shown in FIG. 2 is that the SPAD pixel array unit 200 is provided with an R (Red), G (Green), or B (Blue) color filter layer on the incident surface on which light is incident. It is different from the SPAD pixel array unit 43 of the embodiment.
  • FIG. 25 shows an example of a color filter layer provided in the SPAD pixel array unit 200.
  • the arrangement of the color filter layers of R, G, or B is not particularly limited, but is arranged by a so-called Bayer arrangement as shown in A of FIG. 25, for example.
  • the color filter layer of R transmits infrared (IR) and R light.
  • the color filter layer of B transmits infrared (IR) and B light.
  • the G color filter layer transmits infrared (IR) and G light.
  • the read circuit 201 supplies the pixel signal (SPAD output pulse PA0) supplied from each SPAD pixel 101 of the SPAD pixel array unit 200 to both the dToF data processing unit 202 and the viewing data processing unit 203. do.
  • the histogram generation circuit 211 of the dToF data processing unit 202 is repeatedly executed a predetermined number of times (for example, several times to several hundred times), and emits light of irradiation light thereof.
  • a histogram of the count value corresponding to the flight time is created for each pixel based on the received light of the reflected light, and the created histogram data is supplied to the distance calculation unit 212.
  • the histogram generation circuit 211 generates the count mask signal CNT_MK while generating the histogram data, and supplies the count mask signal CNT_MK to the photon count circuit 221 of the viewing data processing unit 203.
  • the distance calculation unit 212 performs noise removal, histogram peak detection, and the like on the histogram data supplied from the histogram generation circuit 211. Then, the distance calculation unit 212 calculates the flight time based on the peak value of the detected histogram, calculates the distance to the subject from the calculated flight time for each pixel, and supplies it to the output IF 204.
  • the photon count circuit 221 of the viewing data processing unit 203 counts the number of times a photon is incident on each pixel based on the pixel signal (SPAD output pulse PA0) supplied from each SPAD pixel 101 of the SPAD pixel array unit 200. .. However, the photon counting circuit 221 stops counting photons for a predetermined period in which the count mask signal CNT_MK supplied from the histogram generation circuit 211 is set to High.
  • the image data processing unit 222 generates viewing data based on the photon count result measured for each pixel and supplies it to the output IF 204.
  • the output IF 204 simultaneously outputs the distance measurement data supplied from the dToF data processing unit 202 and the viewing data supplied from the viewing data processing unit 203 to the control device 10.
  • the ranging data is output from the input / output terminal 51c to the control device 10, and the viewing data is output from the input / output terminal 51d to the control device 10.
  • the distance measurement data and the viewing data may be generated and output in units of one pixel, or may be generated and output in units of a plurality of pixels. Is the same as that of the first embodiment described above.
  • Count mask signal generation> The generation of the count mask signal CNT_MK performed by the histogram generation circuit 211 will be described with reference to FIGS. 26 and 27.
  • infrared light is transmitted through any of the R, G, and B color filter layers, and is received by all the SPAD pixels 101 of the SPAD pixel array unit 200.
  • Most of the received infrared light is reflected light of the irradiation light emitted from the light emitting unit 13, and is concentrated in the ⁇ t time according to the distance DS to the subject as shown in FIG. 26. Therefore, when a histogram is generated, the light in the period from the occurrence to the end of the peak of the histogram (hereinafter referred to as the peak period) corresponds to the infrared light, and the light other than the peak period is R, G, B. Corresponds to the light of.
  • the histogram generation circuit 211 detects the peak period from the occurrence to the end of the peak, generates a count mask signal CNT_MK such that the detected peak period becomes High, and supplies the count mask signal CNT_MK to the photon count circuit 221.
  • the peak period is, for example, a section in which the count value of the histogram detects a peak value (maximum value) of the first threshold value Vth1 or more, includes the peak value, and the count value is the second threshold value Vth2 (Vth1> Vth2) or more. Can be detected.
  • the ranging sensor 11 generates a histogram by repeating the emission and reception of the irradiation light a plurality of times (for example, several times to several hundred times), but as shown in FIG. 27, the first Set the peak determination period PKTIME to detect the peak period of the histogram several times.
  • FIG. 27 is an example in which, for example, the first two times of generating a histogram by repeating the irradiation light 100 times are set as the peak determination period PKTIME.
  • the times t300, t310, and t320 are the times when the irradiation light is emitted, and the time T100 between the emission times represents the emission interval.
  • the histogram generation circuit 211 detects that the ts1 period after td1 hour has elapsed from the emission start time and the ts2 period after td2 hour has elapsed are peak periods. Then, the histogram generation circuit 211 generates a count mask signal CNT_MK in which the ts1 period and the ts2 period are set to High according to the timing of the emission of the irradiation light after the third time t320, and supplies the count mask signal CNT_MK to the photon count circuit 221. do.
  • the photon count circuit 221 does not count up the photon count value even if the pixel signal (SPAD output pulse PA0) from the SPAD pixel 101 becomes High during the period when the count mask signal CNT_MK is High. That is, the photon counting is stopped while the count mask signal CNT_MK is High.
  • FIG. 28 is a block diagram showing a schematic configuration of a count circuit 261 provided for each unit in which the photon count circuit 221 of the viewing data processing unit 203 generates a histogram.
  • the count circuit 261 includes an AND circuit 281 and a counter circuit 282, and a count mask signal CNT_MK and a SPAD output pulse PA0 from the SPAD pixel 101 are input to the AND circuit 281.
  • the AND circuit 281 executes an AND operation of the count mask signal CNT_MK and the SPAD output pulse PA0, and outputs the execution result to the counter circuit 282.
  • the counter circuit 282 counts up the count value by 1 each time a High signal is input from the AND circuit 281, and supplies the count result to the image data processing unit 222 when the measurement is completed.
  • FIG. 29 is a block diagram showing a modified example of the first configuration example according to the second embodiment shown in FIG. 24.
  • a common circuit 205 is newly added between the read circuit 201 and the dToF data processing unit 202'and the viewing data processing unit 203'. ..
  • a circuit that executes common processing in the dToF data processing unit 202 and the viewing data processing unit 203 shown in FIG. 24 is provided as a common circuit 205 in front of them.
  • the execution result of the common circuit 205 is supplied to the histogram generation circuit 211'of the dToF data processing unit 202'and the photon counting circuit 221' of the viewing data processing unit 203'.
  • the configuration of the high-speed sampling circuit 141 adopted in the second configuration example of the first embodiment of FIG. 13 can be adopted.
  • FIG. 30 is a block diagram showing a second configuration example of the second embodiment of the distance measuring sensor 11.
  • FIG. 30 the same reference numerals are given to the parts corresponding to the first configuration example of the second embodiment shown in FIGS. 24 and 29, and the description of the parts will be omitted as appropriate.
  • the distance measuring sensor 11 of FIG. 30 includes a control unit 41, a light emission timing control unit 42, a SPAD control circuit 44, a SPAD pixel array unit 200, a readout circuit 201, a histogram generation circuit 301, a dToF data processing unit 302, and a viewing data processing unit. It has a 303, an output IF 204, and input / output terminals 51a to 51d.
  • the histogram generation circuit 301 is newly provided after the read circuit 201. Similar to the histogram generation circuit 211'in FIG. 24, the histogram generation circuit 301 generates a histogram for each pixel based on the pixel signal (SPAD output pulse PA0) supplied from the readout circuit 201, and generates the generated histogram data. , DToF data processing unit 302 and viewing data processing unit 303.
  • the dToF data processing unit 302 and the viewing data processing unit 303 replace the dToF data processing unit 202 and the viewing data processing unit 203 in the first configuration example shown in FIG. 24. It is provided.
  • the count mask signal CNT_MK was supplied from the dToF data processing unit 202 to the viewing data processing unit 203, but in the second configuration example, the dToF data processing unit 302 feeds the viewing data processing unit 303 to the viewing data processing unit 303.
  • the peak section signal PK_VL is supplied.
  • the dToF data processing unit 302 has a distance calculation unit 311.
  • the distance calculation unit 311 performs noise removal, histogram peak detection, and the like on the histogram data supplied from the histogram generation circuit 301. Then, the distance calculation unit 311 calculates the flight time based on the peak value of the detected histogram, calculates the distance to the subject from the calculated flight time for each pixel, and supplies the distance to the output IF 204.
  • the distance calculation unit 311 generates a peak section signal PK_VL in which the peak period of the histogram is High from the histogram data supplied from the histogram generation circuit 301, and supplies it to the viewing data processing unit 303.
  • the viewing data processing unit 303 has a histogram counting circuit 321 and an image data processing unit 322.
  • the histogram count circuit 321 counts the number of photons corresponding to the light of R, G, and B for each pixel based on the histogram data supplied from the histogram generation circuit 301 and the peak interval signal PK_VL, and counts the count result as image data. It is supplied to the processing unit 322.
  • the image data processing unit 322 generates viewing data based on the photon count result measured for each pixel and supplies it to the output IF 204.
  • the histogram data supplied from the histogram generation circuit 301 to the distance calculation unit 311 and the histogram count circuit 321 includes IR light that is concentrated and received during the peak period from the occurrence to the end of the peak. It is divided into R, G, or B light received during other periods.
  • the distance calculation unit 311 of the dToF data processing unit 302 detects peak periods tr1 and tr2 from the histogram data, generates a peak interval signal PK_VL in which the detected peak periods tr1 and tr2 are High, and generates a viewing data processing unit. Supply to 303.
  • Histogram data and peak section signal PK_VL are supplied to the histogram count circuit 321 of the viewing data processing unit 303 for each pixel.
  • the histogram count circuit 321 uses a value obtained by adding data other than the peak period tr in which the peak interval signal PK_VL is High among all the data of the histogram data supplied from the histogram generation circuit 301 as the photon count result. It is supplied to the image data processing unit 322.
  • the count result of the photons incident on each SPAD pixel 101 is used as the count result of IR light.
  • the RGB light count result, and the viewing data processing unit 203 or 303 is common in that the viewing data is generated based only on the RGB light count result.
  • the histogram generation circuit 211 of the dToF data processing unit 202 generates the count mask signal CNT_MK while generating the histogram and supplies it to the viewing data processing unit 203
  • the second configuration example differs in that the peak interval signal PK_VL is generated based on the generated histogram data and is supplied to the viewing data processing unit 303. That is, the count mask signal CNT_MK is a signal issued during histogram generation, while the peak interval signal PK_VL is a signal issued after histogram generation.
  • the second configuration example is a configuration in which the histogram generation circuit 301 is provided as the common circuit 205 of the modification of the first configuration example shown in FIG. 29, and the circuit range that can be shared is large. Further, since the histogram generation circuit 301 and the histogram count circuit 321 do not operate at the same time, the power consumption can be reduced.
  • the ranging data by dToF ranging and the viewing data can be simultaneously generated and output based on the pixel signal from the SPAD pixel 101. That is, different measurements can be simultaneously realized by using the SPAD pixel 101 as the light receiving pixel in common. By using the SPAD pixel 101 in common, the number of parts can be reduced.
  • the control device 10 when the control device 10 transmits a measurement request requesting the execution of measurement to the distance measuring sensor 11 without designating the measurement method, the distance measuring sensor 11 receives the measurement request as a response.
  • dToF Returns the distance measurement data and viewing data of distance measurement. Therefore, the control device 10 can obtain the distance measurement data and the viewing data only by the measurement request without worrying about the measurement mode.
  • the distance calculation unit 212 and the image data processing unit 222, or the distance calculation unit 311 and the image data processing unit 322 are omitted, and the histogram data and the photon count result are used as measurement data. , May be output to the control device 10.
  • the calculation of the histogram data and the calculation of the distance to the subject based on the histogram data may be performed not in units of one pixel but in units of a plurality of pixels.
  • the color filter layers of R, G, and B are set in a bayer array of 4 pixel units of 2x2, for example, in a group unit. Color filters of the same color may be arranged.
  • the histogram data is generated in units of groups consisting of a plurality of adjacent pixels, the amount of data can be compressed, so that the first configuration example in which the photon counting ends at the same time as the completion of the histogram data is preferable.
  • both the distance measurement data based on the histogram data and the viewing data can be generated and output at the same time, but the output timing is 1 as in the first embodiment.
  • the data may be sequentially output from one input / output terminal 51c or 51d in a time-division manner.
  • the distance measuring system 1 described above can be mounted on an electronic device such as a smartphone, a tablet terminal, a mobile phone, a personal computer, a game machine, a television receiver, a wearable terminal, a digital still camera, or a digital video camera.
  • an electronic device such as a smartphone, a tablet terminal, a mobile phone, a personal computer, a game machine, a television receiver, a wearable terminal, a digital still camera, or a digital video camera.
  • FIG. 32 is a block diagram showing a configuration example of a smartphone equipped with the above-mentioned ranging system 1 as a ranging module.
  • the smartphone 601 has a distance measuring module 602, an image pickup device 603, a display 604, a speaker 605, a microphone 606, a communication module 607, a sensor unit 608, a touch panel 609, and a control unit 610 via a bus 611.
  • the control unit 610 has functions as an application processing unit 621 and an operation system processing unit 622 by executing a program by the CPU.
  • the distance measuring system 1 of FIG. 1 is applied to the distance measuring module 602.
  • the distance measurement module 602 is arranged in front of the smartphone 601 and performs distance measurement for the user of the smartphone 601 to measure the depth value of the surface shape of the user's face, hand, finger, etc. as the distance measurement result. Can be output as.
  • the image pickup device 603 is arranged in front of the smartphone 601 and takes an image of the user of the smartphone 601 as a subject to acquire an image of the user. Although not shown, the image pickup device 603 may be arranged on the back surface of the smartphone 601.
  • the display 604 displays an operation screen for processing by the application processing unit 621 and the operation system processing unit 622, an image captured by the image pickup device 603, and the like.
  • the communication module 607 communicates via the communication network.
  • the sensor unit 608 senses speed, acceleration, proximity, etc., and the touch panel 609 acquires a touch operation by the user on the operation screen displayed on the display 604.
  • the application processing unit 621 performs processing for providing various services by the smartphone 601. For example, the application processing unit 621 can create a face by computer graphics that virtually reproduces the user's facial expression based on the depth supplied from the distance measuring module 602, and can perform a process of displaying the face on the display 604. Further, the application processing unit 621 can perform a process of creating, for example, three-dimensional shape data of an arbitrary three-dimensional object based on the depth supplied from the distance measuring module 602.
  • the operation system processing unit 622 performs processing for realizing the basic functions and operations of the smartphone 601. For example, the operation system processing unit 622 can perform a process of authenticating the user's face and unlocking the smartphone 601 based on the depth value supplied from the distance measuring module 602. Further, the operation system processing unit 622 performs a process of recognizing a user's gesture based on the depth value supplied from the distance measuring module 602, and performs a process of inputting various operations according to the gesture. Can be done.
  • the smartphone 601 configured in this way, by applying the above-mentioned distance measurement system 1 as the distance measurement module, for example, the distance to a predetermined object as a subject is measured and output as distance measurement data. be able to. Also, in the viewing mode, viewing data can be output.
  • the technique according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 33 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the image pickup unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the vehicle interior information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether or not the driver has fallen asleep.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 34 is a diagram showing an example of the installation position of the image pickup unit 12031.
  • the vehicle 12100 has an imaging unit 12101, 12102, 12103, 12104, 12105 as an imaging unit 12031.
  • the image pickup units 12101, 12102, 12103, 12104, 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image pickup units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the image pickup unit 12104 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the image pickup units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 34 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 12101 to 12104, a bird's-eye view image of the vehicle 12100 can be obtained.
  • At least one of the image pickup units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera including a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object in the image pickup range 12111 to 12114 based on the distance information obtained from the image pickup unit 12101 to 12104, and a temporal change of this distance (relative speed with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like that autonomously travels without relying on the driver's operation.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the image pickup units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the image pickup units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging unit 12101 to 12104.
  • recognition of a pedestrian is, for example, a procedure for extracting feature points in an image captured by an image pickup unit 12101 to 12104 as an infrared camera, and pattern matching processing is performed on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines the square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technique according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the image pickup unit 12031 among the configurations described above.
  • the above-mentioned ranging system 1 can be applied as the image pickup unit 12031.
  • any of the present techniques can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
  • a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have the following configurations.
  • SPAD pixels with SPAD as a photoelectric conversion element A ToF data processing unit that generates and outputs ranging data by the ToF method based on the pixel signal output from the SPAD pixel, and A distance measuring sensor including a viewing data processing unit that generates and outputs viewing data based on a pixel signal output from the SPAD pixel.
  • the distance measuring sensor according to (1) wherein the viewing data processing unit counts the number of times the SPAD reacts within a predetermined measurement period.
  • the mode switching control unit is described in (1) or (2) above, wherein the mode switching control unit switches between a distance measuring mode processed by the ToF data processing unit and a viewing mode processed by the viewing data processing unit in a time-division manner.
  • Distance measurement sensor. (4) (1) to (3) further include an output unit that outputs either the distance measurement data from the ToF data processing unit or the viewing data from the viewing data processing unit, depending on the measurement mode.
  • the ranging sensor described in any of.
  • the ToF data processing unit The dToF data processing unit that generates and outputs the distance measurement data by the direct ToF method, and The distance measuring sensor according to any one of (1) to (4) above, which has an iToF data processing unit that generates and outputs the distance measuring data by an indirect ToF method.
  • the distance measuring sensor according to (5) above, further comprising an output unit.
  • the SPAD reacted in the second period of the phase in which the emission timing of the irradiation light was inverted and the number of times the SPAD reacted in the first period of the same phase as the emission timing of the irradiation light.
  • the distance measuring sensor according to (5) or (6) above which counts the number of times.
  • the sampling result of n bits (n> 1) obtained by sampling the 1-bit pixel signal output from the SPAD pixel at the first frequency is output at a second frequency lower than the first frequency.
  • the ranging sensor according to any one of (5) to (7) above, further comprising a sampling circuit.
  • the sampling interval for sampling at the first frequency is the sampling interval in the direct ToF measurement mode.
  • the emission interval of the irradiation light in the indirect ToF measurement mode is a multiple of the sampling interval of the first frequency.
  • the distance measuring sensor according to (8) above, wherein the output interval for outputting the n-bit sampling result at the second frequency is the same as or a multiple of the emission interval of the irradiation light in the indirect ToF measurement mode. ..
  • the sampling circuit is N first latch circuits that latch the 1-bit pixel signal output from the SPAD pixel at the second frequency, and The distance measurement according to (8) or (9) above, which has a second latch circuit that outputs a sampling result of the n bits by latching the outputs of the n first latch circuits at the second frequency.
  • Sensor. (11) The distance measuring sensor according to any one of (8) to (10), wherein the dToF data processing unit generates a histogram according to the sampling result of the n bits. (12) The ranging sensor according to any one of (8) to (11), wherein the dToF data processing unit generates a histogram according to the number of cycles until the sampling result of the n bits becomes High.
  • the iToF data processing unit is the first in the same phase as the emission timing of the irradiation light, depending on whether one of the two first latch circuits becomes High first or the other becomes High first.
  • Distance measurement sensor (14) The distance measuring sensor according to any one of (10) to (13), wherein the viewing data processing unit counts the number of times of high in one first latch circuit.
  • a latch circuit that latches an n-bit (n> 1) count value according to the first frequency based on the 1-bit pixel signal output from the SPAD pixel.
  • the second frequency which is lower than the first frequency, further includes the number of cycles when the pixel signal becomes High and a low sampling circuit for outputting the count value, according to the above (5).
  • Distance measurement sensor (16) Based on the pixel signal output from the SPAD pixel, the ToF data processing unit generates and outputs the ranging data, and the viewing data processing unit generates and outputs the viewing data.
  • a plurality of the SPAD pixels are arranged in a matrix.
  • the distance measuring sensor according to (16), wherein each of the plurality of SPAD pixels is provided with an R, G, or B color filter layer.
  • the ToF data processing unit generates a histogram based on the pixel signal output from the SPAD pixel, and generates a count mask signal indicating the peak period of the histogram.
  • the distance measuring sensor according to (16) or (17), wherein the viewing data processing unit stops counting photons for a predetermined period based on the count mask signal to generate the viewing data.
  • a histogram generation circuit that generates a histogram based on the pixel signal output from the SPAD pixel is further provided.
  • the ToF data processing unit generates a peak section signal indicating the peak section of the histogram based on the histogram supplied from the histogram generation circuit.
  • the distance measuring sensor according to any one of (16) to (17), wherein the viewing data processing unit adds data other than the peak section based on the peak section signal to generate the viewing data. .. (20)
  • the light emitting part that irradiates the irradiation light and It is equipped with a ranging sensor that receives the reflected light reflected by the object.
  • the distance measuring sensor is SPAD pixels with SPAD as a photoelectric conversion element, A ToF data processing unit that generates and outputs ranging data by the ToF method based on the pixel signal output from the SPAD pixel, and A distance measuring system including a viewing data processing unit that generates and outputs viewing data based on a pixel signal output from the SPAD pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本技術は、SPAD画素を用いて異なる測定を行うことができるようにする測距センサ、および、測距システムに関する。 測距センサは、光電変換素子としてSPADを有するSPAD画素と、SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部とを備える。本技術は、例えば、例えば、被写体までの距離を測定する測距システム等に適用できる。

Description

測距センサ、および、測距システム
　本技術は、測距センサ、および、測距システムに関し、特に、SPAD画素を用いて異なる測定を行うことができるようにした測距センサ、および、測距システムに関する。
　近年、ToF（Time-of-Flight）法により距離を測定する測距センサが注目されている。測距センサには、direct ToF方式と、indirect ToF方式とがある。indirect ToF方式は、照射光が発光されたタイミングから、反射光が受光されるタイミングまでの飛行時間を位相差として検出し、物体までの距離を算出する方式であり、比較的近距離の範囲の計測を高精度に実現することができる。一方、direct ToF方式は、照射光が発光されたタイミングから、反射光が受光されるタイミングまでの飛行時間を直接計測して、物体までの距離を算出する方式であり、indirect ToF方式と比較して、遠方の距離の計測に有効である。例えば、特許文献１には、direct ToF方式の測距センサが開示されている。また、特許文献２には、indirect ToF方式の測距センサが開示されている。
　direct ToF方式の測距センサには、受光用の画素に、例えば、SPAD（Single Photon Avalanche Diode）が用いられる。SPADでは、降伏電圧よりも大きい電圧を印加した状態で、高電界のPN接合領域へ１個の光子が入ると、アバランシェ増幅が発生する。その際の瞬間的に電流が流れたタイミングを検出することで、高精度に距離を計測することができる。
国際公開第２０１８／０７４５３０号 特開２０１１－８６９０４号公報
　測距装置を構成するにあたって、測距方式が異なる複数の測距センサを用いることで、幅広い測距レンジをカバーすることができたり、測距精度を向上させることができる。
　しかしながら、例えば、異なる方式の測距センサを単純に組み合わせると、装置規模が大きくなり、コストが増大する。
　本開示は、このような状況に鑑みてなされたものであり、特に、SPAD画素を用いて異なる測定を行うことができるようにするものである。
　本技術の第１の側面の測距センサは、光電変換素子としてSPADを有するSPAD画素と、前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部とを備える。
　本技術の第２の側面の測距システムは、照射光を照射する発光部と、前記照射光が物体で反射された反射光を受光する測距センサとを備え、前記測距センサは、光電変換素子としてSPADを有するSPAD画素と、前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部とを備える。
　本技術の第１および第２の側面においては、光電変換素子としてSPADを有するSPAD画素から出力される画素信号に基づいて、ToF方式による測距データが生成されて出力され、前記SPAD画素から出力される画素信号に基づいて、ビューイングデータが生成されて出力される。
　測距センサ及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 測距センサの第１実施の形態の第１構成例を示すブロック図である。 第１構成例に係る測距センサの第１変形例を示すブロック図である。 第１構成例に係る測距センサの第２変形例を示すブロック図である。 SPAD画素アレイ部のSPAD画素として採用し得る回路構成例を示す図である。 図５のSPAD画素の動作を説明する図である。 dToF測距の原理を説明する図である。 iToF測距の原理を説明する図である。 dToFデータ処理部の処理を説明する図である。 iToFデータ処理部の処理を説明する図である。 ビューイングデータ処理部の処理を説明する図である。 発光タイミング制御部の動作を説明するタイミングチャートである。 測距センサの第１実施の形態の第２構成例を示すブロック図である。 高速サンプリング回路の動作を説明する図である。 高速サンプリング回路の動作を説明する図である。 高速サンプリング回路の第１構成例を示す図である。 dToF測距モードにおける高速サンプリング回路の処理を説明するタイムチャートである。 dToF測距モードにおけるdToFデータ処理部の処理を説明する図である。 iToF測距モードにおける処理を説明する図である。 ビューイングモードにおける処理を説明する図である。 高速サンプリング回路の第２構成例を示す図である。 dToF測距モードにおける高速サンプリング処理を説明するタイムチャートである。 高速カウンタ回路を共有する例を示す図である。 測距センサの第２実施の形態の第１構成例を示すブロック図である。 SPAD画素アレイ部に設けられたカラーフィルタ層の例を示す図である。 ヒストグラムデータのピーク期間を説明する図である。 カウントマスク信号の生成を説明する図である。 カウント回路の概略構成を示すブロック図である。 第２実施の形態に係る第１構成例の変形例を示すブロック図である。 測距センサの第２実施の形態の第２構成例を示すブロック図である。 ピーク区間信号とヒストグラムカウント回路の処理を説明する図である。 図１の測距システムを測距モジュールとして搭載したスマートフォンの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．測距システムの構成例
２．測距センサの第１実施の形態の第１構成例
３．SPAD画素の説明
４．SPAD画素を用いた各測定モードの処理
５．発光タイミング制御部の動作
６．測距センサの第１実施の形態の第２構成例
７．高速サンプリング回路の動作
８．高速サンプリング回路の第１構成例
９．dToF測距モードにおける高速サンプリング処理
１０．dToFデータ処理部のdToFデータ処理
１１．iToF測距モードにおける処理
１２．ビューイングモードにおける処理
１３．高速サンプリング回路の第２構成例
１４．dToF測距モードにおける高速サンプリング処理
１５．第１実施の形態のまとめ
１６．測距センサの第２実施の形態の第１構成例
１７．カウントマスク信号の生成
１８．第２実施の形態の第１構成例の変形例
１９．測距センサの第２実施の形態の第２構成例
２０．第２実施の形態のまとめ
２１．電子機器の構成例
２２．移動体への応用例
＜１．測距システムの構成例＞
　図１は、本開示の測距システムの構成例を示すブロック図である。
　図１の測距システム１は、制御装置１０、測距センサ１１、LD１２、および、発光部１３を備える。
　制御装置１０は、測距センサ１１を制御する装置である。制御装置１０は、例えば、上位のホスト装置からの指令に基づいて、所定の測定方式を指定して、測定の実行を要求する測定リクエストを、測距センサ１１に供給する。ここで指定される測定方式は、direct ToF方式の測距、indirect ToF方式の測距、または、ビューイング測定のいずれかである。
　indirect ToF方式の測距は、照射光が発光されたタイミングから、反射光が受光されるタイミングまでの飛行時間を位相差として検出し、物体までの距離を算出する測距であり、比較的近距離の範囲の計測を高精度に実現することができる。direct ToF方式は、照射光が発光されたタイミングから、反射光が受光されるタイミングまでの飛行時間を直接計測して、物体までの距離を算出する測距であり、indirect ToF方式と比較して、遠方の距離の計測に有効である。ビューイング測定は、一般的なイメージセンサのように、受光量に応じた輝度データを出力する測定である。以下、簡単のため、direct ToF方式をdToFと称し、indirect ToF方式をiToFと称し、direct ToF方式による測距をdToF測距、indirect ToF方式による測距をiToF測距とも称する。
　なお、制御装置１０は、測定方式を指定せずに、測定リクエストを測距センサ１１に供給し、測距センサ１１は、３つの測定方式を所定の順番で実行して、測定結果を制御装置１０に出力することもできる。
　制御装置１０は、測定リクエストに応じて測距センサ１１が実行した測定結果である測距データまたはビューイングデータを、測距センサ１１から取得する。
　測距センサ１１は、制御装置１０からの測定リクエストに応じて、指定された測定方式による測定を実行し、その測定結果である測距データまたはビューイングデータを、制御装置１０に出力する。測距センサ１１は、受光用の光電変換素子としてSPAD（Single Photon Avalanche Diode）を各画素に備えるセンサである。
　測距センサ１１は、測定に際して、必要に応じて発光部１３を制御して照射光を発光させる。照射光を発光させる場合、測距センサ１１は、所定の発光パルスをLD１２へ供給する。LD１２は、発光部１３を駆動するレーザドライバであり、測距センサ１１からの発光パルスに基づいて発光部１３を駆動し、発光部１３から照射光を出力させる。発光部１３は、例えば、VCSEL LED（Vertical Cavity Surface Emitting LASER LED）などで構成され、LD１２の駆動により照射光を発光する。照射光には、例えば、波長が約８５０ｎｍから９４０ｎｍの範囲の赤外光（IR光）が用いられる。
＜２．測距センサの第１実施の形態の第１構成例＞
　図２は、測距センサ１１の第１実施の形態の第１構成例を示すブロック図である。
　測距センサ１１は、制御部４１、発光タイミング制御部４２、SPAD画素アレイ部４３、SPAD制御回路４４、読み出し回路４５、dToFデータ処理部４６、iToFデータ処理部４７、ビューイングデータ処理部４８、選択部４９、出力IF５０、および、入出力端子５１ａないし５１ｃを有する。
　制御部４１は、測距センサ１１の動作全体を制御する。例えば、制御部４１は、測定リクエストの受信や、測距データまたはビューイングデータ等の送信などの所定の通信を、制御装置１０との間で行う。制御部４１は、モード切替制御部４１Aを有し、制御装置１０から指定された測定方式に基づいて、測距センサ１１の測定モードを切り替える。モード切替制御部４１Aは、実行する測定モードとして、dToF測距モード、iToF測距モード、または、ビューイングモードのいずれかを、読み出し回路４５、発光タイミング制御部４２、選択部４９、および、出力IF５０に供給する。
　dToFデータ処理部４６は、ヒストグラム生成回路７１および距離算出部７２を有し、dToF測距モードにおいて、dToF測距による測距データを生成して出力する。iToFデータ処理部４７は、位相カウント回路８１および距離算出部８２を有し、iToF測距モードにおいて、iToF測距による測距データを生成して出力する。ビューイングデータ処理部４８は、フォトンカウント回路９１および画像データ処理部９２を有し、ビューイングモードにおいて、ビューイングデータを生成して出力する。
　測距センサ１１は、dToF測距モード、iToF測距モード、または、ビューイングモードのいずれかの測定を行う際、SPAD画素アレイ部４３内の全てのSPAD画素を動作させる（後述するアクティブ画素）こともできるし、複数ライン等の一部のSPAD画素のみを動作させることもできる。制御部４１は、SPAD画素アレイ部４３内のどのSPAD画素を動作させるかを制御するアクティブ制御信号をSPAD制御回路４４に供給する。
　発光タイミング制御部４２は、モード切替制御部４１Aの制御の下、dToF測距またはiToF測距のための照射光の発光タイミングを制御する発光パルスを生成し、入出力端子５１ｂを介して、LD１２へ出力する。また、発光タイミング制御部４２は、生成した発光パルスを、dToFデータ処理部４６、および、iToFデータ処理部４７にも供給する。
　SPAD画素アレイ部４３は、行列状に２次元配置された複数のSPAD画素を有し、各SPAD画素で検出された反射光に応じた画素信号を読み出し回路４５に供給する。SPAD画素は、例えば、光電変換素子としてSPAD（Single Photon Avalanche Diode）を有する。SPADでは、降伏電圧よりも大きい電圧を印加した状態で、高電界のPN接合領域へ１個の光子が入ると、アバランシェ増幅が発生する。その際の瞬間的に電流が流れたタイミングを検出し、画素信号として、読み出し回路４５に出力する。なお、以下では、簡単のため、SPAD画素のことを、単に画素と称して説明する場合がある。
　SPAD制御回路４４は、制御部４１から供給されるアクティブ制御信号に基づいて、SPAD画素アレイ部４３の各SPAD画素に対し、アクティブ画素または非アクティブ画素の切り替えを行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。したがって、SPAD制御回路４４は、SPAD画素アレイ部４３の各SPAD画素の受光動作のオンオフを制御する。例えば、SPAD制御回路４４は、発光タイミング制御部４２からの発光パルスに合わせた所定のタイミングで、SPAD画素アレイ部４３の複数のSPAD画素の少なくとも一部をアクティブ画素とし、残りのSPAD画素を非アクティブ画素とする制御を行う。勿論、SPAD画素アレイ部４３の全てのSPAD画素をアクティブ画素としてもよい。
　読み出し回路４５は、SPAD画素アレイ部４３の各SPAD画素から供給される画素信号を、モード切替制御部４１Aから指定された測定モードに応じて、dToFデータ処理部４６、iToFデータ処理部４７、または、ビューイングデータ処理部４８のいずれかに供給する。すなわち、モード切替制御部４１Aによって指定された測定モードがdToF測距モードである場合には、読み出し回路４５は、各SPAD画素から供給される画素信号を、dToFデータ処理部４６に供給する。一方、指定された測定モードがiToF測距モードである場合には、読み出し回路４５は、各SPAD画素から供給される画素信号を、iToFデータ処理部４７に供給する。あるいはまた、指定された測定モードがビューイングモードである場合には、読み出し回路４５は、各SPAD画素から供給される画素信号を、ビューイングデータ処理部４８に供給する。
　dToFデータ処理部４６のヒストグラム生成回路７１は、所定の回数（例えば、数回ないし数百回）繰り返し実行される照射光の発光と、その反射光の受光とに基づいて、反射光を受光するまでの飛行時間（カウント値）のヒストグラムを画素ごとに作成する。作成したヒストグラムについてのデータ（以下、ヒストグラムデータと称する。）が、距離算出部７２に供給される。距離算出部７２は、ヒストグラム生成回路７１から供給されるヒストグラムデータに対して、ノイズ除去やヒストグラムのピーク検出などを行う。そして、距離算出部７２は、検出されたヒストグラムのピーク値に基づいて、発光部１３から照射された光が被写体で反射して戻ってくるまでの飛行時間を算出し、算出した飛行時間から、被写体までの距離を画素毎に算出する。算出された測距データは、選択部４９に供給される。
　なお、dToFデータ処理部４６のヒストグラム生成回路７１および距離算出部７２は、ヒストグラムデータの算出および、ヒストグラムデータに基づく被写体までの距離の算出を、画素単位ではなく、複数画素単位で行うこともできる。
　iToFデータ処理部４７の位相カウント回路８１は、位相０度と位相１８０度のそれぞれの反射光の受光回数をカウントする。より具体的には、位相カウント回路８１は、照射光の発光タイミングと同じ位相のタイミング（位相０度）で反射光を受光した回数と、照射光の発光タイミングを反転した位相のタイミング（位相１８０度）で反射光を受光した回数とを測定して、距離算出部８２へ供給する。距離算出部８２は、位相０度と位相１８０度のカウント数の比に基づいて、照射光に対する反射光の位相差を検出することで、被写体までの距離を画素毎に算出する。算出された測距データは、選択部４９に供給される。iToFデータ処理部４７においても、位相０度と位相１８０度の受光回数のカウントを画素単位ではなく、複数画素単位で行って、被写体までの距離を算出することができる。
　ビューイングデータ処理部４８のフォトンカウント回路９１は、SPAD画素アレイ部４３内の各画素のSPADが所定期間内に反応した回数、すなわち、フォトンが入射した回数を画素毎にカウントする。そして、フォトンカウント回路９１は、カウント結果を、画像データ処理部９２に供給する。画像データ処理部９２は、各画素で計測されたフォトンのカウント結果を、受光量に応じた画素値（輝度値）とする画像データ（ビューイングデータ）を生成し、選択部４９に供給する。ビューイングデータ処理部４８においても、フォトンのカウント結果を、画素単位ではなく、複数画素単位で行うことができる。
　選択部４９は、モード切替制御部４１Aから指定された測定モードに応じて、dToFデータ処理部４６、iToFデータ処理部４７、または、ビューイングデータ処理部４８のいずれかを選択する。選択部４９は、選択した処理部から出力されてくる測距データまたはビューイングデータを、出力IF５０に供給する。
　出力IF５０は、選択部４９を介して取得される測距データまたはビューイングデータを、そのデータ種類に応じた所定のフォーマットに整形した後、入出力端子５１ｃを介して、制御装置１０に出力する。
　測距センサ１１は、以上の構成を有し、指定された測定方式に応じた測定モードで、発光部１３による照射光の発光を制御するとともに、SPAD画素アレイ部４３のSPAD画素で受光した結果に基づく測距データまたはビューイングデータを生成して出力する。
　上述したように、dToF測距モード、iToF測距モード、および、ビューイングモードのいずれの測定モードにおいても、１画素単位ではなく、複数画素単位で集計することで測定結果を出力することができるが、以下の説明においては、１画素単位に行う場合を例に説明する。
　なお、第１実施の形態では、図２に示したように、測距センサ１１は、dToFデータ処理部４６、iToFデータ処理部４７、および、ビューイングデータ処理部４８を備え、dToF測距、iToF測距、および、ビューイングを時分割で適宜切り替え、測定モードに応じたデータを出力する構成とするが、図３または図４に示される構成を採用することもできる。
　図３および図４は、第１構成例に係る測距センサ１１の変形例を示すブロック図である。
　図３に示される第１変形例を図２と比較すると、ビューイングデータ処理部４８が省略されており、測距センサ１１が、測定モードとして、dToF測距モードとiToF測距モードの２つのみに対応した構成である。
　一方、図４に示される第２変形例を図２と比較すると、iToFデータ処理部４７が省略されており、測距センサ１１が、測定モードとして、dToF測距モードとビューイングモードの２つのみに対応した構成である。
　図３および図４のように、第１実施の形態の第１構成例における測距センサ１１は、dToF測距に加えて、iToF測距またはビューイングのいずれか一方のみが可能な構成とすることもできる。
＜３．SPAD画素の説明＞
　図５は、SPAD画素アレイ部４３のSPAD画素として採用し得る回路構成例を示している。
　図５のSPAD画素１０１は、負荷素子（LOAD素子）１２１、SPAD１２２、および、インバータ１２３より構成される。
　より詳細には、負荷素子１２１の一方の端子が電源電圧Vccと接続され、他方の端子がSPAD１２２のカソード、および、インバータ１２３の入力端子と接続されている。
　SPAD１２２のカソードに、負荷素子１２１の他方の端子、およびインバータ１２３の入力端子が接続されており、アノードに外部から所定の電源電圧VANが印加されている。SPAD１２２は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VCAの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１２２のアノードに供給される電源電圧VANは、例えば、-２０V程度の負バイアス（負の電位）とされる。
　図６を参照して、図５のSPAD画素１０１の動作について説明する。
　十分な効率で光子（フォトン）を検出するため、SPAD１２２には、SPAD１２２の降伏電圧VBDよりも大きな電圧（過剰バイアス（ExcessBias））が印加される。例えば、SPAD１２２の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、電源電位Vccは３Vとされる。
　SPAD１２２のカソードには電源電圧Vcc（例えば、３V）が供給され、アノードには電源電圧VAN（例えば、－２０V）が供給されることから、SPAD１２２に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１２２がガイガーモードに設定される。この状態では、SPAD１２２のカソード電圧VCAは、電源電圧Vccと同じである。
　時刻ｔａにおいて、SPAD１２２に光子が入射すると、アバランシェ増倍が発生し、SPAD１２２に電流が流れる。SPAD１２２に電流が流れることにより、負荷素子１２１にも電流が流れ、負荷素子１２１の抵抗成分により電圧降下が発生する。
　時刻ｔｃにおいて、SPAD１２２のカソード電圧VCAが0Vよりも低くなると、SPAD１２２のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流が負荷素子１２１に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VCAが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
　アバランシェ増幅が停止すると負荷素子１２１の抵抗に流れる電流が徐々に減少して、時刻ｔｅにおいて、再びカソード電圧VCAが元の電源電圧Vccまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
　インバータ１２３は、電圧降下が発生し、カソード電圧VCAが所定の閾値電圧Vthより低いとき、Highの検出信号を出力する。電圧降下により、カソード電圧VCAが閾値電圧Vthより低くなった時刻を時刻ｔｂ、リチャージ動作によりカソード電圧VCAが閾値電圧Vth以上となった時刻を時刻ｔｄとすると、時刻ｔｂから時刻ｔｄの期間、Highの検出信号が、SPAD画素１０１から出力される。このフォトンの入射に応じて、SPAD画素１０１が出力するパルスを、SPAD出力パルスPA0とする。SPAD画素１０１は、SPAD出力パルスPA0を、画素信号として読み出し回路４５へ出力する。
　図５のSPAD画素１０１をアクティブ画素とするか、非アクティブ画素とするかの切り替えは、SPAD１２２のカソードおよびインバータ１２３の入力端子と、GNDとを、不図示のスイッチング素子で接続し、そのスイッチング素子を、アクティブ制御信号に基づいてオンオフすることで行うことができる。スイッチング素子をオンすると、SPAD１２２のカソードが０Vとなるので、SPAD１２２のアノード・カソード間電圧が降伏電圧VBD以下となり、SPAD１２２に光子が入ってきても反応しない状態となる。
　SPAD画素の回路構成は、図５に示した回路構成に限らず、その他の構成を採用することもできる。例えば、クエンチングにより生じた電圧降下を能動的に回復させるアクティブリチャージ回路の構成を採用してもよい。
＜４．SPAD画素を用いた各測定モードの処理＞
　次に、測距センサ１１のdToFデータ処理部４６、iToFデータ処理部４７、および、ビューイングデータ処理部４８のそれぞれの処理について説明する。
　初めに、図７と図８を参照して、dToF測距およびiToF測距の原理について説明する。
　図７は、dToF測距の原理を説明する図である。
　発光部１３は、上段に示される発光パルスにしたがい、単発的な発光を行う。
　発光部１３から出射された照射光は、物体Tgで反射され、反射光として、Δｔ時間後に、測距センサ１１に入射される。ただし、実際には、物体Tgまでの距離DSに応じたΔｔ時間後以外にも、外光や２次反射された反射光などの光が入射される。そのため、照射光の発光と受光を、複数回（例えば、数回ないし数百回）繰り返すことにより、図７の下段で示されるようなヒストグラムHgが生成される。そして、ヒストグラムHgのピーク値に基づいて照射光の到達時間Δｔが決定され、決定された到達時間Δｔから、物体Tgまでの距離DSが算出される。
　図８は、iToF測距の原理を説明する図である。
　発光部１３は、上段に示される発光パルスにしたがい、発光と消灯（発光停止）を周期的に繰り返す。ここで、照射光の発光期間Aと停止期間Bは同一の期間Tpである。
　発光部１３から出射された照射光は、物体Tgで反射され、反射光として、Δｔ時間後に、測距センサ１１に入射される。すなわち、測距センサ１１に入射される反射光の遅延時間Δｔは、物体までの距離DSに応じたものである。
　ここで、図８の下段の枠Wに示されるように、測距センサ１１の受光タイミングを、照射光の発光タイミングと同じ位相の０°受光タイミングと、照射光の発光タイミングを反転した位相の１８０°タイミングとに分割すると、０°受光タイミングで受光される電荷Q1と、１８０°タイミングで受光される電荷Q2との比が、距離DSに応じた遅延時間Δｔによって変化する。したがって、位相０°の受光期間における電荷Q1と、位相１８０°の受光期間における電荷Q2との比から、物体Tgまでの距離DSを求めることが可能となる。
　図９は、dToFデータ処理部４６の処理を説明する図である。
　ヒストグラム生成回路７１は、発光タイミング制御部４２からの発光パルスに基づいて、発光部１３における照射光の発光タイミングを検出し、カウントを開始する。
　そして、ヒストグラム生成回路７１は、SPAD１２２が反応した時間、すなわち、読み出し回路４５から供給されるSPAD出力パルスPA0がHighになった時間を画素毎に取得し、ヒストグラムを作成する。ここで、SPAD出力パルスPA0がHighかLowかをサンプリング（検出）するサンプリング間隔は、例えば、ギガHz（GHｚ）オーダの間隔となる。
　なお、外光や２次反射光、ノイズなどの要因により、１回の発光に対し、複数回、SPAD出力パルスPA0がHighになることがある。図９の例では、発光を開始した時刻ｔ０以降、時刻ｔ１および時刻ｔ２の２回、SPAD１２２が反応している。例えば、時刻ｔ０から時刻ｔ１までのカウント値がCNT1であり、時刻ｔ０から時刻ｔ２までのカウント値がCNT2である。
　ヒストグラム生成回路７１は、照射光の発光と、その反射光の受光とを所定の回数（例えば、数回ないし数百回）繰り返し実行し、カウント値のヒストグラムを画素ごとに生成し、生成したヒストグラムデータを距離算出部７２に供給する。
　距離算出部７２は、ヒストグラム生成回路７１から供給されたヒストグラムデータに対して、ヒストグラムのピーク値を検出し、ピーク値の飛行時間に対応する距離を算出して、選択部４９に出力する。
　図１０は、iToFデータ処理部４７の処理を説明する図である。
　位相カウント回路８１は、発光タイミング制御部４２からの発光パルスに基づいて、照射光の発光タイミングと同じ位相（位相０度）の発光期間Aと、照射光の発光タイミングを反転した位相（位相１８０度）の停止期間Bを識別する。ここで、照射光の発光間隔は、数十ないし数百メガHz（MHｚ）オーダの間隔となる。
　位相カウント回路８１は、SPAD１２２が反応したタイミング、換言すれば、読み出し回路４５から供給されるSPAD出力パルスPA0がHighに変化したタイミングが、発光期間Aまたは停止期間Bのどちらであるかを画素毎に検出する。図１０の例では、発光を開始した時刻t0以降、時刻t11および時刻t12の２回、SPAD１２２が反応している。例えば、時刻t11におけるSPAD１２２の反応は停止期間Bの反応であり、時刻t12におけるSPAD１２２の反応は発光期間Aの反応である。
　位相カウント回路８１は、発光期間Aで反応した回数と、停止期間Bで反応した回数それぞれをカウントし、距離算出部８２へ供給する。
　距離算出部８２は、発光期間Aで反応した回数と、停止期間Bで反応した回数との比に基づいて、被写体までの距離を画素毎に算出して、選択部４９に出力する。
　図１１は、ビューイングデータ処理部４８の処理を説明する図である。
　ビューイングの測定モードにおいては、発光部１３は、常時発光停止または常時発光のいずれかとされる。本実施の形態では、常時発光停止とする。
　フォトンカウント回路９１は、所定の測定期間内にSPAD１２２が反応した回数、すなわち、フォトンが入射した回数を画素毎にカウントし、カウント結果を、画像データ処理部９２に供給する。図１１の例では、発光を開始した時刻ｔ０以降、時刻ｔ２１および時刻ｔ２２の２回、SPAD１２２が反応している。
　画像データ処理部９２は、各画素で計測されたフォトンのカウント結果を、受光量に応じた画素値（輝度値）とする画像データを生成し、選択部４９に供給する。
＜５．発光タイミング制御部の動作＞
　図１２のタイミングチャートを参照して、発光タイミング制御部４２の動作について説明する。
　測定モードがビューイングモードの場合には発光部１３は常時発光停止するので、図１２の例では、測定モードがdToF測距モードとiToF測距モードとで切り替わる場合について説明する。
　iToF測距とdToF測距は、混信を防止するため、時分割処理により異なるタイミングで実行される。
　時刻ｔ５０において、モード切替制御部４１Aは、測定モードをiToF測距モードに切り替える。すなわち、モード切替制御部４１Aは、実行する測定モードとして、iToF測距モードを発光タイミング制御部４２に供給する。これにより、時刻ｔ５０ないし時刻ｔ５２において、発光タイミング制御部４２は、iToF測距モードによる発光制御を行う。
　また、時刻ｔ５１ないし時刻ｔ５２において、発光タイミング制御部４２は、変調周波数が数十ないし数百MHｚの発光パルスを生成して、入出力端子５１ｂを介してLD１２へ出力するとともに、iToFデータ処理部４７にも供給する。SPAD画素アレイ部４３の各SPAD画素１０１は、光子の入射に応じてHighのSPAD出力パルスPA0を、読み出し回路４５を介してiToFデータ処理部４７に出力する。
　次に、時刻ｔ５２において、モード切替制御部４１Aは、測定モードをdToF測距モードに切り替える。すなわち、モード切替制御部４１Aは、実行する測定モードとして、dToF測距モードを発光タイミング制御部４２に供給する。これにより、時刻ｔ５２ないしｔ５４において、発光タイミング制御部４２は、dToF測距モードによる発光制御を行う。また、時刻ｔ５２ないしｔ５４において、iToFデータ処理部４７は、時刻ｔ５１ないし時刻ｔ５２の期間中に、発光期間Aで反応した回数と、停止期間Bで反応した回数との比に基づいて、被写体までの距離を画素毎に算出して出力する。
　また、時刻ｔ５３ないし時刻ｔ５４において、発光タイミング制御部４２は、所定期間Highとなる発光パルスを生成して、入出力端子５１ｂを介してLD１２へ出力するとともに、dToFデータ処理部４６にも供給する。SPAD画素アレイ部４３の各SPAD画素１０１は、光子の入射に応じてHighのSPAD出力パルスPA0を、読み出し回路４５を介してdToFデータ処理部４６に出力する。時刻ｔ５３ないし時刻ｔ５４の期間中、発光パルスは、複数回（例えば、数回ないし数百回）Highとなる。
　次に、時刻ｔ５４において、モード切替制御部４１Aは、測定モードをiToF測距モードに切り替える。すなわち、モード切替制御部４１Aは、実行する測定モードとして、iToF測距モードを発光タイミング制御部４２に供給する。これにより、時刻ｔ５４ないし時刻ｔ５６において、発光タイミング制御部４２は、iToF測距モードによる発光制御を行う。また、時刻ｔ５４ないし時刻ｔ５６において、dToFデータ処理部４６は、時刻ｔ５３ないし時刻ｔ５４の期間中に生成された、SPAD１２２が反応した時間のヒストグラムに基づいて、被写体までの距離を画素毎に算出して出力する。
　また、時刻ｔ５５ないし時刻ｔ５６において、発光タイミング制御部４２は、変調周波数が数十ないし数百MHｚの発光パルスを生成して、入出力端子５１ｂを介してLD１２へ出力するとともに、iToFデータ処理部４７にも供給する。SPAD画素アレイ部４３の各SPAD画素１０１は、光子の入射に応じてHighのSPAD出力パルスPA0を、読み出し回路４５を介してiToFデータ処理部４７に出力する。
　次に、時刻ｔ５６において、モード切替制御部４１Aは、測定モードをdToF測距モードに切り替える。すなわち、モード切替制御部４１Aは、実行する測定モードとして、dToF測距モードを発光タイミング制御部４２に供給する。これにより、時刻ｔ５６ないしｔ５８において、発光タイミング制御部４２は、dToF測距モードによる発光制御を行う。また、時刻ｔ５６ないしｔ５８において、iToFデータ処理部４７は、時刻ｔ５５ないし時刻ｔ５６の期間中に、発光期間Aで反応した回数と、停止期間Bで反応した回数との比に基づいて、被写体までの距離を画素毎に算出して出力する。
　また、時刻ｔ５７ないし時刻ｔ５８において、発光タイミング制御部４２は、所定期間Highとなる発光パルスを生成して、入出力端子５１ｂを介してLD１２へ出力するとともに、dToFデータ処理部４６にも供給する。SPAD画素アレイ部４３の各SPAD画素１０１は、光子の入射に応じてHighのSPAD出力パルスPA0を、読み出し回路４５を介してdToFデータ処理部４６に出力する。時刻ｔ５７ないし時刻ｔ５８の期間中、発光パルスは、複数回（例えば、数回ないし数百回）Highとなる。
　次に、時刻ｔ５８において、モード切替制御部４１Aは、測定モードをiToF測距モードに切り替える。すなわち、モード切替制御部４１Aは、実行する測定モードとして、iToF測距モードを発光タイミング制御部４２に供給する。これにより、時刻ｔ５８ないし時刻ｔ６０において、発光タイミング制御部４２は、iToF測距モードによる発光制御を行う。また、時刻ｔ５８ないし時刻ｔ６０において、dToFデータ処理部４６は、時刻ｔ５７ないし時刻ｔ５８の期間中に生成された、SPAD１２２が反応した時間のヒストグラムに基づいて、被写体までの距離を画素毎に算出して出力する。
　また、時刻ｔ５９ないし時刻ｔ６０において、発光タイミング制御部４２は、変調周波数が数十ないし数百MHｚの発光パルスを生成して、入出力端子５１ｂを介してLD１２へ出力するとともに、iToFデータ処理部４７にも供給する。SPAD画素アレイ部４３の各SPAD画素１０１は、光子の入射に応じてHighのSPAD出力パルスPA0を、読み出し回路４５を介してiToFデータ処理部４７に出力する。
　時刻ｔ６０以降の動作についても同様である。
　以上のように、測距センサ１１は、iToF測距モードとdToF測距モードの測定モードを時分割で切り替える。より具体的には、測距センサ１１は、一方の測定モードによる露光（受光）を行っている期間に、他方の測定モードのデータ処理を実行して測距データを出力する。また、他方の測定モードによる露光（受光）を行っている期間に、一方の測定モードのデータ処理を実行して測距データを出力する。これにより、複数の測定モードによる測定を効率的に行うことができる。
＜６．測距センサの第１実施の形態の第２構成例＞
　図１３は、測距センサ１１の第１実施の形態の第２構成例を示すブロック図である。
　図１３において、図２に示した第１構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略し、異なる部分について説明する。
　図１３に示される第２構成例は、図２に示した第１構成例と比較すると、読み出し回路４５の後段に、高速サンプリング回路１４１が新たに追加されている。
　また、高速サンプリング回路１４１の追加に伴い、第１構成例におけるdToFデータ処理部４６のヒストグラム生成回路７１、iToFデータ処理部４７の位相カウント回路８１、ビューイングデータ処理部４８のフォトンカウント回路９１が、それぞれ、ヒストグラム生成回路７１A、位相カウント回路８１A、フォトンカウント回路９１Aに変更されている。
　第２構成例に係る測距センサ１１は、iToF測距モード、dToF測距モード、ビューイングモードの各測定モードにおいて、高速サンプリング回路１４１を共通に使用する。
　高速サンプリング回路１４１は、各測定モードにおいて読み出し回路４５から供給される各SPAD画素１０１のSPAD出力パルスPA0（の状態）を、第１の周波数（高周波数）でサンプリングし、そのｎビット（ｎ＞１）のサンプリング結果を、第１の周波数より低い第２の周波数（低周波数）で後段へ出力する。ここで、高周波数でサンプリングするときのサンプリング間隔を高速サンプリング間隔SD1、ｎビットのサンプリング結果を出力する時間間隔を低速出力間隔SD2とする。
　ヒストグラム生成回路７１Aは、高速サンプリング回路１４１から供給される高速サンプリング結果を用いて、ヒストグラムデータを生成し、距離算出部７２に供給する。
　位相カウント回路８１Aは、高速サンプリング回路１４１から供給される高速サンプリング結果を用いて、発光期間A（位相０度）と停止期間B（位相１８０度）のそれぞれの反射光の受光回数をカウントする。
　フォトンカウント回路９１Aは、高速サンプリング回路１４１から供給される高速サンプリング結果を用いて、フォトンのカウント結果を算出し、画像データ処理部９２に供給する。
＜７．高速サンプリング回路の動作＞
　図１４および図１５を参照して、高速サンプリング回路１４１の動作について説明する。
　図１４は、高速サンプリング回路１４１の動作例を示す図である。
　高速サンプリング回路１４１は、SPAD出力パルスPA0（の状態）を高周波数でサンプリングする処理を、予め決定された高速サンプリング期間で実行し、そのサンプリング結果をｎビットのひとまとまりのデータとして、高速サンプリング期間単位で出力する。ここで、高周波数でサンプリングするときのサンプリング間隔が高速サンプリング間隔SD1、ｎビットのサンプリング結果を出力する時間間隔が低速出力間隔SD2である。
　図１４は、ｎ＝８、すなわち、高速サンプリングを８回行ったサンプリング結果を、高速サンプリングの１／８の低周波数で、８ビットのデータとして出力する例を示している。SD1=SD2×(1/8)であり、高速サンプリング期間は、低速出力間隔SD2と等しい。
　図１４の例では、高速サンプリング回路１４１は、高速サンプリング期間（低速出力間隔SD2）を、D0ないしD7の８個の区間に分割し、区間D0でSPAD１２２が反応した場合には第１ビットを“High”とし、区間D1でSPAD１２２が反応した場合には第２ビットを“High” とし、区間D2でSPAD１２２が反応した場合には第３ビットを“High”として出力する。同様に、区間D3ないし区間D7でSPAD１２２が反応した場合には、それぞれ、第４ビットないし第８ビットが“High”にされて出力される。
　iToF測距においても、高速サンプリング回路１４１を共通に使用するために、iToF測距における照射光の発光間隔iToF_LSは、高速サンプリング間隔SD1の倍数である必要がある。また、高速サンプリング期間（低速出力間隔SD2）は、iToF測距における照射光の発光間隔iToF_LSと同じか、または、発光間隔iToF_LSの倍数である必要がある。
　図１４の例では、iToF測距における照射光の発光間隔iToF_LSは、高速サンプリング間隔SD1の８倍であり、高速サンプリング期間（低速出力間隔SD2）は、iToF測距における照射光の発光間隔iToF_LSと同じである。
　図１５は、ｎ＝４、すなわち、高速サンプリングを４回行ったサンプリング結果を、高速サンプリングの１／４の低周波数で、４ビットのデータとして出力する例を示している。SD1=SD2×(1/4)であり、高速サンプリング期間は、低速出力間隔SD2と等しい。
　図１５の例では、高速サンプリング回路１４１は、高速サンプリング期間（低速出力間隔SD2）を、D0ないしD3の４個の区間に分割し、区間D0でSPAD１２２が反応した場合には第１ビットを“High”とし、区間D1でSPAD１２２が反応した場合には第２ビットを“High”とし、区間D2でSPAD１２２が反応した場合には第３ビットを“High”とし、区間D3でSPAD１２２が反応した場合には第４ビットを“High”として出力する。
　iToF測距における照射光の発光間隔iToF_LSは、高速サンプリング間隔SD1の倍数である必要がある。また、高速サンプリング期間（低速出力間隔SD2）は、iToF測距における照射光の発光間隔iToF_LSと同じか、または、発光間隔iToF_LSの倍数である必要がある。
　図１５の例では、iToF測距における照射光の発光間隔iToF_LSは、高速サンプリング間隔SD1の４倍であり、高速サンプリング期間（低速出力間隔SD2）は、iToF測距における照射光の発光間隔iToF_LSと同じである。
＜８．高速サンプリング回路の第１構成例＞
　図１６は、高速サンプリング回路１４１の第１構成例を示している。
　図１６の高速サンプリング回路１４１は、図１５に示した例である、高速サンプリングの１／４の低周波数で、４ビットのサンプリング結果を出力する場合の構成例を示している。
　高速サンプリング回路１４１は、４個の１ビットラッチ回路１６１Aないし１６１Dと、１個の４ビットラッチ回路１６２とを備える。
　４個の１ビットラッチ回路１６１Aないし１６１Dには、SPAD画素１０１からのSPAD出力パルスPA0が入力される。高速な動作のタイミング関係を保証するため、SPAD画素１０１と、１ビットラッチ回路１６１Aないし１６１Dそれぞれとの配線の長さが等しく設置されている。
　１ビットラッチ回路１６１は、入力されるクロックCkに基づいて、SPAD出力パルスPA0をラッチしたラッチ出力パルスPBを、４ビットラッチ回路１６２に出力する。ここで、１ビットラッチ回路１６１Aに入力されるクロックCkをクロックCk1、４ビットラッチ回路１６２に出力するラッチ出力パルスPBをラッチ出力パルスPB0とする。１ビットラッチ回路１６１Bに入力されるクロックCkをクロックCk2、４ビットラッチ回路１６２に出力するラッチ出力パルスPBをラッチ出力パルスPB1とする。１ビットラッチ回路１６１Cに入力されるクロックCkをクロックCk3、４ビットラッチ回路１６２に出力するラッチ出力パルスPBをラッチ出力パルスPB2とする。１ビットラッチ回路１６１Dに入力されるクロックCkをクロックCk4、４ビットラッチ回路１６２に出力するラッチ出力パルスPBをラッチ出力パルスPB3とする。
　１ビットラッチ回路１６１Aないし１６１Dにそれぞれ入力されるクロックCk1乃至Ck4の周波数は、高速サンプリング間隔SD1に対応する高周波数の１／４となる低周波数である。また、クロックCk1乃至Ck4どうしは、隣の１ビットラッチ回路１６１のクロックCkに対して位相が高速サンプリング間隔SD1だけずれた信号となる。
　４ビットラッチ回路１６２は、入力されるクロックCk1に基づいて、１ビットラッチ回路１６１Aないし１６１Dそれぞれから出力されるラッチ出力パルスPB0ないしPB3をラッチし、その結果を４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]として後段に出力する。
　４ビットラッチ回路１６２の処理タイミングは、１ビットラッチ回路１６１Aないし１６１Dの処理時からクロックCk1で１周期遅延する。
＜９．dToF測距モードにおける高速サンプリング処理＞
　図１７は、測定モードがdToF測距モードの場合の図１６の高速サンプリング回路１４１の処理を説明するタイムチャートである。
　図１７の例において、高速サンプリング間隔SD1に対応する高周波数のサンプリングクロック（高速サンプリングクロック）は１GHｚとする。この場合、低速出力間隔SD2に対応する低周波数のクロックCk1ないしCk4は、２５０MHｚとなる。
　発光の基点である、発光部１３が照射光を発した時刻を、時刻ｔ０とする。
　SPAD画素１０１は、発光部１３が時刻ｔ０に発した照射光の反射光を受光し、時刻ｔ１００から時刻ｔ１０１までの期間、HighのSPAD出力パルスPA0を出力したとする。この場合、仮に１GHｚの高速サンプリングクロックでSPAD出力パルスPA0をサンプリングしたとすると、時刻ｔ１００以降の時刻ｔ１１１の立ち上がりで、HighのSPAD出力パルスPA0が初めて検出されるので、７サイクル目でHighのSPAD出力パルスPA0が検出される。
　時刻ｔ１００以降の時刻ｔ１１１において、１ビットラッチ回路１６１Cに入力されるクロックCk3がHighとなり、１ビットラッチ回路１６１Cは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB2をHighに遷移させる。そして、クロックCk3が次にHighとなる時刻ｔ１１５において、１ビットラッチ回路１６１Cは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB2をLowに遷移させる。したがって、ラッチ出力パルスPB2は、時刻ｔ１１１ないし時刻ｔ１１５の期間、Highとなる。
　時刻ｔ１１１以降の時刻ｔ１１２において、１ビットラッチ回路１６１Dに入力されるクロックCk4がHighとなり、１ビットラッチ回路１６１Dは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をHighに遷移させる。そして、クロックCk4が次にHighとなる時刻ｔ１１６において、１ビットラッチ回路１６１Dは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をLowに遷移させる。したがって、ラッチ出力パルスPB2は、時刻ｔ１１２ないし時刻ｔ１１６の期間、Highとなる。
　時刻ｔ１１２以降の時刻ｔ１１３において、１ビットラッチ回路１６１Aに入力されるクロックCk1がHighとなり、１ビットラッチ回路１６１Aは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB0をHighに遷移させる。そして、クロックCk1が次にHighとなる時刻ｔ１１７において、１ビットラッチ回路１６１Aは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB0をLowに遷移させる。したがって、ラッチ出力パルスPB0は、時刻ｔ１１３ないし時刻ｔ１１７の期間、Highとなる。
　時刻ｔ１１３以降の時刻ｔ１１４において、１ビットラッチ回路１６１Bに入力されるクロックCk2がHighとなり、１ビットラッチ回路１６１Bは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をHighに遷移させる。そして、クロックCk2が次にHighとなる時刻ｔ１１８において、１ビットラッチ回路１６１Bは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をLowに遷移させる。したがって、ラッチ出力パルスPB1は、時刻ｔ１１４ないし時刻ｔ１１８の期間、Highとなる。
　４ビットラッチ回路１６２は、入力されるクロックCk1に基づいて、１ビットラッチ回路１６１Aないし１６１Dからそれぞれ出力されたラッチ出力パルスPB0ないしPB3を検出する。
　４ビットラッチ回路１６２の処理タイミングは、１ビットラッチ回路１６１Aないし１６１Dの処理時からクロックCk1で１周期遅延するため、図１７の下段の発光の基点（時刻ｔ０）が、上段の発光の基点から、クロックCk1で１周期ずれている。
　４ビットラッチ回路１６２における発光の基点（時刻ｔ０）以降、最初にクロックCk1がHighとなる時刻ｔ１２１において、４ビットラッチ回路１６２は、ラッチ出力パルスPB0ないしPB3を検出して、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]を出力する。時刻ｔ１２１において、ラッチ出力パルスPB0ないしPB3はいずれもLowであるため、４ビットラッチ回路１６２は、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]＝[Low, Low, Low, Low]を出力する。
　次にクロックCk1がHighとなる時刻ｔ１２２において、４ビットラッチ回路１６２は、ラッチ出力パルスPB0ないしPB3を検出して、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]を出力する。時刻ｔ１２２において、ラッチ出力パルスPB0およびPB1はLowであり、ラッチ出力パルスPB2およびPB3はHighであるため、４ビットラッチ回路１６２は、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]＝[Low, Low, High, High]を出力する。
　次にクロックCk1がHighとなる時刻ｔ１２３において、４ビットラッチ回路１６２は、ラッチ出力パルスPB0ないしPB3を検出して、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]を出力する。時刻ｔ１２３において、ラッチ出力パルスPB0およびPB1はHighであり、ラッチ出力パルスPB2およびPB3はLowであるため、４ビットラッチ回路１６２は、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]＝[High, High, Low, Low]を出力する。
　以上のように、高速サンプリング回路１４１は、２５０MHｚの低サンプリングクロックで、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]を出力する。発光の基点（時刻ｔ０）以降、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]は、[Low, Low, Low, Low]、[Low, Low, High, High]、[High, High, Low, Low]となるので、１GHｚの高速サンプリングクロックでSPAD出力パルスPA0をサンプリングした場合と同様に、７サイクル目でHighとなっている。このように、高速サンプリング回路１４１は、１GHｚの４サイクルの情報を、２５０MHｚの４ビットの情報に変換して出力する。高速な時間情報を、低速な複数ビットの情報に変換して出力することで、後段の回路でタイミング処理が行いやすい構成とすることができる。
＜１０．dToFデータ処理部のdToFデータ処理＞
　図１８は、高速サンプリング回路１４１が順次出力する４ビットのラッチ出力パルスに基づく、ヒストグラム生成回路７１Aの処理を示している。
　図１７を参照して説明したように、高速サンプリング回路１４１が順次出力する４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]は、発光の基点（時刻ｔ０）から、高速サンプリング間隔SD1の各時刻のSPAD出力パルスPA0の状態をサンプリングしたサンプリング結果を表す。より具体的には、高速サンプリング回路１４１が順次出力するラッチ出力パルスPB0’,PB1’,PB2’,PB3’,PB0’,PB1’,PB2’,PB3 PB0’,PB1’,PB2’,PB3,・・・の各ビット値が、発光の基点（時刻ｔ０）からのSPAD出力パルスPA0の高速サンプリング間隔SD1のHighまたはLowの状態を表す。
　そこで、ヒストグラム生成回路７１Aは、図１８の下段に示されるように、高速サンプリング間隔SD1の各時刻のSPAD出力パルスPA0のHighの回数を積算することによりヒストグラムを生成し、距離算出部７２に供給する。距離算出部７２は、ヒストグラム生成回路７１から供給されたヒストグラムデータに基づいてヒストグラムのピーク値を検出し、被写体までの距離を算出する。
　なお、図１８のように、高速サンプリング間隔SD1の各時刻のSPAD出力パルスPA0のHighの回数を積算することによりヒストグラムを生成するのではなく、２５０MHｚの４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]が、最初にHighとなるまでのサイクル数をカウントし、サイクル数のヒストグラムを生成してもよい。例えば、図１８の上段の高速サンプリング回路１４１の出力例では、４ビットのラッチ出力パルス[PB0’,PB1’,PB2’,PB3’]が７サイクル目で初めてHighとなるので、ヒストグラム生成回路７１Aは、「７」サイクル目の度数を１カウントアップする。そして、最終的に生成されたサイクル数のヒストグラムのピーク値に基づいて、被写体までの距離を算出してもよい。
＜１１．iToF測距モードにおける処理＞
　次に、測定モードがiToF測距モードの場合について説明する。
　図１９は、測定モードがiToF測距モードの場合の図１６の高速サンプリング回路１４１とiToFデータ処理部４７の処理を説明するタイムチャートである。
　図１９のiToF測距モードにおいても、高周波数のサンプリングクロック（高速サンプリングクロック）が１GHｚであり、低周波数のクロックCk1ないしCk4は２５０MHｚである。
　また、iToF測距における照射光の発光間隔iToF_LSは、１GHｚ高速サンプリングクロックの４サイクルであり、高速サンプリング期間（低速出力間隔SD2）は、iToF測距における照射光の発光間隔iToF_LSと同じである。
　発光タイミング制御部４２は、発光間隔iToF_LSを、発光期間Aと停止期間Bに２分割し、発光期間Aと停止期間Bを交互に繰り返す発光パルスを生成し、LD１２へ出力する。発光タイミング制御部４２が発光を開始させる時刻を時刻ｔ０とする。SPAD画素１０１は、例えば、時刻ｔ１４０から時刻ｔ１４１までの期間と、時刻ｔ１４２から時刻ｔ１４３までの期間、HighのSPAD出力パルスPA0を出力したとする。
　iToF測距モードでは、上述したように、SPAD１２２が反応したタイミングが、発光期間Aまたは停止期間Bのどちらであるかを検出するので、高速サンプリング回路１４１の４個の１ビットラッチ回路１６１Aないし１６１Dのうち、２つの１ビットラッチ回路１６１のみが使用される。残りの２つの１ビットラッチ回路１６１は、消費電力低減のため、動作を停止させることができる。図１９の例では、１ビットラッチ回路１６１Bと１６１Dが用いられることとする。
　１ビットラッチ回路１６１Bと１６１Dは、入力されるクロックCkの立ち上がりのタイミングで、SPAD１２２の反応を検出する。クロックCk2は、停止期間Bの最初にエッジが立ち上がるので、１ビットラッチ回路１６１Bは、発光期間AにおけるSPAD１２２の反応を検出する。クロックCk4は、発光期間Aの最初にエッジが立ち上がるので、１ビットラッチ回路１６１Dは、停止期間BにおけるSPAD１２２の反応を検出する。
　初めに、時刻ｔ１４０から時刻ｔ１４１までの期間のHighのSPAD出力パルスPA0に対する処理について説明する。この期間のSPAD出力パルスPA0は、停止期間BでSPAD１２２が反応している。
　時刻ｔ１４０以降の時刻ｔ１５１において、１ビットラッチ回路１６１Dに入力されるクロックCk4がHighとなり、１ビットラッチ回路１６１Dは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をHighに遷移させる。そして、クロックCk4が次にHighとなる時刻ｔ１５３において、１ビットラッチ回路１６１Dは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をLowに遷移させる。したがって、ラッチ出力パルスPB3は、時刻ｔ１５１ないし時刻ｔ１５３の期間、Highとなる。
　時刻ｔ１５１以降の時刻ｔ１５２において、１ビットラッチ回路１６１Bに入力されるクロックCk2がHighとなり、１ビットラッチ回路１６１Bは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をHighに遷移させる。そして、クロックCk2が次にHighとなる時刻ｔ１５４において、１ビットラッチ回路１６１Bは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をLowに遷移させる。したがって、ラッチ出力パルスPB1は、時刻ｔ１５２ないし時刻ｔ１５４の期間、Highとなる。
　４ビットラッチ回路１６２は、入力されるクロックCk1に基づいて、１ビットラッチ回路１６１Bおよび１６１Dからそれぞれ出力されたラッチ出力パルスPB1およびPB3を検出し、その状態に対応する２ビットのラッチ出力パルス[PB1’,PB3’]を位相カウント回路８１Aへ出力する。
　時刻ｔ１６１のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB1はLow、ラッチ出力パルスPB3はHighであるので、４ビットラッチ回路１６２は、２ビットのラッチ出力パルス[PB1’,PB3’]＝[Low, High]を、位相カウント回路８１Aへ出力する。
　次の時刻ｔ１６２のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB1はHigh、ラッチ出力パルスPB3はLowであるので、４ビットラッチ回路１６２は、２ビットのラッチ出力パルス[PB1’,PB3’]＝[High, Low] を、位相カウント回路８１Aへ出力する。
　位相カウント回路８１Aは、発光期間Aで反応した回数と、停止期間Bで反応した回数それぞれをカウントするカウンタを有している。発光期間Aで反応した回数をカウントするカウンタを期間Aカウンタ、停止期間Bで反応した回数をカウントするカウンタを期間Bカウンタと称する。
　枠１７１で囲まれたパルスのように、停止期間Bに対応するラッチ出力パルスPB3’が先にHighとなり、発光期間Aに対応するラッチ出力パルスPB1’が後にHighとなった場合には、停止期間BでSPAD１２２が反応したことを表す。そこで、位相カウント回路８１Aは、枠１７１で囲まれた１回のSPAD反応期間に対して、期間Bカウンタを１カウントアップする。
　次に、時刻ｔ１４２から時刻ｔ１４３までの期間のHighのSPAD出力パルスPA0に対する処理について説明する。この期間のSPAD出力パルスPA0は、発光期間AでSPAD１２２が反応している。
　時刻ｔ１４２以降の時刻ｔ１５５において、１ビットラッチ回路１６１Bに入力されるクロックCk2がHighとなり、１ビットラッチ回路１６１Bは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をHighに遷移させる。そして、クロックCk2が次にHighとなる時刻ｔ１５７において、１ビットラッチ回路１６１Bは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB1をLowに遷移させる。したがって、ラッチ出力パルスPB1は、時刻ｔ１５５ないし時刻ｔ１５７の期間、Highとなる。
　時刻ｔ１５５以降の時刻ｔ１５６において、１ビットラッチ回路１６１Dに入力されるクロックCk4がHighとなり、１ビットラッチ回路１６１Dは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をHighに遷移させる。そして、クロックCk4が次にHighとなる時刻ｔ１５８において、１ビットラッチ回路１６１Dは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB3をLowに遷移させる。したがって、ラッチ出力パルスPB3は、時刻ｔ１５６ないし時刻ｔ１５８の期間、Highとなる。
　４ビットラッチ回路１６２は、入力されるクロックCk1に基づいて、１ビットラッチ回路１６１Bおよび１６１Dからそれぞれ出力されたラッチ出力パルスPB1およびPB3を検出し、その状態に対応する２ビットのラッチ出力パルス[PB1’,PB3’]を位相カウント回路８１Aへ出力する。
　時刻ｔ１６４のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB1はLow、ラッチ出力パルスPB3はLowであるので、４ビットラッチ回路１６２は、２ビットのラッチ出力パルス[PB1’,PB3’]＝[Low, Low]を、位相カウント回路８１Aへ出力する。
　次の時刻ｔ１６５のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB1はHigh、ラッチ出力パルスPB3はHighであるので、４ビットラッチ回路１６２は、２ビットのラッチ出力パルス[PB1’,PB3’]＝[High, High]を、位相カウント回路８１Aへ出力する。
　次の時刻ｔ１６６のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB1はLow、ラッチ出力パルスPB3はLowであるので、４ビットラッチ回路１６２は、２ビットのラッチ出力パルス[PB1’,PB3’]＝[Low, Low]を、位相カウント回路８１Aへ出力する。
　枠１７２で囲まれたパルスのように、発光期間Aに対応するラッチ出力パルスPB1’と、停止期間Bに対応するラッチ出力パルスPB3’が同時にHighとなる場合、または、先に発光期間Aに対応するラッチ出力パルスPB1’がHighとなり、停止期間Bに対応するラッチ出力パルスPB3’が後にHighとなった場合には、発光期間AでSPAD１２２が反応したことを表す。そこで、位相カウント回路８１Aは、枠１７２で囲まれた１回のSPAD反応期間に対して、期間Aカウンタを１カウントアップする。
　以上のように、位相カウント回路８１Aは、発光期間Aに対応するラッチ出力パルスPB1’が先にHighとなるか、停止期間Bに対応するラッチ出力パルスPB3’が先にHighとなるかに応じて、発光期間AでSPAD１２２が反応したか、または、停止期間BでSPAD１２２が反応したかを判定する。そして、位相カウント回路８１Aは、期間Aカウンタと期間Bカウンタにより、発光期間Aで反応した回数と、停止期間Bで反応した回数をそれぞれカウントする。距離算出部８２は、カウント結果の比を用いて反射光の位相差を検出し、被写体までの距離を算出する。
　また、上述した例は、発光期間Aに対して、受光タイミングを位相０度と位相１８０度の２位相で検出する方式であるが、iToF測距では、位相０度、位相９０度、位相１８０度、および位相２７０度の４位相で検出する方式もある。４位相で検出する方式の場合には、高速サンプリング回路１４１の４個の１ビットラッチ回路１６１Aないし１６１Dを使用して、各位相におけるSPAD反応回数が検出される。あるいはまた、２位相で検出する方式であっても、４個の１ビットラッチ回路１６１Aないし１６１Dを使用して、異なるduty比（例えば、75%と25%）で動作させて検出してもよい。
＜１２．ビューイングモードにおける処理＞
　次に、測定モードがビューイングモードの場合について説明する。
　図２０は、測定モードがビューイングモードの場合の図１６の高速サンプリング回路１４１とビューイングデータ処理部４８の処理を説明するタイムチャートである。
　図２０のビューイングモードにおいても、高周波数のサンプリングクロック（高速サンプリングクロック）が１GHｚであり、低周波数のクロックCk1ないしCk4は２５０MHｚである。
　図２０の例では、時刻ｔ１８０から時刻ｔ１８１までの期間、HighのSPAD出力パルスPA0が出力されたとする。
　ビューイングモードでは、SPAD１２２が反応した回数のみを検出するので、高速サンプリング回路１４１の４個の１ビットラッチ回路１６１Aないし１６１Dのうち、１つの１ビットラッチ回路１６１のみが使用される。残りの３つの１ビットラッチ回路１６１は、消費電力低減のため、動作を停止させることができる。図２０の例では、１ビットラッチ回路１６１Aが用いられることとする。
　時刻ｔ１８０以降の時刻ｔ１９１において、１ビットラッチ回路１６１Aに入力されるクロックCk1がHighになり、１ビットラッチ回路１６１Aは、HighのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB0をHighに遷移させる。そして、クロックCk1が次にHighとなる時刻ｔ１９２において、１ビットラッチ回路１６１Aは、LowのSPAD出力パルスPA0を検出して、ラッチ出力パルスPB0をLowに遷移させる。したがって、ラッチ出力パルスPB0は、時刻ｔ１９１ないし時刻ｔ１９２の期間、Highとなる。
　４ビットラッチ回路１６２は、入力されるクロックCk1に基づいて、１ビットラッチ回路１６１Aから出力されたラッチ出力パルスPB0を検出し、その状態に対応する１ビットのラッチ出力パルスPB0’をフォトンカウント回路９１Aへ出力する。
　時刻ｔ２０１のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB0はHighであるので、４ビットラッチ回路１６２は、１ビットのラッチ出力パルスPB0’＝Highを、フォトンカウント回路９１Aへ出力する。
　次の時刻ｔ２０２のクロックCk1の立ち上がりにおいて、ラッチ出力パルスPB0はLow（立ち下がり）であるので、４ビットラッチ回路１６２は、１ビットのラッチ出力パルスPB0’＝Lowを、フォトンカウント回路９１Aへ出力する。
　フォトンカウント回路９１Aは、高速サンプリング回路１４１から供給される１ビットのラッチ出力パルスPB0’がアサート（Highに変化）した回数をカウントするカウンタを有している。フォトンカウント回路９１Aは、枠１７３で囲まれた１回のSPAD反応期間に対してカウンタを１カウントアップする。最終的なカウント結果が画像データ処理部９２に供給され、画像データ処理部９２において、カウント結果を画素値（輝度値）とする画像データが生成される。
　上述したiToF測距モードおよびビューイングモードの例では、高速サンプリングクロックの周波数をdToF測距モードと同じ１GHｚとして説明したが、iToF測距モードおよびビューイングモードの動作クロック周波数は、dToF測距モードの動作クロック周波数と変えてもよい。
＜１３．高速サンプリング回路の第２構成例＞
　図２１は、高速サンプリング回路１４１の第２構成例を示している。
　図２１の高速サンプリング回路１４１は、図１６に示した第１構成例の、高速サンプリングの１／４の低周波数で、４ビットのサンプリング結果を出力する場合に対応している。
　高速サンプリング回路１４１は、高速カウンタ回路１８１、固定パルス生成回路１８２、ラッチ回路１８３、および、クロック乗り換え回路１８４を備える。
　高速カウンタ回路１８１には、高速サンプリング間隔SD1に対応する高周波数のサンプリングクロック（高速サンプリングクロック）CK_Hが入力される。高速カウンタ回路１８１は、高速サンプリングクロックCK_Hに基づいて、図１５の高速サンプリング期間のみを２ビットで周期的にカウントする。高速カウンタ回路１８１は、カウント結果を、ラッチ回路１８３に供給する。カウント数を２のべき乗にすることで、同期リセットが不要なフリーランカウンタを用いることができる。
　固定パルス生成回路１８２は、SPAD画素１０１から供給されるSPAD出力パルスPA0の立ち上がりを検出し、High期間が固定のSPAD出力パルスPA0’を生成してラッチ回路１８３およびクロック乗り換え回路１８４に供給する。すなわち、図５に示したSPAD画素１０１は、クエンチとリチャージを受動的に行う回路であるため、光子の検出に応じてSPAD出力パルスPA0がHighとなるHigh期間の長さは、その都度異なる。固定パルス生成回路１８２は、SPAD画素１０１から供給されるHigh期間が可変のSPAD出力パルスPA0を、High期間が固定のSPAD出力パルスPA0’に変換して出力する。High期間は、例えば、低速サンプリングクロックCK_Lの一周期とすることができる。
　ラッチ回路１８３は、高速カウンタ回路１８１からの２ビットのカウント値を、SPAD出力パルスPA0’に基づいてラッチし、クロック乗り換え回路１８４に供給する。
　クロック乗り換え回路１８４には、高速サンプリングの１／４の低周波数である低速サンプリングクロックCK_Lが入力される。クロック乗り換え回路１８４は、低速サンプリングクロックCK_Lに基づいて、低速クロックサイクル数LOWCY_NUMと、高速カウント値HIGHCNT_NUMを検出し、後段に出力する。低速クロックサイクル数LOWCY_NUMは、発光開始時刻ｔ０から低速サンプリングクロックCK_Lの何サイクル目に、SPAD出力パルスPA0’のアサートを検出したかを表す。高速カウント値HIGHCNT_NUM は、SPAD出力パルスPA0’がアサートしたときのラッチ回路１８３のラッチデータ（２ビット）を表す。
＜１４．dToF測距モードにおける高速サンプリング処理＞
　図２２は、測定モードがdToF測距モードの場合の図２１の高速サンプリング回路１４１の処理を説明するタイムチャートである。
　図２２の例において、高速サンプリングクロックCK_Hが１GHｚであり、低速サンプリングクロックCK_Lは２５０MHｚである。
　発光の基点である、発光部１３が照射光を発した時刻を、時刻ｔ０とする。SPAD画素１０１は、発光部１３が時刻ｔ０に発した照射光の反射光を受光し、時刻ｔ２２０から時刻ｔ２２１までの期間、HighのSPAD出力パルスPA0を出力したとする。
　ラッチ回路１８３は、SPAD出力パルスPA0’がHighになった後の最初の高速サンプリングクロックCK_Hの立ち上がりエッジである時刻ｔ２４１において、そのときの高速カウンタ１８１のカウント値である“１”を、クロック乗り換え回路１８４に出力する。
　クロック乗り換え回路１８４は、発光部１３が照射光を発した時刻ｔ０から、低速サンプリングクロックCK_Lにしたがい、低速クロックサイクル数LOWCY_NUMをカウントし、SPAD出力パルスPA0’がHighとなったときの低速クロックサイクル数LOWCY_NUMを検出して出力する。また、クロック乗り換え回路１８４は、SPAD出力パルスPA0’がHighとなったときのラッチ回路１８３の出力であるカウント値を、高速カウント値HIGHCNT_NUMとして出力する。
　枠１７４で囲まれたSPAD出力パルスPA0’のアサートに対しては、発光開始時刻ｔ０から低速サンプリングクロックCK_Lの２サイクル目、かつ、高速カウンタが１のときにSPAD出力パルスPA0’がHighとなっている。したがって、クロック乗り換え回路１８４は、高速カウント値HIGHCNT_NUM＝“１”、低速クロックサイクル数LOWCY_NUM＝“２”を出力する。
　なお、高速カウンタ回路１８１は、図２３のように、複数のSPAD画素１０１で共有して使用することができる。
＜１５．第１実施の形態のまとめ＞
　以上の測距センサ１１の第１実施の形態によれば、dToF測距モード、iToF測距モード、または、ビューイングモードを時分割で切り替え、SPAD画素１０１を共通に使用して、各測定モードに応じた異なる測定を行うことができる。受光画素としてSPAD画素１０１を共通に使用することにより、部品点数を抑えることができる。実行される測定モード以外の回路は電源やクロックの供給を停止させることができる。これにより、消費電力を低減させることができる。測距センサ１１がセンサ内で測定モードを切り替えて動作し、制御装置１０は、測定方式を指定して、測定リクエストを送信するだけでよいので、制御装置１０の制御がシンプルになる。各測定モードに応じた動作を時分割で行うことにより、高精度の測距または高解像度のビューイングデータの生成が可能となる。
　上述した例では、各測定モードにおける高速サンプリングクロックの周波数をdToF測距モードと同じ１GHｚとして説明したが、iToF測距モードとビューイングモードの高速サンプリングクロックの周波数は、dToF測距モードよりも低く設定してもよい。これにより、消費電力を低減することができる。
　測距センサ１１において、位相カウント回路８１のカウント回路と、フォトンカウント回路９１のカウント回路は、共通の回路として構成し、測定モードに応じて使い分ける構成としてもよい。
　また、測距センサ１１において、距離算出部７２、距離算出部８２、および、画像データ処理部９２を省略して、ヒストグラムデータやフォトンのカウント結果を、測定データとして、制御装置１０へ出力してもよい。換言すれば、ヒストグラムデータまたは位相カウント結果に基づく距離の算出や、フォトンのカウント結果に基づくビューイングデータの生成は、後段のDSP(Digital Signal Processor)等で実行させてもよい。
　測距システム１は、図１に示したように１つの発光部１３を備える構成としたが、複数の発光部１３を備え、例えば測距モードに応じて、照射光を発光させる発光部１３を切り替えてもよい。
＜１６．測距センサの第２実施の形態の第１構成例＞
　次に、測距センサ１１の第２実施の形態について説明する。
　上述した第１実施の形態に係る測距センサ１１は、dToF測距モード、iToF測距モード、または、ビューイングモードを時分割で切り替え、各測定モードによる測定結果を時分割で出力した。
　これに対して、第２実施の形態に係る測距センサ１１は、基本としてdToF測距の駆動を行い、各SPAD画素１０１が出力するSPAD出力パルスPA0に基づきヒストグラムを生成して、被写体までの距離を算出する。また、第２実施の形態に係る測距センサ１１は、生成されたヒストグラムデータを用いて、ビューイングの画像データ（ビューイングデータ）も生成し、dToF測距の測距データと同時に出力する。換言すれば、第２実施の形態では、制御装置１０は、測定方式を指定せずに、測定リクエストのみを測距センサ１１に送信すると、測距センサ１１から、測定リクエストに対する応答として、dToF測距の測距データとビューイングデータが返信される。
　図２４は、測距センサ１１の第２実施の形態の第１構成例を示すブロック図である。
　図２４において、図２に示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　測距センサ１１は、制御部４１、発光タイミング制御部４２、SPAD制御回路４４、SPAD画素アレイ部２００、読み出し回路２０１、dToFデータ処理部２０２、ビューイングデータ処理部２０３、出力IF２０４、および、入出力端子５１ａないし５１ｄを有する。
　図２４の測距センサ１１において、制御部４１、発光タイミング制御部４２、および、SPAD制御回路４４は、図２の測距センサ１１と共通する。ただし、制御部４１は、測定モードの切り替えは不要であるので、モード切替制御部４１Aを含まない。
　一方、SPAD画素アレイ部２００、読み出し回路２０１、dToFデータ処理部２０２、ビューイングデータ処理部２０３、および、出力IF２０４は、図２の測距センサ１１と異なる。また、入出力端子５１ｄが追加されている。
　dToFデータ処理部２０２は、ヒストグラム生成回路２１１および距離算出部２１２を有する。ビューイングデータ処理部２０３は、フォトンカウント回路２２１および画像データ処理部２２２を有する。
　SPAD画素アレイ部２００は、光が入射される入射面に、R(Red)、G(Green)、またはB(Blue)のカラーフィルタ層が設けられている点が、図２に示した第１実施の形態のSPAD画素アレイ部４３と異なる。
　図２５は、SPAD画素アレイ部２００に設けられたカラーフィルタ層の例を示している。
　R、G、またはBのカラーフィルタ層の配置は特に限定されないが、例えば、図２５のAに示されるような、いわゆるベイヤ配列により配置されている。
　図２５のBに示されるように、Rのカラーフィルタ層は、赤外（IR）とRの光を透過させる。Bのカラーフィルタ層は、赤外（IR）とBの光を透過させる。Gのカラーフィルタ層は、赤外（IR）とGの光を透過させる。
　図２４に戻り、読み出し回路２０１は、SPAD画素アレイ部２００の各SPAD画素１０１から供給される画素信号（SPAD出力パルスPA0）を、dToFデータ処理部２０２とビューイングデータ処理部２０３の両方に供給する。
　dToFデータ処理部２０２のヒストグラム生成回路２１１は、第１実施の形態におけるヒストグラム生成回路７１と同様に、所定の回数（例えば、数回ないし数百回）繰り返し実行される照射光の発光と、その反射光の受光とに基づいて、飛行時間に相当するカウント値のヒストグラムを画素ごとに作成し、作成したヒストグラムデータを、距離算出部２１２に供給する。
　さらに、ヒストグラム生成回路２１１は、ヒストグラムデータの生成中、カウントマスク信号CNT_MKを生成し、ビューイングデータ処理部２０３のフォトンカウント回路２２１に供給する。
　距離算出部２１２は、ヒストグラム生成回路２１１から供給されるヒストグラムデータに対して、ノイズ除去やヒストグラムのピーク検出などを行う。そして、距離算出部２１２は、検出されたヒストグラムのピーク値に基づいて飛行時間を算出し、算出した飛行時間から、被写体までの距離を画素毎に算出して、出力IF２０４に供給する。
　ビューイングデータ処理部２０３のフォトンカウント回路２２１は、SPAD画素アレイ部２００の各SPAD画素１０１から供給される画素信号（SPAD出力パルスPA0）に基づいて、フォトンが入射した回数を画素毎にカウントする。ただし、フォトンカウント回路２２１は、ヒストグラム生成回路２１１から供給されるカウントマスク信号CNT_MKがHighに設定された所定期間については、フォトンのカウントを停止する。
　画像データ処理部２２２は、画素毎に計測されたフォトンのカウント結果に基づいてビューイングデータを生成し、出力IF２０４に供給する。
　出力IF２０４は、dToFデータ処理部２０２から供給される測距データと、ビューイングデータ処理部２０３から供給されるビューイングデータを、同時に制御装置１０へ出力する。測距データは、入出力端子５１ｃから制御装置１０へ出力され、ビューイングデータは、入出力端子５１ｄから制御装置１０へ出力される。
　以上の第２実施の形態の第１構成例において、測距データおよびビューイングデータを、１画素単位に生成して出力してもよいし、複数画素単位で生成して出力してもよい点は、上述した第１実施の形態と同様である。
＜１７．カウントマスク信号の生成＞
　図２６および図２７を参照して、ヒストグラム生成回路２１１が行うカウントマスク信号CNT_MKの生成について説明する。
　図２５を参照して説明したように、赤外光は、R、G、Bのどのカラーフィルタ層も透過するので、SPAD画素アレイ部２００の全てのSPAD画素１０１で受光される。受光される赤外光のほとんどは、発光部１３から照射された照射光の反射光であり、図２６のように、被写体までの距離DSに応じたΔｔ時間に集中する。したがって、ヒストグラムを生成した場合に、ヒストグラムのピークの発生から終了までの期間（以下、ピーク期間と称する）の光が、赤外光に対応し、ピーク期間以外の光が、R、G、Bの光に対応する。
　そこで、ヒストグラム生成回路２１１は、ピークの発生から終了までのピーク期間を検出し、検出されたピーク期間がHighとなるようなカウントマスク信号CNT_MKを生成して、フォトンカウント回路２２１に供給する。ピーク期間は、例えば、ヒストグラムのカウント値が第１閾値Vth1以上のピーク値（最大値）を検出し、そのピーク値を含み、カウント値が第２閾値Vth2（Vth1>Vth2）以上である区間として検出することができる。
　具体的には、測距センサ１１は、照射光の発光と受光を、複数回（例えば、数回ないし数百回）繰り返すことにより、ヒストグラムを生成するが、図２７に示されるように、最初の数回、ヒストグラムのピーク期間を検出するピーク決定期間PKTIMEを設ける。
　図２７の例は、例えば、照射光を１００回繰り返してヒストグラムを生成するうちの、最初の２回をピーク決定期間PKTIMEとする例である。図２７において、時刻ｔ３００、ｔ３１０、およびｔ３２０は、照射光を発光する時刻であり、各発光時刻どうしの時間Ｔ１００は、発光間隔を表す。
　ピーク決定期間PKTIMEにより、ヒストグラム生成回路２１１は、発光開始時刻からtd1時間経過後のts1期間と、td2時間経過後のts2期間が、ピーク期間であると検出する。そして、ヒストグラム生成回路２１１は、３回目となる時刻ｔ３２０以降の照射光の発光のタイミングに合わせて、ts1期間とts2期間をHighとするカウントマスク信号CNT_MKを生成して、フォトンカウント回路２２１に供給する。フォトンカウント回路２２１は、カウントマスク信号CNT_MKがHighである期間には、SPAD画素１０１からの画素信号（SPAD出力パルスPA0）がHighとなっても、フォトンのカウント値をカウントアップしない。すなわち、カウントマスク信号CNT_MKがHighである期間、フォトンのカウントが停止される。
　図２８は、ビューイングデータ処理部２０３のフォトンカウント回路２２１が、ヒストグラムを生成する単位ごとに備えるカウント回路２６１の概略構成を示すブロック図である。
　カウント回路２６１は、AND回路２８１とカウンタ回路２８２とを備え、AND回路２８１には、カウントマスク信号CNT_MKと、SPAD画素１０１からのSPAD出力パルスPA0とが入力される。
　AND回路２８１は、カウントマスク信号CNT_MKと、SPAD出力パルスPA0のAND演算を実行し、その実行結果をカウンタ回路２８２に出力する。カウンタ回路２８２は、AND回路２８１からHighの信号が入力される毎にカウント値を１カウントアップし、測定終了にともない、カウント結果を画像データ処理部２２２に供給する。
＜１８．第２実施の形態の第１構成例の変形例＞
　図２９は、図２４に示した第２実施の形態に係る第１構成例の変形例を示すブロック図である。
　図２９の変形例を、図２４に示した構成と比較すると、読み出し回路２０１とdToFデータ処理部２０２’およびビューイングデータ処理部２０３’との間に、共通回路２０５が新たに追加されている。図２４に示したdToFデータ処理部２０２とビューイングデータ処理部２０３において共通な処理を実行する回路が、それらの前段に共通回路２０５として設けられる。共通回路２０５の実行結果が、dToFデータ処理部２０２’のヒストグラム生成回路２１１’と、ビューイングデータ処理部２０３’のフォトンカウント回路２２１’に供給される。例えば、共通回路２０５の構成としては、図１３の第１実施の形態の第２構成例で採用した高速サンプリング回路１４１の構成を採用することができる。
＜１９．測距センサの第２実施の形態の第２構成例＞
　図３０は、測距センサ１１の第２実施の形態の第２構成例を示すブロック図である。
　図３０において、図２４および図２９に示した第２実施の形態の第１構成例と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図３０の測距センサ１１は、制御部４１、発光タイミング制御部４２、SPAD制御回路４４、SPAD画素アレイ部２００、読み出し回路２０１、ヒストグラム生成回路３０１、dToFデータ処理部３０２、ビューイングデータ処理部３０３、出力IF２０４、および、入出力端子５１ａないし５１ｄを有する。
　図３０の第２構成例を図２４に示した第１構成例と比較すると、読み出し回路２０１の後段に、ヒストグラム生成回路３０１が新たに設けられている。ヒストグラム生成回路３０１は、図２４のヒストグラム生成回路２１１’と同様に、読み出し回路２０１から供給される画素信号（SPAD出力パルスPA0）に基づいて、ヒストグラムを画素ごとに生成し、生成したヒストグラムデータを、dToFデータ処理部３０２およびビューイングデータ処理部３０３に供給する。
　また、図３０の第２構成例では、図２４に示した第１構成例におけるdToFデータ処理部２０２およびビューイングデータ処理部２０３に代えて、dToFデータ処理部３０２およびビューイングデータ処理部３０３が設けられている。第１構成例においては、dToFデータ処理部２０２からビューイングデータ処理部２０３にカウントマスク信号CNT_MKが供給されたが、第２構成例では、dToFデータ処理部３０２からビューイングデータ処理部３０３に、ピーク区間信号PK_VLが供給される。
　dToFデータ処理部３０２は、距離算出部３１１を有する。距離算出部３１１は、ヒストグラム生成回路３０１から供給されるヒストグラムデータに対して、ノイズ除去やヒストグラムのピーク検出などを行う。そして、距離算出部３１１は、検出されたヒストグラムのピーク値に基づいて飛行時間を算出し、算出した飛行時間から、被写体までの距離を画素毎に算出して、出力IF２０４に供給する。
　また、距離算出部３１１は、ヒストグラム生成回路３０１から供給されるヒストグラムデータから、ヒストグラムのピーク期間がHighとなるピーク区間信号PK_VLを生成し、ビューイングデータ処理部３０３に供給する。
　ビューイングデータ処理部３０３は、ヒストグラムカウント回路３２１と画像データ処理部３２２を有する。ヒストグラムカウント回路３２１は、ヒストグラム生成回路３０１から供給されるヒストグラムデータとピーク区間信号PK_VLに基づいて、R、G、およびBの光に対応するフォトン数を画素毎にカウントし、カウント結果を画像データ処理部３２２に供給する。
　画像データ処理部３２２は、画素毎に計測されたフォトンのカウント結果に基づいてビューイングデータを生成し、出力IF２０４に供給する。
　図３１を参照して、距離算出部３１１が生成するピーク区間信号PK_VLと、ヒストグラムカウント回路３２１の処理について説明する。
　ヒストグラム生成回路３０１から距離算出部３１１およびヒストグラムカウント回路３２１に供給されるヒストグラムデータは、図３１に示されるように、ピークの発生から終了までのピーク期間に集中して受光されたIR光と、その他の期間に受光されたR、G、またはBの光に分けられる。
　dToFデータ処理部３０２の距離算出部３１１は、ヒストグラムデータから、ピーク期間tr1およびtr2を検出し、検出されたピーク期間tr1およびtr2がHighとなるピーク区間信号PK_VLを生成し、ビューイングデータ処理部３０３に供給する。
　ビューイングデータ処理部３０３のヒストグラムカウント回路３２１には、ヒストグラムデータとピーク区間信号PK_VLが、画素毎に供給される。ヒストグラムカウント回路３２１は、ヒストグラム生成回路３０１から供給されるヒストグラムデータの全データのうち、ピーク区間信号PK_VLがHighとなっているピーク期間tr以外のデータを加算した値を、フォトンのカウント結果として、画像データ処理部３２２に供給する。
　第２実施の形態において、図２４および図２９に示した第１構成例と、図３０の第２構成例は、各SPAD画素１０１で入射されたフォトンのカウント結果を、IR光のカウント結果と、RGB光のカウント結果とに分類し、ビューイングデータ処理部２０３または３０３が、RGB光のカウント結果のみに基づいて、ビューイングデータを生成する点で共通する。
　一方、第１構成例では、dToFデータ処理部２０２のヒストグラム生成回路２１１が、ヒストグラムを生成中にカウントマスク信号CNT_MKを生成して、ビューイングデータ処理部２０３に供給するのに対して、第２構成例では、生成されたヒストグラムデータに基づいてピーク区間信号PK_VLが生成されて、ビューイングデータ処理部３０３に供給される点で相違する。すなわち、カウントマスク信号CNT_MKは、ヒストグラム生成中に発行される信号であるのに対して、ピーク区間信号PK_VLは、ヒストグラム生成後に発行される信号である。
　第２構成例は、図２９に示した第１構成例の変形例の共通回路２０５として、ヒストグラム生成回路３０１を設けた構成であるとも言うことができ、共通化できる回路範囲が大きい。また、ヒストグラム生成回路３０１とヒストグラムカウント回路３２１とが同時に動作しないため、消費電力を低減することができる。
＜２０．第２実施の形態のまとめ＞
　以上の測距センサ１１の第２実施の形態によれば、SPAD画素１０１からの画素信号に基づいて、dToF測距による測距データと、ビューイングデータとを同時に生成および出力することができる。すなわち、受光画素としてSPAD画素１０１を共通に使用して異なる測定を同時に実現できる。SPAD画素１０１を共通に使用することにより、部品点数を抑えることができる。
　第２実施の形態においては、制御装置１０は、測定方式を指定することなく、測定の実行を要求する測定リクエストを測距センサ１１に送信すると、測距センサ１１は、測定リクエストに対する応答として、dToF測距の測距データとビューイングデータを返信する。したがって、制御装置１０は、測定モードを気にすることなく、測定リクエストのみで、測距データとビューイングデータを得ることができる。
　また、第２実施の形態においても、距離算出部２１２および画像データ処理部２２２、または、距離算出部３１１および画像データ処理部３２２を省略して、ヒストグラムデータおよびフォトンのカウント結果を、測定データとして、制御装置１０へ出力してもよい。
　第２実施の形態においても、ヒストグラムデータの算出、および、ヒストグラムデータに基づく被写体までの距離の算出を、１画素単位ではなく、複数画素単位で行ってもよい。また、隣接した複数画素を１グループとしてグループ単位でヒストグラムデータを生成する場合には、R,G,Bのカラーフィルタ層を、例えば、２ｘ２の４画素単位のベイヤ配列とするなど、グループ単位で同色のカラーフィルタを配置してもよい。隣接した複数画素からなるグループ単位でヒストグラムデータを生成する場合には、データ量を圧縮できるので、ヒストグラムデータの完成と同時に、フォトンのカウントも終了する第１構成例の方が好ましい。
　第２実施の形態においては、ヒストグラムデータに基づく測距データと、ビューイングデータの両方を同時に生成して出力することができるが、出力するタイミングについては、第１実施の形態と同様に、１つの入出力端子５１ｃまたは５１ｄから時分割で順番に出力してもよい。
＜２１．電子機器の構成例＞
　上述した測距システム１は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
　図３２は、上述した測距システム１を測距モジュールとして搭載したスマートフォンの構成例を示すブロック図である。
　図３２に示すように、スマートフォン６０１は、測距モジュール６０２、撮像装置６０３、ディスプレイ６０４、スピーカ６０５、マイクロフォン６０６、通信モジュール６０７、センサユニット６０８、タッチパネル６０９、および制御ユニット６１０が、バス６１１を介して接続されて構成される。また、制御ユニット６１０では、CPUがプログラムを実行することによって、アプリケーション処理部６２１およびオペレーションシステム処理部６２２としての機能を備える。
　測距モジュール６０２には、図１の測距システム１が適用される。例えば、測距モジュール６０２は、スマートフォン６０１の前面に配置され、スマートフォン６０１のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。
　撮像装置６０３は、スマートフォン６０１の前面に配置され、スマートフォン６０１のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン６０１の背面にも撮像装置６０３が配置された構成としてもよい。
　ディスプレイ６０４は、アプリケーション処理部６２１およびオペレーションシステム処理部６２２による処理を行うための操作画面や、撮像装置６０３が撮像した画像などを表示する。スピーカ６０５およびマイクロフォン６０６は、例えば、スマートフォン６０１により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
　通信モジュール６０７は、通信ネットワークを介した通信を行う。センサユニット６０８は、速度や加速度、近接などをセンシングし、タッチパネル６０９は、ディスプレイ６０４に表示されている操作画面に対するユーザによるタッチ操作を取得する。
　アプリケーション処理部６２１は、スマートフォン６０１によって様々なサービスを提供給するための処理を行う。例えば、アプリケーション処理部６２１は、測距モジュール６０２から供給されるデプスに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ６０４に表示する処理を行うことができる。また、アプリケーション処理部６２１は、測距モジュール６０２から供給されるデプスに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
　オペレーションシステム処理部６２２は、スマートフォン６０１の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部６２２は、測距モジュール６０２から供給されるデプス値に基づいて、ユーザの顔を認証し、スマートフォン６０１のロックを解除する処理を行うことができる。また、オペレーションシステム処理部６２２は、測距モジュール６０２から供給されるデプス値に基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
　このように構成されているスマートフォン６０１では、測距モジュールとして、上述した測距システム１を適用することで、例えば、被写体としての所定の物体までの距離を測定して、測距データとして出力することができる。また、ビューイングモードでは、ビューイングデータを出力することもできる。
＜２２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３４は、撮像部１２０３１の設置位置の例を示す図である。
　図３４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、上述した測距システム１を適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、dToF測距とiToF測距の両方による距離情報を取得することができる。また、得られた撮影画像や距離情報を用いて、ドライバの疲労を軽減したり、ドライバや車両の安全度を高めることが可能になる。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加してももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　光電変換素子としてSPADを有するSPAD画素と、
　前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、
　前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部と
　を備える測距センサ。
（２）
　前記ビューイングデータ処理部は、所定の測定期間内に前記SPADが反応した回数をカウントする
　前記（１）に記載の測距センサ。
（３）
　測定モードを切り替えるモード切替制御部をさらに備え、
　前記モード切替制御部は、前記ToFデータ処理部が処理を行う測距モードと、前記ビューイングデータ処理部が処理を行うビューイングモードとを時分割で切り替える
　前記（１）または（２）に記載の測距センサ。
（４）
　測定モードに応じて、前記ToFデータ処理部からの前記測距データまたは前記ビューイングデータ処理部からの前記ビューイングデータのいずれか一方を出力する出力部をさらに備える
　前記（１）ないし（３）のいずれかに記載の測距センサ。
（５）
　前記ToFデータ処理部は、
　　direct ToF方式による前記測距データを生成して出力するdToFデータ処理部と、
　　indirect ToF方式による前記測距データを生成して出力するiToFデータ処理部と
　を有する
　前記（１）ないし（４）のいずれかに記載の測距センサ。
（６）
　測定モードに応じて、前記dToFデータ処理部からの前記測距データ、前記iToFデータ処理部からの前記測距データ、または、前記ビューイングデータ処理部からの前記ビューイングデータのいずれかを出力する出力部をさらに備える
　前記（５）に記載の測距センサ。
（７）
　前記iToFデータ処理部は、照射光の発光タイミングと同じ位相の第１の期間で前記SPADが反応した回数と、前記照射光の発光タイミングを反転した位相の第２の期間で前記SPADが反応した回数とをカウントする
　前記（５）または（６）に記載の測距センサ。
（８）
　前記SPAD画素から出力される１ビットの前記画素信号を第１の周波数でサンプリングしたｎビット（ｎ＞１）のサンプリング結果を、前記第１の周波数よりも低周波数である第２の周波数で出力するサンプリング回路をさらに備える
　前記（５）ないし（７）のいずれかに記載の測距センサ。
（９）
　前記第１の周波数でサンプリングするサンプリング間隔は、direct ToF測定モードのサンプリング間隔であり、
　indirect ToF測定モードにおける照射光の発光間隔は、前記第１の周波数の前記サンプリング間隔の倍数であり、
　前記ｎビットのサンプリング結果を前記第２の周波数で出力する出力間隔は、前記indirect ToF測定モードにおける照射光の発光間隔と同じか、または、その倍数である
　前記（８）に記載の測距センサ。
（１０）
　前記サンプリング回路は、
　　前記SPAD画素から出力される１ビットの前記画素信号を前記第２の周波数でラッチするｎ個の第１ラッチ回路と、
　　前記ｎ個の第１ラッチ回路の出力を前記第２の周波数でラッチすることにより前記ｎビットのサンプリング結果を出力する第２ラッチ回路と
　を有する
　前記（８）または（９）に記載の測距センサ。
（１１）
　前記dToFデータ処理部は、前記ｎビットのサンプリング結果に応じてヒストグラムを生成する
　前記（８）ないし（１０）のいずれかに記載の測距センサ。
（１２）
　前記dToFデータ処理部は、前記ｎビットのサンプリング結果がHighとなるまでのサイクル数に応じてヒストグラムを生成する
　前記（８）ないし（１１）のいずれかに記載の測距センサ。
（１３）
　前記iToFデータ処理部は、２個の前記第１ラッチ回路のうちの一方が先にHighとなるか、他方が先にHighとなるかに応じて、照射光の発光タイミングと同じ位相の第１の期間で前記SPADが反応したか、または、前記照射光の発光タイミングを反転した位相の第２の期間で前記SPADが反応したかを判定する
　前記（１０）ないし（１２）のいずれかに記載の測距センサ。
（１４）
　前記ビューイングデータ処理部は、１個の前記第１ラッチ回路においてHighとなる回数をカウントする
　前記（１０）ないし（１３）のいずれかに記載の測距センサ。
（１５）
　第１の周波数によるｎビット（ｎ＞１）のカウント値を、前記SPAD画素から出力される１ビットの前記画素信号に基づいてラッチするラッチ回路と、
　前記第１の周波数よりも低周波数である第２の周波数で、前記画素信号がHighとなったときのサイクル数と前記カウント値を出力する低サンプリング回路と
　をさらに備える
　前記（５）に記載の測距センサ。
（１６）
　前記SPAD画素から出力される前記画素信号に基づいて、前記ToFデータ処理部が前記測距データを生成して出力する処理と、前記ビューイングデータ処理部が前記ビューイングデータを生成して出力する処理が同時に実行される
　前記（１）に記載の測距センサ。
（１７）
　複数の前記SPAD画素が行列状に配置されており、
　複数の前記SPAD画素それぞれには、R,G,またはBのカラーフィルタ層が設けられている
　前記（１６）に記載の測距センサ。
（１８）
　前記ToFデータ処理部は、前記SPAD画素から出力される前記画素信号に基づいてヒストグラムを生成し、前記ヒストグラムのピーク期間を示すカウントマスク信号を生成し、
　前記ビューイングデータ処理部は、前記カウントマスク信号に基づいて、所定期間、フォトンのカウントを停止して、前記ビューイングデータを生成する
　前記（１６）または（１７）に記載の測距センサ。
（１９）
　前記SPAD画素から出力される前記画素信号に基づいてヒストグラムを生成するヒストグラム生成回路をさらに備え、
　前記ToFデータ処理部は、前記ヒストグラム生成回路から供給される前記ヒストグラムに基づいて、前記ヒストグラムのピーク区間を示すピーク区間信号を生成し、
　前記ビューイングデータ処理部は、前記ピーク区間信号に基づいて前記ピーク区間以外のデータを加算して、前記ビューイングデータを生成する
　前記（１６）ないし（１７）のいずれかに記載の測距センサ。
（２０）
　照射光を照射する発光部と、
　前記照射光が物体で反射された反射光を受光する測距センサと
　を備え、
　前記測距センサは、
　　光電変換素子としてSPADを有するSPAD画素と、
　　前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、
　　前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部と
　を備える
　測距システム。
　１　測距システム，　１１　測距センサ，　４１　制御部，　４１A　モード切替制御部，　４２　発光タイミング制御部，　４３　SPAD画素アレイ部，　４４　SPAD制御回路，　４５　読み出し回路，　４６　dToFデータ処理部，　４７　iToFデータ処理部，　４８　ビューイングデータ処理部，　４９　選択部，　５１ａないし５１ｃ　入出力端子，　７１，７１A　ヒストグラム生成回路，　７２　距離算出部，　８１，８１A　位相カウント回路，　８２　距離算出部，　９１，９１A　フォトンカウント回路，　９２　画像データ処理部，　１０１　SPAD画素，　１２１　SPAD，　１４１　高速サンプリング回路，　１６１A（１６１Aないし１６１D）　１ビットラッチ回路，　１６２　４ビットラッチ回路，　PKTIME　ピーク決定期間，　PK_VL　ピーク区間信号，　１８１　高速カウンタ回路，　１８２　固定パルス生成回路，　１８３　ラッチ回路，　１８４　クロック乗り換え回路，　２００　SPAD画素アレイ部，　２０１　読み出し回路，　２０２，２０２’　dToFデータ処理部，　２０３，２０３’　ビューイングデータ処理部，　２０５　共通回路，　２１１　ヒストグラム生成回路，　２１２　距離算出部，　２２１　フォトンカウント回路，　２２２　画像データ処理部，　３０１　ヒストグラム生成回路，　３０２　dToFデータ処理部，　３０３　ビューイングデータ処理部，　３１１　距離算出部，　３２１　ヒストグラムカウント回路，　３２２　画像データ処理部，　PA0　SPAD出力パルス，　PB0ないしPB3　ラッチ出力パルス，　SD1　高速サンプリング間隔，　SD2　低速出力間隔，　６０１　スマートフォン，　６０２　測距モジュール

Claims (20)

  1. 　光電変換素子としてSPADを有するSPAD画素と、
    　前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、
    　前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部と
    　を備える測距センサ。
  2. 　前記ビューイングデータ処理部は、所定の測定期間内に前記SPADが反応した回数をカウントする
    　請求項１に記載の測距センサ。
  3. 　測定モードを切り替えるモード切替制御部をさらに備え、
    　前記モード切替制御部は、前記ToFデータ処理部が処理を行う測距モードと、前記ビューイングデータ処理部が処理を行うビューイングモードとを時分割で切り替える
    　請求項１に記載の測距センサ。
  4. 　測定モードに応じて、前記ToFデータ処理部からの前記測距データまたは前記ビューイングデータ処理部からの前記ビューイングデータのいずれか一方を出力する出力部をさらに備える
    　請求項１に記載の測距センサ。
  5. 　前記ToFデータ処理部は、
    　　direct ToF方式による前記測距データを生成して出力するdToFデータ処理部と、
    　　indirect ToF方式による前記測距データを生成して出力するiToFデータ処理部と
    　を有する
    　請求項１に記載の測距センサ。
  6. 　測定モードに応じて、前記dToFデータ処理部からの前記測距データ、前記iToFデータ処理部からの前記測距データ、または、前記ビューイングデータ処理部からの前記ビューイングデータのいずれかを出力する出力部をさらに備える
    　請求項５に記載の測距センサ。
  7. 　前記iToFデータ処理部は、照射光の発光タイミングと同じ位相の第１の期間で前記SPADが反応した回数と、前記照射光の発光タイミングを反転した位相の第２の期間で前記SPADが反応した回数とをカウントする
    　請求項５に記載の測距センサ。
  8. 　前記SPAD画素から出力される１ビットの前記画素信号を第１の周波数でサンプリングしたｎビット（ｎ＞１）のサンプリング結果を、前記第１の周波数よりも低周波数である第２の周波数で出力するサンプリング回路をさらに備える
    　請求項５に記載の測距センサ。
  9. 　前記第１の周波数でサンプリングするサンプリング間隔は、direct ToF測定モードのサンプリング間隔であり、
    　indirect ToF測定モードにおける照射光の発光間隔は、前記第１の周波数の前記サンプリング間隔の倍数であり、
    　前記ｎビットのサンプリング結果を前記第２の周波数で出力する出力間隔は、前記indirect ToF測定モードにおける照射光の発光間隔と同じか、または、その倍数である
    　請求項８に記載の測距センサ。
  10. 　前記サンプリング回路は、
    　　前記SPAD画素から出力される１ビットの前記画素信号を前記第２の周波数でラッチするｎ個の第１ラッチ回路と、
    　　前記ｎ個の第１ラッチ回路の出力を前記第２の周波数でラッチすることにより前記ｎビットのサンプリング結果を出力する第２ラッチ回路と
    　を有する
    　請求項８に記載の測距センサ。
  11. 　前記dToFデータ処理部は、前記ｎビットのサンプリング結果に応じてヒストグラムを生成する
    　請求項８に記載の測距センサ。
  12. 　前記dToFデータ処理部は、前記ｎビットのサンプリング結果がHighとなるまでのサイクル数に応じてヒストグラムを生成する
    　請求項８に記載の測距センサ。
  13. 　前記iToFデータ処理部は、２個の前記第１ラッチ回路のうちの一方が先にHighとなるか、他方が先にHighとなるかに応じて、照射光の発光タイミングと同じ位相の第１の期間で前記SPADが反応したか、または、前記照射光の発光タイミングを反転した位相の第２の期間で前記SPADが反応したかを判定する
    　請求項１０に記載の測距センサ。
  14. 　前記ビューイングデータ処理部は、１個の前記第１ラッチ回路においてHighとなる回数をカウントする
    　請求項１０に記載の測距センサ。
  15. 　第１の周波数によるｎビット（ｎ＞１）のカウント値を、前記SPAD画素から出力される１ビットの前記画素信号に基づいてラッチするラッチ回路と、
    　前記第１の周波数よりも低周波数である第２の周波数で、前記画素信号がHighとなったときのサイクル数と前記カウント値を出力する低サンプリング回路と
    　をさらに備える
    　請求項５に記載の測距センサ。
  16. 　前記SPAD画素から出力される前記画素信号に基づいて、前記ToFデータ処理部が前記測距データを生成して出力する処理と、前記ビューイングデータ処理部が前記ビューイングデータを生成して出力する処理が同時に実行される
    　請求項１に記載の測距センサ。
  17. 　複数の前記SPAD画素が行列状に配置されており、
    　複数の前記SPAD画素それぞれには、R,G,またはBのカラーフィルタ層が設けられている
    　請求項１６に記載の測距センサ。
  18. 　前記ToFデータ処理部は、前記SPAD画素から出力される前記画素信号に基づいてヒストグラムを生成し、前記ヒストグラムのピーク期間を示すカウントマスク信号を生成し、
    　前記ビューイングデータ処理部は、前記カウントマスク信号に基づいて、所定期間、フォトンのカウントを停止して、前記ビューイングデータを生成する
    　請求項１６に記載の測距センサ。
  19. 　前記SPAD画素から出力される前記画素信号に基づいてヒストグラムを生成するヒストグラム生成回路をさらに備え、
    　前記ToFデータ処理部は、前記ヒストグラム生成回路から供給される前記ヒストグラムに基づいて、前記ヒストグラムのピーク区間を示すピーク区間信号を生成し、
    　前記ビューイングデータ処理部は、前記ピーク区間信号に基づいて前記ピーク区間以外のデータを加算して、前記ビューイングデータを生成する
    　請求項１６に記載の測距センサ。
  20. 　照射光を照射する発光部と、
    　前記照射光が物体で反射された反射光を受光する測距センサと
    　を備え、
    　前記測距センサは、
    　　光電変換素子としてSPADを有するSPAD画素と、
    　　前記SPAD画素から出力される画素信号に基づいて、ToF方式による測距データを生成して出力するToFデータ処理部と、
    　　前記SPAD画素から出力される画素信号に基づいて、ビューイングデータを生成して出力するビューイングデータ処理部と
    　を備える
    　測距システム。
PCT/JP2021/039303 2020-11-05 2021-10-25 測距センサ、および、測距システム WO2022097522A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180074374.6A CN116368628A (zh) 2020-11-05 2021-10-25 距离测量传感器和距离测量系统
US18/250,759 US20230408692A1 (en) 2020-11-05 2021-10-25 Distance measuring sensor and distance measuring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-184890 2020-11-05
JP2020184890 2020-11-05

Publications (1)

Publication Number Publication Date
WO2022097522A1 true WO2022097522A1 (ja) 2022-05-12

Family

ID=81457820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039303 WO2022097522A1 (ja) 2020-11-05 2021-10-25 測距センサ、および、測距システム

Country Status (3)

Country Link
US (1) US20230408692A1 (ja)
CN (1) CN116368628A (ja)
WO (1) WO2022097522A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228933A1 (ja) * 2022-05-23 2023-11-30 株式会社 Rosnes 距離測定装置
WO2024018812A1 (ja) * 2022-07-19 2024-01-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2024042668A1 (ja) * 2022-08-25 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047486A (ja) * 2017-08-31 2019-03-22 キヤノン株式会社 固体撮像素子及び撮像装置
US20200174105A1 (en) * 2018-11-29 2020-06-04 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
JP2020148682A (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047486A (ja) * 2017-08-31 2019-03-22 キヤノン株式会社 固体撮像素子及び撮像装置
US20200174105A1 (en) * 2018-11-29 2020-06-04 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
JP2020112443A (ja) * 2019-01-11 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び距離測定方法
JP2020148682A (ja) * 2019-03-14 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及びスキュー補正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228933A1 (ja) * 2022-05-23 2023-11-30 株式会社 Rosnes 距離測定装置
WO2024018812A1 (ja) * 2022-07-19 2024-01-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2024042668A1 (ja) * 2022-08-25 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Also Published As

Publication number Publication date
CN116368628A (zh) 2023-06-30
US20230408692A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
WO2022097522A1 (ja) 測距センサ、および、測距システム
WO2021054269A1 (en) Light detecting device, method of detecting light, and distance measuring system
WO2020031496A1 (ja) 時間計測デバイスおよび時間計測装置
WO2019150785A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021085125A1 (ja) 測距システム、駆動方法、および、電子機器
US20220082669A1 (en) Measurement apparatus, ranging apparatus, and measurement method
US20220381917A1 (en) Lighting device, method for controlling lighting device, and distance measurement module
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US20240111033A1 (en) Photodetection device and photodetection system
JP2021056142A (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021106624A1 (ja) 測距センサ、測距システム、および、電子機器
TW202234087A (zh) 光檢測裝置及光檢測系統
WO2020255855A1 (ja) 測距装置および測距方法
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2023079830A1 (ja) 測距装置、および、光検出素子
WO2023145261A1 (ja) 測距装置および測距装置の制御方法
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021145212A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021256276A1 (ja) 測距装置および測距システム
WO2023085143A1 (ja) 光検出素子
WO2024084792A1 (ja) 光検出装置、測距装置、および、光検出装置の制御方法
CN118284824A (zh) 测距装置和光检测元件
JP2022176811A (ja) 光検出装置、光検出システム、および光検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21889075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21889075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP