WO2024071173A1 - 光検出装置及び測距システム - Google Patents

光検出装置及び測距システム Download PDF

Info

Publication number
WO2024071173A1
WO2024071173A1 PCT/JP2023/035078 JP2023035078W WO2024071173A1 WO 2024071173 A1 WO2024071173 A1 WO 2024071173A1 JP 2023035078 W JP2023035078 W JP 2023035078W WO 2024071173 A1 WO2024071173 A1 WO 2024071173A1
Authority
WO
WIPO (PCT)
Prior art keywords
histogram
light
unit
histograms
time
Prior art date
Application number
PCT/JP2023/035078
Other languages
English (en)
French (fr)
Inventor
彰人 関谷
昌宗 濱松
宣明 遠藤
義之 齋藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024071173A1 publication Critical patent/WO2024071173A1/ja

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Definitions

  • This disclosure relates to a light detection device and a ranging system.
  • a known distance measurement method is the ToF (Time of Flight) method, in which light is emitted from an object and the distance to the object is measured based on the light reflected from the object.
  • ToF Time of Flight
  • dToF direct ToF
  • iToF indirect ToF
  • Non-Patent Document 1 a technology has been proposed that emits light with different emission periods and superimposes the reflected light to perform accurate distance measurement calculations.
  • Non-Patent Document 1 is limited to a conceptual explanation of the iToF method, and does not disclose a specific system configuration. In particular, Non-Patent Document 1 does not disclose a specific system configuration for the dToF method. Since the dToF method is often adopted in LiDAR (Light Detection And Ranging) used in autonomous driving technology, there is a demand for technology that improves the distance accuracy of the dToF method with fewer light emissions and light receptions.
  • LiDAR Light Detection And Ranging
  • the present disclosure provides an optical detection device and a distance measurement system that can improve distance measurement accuracy with fewer light emissions and light receptions, regardless of the distance to the object.
  • a light receiving unit that receives, within a first time range, a first reflected light pulse signal obtained by reflecting a first light pulse signal emitted at a first time interval from an object, and receives, within a second time range that is different from the first time range, a second reflected light pulse signal obtained by reflecting a second light pulse signal emitted at a second time interval that is different from the first time interval from the object;
  • an optical detection device comprising: a histogram generator that generates a first histogram in which the frequency of reception of the first reflected light pulse signal received within the first time range is classified into predetermined fixed unit periods, and a histogram generator that generates a second histogram in which the frequency of reception of the second reflected light pulse signal received within the second time range is classified into the unit periods.
  • the system may also include a duplicate histogram generator that generates a first duplicate histogram by duplicating the first histogram a first number of times corresponding to the first time interval, and generates a second duplicate histogram by duplicating the second histogram a second number of times corresponding to the second time interval.
  • a duplicate histogram generator that generates a first duplicate histogram by duplicating the first histogram a first number of times corresponding to the first time interval, and generates a second duplicate histogram by duplicating the second histogram a second number of times corresponding to the second time interval.
  • the light receiving unit receives, within two or more different time ranges, two or more reflected light pulse signals that are emitted at two or more time intervals including the first time interval and the second time interval, and are reflected by the object;
  • the histogram generator generates two or more histograms in which the reception frequencies of the two or more reflected light pulse signals received within the two or more time ranges are classified for each unit period;
  • the replicated histogram generator generates two or more replicated histograms by replicating each of the two or more histograms a number of times corresponding to the corresponding time interval;
  • the two or more histograms generated by the histogram generator include the first histogram and the second histogram;
  • the two or more replicated histograms generated by the replicated histogram generator may include the first replicated histogram and the second replicated histogram.
  • the light receiving section has a plurality of pixels arranged in a first direction and a second direction, two or more pixels each; Each of the plurality of pixels may receive the two or more reflected light pulse signals within the two or more time ranges.
  • a packet generator for generating distance measurement data including the two or more histograms on a frame-by-frame basis;
  • the distance measurement data has a start portion, a plurality of packets, and an end portion;
  • the start portion includes an identifier indicating the beginning of a frame and the number of the two or more time intervals;
  • the packet has a header including a number of bins and a number of pixels of a corresponding histogram among the two or more histograms, histogram data constituting the corresponding histogram, and a footer including end information of the corresponding histogram
  • the end portion may include an identifier indicating the end of the frame.
  • a packet generator for generating distance measurement data including the two or more histograms on a frame-by-frame basis;
  • the distance measurement data has a start portion, a plurality of packets, and an end portion;
  • the start portion includes an identifier indicating a beginning of a frame, the number of the plurality of pixels, and the number of the two or more time intervals;
  • the packet has a header including information indicating a pixel position, histogram data constituting a corresponding one of the two or more histograms, and a footer including end information of the corresponding histogram,
  • the end portion may include an identifier indicating the end of the frame.
  • the apparatus may also include a distance measuring unit that measures the distance to the object based on the light reception time when the light reception times corresponding to the peak positions of the two or more duplicated histograms including the first duplicated histogram and the second duplicated histogram coincide with each other, or based on the light reception time corresponding to the maximum peak position of a reconstructed histogram obtained by aligning the number of bins of the two or more duplicated histograms and combining them.
  • a distance measuring unit that measures the distance to the object based on the light reception time when the light reception times corresponding to the peak positions of the two or more duplicated histograms including the first duplicated histogram and the second duplicated histogram coincide with each other, or based on the light reception time corresponding to the maximum peak position of a reconstructed histogram obtained by aligning the number of bins of the two or more duplicated histograms and combining them.
  • the distance measurement unit may add up the two or more duplicate histograms for each bin to generate the reconstructed histogram.
  • each of the two or more replicate histograms has the same number of bins;
  • the distance measurement section may search for the same bin in which each of the two or more replicated histograms has a peak value of the light reception frequency, and generate the reconstructed histogram based on the smallest peak value in the searched bin.
  • each of the plurality of time-to-digital converters sequentially generates a digital signal corresponding to a light receiving time of the two or more reflected light pulse signals received by each pixel in the corresponding first pixel group;
  • Each of the plurality of histogram generators may generate the two or more histograms based on the digital signal generated in turn by a corresponding one of the time-to-digital converters.
  • a second pixel group including two or more of the pixels arranged in the second direction is arranged in the first direction;
  • a plurality of the second pixel groups may be selected in sequence, and each pixel in the selected second pixel group may input a received light signal corresponding to the two or more reflected light pulse signals in parallel to the plurality of time-to-digital converters.
  • Each pixel in the selected second pixel group may sequentially output two or more light receiving signals corresponding to the two or more reflected light pulse signals during one frame period, and the output light receiving signals of each pixel in the second pixel group may be input in parallel to the multiple time-to-digital converters.
  • each of the plurality of time-to-digital converters generates a digital signal corresponding to a light receiving time of the two or more reflected light pulse signals received by a corresponding pixel;
  • Each of the plurality of histogram generators may generate the two or more histograms based on the digital signal generated by a corresponding one of the time-to-digital converters.
  • Each of the plurality of pixels may sequentially output two or more light receiving signals corresponding to the two or more reflected light pulse signals during one frame period, and the output light receiving signals of each pixel may be input in parallel to the plurality of time-to-digital converters.
  • the histogram generator may have a conversion table for converting the gray code into light-receiving time data.
  • the device may also include a storage unit that stores the two or more replicated histograms, each having a number of bins corresponding to the least common multiple of the two or more time intervals.
  • the device may include a memory unit having a storage capacity according to the number of bins of the histogram corresponding to the maximum time interval among the two or more time intervals.
  • a bin expansion unit that stores the histogram corresponding to the maximum time interval as one unit in the storage unit, and expands the histograms corresponding to the two or more time intervals excluding the maximum time interval to the one unit and stores them in the storage unit; a peak detection unit that repeats a process of detecting a location where the light receiving times of the peaks of the two or more histograms coincide with each other within a storage area of the storage unit that includes the two or more histograms corresponding to the two or more time intervals for each of the multiple units; a maximum peak detection unit for detecting a maximum value of the peak from among the plurality of units; a shifting unit for shifting the maximum value of the peak to the center of the corresponding storage area;
  • the memory device may further include a centroid calculation unit that performs centroid calculation within the storage area shifted by the shift unit.
  • the histogram generator may generate the two or more histograms based on the two or more reflected light pulse signals repeatedly obtained when the light pulse signal is repeatedly emitted at each of the two or more time intervals, and may flatten the frequency counts other than the peaks of the two or more histograms by periodically shifting the start time of generating the two or more histograms.
  • An interference detection unit for detecting the presence or absence of interference caused by an unknown optical pulse signal,
  • the distance measurement unit may measure the distance to the object based on the reconstructed histogram when the interference detection unit detects that there is no interference.
  • the histogram generator may generate the two or more histograms in synchronization with the unknown optical pulse signal when the synchronization determination section determines that synchronization is possible.
  • the histogram generator may generate the two or more histograms in a switching order that is temporally shifted from the switching order of the periods detected by the period detection unit, or in a switching order that is different from the switching order of the periods detected by the period detection unit.
  • the device may further include an emission timing control unit that controls the emission timing of an optical pulse signal including the first optical pulse signal and the second optical pulse signal so as to reduce interference with the unknown optical pulse signal when the synchronization determination unit determines that synchronization is impossible.
  • the light emission timing control unit may randomize the light emission periods of two or more optical pulse signals used to generate each of the multiple histograms included in each of the two or more duplicate histograms.
  • the light emission timing control unit may randomize the light emission periods of the two or more light pulse signals so that the total number of light pulse signals used to generate the multiple histograms is equal for each of the two or more duplicate histograms.
  • a distance measuring system including a light emitting device and a light detecting device
  • the light emitting device comprises: a first light emitting unit that emits a plurality of the first optical pulse signals at the first time intervals; a second light emitting unit that emits a plurality of the second optical pulse signals at the second time intervals
  • the light detection device includes a light emission timing control unit that controls the first light emitter and the second light emitter so that after the first light emitter emits the first light pulse signals in the first time interval, the number of which corresponds to the first time range, the first light emitter emits the second light pulse signals in the second time interval, the number of which corresponds to the second time range.
  • a ranging system is provided.
  • the light emitting device emits the two or more optical pulse signals at the two or more time intervals, the number of which corresponds to the corresponding time range;
  • the light emission timing control section may perform control to emit the two or more light pulse signals in sequence.
  • the optical detection device includes an interference detection unit for detecting an unknown optical pulse signal;
  • the light emission timing control unit may repeatedly cause the light emitting device to emit light in a sequence different from the sequence of the two or more time intervals for emitting the unknown optical pulse signal detected by the interference detection unit, or at a time interval different from the two or more time intervals.
  • the histogram generator generates the two or more histograms based on the unknown light pulse signal in a state in which the light emitting device is not emitting light;
  • the interference detection section may detect the presence or absence of interference due to the unknown optical pulse signal based on the two or more histograms.
  • a method for detecting a light emitted from a light source comprising: a second light emitting unit that emits a plurality of second optical pulse signals at the second time interval; a light receiving unit that receives a first reflected light pulse signal, which is the first light pulse signal reflected by an object, within a first time range, and receives a second reflected light pulse signal, which is the second light pulse signal emitted at a second time interval different from the first time interval and reflected by the object, within a second time range different from the first time range; a packet generator that generates distance measurement data in units of frames, the distance measurement data having two or more histograms including a first histogram generated based on the first reflected light pulse signal and a second histogram generated based on the second reflected light pulse signal;
  • a ranging system comprising: the distance measurement data has a start portion, a plurality of packets, and an end portion; the start portion includes an identifier indicating a
  • FIG. 1 is a block diagram showing a schematic configuration of a distance measuring system according to a first embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a basic example of a distance measurement operation using the dToF method.
  • FIG. 11 is a diagram for explaining a repeated distance measurement operation.
  • 11A and 11B are diagrams showing distance measurement operations when the interval between round trips of light is longer than the interval between light emissions.
  • 13 is a diagram showing an example in which 16-Bin distance measurement, 14-Bin distance measurement, and 12-Bin distance measurement are performed in sequence by changing the light emission intervals of the light-emitting unit.
  • FIG. FIG. 13 is a schematic diagram showing an example of performing 16-Bin distance measurement on an object.
  • FIG. 13 is a schematic diagram showing an example of performing 14-bin distance measurement on an object.
  • FIG. 13 is a schematic diagram showing an example of performing 12-Bin distance measurement on an object.
  • FIG. 13 is a schematic diagram showing a replication histogram and peak values.
  • 4 is a flowchart of a distance measurement process of the distance measurement system.
  • 13 is a flowchart of distance measurement calculation. 1A to 16Bin distance measurement are performed using a ranging system according to the present disclosure.
  • 2 is a diagram showing a first detailed configuration example of a pixel array section in a photodetector;
  • FIG. 11 is a timing diagram of data transmission from the pixel array unit to the SRAM and the distance measuring unit in the first configuration example.
  • FIG. 13 is a diagram showing a second detailed configuration example of a pixel array section in the photodetector;
  • FIG. 11 is a timing diagram of data transmission from the pixel array unit to the SRAM and the distance measuring unit in the second configuration example.
  • 13 is a flowchart showing a process of a distance measuring unit.
  • FIG. 11 is a diagram illustrating a distance measuring unit and a peripheral unit according to a second embodiment.
  • FIG. 13 is a diagram showing an example of dividing a reconstructed histogram into unit histograms.
  • 10 is a flowchart of a process of a distance measuring unit in the second embodiment.
  • 13 is a flowchart of the process of a maximum peak detection unit, a shift unit, and a center of gravity calculation unit.
  • FIG. 11 is a timing diagram of data transmission from the pixel array unit to the SRAM and the distance measuring unit in the second configuration example.
  • 13 is a flowchart showing a process of a distance measuring unit.
  • FIG. 13 is a diagram illustrating a first configuration example of a distance measuring system according to a third embodiment.
  • FIG. 13 is a diagram illustrating a second configuration example of a distance measuring system according to the third embodiment.
  • FIG. 13 is a diagram showing a first example of distance measurement data generated by a packet generating unit;
  • FIG. 11 is a diagram showing a transmission order of distance measurement data in the first example.
  • 13 is a diagram showing a transmission order when a packet of distance measurement data in the first example has a fixed length.
  • FIG. FIG. 13 is a diagram showing a second example of distance measurement data generated by the packet generating unit;
  • FIG. 11 is a diagram showing a transmission order of distance measurement data in a second example.
  • FIG. 11 is a diagram showing an example in which disturbance radio waves are synchronized with a processing cycle such as exposure rotation;
  • FIG. 13 is a diagram illustrating an example in which the start code of a time-to-digital converter is changed for each processing cycle.
  • FIG. 13 is a diagram showing an example in which no linearity correction is performed in each distance measurement and exposure is performed the same number of times. An example of performing linearity correction for the same number of cycles for each distance measurement is shown below. An example in which linearity correction is performed for each distance measurement and the number of exposures is adjusted is shown.
  • FIG. 13 is a diagram illustrating an example of a distance measurement period for 16-Bin distance measurement in the fourth embodiment.
  • FIG. 11A and 11B are diagrams showing examples of obtaining a first peak value and a second peak value in each distance measurement.
  • FIG. 20B is a diagram for explaining the reason why a bin influenced by the first peak value in FIG. 20A appears.
  • 13A to 13C are diagrams illustrating the processing operation of a distance measuring device according to a fifth embodiment.
  • FIG. 20C is a diagram showing an example of generating a new reconstructed histogram after deleting the first peak value component from the duplicated histogram shown in FIG. 20B.
  • 13 is a flowchart showing a process of a distance measuring unit in the fifth embodiment.
  • FIG. 13 is a block diagram showing a time-to-digital converter and a histogram generator in a sixth embodiment.
  • FIG. 13 is a diagram showing a Gray code in 16-Bin ranging.
  • FIG. 13 is a diagram showing a Gray code in 14-Bin ranging.
  • FIG. 1 is a diagram showing a Gray code in 12-Bin ranging.
  • FIG. 13 is a diagram showing a Gray code in 10-Bin distance measurement.
  • 23A to 23D are diagrams illustrating generation of a reconstructed histogram according to the seventh embodiment.
  • FIG. 13 is a diagram illustrating the relationship between a replication histogram and a count order histogram.
  • FIG. 23 is a block diagram showing the configuration of a distance measuring unit according to a seventh embodiment.
  • 13A to 13C are diagrams illustrating a method for suppressing the influence of interference light in a distance measuring system according to an eighth embodiment.
  • FIG. 23 is a block diagram showing an interference suppression unit according to an eighth embodiment.
  • 23 is a flowchart for implementing a method for suppressing interference light according to the eighth embodiment.
  • FIG. 11 is a diagram for explaining details of the Listen mode.
  • FIG. 13 is a diagram illustrating a histogram generated in the Listen mode.
  • FIG. 13 is a diagram showing a successful example of the other device MOD order detection mode.
  • 13A and 13B are diagrams illustrating an example of a failure of the other device MOD order detection mode.
  • FIG. 13 is a diagram showing a different device synchronous MOD order change ranging mode.
  • FIG. 13 illustrates an interference mitigation ranging mode.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system; 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit;
  • FIG. 11 is a diagram for explaining details of the Listen mode.
  • FIG. 13 is a diagram illustrating a
  • First Embodiment 1 is a block diagram showing a schematic configuration of a distance measuring system 1 according to a first embodiment of the present disclosure.
  • the distance measuring system 1 measures the distance to an object OBJ by the dToF method, and can be mounted on, for example, an in-vehicle LiDAR.
  • the distance measuring system 1 includes an overall control unit 2, a light emitting device 3, a light detecting device 4, and an application processor (hereinafter referred to as AP) 5.
  • AP application processor
  • Each of the light detection device 4 and the light emitting device 3 can be configured as a semiconductor chip.
  • a stacked chip can be configured by stacking a chip incorporating the light detection device 4 and a chip incorporating the light emitting device 3.
  • a chip for AP5 can be stacked on this stacked chip.
  • the chip for the light detection device 4 and the chip for AP5 can be stacked. In this way, at least some of the components of the distance measurement system 1 can be configured as one or more semiconductor chips.
  • the overall control unit 2 controls the light emitting device 3 and the light detecting device 4.
  • the overall control unit 2 may be integrated into the light detecting device 4 or the light emitting device 3.
  • the light-emitting device 3 intermittently emits a light pulse signal L1 in, for example, a frequency band of near-infrared light.
  • the light-emitting device 3 has multiple light-emitting units with different light emission intervals.
  • the light-emitting device 3 emits two or more light pulse signals L1 at two or more time intervals, the number of which corresponds to the corresponding time range.
  • FIG. 1 shows an example in which the light-emitting device 3 has a first light-emitting unit 11 and a second light-emitting unit 12, but three or more light-emitting units may be provided.
  • the first light-emitting unit 11 emits multiple first light pulse signals at a first time interval.
  • the second light-emitting unit 12 emits multiple second light pulse signals at a second time interval.
  • the light detection device 4 receives a reflected light pulse signal L2 that is reflected when the light pulse signal L1 from the light emitting device 3 is irradiated onto the object OBJ, and calculates the distance to the object OBJ.
  • the light detection device 4 includes a clock generation unit 21, a control unit 22, a light emission timing control unit 23, a drive circuit 24, a light receiving unit 25, a distance measurement control unit 26, a distance measurement processing unit 27, and an interface (I/F) unit 28.
  • the clock generation unit 21 supplies the control unit 22 with a clock signal Vclk that synchronizes the light emitting device 3 and the light detecting device 4 based on the reference clock signal.
  • the control unit 22 performs control to synchronize the light emission timing control unit 23 and the distance measurement control unit 26 based on the clock signal Vclk supplied from the clock generation unit 21 and instructions from the overall control unit 2.
  • the light emission timing control unit 23 under the control of the control unit 22, transmits light emission instructions to the multiple light emission units in the light emitting device 3, and controls them to emit the light pulse signal L1 in sequence.
  • the light emission timing control unit 23 controls the first light emission unit 11 and the second light emission unit 12 so that the first light emission unit 11 emits a number of first light pulse signals corresponding to a first time range at a first time interval, and then the second light emission unit 12 emits a number of the second light pulse signals corresponding to a second time range at a second time interval.
  • the light emission timing control unit 23 transmits light emission instructions to the light emitting device 3 and controls the drive circuit 24.
  • the drive circuit 24 includes a shift register, an address decoder, an arbiter, a row selection circuit, and a column selection circuit, all of which are not shown.
  • the drive circuit 24 drives each pixel 30 arranged in the light receiving section 25 in synchronization with the timing at which the light emission timing control section 23 transmits a light emission instruction.
  • the light receiving unit 25 receives a reflected light pulse signal L2 that is generated when the light pulse signal L1 from the light emitting device 3 is irradiated onto the object OBJ and reflected. More specifically, the light receiving unit 25 includes a plurality of pixels 30 that are arranged in a two-dimensional direction, and receives a reflected light pulse signal L2 for each pixel 30.
  • the pixel 30 in the light receiving unit 25 receives, within a first time range, a first reflected light pulse signal obtained by reflecting a first light pulse signal emitted by the first light emitter 11 at a first time interval from an object OBJ, and also receives, within a second time range different from the first time range, a second reflected light pulse signal obtained by reflecting a second light pulse signal emitted by the second light emitter 12 at a second time interval different from the first time interval from an object OBJ.
  • each of the multiple pixels 30 receives two or more reflected light pulse signals L2 within two or more time ranges.
  • the multiple pixels 30 in the light receiving unit 25 supply a light receiving signal indicating the light receiving result to the distance measurement processing unit 27.
  • the distance measurement control unit 26 controls the distance measurement processing unit 27 in synchronization with the light emission timing control unit 23 under the control of the control unit 22.
  • the distance measurement processing unit 27 performs distance measurement calculations using the dToF method based on the light reception signals supplied from the multiple pixels 30.
  • the distance measurement processing unit 27 includes a time digital converter (TDC) 41, a histogram generator 42, an SRAM 43, and a distance measurement unit 44.
  • TDC time digital converter
  • the time-to-digital converter 41 counts the time difference between the light emission timing of the light emitting device 3 and the reception timing of the reflected light pulse signal L2 by the light receiving unit 25, in synchronization with the light emission timing control unit 23 via the distance measurement control unit 26.
  • the time-to-digital converter 41 supplies a digital signal corresponding to a count value according to the time difference to the histogram generator 42. In this way, the time-to-digital converter 41 generates a digital signal according to the reception time of the reflected light pulse signal L2, and supplies it to the histogram generator 42.
  • the histogram generator 42 generates a histogram in which the light reception frequency is classified into predetermined fixed unit times based on the digital signal supplied from the time-to-digital converter 41, and stores the histogram in the SRAM 43.
  • each pixel 30 in the light receiving section 25 receives the above-mentioned first reflected light pulse signal and second reflected light pulse signal within a first time range and a second time range, respectively.
  • the histogram generator 42 generates a first histogram in which the light reception frequency of the first reflected light pulse signal received within the first time range is classified into unit periods, and generates a second histogram in which the light reception frequency of the second reflected light pulse signal received within the second time range is classified into unit periods.
  • a plurality of time-to-digital converters 41 and histogram generators 42 may be provided. For example, one may be provided for each pixel 30, or one may be provided for each group of pixels 30 arranged in a row.
  • the plurality of pixels 30 arranged in two dimensions in the light receiving unit 25, the time-to-digital converter 41, and the histogram generator 42 constitute a pixel array unit 50. Details of the pixel array unit 50 will be described later.
  • SRAM 43 stores the histogram generated by histogram generator 42.
  • the distance measurement unit 44 includes a duplicate histogram generator 45 and an SRAM (storage unit) 46.
  • the distance measurement unit 44 reads out a plurality of histograms (in the example of FIG. 1, a first histogram and a second histogram) from the SRAM 43 and passes them to the duplicate histogram generator 45.
  • the duplicated histogram generator 45 generates duplicated histograms by duplicating the histogram generated by the histogram generator 42 multiple times. For example, in FIG. 1, a first duplicated histogram is generated by duplicating the first histogram a first number of times corresponding to a first time interval, and a second duplicated histogram is generated by duplicating the second histogram a second number of times corresponding to a second time interval.
  • SRAM 46 stores each duplicate histogram generated by duplicate histogram generator 45. SRAM 43 and SRAM 46 can also be integrated.
  • the distance measurement unit 44 performs various calculations such as center of gravity calculation based on the light reception time when the light reception times corresponding to the respective peak positions of two or more duplicate histograms including the first duplicate histogram and the second duplicate histogram generated by the duplicate histogram generator 45 coincide, or the light reception time corresponding to the maximum peak position of a reconstructed histogram (described below) obtained by aligning the number of bins of two or more duplicate histograms and combining them, and measures the distance to the object OBJ.
  • the distance measurement value which is the measurement result of the distance measurement unit 44, is supplied to the interface unit 28.
  • the interface unit 28 outputs the distance measurement value supplied from the distance measurement unit 44 to the AP5 as an output signal OUT.
  • the AP5 executes, for example, an operating system and various application software.
  • the AP5 executes various calculation processes based on the distance measurement values transmitted from the light detection device 4. For example, the AP5 generates a distance image that represents the position and movement of the object OBJ.
  • FIG. 2A is a diagram outlining the distance measurement operation of the dToF method.
  • the light emitting device 3 intermittently emits a light pulse signal L1 toward the object OBJa.
  • the time-to-digital converter 41 counts the light reception timing in synchronization with the light emission of the light-emitting device 3.
  • the light-emitting device 3 and the time-to-digital converter 41 are synchronized by the clock signal Vclk generated by the clock generating unit 21.
  • the time-to-digital converter 41 changes the count code every unit time t in synchronization with the clock signal Vclk.
  • the light emitting device 3 performs light emitting operation at regular intervals in synchronization with the clock signal Vclk.
  • the light emitting device 3 performs light emitting operation at light emitting timing Snd1.
  • the next light emitting operation is performed at light emitting timing Snd2, which is an interval of 16t, which is 16 times the unit time t, from light emitting timing Snd1.
  • the count code of the time-to-digital converter 41 may or may not be reset at intervals of 16t in accordance with the light emitting interval of the light emitting device 3.
  • the light emitting interval may be any integer multiple of 16 times the unit time t, but for the sake of simplicity, an example in which the light emitting interval is 16 times the unit time t will be mainly described in this specification.
  • the light pulse signal L1 emitted at the light emission timing Snd1 is reflected by the object OBJa, and the reflected light pulse signal L2 from the object OBJa is received by the pixel 30 at the light reception timing Rcv1.
  • a digital signal corresponding to the count code at the light reception timing Rcv1 is output from the time-to-digital converter 41 to the histogram generator 42.
  • the histogram generator 42 divides the period between two light emission timings into unit time t.
  • the 16t interval is divided into bins b0 to b15.
  • the histogram generator 42 classifies the interval between the light emission timing and the light reception timing into one of bins b0 to b15, and sequentially updates the light reception frequency Cnt0 to Cnt15 in bin units.
  • the histogram generator 42 increases the light receiving frequency Cnt12 of bin b12 by one.
  • the light round trip interval d1 is 12t, which strictly speaking means that the interval between the light receiving timing Rcv1 and the light emitting timing Snd1 is 12t or more and less than 13t.
  • FIG. 2B is a diagram explaining the repeated distance measurement operation.
  • the distance measurement operation shown in FIG. 2A is repeated within a predetermined time range.
  • FIG. 2B shows an example of receiving reflected light from an object OBJa located at a position with a light round trip interval d1 of 12t.
  • the histogram generator 42 sequentially increases the light reception frequency Cnt12 of bin b12. Due to distance measurement errors caused by subtle shifts in the light emission timing, slight movement of the object OBJa, or subtle shifts in the light reception timing, the light reception timing may become an interval different from the original 12t interval (for example, 11t or 13t interval). In this case, the histogram generator 42 will increase the light reception frequency Cnt11 of bin b11 or the light reception frequency Cnt13 of bin b13, etc. As a result, the histogram generator 42 generates a histogram HST with the light reception frequency Cnt12 of bin b12 as the peak value.
  • the horizontal axis of the histogram HST represents the type of bins b0 to b15, and the vertical axis represents the light reception frequency Cnt0 to Cnt15.
  • the histogram HST is read from the histogram generator 42 to the distance measurement unit 44 via the SRAM 43.
  • the distance measurement unit 44 detects the bin b12 that has the peak value of the histogram HST.
  • the distance measurement unit 44 performs distance measurement calculations such as center of gravity calculations based on the bin b12, and calculates the distance measurement value.
  • FIG. 2A an example is shown in which the interval between the two light emission timings Snd1 and Snd2 is 16t, but this is not limiting.
  • the histogram generator 42 generates a histogram with 14 bins.
  • the distance measurement process in which the histogram generator 42 generates a histogram with 16 bins is referred to as 16Bin distance measurement.
  • 16Bin distance measurement is sometimes referred to as Mod16.
  • the 16t interval divided into bins b0 to b15 is also referred to as one exposure rotation.
  • a first light pulse signal and a second light pulse signal having different light emission intervals are output in the first time range and the second time range, respectively.
  • the first histogram and the second histogram generated by the histogram generator 42 in the first time range and the second time range, respectively are histograms having different numbers of bins.
  • FIG. 2C shows the distance measurement operation when the light round trip interval is longer than the light emission interval.
  • the light pulse signal L1 is emitted at the light emission timing Snd3
  • the reflected light pulse signal L2 is received at the light reception timing Rcv2, which is between the light emission timing Snd4 and the light emission timing Snd5.
  • Figure 2C shows an example of 16-bin distance measurement.
  • the true light round-trip interval d2 is 45t.
  • the interval between the light reception timing Rcv2 and the light emission timing Snd4 immediately before the light reception timing Rcv2 is 13t, so the light round-trip interval is classified as b13, and the light reception frequency Cnt13 of bin b13 increases. Therefore, the distance measurement unit 44 also performs distance measurement calculations based on the false light round-trip interval d3, which may cause errors in the distance measurement value.
  • the distance measurement system 1 according to each embodiment described below is characterized by being able to solve this problem. Furthermore, the distance measurement system 1 according to each embodiment is characterized by being able to expand the distance measurement range while using a small number of bins, and being able to improve the distance measurement accuracy, i.e., the distance measurement resolution.
  • the light detection device 4 receives a plurality of reflected light pulse signals L2 with different emission intervals, and generates histograms with different numbers of bins corresponding to each reflected light pulse signal L2.
  • the distance measurement unit 44 copies and tiles these histograms with different emission intervals, and then overlays them to generate a reconstructed histogram.
  • the distance measurement unit 44 can identify the true light round trip interval by detecting the peak value of the reconstructed histogram. The detailed processing contents of the distance measurement unit 44 will be described with reference to FIG. 3.
  • FIG. 3 an example is shown in which 16-bin distance measurement, 14-bin distance measurement, and 12-bin distance measurement are performed in turn by changing the light emission interval of the light-emitting device 3.
  • a histogram HSTa with 16 bins is generated
  • a histogram HSTb with 14 bins is generated
  • a histogram HSTc with 12 bins is generated.
  • the light emitting device 3 in the example of Fig. 3 has three light emitting units with different light emission intervals. Note that instead of providing multiple light emitting units, one light emitting unit may switch between three different light emission intervals to sequentially emit a light pulse signal L1 with a light emission interval for 16 Bin ranging, a light pulse signal L1 with a light emission interval for 14 Bin ranging, and a light pulse signal L1 with a light emission interval for 12 Bin ranging.
  • the duplicated histogram generator 45 in FIG. 1 generates duplicated histograms HSTCa, HSTCb, and HSTCc corresponding to the histograms HSTa, HSTb, and HSTc.
  • the duplicated histogram HSTCa is generated by duplicating the histogram HSTa a number of times according to the emission interval of 16 bins and tiling them along the time axis.
  • the duplicated histogram HSTCb is generated by duplicating the histogram HSTb a number of times according to the emission interval of 14 bins and tiling them along the time axis.
  • the duplicated histogram HSTCc is generated by duplicating the histogram HSTc a number of times according to the emission interval of 12 bins and tiling them along the time axis. Note that tiling is a process of arranging multiple duplicated histograms close to each other along the time axis.
  • the ranging unit 44 By performing tiling, the ranging range can be expanded.
  • the ranging unit 44 generates a reconstructed histogram HSTL by combining the duplicated histogram HSTCa, the duplicated histogram HSTCb, and the duplicated histogram HSTCc.
  • the duplicated histogram generator 45 When generating the reconstructed histogram HSTL, the duplicated histogram generator 45 needs to align the number of bins of the duplicated histograms HSTCa, HSTCb, and HSTCc. Since the least common multiple of the number of bins of the histograms HSTa, HSTb, and HSTc is 336, the number of bins of the duplicated histograms HSTCa, HSTCb, and HSTCc are all set to 336.
  • the duplicated histogram HSTCa can have 336 bins by duplicating 21 bins of the histogram HSTa, which has 16 bins.
  • the duplicated histograms HSTCb and HSTCc can have 336 bins by duplicating a number of bins corresponding to the number of bins of the histograms HSTb and HSTc.
  • the number of bins of each of the histograms HSTa, HSTb and HSTc is determined according to the light emission interval during distance measurement. Therefore, the duplicated histogram is generated by duplicating the pre-duplicated histogram a number of times corresponding to the light emission interval during distance measurement.
  • the distance measurement unit 44 generates a reconstructed histogram HSTL with 336 bins by overlapping the duplicated histograms HSTa, HSTb, and HSTC.
  • An accurate distance measurement value can be calculated from the peak value of the reconstructed histogram HSTL.
  • Figures 4A to 4D show a specific example of detecting an accurate distance measurement value using the histograms HSTa, HSTb, and HSTC.
  • FIG. 4A shows an example of performing 16-bin distance measurement for object OBJb.
  • the true light round-trip interval d2 for object OBJb is 45t intervals.
  • the histogram generator 42 generates a histogram BHSTa with 16 bins and a peak value in bin b13 based on the false light round-trip interval d3a.
  • FIG. 4B is an example of performing 14-bin distance measurement on the same object OBJb as in FIG. 4A.
  • FIG. 4C is an example of performing 12-bin distance measurement on object OBJb.
  • histograms are generated based on false light round-trip intervals d3b and d3c, respectively.
  • a histogram BHSTb with 14 bins and a peak value in bin b3 is generated.
  • a histogram BHSTc with 12 bins and a peak value in bin b9 is generated.
  • Figure 4D shows the duplicated histograms BHSTCa, BHSTCb, and BHSTCc.
  • the duplicated histograms BHSTCa, BHSTCb, and BHSTCc are obtained by duplicating the histograms BHSTa, BHSTb, and BHSTc, respectively, and tiling them in the time axis direction.
  • each of the replicated histograms BHSTCa, BHSTCb, and BHSTCc has multiple peak values.
  • the replicated histograms BHSTCa, BHSTCb, and BHSTCc all have a peak value in bin b45.
  • This bin b45 corresponds to the true round-trip light interval d3 shown in FIGS. 4A to 4C.
  • the replicated histograms BHSTCa, BHSTCb, and BHSTCc are superimposed to create a reconstructed histogram, the reconstructed histogram has a peak value in bin b45.
  • a peak corresponding to the true round-trip light interval is also referred to as a true peak.
  • each of the replicated histograms BHSTCa, BHSTCb, and BHSTCc has one or more peaks other than the true peak. In this specification, one or more peaks other than the true peak are also referred to as false peaks.
  • the reconstructed histogram HSTL shown in FIG. 3 has a peak value in the bin corresponding to the true light round trip interval for the object OBJ. Therefore, the distance measurement unit 44 can identify the true light round trip interval by detecting the peak value of the reconstructed histogram HSTL.
  • FIG. 5A is a schematic flowchart of the distance measurement process performed by the distance measurement system 1 according to this embodiment.
  • the light emitting device 3 emits a light pulse signal L1.
  • the first light emitting unit 11 irradiates the object OBJ with a first light pulse signal emitted at a first time interval (step S1).
  • the pixel 30 receives the first reflected light pulse signal reflected from the object OBJ (step S2).
  • the time-to-digital converter 41 then generates a digital signal corresponding to the time when the pixel 30 received the light (step S3).
  • the histogram generator 42 determines whether a specified number of measurements have been performed (step S4). Measurement means reception of the first reflected light pulse signal. If the number of measurements does not reach the specified number, the processes of steps S1 to S3 are repeated. If the number of measurements reaches the specified number, a first histogram is generated based on the digital signal repeatedly output to the histogram generator 42 (step S5). The light reception frequency information of each bin constituting the first histogram is stored in the SRAM 43.
  • the time range from when the first light-emitting unit 11 first performs a light-emitting operation in step S1 to when the first histogram is generated in step S5 is referred to as the first time range.
  • step S6 it is determined whether measurements have been performed at all light emission intervals.
  • step S7 the light emitting device 3 changes the light emission interval.
  • the light emitting device 3 in FIG. 1 has a second light emitting unit 12 that irradiates a second light pulse signal that is emitted at a second time interval. Therefore, the light emitting device 3 stops the light emission of the first light emitting unit 11 and drives the second light emitting unit 12 that emits the second light pulse signal at the second time interval.
  • the light-receiving unit 25 performs repeated measurements in the second time range, and the histogram generator 42 generates a second histogram.
  • the light-emitting interval is changed in step S7, and measurements are performed repeatedly to generate separate histograms.
  • a distance measurement calculation is performed (step S8).
  • FIG. 5B is a diagram showing a flowchart of the distance measurement calculation in step S8 of FIG. 5A.
  • the distance measurement unit 44 reads two or more histograms including the first and second histograms from the SRAM 43.
  • the duplicated histogram generator 45 generates two or more duplicated histograms including the first and second duplicated histograms (step S11).
  • the first and second duplicated histograms are generated by duplicating and tiling the first and second histograms, as described in FIG. 3.
  • the distance measurement unit 44 then superimposes two or more duplicate histograms, including the first duplicate histogram and the second duplicate histogram, to generate a reconstructed histogram (step S12).
  • Superimposing two or more duplicate histograms means, for example, adding up two or more duplicate histograms for each bin.
  • the distance measurement unit 44 detects peak values from the generated reconstructed histogram (step S13).
  • the distance measurement unit 44 performs a center of gravity calculation based on the detected peak values (step S14).
  • the distance measurement unit 44 obtains a distance measurement value from the result of the center of gravity calculation (step S15).
  • FIG. 6 is a diagram showing the case where 10-Bin distance measurement, 12-Bin distance measurement, 14-Bin distance measurement, and 16-Bin distance measurement are performed by the distance measurement system 1.
  • 16-Bin distance measurement the above-mentioned exposure rotation Rt1 at 16t intervals is repeated multiple times.
  • the light-emitting device 3 may emit light for each exposure rotation Rt1.
  • the period of multiple exposure rotations Rt1 may also be the light-emitting interval PRI1 of the light-emitting device 3.
  • exposure rotation Rt2 at 14t intervals, exposure rotation Rt3 at 12t intervals, and exposure rotation Rt4 at 10t intervals are each repeated multiple times.
  • the periods of multiple exposure rotations Rt2, Rt3, and Rt4 may also be the light-emitting intervals PRI2, PRI3, and PRI4 of the light-emitting device 3, respectively.
  • the light emission interval of the light emitting device 3 is also called the pulse light emission period (PRI: Pulse Repetition Interval).
  • PRI Pulse Repetition Interval
  • the exposure rotation Rt1 in 16-bin distance measurement corresponds to steps S1 to S3 in FIG. 5A.
  • histogram HSTd is generated in step S5 in FIG. 5A.
  • 14-bin distance measurement, 12-bin distance measurement, and 10-bin distance measurement are performed in sequence, and histograms HSTe, HSTf, and HSTg are generated.
  • step S11 of FIG. 5B duplicated histograms HSTCd, HSTCe, HSTCf, and HSTCg are generated based on the histograms HSTd, HSTE, HSTf, and HSTg.
  • step S12 a reconstructed histogram HSTLa is generated based on the duplicated histograms HSTCd, HSTCe, HSTCf, and HSTCg.
  • step S13 a peak value PeakLa is detected from the reconstructed histogram HSTLa.
  • FIG. 7 is a diagram showing a first detailed configuration example of the pixel array section 50 in the light detection device 4.
  • the light detection device 4a shown in FIG. 7 includes a pixel array section 50a and a drive circuit 24a.
  • the drive circuit 24a includes a column selection circuit 62. Each pixel 30 in the pixel array unit 50a is controlled by the column selection circuit 62. A plurality of column selection lines 63 extend from the column selection circuit 62 and are connected to the pixels 30. Although not shown, the column selection circuit 62 is composed of a shift register, an address decoder, etc.
  • the multiple pixels 30 are arranged in the light receiving section 25 in a row direction X (first direction) and a column direction Y (second direction), with two or more pixels 30 arranged in each direction.
  • the row direction X is the direction in which the multiple column selection lines 63 are arranged.
  • the column direction Y is the direction in which each column selection line 63 extends.
  • the two or more pixels 30 arranged in the row direction X are referred to as a first pixel group 51
  • the two or more pixels 30 arranged in the column direction Y are referred to as a second pixel group 52.
  • Multiple first pixel groups 51 are arranged in the column direction Y
  • multiple second pixel groups 52 are arranged in the row direction X.
  • the pixel array unit 50a includes a plurality of time-to-digital converters 41 and a plurality of histogram generators 42 arranged for each first pixel group 51.
  • the plurality of time-to-digital converters 41 and the plurality of histogram generators 42 may be provided separately from the pixel array unit 50a.
  • the plurality of time-to-digital converters 41 and the plurality of histogram generators 42 may be provided on a chip separate from the chip having the pixel array unit 50a, and these chips may be joined by Cu-Cu bonding or the like.
  • the plurality of pixels 30 in the first pixel group 51 are connected to the time-to-digital converters 41 and the histogram generators 42 by signal lines 61.
  • FIG. 8 is a timing diagram of data transmission from the pixel array unit 50a to the SRAM 43 and the distance measurement unit 44 in the first configuration example of FIG. 7.
  • the pixel array unit 50a in FIG. 8 performs 16-Bin distance measurement, 14-Bin distance measurement, 12-Bin distance measurement, and 10-Bin distance measurement in different time ranges (distance measurement periods SFE1, SFE2, SFE3, and SFE4 described below) within one frame period FRMa, and transfers the light reception frequency data for each bin of the generated histogram to the distance measurement unit 44.
  • the light emitting device 3 emits light at intervals of 16t, 14t, 12t, and 10t in 16-Bin, 14-Bin, 12-Bin, and 10-Bin distance measurements, respectively. That is, each pixel 30 in the light receiving section 25 receives two or more reflected light pulse signals L2 that are generated by reflecting two or more light pulse signals L1 that are emitted at two or more different time intervals from an object OBJ, within two or more different time ranges.
  • a capture period CAP is provided for each second pixel group 52.
  • the column selection circuit 62 selects the second pixel groups 52 in sequence. In FIG. 8, an example in which the column selection circuit 62 selects the second pixel group 52a will be described.
  • the capture period CAP includes a capture setup period CSU and subframes SF1, SF2, SF3, and SF4.
  • Subframe SF1 also includes a ranging period SFE1 and a data output period DO1.
  • the ranging period SFE1 16-Bin ranging is performed in the second pixel group 52a.
  • the ranging period SFE1 has a subframe setup processing period SFSU and multiple mini-frames MF.
  • the mini-frames MF include the exposure rotation Rt1 shown in FIG. 6 and the transfer period TRN to the SRAM 43.
  • the pixels 30 in the second pixel group 52a receive the reflected light pulse signal L2 having an emission interval of 16t in parallel.
  • Each pixel 30 inputs the corresponding light reception signal Vrcv to the corresponding time-to-digital converter 41 in parallel.
  • each time-to-digital converter 41 to which each light receiving signal Vrcv is input supplies a digital signal Vcnt corresponding to the light receiving time of the reflected light pulse signal L2 to each histogram generator 42.
  • Each histogram generator 42 generates a histogram with 16 bins based on the supplied digital signal Vcnt, and stores it in the SRAM 43.
  • the histograms generated by each histogram generator 42 are output from the SRAM 43 to the distance measurement unit 44.
  • each pixel 30 of the second pixel group 52a at the left end of the pixel array section 50 sequentially receives the reflected light pulse signal L2 reflected by the object OBJ in parallel with the light pulse signal L1 emitted at an emission interval corresponding to 16-bin distance measurement, to generate a histogram.
  • the light reception frequency data for each bin constituting the generated histogram is transferred to the SRAM 43 during the transfer period TRN.
  • a number of mini-frame periods MF are provided within the ranging period SFE1. In each mini-frame period MF, essentially the same operation is repeated. In some cases, the start code used by the time-to-digital converter 41 to generate a digital signal may be changed for each mini-frame period MF.
  • the distance measurement period SFE2 is composed of multiple mini-frames MF having an exposure rotation Rt2.
  • each pixel 30 in the selected second pixel group 52a outputs a light receiving signal Vrcv corresponding to the reflected light pulse signal L2 having an emission interval of 14t. That is, each pixel 30 in the selected second pixel group 52a sequentially outputs two or more light receiving signals Vrcv corresponding to two or more reflected light pulse signals L2 during one frame period FRMa.
  • Each histogram generator 42 generates, in the SRAM 43, a histogram with 14 bins corresponding to the reflected light pulse signal L2 having a light emission interval of 14t based on the supplied digital signal Vcnt. In other words, the histogram generator 42 generates two or more histograms that classify the reception frequency of two or more reflected light pulse signals L2 received within two or more time ranges by unit period.
  • the number of mini-frame periods MF included in the ranging period SFE1 may be the same as the other ranging periods SFE2, SFE3, and SFE4.
  • the second pixel group 52a includes a plurality of pixels 30 arranged in different first pixel groups 51.
  • the plurality of pixels 30 in the second pixel group 52a perform light reception processing in parallel. Therefore, the light reception signals Vrcv output from the plurality of pixels 30 in the second pixel group 52a are input in parallel to the plurality of time-to-digital converters 41 arranged for each first pixel group 51.
  • each of the plurality of time-to-digital converters 41 sequentially generates a digital signal Vcnt corresponding to the light reception time of two or more reflected light pulse signals L2 received by each pixel 30 in the corresponding first pixel group 51.
  • Each of the plurality of histogram generators 42 generates two or more histograms based on the digital signal Vcnt sequentially generated by the corresponding time-to-digital converter 41.
  • the column selection circuit 62 selects the next second pixel group 52. In this way, in the example of FIG. 8, a light receiving operation is performed for each second pixel group 52a arranged in the column direction Y in the pixel array section 50, and each pixel 30 in the second pixel group 52a generates two or more histograms in parallel.
  • FIG. 9 is a diagram showing a second detailed configuration example of the pixel array section 50 in the photodetector 4.
  • the photodetector 4b shown in FIG. 9 includes a pixel array section 50b and a drive circuit 24b.
  • the pixel array section 50b includes a time-to-digital converter 41 and a histogram generator 42 for each pixel 30.
  • the driving circuit 24b includes a row selection circuit 64 in addition to the column selection circuit 62 included in the driving circuit 24a in FIG. 7.
  • Row selection lines 65 extend from the row selection circuit 64 for each of the first pixel groups 51 and are connected to the pixels 30.
  • FIG. 10 is a timing diagram of data transmission from the pixel array section 50b to the SRAM 43 and distance measurement section 44 in the second configuration example of FIG. 9.
  • a capture period CAP is provided for each second pixel group 52.
  • each pixel 30 has a capture period CAP with a common timing once per frame FRMb.
  • each pixel 30 performs 16-Bin ranging, 14-Bin ranging, 12-Bin ranging, and 10-Bin ranging in parallel in that order. That is, each of the multiple pixels 30 sequentially outputs two or more light receiving signals Vrcv corresponding to two or more reflected light pulse signals L2 in one frame period FRMb.
  • the output light receiving signals Vrcv of each pixel 30 are input in parallel to the corresponding time-to-digital converter 41.
  • Each of the multiple time-to-digital converters 41 generates a digital signal Vcnt corresponding to the reception time of two or more reflected light pulse signals L2 received by the corresponding pixel 30, and each of the multiple histogram generators 42 generates two or more histograms based on the digital signal Vcnt generated by the corresponding time-to-digital converter 41.
  • the photodetection device 4b does not require multiple capture periods CAP compared to the photodetection device 4a in FIG. 7. This allows the photodetection device 4b to perform faster distance measurement processing than the photodetection device 4a.
  • the photodetection device 4a has fewer time-to-digital converters 41 and histogram generators 42 than the photodetection device 4b, and does not require a row selection circuit 64. Therefore, the photodetection device 4a has a simpler structure than the photodetection device 4b, and can be made smaller.
  • FIG. 11 is a flowchart showing the processing of the distance measurement unit 44.
  • FIG. 11 is a more specific version of the flowchart of FIG. 5B.
  • FIG. 11 shows an example of performing 16-Bin distance measurement, 14-Bin distance measurement, 12-Bin distance measurement, and 10-Bin distance measurement.
  • steps S21 to S28 shown in FIG. 11 steps S21 to S26 are processed using the replicated histogram generator 45 and SRAM 46.
  • the replica histogram generator 45 receives the four histograms HSTd, HSTe, HSTf, and HSTg shown in FIG. 6 from the histogram generator 42.
  • the number of bins in each duplicated histogram can be made uniform by setting the number of bins in each duplicated histogram to 1680, which is the least common multiple of 16, 14, 12, and 10.
  • the configuration data for each duplicated histogram is stored in sequence in SRAM 46, and a reconstructed histogram is generated within SRAM 46. In this way, SRAM 46 stores a reconstructed histogram having a number of bins according to the least common multiple of two or more time intervals.
  • the duplicated histogram generator 45 clears the SRAM 46 to secure capacity for storing the reconstructed histogram (step S21).
  • the duplicated histogram HSTd with 16 bins is duplicated and tiled to generate the duplicated histogram HSTCd, which is stored in the SRAM 46 (step S22).
  • the histogram HSTe with 14 bins is duplicated and tiled to generate a duplicated histogram HSTCe.
  • the duplicated histogram HSTCe is added to the duplicated histogram HSTCd in the SRAM 46 (step S23).
  • the duplicated histogram HSTCf and the duplicated histogram HSTCg are added in order to the histogram stored in the SRAM 46 (steps S24 and S25). This generates the reconstructed histogram HSTLa in the SRAM 46 (step S26).
  • the distance measurement unit 44 detects the peak value of the reconstructed histogram HSTLa (step S27). Based on the peak value obtained in step S27, a center of gravity calculation is performed to obtain the distance measurement value (step S28).
  • the optical detection device 4 of the present disclosure receives multiple reflected light pulse signals L2 with different emission intervals, and generates two or more histograms with different numbers of bins.
  • the optical detection device 4 also copies, tile, and overlays two or more histograms to generate a reconstructed histogram. By detecting the peak value of this reconstructed histogram, the true optical round trip interval can be obtained, even when the optical round trip interval is longer than the emission interval of the optical pulse signal L1, making accurate distance measurement possible.
  • the photodetector 4 disclosed herein can perform accurate distance measurement over longer distances with shorter exposure periods. Specifically, when performing distance measurement as shown in FIG. 6, the exposure periods for each are 16t, 14, 12t, and 10t, totaling 52t. Meanwhile, the number of bins in the reconstructed histogram HSTLa is 1680. With an exposure period of just 52t, accurate distance measurement is possible for distances with a round-trip light period of up to 1680t. Furthermore, the number of bins required for the histogram generator 42 can be kept small, at 16 to 10, making it possible to reduce the area of the histogram generator 42.
  • peak value detection and center of gravity calculation are performed based on a reconstructed histogram having a number of bins according to the least common multiple of two or more time intervals.
  • the reconstructed histogram is generated by duplicating, tiling, and overlapping each histogram generated for each time interval. Therefore, the reconstructed histogram can reduce the number of bins without reducing the amount of information of the original histogram.
  • FIG. 12 is a diagram showing the distance measurement unit 44a and the surrounding area in the second embodiment.
  • the distance measurement unit 44a includes a bin extension unit 71, a peak detection unit 72, a maximum peak detection unit 73, a shift unit 74, and a center of gravity calculation unit 75.
  • the bin expansion unit 71 reads out multiple histograms from the SRAM 43.
  • the bin expansion unit 71 also stores in the SRAM 46 the histogram corresponding to the maximum time interval as one unit.
  • the bin expansion unit 71 also expands histograms corresponding to two or more time intervals excluding the maximum time interval into one unit and stores them in the SRAM 46. Specifically, for the histogram HSTd shown in FIG. 6, the histogram HSTd with 16 bins is stored in the SRAM 46 as one unit.
  • the histograms HSTe, HSTf, and HSTg are also expanded to 16 bins and stored in the SRAM 46.
  • SRAM 46 has a storage capacity according to the number of histogram bins that correspond to the maximum time interval mentioned above.
  • the peak detection unit 72 performs the process of detecting locations within the storage area of the SRAM 46 where the light reception times of the peaks of two or more histograms coincide each time the bin expansion unit 71 stores a new unit of two or more histograms in the SRAM 46.
  • the maximum peak detection unit 73 detects the maximum value of the peak from among multiple 1 units.
  • the shift unit 74 shifts the maximum value of the peak to the center of the corresponding memory area of the SRAM 46.
  • the center of gravity calculation unit 75 performs center of gravity calculation within the memory area of the SRAM 46 shifted by the shift unit 74.
  • FIGS. 13A, 13B, and 13C are diagrams explaining the operation of the distance measurement unit 44a. The following explanation explains the process of detecting peak values when the histograms HSTd, HSTe, HSTf, and HSTg in FIG. 6 are superimposed.
  • the reconstructed histogram HSTLa in FIG. 6 can be divided into a number of unit histograms UHST, with 16 bins as one unit.
  • the distance measurement unit 44a repeatedly performs a process of detecting peak values for each unit histogram UHST, and detects the maximum peak value from among all the unit histograms UHST.
  • one unit histogram UHST For each peak value detection, one unit histogram UHST needs to be stored in SRAM 46. In other words, each time a larger peak value is detected, the unit histogram UHST in SRAM 46 can be overwritten. This makes it possible to reduce the number of histogram bins stored in SRAM 46.
  • a turn-around number starting from 0, is assigned to each unit histogram UHST that is processed for each peak value detection. In this way, the turn-around number is an identification number that specifies one of the multiple unit histograms UHST that make up the reconstructed histogram.
  • FIGS. 13B and 13C are flowcharts showing the processing operations of the distance measurement unit 44a according to the second embodiment.
  • Steps S31 to S37 are processes for detecting peak values for the unit histogram UHST whose folding number is 0.
  • the distance measurement unit 44a specifies the folding number as 0.
  • Steps S32 to S36 are the process in which the bin extension unit 71 generates a unit histogram UHST in a memory area in the SRAM 46.
  • step S32 the SRAM 46 is cleared.
  • step S33 the histogram HSTd with 16 bins is copied to the SRAM 46.
  • step S34 the histogram HSTe, which has 14 bins, is expanded to 16 bins and added to the histogram in SRAM 46.
  • the histogram HSTe is duplicated in two, and bins b0 to b13 are extracted from one of the histograms HSTe.
  • data for bins b0 and b1 is extracted from the other histogram HSTe, and these are added to the previously extracted bins b0 to b13 as bins b14 and b15, respectively.
  • the histogram HSTe is expanded to a histogram with bins b0 to b15, and added to the histogram in SRAM 46.
  • step S35 the histogram HSTf with 12 bins is expanded to 16 bins and added to the histogram in SRAM 46.
  • step S36 the same processing as in steps S34 and S35 is performed on the histogram HSTg.
  • a partially reconstructed histogram HSTLb is generated.
  • Steps S41 to S47 are processes for detecting peak values for the unit histogram UHST whose turn number is 1.
  • the distance measurement unit 44a specifies the turn number as 1.
  • steps S42 and S43 the SRAM 46 is cleared and the histogram HSTd is copied to the SRAM 46.
  • step S44 the histogram HSTe with 14 bins is offset, expanded to 16 bins, and added to the histogram in SRAM 46.
  • the histogram HSTe is duplicated in two, and from one of the histograms HSTe, the data of bins b0 and b1 already extracted in step S34 is deleted, and data of bins b2 to b13 is extracted.
  • data of bins b0 to b3 is extracted from the other histogram HSTe.
  • the previously extracted bins b2 to b13 are made into a histogram of bins b0 to b11, and the next extracted bins b0 to b3 are added as bins b12 to b15.
  • the histogram HSTe is offset by the number of two bins, expanded to a histogram of bins b0 to b15 with four bins added, and added to the histogram in SRAM 46.
  • step S45 the histogram HSTf with 12 bins is shifted by the number of bins extracted in step S35, expanded to 16 bins, and added to the SRAM 46.
  • step S46 the same processing as in steps S44 and S45 is performed on the histogram HSTg.
  • the same process is repeated for the unit histogram UHST with a folding number of 2. In other words, it is cleared in SRAM 46.
  • the histogram HSTd is duplicated in SRAM 46.
  • a histogram in which the histogram HSTE is shifted by the number of bins extracted in step S45 and expanded to 16 bins is added to the histogram in SRAM 46.
  • Histograms in which the same process as for the histogram HSTd has been performed on the histograms HSTE and HSTf are added to the histogram in SRAM 46. Peak value detection process is performed for the partially reconstructed histogram HSTLb calculated in this way.
  • FIG. 13C is a diagram showing a flowchart of the processing of the maximum peak detection unit 73, the shift unit 74, and the center of gravity calculation unit 75. The processing of FIG. 13C is performed following the processing of FIG. 13B.
  • the maximum peak detection unit 73 repeatedly outputs the peak value Max, the bin number Bin, and the offset value for multiple unit histograms UHST. Based on this, the turn-around number of the unit histogram UHST having the maximum peak value Max is searched for (step S51).
  • FIG. 13A shows an example in which the unit histogram USHT with a folding number of 3 is the unit histogram UHSTa with the maximum peak value Max.
  • the maximum peak detection unit 73 outputs the folding number and bin number Bina of the unit histogram UHSTa to the shift unit 74 (step S52).
  • the shift unit 74 In steps S53 to S58, the shift unit 74 generates in the SRAM 46 a partial histogram HSTLc that is centered so that the bin Bmax of the unit histogram UHSTa is located in the center of the 16-bin width.
  • step S53 SRAM 46 is cleared.
  • step S54 the histogram HSTd is offset in SRAM 46 so that bin Bmax is located in the center of the 16-bin width.
  • step S55 the histogram HSTe is offset and expanded in the same way as was done to HSTe when generating the unit histogram USHTa in the process of FIG. 13B. Then, as in step S54, the bin Bmax is offset so that it is located in the center of the 16-bin width, and added to the histogram in SRAM 46.
  • step S56 and S57 the same process as in step S55 is performed on the histograms HSTf and HSTg, respectively.
  • step S58 a partial histogram HSTLc is generated in SRAM 46, in which the bin Bmax is centered in the center of the 16-bin width.
  • the center of gravity calculation unit 75 performs center of gravity calculation on the partial histogram HSTLc (step S59). Based on the result of the center of gravity calculation, the distance measurement unit 44a outputs the distance measurement value to the interface unit 28 (step S60).
  • the number of bins of the histogram stored in the SRAM 46 can be reduced to calculate the distance measurement value.
  • the distance measurement unit 44 in the first embodiment had to store the number of bins, 1680, of the reconstructed histogram HSTLa in the SRAM 46.
  • the distance measurement unit 44a in the second embodiment can reduce the number of bins stored in the SRAM 46 to 16.
  • distance measurement calculations such as center of gravity calculations are performed inside the photodetector 4.
  • the distance measurement calculations can also be performed in the AP 5.
  • FIG. 14A is a block diagram showing a first example configuration of a distance measurement system in the third embodiment.
  • the light detection device 4c does not include a distance measurement unit 44, but instead includes a packet generation unit 76.
  • the AP 5a in FIG. 14A includes a distance measurement unit 77.
  • the packet generator 76 generates distance measurement data to be transmitted from the light detection device 4c to the AP 5a.
  • the distance measurement data generated by the packet generator 76 is transmitted to the AP 5a via the interface unit.
  • the AP5a receives the distance measurement data transmitted via the interface unit 28.
  • the distance measurement unit 77 acquires two or more histograms included in the distance measurement data and performs distance measurement processing similar to that shown in FIG. 11, for example.
  • FIG. 14B is a block diagram showing a second configuration example of a distance measurement system in the third embodiment.
  • the photodetector 4d in the distance measurement system in FIG. 14B has a time-to-digital converter 41 and a histogram generator 42 for each pixel 30, similar to FIG. 9.
  • the photodetector 4d in FIG. 14B also has a packet generator 76, similar to FIG. 14A.
  • FIG. 15A is a diagram showing a first example of distance measurement data generated by the packet generation unit 76.
  • the distance measurement data 80 shown in FIG. 15A has a start portion 81, multiple packets 82, and an end portion 83.
  • the start section 81 has an identifier indicating the beginning of the frame and the number of time intervals (more specifically, the light emission intervals of the light emitting device 3) that are two or more during which the light emitting device 3 emits the light pulse signal L1.
  • Each packet 82 has a header 84 including the number of bins of the corresponding histogram among two or more histograms and the number of pixels 30 in the pixel array section 50, histogram data 85 constituting the corresponding histogram, and a footer 86 including end information of the corresponding histogram.
  • the histogram data 85 includes light reception frequency data for each bin constituting the corresponding histogram.
  • the end section 83 has an identifier that indicates the end of the frame.
  • the distance measurement data 80 in FIG. 15A has packets 82 whose number corresponds to the light emission interval of the light emitting device 3.
  • the packet generator 76 generates distance measurement data including two or more histograms on a frame-by-frame basis.
  • FIG. 15B is a diagram showing the transmission order of the distance measurement data 80 in FIG. 15A.
  • the distance measurement data 80 shown in FIG. 15B is an example of distance measurement performed at the light emission intervals of four light-emitting devices 3 as shown in FIG. 6.
  • the distance measurement data 80 has packets 82 including packet 82a showing 16-Bin distance measurement data, packet 82b showing 14-Bin distance measurement data, packet 82c showing 12-Bin distance measurement data, and packet 82d showing 10-Bin distance measurement data.
  • the header 84 contains the number of histogram bins for each distance measurement. Specifically, the header 84 in packet 82a records 16 as the number of bins.
  • Each of the packets 82a, 82b, 82c, and 82d contains histogram data 85a.
  • the histogram data 85a contains a histogram 87 that is generated for each pixel 30.
  • Packet 82a contains a histogram 87 with 16 bins.
  • the number of bins in the histogram 87 of each of the packets 82a, 82b, 82c, and 82d of the distance measurement data 80 is different. Therefore, the histogram data 85a of the distance measurement data 80 is of variable length, which allows the amount of data transfer to be minimized.
  • the packets 82 of the distance measurement data 80 may be of fixed length.
  • FIG. 15C is a diagram showing the transmission order of distance measurement data 80 with packets 82 of fixed length. Specifically, packet 82e showing 14-Bin distance measurement data, packet 82f showing 12-Bin distance measurement data, and packet 82g showing 10-Bin distance measurement data include histogram data 85b. The histogram data 85b has padding sections 88 added to the histograms 87.
  • the padding unit 88 adds padding data for two bins to each histogram 87 with 14 bins. For example, 0 is added as padding data.
  • the distance measurement data 80 shown in Figures 15A to 15C has separate packets 82 for each light emission interval of the light emitting device 3.
  • the light detection device 4b shown in Figure 14B can perform distance measurement processing in sequence for each light emission interval of the light emitting device 3.
  • the light detection device 4b can also generate a histogram for each pixel 30.
  • the packet generation unit 76 can generate packets 82 in the order in which the data is transferred. In other words, there is no need for the packet generation unit 76 to rearrange the histogram data, etc., and distance measurement data can be generated at high speed.
  • the distance measurement unit 77 in the AP 5a needs to extract data for the pixel 30 that is the target of the distance measurement calculation from multiple packets 82.
  • FIG. 16A is a diagram showing a second example of distance measurement data generated by the packet generator 76.
  • the distance measurement data 90 shown in FIG. 16A has a start portion 91, multiple packets 92, and an end portion 93.
  • the start portion 91 has an identifier indicating the beginning of the frame, the number of pixels 30, and the number of time intervals (light emission intervals of the light emitting device 3) that are two or more.
  • a single packet 92 has a header 94 including information indicating the position of pixel 30, histogram data 95 constituting a corresponding one of two or more histograms, and a footer 96 including end information for the corresponding histogram.
  • the end section 93 has an identifier that indicates the end of the frame.
  • FIG. 16B is a diagram showing the transmission sequence of distance measurement data 90.
  • the distance measurement data 90 shown in FIG. 16B is an example of distance measurement performed at the light emission intervals of four light emitting devices 3 as shown in FIG. 6.
  • the distance measurement data 90 has a packet 92 for each pixel 30.
  • the histogram data 95 includes a histogram 97a with 16 bins, a histogram 97b with 14 bins, a histogram 97c with 12 bins, and a histogram 97d with 10 bins.
  • the histogram data 95 has a fixed length.
  • the distance measurement unit 77 is provided in the AP 5a, and distance measurement data including histogram data is transmitted from the photodetectors 4c and 4d to the AP 5a.
  • the distance measurement unit 77 generates two or more duplicate histograms and a reconstructed histogram, and can accurately measure the distance to the object OBJ from the peak position, as in the first and second embodiments.
  • the structure of the photodetector 4 can be simplified and the photodetector 4 can be made smaller.
  • a distance measurement unit is provided in the photodetector to generate two or more duplicate histograms and a reconstructed histogram, and a processor with high-performance processing capabilities must be provided in the photodetector.
  • two or more duplicate histograms and a reconstructed histogram are generated in the AP 5, which already has high-performance processing capabilities, so that it can be realized without changing the hardware of the existing distance measurement system.
  • the start code of the time-to-digital converter 41 is fixed for each exposure rotation.
  • the start code of the time-to-digital converter 41 is changed for each exposure rotation, thereby improving distance measurement accuracy.
  • the count may be modulated by the disturbance radio waves as standing waves. This may cause pseudo peaks to occur as shown in the histogram HSTh due to the effect of noise from the disturbance radio waves.
  • FIG. 17B shows an example in which the start code of the time-to-digital converter 41 is changed for each processing cycle.
  • FIG. 17B shows an example of 13-bin distance measurement that generates a histogram having 13 bins, but the number of bins of the histogram is arbitrary.
  • the start code of the time-to-digital converter 41 is set to 0 in the first exposure rotation. That is, in the first exposure rotation, the count code of the time-to-digital converter 41 is incremented from 0 to 12 to generate the histogram HSTi. Then, in the second exposure rotation, the start code of the time-to-digital converter 41 is set to, for example, 11.
  • the count code is incremented from 11 to 12, and then the count code is reset to 0, and the count code is incremented from 0 to 10 to generate the histogram HSTj. This makes it possible to shift the position of the pseudo peak caused by the disturbance radio wave.
  • histogram HSTj is overlaid by offsetting only the start code of the time-to-digital converter 41 during the histogram addition process in the distance measurement unit 44 shown in FIG. 11 or FIG. 13A to 13C.
  • the cycle of linearity correction needs to be matched to the cycle of distance measurement. Specifically, in 16-Bin distance measurement, linearity correction needs to be performed at a 16-Bin cycle.
  • the number of exposures is the same for 16-Bin ranging and 14-Bin ranging, i.e., the amount of exposure is constant for 16-Bin ranging and 14-Bin ranging, so the difference in signal amount between the maximum peak value and the second and subsequent peak values of the reconstructed histogram becomes large, and the probability of successful ranging increases.
  • the distance measurement accuracy decreases. For example, if 10 cycles of linearity correction at a 16-Bin cycle are performed in 16-Bin distance measurement, the number of exposures will be 160. Also, if 10 cycles of linearity correction at a 14-Bin cycle are performed in 14-Bin distance measurement, the number of exposures will be 140. If linearity correction is performed the same number of cycles in 16-Bin distance measurement and 14-Bin distance measurement, there will be a difference in the number of exposures.
  • Figure 18B shows an example of linearity correction with the same number of cycles for 16-Bin and 14-Bin distance measurement. Because the number of exposures is different, there is a difference in the number of light receptions (signal amount) used to generate the histograms between the 16-Bin distance measurement histogram HSTm and the 14-Bin distance measurement histogram HSTn.
  • the peak value of the histogram HSTm can be made apparent, improving distance measurement accuracy.
  • the difference in signal amount between the maximum peak value and the second and subsequent peak values in the reconstructed histogram HSTLf becomes smaller, decreasing the probability of successful distance measurement.
  • Figure 18C shows an example where linearity correction is performed in 16-Bin ranging and 14-Bin ranging, and the number of exposures is matched.
  • the histogram HSTo of 16-Bin ranging and the histogram HSTp of 14-Bin ranging the pseudo peaks caused by external radio waves are flattened, and the number of light receptions of the peak values is approximately the same.
  • the peak values become apparent in the reconstructed histogram HSTLg, which is obtained by superimposing the histograms HSTo and HSTp, and the ranging accuracy can be improved.
  • the amount of exposure is constant in 16-Bin ranging and 14-Bin ranging, so the probability of successful ranging is also increased.
  • the number of exposures can be made consistent across multiple bin measurements if it is set according to the least common multiple of the cycles of each measurement. Specifically, when 16-bin, 14-bin, 12-bin, and 10-bin measurements are performed, the number of exposures for each measurement can be made consistent at 1680, the least common multiple of the bin numbers of 16, 14, 12, and 10. In other words, by performing 105 16-bin measurements, 120 14-bin measurements, 140 12-bin measurements, and 168 10-bin measurements, the number of exposures for each bin measurement can be made consistent, i.e., the amount of exposure can be made constant.
  • FIG. 19 is a diagram showing an example of a distance measurement period SFE1 for 16-Bin distance measurement in the fourth embodiment.
  • the distance measurement period SFE1 includes multiple exposure rotations Rt1.
  • 16 exposure rotations Rt1 constitute one cycle.
  • the start code of the time-to-digital converter 41 is changed for each exposure rotation Rt1, and linearity correction is performed.
  • the number of exposures can be set to 1680. The same applies to 14-Bin distance measurement, 12-Bin distance measurement, and 10-Bin distance measurement.
  • the start code of the time-to-digital converter 41 is periodically shifted to perform linearity correction that flattens the pseudo-peaks caused by external radio waves, and the number of exposures for each distance measurement is matched. This improves the probability of successful distance measurement and improves distance measurement accuracy.
  • the fourth embodiment can be applied to any of the first to third embodiments.
  • FIG. 20A shows an example of detecting the first and second peak values in 16-Bin, 14-Bin, 12-Bin, and 10-Bin ranging. That is, FIG. 20A shows an example of receiving reflected light pulse signals L2 from two objects OBJ.
  • the histogram HSTq in each ranging has a first peak value Peak1 and a second peak value Peak2.
  • the reconstructed histogram HSTLh in addition to the first peak value PeakL1, there are multiple bins (e.g., DPeakL) that are influenced by the first peak value Peak1 in the histogram HSTq.
  • FIG. 20B is a diagram explaining why bins influenced by the first peak value Peak1 in FIG. 20A appear.
  • FIG. 20B shows an example in which a reconstructed histogram HSTLi is generated by combining a duplicated histogram obtained by duplicating and tiling a histogram generated by 16-bin ranging and a duplicated histogram obtained by duplicating and tiling a histogram generated by 14-bin ranging.
  • the components of the first peak value Peak1 appear in multiple bins. In this case, the second peak value Peak2 may not be detected correctly.
  • FIG. 20C is a diagram for explaining the processing operation of the distance measuring device according to the fifth embodiment.
  • a histogram HSTr is generated by deleting the component of the first peak value Peak1 from each of the histograms of 16-Bin distance measurement, 14-Bin distance measurement, 12-Bin distance measurement, and 10-Bin distance measurement.
  • the second peak value PeakL2 can be detected without being affected by the first peak value Peak1.
  • 20D is a diagram showing an example of generating a new reconstructed histogram after deleting the component of the first peak value Peak1 from the duplicated histogram shown in FIG. 20B. It can be seen that the second peak value PeakL2 is the peak value of the reconstructed histogram HSTLk, as compared with the reconstructed histogram HSTLi in FIG. 20B.
  • FIG. 21 is a flowchart showing the processing of the distance measurement unit 44 in the fifth embodiment. Steps S71 to S86 shown in FIG. 21 explain the processing for detecting the first peak. Also, steps S91 to S106 explain the processing for detecting the second peak.
  • step S71 the light emitting device 3 etc. is driven to start the distance measurement process.
  • the light detection device 4 performs distance measurement in a first bin number period (e.g., 16-bin distance measurement), and the histogram generated by the histogram generator 42 is stored in the first memory (area in the SRAM 43) (steps S72, S73).
  • steps S74 and S75 the histogram generated in a second bin number period (e.g., 14-bin period) is stored in the second memory in the SRAM 43.
  • Steps S81 to S85 are the same as those described in FIG. 11 or FIGS. 13A to 13C.
  • step S86 the bin of the reconstructed histogram having the first peak is obtained.
  • step S87 it is determined whether or not to obtain the second peak value, and if so, the process proceeds to step S91.
  • steps S91 to S94 the amount of signal to be removed when removing the first peak is determined from the histogram obtained in step S73, etc.
  • step S91 a bin corresponding to the bin of the reconstructed histogram having the first peak obtained in step S86 is obtained from the histogram stored in the first memory. In addition, the signal amount of the bin is obtained.
  • steps S92 to S94 the same process as in step S91 is performed on the histograms obtained in steps S74 to S77. This makes it possible to obtain the signal amount of the bin corresponding to the first peak from each histogram.
  • step S94 the smallest signal amount among the obtained signal amounts is set as the signal amount of the first peak.
  • steps S101 to S105 a reconstructed histogram is generated in the same manner as in steps S81 to S85. However, before tiling, the first peak is removed from the histogram.
  • step S101 For the histogram stored in the first memory, the signal amount of the first peak obtained in step S94 is subtracted from the signal amount of the bin corresponding to the first peak found in step S91. Then, the same process as in step S81 is performed.
  • step S106 the second peak is acquired, similarly to step S86.
  • step S107 it is determined whether or not to acquire the third peak value, and if so, the process proceeds to a third peak value acquisition process (not shown).
  • a process is performed to reduce the signal amount of the bin corresponding to the second peak value from the histogram stored in the first memory or the like.
  • a reconstructed histogram is regenerated from which the first peak value has been deleted, making it possible to correctly detect the true second peak value without being affected by the first peak value.
  • This allows the ranging system 1 to measure the distances to multiple objects OBJ located at different locations in a single ranging sequence.
  • the fifth embodiment can be applied to any of the first to fourth embodiments.
  • the time-to-digital converter 41 of the present disclosure can use a gray code in order to suppress power supply fluctuations accompanying count signal propagation.
  • Fig. 22 is a diagram showing a time-to-digital converter 41a and a histogram generator 42a in a sixth embodiment.
  • Fig. 23 is a diagram showing a gray code output by a gray code counter described later.
  • Gray code is a code that consists of multiple bits, as shown in Figure 23, and only one of these bits transitions. Since each bit of the Gray code is connected to a separate wire, by using Gray code, the amount of bit transitions when the Gray code transitions can be minimized, and power consumption can be reduced.
  • the time-to-digital converter 41a includes a Gray Code Counter 101 and a number of latch units 102.
  • the histogram generator 42a includes a Gray to Thermo (GT) conversion unit 103 and a bin counter 104.
  • GT Gray to Thermo
  • the pixel 30 is composed of a pixel circuit including a photoelectric conversion element 105 such as a SPAD.
  • the photoelectric conversion element 105 generates an electric charge according to the received light.
  • the pixel circuit supplies a light reception signal Vrcv according to the electric charge generated by the photoelectric conversion to the time-to-digital converter 41a.
  • the Gray code counter 101 outputs, for example, a 4-bit Gray code as shown in FIG. 23 to multiple latch units 102 based on the measurement start signal and clock signal Vclk supplied from the distance measurement control unit 26.
  • the multiple latch units 102 latch the gray code when the light receiving signal Vrcv is supplied from the pixel 30.
  • the latched gray code is supplied to the histogram generator 42a as a digital signal Vcnt.
  • the GT conversion unit 103 in the histogram generator 42a has multiple conversion tables that convert the gray code into light reception time data, which differ for each exposure rotation period.
  • the GT conversion unit 103 converts the gray code acquired from the latch unit 102 using a conversion table that corresponds to the exposure rotation period at that time, and acquires the bin number.
  • the GT conversion unit 103 supplies a counter increment signal Vinc to the bin counter 104 that corresponds to the acquired bin number.
  • Each bin counter 104 increments its count value when the corresponding counter increment signal Vinc is supplied.
  • each bin ranging uses a different continuous range within the transition range of the 4-bit Gray code.
  • 16-Bin ranging uses 16 Gray codes in the transition range of Bin numbers 0 to 15 in FIG. 23.
  • Other bin ranging uses a continuous range that is part of the transition range of the Gray code used by 16-Bin ranging, and assigns consecutive numbers starting from Bin number 0 to each Gray code within the continuous range used.
  • Figure 24A shows the transition range of Gray codes according to 14-Bin ranging.
  • the time-to-digital converter 41a uses the continuous range of Gray codes 0001 to 1001 in Figure 23, and assigns Bin numbers 0 to 13 to this continuous range. Therefore, the conversion table according to 14-Bin ranging that the GT conversion unit 103 in the histogram generator 42a has associates the 14 Gray codes in Figure 24A with the 14 bin counters 104 corresponding to Bin numbers 0 to 13.
  • FIG. 24B shows the transition range of the Gray code corresponding to 12 Bin ranging
  • FIG. 24C shows the transition range of the Gray code corresponding to 10 Bin ranging.
  • the conversion table corresponding to 12 Bin ranging or the conversion table corresponding to 10 Bin ranging associates the Gray code of FIG. 24B or FIG. 24C with 12 or 10 bin counters 104.
  • the time-to-digital converter 41a is provided with a Gray code counter 101
  • the histogram generator 42a is provided with a GT conversion unit 103, so that the amount of signal transition of the digital signal for each bin from the time-to-digital converter 41a to the histogram generator 42a can be minimized, fluctuations in the power supply voltage can be suppressed, and power consumption can be reduced.
  • the true peak is extracted based on the reconstructed histogram.
  • two or more duplicated histograms are summed for each bin to generate the reconstructed histogram, but the reconstructed histogram may be generated by other methods.
  • a true peak exists where all of the replicate histograms have a peak.
  • a false peak exists where at least one of the replicate histograms does not have a peak. Based on these features, we can search for the true peak.
  • FIG. 25A is a diagram for explaining the generation of a reconstructed histogram according to the seventh embodiment.
  • Four duplicated histograms GHSTa, GHSTb, GHSTc, and GHSTd are shown on the left side of FIG. 25A.
  • the duplicated histograms GHSTa, GHSTb, GHSTc, and GHSTd are each a tile (duplicated) of multiple histograms generated by distance measurements ModA, ModB, ModC, and ModD with four different bin periods. As described above, all four duplicated histograms have the same number of bins.
  • the horizontal axis of the duplicated histograms GHSTa to GHSTd indicates the bin number (Bin), and the vertical axis indicates the count value (Count) for each bin number.
  • count order histograms SHST1, SHST2, SHST3, and SHST4 are shown, in which the count values of each bin of the four duplicated histograms GHSTa to GHSTd are arranged in order of magnitude.
  • the horizontal axis of the count order histograms SHST1 to SHST4 indicates the bin number (Bin), and the vertical axis indicates the count value (Count) for each bin number.
  • the count values of each bin of the duplicated histograms GHSTa to GHSTd are assigned to one of the count order histograms SHST1 to SHST4 in order of magnitude.
  • the count order histogram SHST1 is generated by collecting the maximum count value of each bin
  • the count order histogram SHST2 is generated by collecting the second largest count value of each bin
  • the duplicated histogram STST3 is generated by collecting the third largest count value of each bin
  • the duplicated histogram STST4 is generated by collecting the minimum count value of each bin.
  • duplicated histograms GHSTa, GHSTb, GHSTc, and GHSTd each include bins bHSTa, bHSTb, bHSTc, and bHSTd that have the same bin number.
  • bin bHSTa to bHSTd bin bHSTd with the maximum count value is assigned to count order histogram SHST1
  • bin bHSTC with the second highest count value is assigned to count order histogram SHST2
  • bin bHSTa with the third highest count value is assigned to count order histogram SHST3
  • bin bHSTb with the minimum count value is assigned to count order histogram SHST4.
  • bin bHSTd is a peak in duplicated histogram GHSTd
  • a peak appears in the corresponding bin in count order histogram SHST1.
  • bin bHSTb is not a peak in duplicated histogram GHSTb
  • no peak appears in the corresponding bin in count order histogram SHST4.
  • FIG. 25B shows the relationship between the duplicated histograms GHSTa to GHSTd shown in FIG. 25A and the count order histograms SHST1 to SHST4. Also, FIG. 25B shows the first peak PHSTa1 (A) of ModA, the first peak PHSTb1 (B) of ModB, the first peak PHSTc1 (C) of ModC, and the first peak PHSTd1 (D) of ModD in the duplicated histograms GHSTa to GHSTd.
  • the first peak is the maximum count value in the same bin in the duplicated histograms GHSTa to GHSTd. As mentioned above, there may be multiple first peaks PHSTa1 to PHSTd1 in each of the duplicated histograms GHSTa to GHSTd. Also, FIG. 25B shows the true first peak PHST1.
  • the timing when the first peaks of all MODs are aligned is the true first peak.
  • the true first peak is detected by using the count order histogram in which peaks appear in all MODs and the peak count value is the smallest as the reconstructed histogram RHST.
  • the count order histogram SHST1 contains a mixture of true peaks and false peaks.
  • the duplicated histograms GHSTa, GHSTb, GHSTc, and GHSTd in FIG. 25B respectively show the second peak PHSTa2 (A') of ModA, the first peak PHSTb2 (B') of ModB, the first peak PHSTc2 (C') of ModC, and the first peak PHSTd2 (D') of ModD.
  • the timing when the second peaks of all MODs are aligned is the true second peak.
  • the true second peak PHST2 can be similarly detected on the count order histogram SHST4. Note that, as described in FIGS.
  • the detection process of the true second peak PHST2 may be performed in a state where the influence of the first peaks PHSTa1 to PHSTd4 has been removed in advance from the duplicated histograms GHSTa to GHSTd.
  • the count value of the true first peak is greater than the count value of the true second peak.
  • the method of generating a reconstructed histogram RHST using the minimum count value as described above is called the LCP (Least Count Pickup) method.
  • the method in the first to sixth embodiments of generating a reconstructed histogram by adding up two or more duplicate histograms for each bin is called the addition method.
  • the influence of false peaks is removed from the reconstructed histogram RHST in FIG. 25A, so that the true peaks (the first true peak PHST1, the second true peak PHST2, and the third true peak PHST3) can be detected with high accuracy.
  • FIG. 26 is a block diagram showing the configuration of a distance measurement unit 44b according to the seventh embodiment.
  • the distance measurement unit 44b has a minimum search unit (Min-Search) 111, a plurality of weighting units 112, and a memory unit 113.
  • the minimum search unit 111 and the plurality of weighting units 112 are arranged, for example, in the replicated histogram generator 45.
  • the memory unit 113 is arranged, for example, in the SRAM 46.
  • the distance measurement unit 44b receives data for each bin from multiple memory units 114.
  • the multiple memory units 114 are memories that store data for each bin generated by distance measurement with different bin periods, and are arranged, for example, in the SRAM 43.
  • the example in FIG. 26 has four memory units 114 corresponding to ModA to ModD.
  • the memory unit 114 corresponding to ModA stores, for example, a count value Ca[i%A] based on the remainder when the count code i of the time-to-digital converter 41 is divided by the bin number A.
  • the memory units 114 corresponding to ModB, ModC, and ModD store count values Cb[i%B], Cc[i%C], and Cd[i%D].
  • the minimum search unit 111 sorts the data of each bin by count value, and distributes them to count signals C1, C2, C3, and C4 in descending order of count value.
  • the count signals C1 to C4 are input to multiple weighting units 112 (four in the example of FIG. 26), respectively.
  • Weighting units 112 also receive weighting coefficients w1, w2, w3, and w4 by which count signals C1, C2, C3, and C4 are multiplied.
  • the memory unit 113 stores the count signals C1 to C4 weighted by the weighting units 112.
  • a reconstructed histogram (for example, the reconstructed histogram RHST in FIG. 25B) is generated based on the count signal C4.
  • the distance measurement unit 44b may generate a reconstructed histogram by adjusting the weighting coefficients to reflect the information of the count values of the count signals C1 to C3.
  • the method of generating a reconstructed histogram based on the count values weighted according to the order of magnitude is also called the extended LCP method.
  • the distance measurement unit 44b may omit the weighting unit 112 and directly input the count signal C4 extracted by the minimum search unit 111 to the memory unit 113.
  • the seventh embodiment when peaks appear in the same bin in multiple duplicated histograms, a reconstructed histogram is generated based on the duplicated histogram with the smallest count value among them, so that a true peak can be detected with a small count value, reducing the circuit scale of the counter and avoiding the risk of erroneous detection of a false peak.
  • the LCP method described in the seventh embodiment can be applied to any of the first to sixth embodiments.
  • the distance measurement system 1 of the present disclosure is premised on detecting the peak of a histogram generated by repeatedly receiving light emitted from a specific light-emitting device and reflected by an object to perform distance measurement processing, but there is a risk that light from an unknown light-emitting body other than the specific light-emitting device may be received directly, or light reflected from the light reflected by an object.
  • the received light resulting from the light from the unknown light-emitting body is interference light, which may adversely affect distance measurement accuracy, so it is necessary to suppress the effects of interference light.
  • FIG. 27 is a diagram illustrating a method for suppressing the influence of interference light in the distance measurement system 1 according to the eighth embodiment.
  • the distance measurement system 1 of the present disclosure measures the distance to an object to be measured based on the peak of a histogram generated by repeatedly receiving a periodic reflected light pulse signal. Therefore, interference light without periodicity does not generate a peak and does not affect distance measurement. Even if the interference light is periodic, as shown in FIG. 27, if the light emission period of the distance measurement system 1 and the light emission period of the interference light are different, the count value components due to the interference light are spread throughout the histogram. As a result, the peak due to the interference light becomes sufficiently small compared to the true peak and does not affect distance measurement.
  • the interference light that may affect distance measurement is assumed to be interference light having the same emission period as the emission period of the distance measurement system 1 of the present disclosure. More specifically, when there are two or more distance measurement systems 1 of the present disclosure, they are assumed to affect each other.
  • FIG. 27 shows an example in which a distance measurement system 1 (System_1) according to the eighth embodiment of the present disclosure performs distance measurement with an emission period different from that of another distance measurement system (System_2). More specifically, when System_2 performs distance measurement of ModB, System_1 performs distance measurement of ModA, which has a different Bin period from ModB. This allows System_1 to suppress the influence of interference light from System_2, and also to suppress the influence of interference light from System_1 on System_2. Note that in this specification, the Bin period may be referred to as MOD.
  • the distance measurement system 1 includes an interference suppression unit 120 that suppresses the effects of the above-mentioned interference light.
  • the interference suppression unit 120 is, for example, built into the control unit 22 in FIG. 1. Alternatively, it may be provided separately from the control unit 22.
  • FIG. 28 is a block diagram showing an interference suppression unit 120 according to the eighth embodiment.
  • the interference suppression unit 120 has an interference detection unit 121, a synchronization determination unit 122, and a period detection unit 123.
  • the interference detection unit 121 detects the presence or absence of interference due to an unknown optical pulse signal (i.e., the interference light in FIG. 27).
  • the synchronization determination unit 122 determines whether or not it is possible to synchronize with the period switching of the interference light.
  • the period detection unit 123 detects the switching order of the multiple periods of the interference light.
  • the interference detection unit 121, the synchronization determination unit 122, and the period detection unit 123 cause the histogram generator 42 to generate a histogram for detecting the interference light.
  • the interference detection unit 121, the synchronization determination unit 122, and the cycle detection unit 123 cause the light emission timing control unit 23 to control the light emission timing of the light emitting device 3 in order to avoid the influence of the interference light.
  • the light emission timing control unit 23 causes the light emitting device 3 to repeatedly emit light at a light emission cycle different from the light emission cycle of the interference light, i.e., at a time interval different from the multiple time intervals of the interference light.
  • the light emission timing control unit 23 causes the light emitting device 3 to repeatedly emit light in an order (cycle switching order) different from the order of the multiple time intervals of the interference light (i.e., the cycle switching order).
  • FIG. 29 is a flowchart for implementing the interference light suppression method according to the eighth embodiment.
  • the distance measurement system 1 according to the eighth embodiment is set to Listen mode before starting distance measurement (step S121).
  • Listen mode the light emission by the light emitting device 3 is stopped, and the light detection device 4 performs light receiving processing to detect an unknown light pulse signal (i.e., interference light).
  • the interference detection unit 121 in FIG. 28 causes the light emission timing control unit 23 to stop the light emission of the light emitting device 3, and causes the distance measurement control unit 26 to monitor the presence or absence of interference light.
  • the interference detection unit 121 determines whether or not there is interfering light (step S122).
  • interfering light is light that is received periodically, and non-periodic received light is not considered to be interfering light. If no interfering light is detected, the distance measurement system 1 is set to normal distance measurement mode (step S123). Specifically, the light emitting device 3 starts emitting light, and normal multi-frequency distance measurement is performed by the light detecting device 4. Normal multi-frequency distance measurement is distance measurement according to any of the first to seventh embodiments.
  • step S124 synchronization pull-in refers to a process of identifying the period of interference light.
  • the synchronization determination unit 122 attempts to synchronize the period of a specific MOD of the ranging system 1 with any period of the interference light. If any period of the interference light is the same as the period of a specific MOD of the ranging system 1, synchronization is possible by aligning the phases of the two.
  • the synchronization determination unit 122 determines whether synchronization pull-in has been successful (step S125).
  • step S125 If synchronization is successful in step S125, further analysis of the interference light is performed based on this. If the interference light switches between multiple periods in sequence, the period detection unit 123 detects the switching order (step S126). This process is performed to detect whether the interference light performs distance measurement by switching between multiple periods in the same switching order as the distance measurement system of the present disclosure. This process is also called other device MOD order detection mode, as it detects the switching order of the MOD of other devices (hereinafter, MOD order).
  • the interference suppression unit 120 detects the MOD order of the other device by checking the degree of interference while changing the MOD order of the ranging system 1. First, it is determined whether the period detection unit 123 has successfully detected the MOD order of the other device based on the MOD order set in step S126 (step S127).
  • the interference suppression unit 120 changes the MOD order of the ranging system 1 based on the MOD order of the other device (step S128).
  • the MOD order of the ranging system 1 is changed so as to be different from the MOD order of the other device.
  • the distance measurement mode in step S128 is also called a different-device synchronous MOD order change distance measurement mode.
  • the interference suppression unit 120 judges whether the MOD order of the other device has been detected for all MOD orders (step S129). If there is a MOD order for which the MOD order of the other device has not yet been detected, the interference suppression unit 120 changes the MOD order of the ranging system 1 to a MOD order for which the MOD order of the other device has not yet been detected (step S130). This causes the period detection unit 123 to detect the MOD order of the other device again, and the judgment of step S127 is performed.
  • Steps S127 to S130 are repeated until the MOD order of the other device is successfully detected or detection of the MOD order of the other device has failed for all MOD orders. If it is determined in step S129 that the MOD order of the other device has been detected for all MOD orders, it is deemed that identification of the MOD order of the other device has failed.
  • the synchronization determination unit 122 determines that synchronization with the other device is impossible.
  • the ranging system 1 performs ranging in the interference mitigation ranging mode. Specifically, the ranging system 1 performs ranging by randomizing the MOD order and the MOD switching interval, thereby mitigating interference with ranging from other devices.
  • FIGS. 30A and 30B are diagrams for explaining the details of the Listen mode executed in step S121 of FIG. 29.
  • FIG. 30C is a diagram for explaining the details of the synchronization pull-in executed in step S124 of FIG. 29.
  • FIGS. 30A to 30C illustrate the period switching timing between the periods of the ranging system 1 (System_1) according to the eighth embodiment of the present disclosure and another ranging system (System_2).
  • System_1 and System_2 perform ranging while switching between ModA, ModB, and ModC, which have different Bin periods (i.e., different PRIs).
  • ModA, ModB, and ModC have the longest Bin periods (and PRIs) in that order.
  • a series of ranging periods including one each of ModA to ModC is also referred to as a MOD cycle.
  • System_1 is set to the Listen mode in step S121 before starting distance measurement.
  • System_1 detects interference light using one of the multiple Bin periods while stopping the emission of the light emitting device 3.
  • one of the MOD periods is repeatedly used to generate a histogram.
  • System_1 detects interference light using ModAa, ModAb, and ModAc, which have the same Bin period as ModA.
  • ModAa, ModAb, and ModAc each independently accumulate count values and independently generate a histogram.
  • System_2 takes the lead in performing normal multi-frequency distance measurement. Therefore, in ModAa to ModAc, histograms are generated based on the interference light from System_2.
  • System_1 may detect interference light at the same bin period as ModB or ModC instead of ModA. Note that in order to reduce wasted exposure and synchronization errors, it is efficient to perform interference light detection operation at the bin period with the longest bin period and the fewest number of PRIs (i.e., the bin period of ModA in FIG. 30A).
  • the period during which System_2 emits ModA light is a period during which the Bin cycle is the same for System_1 and System_2 and interference occurs (hereinafter, other-device interference period).
  • period RAb in ModAb and period RAc in ModAc are other-device interference periods. There is no other-device interference period in ModAa.
  • the sum of periods RAb and RAc matches the exposure period Rem of ModA of System_2.
  • the MOD switching cycle of System_1 is shifted by the interval Dem compared to the MOD switching cycle of System_2. How much of the exposure period Rem is allocated to period RAb (or period RAc) varies depending on the length of the interval Dem. Note that the interval Dem is the same length as period RAc, as shown in Figure 30A.
  • Figure 30B shows the histogram peaks generated in ModAa to ModAc. Peaks PAb and PAc occur in ModAb and ModAc, which have periods of interference from other devices. No peaks occur in ModAa, which does not have periods of interference from other devices.
  • the presence or absence of interference light is detected depending on whether or not multiple histograms generated by multiple MODs have peaks. If none of the multiple histograms generated in Listen mode have peaks, it is understood that there is no other-device interference period, i.e., there is no interference light. In this case, as shown in step S123 of FIG. 29, the ranging system 1 is set to normal ranging mode. Also, if even one of the multiple histograms has a peak, the presence of interference light can be detected.
  • peaks PAb and PAc indicate that System_1 has interference light with the same emission period as the Bin period of ModA.
  • System_1 detects the presence of interference light, it performs synchronization pull-in based on the histogram in FIG. 30B.
  • System_1 detects the deviation of the period switching timing with the interference light from the multiple peaks generated in Listen mode, and synchronizes the interference light with the period switching timing based on the detected deviation.
  • the peaks PAb and PAc have count values (hereinafter, peak count values) CnAb and CnAc that correspond to the lengths of the other-device interference periods RAb and RAc.
  • System_1 can detect the other-device interference periods RAb and RAc from the difference between the peak count values CnAb and CnAc, and can also detect the interval Dem, which is the deviation in the period switching timing with the interference light.
  • FIG. 30C is a diagram showing synchronization pull-in.
  • System_1 detects interference light of multiple MOD periods and generates multiple histograms in the same way as in Listen mode. If synchronization pull-in is successful, only one of the multiple MOD periods has an interference period with another device, and only one of the multiple histograms has a peak.
  • the peak PA has a peak count value that corresponds to the exposure period Rem.
  • System_1 performs ranging in the interference mitigation ranging mode described below. System_1 may also determine whether synchronization has been successfully achieved based on whether the peak detected after synchronization has a peak count value equal to or greater than a predetermined threshold value according to the exposure period Rem.
  • FIGS. 31A and 31B are diagrams explaining the other device MOD order detection mode as shown in steps S126 and S127 of FIG. 29.
  • System_1 detects interference light using ModA to ModC while the light emitting device 3 is stopped from emitting light.
  • System_1 also rearranges the order of ModA to ModC in various ways and generates a histogram for each of ModA to ModC.
  • a specific MOD order rearranged by System_1 matches the MOD order of System_2
  • a peak is detected in each of the three histograms corresponding to each MOD period, as shown in FIG. 31A.
  • the MOD order of System_1 when a peak is detected in each of the three histograms is the same as the MOD order of System_2. This makes it easy to detect the MOD order of System_2 in other device MOD order detection mode.
  • FIG. 31B is a diagram showing an example of a failure of the other device MOD order detection mode.
  • FIG. 31B shows an example in which System_1 and System_2 have different MOD orders. More specifically, of ModA to ModC, the order of ModA is the same, but the orders of ModB and ModC are different. As a result, only ModA has an other device interference period, and only ModA has a peak in its histogram. If there is even one histogram that does not have a peak among the multiple histograms, System_1 changes the MOD order and again detects interference light and generates multiple histograms, as shown in step S130 of FIG. 29.
  • System_1 may change the MOD order randomly, or may change the MOD order only for MODs for which no peak appears in the histogram (ModB and ModC in FIG. 31B).
  • System_1 may also determine the order of ModA in advance by checking the peak of synchronization pull-in in FIG. 30C. For example, in FIG. 30C, it can be determined that ModA is located at the position of ModAb.
  • System_1 repeats changing the MOD order and detecting histogram peaks at each MOD cycle. If successful detection of the other device's MOD order as shown in FIG. 31A cannot be confirmed for all combinations of MOD orders, System_1 determines that detection of the other device's MOD order has failed, as shown in step S129 of FIG. 29. In this case, System_1 performs ranging in interference mitigation ranging mode.
  • the distance measurement system 1 can detect the presence or absence of interference light, perform synchronization pull-in, and detect the MOD order of other devices by using the histogram generated by the histogram generator 42 when the light emitting device 3 is not emitting light.
  • FIG. 32 is a diagram showing the other-device synchronous MOD order change ranging mode shown in step S128 of FIG. 29.
  • System_1 detects the MOD order of System_2 using the other-device MOD order detection mode as shown in FIG. 31A, it shifts the MOD order of System_2 and applies it to System_1 as shown in FIG. 32.
  • System_1 causes the light-emitting device 3 to emit light using a MOD order shifted by one MOD period from the MOD order of System_2 as shown in FIG. 32.
  • System_1 may cause the light emitting device 3 to emit light using that MOD order.
  • the ranging system 1 performs multi-frequency ranging using a MOD order that is shifted in time from the MOD order of the other device detected by the period detection unit 123, or a MOD order that is different from the MOD order of the other device detected.
  • FIG. 33 is a diagram showing the interference mitigation ranging mode (step S131 in FIG. 29). If synchronization pull-in or detection of the MOD order of other devices fails, there is a risk that interference with System_2 will have a significant impact if multiple MOD periods in System_1 are used as is.
  • System_1 performs distance measurement by randomizing the MOD order and MOD period instead of fixing them. This allows System_1 to finely diffuse the other-machine interference period and mitigate the other-machine interference.
  • System_1 performs distance measurement while randomly switching between ModA 1 to ModA l , whose MOD period is randomized by ModA, ModB 1 to ModB m , whose MOD period is randomized by ModB, and ModC 1 to ModC n , whose MOD period is randomized by ModC.
  • ModA 1 to ModA l , ModB 1 to ModB m , and ModC 1 to ModC n each have a random exposure period and a random number of PRIs.
  • the total number of PRIs is set to be the same so that there is no difference in the total number of light reception frequencies in the histograms generated by ModA to ModC. Specifically, the total number of PRIs of ModA 1 to ModA l , the total number of PRIs of ModB 1 to ModB m , and the total number of PRIs of ModC 1 to ModC n are all adjusted to be the same.
  • the light emission timing control unit 23 controls the light emission timing of the light emitting device 3 so as to mitigate interference with the interfering light. As described above, the light emitting device 3 randomizes the light emission period of each of the multiple light pulse signals so that the total number of light pulse signals used to generate the multiple histograms is equal.
  • the interference mitigation ranging mode can mitigate interference with the ranging of System_1 for System_2a, which performs multi-frequency ranging with a random MOD order and MOD switching interval like System_1, System_2b, which performs multi-frequency ranging with a uniform MOD order and MOD switching interval, and System_2c, which performs normal ranging with a single Bin period X.
  • the interference light is repeatedly received to detect whether or not the interference light has a specific MOD period. If the interference light has a specific MOD period, synchronization is performed, and then the switching order of the multiple MOD periods in the interference light is detected. Once the switching order of the multiple MOD periods in the interference light has been detected, the MOD period is switched to a different MOD period from the interference light, and ranging processing similar to that of the first to seventh embodiments is performed. As a result, even in an environment in which interference light that switches between multiple MOD periods is received as in the ranging system according to the present disclosure, it is possible to perform highly accurate ranging processing without being affected by the interference light.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving object, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, a robot, a construction machine, or an agricultural machine (tractor).
  • FIG. 34 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology disclosed herein can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these multiple control units may be, for example, an in-vehicle communication network conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores the programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled.
  • Each control unit includes a network I/F for communicating with other control units via a communication network 7010, and a communication I/F for communicating with devices or sensors inside and outside the vehicle by wired or wireless communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio/image output unit 7670, an in-vehicle network I/F 7680, and a storage unit 7690.
  • Other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 functions as a control device for a drive force generating device for generating a drive force for the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the drive system control unit 7100 may also function as a control device such as an ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the drive system control unit 7100 is connected to a vehicle state detection unit 7110.
  • the vehicle state detection unit 7110 includes at least one of the following: a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or a sensor for detecting the amount of operation of the accelerator pedal, the amount of operation of the brake pedal, the steering angle of the steering wheel, the engine speed, or the rotation speed of the wheels.
  • the drive system control unit 7100 performs arithmetic processing using the signal input from the vehicle state detection unit 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, etc.
  • the body system control unit 7200 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 7200.
  • the body system control unit 7200 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the drive motor, according to various programs. For example, information such as the battery temperature, battery output voltage, or remaining capacity of the battery is input to the battery control unit 7300 from a battery device equipped with the secondary battery 7310. The battery control unit 7300 performs calculations using these signals, and controls the temperature regulation of the secondary battery 7310 or a cooling device or the like equipped in the battery device.
  • the outside vehicle information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 is connected to the outside vehicle information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside vehicle information detection unit 7420 includes at least one of an environmental sensor for detecting the current weather or climate, or a surrounding information detection sensor for detecting other vehicles, obstacles, pedestrians, etc., around the vehicle equipped with the vehicle control system 7000.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rain, a fog sensor that detects fog, a sunshine sensor that detects the level of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside vehicle information detection unit 7420 may each be provided as an independent sensor or device, or may be provided as a device in which multiple sensors or devices are integrated.
  • FIG. 35 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 7900.
  • the imaging unit 7910 provided on the front nose and the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided on the side mirrors mainly acquire images of the sides of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 35 shows an example of the imaging ranges of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • imaging range d indicates the imaging range of the imaging unit 7916 provided on the rear bumper or back door.
  • an overhead image of the vehicle 7900 viewed from above is obtained by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916.
  • External information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • External information detection units 7920, 7926, and 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle 7900 may be, for example, LIDAR devices. These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, etc.
  • the outside-vehicle information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data.
  • the outside-vehicle information detection unit 7400 also receives detection information from the connected outside-vehicle information detection unit 7420. If the outside-vehicle information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the outside-vehicle information detection unit 7400 transmits ultrasonic waves or electromagnetic waves and receives information on the received reflected waves.
  • the outside-vehicle information detection unit 7400 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface, etc., based on the received information.
  • the outside-vehicle information detection unit 7400 may perform environmental recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the outside-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the outside vehicle information detection unit 7400 may also perform image recognition processing or distance detection processing to recognize people, cars, obstacles, signs, or characters on the road surface based on the received image data.
  • the outside vehicle information detection unit 7400 may perform processing such as distortion correction or alignment on the received image data, and may also generate an overhead image or a panoramic image by synthesizing image data captured by different imaging units 7410.
  • the outside vehicle information detection unit 7400 may also perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects information inside the vehicle.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the driver's biometric information, or a microphone that collects sound inside the vehicle.
  • the biosensor is provided, for example, on the seat or steering wheel, and detects the biometric information of a passenger sitting in the seat or a driver gripping the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or may determine whether the driver is dozing off.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling on the collected sound signal.
  • the integrated control unit 7600 controls the overall operation of the vehicle control system 7000 according to various programs.
  • the input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be operated by the passenger, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by voice recognition of a voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by the passenger using the above-mentioned input unit 7800 and outputs the input signal to the integrated control unit 7600. Passengers and others can operate the input unit 7800 to input various data and instruct processing operations to the vehicle control system 7000.
  • the memory unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc.
  • the memory unit 7690 may also be realized by a magnetic memory device such as a HDD (Hard Disc Drive), a semiconductor memory device, an optical memory device, or a magneto-optical memory device, etc.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices present in the external environment 7750.
  • the general-purpose communication I/F 7620 may implement cellular communication protocols such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced), or other wireless communication protocols such as wireless LAN (also called Wi-Fi (registered trademark)) and Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 may connect to devices (e.g., application servers or control servers) present on an external network (e.g., the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I/F 7620 may connect to a terminal located near the vehicle (e.g., a driver's, pedestrian's, or store's terminal, or an MTC (Machine Type Communication) terminal) using, for example, P2P (Peer To Peer) technology.
  • P2P Peer To Peer
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol developed for use in a vehicle.
  • the dedicated communication I/F 7630 may implement a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the higher layer IEEE 1609.
  • the dedicated communication I/F 7630 typically performs V2X communication, which is a concept that includes one or more of vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • the positioning unit 7640 performs positioning by receiving, for example, GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), and generates position information including the latitude, longitude, and altitude of the vehicle.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the positioning unit 7640 may determine the current position by exchanging signals with a wireless access point, or may obtain position information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • the beacon receiver 7650 receives, for example, radio waves or electromagnetic waves transmitted from radio stations installed on the road, and acquires information such as the current location, congestion, road closures, and travel time.
  • the functions of the beacon receiver 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 may also establish a wired connection such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable, if necessary) not shown.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals in accordance with a specific protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 controls the vehicle control system 7000 according to various programs based on information acquired through at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I/F 7660, and the in-vehicle network I/F 7680.
  • the microcomputer 7610 may calculate the control target value of the driving force generating device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and output a control command to the drive system control unit 7100.
  • the microcomputer 7610 may perform cooperative control for the purpose of realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, vehicle speed maintenance driving, vehicle collision warning, vehicle lane departure warning, etc.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 may control the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby performing cooperative control for the purpose of automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 7610 may generate three-dimensional distance information between the vehicle and objects such as surrounding structures and people based on information acquired via at least one of the general-purpose communication I/F 7620, the dedicated communication I/F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle equipment I/F 7660, and the in-vehicle network I/F 7680, and may create local map information including information about the surroundings of the vehicle's current position.
  • the microcomputer 7610 may also predict dangers such as vehicle collisions, the approach of pedestrians, or entry into closed roads based on the acquired information, and generate warning signals.
  • the warning signals may be, for example, signals for generating warning sounds or turning on warning lights.
  • the audio/image output unit 7670 transmits at least one of audio and image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle of information.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp, in addition to these devices.
  • the output device When the output device is a display device, the display device visually displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc.
  • the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs it.
  • At least two control units connected via the communication network 7010 may be integrated into one control unit.
  • each control unit may be composed of multiple control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by any of the control units may be provided by the other control units.
  • a specified calculation process may be performed by any of the control units.
  • a sensor or device connected to any of the control units may be connected to another control unit, and multiple control units may transmit and receive detection information to each other via the communication network 7010.
  • a computer program for realizing each function of the distance measuring unit 44 according to this embodiment can be implemented in any of the control units, etc.
  • a computer-readable recording medium on which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, etc.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the components of the distance measurement system 1 described using FIG. 1 may be realized in a module (e.g., an integrated circuit module configured on a single die) for the integrated control unit 7600 shown in FIG. 34.
  • a module e.g., an integrated circuit module configured on a single die
  • the present technology can be configured as follows. (1) a light receiving unit that receives, within a first time range, a first reflected light pulse signal obtained by reflecting a first light pulse signal emitted at a first time interval from an object, and receives, within a second time range that is different from the first time range, a second reflected light pulse signal obtained by reflecting a second light pulse signal emitted at a second time interval different from the first time interval from the object; a histogram generator that generates a first histogram by classifying the frequency of reception of the first reflected light pulse signal received within the first time range into a predetermined fixed unit period, and generates a second histogram by classifying the frequency of reception of the second reflected light pulse signal received within the second time range into the unit period.
  • the light receiving unit receives two or more reflected light pulse signals, which are emitted at two or more time intervals including the first time interval and the second time interval, and are reflected by the object, within two or more different time ranges, and the histogram generator generates two or more histograms in which the reception frequencies of the two or more reflected light pulse signals received within the two or more time ranges are classified for each unit period;
  • the replicated histogram generator generates two or more replicated histograms by replicating each of the two or more histograms a number of times corresponding to the corresponding time interval;
  • the two or more histograms generated by the histogram generator include the first histogram and the second histogram;
  • the two or more replicated histograms generated by the replicated histogram generator include the first replicated histogram and the second replicated histogram;
  • An optical detection device according to (2).
  • the light receiving unit has a plurality of pixels arranged in a first direction and a second direction, with at least two pixels arranged in each direction, Each of the plurality of pixels receives the two or more reflected light pulse signals within the two or more time ranges.
  • An optical detection device according to (3).
  • a packet generator that generates distance measurement data including the two or more histograms on a frame-by-frame basis;
  • the distance measurement data has a start portion, a plurality of packets, and an end portion;
  • the start portion includes an identifier indicating the beginning of a frame and the number of the two or more time intervals;
  • the packet has a header including a number of bins and a number of pixels of a corresponding histogram among the two or more histograms, histogram data constituting the corresponding histogram, and a footer including end information of the corresponding histogram,
  • the end portion includes an identifier indicating the end of a frame.
  • a packet generator that generates distance measurement data including the two or more histograms on a frame-by-frame basis; the distance measurement data has a start portion, a plurality of packets, and an end portion; the start portion includes an identifier indicating a beginning of a frame, the number of the plurality of pixels, and the number of the two or more time intervals; the packet has a header including information indicating a pixel position, histogram data constituting a corresponding one of the two or more histograms, and a footer including end information of the corresponding histogram, The end portion includes an identifier indicating the end of a frame.
  • An optical detection device according to (4).
  • a distance measuring unit measures a distance to the object based on the light-receiving time when the light-receiving times corresponding to peak positions of the two or more duplicate histograms including the first duplicate histogram and the second duplicate histogram coincide with each other, or based on the light-receiving time corresponding to a maximum peak position of a reconstructed histogram obtained by aligning the numbers of bins of the two or more duplicate histograms and combining them.
  • the optical detection device according to any one of (4) to (6).
  • the distance measurement unit generates the reconstructed histogram by adding up the two or more replicated histograms for each bin.
  • An optical detection device according to (7).
  • each of the two or more replicate histograms has the same number of bins; the distance measuring unit searches for a bin having a peak value of the light reception frequency in each of the two or more replicated histograms, and generates the reconstructed histogram based on a minimum peak value in the searched bin.
  • An optical detection device according to (7).
  • a plurality of time-to-digital converters and a plurality of the histogram generators are arranged for each first pixel group consisting of two or more of the pixels arranged in the first direction, each of the plurality of time-to-digital converters sequentially generates a digital signal corresponding to a light receiving time of the two or more reflected light pulse signals received by each pixel in the corresponding first pixel group; each of the plurality of histogram generators generates the two or more histograms based on the digital signals sequentially generated by a corresponding one of the time-to-digital converters;
  • the optical detection device according to any one of (4) to (9).
  • a plurality of second pixel groups each including two or more of the pixels arranged in the second direction are arranged in the first direction, a plurality of the second pixel groups are selected in sequence, and each pixel in the selected second pixel group inputs a light receiving signal corresponding to the two or more reflected light pulse signals in parallel to the plurality of time-to-digital converters;
  • An optical detection device (10).
  • Each pixel in the selected second pixel group sequentially outputs two or more light receiving signals corresponding to the two or more reflected light pulse signals during one frame period, and the output light receiving signals of each pixel in the second pixel group are input in parallel to the multiple time-to-digital converters.
  • An optical detection device (11).
  • a plurality of time-to-digital converters and a plurality of the histogram generators arranged for each pixel are provided, each of the plurality of time-to-digital converters generates a digital signal corresponding to a light receiving time of the two or more reflected light pulse signals received by a corresponding pixel; each of the plurality of histogram generators generates the two or more histograms based on the digital signal generated by the corresponding one of the time-to-digital converters;
  • the optical detection device according to any one of (4) to (9).
  • Each of the plurality of pixels sequentially outputs two or more light receiving signals corresponding to the two or more reflected light pulse signals during one frame period, and the output light receiving signals of each pixel are input in parallel to the plurality of time-to-digital converters.
  • An optical detection device according to (13).
  • the time-to-digital converter outputs a gray code according to a light-receiving time
  • the histogram generator has a conversion table for converting the gray code into light-receiving time data.
  • the optical detection device according to any one of (10) to (14).
  • a storage unit is provided for storing the two or more replicated histograms having a number of bins corresponding to a least common multiple of the two or more time intervals.
  • a bin expansion unit that stores the histogram corresponding to the maximum time interval as one unit in the storage unit, and expands the histograms corresponding to the two or more time intervals excluding the maximum time interval to the one unit and stores the expanded histograms in the storage unit; a peak detection unit that repeats a process of detecting a location where the light receiving times of the peaks of the two or more histograms coincide with each other within a storage area of the storage unit that includes the two or more histograms corresponding to the two or more time intervals for each of the multiple units; a maximum peak detection unit for detecting a maximum value of the peak from among the plurality of units; a shifting unit for shifting the maximum value of the peak to the center of the corresponding storage area;
  • the light detection device further comprising: a center of gravity calculation unit that performs center of gravity calculation within the memory area shifted by the shift unit.
  • the histogram generator generates the two or more histograms based on the two or more reflected light pulse signals repeatedly obtained when the light pulse signal is repeatedly emitted in each of the two or more time intervals, and flattens the frequency counts other than the peaks of the two or more histograms by periodically shifting a start time for generating the two or more histograms.
  • the optical detection device according to any one of (3) to (18).
  • the optical detection device according to any one of (7) to (9).
  • a synchronization determination unit that determines whether or not it is possible to synchronize with period switching of the unknown optical pulse signal when the interference detection unit detects the interference, When the synchronization determination unit determines that synchronization is possible, the histogram generator generates the two or more histograms in synchronization with the unknown optical pulse signal.
  • An optical detection device (20) An optical detection device according to (20).
  • An optical detection device according to (21).
  • a light emission timing control unit controls light emission timing of a light pulse signal including the first light pulse signal and the second light pulse signal so as to reduce interference with the unknown light pulse signal when the synchronization determination unit determines that synchronization is impossible.
  • the optical detection device according to (21) or (22).
  • the light emission timing control unit randomizes light emission periods of two or more light pulse signals used to generate each of the multiple histograms included in each of the two or more replicated histograms.
  • the light emission timing control unit randomizes light emission periods of the two or more light pulse signals such that a total number of light pulse signals used to generate the plurality of histograms is equal for each of the two or more duplicate histograms.
  • An optical detection device according to (24).
  • (26) A light emitting device; A distance measuring system comprising the optical detection device according to any one of (3) to (25),
  • the light emitting device comprises: a first light emitting unit that emits a plurality of the first optical pulse signals at the first time intervals; a second light emitting unit that emits a plurality of the second optical pulse signals at the second time intervals, the light detection device includes a light emission timing control unit that controls the first light emitter and the second light emitter so that after the first light emitter emits the first light pulse signals in the first time interval, the number of which corresponds to the first time range, the first light emitter emits the second light pulse signals in the second time interval, the number of which corresponds to the second time range. Ranging system.
  • the light emitting device emits each of the two or more optical pulse signals at the two or more time intervals by a number corresponding to the corresponding time range, The light emission timing control unit controls the two or more light pulse signals to be emitted in sequence.
  • the photodetection device includes an interference detection unit that detects an unknown optical pulse signal, The light emission timing control unit repeatedly causes the light emitting device to emit light in a sequence different from a sequence of the two or more time intervals at which the unknown optical pulse signal detected by the interference detection unit is emitted, or at a time interval different from the two or more time intervals.
  • the histogram generator generates the two or more histograms based on the unknown light pulse signal in a state in which the light emitting device is not emitting light
  • the interference detection unit detects the presence or absence of interference due to the unknown optical pulse signal based on the two or more histograms.
  • a first light emitting unit that emits a plurality of first optical pulse signals at a first time interval; a second light emitting unit that emits a plurality of second optical pulse signals at the second time interval; a light receiving unit that receives a first reflected light pulse signal, which is the first light pulse signal reflected by an object, within a first time range, and receives a second reflected light pulse signal, which is the second light pulse signal emitted at a second time interval different from the first time interval and reflected by the object, within a second time range different from the first time range; a packet generator that generates distance measurement data in units of frames, the distance measurement data having two or more histograms including a first histogram generated based on the first reflected light pulse signal and a second histogram generated based on the second reflected light pulse signal;
  • a ranging system comprising: the distance measurement data has a start portion, a plurality of packets, and an end portion; the start portion includes an identifier indicating a beginning of a frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

[課題]物体の距離にかかわらず、少ない発光及び受光回数で測距精度を向上可能とする。 [解決手段]光検出装置は、第1時間間隔で発光された第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、前記第1時間範囲内に受光された前記第1反射光パルス信号の受光頻度を予め定めた固定の単位期間ごとに分類した第1ヒストグラムを生成するとともに、前記第2時間範囲内に受光された前記第2反射光パルス信号の受光頻度を前記単位期間ごとに分類した第2ヒストグラムを生成するヒストグラム生成器と、を備える。

Description

光検出装置及び測距システム
 本開示は、光検出装置及び測距システムに関する。
 物体から光を発光し、物体からの反射光に基づいて、物体との距離を測定するToF(Time of Flight)方式と呼ばれる測距方法が知られている。ToF方式には、発光タイミングと受光タイミングの時間差に基づいて物体の距離を計測するdToF(direct ToF)方式と、発光位相と受光位相のずれにより物体の距離を計測するiToF(indirect ToF)方式がある。いずれの方式でも、測距精度を向上させるには、光を繰り返し発光して、物体からの反射光を繰り返し受光して複数回の測距を行う必要がある。
 しかしながら、物体との距離が遠い場合、光を発光してから反射光を受光するまでの光往復間隔が、光の発光間隔よりも長くなることがある。この場合、測距部は、受光した反射光に対応する発光タイミングを誤って測距演算を行うおそれがあり、測距精度が低下する。この問題を解決するために、発光周期がそれぞれ異なる光を発光し、その反射光を重ね合わせることによって、正確に測距演算を行う技術が提案されている(例えば、非特許文献1)。
Phase Unwrapping in Indirect Time of Flight | Chronoptics Time-of-Flight(https://medium.com/chronoptics-time-of-flight/phase-wrapping-and-its-solution-in-time-of-flight-depth-sensing-493aa8b21c42)
 非特許文献1の開示内容は、iToF方式についての概念的な説明に留まっており、具体的なシステム構成は開示されていない。特に、非特許文献1には、dToF方式での具体的なシステム構成が開示されていない。自動運転技術に利用されるLiDAR(Light Detection And Ranging)などでは、dToF方式を採用することが多いため、dToF方式での距離精度を少ない発光及び受光回数で向上させる技術が求められている。
 そこで、本開示では、物体の距離にかかわらず、少ない発光及び受光回数で測距精度を向上可能な光検出装置及び測距システムを提供するものである。
 上記の課題を解決するために、本開示によれば、第1時間間隔で発光された第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
 前記第1時間範囲内に受光された前記第1反射光パルス信号の受光頻度を予め定めた固定の単位期間ごとに分類した第1ヒストグラムを生成するとともに、前記第2時間範囲内に受光された前記第2反射光パルス信号の受光頻度を前記単位期間ごとに分類した第2ヒストグラムを生成するヒストグラム生成器と、を備える、光検出装置が提供される。
 前記第1ヒストグラムを前記第1時間間隔に応じた第1個数分複製した第1複製ヒストグラムを生成するとともに、前記第2ヒストグラムを前記第2時間間隔に応じた第2個数分複製した第2複製ヒストグラムを生成する複製ヒストグラム生成器を備えてもよい。
 前記受光部は、それぞれ異なる前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔で発光された2以上の光パルス信号が前記物体で反射された2以上の反射光パルス信号を、それぞれ異なる2以上の時間範囲内に受光し、
 前記ヒストグラム生成器は、前記2以上の時間範囲内に受光された前記2以上の反射光パルス信号の受光頻度を前記単位期間ごとに分類した2以上のヒストグラムを生成し、
 前記複製ヒストグラム生成器は、前記2以上のヒストグラムのそれぞれを、対応する前記時間間隔に応じた個数分複製した2以上の複製ヒストグラムを生成し、
 前記ヒストグラム生成器が生成する前記2以上のヒストグラムは、前記第1ヒストグラム及び前記第2ヒストグラムを含み、
 前記複製ヒストグラム生成器が生成する前記2以上の複製ヒストグラムは、前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含んでもよい。
 前記受光部は、第1方向及び第2方向に2以上ずつ配置される複数の画素を有し、
 前記複数の画素のそれぞれは、前記2以上の時間範囲内に前記2以上の反射光パルス信号を受光してもよい。
 前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記2以上の時間間隔の数とを含み、
 前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数及び前記複数の画素の数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含んでもよい。
 前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記複数の画素の数及び前記2以上の時間間隔の数とを含み、
 前記パケットは、画素位置を示す情報を含むヘッダと、前記2以上のヒストグラムのうち対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含んでもよい。
 前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含む前記2以上の複製ヒストグラムのそれぞれのピーク位置に対応する受光時刻が一致する場合の前記受光時刻、又は前記2以上の複製ヒストグラムのビン数を揃えて合成した再構成ヒストグラムの最大ピーク位置に対応する受光時刻に基づいて前記物体の距離を計測する測距部を備えてもよい。
 前記測距部は、前記2以上の複製ヒストグラムをビンごとに合算して、前記再構成ヒストグラムを生成してもよい。
 前記2以上の複製ヒストグラムのそれぞれは、同じ数のビンを有し、
 前記測距部は、前記2以上の複製ヒストグラムのそれぞれが受光頻度のピーク値を持つ同一のビンを検索し、検索されたビンにおける最小のピーク値に基づいて、前記再構成ヒストグラムを生成してもよい。
 前記第1方向に配置される2以上の前記画素からなる第1画素群ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
 前記複数の時間デジタル変換器のそれぞれは、対応する前記第1画素群内の各画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を順に生成し、
 前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で順に生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成してもよい。
 前記第2方向に配置される2以上の前記画素からなる第2画素群が、前記第1方向に複数配置されており、
 複数の前記第2画素群が順に選択されて、選択された前記第2画素群内の各画素は、前記2以上の反射光パルス信号に応じた受光信号を並行して前記複数の時間デジタル変換器に入力してもよい。
 前記選択された前記第2画素群内の各画素は、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された前記第2画素群内の各画素の受光信号は並行して前記複数の時間デジタル変換器に入力されてもよい。
 前記画素ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
 前記複数の時間デジタル変換器のそれぞれは、対応する画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を生成し、
 前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成してもよい。
 前記複数の画素のそれぞれは、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された各画素の受光信号は並行して前記複数の時間デジタル変換器に入力されてもよい。
 前記時間デジタル変換器は、受光時刻に応じたグレイコードを出力し、
 前記ヒストグラム生成器は、前記グレイコードを受光時刻データに変換する変換テーブルを有してもよい。
 前記2以上の時間間隔の最小公倍数に応じた数のビン数を持つ前記2以上の複製ヒストグラムを記憶する記憶部を備えてもよい。
 前記2以上の時間間隔のうち最大の時間間隔に対応する前記ヒストグラムのビン数に応じた記憶容量を有する記憶部を備えてもよい。
 前記最大の時間間隔に対応する前記ヒストグラムを1単位として前記記憶部に記憶するとともに、前記最大の時間間隔を除く前記2以上の時間間隔に対応する前記ヒストグラムを前記1単位に拡張して前記記憶部に記憶するビン拡張部と、
 前記2以上の時間間隔に対応する前記2以上のヒストグラムを前記1単位ずつ含む前記記憶部の記憶領域内で、前記2以上のヒストグラムのピークの受光時刻が一致する場所を検出する処理を複数の前記1単位ごとに繰り返すピーク検出部と、
 前記複数の1単位の中から前記ピークの最大値を検出する最大ピーク検出部と、
 前記ピークの最大値が、対応する前記記憶領域内の中央にシフトさせるシフト部と、
 前記シフト部でシフトされた前記記憶領域内で重心演算を行う重心演算部と、を備えてもよい。
 前記ヒストグラム生成器は、前記2以上の時間間隔のそれぞれで、繰り返し前記光パルス信号を発光させたときに繰り返し得られる前記2以上の反射光パルス信号に基づいて前記2以上のヒストグラムを生成し、前記2以上のヒストグラムを生成する際の開始時刻を周期的にずらすことにより、前記2以上のヒストグラムのピーク以外の頻度数を平坦化してもよい。
 未知の光パルス信号による干渉の有無を検出する干渉検出部を備え、
 前記測距部は、前記干渉検出部により前記干渉がないことが検出された場合に、前記再構成ヒストグラムに基づいて前記物体の距離を計測してもよい。
 前記干渉検出部にて前記干渉が検出されると、前記未知の光パルス信号の周期切替に同期させることが可能か否かを判定する同期判定部を備え、
 前記ヒストグラム生成器は、前記同期判定部にて同期させることが可能と判定されると、前記未知の光パルス信号に同期させて、前記2以上のヒストグラムを生成してもよい。
 前記未知の光パルス信号の周期の切替順序を検出する周期検出部を備え、
 前記ヒストグラム生成器は、前記周期検出部で検出された周期の切替順序を時間的にずらした切替順序、又は前記周期検出部で検出された周期の切替順序とは異なる切替順序で、前記2以上のヒストグラムを生成してもよい。
 前記同期判定部にて同期させることが不可能と判定されると、前記未知の光パルス信号との干渉が緩和されるように前記第1光パルス信号及び前記第2光パルス信号を含む光パルス信号の発光タイミングを制御する発光タイミング制御部を備えてもよい。
 前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれに含まれる複数のヒストグラムのそれぞれを生成するのに用いられる2以上の光パルス信号の発光期間をランダム化してもよい。
 前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれごとに、前記複数のヒストグラムを生成するのに用いられる光パルス信号の総数が等しくなるように、前記2以上の光パルス信号の発光期間をランダム化してもよい。
 また、本開示によれば、発光装置と、光検出装置と、を備える測距システムであって、
 前記発光装置は、
 前記第1時間間隔で複数の前記第1光パルス信号を発光する第1発光部と、
 前記第2時間間隔で複数の前記第2光パルス信号を発光する第2発光部と、を有し、
 前記光検出装置は、前記第1発光部が前記第1時間間隔で前記第1時間範囲に応じた数の前記第1光パルス信号を発光した後、前記第1発光部が前記第2時間間隔で前記第2時間範囲に応じた数の前記第2光パルス信号を発光するように、前記第1発光部及び前記第2発光部を制御する発光タイミング制御部を有する、
測距システムが提供される。
 前記発光装置は、前記2以上の時間間隔で、前記2以上の光パルス信号のそれぞれを、対応する前記時間範囲に応じた数だけ発光し、
 前記発光タイミング制御部は、前記2以上の光パルス信号を順繰りに発光させる制御を行ってもよい。
 前記光検出装置は、未知の光パルス信号を検出する干渉検出部を備え、
 前記発光タイミング制御部は、前記干渉検出部で検出された前記未知の光パルス信号を発光させる前記2以上の時間間隔の並びとは異なる並びで、又は前記2以上の時間間隔とは異なる時間間隔で、前記発光装置を繰り返し発光させてもよい。
 前記ヒストグラム生成器は、前記発光装置を発光させない状態で前記未知の光パルス信号に基づいて前記2以上のヒストグラムを生成し、
 前記干渉検出部は、前記2以上のヒストグラムに基づいて前記未知の光パルス信号による干渉の有無を検出してもよい。
 また、本開示によれば、第1時間間隔で複数の第1光パルス信号を発光する第1発光部と、
 前第2時間間隔で複数の第2光パルス信号を発光する第2発光部と、を有する発光装置と、
 前記第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
 前記第1反射光パルス信号に基づいて生成された第1ヒストグラム及び前記第2反射光パルス信号に基づいて生成された第2ヒストグラムを含む2以上のヒストグラムを有する測距データをフレーム単位で生成するパケット生成器と、
を備える測距システムであって、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔の数とを含み、
 前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含む、
測距システムが提供される。
本開示の第1の実施形態における測距システムの概略構成を示すブロック図である。 dToF方式の測距動作の基本例を説明する図である。 繰り返しの測距動作を説明する図である。 光往復間隔が、発光間隔よりも長い場合の測距動作を示した図である。 発光部の発光間隔をそれぞれ変更して、16Bin測距、14Bin測距、12Bin測距をそれぞれ順繰りに行う例を示す図である。 物体に対して16Bin測距を行う例を示した模式図である。 物体に対して14Bin測距を行う例を示した模式図である。 物体に対して12Bin測距を行う例を示した模式図である。 複製ヒストグラムとピーク値を示した模式図である。 測距システムの測距処理のフローチャートである。 測距演算のフローチャートである。 本開示の測距システムにより10Bin測距、12Bin測距、14Bin測距及び16Bin測距を行う場合を示す図である。 光検出装置内の画素アレイ部の詳細な第1構成例を示す図である。 第1構成例における画素アレイ部からSRAM及び測距部へのデータ伝送のタイミング図である。 光検出装置内の画素アレイ部の詳細な第2構成例を示す図である。 第2構成例における画素アレイ部からSRAM及び測距部へのデータ伝送のタイミング図である。 測距部の処理を示すフローチャートである。 第2の実施形態における測距部及び周辺部を示す図である。 再構成ヒストグラムを単位ヒストグラムに分割する例を示す図である。 第2の実施形態における測距部の処理のフローチャートである。 最大ピーク検出部、シフト部及び重心演算部の処理のフローチャートである。 第3の実施形態における測距システムの第1構成例を示す図である。 第3の実施形態における測距システムの第2構成例を示す図である。 パケット生成部が生成する測距データの第1例を示す図である。 第1例の測距データの伝送順序を示す図である。 第1例の測距データのパケットを固定長とした場合の伝送順序を示す図である。 パケット生成部が生成する測距データの第2例を示す図である。 第2例の測距データの伝送順序を示す図である。 外乱電波が、露光ローテーション等の処理周期に同期する例を示す図である。 処理周期ごとに、時間デジタル変換器のスタートコードを変化させる例を示す図である。 各測距で、リニアリティ補正を行わず、それぞれ同回数の露光を行う例を示す図である。 各測距で、同サイクル数のリニアリティ補正を行う例を示す。 各測距で、リニアリティ補正を行うとともに、露光回数を合わせた例を示す。 第4の実施形態における、16Bin測距の測距期間の一例を示す図である。 各測距において、それぞれ第1ピーク値と第2ピーク値を得る時の例を示す図である。 図20Aの第1ピーク値の影響を受けたビンが出現する理由を説明する図である。 第5の実施形態による測距装置の処理動作を説明する図である。 図20Bに示した複製ヒストグラムから第1ピーク値の成分を削除した上で新たに再構成ヒストグラムを生成する例を示す図である。 第5の実施形態における測距部の処理を示すフローチャートである。 第6の実施形態における時間デジタル変換器及びヒストグラム生成器を示すブロック図である。 16Bin測距におけるグレイコードを示す図である。 14Bin測距におけるグレイコードを示す図である。 12Bin測距におけるグレイコードを示す図である。 10Bin測距におけるグレイコードを示す図である。 第7の実施形態に係る再構成ヒストグラムの生成を説明する図である。 複製ヒストグラムとカウント順ヒストグラムとの関係を示す図である。 第7の実施形態に係る測距部の構成を示すブロック図である。 第8の実施形態に係る測距システムの干渉光の影響を抑制する手法を説明する図である。 第8の実施形態に係る干渉抑制部を示すブロック図である。 第8の実施形態に係る干渉光の抑制手法を実現するフローチャートである。 Listenモードの詳細を説明する図である。 Listenモードで生成されるヒストグラムを説明する図である。 同期引き込みを示す図である。 他機MOD順序検出モードの成功例を示す図である。 他機MOD順序検出モードの失敗例を示す図である。 他機同期MOD順変更測距モードを示す図である。 干渉緩和測距モードを示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、図面を参照して、光検出装置及び測距システムの実施形態について説明する。以下では、光検出装置及び測距システムの主要な構成部分を中心に説明するが、光検出装置及び測距システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
 (第1の実施形態)
 図1は、本開示の第1の実施形態における測距システム1の概略構成を示すブロック図である。この測距システム1は、dToF方式によって物体OBJまでの距離を測定するものであり、例えば車載LiDAR等に搭載可能である。測距システム1は、全体制御部2、発光装置3、光検出装置4、及びアプリケーションプロセッサ(以下、APと呼ぶ)5を備える。
 光検出装置4と発光装置3のそれぞれは、半導体チップで構成可能である。また、光検出装置4を内蔵するチップと発光装置3を内蔵するチップを積層した積層チップを構成してもよい。さらには、この積層チップにAP5用のチップを積層してもよい。あるいは、光検出装置4のチップとAP5用のチップを積層してもよい。このように、測距システム1の少なくとも一部の構成部分は、一つ又は複数の半導体チップにて構成可能である。
 全体制御部2は、発光装置3及び光検出装置4を制御する。全体制御部2は、光検出装置4又は発光装置3に統合してもよい。
 発光装置3は、例えば、近赤外光の周波数帯域の光パルス信号L1を間欠的に発光する。発光装置3は、発光間隔が互いに異なる複数の発光部を備える。発光装置3は、2つ以上の時間間隔で、2つ以上の光パルス信号L1のそれぞれを、対応する時間範囲に応じた数だけ発光させる。図1は、発光装置3が第1発光部11と第2発光部12を備える例を示すが、3つ以上の発光部を設けてもよい。第1発光部11は、第1時間間隔で複数の第1光パルス信号を発光する。第2発光部12は、第2時間間隔で複数の第2光パルス信号を発光する。
 光検出装置4は、発光装置3からの光パルス信号L1が物体OBJに照射されて反射された反射光パルス信号L2を受光し、物体OBJまでの距離を算出する。光検出装置4は、クロック生成部21、制御部22、発光タイミング制御部23、駆動回路24、受光部25、測距制御部26、測距処理部27及びインタフェース(I/F)部28を備える。
 クロック生成部21は、基準クロック信号に基づき、発光装置3及び光検出装置4を同期させるクロック信号Vclkを、制御部22に供給する。
 制御部22は、クロック生成部21から供給されたクロック信号Vclk及び全体制御部2からの指示により、発光タイミング制御部23及び測距制御部26を同期させる制御を行う。
 発光タイミング制御部23は、制御部22の制御を受け、発光装置3内の複数の発光部に対する発光指示を送信し、光パルス信号L1を順繰りに発光させる制御を行う。例えば、図1の例では、発光タイミング制御部23は、第1発光部11が第1時間間隔で第1時間範囲に応じた数の第1光パルス信号を発光した後、第2発光部12が第2時間間隔で第2時間範囲に応じた数の前記第2光パルス信号を発光するように、第1発光部11及び第2発光部12を制御する。
 発光タイミング制御部23は、発光装置3に発光指示を送信するとともに、駆動回路24の制御を行う。
 駆動回路24は、不図示のシフトレジスタ、アドレスデコーダ、アビータ、行選択回路及び列選択回路等を備えている。駆動回路24は、発光タイミング制御部23が発光指示を送信したタイミングに同期させて、受光部25に配置された各画素30を駆動する。
 受光部25は、発光装置3からの光パルス信号L1が物体OBJに照射されて反射された反射光パルス信号L2を受光する。より詳しくは、受光部25は、2次元方向に配列された複数の画素30を含み、画素30ごとに反射光パルス信号L2を受光する。
 例えば、図1においては、受光部25内の画素30は、第1発光部11により第1時間間隔で発光された第1光パルス信号が物体OBJで反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、第2発光部12により第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が物体OBJで反射された第2反射光パルス信号を第1時間範囲とは異なる第2時間範囲内に受光する。このように、複数の画素30のそれぞれは、2以上の時間範囲内に2以上の反射光パルス信号L2を受光する。
 受光部25内の複数の画素30は、測距処理部27に受光結果を示す受光信号を供給する。
 測距制御部26は、制御部22による制御により、発光タイミング制御部23と同期させて測距処理部27を制御する。
 測距処理部27は、複数の画素30から供給された受光信号に基づいて、dToF方式で測距演算を行う。測距処理部27は、時間デジタル変換器(TDC:Time Digital Converter)41、ヒストグラム生成器42、SRAM43及び測距部44を備えている。
 時間デジタル変換器41は、測距制御部26により発光タイミング制御部23と同期して、発光装置3の発光タイミングと受光部25の反射光パルス信号L2の受光タイミングとの時間差をカウントする。時間デジタル変換器41は、時間差に応じたカウント値に対応するデジタル信号をヒストグラム生成器42に供給する。このように、時間デジタル変換器41は、反射光パルス信号L2の受光時刻に応じたデジタル信号を生成して、ヒストグラム生成器42に供給する。
 ヒストグラム生成器42は、時間デジタル変換器41から供給されたデジタル信号に基づいて、受光頻度を予め定められた固定の単位時間ごとに分類したヒストグラムを生成し、SRAM43に記憶する。例えば、図1の例においては、受光部25内の各画素30は上述の第1反射光パルス信号及び第2反射光パルス信号を、それぞれ第1時間範囲内及び第2時間範囲内に受光する。これに伴って、ヒストグラム生成器42は、第1時間範囲内に受光された第1反射光パルス信号の受光頻度を単位期間ごとに分類した第1ヒストグラムを生成するとともに、第2時間範囲内に受光された第2反射光パルス信号の受光頻度を単位期間ごとに分類した第2ヒストグラムを生成する。
 時間デジタル変換器41及びヒストグラム生成器42は、それぞれ複数ずつ設けられてもよい。例えば、画素30ごとに1つずつ設けられてもよいし、1列に配置された1群の画素30ごとに1つずつ設けられてもよい。受光部25に設けられる2次元方向に配列された複数の画素30、時間デジタル変換器41及びヒストグラム生成器42は、画素アレイ部50を構成する。画素アレイ部50の詳細については後述する。
 SRAM43は、ヒストグラム生成器42が生成したヒストグラムを記憶する。
 測距部44は、複製ヒストグラム生成器45及びSRAM(記憶部)46を備える。測距部44は、SRAM43から複数のヒストグラム(図1の例では、第1ヒストグラム及び第2ヒストグラム)を読み出し、複製ヒストグラム生成器45に渡す。
 複製ヒストグラム生成器45は、ヒストグラム生成器42が生成したヒストグラムを複数個複製した複製ヒストグラムを生成する。例えば、図1では、第1ヒストグラムを第1時間間隔に応じた第1個数分複製した第1複製ヒストグラムを生成するとともに、第2ヒストグラムを第2時間間隔に応じた第2個数分複製した第2複製ヒストグラムを生成する。
 SRAM46は、複製ヒストグラム生成器45が生成した各複製ヒストグラムを記憶する。SRAM43とSRAM46は統合することも可能である。
 測距部44は、複製ヒストグラム生成器45が生成した第1複製ヒストグラム及び第2複製ヒストグラムを含む2以上の複製ヒストグラムの、それぞれのピーク位置に対応する受光時刻が一致する場合の受光時刻、又は2以上の複製ヒストグラムのビン数を揃えて合成した後述の再構成ヒストグラムの最大ピーク位置に対応する受光時刻に基づいて、重心演算等の各種演算を行い、物体OBJの距離を計測する。測距部44の計測結果である測距値は、インタフェース部28に供給される。
 インタフェース部28は、測距部44から供給された測距値を、出力信号OUTとして、AP5に出力する。
 AP5は、例えばオペレーティングシステムや各種アプリケーションソフトウェア等を実行する。AP5は、光検出装置4から送信された測距値に基づいて種々の演算処理を実行する。例えば、AP5は、物体OBJの位置及び動きを表す距離画像を生成する、
 図2Aは、dToF方式の測距動作の概略を説明する図である。図2Aにおいて、発光装置3は物体OBJaに対して光パルス信号L1を、間欠的に発光する。
 発光装置3の発光に同期して、時間デジタル変換器41は受光タイミングのカウント動作を行う。発光装置3と時間デジタル変換器41は、クロック生成部21が生成したクロック信号Vclkによって同期化される。時間デジタル変換器41は、クロック信号Vclkに同期させて、単位時間tごとにカウントコードを変化させる。
 発光装置3は、クロック信号Vclkに同期させて、一定間隔で発光動作を行う。図2Aの例においては、発光装置3は発光タイミングSnd1にて発光動作を行う。また、発光タイミングSnd1から、単位時間tの16倍である16t間隔を空けた発光タイミングSnd2で、次の発光動作を行う。時間デジタル変換器41のカウントコードは、発光装置3の発光間隔に合わせて、16t間隔でリセットされてもよいし、リセットされなくてもよい。なお、発光間隔は、単位時間tの16倍の整数倍であればよいが、本明細書では、説明の簡略化のため、発光間隔が単位時間tの16倍の例について主に説明する。
 発光タイミングSnd1で発光された光パルス信号L1は、物体OBJaにて反射され、物体OBJaからの反射光パルス信号L2は、受光タイミングRcv1において画素30で受光される。受光タイミングRcv1でのカウントコードに応じたデジタル信号が、時間デジタル変換器41からヒストグラム生成器42に対して出力される。
 ヒストグラム生成器42は、2つの発光タイミングの間の期間を、単位時間tごとに分割する。図2Aの例では、16t間隔を、ビンb0~b15に分割する。ヒストグラム生成器42は、光パルス信号L1の発光と反射光パルス信号L2の受光が繰り返されるたび、発光タイミングと受光タイミングの間隔をビンb0~b15のいずれかに分類し、ビン単位で受光頻度Cnt0~Cnt15を順次更新する。
 例えば、図2Aに示すように、受光タイミングRcv1と発光タイミングSnd1の間(光往復間隔d1)が、12t間隔である場合、ヒストグラム生成器42はビンb12の受光頻度Cnt12を1回分増やす。
 なお、光往復間隔d1が12t間隔である、とあるのは、厳密には、受光タイミングRcv1と発光タイミングSnd1の間隔が12t以上13t未満であることを指す。
 図2Bは、繰り返しの測距動作を説明する図である。予め定められた時間範囲内に、図2Aで示した測距動作が繰り返される。図2Bは、光往復間隔d1が12t間隔の位置にいる物体OBJaからの反射光を受光する例を示している。
 光往復間隔d1が12t間隔である測距動作が繰り返される場合、ヒストグラム生成器42はビンb12の受光頻度Cnt12を順次増やす。発光タイミングの微妙なずれ、又は物体OBJaのわずかな移動、又は受光タイミングの微妙なずれ等に起因する測距誤差により、受光タイミングが本来の12t間隔とは異なる間隔(例えば、11t又は13t間隔)になる場合がある。この場合、ヒストグラム生成器42は、ビンb11の受光頻度Cnt11又はビンb13の受光頻度Cnt13等を増やすことになる。結果として、ヒストグラム生成器42は、ビンb12の受光頻度Cnt12をピーク値とした、ヒストグラムHSTを生成する。ヒストグラムHSTの横軸はビンb0~b15の種類であり、縦軸は受光頻度Cnt0~Cnt15である。
 ヒストグラムHSTは、ヒストグラム生成器42から、SRAM43を介して測距部44に読み出される。測距部44は、ヒストグラムHSTのピーク値を持つビンb12を検出する。測距部44は、ビンb12に基づいて、重心演算等の測距演算が行い、測距値を算出する。
 図2Aにおいては、2つの発光タイミングSnd1及びSnd2間が16t間隔である例を示しているが、これに限定されない。例えば、2つの発光タイミングを14t間隔とした場合、ヒストグラム生成器42にはビン数が14であるヒストグラムが生成される。なお、本明細書においては、ヒストグラム生成器42が、ビン数が16であるヒストグラムを生成する場合の測距処理を、16Bin測距と呼ぶ。なお、本明細書では、16Bin測距をMod16と呼ぶことがある。また、16Bin測距において、ビンb0~b15に分割される16t間隔を、1回の露光ローテーションとも呼ぶ。
 上述したように図1の発光装置3では、第1時間範囲及び第2時間範囲のそれぞれで、互いに発光間隔の異なる第1光パルス信号及び第2光パルス信号が出力される。すなわち、ヒストグラム生成器42が、第1時間範囲及び第2時間範囲にそれぞれ生成する、第1ヒストグラム及び第2ヒストグラムは、互いにビン数が異なるヒストグラムとなる。
 図2Cは、光往復間隔が、発光間隔よりも長い場合の測距動作を示した図である。図2Cでは、発光タイミングSnd3に光パルス信号L1が発光されるのに対し、反射光パルス信号L2は、発光タイミングSnd4及び発光タイミングSnd5の間に存在する、受光タイミングRcv2において受光されている。
 図2Cは16Bin測距を行う例を示している。図2Cに示すように、真の光往復間隔d2は45tである。しかし、ヒストグラム生成器42においては、受光タイミングRcv2と、受光タイミングRcv2の直前の発光タイミングSnd4の間隔(偽の光往復間隔d3)は、13t間隔であることから、光往復間隔はb13に分類され、ビンb13の受光頻度Cnt13が増える。したがって、測距部44においても、偽の光往復間隔d3に基づいて測距演算が行われ、測距値に誤差が生じる恐れがある。
 このように、dToF方式の測距方法では、光往復間隔が発光間隔よりも長い場合に、正確な測距ができない場合がある。以下に説明する各実施形態による測距システム1は、この問題を解決できることを特徴とする。また、各実施形態による測距システム1は、少ないビン数でありながら、測距レンジを広げることができ、かつ測距精度すなわち測距の分解能を向上できることを特徴とする。
 本実施形態に係る光検出装置4は、発光間隔が互いに異なる複数の反射光パルス信号L2を受光し、各反射光パルス信号L2に対応する、ビン数が互いに異なるヒストグラムを生成する。測距部44は、これらの発光間隔が互いに異なるヒストグラムを複製及びタイリングした上で重ね合わせ、再構成ヒストグラムを生成する。測距部44は、再構成ヒストグラムのピーク値を検出することにより、真の光往復間隔を特定できる。図3において、測距部44の詳細な処理内容について説明する。
 図3では、発光装置3の発光間隔をそれぞれ変更して、16Bin測距、14Bin測距、12Bin測距をそれぞれ順繰りに行う例を示している。16Bin測距においては、ビン数16のヒストグラムHSTa、14Bin測距においてはビン数14のヒストグラムHSTb、12Bin測距においてはビン数12のヒストグラムHSTcが生成される。
 図1では省略しているが、図3の例における発光装置3は、それぞれ発光間隔が異なる3つの発光部を有する。なお、複数の発光部を設けずに、1つの発光部が発光間隔を3通りに切り替えて、16Bin測距用の発光間隔の光パルス信号L1と、14Bin測距用の発光間隔の光パルス信号L1と、12Bin測距用の発光間隔の光パルス信号L1を順に発光してもよい。
 図1の複製ヒストグラム生成器45は、ヒストグラムHSTa、HSTb及びHSTcに対応する複製ヒストグラムHSTCa、HSTCb及びHSTCcを生成する。
 複製ヒストグラムHSTCaは、ヒストグラムHSTaを16Binの発光間隔に応じた個数分複製して時間軸方向にタイリングして生成される。複製ヒストグラムHSTCbは、ヒストグラムHSTbを14Binの発光間隔に応じた個数分複製して時間軸方向にタイリングして生成される。複製ヒストグラムHSTCcは、ヒストグラムHSTcを12Binの発光間隔に応じた個数分複製して時間軸方向にタイリングして生成される。なお、タイリングとは、複製された複数のヒストグラムを時間軸方向に近接させて並べる処理である。タイリングを行うことで、測距レンジを広げることができる。測距部44は、複製ヒストグラムHSTCa、複製ヒストグラムHSTCb、及び複製ヒストグラムHSTCcを合成することにより、再構成ヒストグラムHSTLを生成する。
 再構成ヒストグラムHSTLを生成するにあたって、複製ヒストグラム生成器45は、複製ヒストグラムHSTCa、HSTCb及びHSTCcのビン数を揃える必要がある。ヒストグラムHSTa、HSTb及びHSTcのビン数の最小公倍数は336であることから、複製ヒストグラムHSTCa、HSTCb及びHSTCcのビン数は、全て336に設定される。
 複製ヒストグラムHSTCaは、ビン数16のヒストグラムHSTaを、21個複製することで、ビン数を336にすることができる。同様に、複製ヒストグラムHSTCb及びHSTCcも、ヒストグラムHSTb及びHSTcのビン数に応じた数を複製することで、ビン数を336にすることができる。上述の通り、各ヒストグラムHSTa、HSTb及びHSTcのビン数は、測距時の発光間隔に応じて定まる。したがって、複製ヒストグラムは、複製前のヒストグラムを、測距時の発光間隔に応じた個数分複製することで生成される。
 測距部44は、複製ヒストグラムHSTa、HSTb及びHSTcを重ね合わせることで、ビン数が336の再構成ヒストグラムHSTLを生成する。再構成ヒストグラムHSTLのピーク値から、正確な測距値を算出できる。図4A~4Dは、ヒストグラムHSTa、HSTb、HSTcを用いて正確な測距値を検出する具体例を示す図である。
 図4Aは、物体OBJbに対して、16Bin測距を行う例である。図2Cに示した例と同様、物体OBJbについての真の光往復間隔d2は45t間隔である。このとき、ヒストグラム生成器42は偽の光往復間隔d3aに基づいて、ビンb13にピーク値を有する、ビン数16のヒストグラムBHSTaを生成する。
 図4Bは、図4Aと同じ物体OBJbに対して、14Bin測距を行う例である。図4Cは、物体OBJbに対して、12Bin測距を行う例である。図4B及び図4Cにおいても、図4Aと同様、それぞれ偽の光往復間隔d3b及びd3cに基づいて、ヒストグラムが生成される。図4Bでは、ビンb3にピーク値を有する、ビン数14のヒストグラムBHSTbが生成される。図4Cでは、ビンb9にピーク値を有する、ビン数12のヒストグラムBHSTcが生成される。
 図4Dは、複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcを示している。複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcは、それぞれヒストグラムBHSTa、BHSTb及びBHSTcを複製し、時間軸方向にタイリングしたものである。
 図4Dに示すように、複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcは、それぞれ複数のピーク値を有する。複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcは共通して、ビンb45にピーク値を有する。このビンb45は、図4A~4Cに示した、真の光往復間隔d3に対応している。複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcを重ね合わせて、再構成ヒストグラムを作成した場合、その再構成ヒストグラムはビンb45にピーク値を有する。本明細書では、真の光往復間隔に対応するピークを真のピークとも呼ぶ。また、図4Dに示すように、複製ヒストグラムBHSTCa、BHSTCb及びBHSTCcは、真のピーク以外にも1つ以上のピークを有する。本明細書では、真のピーク以外の1つ以上のピークを偽のピークとも呼ぶ。
 図3に示した再構成ヒストグラムHSTLについても、図4Dで説明した例と同様に、物体OBJについての真の光往復間隔に対応したビンに、ピーク値を有する。したがって、測距部44は再構成ヒストグラムHSTLのピーク値を検出することにより、真の光往復間隔を特定できる。
 図5Aは、本実施形態による測距システム1が行う測距処理の概略的なフローチャートである。まず、発光装置3が光パルス信号L1を発光する。図1の例では、例えば第1発光部11が、第1時間間隔で発光する第1光パルス信号を、物体OBJに照射する(ステップS1)。
 続いて、物体OBJから反射された第1反射光パルス信号を、画素30が受光する(ステップS2)。続いて、時間デジタル変換器41は、画素30の受光時刻に応じたデジタル信号を生成する(ステップS3)。
 続いて、ヒストグラム生成器42は、規定回数分の測定が行われたか否かを判定する(ステップS4)。なお、測定とは、第1反射光パルス信号の受光を意味する。測定回数が規定回数に満たない場合、ステップS1~S3の処理が繰り返される。測定回数が規定回数を満たす場合、ヒストグラム生成器42に繰り返し出力されたデジタル信号に基づいて、第1ヒストグラムが生成される(ステップS5)。第1ヒストグラムを構成する各ビンの受光頻度情報は、SRAM43に記憶される。なお、本明細書においては、第1発光部11が最初にステップS1で発光動作を行ってから、ステップS5で第1ヒストグラムが生成されるまでの時間範囲を、第1時間範囲と呼ぶ。
 ステップS5に続き、全ての発光間隔での測定を行ったか否かを判定する(ステップS6)。続いて、発光装置3は、発光間隔を変更する(ステップS7)。図1の発光装置3は、第1発光部11の他に、第2時間間隔で発光する第2光パルス信号を照射する第2発光部12を有する。そのため、発光装置3は、第1発光部11の発光を停止させて、第2時間間隔で第2光パルス信号を発光する第2発光部12を駆動する。
 第2発光部12においても同様に、受光部25は第2時間範囲において繰り返し測定を行い、ヒストグラム生成器42は第2ヒストグラムを生成する。ステップS6において、発光装置3が、第1時間間隔及び第2時間間隔とは異なる時間間隔で発光が可能な場合は、ステップS7で発光間隔を変更した上で、繰り返し測定を行い、それぞれ別個のヒストグラムを生成する。発光装置3が可能な、全ての発光間隔での測定が終わった場合、測距演算を行う(ステップS8)。
 図5Bは、図5AのステップS8における測距演算のフローチャートを示す図である。まず、測距部44は第1ヒストグラム及び第2ヒストグラムを含む2以上のヒストグラムをSRAM43から読み出す。複製ヒストグラム生成器45は、第1複製ヒストグラム及び第2複製ヒストグラムを含む2以上の複製ヒストグラムを生成する(ステップS11)。第1複製ヒストグラム及び第2複製ヒストグラムは、図3で説明した通り、第1ヒストグラム及び第2ヒストグラムの複製及びタイリングによって生成される。
 続いて測距部44は、第1複製ヒストグラム及び第2複製ヒストグラムを含む2以上の複製ヒストグラムを重ね合わせて、再構成ヒストグラムを生成する(ステップS12)。2以上の複製ヒストグラムを重ね合わせるとは、例えば、2以上の複製ヒストグラムをビンごとに合算することをいう。測距部44は、生成された再構成ヒストグラムから、ピーク値を検出する(ステップS13)。測距部44は、検出されたピーク値に基づいて重心演算を行う(ステップS14)。測距部44は、重心演算の結果から測距値を取得する(ステップS15)。
 図6は、測距システム1により10Bin測距、12Bin測距、14Bin測距及び16Bin測距を行う場合を示す図である。16Bin測距では、上述の16t間隔の露光ローテーションRt1が複数回繰り返される。発光装置3は、露光ローテーションRt1ごとに発光してもよい。また、複数の露光ローテーションRt1の期間を発光装置3の発光間隔PRI1としてもよい。同様に、14Bin測距、12Bin測距、10Bin測距においても、それぞれ14t間隔の露光ローテーションRt2、12t間隔の露光ローテーションRt3及び10t間隔の露光ローテーションRt4が、それぞれ複数回ずつ繰り返される。また、複数の露光ローテーションRt2、Rt3及びRt4の期間を、それぞれ発光装置3の発光間隔PRI2、PRI3、PRI4としてもよい。発光装置3の発光間隔は、パルス発光周期(PRI:Pulse Repetition Interval)とも呼ばれる。また、本明細書では、本開示の第1実施形態に係る測距のことを、複数のPRIの光パルス信号が用いられることから、多周波測距と呼ぶことがある。
 16Bin測距における露光ローテーションRt1は、図5AにおけるステップS1~S3に対応する。複数回の露光ローテーションRt1を繰り返し、図5AのステップS5にて、ヒストグラムHSTdが生成される。同様に、14Bin測距、12Bin測距及び10Bin測距が順繰りに行われ、ヒストグラムHSTe、HSTf及びHSTgが生成される。
 図5BのステップS11において、ヒストグラムHSTd、HSTe、HSTf及びHSTgに基づいて、複製ヒストグラムHSTCd、HSTCe、HSTCf及びHSTCgが生成される。ステップS12では、複製ヒストグラムHSTCd、HSTCe、HSTCf及びHSTCgに基づいて、再構成ヒストグラムHSTLaが生成される。ステップS13において、再構成ヒストグラムHSTLaから、ピーク値PeakLaが検出される。
 以下では、画素アレイ部50の詳細な構成を参照しながら、測距処理の詳細な動作について説明する。図7は、光検出装置4内の画素アレイ部50の詳細な第1構成例を示す図である。図7に示す光検出装置4aは、画素アレイ部50a及び駆動回路24aを備える。
 駆動回路24aは、列選択回路62を備える。画素アレイ部50a内の各画素30は、列選択回路62によって制御される。列選択回路62からは複数の列選択線63が伸び、画素30と接続されている。列選択回路62は、図示を省略するが、シフトレジスタ及びアドレスデコーダ等によって構成される。
 複数の画素30は、受光部25内の行方向X(第1方向)及び列方向Y(第2方向)に、2以上ずつ配置される。行方向Xとは、複数の列選択線63が配置される方向である。列方向Yとは、各列選択線63が延びる方向である。また、本明細書では、行方向Xに配置される2以上の画素30を第1画素群51と呼び、列方向Yに配置される2以上の画素30を第2画素群52と呼ぶ。第1画素群51は列方向Yに複数配置され、第2画素群52は行方向Xに複数配置される。
 画素アレイ部50aは、第1画素群51ごとに配置される複数の時間デジタル変換器41及び複数のヒストグラム生成器42を備えている。なお、複数の時間デジタル変換器41及び複数のヒストグラム生成器42は、画素アレイ部50aとは別個に設けてもよい。例えば、画素アレイ部50aを有するチップとは別のチップに複数の時間デジタル変換器41及び複数のヒストグラム生成器42を設けて、これらチップをCu-Cu接合等で接合してもよい。第1画素群51内の複数の画素30は、信号線61によって、時間デジタル変換器41及びヒストグラム生成器42と接続されている。
 図8は、図7の第1構成例における画素アレイ部50aからSRAM43及び測距部44へのデータ伝送のタイミング図である。図8の画素アレイ部50aは、16Bin測距、14Bin測距、12Bin測距及び10Bin測距を、1つのフレーム期間FRMa内のそれぞれ異なる時間範囲(後述の測距期間SFE1、SFE2、SFE3及びSFE4)に行って、生成された各ヒストグラムのビンごとの受光頻度データを測距部44に転送する。
 図8の例では、発光装置3は、16Bin測距、14Bin測距、12Bin測距及び10Bin測距において、それぞれ16t、14t、12t、10t間隔での発光を行う。すなわち、受光部25内の各画素30は、それぞれ異なる2以上の時間間隔で発光された2以上の光パルス信号L1が物体OBJで反射された2以上の反射光パルス信号L2を、それぞれ異なる2以上の時間範囲内に受光する。
 1つのフレーム期間FRMaにおいて、第2画素群52ごとにキャプチャ期間CAPが設けられている。列選択回路62により、複数の第2画素群52が順に選択される。図8では、列選択回路62によって第2画素群52aが選択される例について説明する。キャプチャ期間CAPは、キャプチャセットアップ期間CSUと、サブフレームSF1、SF2、SF3及びSF4を含む。また、サブフレームSF1は、測距期間SFE1と、データ出力期間DO1を含む。
 測距期間SFE1では、第2画素群52aにおける16Bin測距が行われる。測距期間SFE1は、サブフレームセットアップ処理期間SFSUと、複数のミニフレームMFとを有する。ミニフレームMFは、図6で示した露光ローテーションRt1と、SRAM43への転送期間TRNを含む。
 露光ローテーションRt1において、第2画素群52a内の各画素30で並行して、16tの発光間隔を有する反射光パルス信号L2の受光が行われる。各画素30は並行して、対応する受光信号Vrcvを、対応する時間デジタル変換器41に入力する。
 転送期間TRNにおいて、各受光信号Vrcvが入力された各時間デジタル変換器41は、反射光パルス信号L2の受光時刻に応じたデジタル信号Vcntを、各ヒストグラム生成器42に供給する。各ヒストグラム生成器42は、供給されたデジタル信号Vcntに基づき、ビン数16のヒストグラムを生成し、SRAM43に記憶させる。
 データ出力期間DO1において、各ヒストグラム生成器42が生成したヒストグラムを、SRAM43から測距部44に出力する。
 このように、測距期間SFE1内のミニフレームMFでは、画素アレイ部50の左端の第2画素群52aの各画素30が並行して、16Bin測距に対応する発光間隔で発光された光パルス信号L1が物体OBJで反射された反射光パルス信号L2を順に受光してヒストグラムを生成する。生成されたヒストグラムを構成するビンごとの受光頻度データは転送期間TRNにSRAM43に転送される。
 測距期間SFE1内には、複数のミニフレーム期間MFが設けられている。各ミニフレーム期間MFでは、基本的には同じ動作が繰り返される。場合によっては、ミニフレーム期間MFごとに時間デジタル変換器41がデジタル信号を生成するためのスタートコードを変化させてもよい。
 続いて、サブフレームSF2内の測距期間SFE2では、第2画素群52aにおける14Bin測距が行われる。測距期間SFE2は、露光ローテーションRt2を有する複数のミニフレームMFから構成される。
 露光ローテーションRt2において、選択された第2画素群52a内の各画素30は、14tの発光間隔を有する反射光パルス信号L2に応じた受光信号Vrcvを出力する。すなわち、選択された第2画素群52a内の各画素30は、1つのフレーム期間FRMaに2以上の反射光パルス信号L2に応じた2以上の受光信号Vrcvを順に出力する。
 各ヒストグラム生成器42は、供給されたデジタル信号Vcntに基づき、SRAM43に、14tの発光間隔を有する反射光パルス信号L2に応じたビン数14のヒストグラムを生成する。すなわち、ヒストグラム生成器42は、2以上の時間範囲内に受光された2以上の反射光パルス信号L2の受光頻度を単位期間ごとに分類した2以上のヒストグラムを生成する。
 続いて、サブフレームSF3内の測距期間SFE3では、第2画素群52aにおける12Bin測距が行われる。データ出力期間DO3においてビン数12のヒストグラムのデータがSRAM43から測距部44に出力される。サブフレームSF4内の測距期間SFE4では、第2画素群52aにおける10Bin測距が行われる。データ出力期間DO4においてビン数10のヒストグラムがSRAM43から測距部44に出力される。
 測距期間SFE1に含まれるミニフレーム期間MFの数は、他の測距期間SFE2、SFE3、及びSFE4と揃えてもよい。
 上述したように、第2画素群52aは、それぞれ異なる第1画素群51に配置された複数の画素30を含んでいる。露光ローテーションRt1、Rt2、Rt3及びRt4においては、第2画素群52a内の複数の画素30が並行して受光処理を行う。そのため、第2画素群52a内の複数の画素30から出力された受光信号Vrcvは、並行して、第1画素群51ごとに配置された複数の時間デジタル変換器41に入力される。また、複数の時間デジタル変換器41のそれぞれは、対応する第1画素群51内の各画素30で受光された2以上の反射光パルス信号L2の受光時刻に応じたデジタル信号Vcntを順に生成する。複数のヒストグラム生成器42のそれぞれは、対応する時間デジタル変換器41で順に生成されたデジタル信号Vcntに基づいて、2以上のヒストグラムを生成する。
 第2画素群52aにおけるキャプチャ期間CAPが終了すると、列選択回路62は次の第2画素群52を選択する。このように、図8の例では、画素アレイ部50内の列方向Yに配置される第2画素群52aごとに受光動作を行って、第2画素群52a内の各画素30が並行して2つ以上のヒストグラムを生成する。
 図9は、光検出装置4内の画素アレイ部50の詳細な第2構成例を示す図である。図9に示す光検出装置4bは、画素アレイ部50b及び駆動回路24bを備える。画素アレイ部50bは、図7の画素アレイ部50aとは異なり、画素30ごとに、時間デジタル変換器41及びヒストグラム生成器42を有する。
 駆動回路24bは、図7の駆動回路24aが備える列選択回路62に加え、行選択回路64を備える。行選択回路64からは、第1画素群51ごとに行選択線65が伸び、それぞれ画素30と接続されている。
 図10は、図9の第2構成例における画素アレイ部50bからSRAM43及び測距部44へのデータ伝送のタイミング図である。図8のフレーム期間FRMaは、第2画素群52ごとに、キャプチャ期間CAPを設けている。これに対し、図10では、1つのフレームFRMbに1回、各画素30が共通のタイミングのキャプチャ期間CAPを有する。
 図10では、フレームFRMb期間内に、各画素30が並行して、16Bin測距、14Bin測距、12Bin測距及び10Bin測距の処理を順に行う。すなわち、複数の画素30のそれぞれは、1つのフレーム期間FRMbに2以上の反射光パルス信号L2に応じた2以上の受光信号Vrcvを順に出力する。出力された各画素30の受光信号Vrcvは並行して、それぞれ対応する時間デジタル変換器41に入力される。
 複数の時間デジタル変換器41のそれぞれは、対応する画素30で受光された2以上の反射光パルス信号L2の受光時刻に応じたデジタル信号Vcntを生成し、複数のヒストグラム生成器42のそれぞれは、対応する時間デジタル変換器41で生成されたデジタル信号Vcntに基づいて、2以上のヒストグラムを生成する。
 図10に示すように、光検出装置4bは、図7の光検出装置4aに比べて複数のキャプチャ期間CAPが不要である。これにより、光検出装置4bは光検出装置4aよりも高速な測距処理が可能である。一方、光検出装置4aは、光検出装置4bよりも時間デジタル変換器41及びヒストグラム生成器42の数が少なく、また、行選択回路64が不要である。よって、光検出装置4aは光検出装置4bよりも構造が単純であり、小型化が可能である。
 図11は、測距部44の処理を示すフローチャートである。図11は図5Bのフローチャートをより具体化したものである。図11では、図6と同様に、16Bin測距、14Bin測距、12Bin測距及び10Bin測距を行う例を示している。図11に示すステップS21~S28のうち、ステップS21~S26は複製ヒストグラム生成器45及びSRAM46を用いて処理を行う。
 図8又は図10で説明した測距処理により、複製ヒストグラム生成器45は、図6で示した4つのヒストグラムHSTd、HSTe、HSTf及びHSTgをヒストグラム生成器42から受領している。
 上述の通り、再構成ヒストグラムを生成するために、4つのヒストグラムHSTd、HSTe、HSTf及びHSTgに対応する4つの複製ヒストグラムHSTCd、HSTCe、HSTCf及びHSTCgのビン数を揃える必要がある。
 図11の例においては、各複製ヒストグラムのビン数を、16、14、12及び10の最小公倍数である1680にすることで、各複製ヒストグラムのビン数を揃えることができる。各複製ヒストグラムの構成データは、SRAM46に順に記憶されて、SRAM46内で再構成ヒストグラムが生成される。このように、SRAM46は、2以上の時間間隔の最小公倍数に応じた数のビン数を持つ再構成ヒストグラムを記憶する。
 まず、複製ヒストグラム生成器45は、SRAM46をクリアし、再構成ヒストグラムを記憶する容量を確保する(ステップS21)。続いて、ビン数16のヒストグラムHSTdを複製かつタイリングして、複製ヒストグラムHSTCdを生成し、SRAM46に記憶する(ステップS22)。
 次に、ビン数14のヒストグラムHSTeを複製かつタイリングし、複製ヒストグラムHSTCeを生成する。複製ヒストグラムHSTCeは、SRAM46内の複製ヒストグラムHSTCdに加算される(ステップS23)。
 同様に、複製ヒストグラムHSTCf及び複製ヒストグラムHSTCgを順に、SRAM46内に記憶されたヒストグラムに加算する(ステップS24、S25)。これにより、SRAM46内に再構成ヒストグラムHSTLaが生成される(ステップS26)。
 測距部44は、再構成ヒストグラムHSTLaのピーク値を検出する(ステップS27)。ステップS27で得られたピーク値に基づいて重心演算を行い、測距値を取得する(ステップS28)。
 このように、本開示の光検出装置4は、発光間隔が互いに異なる複数の反射光パルス信号L2を受光し、ビン数が互いに異なる2以上のヒストグラムを生成する。また、光検出装置4は2以上のヒストグラムを複製、タイリング及び重ね合わせを行い、再構成ヒストグラムを生成する。この再構成ヒストグラムのピーク値を検出することによって、光往復間隔が光パルス信号L1の発光間隔よりも長い場合においても、真の光往復間隔を得ることができ、正確な測距が可能である。
 本開示の光検出装置4は、より短い露光期間で、より長距離の測距を精度よく行うことができる。具体的には、図6に示すような測距を行う場合、それぞれの1回の露光期間は16t、14、12t及び10tであり、合計しても52tである。一方、再構築ヒストグラムHSTLaのビン数は1680である。わずか52tの露光期間で光往復期間が1680tまでの距離について、正確な測距が可能である。また、ヒストグラム生成器42に必要なビン数も、それぞれ16~10と、少なく抑えることができ、ヒストグラム生成器42の省面積化が可能である。
 (第2の実施形態)
 第1の実施形態では、2以上の時間間隔の最小公倍数に応じた数のビン数を持つ再構成ヒストグラムに基づき、ピーク値の検出と重心演算を行っている。再構成ヒストグラムは、各時間間隔にて生成された各ヒストグラムの複製、タイリング及び重ね合わせにて生成される。このため、再構成ヒストグラムは、複製元のヒストグラムの情報量を落とさずに、ビン数を削減することができる。
 図12は、第2の実施形態における測距部44a及び周辺部を示す図である。測距部44aは、ビン拡張部71、ピーク検出部72、最大ピーク検出部73、シフト部74、重心演算部75を備える。
 ビン拡張部71は、SRAM43から複数のヒストグラムを読み出す。また、ビン拡張部71は最大の時間間隔に対応するヒストグラムを1単位としてSRAM46に記憶する。また、最大の時間間隔を除く2以上の時間間隔に対応するヒストグラムを1単位に拡張してSRAM46に記憶する。具体的には、図6に示すヒストグラムHSTdに対しては、ビン数16のヒストグラムHSTdを1単位として、SRAM46に記憶する。また、ヒストグラムHSTe、HSTf及びHSTgについてもビン数16に拡張してSRAM46に記憶する。
 SRAM46は、上記の最大の時間間隔に対応するヒストグラムのビン数に応じた記憶容量を有する。
 ピーク検出部72は、SRAM46の記憶領域内で、2以上のヒストグラムのピークの受光時刻が一致する場所を検出する処理を、ビン拡張部71がSRAM46に新たに1単位分の2以上のヒストグラムを記憶するたびに行う。
 最大ピーク検出部73は、複数の1単位の中からピークの最大値を検出する。
 シフト部74は、ピークの最大値を、対応するSRAM46の記憶領域内の中央にシフトさせる。
 重心演算部75は、シフト部74でシフトされたSRAM46の記憶領域内で重心演算を行う。
 図13A、図13B及び図13Cは、測距部44aの動作を説明する図である。以降の説明では、図6のヒストグラムHSTd、HSTe、HSTf及びHSTgを重ね合わせたときのピーク値を検出する処理を説明する。
 図13Aに示すように、図6の再構成ヒストグラムHSTLaは、ビン数16を1単位として、複数の単位ヒストグラムUHSTに分割できる。測距部44aは、単位ヒストグラムUHSTごとに、ピーク値を検出する処理を繰り返し行い、全ての単位ヒストグラムUHSTの中から、最大のピーク値を検出する。
 1回のピーク値の検出ごとに、SRAM46には1つの単位ヒストグラムUHSTが記憶されていればよい。すなわち、より大きなピーク値が検出されるたびに、SRAM46内の単位ヒストグラムUHSTを上書きすればよい。これにより、SRAM46に記憶されるヒストグラムのビン数を削減することができる。なお、1回のピーク値の検出ごとに処理する単位ヒストグラムUHSTには、それぞれ折り返し番号を0から割り振る。このように、折り返し番号とは、再構成ヒストグラムを構成する複数の単位ヒストグラムUHSTのいずれかを指定する識別番号である。
 図13B及び図13Cは、第2の実施形態による測距部44aの処理動作を示すフローチャートである。
 ステップS31~S37は、折り返し番号が0である単位ヒストグラムUHSTについての、ピーク値を検出する処理である。測距部44aは、ステップS31にて、折り返し番号を0と指定する。
 ステップS32~S36は、ビン拡張部71がSRAM46内の記憶領域に、単位ヒストグラムUHSTを生成する処理である。ステップS32において、SRAM46をクリアする。ステップS33では、ビン数16のヒストグラムHSTdをSRAM46に複製する。
 ステップS34においては、ビン数14のヒストグラムHSTeを、ビン数16に拡張してSRAM46内のヒストグラムに加算する。具体的には、ヒストグラムHSTeを2つ複製し、一方のヒストグラムHSTeからビンb0~b13を抽出する。また、他方のヒストグラムHSTeから、ビンb0及びb1のデータを抽出し、それぞれビンb14及びビンb15として、先に抽出したビンb0~b13に付加する。これにより、ヒストグラムHSTeをビンb0~b15のヒストグラムに拡張し、SRAM46内のヒストグラムに加算する。
 同様に、ステップS35において、ビン数12ヒストグラムHSTfを、ビン数16に拡張してSRAM46内のヒストグラムに加算する。ステップS36においては、ヒストグラムHSTgについて、ステップS34及びS35と同様の処理を行う。これにより、部分再構成ヒストグラムHSTLbが生成される。部分再構成ヒストグラムHSTLbは、再構成ヒストグラムに含まれる、折り返し番号=0の単位ヒストグラムUHSTに該当する。
 ステップS37において、ピーク検出部72は、部分再構成ヒストグラムHSTLbのピーク値を検出する。検出したピーク値Max(図13Bの例では、Max=7)及びピーク値を検出したビン番号Bin(図13Bの例では、Bin=2)を、最大ピーク検出部73に出力する。また、オフセット値として、折り返し番号の値を最大ピーク検出部73に出力する。
 ステップS41~S47は、折り返し番号が1である単位ヒストグラムUHSTについての、ピーク値を検出する処理である。測距部44aは、ステップS41にて、折り返し番号を1と指定する。ステップS42及びS43において、SRAM46をクリアし、ヒストグラムHSTdをSRAM46に複製する。
 ステップS44においては、ビン数14のヒストグラムHSTeをオフセットし、ビン数16に拡張して、SRAM46内のヒストグラムに加算する。具体的には、ヒストグラムHSTeを2つ複製し、一方のヒストグラムHSTeから、ステップS34において既に抽出したビンb0及びb1のデータを削除し、ビンb2~b13のデータを抽出する。また、他方のヒストグラムHSTeから、ビンb0~b3のデータを抽出する。先に抽出したビンb2~b13をビンb0~b11のヒストグラムとし、次に抽出したビンb0~b3を、ビンb12~b15として付加する。これにより、ヒストグラムHSTeを、2つのビンの数だけオフセットし、4つのビンを付加したビンb0~b15のヒストグラムに拡張し、SRAM46内のヒストグラムに加算する。
 同様に、ステップS45において、ビン数12のヒストグラムHSTfを、ステップS35で抽出したビンの数だけシフトし、ビン数16に拡張してSRAM46に加算する。ステップS46においても、ヒストグラムHSTgについて、ステップS44及びS45と同様の処理を行う。
 ステップS47において、ステップS37と同様、SRAM46に生成された部分再構成ヒストグラムHSTLbのピーク値を検出し、ピーク値Max及びビン番号Bin(Max=8、Bin=8)及びオフセット値を最大ピーク検出部73に出力する。
 折り返し番号が2である単位ヒストグラムUHSTについても同様の処理を繰り返す。すなわち、SRAM46にクリアする。また、SRAM46にヒストグラムHSTdを複製する。続いて、SRAM46内のヒストグラムに、ヒストグラムHSTeをステップS45で抽出したビンの数だけシフトしビン数16に拡張したヒストグラムを加算する。SRAM46内のヒストグラムに、ヒストグラムHSTe及びHSTfに対してヒストグラムHSTdと同様の処理を行ったヒストグラムを、それぞれ加算する。これにより算出された部分再構成ヒストグラムHSTLbについてのピーク値の検出処理を行う。
 再構成ヒストグラムHSTLa内に含まれる、折り返し番号が3以上の単位ヒストグラムUHSTについても、同様の処理を行う。
 図13Cは、最大ピーク検出部73、シフト部74及び重心演算部75の処理のフローチャートを示す図である。図13Cの処理は、図13Bの処理に続けて行われる。
 図13Bに示した通り、最大ピーク検出部73には、複数の単位ヒストグラムUHSTについて、ピーク値Max、ビン番号Bin及びオフセット値が繰り返し出力されている。これに基づき、最大のピーク値Maxを有する単位ヒストグラムUHSTの折り返し番号を探索する(ステップS51)。
 例えば、図13Aは、折り返し番号が3である単位ヒストグラムUSHTが、最大のピーク値Maxを有する単位ヒストグラムUHSTaである例を示している。単位ヒストグラムUHSTaは、ビンBmax(図13Aでは、Bin=5のビン)において、最大のピーク値Maxを有する。最大ピーク検出部73は、単位ヒストグラムUHSTaの折り返し番号及びビン番号Binaを、シフト部74に出力する(ステップS52)。
 シフト部74は、ステップS53~S58において、単位ヒストグラムUHSTaのビンBmaxが16ビン幅の中央に位置するようにセンタリングされた部分ヒストグラムHSTLcを、SRAM46に生成する。
 ステップS53において、SRAM46をクリアする。ステップS54において、SRAM46にヒストグラムHSTdを、ビンBmaxが16ビン幅の中央に位置するようにオフセットする。ステップS55においては、ヒストグラムHSTeについて、図13Bの処理において、単位ヒストグラムUSHTaの生成時に、HSTeへ行ったものと同様のオフセット及び拡張を行う。続いて、ステップS54と同様に、ビンBmaxが16ビン幅の中央に位置するようにオフセットし、SRAM46内のヒストグラムに加算する。
 ステップS56及びS57において、ヒストグラムHSTf及びHSTgについて、それぞれステップS55と同様の処理を行う。これにより、ステップS58においてビンBmaxが16ビン幅の中央に位置するようにセンタリングされた部分ヒストグラムHSTLcがSRAM46に生成される。
 重心演算部75は、部分ヒストグラムHSTLcに対して重心演算を行う(ステップS59)。重心演算の結果に基づいて、測距部44aは、測距値をインタフェース部28に出力する(ステップS60)。
 このように、第2の実施形態では、SRAM46に記憶するヒストグラムのビン数を削減して、測距値を算出することができる。例えば、図6のヒストグラムHSTd、HSTe、HSTf及びHSTgに基づく測距演算処理において、第1の実施形態における測距部44は、再構成ヒストグラムHSTLaのビン数1680を、SRAM46に記憶する必要があった。これに対し、第2の実施形態における測距部44aは、SRAM46に記憶するビン数を16に削減することができる。
 (第3の実施形態)
 第1の実施形態においては、光検出装置4の内部にて、重心演算等の測距演算を行っている。測距演算は、AP5において行うこともできる。
 図14Aは、第3の実施形態における測距システムの第1構成例を示すブロック図である。光検出装置4cは、図7に示す光検出装置4aと比較して、測距部44を備えていない代わりに、パケット生成部76を備えている。また、図14AのAP5aは、測距部77を備えている。
 パケット生成部76は、光検出装置4cからAP5aに送信する測距データを生成する。パケット生成部76で生成された測距データは、インタフェース部を介してAP5aに送信される。
 AP5aは、インタフェース部28を介して送信された測距データを受信する。測距部77は、測距データに含まれる2以上のヒストグラムを取得し、例えば図11と同様の測距処理を行う。
 図14Bは、第3の実施形態における測距システムの第2構成例を示すブロック図である。図14Bの測距システム内の光検出装置4dは、図9と同様に画素30ごとに時間デジタル変換器41及びヒストグラム生成器42を有する。また、図14Bの光検出装置4dは、図14Aと同様に、パケット生成部76を備える。
 図15Aは、パケット生成部76が生成する測距データの第1例を示す図である。図15Aに示す測距データ80は、スタート部81、複数のパケット82、及びエンド部83を有する。
 スタート部81は、フレームの先頭を示す識別子と、発光装置3が光パルス信号L1を発光する2以上の時間間隔(具体的には、発光装置3の発光間隔)の数を有する。
 各パケット82は、2以上のヒストグラムのうち対応するヒストグラムのビン数及び画素アレイ部50内の複数の画素30の数を含むヘッダ84と、対応するヒストグラムを構成するヒストグラムデータ85と、対応するヒストグラムの終了情報を含むフッタ86を有する。ヒストグラムデータ85は、対応するヒストグラムを構成する各ビンの受光頻度データを含む。
 エンド部83は、フレームの終了を示す識別子を有する。
 図15Aの測距データ80は、発光装置3の発光間隔に応じた数のパケット82を有する。
 図15Aに示すように、パケット生成部76は、2以上のヒストグラムを含む測距データをフレーム単位で生成する。
 図15Bは、図15Aの測距データ80の伝送順序を示す図である。図15Bに示す測距データ80は、図6のように4つの発光装置3の発光間隔で測距を行った場合の例である。測距データ80は、パケット82として、16Bin測距のデータを示すパケット82a、14Bin測距のデータを示すパケット82b、12Bin測距のデータを示すパケット82c及び10Bin測距のデータを示すパケット82dを有する。
 ヘッダ84には、それぞれの測距におけるヒストグラムのビン数が含まれる。具体的には、パケット82a内のヘッダ84には、ビン数として16が記録されている。
 各パケット82a、82b、82c及び82d内には、ヒストグラムデータ85aが含まれる。ヒストグラムデータ85a内には、画素30ごとに生成されるヒストグラム87が含まれている。
 パケット82a内には、ビン数16のヒストグラム87が含まれる。
 測距データ80は、各パケット82a、82b、82c及び82dで、それぞれヒストグラム87のビン数が異なる。従って、測距データ80のヒストグラムデータ85aは可変長であり、データ転送量の最小化ができる。
 測距データ80は、パケット82を固定長としてもよい。図15Cはパケット82を固定長にした測距データ80の伝送順序を示す図である。具体的には、14Bin測距のデータを示すパケット82e、12Bin測距のデータを示すパケット82f及び10Bin測距のデータを示すパケット82gは、ヒストグラムデータ85bを含む。ヒストグラムデータ85bは、ヒストグラム87にそれぞれパディング部88を付加している。
 パディング部88は、パケット82eの場合、ビン数14の各ヒストグラム87に対し、ビン数2つ分のパディングデータを付加している。パディングデータとして、例えば0が付加される。
 図15A~15Cで示す測距データ80は、発光装置3の発光間隔ごとに、別々のパケット82を設けている。例えば、図14Bに示す光検出装置4bは、発光装置3の発光間隔ごとに順繰りに測距処理を行うことができる。また、光検出装置4bは、画素30ごとにヒストグラムを生成できる。この場合、パケット生成部76はデータの転送順にパケット82を生成できる。すなわち、パケット生成部76でヒストグラムデータ等の並び替えを行う必要がなく、高速に測距データを生成できる。
 一方、AP5a内の測距部77は、画素30ごとに測距演算を行う際に、複数のパケット82から、測距演算の対象となる画素30のデータを抽出する必要がある。
 パケット生成部76は、画素30ごとにヒストグラムデータを並び替えてもよい。図16Aは、パケット生成部76が生成する測距データの第2例を示す図である。図16Aに示す測距データ90は、スタート部91、複数のパケット92、及びエンド部93を有する。
 スタート部91は、フレームの先頭を示す識別子と、複数の画素30の数及び2以上の時間間隔(発光装置3の発光間隔)の数を有する。
 1つのパケット92は、画素30の位置を示す情報を含むヘッダ94と、2以上のヒストグラムのうち対応するヒストグラムを構成するヒストグラムデータ95と、対応するヒストグラムの終了情報を含むフッタ96を有する。
 エンド部93は、フレームの終了を示す識別子を有する。
 図16Bは、測距データ90の伝送順序を示す図である。図16Bに示す測距データ90は、図6のように4つの発光装置3の発光間隔で測距を行った場合の例である。測距データ90は、画素30ごとのパケット92を有する。
 ヒストグラムデータ95には、ビン数16のヒストグラム97a、ビン数14のヒストグラム97b、ビン数12のヒストグラム97c及びビン数10のヒストグラム97dが含まれる。ヒストグラムデータ95は固定長である。
 このように、第3の実施形態においては、AP5a内に測距部77を設けるため、光検出装置4c、4dからヒストグラムデータを含む測距データをAP5aに送信する。これにより、測距部77では第1及び第2の実施形態と同様に、2以上の複製ヒストグラムと再構成ヒストグラムを生成して、そのピーク位置から物体OBJの距離を精度よく測定できる。第3の実施形態では、光検出装置4c、4d内に測距部を設けなくて済むため、光検出装置4の構造を単純化でき、光検出装置4を小型化できる。また、第1及び第2の実施形態では、光検出装置に測距部を設けて、2以上の複製ヒストグラムと再構成ヒストグラムを生成しており、光検出装置内に高性能の処理能力を持つプロセッサを設ける必要がある。これに対して、第3の実施形態では、もともと高性能の処理能力を持つAP5で2以上の複製ヒストグラムと再構成ヒストグラムを生成するため、既存の測距システムからのハードウェアの変更なしで実現できる。
 (第4の実施形態)
 第1~3の実施形態においては、露光ローテーションごとの、時間デジタル変換器41のスタートコードを固定としている。これに対して、以下に説明する第4の実施形態では、時間デジタル変換器41のスタートコードを露光ローテーションごとに変化させることで、測距精度を向上させる。
 図17Aに示すように、外乱電波が、露光ローテーション等の処理周期に同期(外乱電波の周波数f=1/処理周期)している場合、その外乱電波を定在波としてカウントが変調してしまうことがある。これにより、外乱電波によるノイズの影響によって、ヒストグラムHSThに示すような、擬似ピークが発生することがある。
 これに対し、図17Bは、処理周期ごとに、時間デジタル変換器41のスタートコードを変化させる例を示す。図17Bは、13個のビンを有するヒストグラムを生成する13Bin測距の例を示すが、ヒストグラムのビン数は任意である。図17Bの例では、第1の露光ローテーションにおいて、時間デジタル変換器41のスタートコードを0とする。すなわち第1の露光ローテーションでは、時間デジタル変換器41のカウントコードを、0から12までインクリメントして、ヒストグラムHSTiを生成する。続いて第2の露光ローテーションでは、時間デジタル変換器41のスタートコードを、例えば11とする。すなわち第2の露光ローテーションでは、カウントコードを11から12までインクリメントした後、カウントコードを0にリセットし、カウントコードを0から10までインクリメントして、ヒストグラムHSTjを生成する。これにより、外乱電波に起因する擬似ピークの位置をずらすことができる。
 ヒストグラムHSTi及びHSTjのように、ヒストグラムを生成する際の時間デジタル変換器41のスタートコードを周期的にずらしたヒストグラムを複数生成し、重ね合わせることによって、擬似ピークを分散させることができる。これにより、図17Bの右側の再構成ヒストグラムHSTLdに示すように、ヒストグラムHSTi及びHSTjのピーク以外を平坦化した再構成ヒストグラムを生成することができる。
 なお、ヒストグラムHSTjは、図11又は図13A~13Cで示す、測距部44におけるヒストグラムの加算処理において、時間デジタル変換器41のスタートコードだけオフセットして重ね合わせを行う。
 本明細書では、上記で説明した、時間デジタル変換器41のスタートコードを周期的にずらして、外乱電波に起因する擬似ピークを平坦化する処理を、リニアリティ補正と呼ぶ。
 ここで、リニアリティ補正の周期は、測距の周期に合わせる必要がある。具体的には、16Bin測距においては16Bin周期のリニアリティ補正を行う必要がある。
 図18Aでは、例えば16Bin測距及び14Bin測距で、リニアリティ補正を行わず、それぞれ同回数の露光を行う例を示す。この場合、16Bin測距のヒストグラムHSTk及び14Bin測距のヒストグラムHSTl、またヒストグラムHSTk及びHSTlを複製して重ねた再構成ヒストグラムHSTLeにおいて、外乱電波に起因する擬似ピークを平坦化できない。このため、測距精度が低下する。一方、図18Aでは、16Bin測距及び14Bin測距で露光回数が同数、すなわち16Bin測距及び14Bin測距で露光量が一定であるため、再構成ヒストグラムの最大ピーク値と二番目以降のピーク値との信号量の差は大きくなり、測距の成功確率は高くなる。
 一方、16Bin測距及び14Bin測距で、露光回数が異なる場合においても、測距精度が低下する。例えば16Bin測距において16Bin周期のリニアリティ補正を10サイクル行った場合、露光回数は160回となる。また、14Bin測距において14Bin周期のリニアリティ補正を10サイクル行った場合、露光回数は140回となる。16Bin測距及び14Bin測距で、リニアリティ補正を同じサイクル数行うと、露光回数に違いが生じる。
 図18Bは、16Bin測距及び14Bin測距で、同サイクル数のリニアリティ補正を行う例を示す。露光回数が異なるため、16Bin測距のヒストグラムHSTm及び14Bin測距のヒストグラムHSTnとの間で、ヒストグラムの生成に用いられる受光回数(信号量)に違いが生じる。
 ヒストグラムHSTm及びHSTnを重ね合わせた再構成ヒストグラムHSTLfにおいては、ヒストグラムHSTmのピーク値を顕在化でき、測距精度が向上する。ところが、16Bin測距及び14Bin測距で露光回数が異なるため、再構成ヒストグラムHSTLf内の最大ピーク値と二番目以降のピーク値との信号量の差が小さくなり、測距の成功確率が低下する。
 図18Cは、16Bin測距及び14Bin測距で、リニアリティ補正を行うとともに、露光回数を合わせた例を示す。16Bin測距のヒストグラムHSTo及び14Bin測距のヒストグラムHSTpは、外乱電波に起因する擬似ピークが平坦化されているとともに、ピーク値の受光回数が略一致している。これにより、ヒストグラムHSTo及びHSTpを重ね合わせた再構成ヒストグラムHSTLgにおいて、ピーク値が顕在化し、測距精度を向上させることができる。また、図18Aでは、16Bin測距及び14Bin測距で露光量が一定であるため、測距の成功確率も高くなる。
 露光回数は、各測距の周期の最小公倍数に応じた回数とすれば、複数のBin測距で一致させることができる。具体的には、16Bin測距、14Bin測距、12Bin測距及び10Bin測距を行う場合、各ビン数16、14、12及び10の最小公倍数1680にて、各測距の露光回数を一致させることができる。すなわち、16Bin測距を105回、14Bin測距を120回、12Bin測距を140回、10Bin測距を168回行うことで、各Bin測距の露光回数を一致させる、すなわち露光量を一定にすることができる。
 図19は、第4の実施形態における、16Bin測距の測距期間SFE1の一例を示す図である。図8で示した通り、測距期間SFE1には複数の露光ローテーションRt1が含まれる。図19では、16個の露光ローテーションRt1を1つのサイクルとする。1つのサイクル内では、露光ローテーションRt1ごとに時間デジタル変換器41のスタートコードを変化させ、リニアリティ補正を行う。このようなリニアリティ補正を含むサイクルを105回(Cycle1~Cycle105)繰り返すことで、露光回数を1680にすることができる。14Bin測距、12Bin測距及び10Bin測距も同様である。
 このように、第4の実施形態においては、時間デジタル変換器41のスタートコードを周期的にずらして、外乱電波に起因する擬似ピークを平坦化するリニアリティ補正を行うとともに、各測距ごとの露光回数を一致させる。これにより、測距の成功確率を向上させるとともに、測距精度を向上させることができる。第4の実施形態は、第1~3の実施形態のいずれにも適用することができる。
 (第5の実施形態)
 第1~4の実施形態においては、再構成ヒストグラムから、1つのピーク値を検出する方法を説明した。再構成ヒストグラムから、複数のピーク値を検出することもできる。第5の実施形態は、複数の物体OBJを測距するとき等に有効である。
 図20Aは、16Bin測距、14Bin測距、12Bin測距及び10Bin測距において、それぞれ第1ピーク値と第2ピーク値を検出する例を示す図である。すなわち、図20Aは、2つの物体OBJからの反射光パルス信号L2を受光する例を示している。図20Aに示すように、各測距におけるヒストグラムHSTqは、それぞれ第1ピーク値Peak1と第2ピーク値Peak2を有する。再構成ヒストグラムHSTLhにおいては、第1ピーク値PeakL1以外にも、ヒストグラムHSTq内の第1ピーク値Peak1の影響を受けたビンが複数存在する(例えば、DPeakL)。
 図20Bは、図20Aの第1ピーク値Peak1の影響を受けたビンが出現する理由を説明する図である。図20Bは、説明の簡略化のために、16Bin測距で生成されたヒストグラムを複製及びタイリングした複製ヒストグラムと、14Bin測距で生成されたヒストグラムを複製及びタイリングした複製ヒストグラムを合成して、再構成ヒストグラムHSTLiを生成する例を示している。図20Bの再構成ヒストグラムHSTLiは、第1ピーク値Peak1の成分が複数のビンに現れている。この場合、第2ピーク値Peak2を正しく検出できない場合がある。
 図20Cは、第5の実施形態による測距装置の処理動作を説明する図である。本実施形態では、図20Cに示すように、第1ピーク値Peak1の検出後に、16Bin測距、14Bin測距、12Bin測距及び10Bin測距の各ヒストグラムから第1ピーク値Peak1の成分を削除したヒストグラムHSTrを生成する。これらのヒストグラムHSTrを複製、タイリング、及び重ね合わせて再構成ヒストグラムHSTLjを生成することで、第1ピーク値Peak1の影響を受けることなく、第2ピーク値PeakL2を検出することができる。図20Dは、図20Bに示した複製ヒストグラムから第1ピーク値Peak1の成分を削除した上で新たに再構成ヒストグラムを生成する例を示す図である。図20Bの再構成ヒストグラムHSTLiと比較して、第2ピーク値PeakL2が再構成ヒストグラムHSTLkのピーク値となっていることがわかる。
 図21は、第5の実施形態における測距部44の処理をフローチャートである。図21に示すステップS71~S86においては、第1ピークを検出するための処理を説明する。また、ステップS91~S106においては、第2ピークを検出するための処理を説明する。
 ステップS71では、発光装置3等を駆動し、測距処理を開始する。光検出装置4は、第1のbin数周期で測距(例えば、16Bin測距)を行い、ヒストグラム生成器42が生成したヒストグラムを第1メモリ(SRAM43内の領域)に記憶する(ステップS72、S73)。同様に、ステップS74及びS75では、第2のbin数周期(例えば、14Bin周期)で生成したヒストグラムを、SRAM43内の第2メモリに記憶する。
 これを全ての発光間隔に対して行い、ステップS75及びS76では、第nのbin数周期で生成したヒストグラムを、SRAM43内の第nメモリに記憶する。
 ステップS81~S85は、図11又は図13A~13Cで説明した処理と同様の処理を行う。ステップS86において、第1ピークを有する再構成ヒストグラムのビンを取得する。ステップS87において、第2ピーク値を取得するか否かの判定を行い、取得する場合はステップS91に進む。
 ステップS91~S94においては、ステップS73等で取得したヒストグラムから、第1ピークを削除するときの、削除する信号量を決定する。
 ステップS91では、ステップS86で取得した第1ピークを有する再構成ヒストグラムのビンに対応するビンを、第1メモリに記憶したヒストグラムから取得する。また、当該ビンの信号量を取得する。
 ステップS92~S94においては、ステップS74~S77において取得されたヒストグラムについて、それぞれステップS91と同様の処理を行う。これにより、各ヒストグラムから、第1ピークに対応するビンの信号量をそれぞれ取得できる。ステップS94では、取得した信号量のうち、最小の信号量を、第1ピークの信号量とする。
 ステップS101~S105においては、ステップS81~S85と同様に再構成ヒストグラムを生成する。ただし、タイリングの前に、ヒストグラムから第1ピークを削除する。
 具体的に、ステップS101における処理を説明する。第1メモリに記憶したヒストグラムに対して、ステップS91で発見した第1ピークに対応するビンの信号量から、ステップS94で取得した第1ピークの信号量を差し引く。その後、ステップS81と同様の処理を行う。
 ステップS106では、ステップS86と同様に、第2ピークを取得する。ステップS107において、第3ピーク値を取得するか否かの判定を行い、取得する場合は、不図示の第3ピーク値の取得処理へと進む。第3ピーク値を取得する処理においても、第2ピーク値を取得する時と同様に、第1メモリ等に記憶したヒストグラムから、第2ピーク値に対応するビンの信号量を低減する処理を行う。
 このように、第5の実施形態においては、再構成ヒストグラムから第1ピーク値を取得した後、第1ピーク値を削除した再構成ヒストグラムを再生成することにより、第1ピーク値の影響を受けることなく、真の第2ピーク値を正しく検出できる。これにより、測距システム1は、それぞれ異なる場所に配置された複数の物体OBJを、一回の測距シーケンスで測距することができる。第5の実施形態は、第1~4の実施形態のいずれにも適用することができる。
 (第6の実施形態)
 本開示の時間デジタル変換器41には、カウント信号伝搬に伴う電源揺動を抑制するために、グレイコードを用いることができる。図22は、第6の実施形態における時間デジタル変換器41a及びヒストグラム生成器42aを示す図である。図23は後述するグレイコードカウンタが出力するグレイコードを示す図である。
 グレイコードは、図23に示すように複数ビットからなり、そのうちの1ビットのみが遷移するようにしたコードである。グレイコードの各ビットは別々の配線に接続されるため、グレイコードを用いることで、グレイコードが遷移する際のビット遷移量を最小限に抑制でき、消費電力を削減できる。
 時間デジタル変換器41aは、グレイコードカウンタ(Gray Code Counter)101及び複数のラッチ部102を備える。ヒストグラム生成器42aは、GT(Gray to Thermo)変換部103及びビンカウンタ104を備える。
 画素30は、SPAD等などの光電変換素子105を含む画素回路から構成されている。光電変換素子105は、受光した光に応じた電荷を生成する。画素回路は、光電変換により生じた電荷に応じた受光信号Vrcvを時間デジタル変換器41aに供給する。
 グレイコードカウンタ101は、測距制御部26から供給される計測開始信号及びクロック信号Vclkに基づき、例えば図23に示すように4ビットのグレイコードを、複数のラッチ部102に出力する。
 複数のラッチ部102は、画素30から受光信号Vrcvが供給されたタイミングで、グレイコードをラッチする。ラッチされたグレイコードは、デジタル信号Vcntとして、ヒストグラム生成器42aに供給される。
 ヒストグラム生成器42a内のGT変換部103は、グレイコードを受光時刻データに変換する、露光ローテーションの周期ごとに異なる複数の変換テーブルを有する。GT変換部103は、ラッチ部102から取得したグレイコードを、そのときの露光ローテーションの周期に応じた変換テーブルによって変換し、ビン番号を取得する。GT変換部103は、取得したビン番号に対応するビンカウンタ104に、カウンタインクリメント信号Vincを供給する。
 各ビンカウンタ104は、対応するカウンタインクリメント信号Vincが供給されると、カウント値をインクリメントする。
 このように、ヒストグラム生成器42aでヒストグラムを生成する際には、受光データの数をビンごとに蓄積して受光頻度データを生成する処理を行う必要があり、各ビンの受光データをヒストグラム生成器42aに送信する際にグレイコードを使用することで、時間デジタル変換器41aとヒストグラム生成器42a間の信号遷移量を削減でき、消費電力を抑制できる。
 16Bin測距、14Bin測距、12Bin測距、及び10Bin測距のそれぞれで、使用するビン数が異なるため、図23に示すように、各Bin測距では、4ビットのグレイコードの遷移範囲のうち、それぞれ異なる連続範囲を使用する。16Bin測距では、図23のBin番号0~15の遷移範囲の16個のグレイコードを使用する。他のBin測距では、16Bin測距が使用するグレイコードの遷移範囲のうち一部の連続範囲を使用し、使用する連続範囲内の各グレイコードに、Bin番号0から連番の番号を割り当てる。
 図24Aは、14Bin測距に応じたグレイコードの遷移範囲を示している。時間デジタル変換器41aは、14Bin測距では、図23のグレイコード0001~1001の連続範囲を使用し、この連続範囲にBin番号0~13を割り当てる。よって、ヒストグラム生成器42a内のGT変換部103が有する14Bin測距に応じた変換テーブルは、図24Aの14個のグレイコードを、Bin番号0~13に対応する14個のビンカウンタ104に対応づける。
 同様に、図24Bは12Bin測距に応じたグレイコードの遷移範囲、図24Cは10Bin測距に応じたグレイコードの遷移範囲を示す図である。14Bin測距に応じた変換テーブルと同様に、12Bin測距に応じた変換テーブル又は10Bin測距に応じた変換テーブルは、図24B又は図24Cのグレイコードを、12個又は10個のビンカウンタ104に対応づける。
 このように、第6の実施形態においては、時間デジタル変換器41aにグレイコードカウンタ101を設けるとともに、ヒストグラム生成器42aにGT変換部103を設けるため、時間デジタル変換器41aからヒストグラム生成器42aへのビンごとのデジタル信号の信号遷移量を最小限に抑制でき、電源電圧の揺動を抑制できるとともに、消費電力の削減が図れる。
 (第7の実施形態)
 第1~第6の実施形態では、再構成ヒストグラムに基づいて真のピークを抽出している。また、第1~第6の実施形態では、2以上の複製ヒストグラムをビンごとに合算して、再構成ヒストグラムを生成しているが、再構成ヒストグラムは、他の手法で生成してもよい。
 図4Dに示すように、真のピークは、全ての複製ヒストグラムがピークを有する箇所に存在する。一方、偽のピークは、少なくとも1つの複製ヒストグラムがピークを持たない箇所に存在する。これらの特徴に基づいて、真のピークを探索することができる。
 図25Aは、第7の実施形態に係る再構成ヒストグラムの生成を説明する図である。図25Aの左側には、4つの複製ヒストグラムGHSTa、GHSTb、GHSTc、GHSTdが図示されている。複製ヒストグラムGHSTa、GHSTb、GHSTc、GHSTdはそれぞれ、4つの異なるBin周期の測距ModA、ModB、ModC、ModDにより生成されたヒストグラムを複数個タイリング(複製)したものである。上述のように、4つの複製ヒストグラムはいずれも同じ数のビンを有する。複製ヒストグラムGHSTa~GHSTdの横軸はビン番号(Bin)を示し、縦軸はビン番号ごとのカウント値(Count)を示している。
 また、図25Aの右側には、4つの複製ヒストグラムGHSTa~GHSTdの各ビンのカウント値を大きさ順に並べたカウント順ヒストグラムSHST1、SHST2、SHST3、SHST4が図示されている。カウント順ヒストグラムSHST1~SHST4の横軸はビン番号(Bin)を示し、縦軸はビン番号ごとのカウント値(Count)を示している。複製ヒストグラムGHSTa~GHSTdの各ビンのカウント値は、大きさ順に、カウント順ヒストグラムSHST1~SHST4のいずれかに割り振られる。すなわち、カウント順ヒストグラムSHST1は、各ビンの最大のカウント値を集めて生成され、カウント順ヒストグラムSHST2は、各ビンの2番目に大きなカウント値を集めて生成され、複製ヒストグラムSTST3は、各ビンの3番目に大きなカウント値を集めて生成され、複製ヒストグラムSTST4は、各ビンの最小のカウント値を集めて生成される。
 例えば、複製ヒストグラムGHSTa、GHSTb、GHSTc、GHSTdには、同一のビン番号を有するビンbHSTa、bHSTb、bHSTc、bHSTdがそれぞれ含まれる。ビンbHSTa~bHSTdのうち、最大のカウント値を有するビンbHSTdはカウント順ヒストグラムSHST1に割り振られ、2番目のカウント値を有するビンbHSTcはカウント順ヒストグラムSHST2に割り振られ、3番目のカウント値を有するビンbHSTaはカウント順ヒストグラムSHST3に割り振られ、最小のカウント値を有するビンbHSTbはカウント順ヒストグラムSHST4に割り振られる。ビンbHSTdは複製ヒストグラムGHSTdにおけるピークであるため、カウント順ヒストグラムSHST1の該当のビンにはピークが現れる。一方、ビンbHSTbは複製ヒストグラムGHSTbにおけるピークではないため、カウント順ヒストグラムSHTS4の該当のビンにはピークが現れない。
 図25Bは、図25Aに示した複製ヒストグラムGHSTa~GHSTdとカウント順ヒストグラムSHST1~SHST4との関係を示す図である。また、図25Bには複製ヒストグラムGHSTa~GHSTdにはそれぞれ、ModAの第1ピークPHSTa1(A)、ModBの第1ピークPHSTb1(B)、ModCの第1ピークPHSTc1(C)、ModDの第1ピークPHSTd1(D)が図示されている。第1ピークとは、複製ヒストグラムGHSTa~GHSTdの同一ビンでの最大カウント値である。上述の通り、第1ピークPHSTa1~PHSTd1は、複製ヒストグラムGHSTa~GHSTdにそれぞれ複数存在しうる。また、図25Bには真の第1ピークPHST1が図示されている。
 すべてのMODの第1ピークが揃うタイミングが真の第1ピークである。本実施形態では、すべてのMODでピークが出現し、かつピークのカウント値が最小のカウント順ヒストグラムを再構成ヒストグラムRHSTとして使用することにより、真の第1ピークを検出する。
 カウント順ヒストグラムSHST1には最大のカウント値を有するビンが割り振られるため、第1ピークPHSTa1~PHSTd1の多くは、カウント順ヒストグラムSHST1に現れる。また、カウント順ヒストグラムSHST1には真のピークと偽のピークとが混在している。
 2番目のカウント値を有するビンが割り振られるカウント順ヒストグラムSHST2には、2番目のカウント値を有するピークが存在しなければ、ピークが現れない。したがって、カウント順ヒストグラムSHST2には、同じビン番号に少なくとも2つのピークが存在していなければ、ピークが現れない。同様に、カウント順ヒストグラムSHST3には、同じビン番号に少なくとも3つのピークが存在していなければ、ピークが現れない。
 カウント順ヒストグラムSHST4には、全ての複製ヒストグラムGHSTa~GHSTdが同じビン番号でピークを有している場合にのみ、ピークが現れる。すなわち、図4Dに示すカウント順ヒストグラムSHST4に現れるピークが、真のピークである。よって、最小のカウント値を有するビンが割り振られるカウント順ヒストグラムSHST4に基づいて、再構成ヒストグラムRHSTを生成することができる。
 また、図25Bの複製ヒストグラムGHSTa、GHSTb、GHSTc、GHSTdにはそれぞれ、ModAの第2ピークPHSTa2(A’)、ModBの第1ピークPHSTb2(B’)、ModCの第1ピークPHSTc2(C’)、ModDの第1ピークPHSTd2(D’)が図示されている。すべてのMODの第2ピークが揃うタイミングが真の第2ピークである。これらの第2ピークPHSTa2、PHSTb2、PHSTc2、PHSTd2に基づいて、同様に、カウント順ヒストグラムSHST4上で真の第2ピークPHST2を検出できる。なお、図20A~20Cで説明したように、複製ヒストグラムGHSTa~GHSTdから第1ピークPHSTa1~PHSTd4の影響をあらかじめ除去した状態で、真の第2ピークPHST2の検出処理を行ってもよい。
 なお、再構成ヒストグラムRHSTにおいて、真の第1ピークのカウント値は真の第2ピークのカウント値よりも大きくなる。
 図25Bで説明するように、第7の実施形態においては、2以上の複製ヒストグラムGHSTa~GHSTdのそれぞれが受光頻度のピーク値を持つ同一のビンを検索し、検索されたビンにおける最小のカウント値(ピーク値)に基づいて、再構成ヒストグラムRHSTを生成する。本明細書では、上記のように最小のカウント値によって再構成ヒストグラムRHSTを生成する方式を、LCP(Least Count Pickup)方式と呼ぶ。また、第1~第6の実施形態における、2以上の複製ヒストグラムをビンごとに合算して再構成ヒストグラムを生成する方式を、加算方式と呼ぶ。
 図6の再構成ヒストグラムHSTLaと比べて、図25Aの再構成ヒストグラムRHSTは偽のピークの影響が除去されるため、真のピーク(真の第1ピークPHST1、真の第2ピークPHST2、真の第3ピークPHST3)を精度よく検出できる。
 図26は、第7の実施形態に係る測距部44bの構成を示すブロック図である。測距部44bは、最小探索部(Min-Search)111と、複数の重み付け部112と、メモリ部113を有する。最小探索部111と複数の重み付け部112とは、例えば複製ヒストグラム生成器45内に配置される。メモリ部113は、例えばSRAM46内に配置される。
 測距部44bには、複数のメモリ部114から、それぞれ各ビンのデータが入力される。複数のメモリ部114は、それぞれ異なるBin周期の測距で生成される各ビンのデータを記憶するメモリであり、例えばSRAM43内に配置される。図26の例では、ModA~ModDに対応する4つのメモリ部114を有する。ModAに対応するメモリ部114は、例えば時間デジタル変換器41のカウントコードiをBin数Aで割った余りに基づくカウント値Ca[i%A]を記憶する。同様に、ModB、ModC、ModDに対応するメモリ部114には、カウント値Cb[i%B]、Cc[i%C]、Cd[i%D]を記憶する。
 最小探索部111は、各ビンのデータをカウント値でソートし、カウント値の大きいものから順に、カウント信号C1、C2、C3、C4に振り分ける。複数(図26の例では、4つ)の重み付け部112は、カウント信号C1~C4がそれぞれ入力される。また、重み付け部112には、カウント信号C1、C2、C3、C4に乗じる重み係数w1、w2、w3、w4が入力される。メモリ部113は、重み付け部112に重み付けされたカウント信号C1~C4を記憶する。
 上述したLCP方式を採用する場合、重み係数は、例えばw1=w2=w3=0、w4=1に設定される。これにより、カウント信号C1~C3の有するカウント値が無視されて、カウント信号C4に基づいて、再構成ヒストグラム(例えば、図25Bの再構成ヒストグラムRHST)が生成される。なお、測距部44bは、重み係数を調整することで、カウント信号C1~C3の有するカウント値の情報を反映させて、再構成ヒストグラムを生成してもよい。大きさ順に応じて重み付けされたカウント値に基づいて、再構成ヒストグラムを生成する方式は、拡張LCP方式とも呼ばれる。または、測距部44bは、重み付け部112を省略し、最小探索部111が抽出したカウント信号C4をメモリ部113に直接入力してもよい。
 このように、第7の実施形態においては、複数の複製ヒストグラムの同一ビンにピークが出現する場合に、そのうちの最小のカウント値を持つ複製ヒストグラムに基づいて再構成ヒストグラムを生成するため、小さいカウント値で真のピークを検出できることからカウンタの回路規模を削減できるとともに、偽のピークの誤検出のおそれを回避できる。第7の実施形態で説明したLCP方式は、第1~6の実施形態のいずれにも適用することができる。
 (第8の実施形態)
 本開示の測距システム1は、特定の発光装置から発光されて物体で反射された反射光を繰り返し受光して生成されたヒストグラムのピークを検出して測距処理を行うことを前提としているが、特定の発光装置以外の未知の発光体からの光が直接、あるいはこの光が物体で反射された反射光が受光されるおそれがある。未知の発光体からの光に起因する受光光は干渉光であり、測距精度に悪影響を与えかねないため、干渉光の影響を抑制する必要がある。
 図27は、第8の実施形態に係る測距システム1の干渉光の影響を抑制する手法を説明する図である。上述したように、本開示の測距システム1は、周期性のある反射光パルス信号を繰り返し受光して生成されるヒストグラムのピークに基づいて、測距対象の物体との距離を測定する。したがって、周期性のない干渉光はピークを生成せず、測距には影響を与えない。また、干渉光に周期性がある場合でも、図27に示すように、測距システム1の発光周期と干渉光の発光周期が異なる場合は、干渉光によるカウント値成分はヒストグラム全体に拡散される。これにより、干渉光によるピークは真のピークに対して十分に小さくなるため、測距には影響を与えない。
 したがって、測距に影響を与えうる干渉光として想定されるのは、本開示の測距システム1の発光周期と同じ発光周期を有する干渉光である。より具体的には、本開示の測距システム1が2つ以上存在するときに、互いに影響を与え合うことが想定される。図27は、本開示の第8の実施形態に係る測距システム1(System_1)が他の測距システム(System_2)の発光周期と異なる発光周期で測距を行う例を示す。より具体的には、System_2がModBの測距を行っているときに、System_1はModBとはBin周期の異なるModAの測距を行う。これにより、System_1はSystem_2から受ける干渉光の影響を抑制できるとともに、System_1からSysem2に与える干渉光の影響を抑制することもできる。なお、本明細書ではBin周期のことをMODと呼ぶことがある。
 第8の実施形態に係る測距システム1は、上述した干渉光の影響を抑制する干渉抑制部120を備える。干渉抑制部120は、例えば、図1の制御部22に内蔵される。あるいは、制御部22とは別個に設けられてもよい。
 図28は、第8の実施形態に係る干渉抑制部120を示すブロック図である。干渉抑制部120は、干渉検出部121、同期判定部122、及び周期検出部123を有する。干渉検出部121は、未知の光パルス信号(すなわち、図27の干渉光)による干渉の有無を検出する。同期判定部122は、干渉検出部121にて干渉が検出されると、干渉光の周期切替に同期させることが可能か否かを判定する。周期検出部123は、干渉光の複数の周期の切替順序を検出する。干渉検出部121、同期判定部122、及び周期検出部123は、ヒストグラム生成器42に対して、干渉光を検出するためのヒストグラムを生成させる。
 また、干渉検出部121、同期判定部122、及び周期検出部123は、干渉光の影響を回避するために、発光タイミング制御部23に対して、発光装置3の発光タイミングを制御させる。発光タイミング制御部23は、図27で説明するように、干渉光の発光周期と異なる発光周期、すなわち、干渉光の複数の時間間隔とは異なる時間間隔で、発光装置3を繰り返し発光させる。または、発光タイミング制御部23は、干渉光の複数の時間間隔の並び(すなわち、周期の切替順序)とは異なる並び(周期の切替順序)で、発光装置3を繰り返し発光させる。
 図29は、第8の実施形態に係る干渉光の抑制手法を実現するフローチャートである。まず、第8の実施形態に係る測距システム1は、測距を開始する前に、Listenモードに設定される(ステップS121)。Listenモードでは、発光装置3による発光を停止させるとともに、光検出装置4は受光処理を行って、未知の光パルス信号(すなわち、干渉光)を検出する。ステップS121においては、例えば図28の干渉検出部121が、発光タイミング制御部23に発光装置3の発光を停止させるとともに、干渉光の有無を測距制御部26に監視させる。
 干渉検出部121は、干渉光の有無の判定を行う(ステップS122)。ここで、干渉光とは、上述したように、周期的に受光される光であり、周期性のない受光光は干渉光とはみなされない。干渉光が検出されない場合、測距システム1は通常測距モードに設定される(ステップS123)。具体的には、発光装置3が発光を開始するとともに、光検出装置4によって通常の多周波測距が行われる。通常の多周波測距とは、第1~第7の実施形態のいずれかによる測距である。
 ステップS122で干渉光が検出された場合、同期引き込みが行われる(ステップS124)。同期引き込みとは、干渉光の周期を特定する処理を指す。同期判定部122は、干渉光のいずれかの周期に、測距システム1の特定のMODの周期を同期させることを試みる。干渉光のいずれかの周期が、測距システム1の特定のMODの周期と同一であれば、両者の位相を揃えることで同期は可能である。同期判定部122は、同期引き込みの成否を判定する(ステップS125)。
 ステップS125で同期引き込みが成功した場合、これに基づいて干渉光のさらなる解析が行われる。周期検出部123は、干渉光が複数の周期を順繰りに切り替えている場合には、その切替順序を検出する(ステップS126)。この処理は、干渉光が本開示に係る測距システムと同様の切替順で複数の周期を切り替えて測距を行っているか否かを検出するために行われる。この処理は、他機のMODの切替順序(以下、MOD順)を検出することから、他機MOD順序検出モードとも呼ばれる。
 他機MOD順序検出モードにおいて、干渉抑制部120は、測距システム1のMOD順を変更しながら干渉の程度を確認することで、他機のMOD順を検出する。まず、ステップS126で設定されたMOD順により、周期検出部123が他機のMOD順の検出を成功したか否かが判定される(ステップS127)。
 周期検出部123が他機のMOD順の検出に成功した場合、干渉抑制部120は、他機のMOD順に基づいて測距システム1のMOD順を変更する(ステップS128)。ここでは、他機のMOD順と相違するように測距システム1のMOD順を変更する。測距システム1のMOD順を他機のMOD順と相違させることで、干渉光の影響を回避することができる。
ステップS128の測距モードは、他機同期MOD順変更測距モードとも呼ばれる。
 ステップS127において周期検出部123が他機のMOD順の検出に失敗した場合、干渉抑制部120は、全てのMOD順で他機MOD順の検出が行われたかを判定する(ステップS129)。まだ他機MOD順の検出が行われていないMOD順がある場合、干渉抑制部120は、測距システム1のMOD順を、他機MOD順の検出がまだ行われていないMOD順に変更する(ステップS130)。これにより、再び周期検出部123が他機MOD順の検出を行うとともに、ステップS127の判定が行われる。
 ステップS127~S130は、他機のMOD順の検出に成功するか、全てのMOD順で他機MOD順の検出が失敗するまで繰り返される。ステップS129で全てのMOD順で他機MOD順の検出が行われたと判定された場合は、他機MOD順の特定に失敗したものとみなされる。
 ステップS125で同期引き込みが失敗した場合、又は、他機MOD順の特定に失敗した場合、同期判定部122は他機との同期が不可能と判定する。これにより、測距システム1は干渉緩和測距モードでの測距を行う。具体的には、測距システム1はMOD順、MODの切替間隔をランダム化して測距を行うことで、他機からの測距への干渉を緩和させる。
 図30A及び図30Bは、図29のステップS121で実行されるListenモードの詳細を説明する図である。図30Cは、図29のステップS124で実行される同期引き込みの詳細を説明する図である。図30A~30Cは、本開示の第8の実施形態に係る測距システム1(System_1)と、他の測距システム(System_2)の周期との周期切替タイミングを図示する。System_1とSystem_2とは、それぞれBin周期が異なる(すなわち、PRIも異なる)ModA、ModB、ModCを切り替えながら測距を行う。ModA、ModB、ModCは、この順でBin周期(及び、PRI)が長いものとする。なお、本明細書では、ModA~ModCがそれぞれ1つずつ含まれる一連の測距期間を、MODサイクルとも呼ぶ。
 また、System_1(及び、System_2)では、ModA~ModCの各MOD周期(露光期間)Remを同一としている。これにより、後述の同期引き込みにおいて、MOD切替のタイミングをSystem_1とSystem_2とで同期させることができる。なお、ModCはModAよりも1つのPRIが短いため、PRI数が増えてしまう。PRI数の違いによる影響は、例えばカウント値の重み付け等により補正できる。
 図30Aにおいては、System_1は、測距を開始する前に、ステップS121のListenモードに設定される。Listenモードにおいて、System_1は発光装置3の発光を停止させている状態で、複数のBin周期のうち、いずれか一つのBin周期を用いて干渉光の検出を行う。Listenモードでは、いずれか一つのMOD周期を繰り返し使用してヒストグラムを生成する。図30Aの例では、System_1はModAと同じBin周期のModAa、ModAb、ModAcで干渉光の検出を行っている。ModAa、ModAb、ModAcはそれぞれ独立してカウント値を蓄積し、それぞれ独立してヒストグラムを生成する。図30Aでは、System_2が先行して通常の多周波測距を行っている。このため、ModAa~ModAcでは、System_2からの干渉光に基づいて、ヒストグラムが生成される。
 Listenモードにおいては、System_1は、ModAの代わりに、ModB又はModCと同じBin周期で干渉光の検出を行ってもよい。なお、露光無駄の削減及び同期誤差の低減のためには、最もBin周期が長く、かつPRI数が少ないBin周期(すなわち、図30AではModAのBin周期)で干渉光の検出動作を行うのが効率的である。
 図30Aに示すように、System_2がModAの光を発光している期間は、System_1とSystem_2とでBin周期が同一となり、干渉を受ける期間(以下、他機干渉期間)である。図30Aの例では、ModAbにおける期間RAbとModAcにおける期間RAcが、他機干渉期間である。ModAaには、他機干渉期間が存在しない。
 期間RAb及びRAcを合算すると、System_2のModAの露光期間Remと一致する。System_1のMOD切替の周期は、System_2のMOD切替の周期と比較して、間隔Demだけズレがある。露光期間Remのうち、どれだけの期間が期間RAb(又は、期間RAc)に割り当てられるかは、間隔Demの長さに応じて変化する。なお、間隔Demは、図30Aに示す通り期間RAcと同一の長さである。
 図30Bは、ModAa~ModAcにおいて生成されるヒストグラムのピークを示す図である。他機干渉期間のあるModAb及びModAcにおいては、ピークPAb、ピークPAcが発生する。他機干渉期間のないModAaでは、ピークが発生しない。
 Listenモードでは、図29のステップS122に示したように、複数のMODで生成された複数のヒストグラムがピークを有するか否かによって、干渉光の有無が検出される。Listenモードで生成された複数のヒストグラムのいずれもがピークを有していない場合、他機干渉期間が存在せず、すなわち干渉光がないことがわかる。この場合、図29のステップS123に示したように、測距システム1は通常測距モードに設定される。また、複数のヒストグラムのうちの1つでもピークを有している場合は、干渉光があることが検出できる。
 図30Bにおいては、ピークPAb、PAcにより、System_1はModAのBin周期と同一の発光周期を有する干渉光があることが検出できる。
 System_1は、図29のステップS124に示したように、干渉光があることが検出された場合、図30Bのヒストグラムに基づいて同期引き込みを行う。System_1は、Listenモードで生成された複数のピークから、干渉光との周期切替タイミングのズレを検出するとともに、検出されたズレに基づいて干渉光と周期切替タイミングを同期させる。
 図30Bに示す、ピークPAb及びPAcはそれぞれ、他機干渉期間RAb、RAcの長さに応じたカウント値(以下、ピークカウント値)CnAb、CnAcを有する。System_1は、ピークカウント値CnAb、CnAcの差分から他機干渉期間RAb、RAcを検出できるとともに、干渉光との周期切替タイミングのズレである間隔Demを検出できる。
 図30Cは、同期引き込みを示す図である。System_1は、図29のステップS125に示したように、同期引き込みの成否を確認するため、Listenモードと同様に、複数のMOD周期の干渉光を検出し複数のヒストグラムを生成する。同期引き込みに成功している場合、複数のMOD周期のうちの1つのみが他機干渉期間を有し、複数のヒストグラムのうちの1つのみがピークを有する。図30Cの例では、ModAa~ModAcのうちModAbのみが他機干渉期間を有し、ModAbのみがヒストグラムにピークPAが出現する。また、ピークPAは、露光期間Remに応じたピークカウント値を有する。
 複数のヒストグラムのうち2以上のヒストグラムがピークを有している場合は、同期引き込みは失敗である。同期引き込みに失敗した場合、System_1は後述の干渉緩和測距モードでの測距を行う。なおSystem_1は、同期引き込み後に検出されたピークが、露光期間Remに応じた所定の閾値以上のピークカウント値を有するか否かによって、同期引き込みの成否を判定してもよい。
 図31A及び図31Bは、図29のステップS126、S127に示したように、他機MOD順序検出モードを説明する図である。System_1は、発光装置3の発光を停止させている状態で、ModA~ModCによって干渉光の検出を行う。また、System_1は、ModA~ModCの順序を種々に入れ替えて、ModA~ModCのそれぞれごとにヒストグラムを生成する。System_1が入れ替えた特定のMOD順がSystem_2のMOD順と一致すると、図31Aに示すように、各MOD周期に対応する3つのヒストグラムのいずれでもピークが検出される。すなわち、3つのヒストグラムのそれぞれでピークが検出された場合のSystem_1のMOD順は、System_2のMOD順と同じである。これにより、他機MOD順序検出モードでは、System_2のMOD順を容易に検出できる。
 図31Bは、他機MOD順序検出モードの失敗例を示す図である。図31Bは、System_1とSystem_2は異なるMOD順を有する例を示す。より具体的には、ModA~ModCのうち、ModAについては順番が同じだが、ModB及びModCの順番が異なっている。これにより、ModAのみが他機干渉期間を有し、ModAのみで、ヒストグラムにピークが出現する。System_1は複数のヒストグラムのうち、1つでもピークを有していないヒストグラムがある場合、図29のステップS130に示したように、MOD順を変更して再び干渉光の検出と、複数のヒストグラムの生成を行う。
 なお、System_1はランダムにMOD順を変更してもよいし、ヒストグラムにピークが出現しなかったMOD(図31Bでは、ModB及びModC)のみMOD順を変更してもよい。また、System_1は図30Cの同期引き込みのピークを確認することにより、ModAの順番をあらかじめ特定してもよい。例えば、図30CではModAはModAbの位置にあると特定できる。
 System_1は、MOD順の変更と各MOD周期でのヒストグラムのピークの検出と、を繰り返す。MOD順の全ての組み合わせで、図31Aに示すような他機MOD順序検出の成功が確認できなかった場合、図29のステップS129に示したように、Sysytem_1は他機MOD順序検出に失敗したと判断する。この場合、System_1は干渉緩和測距モードでの測距を行う。
 上記のように、測距システム1は、発光装置3が発光していない状態でヒストグラム生成器42が生成するヒストグラムを用いることで、干渉光の有無の検出、同期引き込み及び他機のMOD順の検出ができる。
 図32は、図29のステップS128に示した他機同期MOD順変更測距モードを示す図である。System_1は、図31Aに示すように、他機MOD順序検出モードによってSystem_2のMOD順を検出すると、図32に示すように、System_2のMOD順をずらしてSystem_1に適用する。具体的には、System_1は、図32に示すように、System_2のMOD順を1つのMOD周期分ずらしたMOD順を用いて発光装置3を発光させる。
 なお、他機MOD順序検出モードで、ModA~ModCの全てでピークを有さない(すなわち、他機のMOD順とは異なる)MOD順が検出された場合、System_1はそのMOD順を用いて発光装置3を発光させてもよい。上記の通り、測距システム1は、周期検出部123で検出された他機のMOD順を時間的にずらしたMOD順、又は検出された他機のMOD順とは異なるMOD順で、多周波測距を行う。
 図33は、干渉緩和測距モード(図29のステップS131)を示す図である。同期引き込み又は他機MOD順序検出に失敗した場合、System_1における複数のMOD周期をそのまま使用すると、System_2との干渉の影響を少なからず受けるおそれがある。
 この場合、System_1はMOD順とMOD周期を固定にせずにランダム化して測距を行う。これにより、System_1は他機干渉期間を細かく拡散させ、他機干渉を緩和させる。図33の例では、System_1は、ModAでMOD周期がランダム化されたModA~ModAlと、ModBでMOD周期がランダム化されたModB~ModBと、ModCでMOD周期がランダム化されたModC~ModCとを、ランダムに切り替えながら測距を行う。また、ModA~ModAl、ModB~ModB、ModC~ModCは、それぞれランダムな露光期間及びPRI数を有する。
 なお、干渉緩和測距モードにおいては、ModA~ModCで生成されるヒストグラムの受光頻度の総数に差が生じないように、PRI数の総数を同じとする。具体的には、ModA~ModAlのPRI数の総和、ModB~ModBのPRI数の総和、ModC~ModCのPRI数の総和は、全て同じになるように調整する。
 干渉緩和測距モードでは、発光タイミング制御部23は、干渉光との干渉が緩和されるように、発光装置3の発光タイミングを制御する。上記の通り、発光装置3は、複数のヒストグラムを生成するのに用いられる光パルス信号の総数が等しくなるように、複数の光パルス信号のそれぞれの発光期間をランダム化する。
 干渉緩和測距モードは、System_1と同様にランダムなMOD順、MODの切替間隔で多周波測距を行うSystem_2a、一律なMod順序とMod切替間隔で多周波測距を行うSystem_2b、又は単一のBin周期Xで通常方式の測距を行うSystem_2cのいずれに対しても、System_1の測距への干渉を緩和させることができる。
 このように、本開示の第8の実施形態に係る測距システム1では、まず、特定のMOD周期に設定した状態で、干渉光を繰り返し受光して、干渉光が特定のMOD周期を有するか否かを検出する。干渉光が特定のMOD周期を有する場合には、同期引き込みを行った後、干渉光における複数のMOD周期の切替順序を検出する。干渉光における複数のMOD周期の切替順序が検出できたら、干渉光とは異なるMOD周期に切り替えて第1~第7の実施形態と同様の測距処理を行う。これにより、本開示に係る測距システムと同様に複数のMOD周期を切り替える干渉光が受信される環境下でも、干渉光の影響を受けることなく、高精度の測距処理を行うことができる。
 (応用例)
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図34は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図34に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図34では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図35は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図35には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図34に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図34の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図34に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 なお、本実施形態に係る測距部44の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 また、図1を用いて説明した測距システム1の少なくとも一部の構成要素は、図34に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。
 なお、本技術は以下のような構成を取ることができる。
 (1)第1時間間隔で発光された第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
 前記第1時間範囲内に受光された前記第1反射光パルス信号の受光頻度を予め定めた固定の単位期間ごとに分類した第1ヒストグラムを生成するとともに、前記第2時間範囲内に受光された前記第2反射光パルス信号の受光頻度を前記単位期間ごとに分類した第2ヒストグラムを生成するヒストグラム生成器と、を備える、光検出装置。
 (2)前記第1ヒストグラムを前記第1時間間隔に応じた第1個数分複製した第1複製ヒストグラムを生成するとともに、前記第2ヒストグラムを前記第2時間間隔に応じた第2個数分複製した第2複製ヒストグラムを生成する複製ヒストグラム生成器を備える、
(1)に記載の光検出装置。
 (3)前記受光部は、それぞれ異なる前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔で発光された2以上の光パルス信号が前記物体で反射された2以上の反射光パルス信号を、それぞれ異なる2以上の時間範囲内に受光し、
 前記ヒストグラム生成器は、前記2以上の時間範囲内に受光された前記2以上の反射光パルス信号の受光頻度を前記単位期間ごとに分類した2以上のヒストグラムを生成し、
 前記複製ヒストグラム生成器は、前記2以上のヒストグラムのそれぞれを、対応する前記時間間隔に応じた個数分複製した2以上の複製ヒストグラムを生成し、
 前記ヒストグラム生成器が生成する前記2以上のヒストグラムは、前記第1ヒストグラム及び前記第2ヒストグラムを含み、
 前記複製ヒストグラム生成器が生成する前記2以上の複製ヒストグラムは、前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含む、
(2)に記載の光検出装置。
 (4)前記受光部は、第1方向及び第2方向に2以上ずつ配置される複数の画素を有し、
 前記複数の画素のそれぞれは、前記2以上の時間範囲内に前記2以上の反射光パルス信号を受光する、
(3)に記載の光検出装置。
 (5)前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記2以上の時間間隔の数とを含み、
 前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数及び前記複数の画素の数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含む、
(4)に記載の光検出装置。
 (6)前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記複数の画素の数及び前記2以上の時間間隔の数とを含み、
 前記パケットは、画素位置を示す情報を含むヘッダと、前記2以上のヒストグラムのうち対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含む、
(4)に記載の光検出装置。
 (7)前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含む前記2以上の複製ヒストグラムのそれぞれのピーク位置に対応する受光時刻が一致する場合の前記受光時刻、又は前記2以上の複製ヒストグラムのビン数を揃えて合成した再構成ヒストグラムの最大ピーク位置に対応する受光時刻に基づいて前記物体の距離を計測する測距部を備える、
(4)乃至(6)のいずれか一項に記載の光検出装置。
 (8)前記測距部は、前記2以上の複製ヒストグラムをビンごとに合算して、前記再構成ヒストグラムを生成する、
(7)に記載の光検出装置。
 (9)前記2以上の複製ヒストグラムのそれぞれは、同じ数のビンを有し、
 前記測距部は、前記2以上の複製ヒストグラムのそれぞれが受光頻度のピーク値を持つ同一のビンを検索し、検索されたビンにおける最小のピーク値に基づいて、前記再構成ヒストグラムを生成する、
(7)に記載の光検出装置。
 (10)前記第1方向に配置される2以上の前記画素からなる第1画素群ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
 前記複数の時間デジタル変換器のそれぞれは、対応する前記第1画素群内の各画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を順に生成し、
 前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で順に生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成する、
(4)乃至(9)のいずれか一項に記載の光検出装置。
 (11)前記第2方向に配置される2以上の前記画素からなる第2画素群が、前記第1方向に複数配置されており、
 複数の前記第2画素群が順に選択されて、選択された前記第2画素群内の各画素は、前記2以上の反射光パルス信号に応じた受光信号を並行して前記複数の時間デジタル変換器に入力する、
(10)に記載の光検出装置。
 (12)前記選択された前記第2画素群内の各画素は、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された前記第2画素群内の各画素の受光信号は並行して前記複数の時間デジタル変換器に入力される、
(11)に記載の光検出装置。
 (13)前記画素ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
 前記複数の時間デジタル変換器のそれぞれは、対応する画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を生成し、
 前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成する、
(4)乃至(9)のいずれか一項に記載の光検出装置。
 (14)前記複数の画素のそれぞれは、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された各画素の受光信号は並行して前記複数の時間デジタル変換器に入力される、
(13)に記載の光検出装置。
 (15)前記時間デジタル変換器は、受光時刻に応じたグレイコードを出力し、
 前記ヒストグラム生成器は、前記グレイコードを受光時刻データに変換する変換テーブルを有する、
(10)乃至(14)のいずれか一項に記載の光検出装置。
 (16)前記2以上の時間間隔の最小公倍数に応じた数のビン数を持つ前記2以上の複製ヒストグラムを記憶する記憶部を備える、
(3)乃至(15)のいずれか一項に記載の光検出装置。
 (17)前記2以上の時間間隔のうち最大の時間間隔に対応する前記ヒストグラムのビン数に応じた記憶容量を有する記憶部を備える、
(3)乃至(15)のいずれか一項に記載の光検出装置。
 (18)前記最大の時間間隔に対応する前記ヒストグラムを1単位として前記記憶部に記憶するとともに、前記最大の時間間隔を除く前記2以上の時間間隔に対応する前記ヒストグラムを前記1単位に拡張して前記記憶部に記憶するビン拡張部と、
 前記2以上の時間間隔に対応する前記2以上のヒストグラムを前記1単位ずつ含む前記記憶部の記憶領域内で、前記2以上のヒストグラムのピークの受光時刻が一致する場所を検出する処理を複数の前記1単位ごとに繰り返すピーク検出部と、
 前記複数の1単位の中から前記ピークの最大値を検出する最大ピーク検出部と、
 前記ピークの最大値が、対応する前記記憶領域内の中央にシフトさせるシフト部と、
 前記シフト部でシフトされた前記記憶領域内で重心演算を行う重心演算部と、を備える、(17)に記載の光検出装置。
 (19)前記ヒストグラム生成器は、前記2以上の時間間隔のそれぞれで、繰り返し前記光パルス信号を発光させたときに繰り返し得られる前記2以上の反射光パルス信号に基づいて前記2以上のヒストグラムを生成し、前記2以上のヒストグラムを生成する際の開始時刻を周期的にずらすことにより、前記2以上のヒストグラムのピーク以外の頻度数を平坦化する、
(3)乃至(18)のいずれか一項に記載の光検出装置。
 (20)未知の光パルス信号による干渉の有無を検出する干渉検出部を備え、
 前記測距部は、前記干渉検出部により前記干渉がないことが検出された場合に、前記再構成ヒストグラムに基づいて前記物体の距離を計測する、
(7)乃至(9)のいずれか一項に記載の光検出装置。
 (21)前記干渉検出部にて前記干渉が検出されると、前記未知の光パルス信号の周期切替に同期させることが可能か否かを判定する同期判定部を備え、
 前記ヒストグラム生成器は、前記同期判定部にて同期させることが可能と判定されると、前記未知の光パルス信号に同期させて、前記2以上のヒストグラムを生成する、
(20)に記載の光検出装置。
 (22)前記未知の光パルス信号の周期の切替順序を検出する周期検出部を備え、
 前記ヒストグラム生成器は、前記周期検出部で検出された周期の切替順序を時間的にずらした切替順序、又は前記周期検出部で検出された周期の切替順序とは異なる切替順序で、前記2以上のヒストグラムを生成する、
(21)に記載の光検出装置。
 (23)前記同期判定部にて同期させることが不可能と判定されると、前記未知の光パルス信号との干渉が緩和されるように前記第1光パルス信号及び前記第2光パルス信号を含む光パルス信号の発光タイミングを制御する発光タイミング制御部を備える、
(21)又は(22)に記載の光検出装置。
 (24)前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれに含まれる複数のヒストグラムのそれぞれを生成するのに用いられる2以上の光パルス信号の発光期間をランダム化する、
(23)に記載の光検出装置。
 (25)前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれごとに、前記複数のヒストグラムを生成するのに用いられる光パルス信号の総数が等しくなるように、前記2以上の光パルス信号の発光期間をランダム化する、
(24)に記載の光検出装置。
 (26)発光装置と、
 (3)乃至(25)のいずれか一項に記載の光検出装置と、を備える測距システムであって、
 前記発光装置は、
 前記第1時間間隔で複数の前記第1光パルス信号を発光する第1発光部と、
 前記第2時間間隔で複数の前記第2光パルス信号を発光する第2発光部と、を有し、
 前記光検出装置は、前記第1発光部が前記第1時間間隔で前記第1時間範囲に応じた数の前記第1光パルス信号を発光した後、前記第1発光部が前記第2時間間隔で前記第2時間範囲に応じた数の前記第2光パルス信号を発光するように、前記第1発光部及び前記第2発光部を制御する発光タイミング制御部を有する、
測距システム。
 (27)前記発光装置は、前記2以上の時間間隔で、前記2以上の光パルス信号のそれぞれを、対応する前記時間範囲に応じた数だけ発光し、
 前記発光タイミング制御部は、前記2以上の光パルス信号を順繰りに発光させる制御を行う、
(26)に記載の測距システム。
 (28)前記光検出装置は、未知の光パルス信号を検出する干渉検出部を備え、
 前記発光タイミング制御部は、前記干渉検出部で検出された前記未知の光パルス信号を発光させる前記2以上の時間間隔の並びとは異なる並びで、又は前記2以上の時間間隔とは異なる時間間隔で、前記発光装置を繰り返し発光させる、
(26)又は(27)に記載の測距システム。
 (29)前記ヒストグラム生成器は、前記発光装置を発光させない状態で前記未知の光パルス信号に基づいて前記2以上のヒストグラムを生成し、
 前記干渉検出部は、前記2以上のヒストグラムに基づいて前記未知の光パルス信号による干渉の有無を検出する、
(28)に記載の測距システム。
 (30)第1時間間隔で複数の第1光パルス信号を発光する第1発光部と、
 前第2時間間隔で複数の第2光パルス信号を発光する第2発光部と、を有する発光装置と、
 前記第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
 前記第1反射光パルス信号に基づいて生成された第1ヒストグラム及び前記第2反射光パルス信号に基づいて生成された第2ヒストグラムを含む2以上のヒストグラムを有する測距データをフレーム単位で生成するパケット生成器と、
を備える測距システムであって、
 前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
 前記スタート部は、フレームの先頭を示す識別子と、前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔の数とを含み、
 前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
 前記エンド部は、フレームの終了を示す識別子を含む、
測距システム。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
 1 測距システム、2 全体制御部、3 発光装置、4、4a、4b、4c、4d 光検出装置、5、5a AP、11 第1発光部、12 第2発光部、21 クロック生成部、22 制御部、23 発光タイミング制御部、24、24a、24b 駆動回路、25 受光部、26 測距制御部、27 測距処理部、28 インタフェース部、30 画素、41、41a 時間デジタル変換器、42、42a ヒストグラム生成器、44、44a、44b、77 測距部、45 複製ヒストグラム生成器、50、50a、50b 画素アレイ部、51 第1画素群、52、52a 第2画素群、61 信号線、62 列選択回路、63 列選択線、64 行選択回路、65 行選択線、71 ビン拡張部、72 ピーク検出部、73 最大ピーク検出部、74 シフト部、75 重心演算部、76 パケット生成部、80、90 測距データ、81、91 スタート部、82、82a、82b、82c、82d、82e、82f、82g、92 パケット、83、93 エンド部、84、94 ヘッダ、85、85a、85b、95 ヒストグラムデータ、86、96 フッタ、87、97a、97b、97c、97d ヒストグラム、88 パディング部、101 グレイコードカウンタ、102 ラッチ部、103 GT変換部、104 ビンカウンタ、105 光電変換素子、111 最小探索部、112 重み付け部、113、114 メモリ部、120 干渉抑制部、121 干渉検出部、122 同期判定部、123 周期検出部

Claims (30)

  1.  第1時間間隔で発光された第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
     前記第1時間範囲内に受光された前記第1反射光パルス信号の受光頻度を予め定めた固定の単位期間ごとに分類した第1ヒストグラムを生成するとともに、前記第2時間範囲内に受光された前記第2反射光パルス信号の受光頻度を前記単位期間ごとに分類した第2ヒストグラムを生成するヒストグラム生成器と、を備える、
    光検出装置。
  2.  前記第1ヒストグラムを前記第1時間間隔に応じた第1個数分複製した第1複製ヒストグラムを生成するとともに、前記第2ヒストグラムを前記第2時間間隔に応じた第2個数分複製した第2複製ヒストグラムを生成する複製ヒストグラム生成器を備える、
    請求項1に記載の光検出装置。
  3.  前記受光部は、それぞれ異なる前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔で発光された2以上の光パルス信号が前記物体で反射された2以上の反射光パルス信号を、それぞれ異なる2以上の時間範囲内に受光し、
     前記ヒストグラム生成器は、前記2以上の時間範囲内に受光された前記2以上の反射光パルス信号の受光頻度を前記単位期間ごとに分類した2以上のヒストグラムを生成し、
     前記複製ヒストグラム生成器は、前記2以上のヒストグラムのそれぞれを、対応する前記時間間隔に応じた個数分複製した2以上の複製ヒストグラムを生成し、
     前記ヒストグラム生成器が生成する前記2以上のヒストグラムは、前記第1ヒストグラム及び前記第2ヒストグラムを含み、
     前記複製ヒストグラム生成器が生成する前記2以上の複製ヒストグラムは、前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含む、
    請求項2に記載の光検出装置。
  4.  前記受光部は、第1方向及び第2方向に2以上ずつ配置される複数の画素を有し、
     前記複数の画素のそれぞれは、前記2以上の時間範囲内に前記2以上の反射光パルス信号を受光する、
    請求項3に記載の光検出装置。
  5.  前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
     前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
     前記スタート部は、フレームの先頭を示す識別子と、前記2以上の時間間隔の数とを含み、
     前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数及び前記複数の画素の数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
     前記エンド部は、フレームの終了を示す識別子を含む、
    請求項4に記載の光検出装置。
  6.  前記2以上のヒストグラムを含む測距データをフレーム単位で生成するパケット生成器を備え、
     前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
     前記スタート部は、フレームの先頭を示す識別子と、前記複数の画素の数及び前記2以上の時間間隔の数とを含み、
     前記パケットは、画素位置を示す情報を含むヘッダと、前記2以上のヒストグラムのうち対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
     前記エンド部は、フレームの終了を示す識別子を含む、
    請求項4に記載の光検出装置。
  7.  前記第1複製ヒストグラム及び前記第2複製ヒストグラムを含む前記2以上の複製ヒストグラムのそれぞれのピーク位置に対応する受光時刻が一致する場合の前記受光時刻、又は前記2以上の複製ヒストグラムのビン数を揃えて合成した再構成ヒストグラムの最大ピーク位置に対応する受光時刻に基づいて前記物体の距離を計測する測距部を備える、
    請求項4に記載の光検出装置。
  8.  前記測距部は、前記2以上の複製ヒストグラムをビンごとに合算して、前記再構成ヒストグラムを生成する、
    請求項7に記載の光検出装置。
  9.  前記2以上の複製ヒストグラムのそれぞれは、同じ数のビンを有し、
     前記測距部は、前記2以上の複製ヒストグラムのそれぞれが受光頻度のピーク値を持つ同一のビンを検索し、検索されたビンにおける最小のピーク値に基づいて、前記再構成ヒストグラムを生成する、
    請求項7に記載の光検出装置。
  10.  前記第1方向に配置される2以上の前記画素からなる第1画素群ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
     前記複数の時間デジタル変換器のそれぞれは、対応する前記第1画素群内の各画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を順に生成し、
     前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で順に生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成する、
    請求項4に記載の光検出装置。
  11.  前記第2方向に配置される2以上の前記画素からなる第2画素群が、前記第1方向に複数配置されており、
     複数の前記第2画素群が順に選択されて、選択された前記第2画素群内の各画素は、前記2以上の反射光パルス信号に応じた受光信号を並行して前記複数の時間デジタル変換器に入力する、
    請求項10に記載の光検出装置。
  12.  前記選択された前記第2画素群内の各画素は、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された前記第2画素群内の各画素の受光信号は並行して前記複数の時間デジタル変換器に入力される、
    請求項11に記載の光検出装置。
  13.  前記画素ごとに配置される複数の時間デジタル変換器及び複数の前記ヒストグラム生成器を備え、
     前記複数の時間デジタル変換器のそれぞれは、対応する画素で受光された前記2以上の反射光パルス信号の受光時刻に応じたデジタル信号を生成し、
     前記複数のヒストグラム生成器のそれぞれは、対応する前記時間デジタル変換器で生成された前記デジタル信号に基づいて、前記2以上のヒストグラムを生成する、
    請求項4に記載の光検出装置。
  14.  前記複数の画素のそれぞれは、1フレーム期間に前記2以上の反射光パルス信号に応じた2以上の受光信号を順に出力し、出力された各画素の受光信号は並行して前記複数の時間デジタル変換器に入力される、
    請求項13に記載の光検出装置。
  15.  前記時間デジタル変換器は、受光時刻に応じたグレイコードを出力し、
     前記ヒストグラム生成器は、前記グレイコードを受光時刻データに変換する変換テーブルを有する、
    請求項10に記載の光検出装置。
  16.  前記2以上の時間間隔の最小公倍数に応じた数のビン数を持つ前記2以上の複製ヒストグラムを記憶する記憶部を備える、
    請求項3に記載の光検出装置。
  17.  前記2以上の時間間隔のうち最大の時間間隔に対応する前記ヒストグラムのビン数に応じた記憶容量を有する記憶部を備える、
    請求項3に記載の光検出装置。
  18.  前記最大の時間間隔に対応する前記ヒストグラムを1単位として前記記憶部に記憶するとともに、前記最大の時間間隔を除く前記2以上の時間間隔に対応する前記ヒストグラムを前記1単位に拡張して前記記憶部に記憶するビン拡張部と、
     前記2以上の時間間隔に対応する前記2以上のヒストグラムを前記1単位ずつ含む前記記憶部の記憶領域内で、前記2以上のヒストグラムのピークの受光時刻が一致する場所を検出する処理を複数の前記1単位ごとに繰り返すピーク検出部と、
     前記複数の1単位の中から前記ピークの最大値を検出する最大ピーク検出部と、
     前記ピークの最大値が、対応する前記記憶領域内の中央にシフトさせるシフト部と、
     前記シフト部でシフトされた前記記憶領域内で重心演算を行う重心演算部と、を備える、
    請求項17に記載の光検出装置。
  19.  前記ヒストグラム生成器は、前記2以上の時間間隔のそれぞれで、繰り返し前記光パルス信号を発光させたときに繰り返し得られる前記2以上の反射光パルス信号に基づいて前記2以上のヒストグラムを生成し、前記2以上のヒストグラムを生成する際の開始時刻を周期的にずらすことにより、前記2以上のヒストグラムのピーク以外の頻度数を平坦化する、
    請求項3に記載の光検出装置。
  20.  未知の光パルス信号による干渉の有無を検出する干渉検出部を備え、
     前記測距部は、前記干渉検出部により前記干渉がないことが検出された場合に、前記再構成ヒストグラムに基づいて前記物体の距離を計測する、
     請求項7に記載の光検出装置。
  21.  前記干渉検出部にて前記干渉が検出されると、前記未知の光パルス信号の周期切替に同期させることが可能か否かを判定する同期判定部を備え、
     前記ヒストグラム生成器は、前記同期判定部にて同期させることが可能と判定されると、前記未知の光パルス信号に同期させて、前記2以上のヒストグラムを生成する、
     請求項20に記載の光検出装置。
  22.  前記未知の光パルス信号の周期の切替順序を検出する周期検出部を備え、
     前記ヒストグラム生成器は、前記周期検出部で検出された周期の切替順序を時間的にずらした切替順序、又は前記周期検出部で検出された周期の切替順序とは異なる切替順序で、前記2以上のヒストグラムを生成する、
     請求項21に記載の光検出装置。
  23.  前記同期判定部にて同期させることが不可能と判定されると、前記未知の光パルス信号との干渉が緩和されるように前記第1光パルス信号及び前記第2光パルス信号を含む光パルス信号の発光タイミングを制御する発光タイミング制御部を備える、
     請求項21に記載の光検出装置。
  24.  前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれに含まれる複数のヒストグラムのそれぞれを生成するのに用いられる2以上の光パルス信号の発光期間をランダム化する、
     請求項23に記載の光検出装置。
  25.  前記発光タイミング制御部は、前記2以上の複製ヒストグラムのそれぞれごとに、前記複数のヒストグラムを生成するのに用いられる光パルス信号の総数が等しくなるように、前記2以上の光パルス信号の発光期間をランダム化する、
     請求項24に記載の光検出装置。
  26.  発光装置と、
     請求項3に記載の光検出装置と、を備える測距システムであって、
     前記発光装置は、
     前記第1時間間隔で複数の前記第1光パルス信号を発光する第1発光部と、
     前記第2時間間隔で複数の前記第2光パルス信号を発光する第2発光部と、を有し、
     前記光検出装置は、前記第1発光部が前記第1時間間隔で前記第1時間範囲に応じた数の前記第1光パルス信号を発光した後、前記第1発光部が前記第2時間間隔で前記第2時間範囲に応じた数の前記第2光パルス信号を発光するように、前記第1発光部及び前記第2発光部を制御する発光タイミング制御部を有する、
    測距システム。
  27.  前記発光装置は、前記2以上の時間間隔で、前記2以上の光パルス信号のそれぞれを、対応する前記時間範囲に応じた数だけ発光し、
     前記発光タイミング制御部は、前記2以上の光パルス信号を順繰りに発光させる制御を行う、
    請求項26に記載の測距システム。
  28.  前記光検出装置は、未知の光パルス信号を検出する干渉検出部を備え、
     前記発光タイミング制御部は、前記干渉検出部で検出された前記未知の光パルス信号を発光させる前記2以上の時間間隔の並びとは異なる並びで、又は前記2以上の時間間隔とは異なる時間間隔で、前記発光装置を繰り返し発光させる、
     請求項26に記載の測距システム。
  29.  前記ヒストグラム生成器は、前記発光装置を発光させない状態で前記未知の光パルス信号に基づいて前記2以上のヒストグラムを生成し、
     前記干渉検出部は、前記2以上のヒストグラムに基づいて前記未知の光パルス信号による干渉の有無を検出する、
     請求項28に記載の測距システム。
  30.  第1時間間隔で複数の第1光パルス信号を発光する第1発光部と、
     前第2時間間隔で複数の第2光パルス信号を発光する第2発光部と、を有する発光装置と、
     前記第1光パルス信号が物体で反射された第1反射光パルス信号を第1時間範囲内に受光するとともに、前記第1時間間隔とは異なる第2時間間隔で発光された第2光パルス信号が前記物体で反射された第2反射光パルス信号を前記第1時間範囲とは異なる第2時間範囲内に受光する受光部と、
     前記第1反射光パルス信号に基づいて生成された第1ヒストグラム及び前記第2反射光パルス信号に基づいて生成された第2ヒストグラムを含む2以上のヒストグラムを有する測距データをフレーム単位で生成するパケット生成器と、
    を備える測距システムであって、
     前記測距データは、スタート部と、複数のパケットと、エンド部とを有し、
     前記スタート部は、フレームの先頭を示す識別子と、前記第1時間間隔及び前記第2時間間隔を含む2以上の時間間隔の数とを含み、
     前記パケットは、前記2以上のヒストグラムのうち対応するヒストグラムのビン数を含むヘッダと、対応する前記ヒストグラムを構成するヒストグラムデータと、対応する前記ヒストグラムの終了情報を含むフッタと、を有し、
     前記エンド部は、フレームの終了を示す識別子を含む、
    測距システム。
PCT/JP2023/035078 2022-09-27 2023-09-27 光検出装置及び測距システム WO2024071173A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022154157A JP2024048232A (ja) 2022-09-27 2022-09-27 光検出装置及び測距システム
JP2022-154157 2022-09-27

Publications (1)

Publication Number Publication Date
WO2024071173A1 true WO2024071173A1 (ja) 2024-04-04

Family

ID=90477824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035078 WO2024071173A1 (ja) 2022-09-27 2023-09-27 光検出装置及び測距システム

Country Status (2)

Country Link
JP (1) JP2024048232A (ja)
WO (1) WO2024071173A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4377811A (en) * 1981-01-07 1983-03-22 Westinghouse Electric Corp. Medium PRF pulse doppler radar having simplified ground moving target rejection capabilities
WO1999047944A1 (en) * 1998-03-16 1999-09-23 Telefonaktiebolaget Lm Ericsson Method for reducing false target echo indications
WO2020179857A1 (ja) * 2019-03-07 2020-09-10 株式会社デンソー 光測距装置
JP2021092543A (ja) * 2019-10-28 2021-06-17 イベオ オートモーティブ システムズ ゲーエムベーハーIbeo Automotive Systems GmbH 距離を光学的に測定するための方法およびデバイス

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4377811A (en) * 1981-01-07 1983-03-22 Westinghouse Electric Corp. Medium PRF pulse doppler radar having simplified ground moving target rejection capabilities
WO1999047944A1 (en) * 1998-03-16 1999-09-23 Telefonaktiebolaget Lm Ericsson Method for reducing false target echo indications
WO2020179857A1 (ja) * 2019-03-07 2020-09-10 株式会社デンソー 光測距装置
JP2021092543A (ja) * 2019-10-28 2021-06-17 イベオ オートモーティブ システムズ ゲーエムベーハーIbeo Automotive Systems GmbH 距離を光学的に測定するための方法およびデバイス

Also Published As

Publication number Publication date
JP2024048232A (ja) 2024-04-08

Similar Documents

Publication Publication Date Title
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2020022137A1 (ja) 受光装置及び測距装置
US20200348416A1 (en) Ranging device and ranging method
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2020137755A1 (ja) 測距装置及び測距方法
US20210389448A1 (en) Control device, control method and sensor control system
JP2020197457A (ja) 測距装置及び信号処理回路
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2024071173A1 (ja) 光検出装置及び測距システム
US20230204769A1 (en) Ranging device, electronic device, sensor system, and control method
WO2021075287A1 (ja) 測距デバイスおよびその受光方法
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
US20220146647A1 (en) Light receiving device, method of evaluating the same, and method of driving the same
CN116057947A (zh) 成像装置和成像方法
WO2023162733A1 (ja) 測距装置及び測距方法
WO2023140175A1 (ja) 測距装置
WO2024095625A1 (ja) 測距装置および測距方法
WO2023162734A1 (ja) 測距装置
WO2023190279A1 (ja) 測距装置
WO2023234033A1 (ja) 測距装置
WO2018034157A1 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2024018920A1 (ja) 情報処理装置及び情報処理方法
WO2023189917A1 (ja) 測距装置及び測距方法
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023190278A1 (ja) 光検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872395

Country of ref document: EP

Kind code of ref document: A1