WO2020166419A1 - 受光装置、ヒストグラム生成方法、および測距システム - Google Patents

受光装置、ヒストグラム生成方法、および測距システム Download PDF

Info

Publication number
WO2020166419A1
WO2020166419A1 PCT/JP2020/004006 JP2020004006W WO2020166419A1 WO 2020166419 A1 WO2020166419 A1 WO 2020166419A1 JP 2020004006 W JP2020004006 W JP 2020004006W WO 2020166419 A1 WO2020166419 A1 WO 2020166419A1
Authority
WO
WIPO (PCT)
Prior art keywords
time information
light
light receiving
unit
receiving device
Prior art date
Application number
PCT/JP2020/004006
Other languages
English (en)
French (fr)
Inventor
鈴木　伸治
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/427,951 priority Critical patent/US20220128690A1/en
Publication of WO2020166419A1 publication Critical patent/WO2020166419A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the DirectToF sensor (hereinafter, simply referred to as ToF sensor) directly measures the distance from the time when the light is projected toward the subject and the time when the reflected light reflected from the subject is received.
  • the flight time of light from the time when the light is projected to the time when the reflected light is received is converted to distance data (hereinafter referred to as ToF data) by the TDC (time to digital converter).
  • ToF data distance data
  • TDC time to digital converter
  • the ToF sensor outputs ToF data at a high rate from the TDC due to the influence of false light reception reactions due to ambient light, multipath light, or noise, but in order to generate a histogram without missing data, histogram generation is required.
  • the circuit also needs to operate at the same high rate as the output rate from the TDC.
  • the present technology has been made in view of such a situation, and makes it possible to realize a histogram generation circuit with a small area and low power consumption.
  • the histogram generation method is that the light receiving device measures and stores time information from the light emission timing of the light source to the light reception timing at which the light receiving element receives light, and that the same measured time information is stored. It is a histogram generation method including merging with one time information and generating a histogram based on one or more kinds of time information after merging.
  • a distance measuring system includes an illuminating device that has a light source that emits irradiation light, and a light receiving device that receives reflected light with respect to the irradiation light, and the light receiving device has emission timing of the light source.
  • a measuring unit that measures time information
  • a storage unit that stores the plurality of time information, and the same time information measured by the measuring unit as one time.
  • time information from the light emission timing of the light source to the light reception timing at which the light receiving element receives light is measured, the plurality of time information is stored, and the same measured time information is stored. It is merged into one time information, and a histogram is generated based on the one or more kinds of time information after the merge.
  • the light receiving device and the distance measuring system may be independent devices, or may be modules incorporated in other devices.
  • FIG. 4 is a diagram illustrating an operation of the pixel of FIG. 3.
  • FIG. 4 is a diagram illustrating an operation of the pixel of FIG. 3.
  • FIG. 4 is a diagram illustrating an operation of the pixel of FIG. 3.
  • FIG. 4 is a diagram which shows the structural example of the signal processing part as a comparative example.
  • It is a block diagram which shows the 1st structural example of the signal processing part of FIG. 6 is a timing chart showing a histogram generation operation by the signal processing unit in FIG. 5.
  • FIG. 6 is a block diagram showing a second configuration example of the signal processing unit of FIG. 2. It is a block diagram which shows the 3rd structural example of the signal processing part of FIG.
  • FIG. 6 is a plan view showing an arrangement example of each part in the case of being configured by one chip having a laminated structure of two substrates. It is a top view showing an example of arrangement of each part in the case of being constituted by one chip by a laminated structure of three substrates. It is a flow chart explaining distance measurement processing. It is a figure explaining the example of use of a ranging system. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a distance measuring system to which the present technology is applied.
  • the distance measuring system 11 is a system that captures a range image using the ToF method, for example.
  • the distance image is an image in which the distance in the depth direction from the distance measuring system 11 to the subject is detected in pixel units, and the signal of each pixel is a distance pixel signal based on the detected distance.
  • the distance measuring system 11 includes a lighting device 21 and an imaging device 22.
  • the illumination control unit 31 controls the pattern in which the light source 32 emits light under the control of the control unit 42 of the imaging device 22. Specifically, the illumination control unit 31 controls the pattern in which the light source 32 emits light according to the irradiation code included in the irradiation signal supplied from the control unit 42.
  • the irradiation code consists of two values, 1 (High) and 0 (Low), and the illumination control unit 31 turns on the light source 32 when the irradiation code has a value of 1, and the light source when the irradiation code has a value of 0. Turn off 32.
  • the light source 32 emits light in a predetermined wavelength range under the control of the illumination control unit 31.
  • the light source 32 is, for example, an infrared laser diode.
  • the type of the light source 32 and the wavelength range of the irradiation light can be arbitrarily set according to the application of the distance measuring system 11 and the like.
  • the image pickup device 22 is a device that receives the reflected light that is the light (illumination light) emitted from the illumination device 21 and reflected by the subject 12 and the subject 13.
  • the imaging device 22 includes an imaging unit 41, a control unit 42, a display unit 43, and a storage unit 44.
  • the lens 51 forms an image of incident light on the light receiving surface of the light receiving device 52.
  • the configuration of the lens 51 is arbitrary, and for example, the lens 51 can be configured by a plurality of lens groups.
  • the distance measuring system 11 repeats the light emission of the light source 32 and the reception of the reflected light a plurality of times (for example, thousands to tens of thousands of times), so that the imaging unit 41 causes the influence of ambient light, multipath, and the like.
  • the removed distance image is generated and supplied to the control unit 42.
  • the control unit 42 includes, for example, a control circuit such as an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), a processor, or the like.
  • the control unit 42 controls the illumination control unit 31 and the light receiving device 52. Specifically, the control unit 42 supplies an irradiation signal to the illumination control unit 31 and also supplies a light emission timing signal to the light receiving device 52.
  • the light source 32 emits irradiation light according to the irradiation signal.
  • the light emission timing signal may be an irradiation signal supplied to the illumination controller 31.
  • the control unit 42 supplies the distance image acquired from the imaging unit 41 to the display unit 43 and causes the display unit 43 to display the distance image. Further, the control unit 42 causes the storage unit 44 to store the distance image acquired from the imaging unit 41. Further, the control unit 42 outputs the distance image acquired from the image pickup unit 41 to the outside.
  • the display unit 43 is composed of a panel type display device such as a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • a panel type display device such as a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • the storage unit 44 can be configured by an arbitrary storage device, storage medium, or the like, and stores a distance image or the like.
  • FIG. 2 is a block diagram showing a configuration example of the light receiving device 52.
  • the light receiving device 52 includes a pixel driving unit 71, a pixel array 72, a MUX (multiplexer) 73, a time measuring unit 74, a signal processing unit 75, and an input/output unit 76.
  • the pixel array 72 has a configuration in which pixels 81 that detect the incidence of photons and output a detection signal indicating the detection result as a pixel signal are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the row direction means the arrangement direction of the pixels 81 in the horizontal direction
  • the column direction means the arrangement direction of the pixels 81 in the vertical direction.
  • the pixel array 72 is shown in a pixel array configuration of 10 rows and 12 columns due to space limitations, but the number of rows and columns of the pixel array 72 is not limited to this and is arbitrary.
  • the pixel drive line 82 is horizontally arranged for each pixel row with respect to the matrix-shaped pixel array of the pixel array 72.
  • the pixel drive line 82 transmits a drive signal for driving the pixel 81.
  • the pixel drive unit 71 drives each pixel 81 by supplying a predetermined drive signal to each pixel 81 via the pixel drive line 82.
  • the pixel driving section 71 has at least a part of the plurality of pixels 81 arranged two-dimensionally in a matrix at a predetermined timing according to a light emission timing signal supplied from the outside via the input/output section 76. Is set as an active pixel, and the remaining pixels 81 are set as inactive pixels. Active pixels are pixels that detect the incidence of photons, and inactive pixels are pixels that do not detect the incidence of photons. Of course, all the pixels 81 of the pixel array 72 may be active pixels. The detailed configuration of the pixel 81 will be described later.
  • the MUX 73 selects the output from the active pixel according to the switching between the active pixel and the inactive pixel in the pixel array 72. Then, the MUX 73 outputs the pixel signal input from the selected active pixel to the time measuring unit 74.
  • the time measuring unit 74 based on the pixel signal of the active pixel supplied from the MUX 73 and the light emission timing signal indicating the light emission timing of the light source 32, from the time when the light source 32 emits light until the time when the active pixel receives light. A count value corresponding to the time (light flight time) is generated.
  • the light emission timing signal is supplied from the outside (the control unit 42 of the imaging device 22) via the input/output unit 76.
  • the signal processing unit 75 receives the reflected light based on the light emission of the light source 32 repeatedly executed a predetermined number of times (for example, thousands to tens of thousands of times) and the reception of the reflected light (count value ) Is generated for each pixel. Then, the signal processing unit 75 detects the peak of the histogram to determine the time until the light emitted from the light source 32 is reflected by the subject 12 or the subject 13 and returns. The signal processing unit 75 generates a distance image in which a digital count value obtained by counting the time until the light receiving device 52 receives light is stored in each pixel, and supplies the distance image to the input/output unit 76.
  • the signal processing unit 75 performs a calculation for obtaining the distance to the object based on the determined time and speed of light, generates a distance image in which the calculation result is stored in each pixel, and supplies the distance image to the input/output unit 76. May be.
  • the input/output unit 76 outputs a distance image signal (distance image signal) supplied from the signal processing unit 75 to the outside (control unit 42). Further, the input/output unit 76 acquires the light emission timing signal supplied from the control unit 42 and supplies it to the pixel drive unit 71 and the time measuring unit 74.
  • FIG. 3 shows a circuit configuration example of the pixels 81 arranged in a matrix in the pixel array 72.
  • the pixel 81 in FIG. 3 includes a SPAD 101, a transistor 102, a switch 103, and an inverter 104.
  • the pixel 81 also includes a latch circuit 105 and an inverter 106.
  • the transistor 102 is composed of a P-type MOS transistor.
  • the cathode of the SPAD 101 is connected to the drain of the transistor 102, the input terminal of the inverter 104, and one end of the switch 103.
  • the anode of the SPAD 101 is connected to the power supply voltage VA (hereinafter, also referred to as the anode voltage VA).
  • the SPAD 101 is a photodiode (single photon avalanche photodiode) that avalanche-amplifies the generated electrons and outputs a signal of the cathode voltage VS when incident light is incident.
  • the power supply voltage VA supplied to the anode of the SPAD 101 is, for example, a negative bias (negative potential) of about -20V.
  • the transistor 102 is a constant current source that operates in the saturation region, and acts as a quenching resistor to perform passive quenching.
  • the source of the transistor 102 is connected to the power supply voltage VE, and the drain is connected to the cathode of the SPAD 101, the input terminal of the inverter 104, and one end of the switch 103.
  • the power supply voltage VE is also supplied to the cathode of the SPAD 101.
  • a pull-up resistor can be used instead of the transistor 102 connected in series with the SPAD 101.
  • a voltage larger than the breakdown voltage VBD of the SPAD 101 (hereinafter referred to as excess bias (Excess Bias)) is applied.
  • excess bias Excess Bias
  • the power supply voltage VE supplied to the source of the transistor 102 is set to 3V.
  • the applied voltage applied to the SPAD 101 is controlled (adjusted) according to the change in the breakdown voltage VBD.
  • the power supply voltage VE is a fixed voltage
  • the anode voltage VA is controlled (adjusted).
  • the switch 103 has one end connected to the cathode of the SPAD 101, the input terminal of the inverter 104, and the drain of the transistor 102, and the other end connected to a ground connection line 107 connected to the ground (GND). ..
  • the switch 103 can be composed of, for example, an N-type MOS transistor, and turns on/off the gating control signal VG, which is the output of the latch circuit 105, according to the gating inversion signal VG_I inverted by the inverter 106.
  • the latch circuit 105 supplies the inverter 106 with a gating control signal VG for controlling the pixel 81 to be either an active pixel or an inactive pixel, based on the trigger signal SET supplied from the pixel driving unit 71 and the address data DEC. Supply.
  • the inverter 106 inverts the gating control signal VG to generate a gating inversion signal VG_I, and supplies the gating inversion signal VG_I to the switch 103.
  • the trigger signal SET is a timing signal that indicates the timing of switching the gating control signal VG
  • the address data DEC is for the pixel set as the active pixel among the plurality of pixels 81 arranged in a matrix in the pixel array 72. It is data indicating an address.
  • the trigger signal SET and the address data DEC are supplied from the pixel drive unit 71 via the pixel drive line 82.
  • the latch circuit 105 reads the address data DEC at a predetermined timing indicated by the trigger signal SET. Then, when the pixel address indicated by the address data DEC includes the pixel address of itself (the pixel 81 thereof), the latch circuit 105 sets Hi(1) for setting the pixel 81 of itself to the active pixel. Output the gating control signal VG. On the other hand, when the pixel address indicated by the address data DEC does not include the pixel address of itself (the pixel 81 thereof), the gating control signal of Lo (0) for setting the own pixel 81 to the inactive pixel. Output VG.
  • the switch 103 is turned off (not connected) when the pixel 81 is set as an active pixel, and turned on (connected) when the pixel 81 is set as an inactive pixel.
  • the inverter 104 outputs a Hi detection signal PFout when the cathode voltage VS as an input signal is Lo, and outputs a Lo detection signal PFout when the cathode voltage VS is Hi.
  • the inverter 104 is an output unit that outputs incident photons to the SPAD 101 as a detection signal PFout.
  • FIG. 4 is a graph showing changes in the cathode voltage VS of the SPAD 101 according to the incidence of photons and the detection signal PFout.
  • the switch 103 is set to OFF as described above.
  • the power supply voltage VE for example, 3V
  • the power supply voltage VA for example, -20V
  • the reverse voltage larger than the breakdown voltage VBD is supplied to the SPAD 101.
  • the SPAD 101 is set to Geiger mode. In this state, the cathode voltage VS of the SPAD 101 is the same as the power supply voltage VE at time t0 in FIG. 4, for example.
  • the cathode voltage VS of the SPAD 101 becomes lower than 0V
  • the anode-cathode voltage of the SPAD 101 becomes lower than the breakdown voltage VBD
  • the avalanche amplification stops.
  • the current generated by the avalanche amplification flows through the transistor 102 to cause a voltage drop, and the cathode voltage VS becomes lower than the breakdown voltage VBD due to the generated voltage drop, so that the avalanche amplification is stopped.
  • the operation to be performed is the quench operation.
  • the inverter 104 outputs the Lo detection signal PFout when the cathode voltage VS which is the input voltage is equal to or higher than the predetermined threshold voltage Vth, and outputs the Hi detection signal PFout when the cathode voltage VS is lower than the predetermined threshold voltage Vth.
  • the detection signal PFout is inverted from low level to high level.
  • the cathode voltage VS rises and becomes equal to or higher than the threshold voltage Vth
  • the detection signal PFout is inverted from the high level to the low level.
  • the gating inversion signal VG_I of Hi(1) is supplied to the switch 103, and the switch 103 is turned on.
  • the cathode voltage VS of the SPAD 101 becomes 0V.
  • the voltage between the anode and the cathode of the SPAD 101 becomes lower than the breakdown voltage VBD, so that no reaction occurs even when photons enter the SPAD 101.
  • the signal processing unit 75 creates a histogram of count values corresponding to the time until the reflected light is received, based on the light emission of the light source 32 repeatedly executed a predetermined number of times and the reception of the reflected light. Generate for each pixel.
  • the circuit area of the histogram generation circuit that generates this histogram increases as the resolution (spatial resolution or temporal resolution) of the distance measurement system is increased.
  • the configuration of the signal processing unit applied to the signal processing unit 75 of the light receiving device 52 and capable of suppressing the circuit area of the histogram generation circuit will be described below.
  • a configuration example of the signal processing unit 301 which is a comparative example for comparison with the signal processing unit 75 to which the present technology is applied, will be described, and then the configuration of the signal processing unit 75 of the light receiving device 52. Will be described.
  • FIG. 5 is a block diagram showing a configuration example of the signal processing unit 301 as a comparative example.
  • the signal processing unit 301 of FIG. 5 includes one histogram generation circuit 321 corresponding to one TDC (time to digital converter) 91 provided in the time measurement unit 74.
  • the histogram generation circuit 321 includes a decoder 331 and a histogram. And a holding circuit 332.
  • the TDC 91 of the time measuring unit 74 is provided corresponding to one or more pixels 81 of the pixel array 72.
  • the TDC 91 of the time measuring unit 74 is provided for one or more pixels 81 of the pixel array 72.
  • the pixels 81 and the TDC 91 are provided in a one-to-one correspondence, and the time measuring unit 74 sets the number of pixels in the pixel array 72 to Equipped with the same number of TDC 91.
  • the time measuring unit 74 includes the same number of TDCs 91 as the pixel rows of the pixel array 72. Therefore, the number of TDCs 91 included in the time measuring unit 74 is determined according to a request such as the number of pixels to be set as active pixels at the same time by receiving light once.
  • the pixel signal of the pixel 81 set as the active pixel that is, the detection signal PFout described above is input to the TDC 91.
  • the TDC 91 counts the time (period) when the Hi detection signal PFout is input, and outputs the count value as the count result to the histogram generation circuit 321 as ToF data.
  • the TDC 91 corresponds to a measuring unit that measures time information from the light emission timing of the light source 32 to the light reception timing of the light received by the pixel 81.
  • the ToF data input to the histogram generation circuit 321 is decoded by the decoder 331 and stored in the histogram bin of the histogram holding circuit 332.
  • the decoder 331 selects a bin of the histogram of the histogram holding circuit 332 according to the input ToF data and updates the histogram frequency value of the selected bin.
  • FIG. 6 shows an example of a histogram generated by the histogram generation circuit 321 by repeating the light emission of the light source 32 and the reception of the reflected light a plurality of times (for example, thousands to tens of thousands of times).
  • the bin indicated by D1 indicates the peak of the histogram, and the ToF data (count value) of the bin indicated by D1 is output as the ToF data of the pixel 81.
  • FIG. 7 is a block diagram showing a first configuration example of the signal processing unit 75 of FIG. 2, which is a signal processing unit to which the present technology is applied.
  • the signal processing unit 75 in FIG. 7 includes one histogram pre-stage circuit 121 and a histogram generation circuit 122 corresponding to one TDC 91 provided in the time measuring unit 74.
  • the relationship between the pixel 81 of the pixel array 72 and the TDC 91 of the time measuring section 74 is the same as that in the case of FIG.
  • the histogram pre-stage circuit 121 includes a storage unit 131 including a buffer B that stores a plurality of ToF data, a plurality of decoders 132, and a merge circuit 133.
  • the histogram generation circuit 122 is composed of a histogram holding circuit 151.
  • the histogram holding circuit 151 can be configured by, for example, an FF (Flip-Flop) array, an SRAM (Static RAM), or the like.
  • the storage unit 131 stores one or more types of ToF data input from the TDC 91 in the buffer B during one distance measurement period.
  • Buffer B is configured to store multiple ToF data in response to multiple avalanche amplifications that occur during one distance measurement period, such as ambient light, multipath light, and false light-receiving reaction due to noise. Has been done.
  • the decoders 132 are prepared by the number corresponding to the number of ToF data which the buffer B can store. For example, if the buffer B can store five ToF data, the number of decoders 132 provided in the histogram pre-stage circuit 121 will be five.
  • Each of the plurality of decoders 132 acquires one of the ToF data stored in the buffer B and outputs it to the merge circuit 133.
  • the merge circuit 133 is composed of an OR cell column in which a plurality of OR circuits are arranged. Each OR circuit is connected to the same output terminal of ToF data of the plurality of decoders 132, and the merge circuit 133 has an OR circuit of the number of possible ToF data.
  • the merge circuit 133 merges the same ToF data among the plurality of ToF data stored in the buffer B into one ToF data, and outputs the merged ToF data to the histogram holding circuit 151 of the histogram generation circuit 122.
  • the histogram holding circuit 151 updates and stores the histogram histogram frequency value corresponding to the ToF data based on the one or more types of ToF data after being merged by the merge circuit 133. Then, the histogram holding circuit 151 generates the histogram of ToF data by updating the frequency value of the histogram according to the reception of the reflected light of the light source 32 a plurality of times (for example, thousands to tens of thousands of times).
  • the signal processing unit 75 generates a distance image in which ToF data corresponding to the peak of the histogram of each pixel 81 of the pixel array 72 is stored in each pixel and supplies the distance image to the input/output unit 76.
  • the signal processing unit 75 performs a calculation for obtaining the distance to the object based on the determined time and the speed of light, generates a distance image in which the calculation result is stored in each pixel, and supplies the distance image to the input/output unit 76. May be.
  • FIG. 8 is a timing chart showing a histogram generation operation by the signal processing unit 301 of FIG. 5 which is a comparative example.
  • FIG. 9 is a timing chart showing a histogram generation operation by the signal processing unit 75 in FIG.
  • the period T from time t1 to time t2 corresponds to one distance measurement period, and during this one distance measurement period T, 25, 25, 50, 120, 120 It is assumed that 5 ToF data are output from TDC 91.
  • a final histogram is generated by repeating the measurement of the distance measurement period T a plurality of times (for example, thousands to tens of thousands of times).
  • the signal for identifying one distance measurement period is supplied from the control unit 42 of the imaging device 22 to the light receiving device 52 as a light emission timing signal.
  • the histogram generation circuit 321 of the signal processing unit 301 of FIG. 5 updates the histogram of the histogram holding circuit 332 each time the ToF data is input from the TDC 91, as shown in FIG. Specifically, it is updated every time the ToF data of ⁇ 25 ⁇ , ⁇ 25 ⁇ , ⁇ 50 ⁇ , ⁇ 120 ⁇ , and ⁇ 120 ⁇ is input.
  • the histogram generation circuit 321 needs to operate at a speed that can process all ToF data that are sequentially input.
  • the count values of the one or more types of ToF data supplied to the histogram holding circuit 151 are all different. Further, the timing for updating the histogram does not have to be the timing for each input of the ToF data, but may be the timing for each distance measurement period T.
  • the histogram generation circuit 321 of the comparative example outputs the ToF data of ⁇ 25 ⁇ . While the frequency value of ToF data of frequency value 2 and ⁇ 120 ⁇ is 2, and the frequency value of ToF data of ⁇ 50 ⁇ is integrated by 1, the histogram holding circuit 151 is ⁇ 25 ⁇ and ⁇ 50 ⁇ . , And the frequency value of the ToF data of ⁇ 120 ⁇ is only integrated by 1.
  • the signal processing unit 75 of the light receiving device 52 it is not possible to create a correct histogram, in other words, a histogram having the same frequency value as the output number of ToF data output by the TDC 91.
  • the histogram update frequency may be set at the timing of the distance measurement period T, and it is not necessary to operate at a high rate up to the output rate of the ToF data from the TDC 91.
  • the histogram generation circuit which is a memory unit, can be realized with a small area and low power consumption.
  • FIG. 10 is a block diagram showing a second configuration example of the signal processing unit 75 of FIG.
  • FIG. 10 parts corresponding to those in FIG. 7 are designated by the same reference numerals, and the description of those parts will be omitted as appropriate.
  • the second configuration example of FIG. 10 differs from the first configuration example in a part of the histogram pre-stage circuit 121.
  • the storage unit 131 of the second configuration example includes two buffers B included in the storage unit 131 of the first configuration example.
  • the two buffers B included in the storage unit 131 of the second configuration example will be referred to as a buffer B1 (first storage area) and a buffer B2 (second storage area).
  • the selector 171 stores one or more ToF data input from the TDC 91 in one of the buffers B1 or B2 under the control of the control unit 173 during one distance measuring period T. Under the control of the control unit 173, the selector 172 reads out one or more ToF data stored therein from one of the buffers B1 and B2 and outputs them to the plurality of decoders 132.
  • the control unit 173 controls the ToF data output destination of the selector 171 and the ToF data read destination of the selector 172. More specifically, the control unit 173 controls the selector 172 to read the ToF data from the buffer B2 when the selector 171 outputs the ToF data from the TDC 91 to the buffer B1, and the ToF data from the TDC 91 to the selector 171. Output to the buffer B2, the selector 172 controls to read the ToF data from the buffer B1. As a result, the storage of the ToF data in the buffer B1 and the output of the ToF data stored in the buffer B2 to the merge circuit 133 are simultaneously executed. That is, the output of ToF data from the TDC 91 and the histogram update can be operated in parallel, so that the processing can be speeded up.
  • the histogram update frequency may be at the timing of the distance measurement period T, and it is not necessary to operate at a high rate up to the output rate of ToF data from the TDC 91.
  • a certain histogram generation circuit can be realized with a small area and low power consumption.
  • FIG. 11 is a block diagram showing a third configuration example of the signal processing unit 75 in FIG.
  • FIG. 11 parts corresponding to those in FIG. 7 are designated by the same reference numerals, and the description of those parts will be omitted as appropriate.
  • the third configuration example of FIG. 11 differs from the first configuration example in a part of the histogram pre-stage circuit 121. Specifically, the histogram pre-stage circuit 121 of the third configuration example is provided with a merge circuit 181 instead of the merge circuit 133 of the first configuration example. Further, in the first configuration example, the decoders 132 are provided by the number corresponding to the number of ToF data that can be stored in the buffer B, but in the third configuration example, the number of decoders 132 is one.
  • the merge circuit 181 is provided in the preceding stage of the storage unit 131 (buffer B), and has a selector 182 (selection unit) and a comparator 183.
  • the selector 182 selects either the input from the TDC 91 or the invalid under the control of the comparator 183.
  • the selector 182 stores the ToF data from the TDC 91 in the buffer B of the storage unit 131, and when selecting the invalid, the ToF data from the TDC 91 is stored in the storage unit 131. Do not store in buffer B of.
  • the comparator 183 compares the ToF data supplied from the TDC 91 with the ToF data stored in the buffer B of the storage unit 131, and the ToF data supplied from the TDC 91 is already stored in the buffer B. If so, the selector 182 controls so that the ToF data from the TDC 91 is not output to the buffer B. On the other hand, when the ToF data supplied from the TDC 91 is data that is not stored in the buffer B, the comparator 183 controls the selector 182 to output the ToF data from the TDC 91 to the buffer B.
  • the merge circuit 181 determines whether the ToF data input from the TDC 91 is stored in the buffer B of the storage unit 131, and when the ToF data input from the TDC 91 is not stored in the buffer B, the merge circuit 181 buffers the ToF data input from the TDC 91. Make B remember.
  • the histogram update frequency may be at the timing of the distance measurement period T, and it is not necessary to operate at a high rate up to the output rate of ToF data from the TDC 91.
  • a certain histogram generation circuit can be realized with a small area and low power consumption.
  • the merge circuit 181 needs to be operated at a speed equal to or higher than the output rate of the TDC 91.
  • the light receiving device 52 can be configured by one chip (semiconductor chip) having a laminated structure in which two or three substrates (dies) are laminated.
  • FIG. 12 shows an arrangement example of each part when the light receiving device 52 is configured by one chip having a laminated structure of two substrates.
  • the light receiving device 52 is configured by stacking a first substrate 191A and a second substrate 191B.
  • the first substrate 191A and the second substrate 191B are electrically connected to each other by, for example, a through via or a Cu—Cu metal joint.
  • a light receiving surface for receiving reflected light is provided on the first substrate 191A, and the pixel array 72 is formed on the first substrate 191A.
  • the MUX 73, the time measuring unit 74, the signal processing unit 75, and the like are arranged on the second substrate 191B.
  • An input/output terminal such as a solder ball, which is a part of the input/output unit 76, is formed, for example, on the surface of the second substrate 191B opposite to the bonding surface of the first substrate 191A.
  • the pixel driving unit 71 (not shown) may be formed on either the first substrate 191A or the second substrate 191B.
  • FIG. 13 shows an arrangement example of each part when the light receiving device 52 is configured by one chip having a laminated structure of three substrates.
  • the light receiving device 52 is configured by stacking a first substrate 192A, a second substrate 192B, and a third substrate 192C.
  • the first substrate 192A and the second substrate 192B are electrically connected by a through via or a Cu-Cu metal joint
  • the second substrate 192B and the third substrate 192C are electrically connected by a through via or a Cu-Cu metal joint. Connected to.
  • a pixel array 72 is formed on the first substrate 192A.
  • a MUX 73 On the second substrate 192B, a MUX 73, a time measuring unit 74, and a plurality of histogram pre-stage circuits 121 that are a part of the signal processing unit 75 are arranged.
  • the SRAMs as the plurality of histogram generation circuits 122 are connected to the output terminals of the respective histogram front-end circuits 121 of the second substrate 192B by TSV (Through Silicon Via) or the like.
  • step S1 the control unit 42 of the imaging device 22 supplies an irradiation signal to the lighting control unit 31 of the lighting device 21 to cause the light source 32 to emit light.
  • the light source 32 emits light in a predetermined wavelength range according to the irradiation code included in the irradiation signal.
  • a light emission timing signal indicating the light emission timing of the light source 32 is also supplied from the control unit 42 to the light receiving device 52.
  • step S2 the light receiving device 52 sets at least a part of the plurality of pixels 81 of the pixel array 72 as active pixels, and receives the light emitted by the light source 32 and reflected by the subject.
  • the pixel 81 set as the active pixel detects the incidence of photons on the SPAD 101 and outputs a Hi detection signal PFout to the TDC 91.
  • the TDC 91 measures time information from the light emission timing of the light source 32 to the light reception timing of the active pixel receiving light. Specifically, the TDC 91 counts the time (period) when the Hi detection signal PFout is input, and outputs the count value that is the counting result to the histogram generation circuit 122 as ToF data.
  • avalanche amplification may occur multiple times during one distance measurement period due to disturbance light, multipath light, false light reception reaction due to noise, etc.
  • one or more types of ToF data may be supplied to the histogram generation circuit 122.
  • step S4 the storage unit 131 stores one or more types of ToF data input from the TDC 91 in the buffer B.
  • step S5 the merge circuit 133 acquires one or more types of ToF data stored in the buffer B via the decoder 132 and merges the same ToF data into one ToF data among the one or more types of ToF data. Then, it is output to the histogram holding circuit 151 of the histogram generation circuit 122.
  • step S6 the histogram holding circuit 151 updates and stores the frequency value of the histogram of the bin corresponding to the ToF data based on the merged one or more types of ToF data supplied from the merge circuit 133.
  • step S7 the control unit 42 determines whether or not the measurement is performed a predetermined number of times (for example, thousands to tens of thousands of times).
  • step S7 If it is determined in step S7 that the predetermined number of measurements have not been performed, the process returns to step S1 and the above process is repeated. As a result, the processing of steps S1 to S7 is repeated a predetermined number of times (for example, thousands to tens of thousands of times).
  • step S7 if it is determined in step S7 that the measurement is performed the predetermined number of times, the process proceeds to step S8, and the signal processing unit 75 causes the histogram holding circuit 151 to set the frequency of the histogram of the histogram holding circuit 151 for each pixel 81 set as the active pixel.
  • the distance image in which the ToF data corresponding to the peak is stored as a pixel value is generated by referring to the value and is supplied to the control unit 42 via the input/output unit 76.
  • the control unit 42 outputs the distance image acquired from the imaging unit 41 to the outside, and ends the distance measurement processing.
  • the signal processing unit 75 performs a calculation to obtain the distance to the object based on the determined time (ToF data) and the speed of light, generates a distance image in which the calculation result is stored in each pixel, and the control unit 42. May be supplied to
  • the distance image is generated by the distance measuring system 11 as described above and output to the outside.
  • the distance measurement processing when the second configuration example shown in FIG. 10 is adopted as the configuration of the signal processing unit 75 is similar to the flowchart in FIG. 14 described above, but the third configuration example shown in FIG. In the distance measurement processing in which is adopted, since the ToF data is merged by the merge circuit 181 and then stored in the buffer B, the order of the above-described steps S4 and S5 is switched.
  • the histogram update frequency may be at the timing of the distance measuring period T, and it is not necessary to operate the signal processing unit 75 at a high rate up to the output rate of the ToF data from the TDC 91.
  • the histogram generation circuit which is a memory unit that holds the histogram, can be realized with a small area and low power consumption.
  • the present technology is not limited to the application to the ranging system. That is, the present technology can be applied to general electronic devices such as smartphones, tablet terminals, mobile phones, personal computers, game machines, television sets, wearable terminals, digital still cameras, digital video cameras, and the like.
  • the above-mentioned imaging unit 41 may have a modular form in which the lens 51 and the light receiving device 52 are packaged together, or the lens 51 and the light receiving device 52 are separately configured, and only the light receiving device 52 is a single chip. You may comprise as.
  • FIG. 15 is a diagram showing a usage example of the distance measuring system 11 or the light receiving device 52 described above.
  • the distance measuring system 11 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
  • -A device that captures images used for viewing, such as a digital camera or a mobile device with camera function.
  • Devices used for traffic such as in-vehicle sensors that photograph the rear, surroundings, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, ranging sensors that measure the distance between vehicles, etc.
  • Devices used for home appliances such as TVs, refrigerators, and air conditioners to take images and operate the devices according to the gestures ⁇ Endoscopes, devices that take blood vessels by receiving infrared light, etc.
  • ⁇ Security devices such as surveillance cameras for crime prevention and cameras for person authentication
  • ⁇ Skin measuring device for skin and scalp A device used for beauty, such as a microscope, a device used for sports, such as an action camera or wearable camera for sports, etc.
  • FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as the functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjustment and a control device such as a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes a function of ADAS (Advanced Driver Assistance System) that includes collision avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 17 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the front images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 17 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which travels in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as a preceding vehicle by determining it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 and the like among the configurations described above.
  • the distance measuring system 11 of FIG. 1 can be applied to the image capturing unit 12031.
  • the imaging unit 12031 is, for example, a LIDAR, and is used to detect an object around the vehicle 12100 and a distance to the object.
  • the detection accuracy of the object around the vehicle 12100 and the distance to the object is improved.
  • a vehicle collision warning can be given at an appropriate timing, and a traffic accident can be prevented.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • a measuring unit that measures time information from the light emitting timing of the light source to the light receiving timing when the light receiving element receives light
  • a storage unit for storing a plurality of the time information
  • a merge circuit that merges the same time information measured by the measurement unit into one time information
  • a light receiving device comprising: a histogram generation circuit that generates a histogram based on one or more types of time information after merging.
  • the merge circuit merges the same time information included in the plurality of time information stored in the storage unit into one time information and outputs the merged time information to the histogram generation circuit. apparatus.
  • the light receiving device (1) or (2), wherein the merge circuit collectively outputs the plurality of types of time information after the merge to the histogram generation circuit once.
  • the merge circuit includes an OR cell row in which a plurality of OR circuits are arranged.
  • the storage unit includes a first storage area and a second storage area, The storage of the time information input from the measuring unit in the first storage area and the output of one or more types of the time information stored in the second storage area to the merge circuit are executed simultaneously.
  • the light receiving device according to any one of (1) to (4) above.
  • the merge circuit determines whether the time information input from the measurement unit is stored in the storage unit, and when the time information is not stored in the storage unit, the time information input from the measurement unit is determined.
  • the light-receiving device according to any one of (1) to (3), which is stored in the storage unit.
  • the merge circuit is A comparator that compares the time information input from the measurement unit with the time information stored in the storage unit;
  • the light receiving device according to any one of (1) to (3) or (6), further including: a selection unit that selects the time information input from the measurement unit and outputs the time information to the storage unit.
  • the light receiving device according to any one of (1) to (7), which is configured by one chip having a laminated structure of two or three substrates.
  • the light receiving device Measuring and storing time information from the light emitting timing of the light source to the light receiving timing at which the light receiving element receives light; Merging the same measured time information into one time information; Generating a histogram based on one or more types of the time information after merging.
  • a lighting device having a light source for irradiating irradiation light, A light receiving device for receiving reflected light with respect to the irradiation light, The light receiving device, A measuring unit that measures time information from the light emitting timing of the light source to the light receiving timing when the light receiving element of the light receiving device receives light, A storage unit for storing a plurality of the time information, A merge circuit that merges the same time information measured by the measurement unit into one time information; A histogram generation circuit that generates a histogram based on one or more types of the time information after merging.
  • 11 ranging system 21 lighting device, 22 imaging device, 31 lighting control unit, 32 light source, 41 imaging unit, 42 control unit, 52 light receiving device, 71 pixel drive unit, 72 pixel array, 73 MUX, 74 time measuring unit, 75 signal processing unit, 76 input/output unit, 81 pixels, 91 TDC, 101 SPAD, 121 histogram pre-stage circuit, 122 histogram generation circuit, 131 storage unit, 132 decoder, 133 merge circuit, 151 histogram holding circuit, 171,172 selector, 173 control unit, 181 merge circuit, 182 selector, 183 comparator, 191A first board, 191B second board, 192A first board, 192B second board, 193C third board

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにする受光装置、ヒストグラム生成方法、および測距システムに関する。 受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の時間情報を記憶する記憶部と、計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。本技術は、例えば、例えば、被写体までの奥行き方向の距離を検出する測距システム等に適用できる。

Description

受光装置、ヒストグラム生成方法、および測距システム
　本技術は、受光装置、ヒストグラム生成方法、および測距システムに関し、特に、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにした受光装置、ヒストグラム生成方法、および測距システムに関する。
　被写体までの距離を測定する測距センサの一つに、Direct ToF(Time of flight)センサがある（例えば、特許文献１参照）。Direct ToFセンサ（以下、単にToFセンサと称する。）は、被写体に向けて光を投射した時刻と、被写体から反射された反射光を受信した時刻とから距離を直接測定する。
　ToFセンサでは、光を投射した時刻から反射光を受信した時刻までの光の飛行時間がTDC(time to digital converter)によって距離データ（以下、ToFデータと称する。）に変換されるが、外乱光やマルチパスの影響を除去するために、光の投射と受信が複数回に渡って実施される。そして、複数回分のToFデータのヒストグラムが生成され、頻度値が最も大きいToFデータが、最終的なToFデータとして出力される。
　ToFセンサでは、外乱光やマルチパス光、または、ノイズによる偽の受光反応の影響により、TDCから高レートでToFデータが出力されるが、データの取りこぼしなくヒストグラムを生成するためには、ヒストグラム生成回路も、TDCからの出力レートと同じ高レートで動作させる必要がある。
特開２０１０－９１３７７号公報
　しかしながら、ヒストグラム生成回路を、TDCからの出力レートに対応する高レートで動作させる場合、ヒストグラム生成回路の面積および動作電力が増大する。この問題は、今後、ToFセンサの解像度が向上していくと、より顕著になる。
　本技術は、このような状況に鑑みてなされたものであり、小面積、低消費電力で、ヒストグラム生成回路を実現することができるようにするものである。
　本技術の第１の側面の受光装置は、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の前記時間情報を記憶する記憶部と、前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。
　本技術の第２の側面のヒストグラム生成方法は、受光装置が、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測して記憶することと、計測された同一の時間情報を１つの時間情報にマージすることと、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成することとを含むヒストグラム生成方法である。
　本技術の第３の側面の測距システムは、照射光を照射する光源を有する照明装置と、前記照射光に対する反射光を受光する受光装置とを備え、前記受光装置は、前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、複数の前記時間情報を記憶する記憶部と、前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路とを備える。
　本技術の第１乃至第３の側面においては、光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報が計測され、複数の前記時間情報が記憶され、計測された同一の時間情報が１つの時間情報にマージされ、マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムが生成される。
　受光装置及び測距システムは、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。 図１の受光装置の構成例を示すブロック図である。 画素の回路構成例を示す図である。 図３の画素の動作を説明する図である。 比較例としての信号処理部の構成例を示すブロック図である。 ヒストグラム生成回路によって生成されたヒストグラムの例を示す図である。 図２の信号処理部の第１構成例を示すブロック図である。 図５の信号処理部によるヒストグラムの生成動作を示すタイミングチャートである。 図７の信号処理部によるヒストグラムの生成動作を示すタイミングチャートである。 図２の信号処理部の第２構成例を示すブロック図である。 図２の信号処理部の第３構成例を示すブロック図である。 ２枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。 ３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示す平面図である。 測距処理を説明するフローチャートである。 測距システムの使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．測距システムの構成例
２．受光装置の構成例
３．画素回路の構成例
４．比較例としての信号処理部の構成例
５．本技術の信号処理部の第１構成例
６．ヒストグラムの生成動作の比較
７．本技術の信号処理部の第２構成例
８．本技術の信号処理部の第３構成例
９．チップ構成例
１０．測距システムによる測距処理
１１．測距システムの使用例
１２．移動体への応用例
＜１．測距システムの構成例＞
　図１は、本技術を適用した測距システムの一実施の形態の構成例を示すブロック図である。
　測距システム１１は、例えば、ToF法を用いて距離画像の撮影を行うシステムである。ここで、距離画像とは、測距システム１１から被写体までの奥行き方向の距離を画素単位で検出し、各画素の信号が、検出した距離に基づく距離画素信号からなる画像のことである。
　測距システム１１は、照明装置２１及び撮像装置２２を備える。
　照明装置２１は、照明制御部３１及び光源３２を備える。
　照明制御部３１は、撮像装置２２の制御部４２の制御の下に、光源３２が光を照射するパターンを制御する。具体的には、照明制御部３１は、制御部４２から供給される照射信号に含まれる照射コードに従って、光源３２が光を照射するパターンを制御する。例えば、照射コードは、１（High）と０（Low）の２値からなり、照明制御部３１は、照射コードの値が１のとき光源３２を点灯させ、照射コードの値が０のとき光源３２を消灯させる。
　光源３２は、照明制御部３１の制御の下に、所定の波長域の光を発する。光源３２は、例えば、赤外線レーザダイオードからなる。なお、光源３２の種類、及び、照射光の波長域は、測距システム１１の用途等に応じて任意に設定することが可能である。
　撮像装置２２は、照明装置２１から照射された光（照射光）が被写体１２及び被写体１３等により反射された反射光を受光する装置である。撮像装置２２は、撮像部４１、制御部４２、表示部４３、及び、記憶部４４を備える。
　撮像部４１は、レンズ５１、及び、受光装置５２を備える。
　レンズ５１は、入射光を受光装置５２の受光面に結像させる。なお、レンズ５１の構成は任意であり、例えば、複数のレンズ群によりレンズ５１を構成することも可能である。
　受光装置５２は、例えば、各画素に受光素子としてSPAD（Single Photon Avalanche Diode）を用いたセンサからなる。受光装置５２は、制御部４２の制御の下に、被写体１２及び被写体１３等からの反射光を受光し、その結果得られた画素信号を距離情報に変換して制御部４２に出力する。受光装置５２は、行方向及び列方向の行列状に画素が２次元配置された画素アレイの各画素の画素値（距離画素信号）として、照明装置２１が照射光を照射してから受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が格納された距離画像を、制御部４２に供給する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
　なお、測距システム１１は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、撮像部４１が、外乱光やマルチパス等の影響を除去した距離画像を生成し、制御部４２に供給する。
　制御部４２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部４２は、照明制御部３１、及び、受光装置５２の制御を行う。具体的には、制御部４２は、照明制御部３１に照射信号を供給するとともに、発光タイミング信号を受光装置５２に供給する。光源３２は、照射信号に応じて照射光を発光する。発光タイミング信号は、照明制御部３１に供給される照射信号でもよい。また、制御部４２は、撮像部４１から取得した距離画像を表示部４３に供給し、表示部４３に表示させる。さらに、制御部４２は、撮像部４１から取得した距離画像を記憶部４４に記憶させる。また、制御部４２は、撮像部４１から取得した距離画像を外部に出力する。
　表示部４３は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。
　記憶部４４は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。
＜２．受光装置の構成例＞
　図２は、受光装置５２の構成例を示すブロック図である。
　受光装置５２は、画素駆動部７１、画素アレイ７２、MUX(マルチプレクサ)７３、時間計測部７４、信号処理部７５、および、入出力部７６を備える。
　画素アレイ７２は、光子の入射を検出し、検出結果を示す検出信号を画素信号として出力する画素８１が行方向及び列方向の行列状に２次元配置された構成となっている。ここで、行方向とは水平方向の画素８１の配列方向を言い、列方向とは垂直方向の画素８１の配列方向を言う。図２では、紙面の制約上、画素アレイ７２が１０行１２列の画素配列構成で示されているが、画素アレイ７２の行数および列数は、これに限定されず、任意である。
　画素アレイ７２の行列状の画素配列に対して、画素行ごとに画素駆動線８２が水平方向に配線されている。画素駆動線８２は、画素８１の駆動を行うための駆動信号を伝送する。画素駆動部７１は、画素駆動線８２を介して所定の駆動信号を各画素８１に供給することにより、各画素８１を駆動する。具体的には、画素駆動部７１は、入出力部７６を介して外部から供給される発光タイミング信号に合わせた所定のタイミングで、行列状に２次元配置された複数の画素８１の少なくとも一部をアクティブ画素とし、残りの画素８１を非アクティブ画素とする制御を行う。アクティブ画素は、光子の入射を検出する画素であり、非アクティブ画素は、光子の入射を検出しない画素である。勿論、画素アレイ７２の全ての画素８１をアクティブ画素としてもよい。画素８１の詳細構成については後述する。
　なお、図２では、画素駆動線８２を１本の配線として示しているが、複数の配線で構成してもよい。画素駆動線８２の一端は、画素駆動部７１の各画素行に対応した出力端に接続されている。
　MUX７３は、画素アレイ７２内のアクティブ画素と非アクティブ画素の切替えに従い、アクティブ画素からの出力を選択する。そして、MUX７３は、選択したアクティブ画素から入力される画素信号を時間計測部７４へ出力する。
　時間計測部７４は、MUX７３から供給されるアクティブ画素の画素信号と、光源３２の発光タイミングを示す発光タイミング信号とに基づいて、光源３２が光を発光してからアクティブ画素が光を受光するまでの時間（光の飛行時間）に対応するカウント値を生成する。発光タイミング信号は、入出力部７６を介して外部（撮像装置２２の制御部４２）から供給される。
　信号処理部７５は、所定の回数（例えば、数千乃至数万回）繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間（カウント値）のヒストグラムを画素ごとに生成する。そして、信号処理部７５は、ヒストグラムのピークを検出することで、光源３２から照射された光が被写体１２または被写体１３で反射して戻ってくるまでの時間を判定する。信号処理部７５は、受光装置５２が受光するまでの時間をカウントしたデジタルのカウント値が各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算を行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
　入出力部７６は、信号処理部７５から供給される距離画像の信号（距離画像信号）を、外部（制御部４２）に出力する。また、入出力部７６は、制御部４２から供給される発光タイミング信号を取得し、画素駆動部７１および時間計測部７４に供給する。
＜３．画素回路の構成例＞
　図３は、画素アレイ７２に行列状に複数配置された画素８１の回路構成例を示している。
　図３の画素８１は、SPAD１０１、トランジスタ１０２、スイッチ１０３、及び、インバータ１０４を備える。また、画素８１は、ラッチ回路１０５とインバータ１０６も備える。トランジスタ１０２は、P型のMOSトランジスタで構成される。
　SPAD１０１のカソードは、トランジスタ１０２のドレインに接続されるとともに、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。SPAD１０１のアノードは、電源電圧VA（以下では、アノード電圧VAとも称する。）に接続されている。
　SPAD１０１は、入射光が入射されたとき、発生する電子をアバランシェ増幅させてカソード電圧VSの信号を出力するフォトダイオード（単一光子アバランシェフォトダイオード）である。SPAD１０１のアノードに供給される電源電圧VAは、例えば、-２０V程度の負バイアス（負の電位）とされる。
　トランジスタ１０２は、飽和領域で動作する定電流源であり、クエンチング抵抗として働くことにより、パッシブクエンチを行う。トランジスタ１０２のソースは電源電圧VEに接続され、ドレインがSPAD１０１のカソード、インバータ１０４の入力端子、及び、スイッチ１０３の一端に接続されている。これにより、SPAD１０１のカソードにも、電源電圧VEが供給される。SPAD１０１と直列に接続されたトランジスタ１０２の代わりに、プルアップ抵抗を用いることもできる。
　SPAD１０１には、十分な効率で光（フォトン）を検出するため、SPAD１０１の降伏電圧VBDよりも大きな電圧（以下、過剰バイアス（ExcessBias）と称する。）が印加される。例えば、SPAD１０１の降伏電圧VBDが２０Vであり、それよりも３V大きい電圧を印加することとすると、トランジスタ１０２のソースに供給される電源電圧VEは、３Vとされる。
　なお、SPAD１０１の降伏電圧VBDは、温度等によって大きく変化する。そのため、降伏電圧VBDの変化に応じて、SPAD１０１に印加する印加電圧が制御（調整）される。例えば、電源電圧VEを固定電圧とすると、アノード電圧VAが制御（調整）される。
　スイッチ１０３は、両端の一端がSPAD１０１のカソード、インバータ１０４の入力端子、および、トランジスタ１０２のドレインに接続され、他端が、グランド（GND）に接続されているグランド接続線１０７に接続されている。スイッチ１０３は、例えば、N型のMOSトランジスタで構成することができ、ラッチ回路１０５の出力であるゲーティング制御信号VGを、インバータ１０６で反転させたゲーティング反転信号VG_Iに応じてオンオフさせる。
　ラッチ回路１０５は、画素駆動部７１から供給されるトリガ信号SETと、アドレスデータDECとに基づいて、画素８１をアクティブ画素または非アクティブ画素のいずれかに制御するゲーティング制御信号VGをインバータ１０６に供給する。インバータ１０６は、ゲーティング制御信号VGを反転させたゲーティング反転信号VG_Iを生成し、スイッチ１０３に供給する。
　トリガ信号SETは、ゲーティング制御信号VGを切り替えるタイミングを示すタイミング信号であり、アドレスデータDECは、画素アレイ７２内の行列状に配置された複数の画素８１のうち、アクティブ画素に設定する画素のアドレスを示すデータである。トリガ信号SETとアドレスデータDECは、画素駆動線８２を介して画素駆動部７１から供給される。
　ラッチ回路１０５は、トリガ信号SETが示す所定のタイミングで、アドレスデータDECを読み込む。そして、ラッチ回路１０５は、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれている場合には、自身の画素８１をアクティブ画素に設定するためのHi（1)のゲーティング制御信号VGを出力する。一方、アドレスデータDECが示す画素アドレスに自分（の画素８１）の画素アドレスが含まれていない場合には、自身の画素８１を非アクティブ画素に設定するためのLo（0)のゲーティング制御信号VGを出力する。これにより、画素８１がアクティブ画素とされる場合には、インバータ１０６によって反転されたLo(0)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。一方、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給される。したがって、スイッチ１０３は、画素８１がアクティブ画素に設定される場合にオフし（非接続とされ）、非アクティブ画素に設定される場合にオンされる（接続される）。
　インバータ１０４は、入力信号としてのカソード電圧VSがLoのとき、Hiの検出信号PFoutを出力し、カソード電圧VSがHiのとき、Loの検出信号PFoutを出力する。インバータ１０４は、SPAD１０１への光子の入射を検出信号PFoutとして出力する出力部である。
　次に、図４を参照して、画素８１がアクティブ画素に設定された場合の動作について説明する。
　図４は、光子の入射に応じたSPAD１０１のカソード電圧VSの変化と検出信号PFoutを示すグラフである。
　まず、画素８１がアクティブ画素である場合、上述したように、スイッチ１０３はオフに設定される。
　SPAD１０１のカソードには電源電圧VE（例えば、３V）が供給され、アノードには電源電圧VA（例えば、－２０V）が供給されることから、SPAD１０１に降伏電圧VBD（＝２０V）より大きい逆電圧が印加されることにより、SPAD１０１がガイガーモードに設定される。この状態では、SPAD１０１のカソード電圧VSは、例えば図４の時刻t0のように、電源電圧VEと同じである。
　ガイガーモードに設定されたSPAD１０１に光子が入射すると、アバランシェ増倍が発生し、SPAD１０１に電流が流れる。
　図４の時刻t1において、アバランシェ増倍が発生し、SPAD１０１に電流が流れたとすると、時刻t1以降、SPAD１０１に電流が流れることにより、トランジスタ１０２にも電流が流れ、トランジスタ１０２の抵抗成分により電圧降下が発生する。
　時刻t2において、SPAD１０１のカソード電圧VSが0Vよりも低くなると、SPAD１０１のアノード・カソード間電圧が降伏電圧VBDよりも低い状態となるので、アバランシェ増幅が停止する。ここで、アバランシェ増幅により発生する電流がトランジスタ１０２に流れることで電圧降下を発生させ、発生した電圧降下に伴って、カソード電圧VSが降伏電圧VBDよりも低い状態となることで、アバランシェ増幅を停止させる動作がクエンチ動作である。
　アバランシェ増幅が停止するとトランジスタ１０２の抵抗に流れる電流が徐々に減少して、時刻t4において、再びカソード電圧VSが元の電源電圧VEまで戻り、次の新たなフォトンを検出できる状態となる（リチャージ動作）。
　インバータ１０４は、入力電圧であるカソード電圧VSが所定の閾値電圧Vth以上のとき、Loの検出信号PFoutを出力し、カソード電圧VSが所定の閾値電圧Vth未満のとき、Hiの検出信号PFoutを出力する。従って、SPAD１０１に光子が入射し、アバランシェ増倍が発生してカソード電圧VSが低下し、閾値電圧Vthを下回ると、検出信号PFoutは、ローレベルからハイレベルに反転する。一方、SPAD１０１のアバランシェ増倍が収束し、カソード電圧VSが上昇し、閾値電圧Vth以上になると、検出信号PFoutは、ハイレベルからローレベルに反転する。
　なお、画素８１が非アクティブ画素とされる場合には、Hi（1)のゲーティング反転信号VG_Iがスイッチ１０３に供給され、スイッチ１０３がオンされる。スイッチ１０３がオンされると、SPAD１０１のカソード電圧VSが０Vとなる。その結果、SPAD１０１のアノード・カソード間電圧が降伏電圧VBD以下となるので、SPAD１０１に光子が入ってきても反応しない状態となる。
＜４．比較例としての信号処理部の構成例＞
　上述したように、信号処理部７５は、所定の回数繰り返し実行される光源３２の発光と、その反射光の受光とに基づいて、反射光を受光するまでの時間に対応するカウント値のヒストグラムを画素ごとに生成する。このヒストグラムを生成するヒストグラム生成回路の回路面積は、測距システムの解像度（空間解像度や時間解像度）を上げようとすると、増大する。
　そこで、以下では、受光装置５２の信号処理部７５に適用された、ヒストグラム生成回路の回路面積を抑制することが可能な信号処理部の構成について説明する。ただし、以下では、初めに、本技術を適用した信号処理部７５と比較するための比較例である、信号処理部３０１の構成例について説明し、その後、受光装置５２の信号処理部７５の構成について説明する。
　図５は、比較例としての信号処理部３０１の構成例を示すブロック図である。
　図５の信号処理部３０１は、時間計測部７４に設けられた１つのTDC(time to digital converter)９１に対応して１つのヒストグラム生成回路３２１を備え、ヒストグラム生成回路３２１は、デコーダ３３１とヒストグラム保持回路３３２とを備える。時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対応して設けられる。
　なお、図５の画素アレイ７２と時間計測部７４については、ヒストグラム生成回路３２１との対応関係を説明するために示している。
　すなわち、時間計測部７４のTDC９１は、画素アレイ７２の１以上の画素８１に対して設けられる。例えば、行列状に２次元配置された全ての画素８１を同時にアクティブ画素として動作させる場合には、画素８１とTDC９１が１対１に設けられ、時間計測部７４は、画素アレイ７２の画素数と同数のTDC９１を備える。また例えば、画素アレイ７２の１行を構成する複数の画素８１に対して１個のTDC９１が設けられる場合には、時間計測部７４は、画素アレイ７２の画素行と同数のTDC９１を備える。したがって、時間計測部７４に含まれるTDC９１の個数は、１回の受光で同時にアクティブ画素に設定する画素数などの要求に応じて決定される。
　MUX７３において、アクティブ画素に設定された画素８１の出力が適切に選択されたとして、アクティブ画素に設定された画素８１の画素信号、即ち、上述した検出信号PFoutが、TDC９１に入力される。TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値を、ToFデータとして、ヒストグラム生成回路３２１に出力する。TDC９１は、光源３２の発光タイミングから画素８１が受光した受光タイミングまでの時間情報を計測する計測部に相当する。
　ヒストグラム生成回路３２１に入力されるToFデータは、デコーダ３３１によってデコードされ、ヒストグラム保持回路３３２のヒストグラムのビンに記憶される。換言すれば、デコーダ３３１は、入力されるToFデータに応じて、ヒストグラム保持回路３３２のヒストグラムのビンを選択し、選択したビンのヒストグラムの頻度値を更新する。
　図６は、光源３２の発光と、その反射光の受光を複数回（例えば、数千乃至数万回）繰り返すことにより、ヒストグラム生成回路３２１によって生成されたヒストグラムの例を示している。
　図６に示されるヒストグラムの例では、D1で示されるビンがヒストグラムのピークを示しており、D1で示されるビンのToFデータ（カウント値）が、画素８１のToFデータとして、出力される。
＜５．本技術の信号処理部の第１構成例＞
　図７は、本技術を適用した信号処理部であって、図２の信号処理部７５の第１構成例を示すブロック図である。
　なお、図７においても、図５と同様に、画素アレイ７２と時間計測部７４の対応する構成も示されている。
　図７の信号処理部７５は、時間計測部７４に設けられた１つのTDC９１に対応して１つのヒストグラム前段回路１２１と、ヒストグラム生成回路１２２とを備える。画素アレイ７２の画素８１と、時間計測部７４のTDC９１との関係は、図５における場合と同様である。
　ヒストグラム前段回路１２１は、複数のToFデータを記憶するバッファBを備える記憶部１３１と、複数のデコーダ１３２と、マージ回路１３３とで構成される。ヒストグラム生成回路１２２は、ヒストグラム保持回路１５１で構成される。ヒストグラム保持回路１５１は、例えば、FF(Flip-Flop)アレイや、SRAM(Static RAM)等で構成することができる。
　記憶部１３１は、１回の測距期間中に、TDC９１から入力される１種類以上のToFデータをバッファBに記憶する。バッファBは、外乱光やマルチパス光、ノイズによる偽の受光反応など、１回の測距期間中に発生する複数回のアバランシェ増幅に対応して、複数個のToFデータを記憶できるように構成されている。そして、デコーダ１３２は、バッファBが記憶可能なToFデータの個数に応じた数だけ用意されている。例えば、バッファBが５個のToFデータを記憶可能であるとすると、ヒストグラム前段回路１２１に設けられるデコーダ１３２の個数は５個となる。
　複数のデコーダ１３２それぞれは、バッファBに記憶されたToFデータの１つを取得し、マージ回路１３３に出力する。マージ回路１３３は、複数のOR回路を配置したORセル列で構成される。各OR回路は、複数のデコーダ１３２の同一のToFデータの出力端子に接続されており、マージ回路１３３は、取り得るToFデータのデータ数のOR回路を有する。マージ回路１３３は、バッファBに記憶された複数のToFデータのうち、同一のToFデータを１つのToFデータにマージして、ヒストグラム生成回路１２２のヒストグラム保持回路１５１に出力する。
　ヒストグラム保持回路１５１は、マージ回路１３３によってマージされた後の１種類以上のToFデータに基づいて、ToFデータに対応するビンのヒストグラムの頻度値を更新して記憶する。そして、ヒストグラム保持回路１５１は、複数回（例えば、数千乃至数万回）の光源３２の反射光の受光に応じてヒストグラムの頻度値を更新することにより、ToFデータのヒストグラムを生成する。
　信号処理部７５は、画素アレイ７２の各画素８１のヒストグラムのピークに対応するToFデータが各画素に格納された距離画像を生成し、入出力部７６に供給する。あるいはまた、信号処理部７５は、判定した時間と光速に基づいて、物体までの距離を求める演算まで行い、その演算結果を各画素に格納した距離画像を生成し、入出力部７６に供給してもよい。
＜６．ヒストグラムの生成動作の比較＞
　図８および図９を参照して、図７の信号処理部７５と、比較例である図５の信号処理部３０１とによるヒストグラムの生成動作を比較する。
　図８は、比較例である図５の信号処理部３０１によるヒストグラムの生成動作を示すタイミングチャートである。
　図９は、図７の信号処理部７５によるヒストグラムの生成動作を示すタイミングチャートである。
　図８および図９のいずれにおいても、時刻t1から時刻t2までの期間Tが１回の測距期間に相当し、この１回の測距期間Tに、25, 25, 50, 120, 120の５個のToFデータが、TDC９１から出力されたと仮定する。この測距期間Tの測定を複数回（例えば、数千乃至数万回）繰り返すことで、最終的なヒストグラムが生成される。なお、１回の測距期間を識別する信号は、発光タイミング信号として、撮像装置２２の制御部４２から受光装置５２に供給される。
　比較例である図５の信号処理部３０１のヒストグラム生成回路３２１は、図８に示されるように、TDC９１からToFデータが入力される毎に、ヒストグラム保持回路３３２のヒストグラムを更新する。具体的には、{25}、{25}、{50}、{120}、{120}のToFデータが入力される度に更新される。ヒストグラム生成回路３２１は、順次入力されるToFデータを全て処理できる速度で動作させる必要がある。
　一方、図７の信号処理部７５は、図９に示されるように、TDC９１から順次入力される５個のToFデータは、ヒストグラム前段回路１２１の記憶部１３１のバッファBに記憶される。そして、１回の測距期間Tが終了したタイミングで、マージ回路１３３によって同一のToFデータが１つのToFデータにマージされ、マージ後の１種類以上のToFデータが、まとめて１回で、ヒストグラム生成回路１２２のヒストグラム保持回路１５１に供給される。具体的には、{25}、{50}、および、{120}のToFデータが、まとめて１回で、ヒストグラム生成回路１２２に供給され、ヒストグラムが更新される。
　したがって、信号処理部７５では、ヒストグラム保持回路１５１に供給される１種類以上のToFデータは、カウント値がすべて異なる。また、ヒストグラムを更新するタイミングが、ToFデータが入力されるごとのタイミングである必要はなく、測距期間Tごとのタイミングでよい。
　１回の測距期間Tに、25, 25, 50, 120, 120の５個のToFデータが、TDC９１から出力された場合において、比較例のヒストグラム生成回路３２１では、{25}のToFデータの頻度値が２、{120}のToFデータの頻度値が２、{50}のToFデータの頻度値が１だけ積算されるのに対して、ヒストグラム保持回路１５１では、{25}、{50}、および、{120}のToFデータの頻度値が、それぞれ１だけ積算されるのみである。
　したがって、受光装置５２の信号処理部７５によれば、正しいヒストグラム、換言すれば、TDC９１が出力するToFデータの出力数と同じ頻度値のヒストグラムを作成することはできない。
　しかしながら、Direct ToF法による測距システムに限っては、正しいヒストグラムを作成する必要はない。その理由は、以下の通りである。
　Direct ToF法では、時間計測部７４のTDC９１は、１回の測距期間Tの開始時刻（図９では時刻t1）においてカウント値＝０からカウントを開始し、測距期間Tの終了時刻（図９では時刻t2）までカウント値をカウントアップさせるカウント動作を行う。したがって、本来、同一のToFデータがTDC９１から出力されることはなく、同一のToFデータがTDC９１から出力された場合、そのToFデータは画素８１のノイズ動作と考えられる。したがって、１回の測距期間Tに対して、複数個の同一のToFデータを積算する必要はなく、むしろ、マージ回路１３３がToFデータのノイズを除去していると言うことができる。すなわち、マージ回路１３３は、ローパスフィルタ動作によるノイズ除去機能を兼ねている。
　したがって、上述の動作でも、１回の測距期間Tを複数回（例えば、数千乃至数万回）繰り返した結果に基づくヒストグラムを生成することによって、距離画像を正確に生成することができる。
　以上より、図７の信号処理部７５によれば、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
＜７．本技術の信号処理部の第２構成例＞
　図１０は、図２の信号処理部７５の第２構成例を示すブロック図である。
　図１０において、図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１０の第２構成例は、ヒストグラム前段回路１２１の一部が、第１構成例と異なる。具体的には、第２構成例の記憶部１３１は、第１構成例の記憶部１３１が備えるバッファBを２個備える。第２構成例の記憶部１３１が備える２個のバッファBを、バッファB1（第１記憶領域）とバッファB２（第２記憶領域）と呼ぶことにする。
　また、第２構成例のヒストグラム前段回路１２１は、第１構成例と同様に複数のデコーダ１３２とマージ回路１３３とを備えるとともに、セレクタ１７１および１７２と、制御部１７３とをさらに備える。
　セレクタ１７１は、１回の測距期間Tに、TDC９１から入力される１個以上のToFデータを、制御部１７３の制御に従い、バッファB1またはB2のいずれかに記憶させる。セレクタ１７２は、制御部１７３の制御に従い、バッファB1またはB2のいずれか一方から、そこに記憶されている１個以上のToFデータを読み出し、複数のデコーダ１３２に出力する。
　制御部１７３は、セレクタ１７１のToFデータの出力先、および、セレクタ１７２のToFデータの読み出し先を制御する。より具体的には、制御部１７３は、TDC９１からのToFデータをセレクタ１７１がバッファB1へ出力する場合、セレクタ１７２がバッファB2からToFデータを読み出すように制御し、TDC９１からのToFデータをセレクタ１７１がバッファB2へ出力する場合、セレクタ１７２がバッファB1からToFデータを読み出すように制御する。これにより、ToFデータのバッファB1への記憶と、バッファB2に記憶されたToFデータのマージ回路１３３への出力とが、同時に実行される。すなわち、TDC９１からのToFデータの出力とヒストグラム更新とを並列に動作させることができるので、処理を高速化することができる。
　図１０の信号処理部７５においても、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
＜８．本技術の信号処理部の第３構成例＞
　図１１は、図２の信号処理部７５の第３構成例を示すブロック図である。
　図１１において、図７と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
　図１１の第３構成例は、ヒストグラム前段回路１２１の一部が、第１構成例と異なる。具体的には、第３構成例のヒストグラム前段回路１２１は、第１構成例のマージ回路１３３に代えて、マージ回路１８１が設けられている。また、第１構成例では、デコーダ１３２がバッファBが記憶可能なToFデータの個数に応じた数だけ設けられていたが、第３構成例では、デコーダ１３２は１個である。
　マージ回路１８１は、記憶部１３１（バッファB）の前段に設けられ、セレクタ１８２（選択部）と比較器１８３とを有している。
　セレクタ１８２は、比較器１８３の制御に従い、TDC９１からの入力か、または、無効（invalid）のいずれか一方を選択する。セレクタ１８２は、TDC９１からの入力を選択した場合には、TDC９１からのToFデータを、記憶部１３１のバッファBに記憶させ、無効を選択した場合には、TDC９１からのToFデータを、記憶部１３１のバッファBに記憶させない。
　比較器１８３は、TDC９１から供給されるToFデータと、記憶部１３１のバッファBに記憶されているToFデータとを比較し、TDC９１から供給されたToFデータが、既にバッファBに記憶されているデータである場合には、セレクタ１８２が、TDC９１からのToFデータをバッファBに出力しないように制御する。一方、TDC９１から供給されたToFデータが、バッファBに記憶されていないデータである場合には、比較器１８３は、TDC９１からのToFデータをバッファBに出力させるように、セレクタ１８２を制御する。
　したがって、マージ回路１８１は、TDC９１から入力されたToFデータが、記憶部１３１のバッファBに記憶されているかを判定し、バッファBに記憶されていない場合に、TDC９１から入力されたToFデータをバッファBに記憶させる。
　図１１の信号処理部７５においても、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
　なお、第３構成例では、マージ回路１８１はTDC９１の出力レート以上の速度で動作させる必要がある。
＜９．チップ構成例＞
　受光装置５２は、２枚または３枚の基板（ダイ）を積層した積層構造による１チップ（半導体チップ）で構成することができる。
　図１２は、受光装置５２が２枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
　受光装置５２は、第１基板１９１Aと第２基板１９１Bとを積層して構成される。第１基板１９１Aと第２基板１９１Bとは、例えば、貫通ビアやCu-Cuの金属接合により電気的に接続される。
　反射光を受光する受光面が第１基板１９１Aに設けられ、第１基板１９１Aには、画素アレイ７２が形成される。第２基板１９１Bには、MUX７３、時間計測部７４、および、信号処理部７５などが配置される。入出力部７６の一部である、はんだボール等の入出力端子は、例えば、第２基板１９１Bの第１基板１９１Aの接合面と反対側の面に形成される。不図示の画素駆動部７１は、第１基板１９１Aまたは第２基板１９１Bのどちらに形成してもよい。
　図１３は、受光装置５２が３枚の基板の積層構造による１チップで構成される場合の各部の配置例を示している。
　受光装置５２は、第１基板１９２A、第２基板１９２B、および、第３基板１９２Cを積層して構成される。第１基板１９２Aと第２基板１９２Bは、貫通ビアやCu-Cuの金属接合により電気的に接続され、第２基板１９２Bと第３基板１９２Cは、貫通ビアやCu-Cuの金属接合により電気的に接続される。
　第１基板１９２Aには、画素アレイ７２が形成される。第２基板１９２Bには、MUX７３、時間計測部７４、および、信号処理部７５の一部である複数のヒストグラム前段回路１２１が配置される。
　第３基板１９２Cには、第２基板１９２Bに配置されない残りの信号処理部７５、例えば、複数のヒストグラム生成回路１２２と、入出力部７６などが配置される。例えば、複数のヒストグラム生成回路１２２としてのSRAMが、第２基板１９２Bの各ヒストグラム前段回路１２１の出力端子と、TSV（Through Silicon Via）などで接続される。
＜１０．測距システムによる測距処理＞
　次に、図１４のフローチャートを参照して、測距システム１１による測距処理を説明する。この処理は、例えば、測距システム１１の撮像装置２２に対して測距処理の開始が指示されたときに開始される。なお、図１４では、信号処理部７５が図７に示した第１構成例である場合について説明する。
　初めに、ステップＳ１において、撮像装置２２の制御部４２は、照明装置２１の照明制御部３１に照射信号を供給し、光源３２を発光させる。光源３２は、照射信号に含まれる照射コードに従って、所定の波長域の光を発する。光源３２が発光するタイミングを示す発光タイミング信号は、制御部４２から受光装置５２にも供給される。
　ステップＳ２において、受光装置５２は、画素アレイ７２の複数の画素８１の少なくとも一部をアクティブ画素に設定し、光源３２が照射した光が被写体により反射された反射光を受光する。アクティブ画素に設定された画素８１は、SPAD１０１への光子の入射を検出し、Hiの検出信号PFoutをTDC９１へ出力する。
　ステップＳ３において、TDC９１は、光源３２の発光タイミングからアクティブ画素が受光した受光タイミングまでの時間情報を計測する。具体的には、TDC９１は、Hiの検出信号PFoutが入力された時間（期間）をカウントし、カウントした結果であるカウント値を、ToFデータとして、ヒストグラム生成回路１２２に出力する。ここで、TDC９１には、外乱光やマルチパス光、ノイズによる偽の受光反応などにより、１回の測距期間中に、複数回のアバランシェ増幅が発生する場合があり、複数回のアバランシェ増幅に対応して、１種類以上の複数個のToFデータがヒストグラム生成回路１２２に供給される場合がある。
　ステップＳ４において、記憶部１３１は、TDC９１から入力された、１種類以上のToFデータをバッファBに記憶する。
　ステップＳ５において、マージ回路１３３は、デコーダ１３２を介してバッファBに記憶された１種類以上のToFデータを取得し、１種類以上のToFデータのうち、同一のToFデータを１つのToFデータにマージして、ヒストグラム生成回路１２２のヒストグラム保持回路１５１に出力する。
　ステップＳ６において、ヒストグラム保持回路１５１は、マージ回路１３３から供給された、マージ後の１種類以上のToFデータに基づいて、ToFデータに対応するビンのヒストグラムの頻度値を更新して記憶する。
　ステップＳ７において、制御部４２は、予め決定された所定回数（例えば、数千乃至数万回）の測定を行ったかを判定する。
　ステップＳ７で、所定回数の測定をまだ行っていないと判定された場合、処理はステップＳ１に戻り、上述した処理が繰り返される。これにより、予め決定された所定回数（例えば、数千乃至数万回）、ステップＳ１乃至Ｓ７の処理が繰り返される。
　一方、ステップＳ７で、所定回数の測定を行ったと判定された場合、処理はステップＳ８へ進み、信号処理部７５は、アクティブ画素に設定された各画素８１について、ヒストグラム保持回路１５１のヒストグラムの頻度値を参照し、ピークに対応するToFデータを画素値として格納した距離画像を生成し、入出力部７６を介して制御部４２へ供給する。制御部４２は、撮像部４１から取得した距離画像を外部に出力して、測距処理を終了する。
　なお、信号処理部７５は、判定した時間（ToFデータ）と光速に基づいて、物体までの距離を求める演算まで行い、その演算結果を各画素に格納した距離画像を生成して、制御部４２へ供給してもよい。
　以上のようにして測距システム１１により距離画像が生成され、外部に出力される。
　なお、信号処理部７５の構成として図１０に示した第２構成例が採用される場合の測距処理は、上述した図１４のフローチャートと同様となるが、図１１に示した第３構成例が採用される場合の測距処理は、ToFデータがマージ回路１８１によってマージされてから、バッファBに記憶されるので、上述したステップＳ４とステップＳ５の処理の順番が入れ替わる。
　測距システム１１の受光装置５２によれば、ヒストグラムの更新頻度が測距期間Tのタイミングでよく、TDC９１からのToFデータの出力レートまで高レートで、信号処理部７５を動作させる必要がないので、ヒストグラムを保持するメモリ部であるヒストグラム生成回路を、小面積、低消費電力で実現することができる。
＜１１．測距システムの使用例＞
　本技術は、測距システムへの適用に限られるものではない。即ち、本技術は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器全般に対して適用可能である。上述の撮像部４１は、レンズ５１及び受光装置５２がまとめてパッケージングされたモジュール状の形態であってもよいし、レンズ５１と受光装置５２とが別に構成され、受光装置５２のみをワンチップとして構成してもよい。
　図１５は、上述の測距システム１１または受光装置５２の使用例を示す図である。
　上述した測距システム１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
　・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜１２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１７は、撮像部１２０３１の設置位置の例を示す図である。
　図１７では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、例えば、図１の測距システム１１は、撮像部１２０３１に適用することができる。撮像部１２０３１は、例えばＬＩＤＡＲであり、車両１２１００の周囲の物体及び物体までの距離の検出に用いられる。撮像部１２０３１に本開示に係る技術を適用することにより、車両１２１００の周囲の物体及び物体までの距離の検出精度が向上する。その結果、例えば、車両の衝突警告を適切なタイミングで行うことができ、交通事故を防止することが可能となる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
　複数の前記時間情報を記憶する記憶部と、
　前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
　を備える受光装置。
（２）
　前記マージ回路は、前記記憶部に記憶されている複数の前記時間情報に含まれる同一の時間情報を１つの時間情報にマージして、前記ヒストグラム生成回路に出力する
　前記（１）に記載の受光装置。
（３）
　前記マージ回路は、マージ後の複数種類の前記時間情報をまとめて１回で前記ヒストグラム生成回路に出力する
　前記（１）または（２）に記載の受光装置。
（４）
　前記マージ回路は、複数のOR回路を配置したORセル列で構成される
　前記（１）乃至（３）のいずれかに記載の受光装置。
（５）
　前記記憶部は、第１記憶領域と第２記憶領域を備え、
　前記計測部から入力された前記時間情報の前記第１記憶領域への記憶と、前記第２記憶領域に記憶された１種類以上の前記時間情報の前記マージ回路への出力とが、同時に実行される
　前記（１）乃至（４）のいずれかに記載の受光装置。
（６）
　前記マージ回路は、前記計測部から入力された前記時間情報が前記記憶部に記憶されているかを判定し、前記記憶部に記憶されていない場合に、前記計測部から入力された前記時間情報を前記記憶部に記憶させる
　前記（１）乃至（３）のいずれかに記載の受光装置。
（７）
　前記マージ回路は、
　　前記計測部から入力された前記時間情報と、前記記憶部に記憶されている前記時間情報とを比較する比較器と、
　　前記計測部から入力された前記時間情報を選択して前記記憶部に出力する選択部と
　を有する
　前記（１）乃至（３）、または、（６）のいずれかに記載の受光装置。
（８）
　２枚または３枚の基板の積層構造による１チップで構成される
　前記（１）乃至（７）のいずれかに記載の受光装置。
（９）
　受光装置が、
　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測して記憶することと、
　計測された同一の前記時間情報を１つの時間情報にマージすることと、
　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成することと
　を含むヒストグラム生成方法。
（１０）
　照射光を照射する光源を有する照明装置と、
　前記照射光に対する反射光を受光する受光装置と
　を備え、
　前記受光装置は、
　　前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
　　複数の前記時間情報を記憶する記憶部と、
　　前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
　　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
　を備える
　測距システム。
　１１　測距システム，　２１　照明装置，　２２　撮像装置，　３１　照明制御部，　３２　光源，　４１　撮像部，　４２　制御部，　５２　受光装置，　７１　画素駆動部，　７２　画素アレイ，　７３　MUX，　７４　時間計測部，　７５　信号処理部，　７６　入出力部，　８１　画素，　９１　TDC，　１０１　SPAD，　１２１　ヒストグラム前段回路，　１２２　ヒストグラム生成回路，　１３１　記憶部，　１３２　デコーダ，　１３３　マージ回路，　１５１　ヒストグラム保持回路，　１７１，１７２　セレクタ，　１７３　制御部，　１８１　マージ回路，　１８２　セレクタ，　１８３　比較器，　１９１A　第１基板，　１９１B　第２基板，　１９２A　第１基板，　１９２B　第２基板，　１９３C　第３基板

Claims (10)

  1. 　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    　複数の前記時間情報を記憶する記憶部と、
    　前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
    　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
    　を備える受光装置。
  2. 　前記マージ回路は、前記記憶部に記憶されている複数の前記時間情報に含まれる同一の時間情報を１つの時間情報にマージして、前記ヒストグラム生成回路に出力する
    　請求項１に記載の受光装置。
  3. 　前記マージ回路は、マージ後の複数種類の前記時間情報をまとめて１回で前記ヒストグラム生成回路に出力する
    　請求項１に記載の受光装置。
  4. 　前記マージ回路は、複数のOR回路を配置したORセル列で構成される
    　請求項１に記載の受光装置。
  5. 　前記記憶部は、第１記憶領域と第２記憶領域を備え、
    　前記計測部から入力された前記時間情報の前記第１記憶領域への記憶と、前記第２記憶領域に記憶された１種類以上の前記時間情報の前記マージ回路への出力とが、同時に実行される
    　請求項１に記載の受光装置。
  6. 　前記マージ回路は、前記計測部から入力された前記時間情報が前記記憶部に記憶されているかを判定し、前記記憶部に記憶されていない場合に、前記計測部から入力された前記時間情報を前記記憶部に記憶させる
    　請求項１に記載の受光装置。
  7. 　前記マージ回路は、
    　　前記計測部から入力された前記時間情報と、前記記憶部に記憶されている前記時間情報とを比較する比較器と、
    　　前記計測部から入力された前記時間情報を選択して前記記憶部に出力する選択部と
    　を有する
    　請求項１に記載の受光装置。
  8. 　２枚または３枚の基板の積層構造による１チップで構成される
    　請求項１に記載の受光装置。
  9. 　受光装置が、
    　光源の発光タイミングから受光素子が受光した受光タイミングまでの時間情報を計測して記憶することと、
    　計測された同一の前記時間情報を１つの時間情報にマージすることと、
    　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成することと
    　を含むヒストグラム生成方法。
  10. 　照射光を照射する光源を有する照明装置と、
    　前記照射光に対する反射光を受光する受光装置と
    　を備え、
    　前記受光装置は、
    　　前記光源の発光タイミングから前記受光装置の受光素子が受光した受光タイミングまでの時間情報を計測する計測部と、
    　　複数の前記時間情報を記憶する記憶部と、
    　　前記計測部で計測された同一の時間情報を１つの時間情報にマージするマージ回路と、
    　　マージ後の１種類以上の前記時間情報に基づいて、ヒストグラムを生成するヒストグラム生成回路と
    　を備える
    　測距システム。
PCT/JP2020/004006 2019-02-13 2020-02-04 受光装置、ヒストグラム生成方法、および測距システム WO2020166419A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/427,951 US20220128690A1 (en) 2019-02-13 2020-02-04 Light receiving device, histogram generating method, and distance measuring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019023662A JP2020134170A (ja) 2019-02-13 2019-02-13 受光装置および測距システム
JP2019-023662 2019-02-13

Publications (1)

Publication Number Publication Date
WO2020166419A1 true WO2020166419A1 (ja) 2020-08-20

Family

ID=72045559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004006 WO2020166419A1 (ja) 2019-02-13 2020-02-04 受光装置、ヒストグラム生成方法、および測距システム

Country Status (3)

Country Link
US (1) US20220128690A1 (ja)
JP (1) JP2020134170A (ja)
WO (1) WO2020166419A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731425A (zh) * 2020-11-29 2021-04-30 奥比中光科技集团股份有限公司 一种处理直方图的方法、距离测量系统及距离测量设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637020B (zh) * 2022-05-18 2022-08-23 杭州宇称电子技术有限公司 一种用于飞行时间法距离测量的抗环境光方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
US20170353649A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight ranging for flash control in image capture devices
WO2018122560A1 (en) * 2016-12-30 2018-07-05 The University Court Of The University Of Edinburgh Photon sensor apparatus
US20180246212A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics (Research & Development) Limited Higher pixel density histogram time of flight sensor with higher pixel density

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
US20170353649A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight ranging for flash control in image capture devices
WO2018122560A1 (en) * 2016-12-30 2018-07-05 The University Court Of The University Of Edinburgh Photon sensor apparatus
US20180246212A1 (en) * 2017-02-27 2018-08-30 Stmicroelectronics (Research & Development) Limited Higher pixel density histogram time of flight sensor with higher pixel density

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731425A (zh) * 2020-11-29 2021-04-30 奥比中光科技集团股份有限公司 一种处理直方图的方法、距离测量系统及距离测量设备
CN112731425B (zh) * 2020-11-29 2024-05-03 奥比中光科技集团股份有限公司 一种处理直方图的方法、距离测量系统及距离测量设备

Also Published As

Publication number Publication date
JP2020134170A (ja) 2020-08-31
US20220128690A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
WO2019087783A1 (ja) 撮像装置及び撮像システム
US11940536B2 (en) Light receiving element and ranging system
WO2020158401A1 (ja) 受光装置および測距システム
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
TWI821381B (zh) 受光元件及測距系統
WO2020045125A1 (ja) 受光素子および測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
CN113302448A (zh) 光接收装置和距离测量装置
WO2020045124A1 (ja) 受光素子および測距システム
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
WO2020166349A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2020162128A1 (ja) 光源装置および電子機器
TWI845592B (zh) 受光裝置及測距系統
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
WO2024135122A1 (ja) 撮像装置、制御装置およびスパイキングニューラルネットワーク
WO2020129474A1 (ja) 測距装置および計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755041

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755041

Country of ref document: EP

Kind code of ref document: A1