WO2023171176A1 - 受光素子、および電子機器 - Google Patents

受光素子、および電子機器 Download PDF

Info

Publication number
WO2023171176A1
WO2023171176A1 PCT/JP2023/002873 JP2023002873W WO2023171176A1 WO 2023171176 A1 WO2023171176 A1 WO 2023171176A1 JP 2023002873 W JP2023002873 W JP 2023002873W WO 2023171176 A1 WO2023171176 A1 WO 2023171176A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
counter
light receiving
receiving element
detection circuit
Prior art date
Application number
PCT/JP2023/002873
Other languages
English (en)
French (fr)
Inventor
拓也 関口
一輝 中井
孝之 村上
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023171176A1 publication Critical patent/WO2023171176A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Definitions

  • the present disclosure relates to a light receiving element and an electronic device.
  • a light receiving element is known in which a detection circuit having a SPAD (Single-Photon Avalanche Diode) that detects the presence or absence of photons and a counter circuit that counts the number of photons are provided for each pixel.
  • SPAD Single-Photon Avalanche Diode
  • the counter circuit may become saturated.
  • the present disclosure provides a light receiving element and an electronic device that can suppress the saturation of a counter circuit.
  • a light receiving element including a plurality of pixels,
  • the pixel is a detection circuit capable of detecting incident photons; a counter circuit that counts pulses output by the detection circuit;
  • At least one first counter circuit among the plurality of counter circuits included in the plurality of pixels is based on the output value of a second counter circuit different from the first counter circuit among the plurality of counter circuits.
  • a light receiving element is provided for counting.
  • the first counter circuit may count the pulse signals of the corresponding first detection circuits among the plurality of detection circuits included in the plurality of pixels.
  • the second counter circuit may count pulse signals of a second detection circuit different from the first detection circuit among the plurality of detection circuits included in the plurality of pixels.
  • It may further include a control processing circuit that controls the plurality of pixels.
  • the control processing circuit When the control processing circuit is controlling in the second mode, the control processing circuit changes the control processing circuit to the first mode depending on the case where the counter value of the first counter circuit or the second counter circuit exceeds a predetermined upper limit value.
  • the first plurality of pixels corresponding to the first counter circuit and the second counter circuit may be controlled using the first counter circuit and the second counter circuit.
  • the first plurality of pixels may be controlled in the second mode.
  • the control processing circuit may include a histogram generation unit that counts the number of counters output by each of the plurality of counter circuits at a predetermined period, and generates a histogram in which the number of counters is arranged in time series.
  • the histogram generation unit may generate a first histogram that is the sum of the output value of the first counter circuit and the output value of the second counter circuit.
  • the histogram generation unit may generate a histogram based on the output value of the first counter circuit and a second histogram based on the output value of the second counter circuit.
  • the control processing circuit may further include a display control section that displays the first histogram or the second histogram on a display section.
  • the first counter circuit is a first selection element that receives signals from the first detection circuit and the second counter circuit, respectively; a first bit counter that counts based on the output signal of the first selection element; has The control processing circuit controls the first selection element to select the output signal of the second counter circuit in the first mode, and to select the output signal of the first detection circuit in the second mode. It's okay.
  • the first counter circuit is a first selection element that receives signals from the first detection circuit and the second counter circuit, respectively; a first bit counter that counts based on the output signal of the first selection element; has The control processing circuit includes: In the second mode, the first selection element is controlled to select the output signal of the first detection circuit in a first cycle; In the first mode, control may be performed to alternately select the first detection circuit and the output signal of the second counter circuit in a second cycle that is twice as long as the first cycle.
  • the second counter circuit is a second selection element that receives signals from the second detection circuit and the first counter circuit, respectively; a second bit counter that counts based on the output signal of the second selection element; has
  • the control processing circuit includes: In the first mode, control may be performed in the second period to alternately select the first counter circuit and the output signal of the second detection circuit.
  • the first detection circuit includes: an avalanche photodiode, a resistor connected in series with the avalanche photodiode between a power supply terminal and a ground terminal; a waveform shaping circuit that shapes the output signal of the avalanche photodiode into the pulse; It may have.
  • the control processing circuit may select a first region having a high average luminance value based on the image data acquired from the first imaging unit, and select the second detection circuit from a region corresponding to the first region. good.
  • the control processing circuit may select the first detection circuit from a region corresponding to outside the first region.
  • the control processing circuit selects a third region with a high change in brightness value based on the image data acquired from the second imaging section, and selects the second detection circuit from a region corresponding to the third region. Good too.
  • the control processing circuit may select the first detection circuit from a region corresponding to outside the third region.
  • Each of the plurality of pixels can be driven independently, and has a first pixel group and a second pixel group to which the detection circuit corresponds,
  • In the first mode From the first pixel group, obtain a pulse signal from a first detection circuit group including the second detection circuit, A pulse signal from a second detection circuit group that does not correspond to the first detection circuit group may be acquired from the second pixel group.
  • the control processing circuit having a plurality of combinations of the first detection circuit and the second detection circuit, In the first mode, the control processing circuit:
  • the combination may be selected according to the priority.
  • the control processing circuit If a counter circuit corresponding to a detection circuit adjacent to the second detection circuit exceeds a predetermined upper limit value, the detection circuit exceeding the predetermined upper limit value may be selected as the first detection circuit. good.
  • An electronic device that includes an optical system that supplies return light to the light receiving element.
  • FIG. 1 is a block diagram showing an example of the configuration of an electronic device.
  • FIG. 3 is a plan view showing an example of the configuration of a light receiving chip.
  • FIG. 2 is a plan view showing an example of a configuration of a logic chip.
  • FIG. 2 is a block diagram schematically showing an example of a circuit configuration of an optical element.
  • FIG. 7 is a diagram illustrating an example of a histogram generated by a histogram generation unit.
  • the figure which shows the example of the combination of ranging points. 8 is a time chart showing an example of control by the control circuit for the ranging point shown in FIG.
  • FIG. 7; 8 is a flowchart showing an example of control by the distance measuring point control circuit shown in FIG. 7;
  • FIG. 3 is a diagram illustrating an example of a histogram image displayed by a display control unit on a display unit. The figure which shows the example of the histogram image of another example.
  • FIG. 2 is a schematic diagram of the external appearance of an electronic device according to a second embodiment.
  • FIG. 2 is a block diagram showing the configuration of a processing circuit according to a second embodiment.
  • FIG. 3 is a diagram schematically showing a processing example of a first area extraction unit.
  • 7 is a flowchart illustrating an example of processing by a first area extraction unit.
  • FIG. 7 is a schematic diagram of the external appearance of an electronic device according to a third embodiment.
  • FIG. 3 is a block diagram showing the configuration of a processing circuit according to a third embodiment.
  • FIG. 6 is a diagram schematically showing a processing example of a second area extraction unit.
  • 9 is a flowchart illustrating an example of processing by the second area extraction unit 95b.
  • FIG. 7 is a schematic diagram of the external appearance of an electronic device according to a fourth embodiment.
  • FIG. 7 is a diagram showing an example of a laminated structure of a light receiving element according to a fourth embodiment. The figure which shows the example of a control system from the control circuit of a 1st counter part and a 2nd counter part.
  • FIG. 9 is a diagram showing an example of the operation when extending the DR of the distance measurement point in the light receiving element according to the fourth embodiment.
  • FIG. 9 is a diagram showing an example of the operation when extending the DR of the distance measurement point in the light receiving element according to the fourth embodiment.
  • FIG. 3 is a diagram showing a sequence of bank (BANK) signals during DR expansion. The figure which shows the example of the combination of the pair of ranging points. The figure which shows another example of a combination in distance point pairs.
  • FIG. 3 is a diagram schematically showing the priorities of pair combinations recorded in advance in a recording unit.
  • FIG. 6 is a diagram illustrating an example of control of connection by a control unit.
  • FIG. 7 is a diagram schematically showing the effect of selecting a saturated measurement point.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
  • FIG. 3 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
  • FIG. 1 is a block diagram showing a configuration example of an electronic device 1 according to the present embodiment.
  • This electronic device 1 is, for example, a device that can generate distance image data. That is, the electronic device 1 includes an irradiation section 105, an optical system 110, a light receiving element 200, a recording section 120, an imaging control section 130, and a display section 150.
  • the electronic device 1 for example, a smartphone, a digital camera, a personal computer, a vehicle-mounted camera, and an IoT (Internet of Things) camera are assumed.
  • IoT Internet of Things
  • the irradiation unit 105 repeatedly irradiates pulsed laser light at preset intervals under the control of the imaging control unit 130 and notifies the light receiving element 200 of the irradiation timing. Note that in this embodiment, the period of laser light irradiation is referred to as bank (BANK) time.
  • the optical system 110 includes, for example, an imaging lens, and collects the return light of the laser and guides it to the light receiving element 200.
  • the light receiving element 200 captures distance image data under the control of the imaging control unit 130. This light receiving element 200 supplies captured distance image data to the recording unit 120.
  • the recording unit 120 records distance image data and the like.
  • the imaging control unit 130 controls the light receiving element 200 to capture distance image data.
  • the imaging control section 130 supplies, for example, a synchronization signal such as a periodic signal FYNC to the irradiation section 105 and the light receiving element 200.
  • the electronic device 1 may further include an interface, and may transmit image data to the outside through the interface, or may display the image data on the display unit 150.
  • FIG. 2 is a diagram showing an example of a stacked structure of the light receiving element 200 in the embodiment of the present technology.
  • the light receiving element 200 includes a light receiving chip 201 and a logic chip 202 stacked on the light receiving chip 201. A signal line for transmitting signals is provided between these chips.
  • This light receiving element 200 is a so-called photon counting type image sensor.
  • FIG. 3 is a plan view showing an example of the configuration of the light receiving chip 201 in the embodiment of the present technology.
  • This light receiving chip 201 is provided with a plurality of detection circuits 211 in a two-dimensional grid pattern. Further, each of the detection circuits 211 includes a SPAD (Single Photon Avalanche Diode). In SPAD, avalanche amplification occurs when a single photon enters a PN junction region with a high electric field while a voltage higher than the breakdown voltage is applied.
  • the detection circuit 211 that is, the light receiving chip 201, employs a pixel array in which the detection circuits 211 using SPAD are arranged in a matrix. Each of the plurality of detection circuits 211 outputs a pulse signal according to the detected photon. Further, the plurality of detection circuits 211 constitute the SPAD sensor 20.
  • FIG. 4 is a plan view showing an example of the configuration of the logic chip 202 in this embodiment.
  • This logic chip 202 is provided with a plurality of counter circuits 212 and a control processing circuit 213.
  • the plurality of counter circuits 212 correspond to the plurality of detection circuits 211. Thereby, each of the plurality of counter circuits 212 can count the number of pulse signals output by the corresponding detection circuit 211.
  • the counter circuit 212 is, for example, an 8-bit counter. Further, each of the plurality of counter circuits 212 is configured such that a pair of counter circuits 212 can be connected to each other. When a pair of counter circuits 212 are connected, the most significant bit (MSB) of one counter circuit 212 can be input as the least significant bit (LSB) of the other counter circuit 212. Thereby, when a pair of counter circuits 212 are connected, it is possible to count the number of pulses up to 16 bits. In this case, for example, the pulse signal of the detection circuit 211 corresponding to one of the pair of connected counter circuits 212 is counted. As can be seen from this, when the counter circuit 212 is connected, the dynamic range (DR) is doubled.
  • DR dynamic range
  • the resolution when connected is 1/2 that when not connected.
  • the plurality of counter circuits 212 constitute the counter section 30.
  • the configuration of the detection circuit 211 and the corresponding counter circuit 212 according to this embodiment is referred to as a pixel. That is, one pixel has a detection circuit 211 and a corresponding counter circuit 212.
  • the control processing circuit 213 controls the plurality of detection circuits 211 and the plurality of counter circuits 212. Further, the control processing circuit 213 generates distance values corresponding to the plurality of detection circuits 211 based on the outputs of the plurality of counter circuits 212, and generates distance image data of two-dimensional coordinates corresponding to the positions of the plurality of detection circuits 211. generate.
  • FIG. 5 is a block diagram schematically showing an example of the circuit configuration of optical element 200 in this embodiment.
  • the optical element 200 includes the SPAD sensor 20, the counter section 30, and the control processing circuit 213 as described above.
  • the control processing circuit 213 includes, for example, a CPU, and has a clock generator 40, a control circuit 50, and a processing circuit 60.
  • the processing circuit 60 includes a histogram generation section 70, a distance value generation section 80, and a display control section 90.
  • the clock generator 40 generates a clock signal.
  • the control circuit 50 controls the SPAD sensor 20, the counter section 30, and the processing circuit 60 based on the clock signal.
  • the control circuit 50 outputs the counter values of the plurality of counter circuits 212 of the counter unit 30 at predetermined time intervals bin in synchronization with a synchronization signal such as a periodic signal FYNC.
  • control circuit 50 determines whether each counter circuit 212 is saturated (overflowed). In other words, the control circuit 50 can control the pair of counter circuits 212 to be connected when one of the counter circuits 212 is saturated, for example, exceeds a predetermined upper limit of 256 (e.g., 8 bits). It is.
  • the histogram generation unit 70 generates a corresponding histogram for each counter circuit 212.
  • FIG. 6 is a diagram illustrating an example of a histogram generated by the histogram generation unit 70.
  • the horizontal axis shows time, and the vertical axis shows the counter value of the counter circuit 212.
  • the count upper limit value corresponds to 256, for example.
  • the time obtained by adding the time intervals bin0 to bin91 corresponds to the above-mentioned bank (BANK) time. That is, bin0 starts at the timing when the irradiation unit 105 irradiates the pulsed laser light under the control of the imaging control unit 130. Then, the next pulsed laser beam is irradiated when bin 91 is completed.
  • BANK above-mentioned bank
  • the control circuit 50 causes the histogram generation unit 70 to output the counter values of the plurality of counter circuits 212 at each time interval bin0 to bin91. Then, the plurality of counter circuits 212 are reset to start counting the next bin. In this manner, the control circuit 50 repeatedly outputs and resets the counter values of the plurality of counter circuits 212 at each time interval bin0 to bin91.
  • the distance value generation unit 80 selects the bin indicating the maximum value of each histogram generated by the histogram generation unit 70 from among the time intervals bin0 to bin91.
  • the selected bin corresponds to the timing at which the reflected photon returns from the timing at which the pulsed laser beam was irradiated.
  • the value obtained by multiplying the time corresponding to the selected bin by the speed of light and dividing by 2 corresponds to the distance value. That is, the distance value generation unit 80 generates a distance value corresponding to the selected bin for each counter circuit 212.
  • the distance value generation unit 80 then generates distance image data in which each distance value corresponds to a two-dimensional coordinate. Since each of the plurality of detection circuits 211 corresponds to a two-dimensional coordinate, the distance value generation unit 80 can generate distance image data in which each distance value corresponds to a two-dimensional coordinate.
  • the display control unit 90 causes the display unit 150 to display the distance image data. Furthermore, the display control section 90 can cause the display section 150 to display a histogram image, which will be described later.
  • FIG. 7 is a diagram showing a more detailed example of the configuration inside the optical element 200.
  • a pair of detection circuit 211a and counter circuit 212a and detection circuit 211b and counter circuit 212b are shown, but the other detection circuits 211 and counter circuits 212 have similar configurations.
  • the detection circuit 211a and the counter circuit 212a are examples of the detection circuit 211 and the counter circuit 212 in the ranging point MP0 shown in FIG. 8, which will be described later.
  • the detection circuit 211b and the counter circuit 212b are examples of the detection circuit 211 and the counter circuit 212 in the distance measurement point MP1 shown in FIG. 8, which will be described later.
  • the detection circuits 211a and 211b include an avalanche photodiode (APD) 111, a quench resistor 112, and a waveform shaping circuit 113. That is, the detection circuit 211 constitutes a SPAD.
  • Counter circuit 212a includes a multiplexer 114a and a multi-bit counter 115a.
  • counter circuit 212b includes multiplexer 114b and multi-bit counter 115b.
  • a bias voltage VAPD higher than the breakdown voltage is applied to the APD 111 via the quench resistor 112.
  • a photon enters the APD 111 in this state a large photocurrent flows due to avalanche multiplication, and a voltage drop occurs at the quench resistor 112.
  • the bias voltage VAPD applied to the APD 111 decreases, and when the bias voltage VAPD drops to the breakdown voltage, avalanche multiplication stops.
  • the photocurrent stops flowing, and the state returns to the state where the bias voltage VAPD is applied to the APD 101 again.
  • the quench resistor 112 is a resistance element for stopping avalanche multiplication of the APD 111.
  • the waveform shaping circuit 113 amplifies the voltage at the connection point between the APD 111 and the quench resistor 112 and then detects the edge to generate a voltage pulse as a pulse signal from the voltage change caused by the incidence of photons.
  • the APD 111, the quench resistor 112, and the waveform shaping circuit 103 form a detection circuit 211 capable of detecting the incidence of a single photon.
  • the multiplexer 114a has one input terminal connected to one terminal of the most significant bit of the paired multi-bit counter 115b, and the other input terminal connected to the waveform shaping circuit 113 of the corresponding detection circuit 211a. Ru. Further, the output terminal of multiplexer 114 is connected to multi-bit counter 115a. Note that the multiplexer 114a according to this embodiment corresponds to the selection element.
  • the terminal of the most significant bit of the multi-bit counter 115a is connected to one input terminal of the multiplexer 114b, and the carry bit terminal is connected to the control circuit 50.
  • Multiplexer 114b and multi-bit counter 115b are also connected in a similar manner. That is, the most significant bit terminal of the multi-bit counter 115b is connected to one input terminal of the multiplexer 114a, and the carry bit terminal is connected to the control circuit 50.
  • control circuit 50 makes the inputs to the multiplexers 114a and 114b the corresponding waveform shaping circuits 113. Further, each of the multiple bit counters 115a and 115b outputs a carry bit to the control circuit 50.
  • the control circuit 50 uses the corresponding waveform shaping circuit 113 as the input to the multiplexer 114a when the detection circuit 211a is used. Further, the input to the multiplexer 114b is the most significant bit terminal of the multi-bit counter 115a.
  • DR expansion B Similarly, when using the detection circuit 211b during DR expansion, the control circuit 50 inputs the input to the multiplexer 114b to the corresponding waveform shaping circuit 113. Furthermore, the input to the multiplexer 114a is the most significant bit terminal of the multi-bit counter 115b. Note that the DR extension according to this embodiment corresponds to the first mode, and the normal distance measurement corresponds to the second mode.
  • FIG. 8 is a diagram showing an example of a combination of ranging points MP0 to MP5 according to the present embodiment.
  • three vertically adjacent detection circuits 211 are grouped together to form a distance measurement point MP.
  • ranging points MP0 and MP1 are a pair
  • ranging points MP2 and MP3 are a pair
  • ranging points MP4 and MP5 are a pair.
  • the multiplexer 114 and multi-bit counter 115 in the pair of ranging points MP0 and MP1 have similar connection relationships.
  • the control circuit 50 controls imaging and non-imaging for each of the three vertically adjacent detection circuits 211.
  • each distance measuring point MP corresponds to a receiving range of laser return light (imaging light).
  • FIG. 9 is a time chart showing an example of control by the control circuit 50 of the ranging points MP0 and MP1 shown in FIG. From the top: status (STAT), overflow flag (OVF Flg), periodic signal (FYNC), selection signal for distance measurement point MP0 (sel of MPO), selection signal for distance measurement point MP1 (sel of MP1), bank (BANK)
  • status STAT
  • OVF Flg overflow flag
  • FYNC periodic signal
  • selection signal for distance measurement point MP0 selection signal for distance measurement point MP1 (sel of MP1)
  • bank bank
  • the sequence (Seq) is shown below.
  • the horizontal axis indicates time.
  • the overflow flag is a signal based on the detection result of the control circuit 50.
  • a high level signal indicates that one of the counters 211 in distance measuring points MP0 and MP1 has overflowed, that is, exceeds a value of 256, for example.
  • the low level signal indicates that neither of the counters 211 in distance measuring points MP0 and MP1 has overflowed.
  • the control circuit 50 can use the carry bit of each counter 211 to detect overflow.
  • the periodic signal FYNC is a synchronization signal output by the imaging control unit 130, and is a signal that synchronizes the entire electronic device 1.
  • the imaging control unit 130 uses 8 banks during normal distance measurement, and uses 16 banks during DR expansion. That is, the imaging control unit 130 can change the period of the periodic signal FYNC according to control information from the control circuit 50.
  • the selection signal (sel of MPO) of the ranging point MP0 is a high level signal, it indicates that the detection circuit 211a (see FIG. 6) in the MPO is to be used. In other words, the drive control (DR extension A) described above is performed.
  • the selection signal (sel of MP1) of the ranging point MP1 is a high level signal
  • the detection circuit 211b indicates that the detection circuit 211b (see FIG. 6) in MP1 is to be used.
  • the drive control (DR extension B) described above is performed.
  • the control circuit 50 controls the multiplexers 114a and 114b in the overflowing distance measuring point MP0 and MP1 according to the sel signal of MPO and the sel signal of MP1, and selects the input signal.
  • the sequence (Seq) of the bank indicates the time of each bank (BANK).
  • one bank corresponds to the period of laser light irradiation. That is, during normal distance measurement, eight banks of distance measurement are repeated.
  • distance measurement for 16 banks is repeated alternately (DR expansion A) and (DR expansion B). Note that in this embodiment, when the counters 211 in the distance measuring points MP0 and MP1 overflow, only the distance measuring points MP0 and MP are driven for DR expansion, but the invention is not limited to this.
  • the pair of ranging points MP2 and MP3 and the pair of ranging points MP4 and MP5 may also be driven for DR expansion.
  • FIG. 10 is a flowchart showing an example of control by the control circuit 50 of the ranging points MP0 and MP1 shown in FIG.
  • the detection circuit 211 side performs processing for 8 banks. (Steps S104 to S110)
  • the control circuit 50 expands the dynamic range by driving the two paired counters 211 in a connected manner. Thereby, even when the amount of background light increases, it is possible to perform side measurement with higher accuracy. Further, in the case of overflow, by alternately using the outputs of the pair of detection circuits 211, it is possible to suppress a decrease in the resolution of the distance image data. In other words, imaging is possible without reducing the number of distance measuring points MP0 and MP1. Furthermore, if neither of the counters 211 in the distance measuring points MP0 and MP1 is overflowing, it is possible to further increase the resolution by using the outputs of each of the detection circuits 211 forming a pair. Become.
  • FIG. 11 is a diagram showing an example of a histogram image Z40 displayed by the display control unit 90 on the display unit 150 when the DR extension A is being driven.
  • a histogram Z240a of the carry bit of the counter 211a in the histogram ranging point MP0 and a histogram Z240b of the carry bit of the counter 211b are displayed vertically side by side. This makes it easy to understand the bin that has overflowed and its value at that time.
  • FIG. 12 is a diagram showing another example of a histogram image Z42 displayed by the display control unit 90 on the display unit 150 when the DR extension A is being driven.
  • a histogram that is the sum of the carry bit value of the counter 211a and the carry bit value of the counter 211b is displayed in the image Z42. This makes it possible to grasp the overflowed bin and the entire value in one diagram.
  • the display example shown in FIG. 10 or 11 can be selected by setting.
  • the control circuit 50 when either of the counters 211 in the distance measuring points MP0 or MP1 overflows, the control circuit 50 performs a coupled drive of the two counters 211 forming a pair. did. This doubles the number of measurement bits, making it possible to expand the dynamic range. Therefore, even when the amount of light increases, it is possible to perform side measurement with higher accuracy. Further, in the event of an overflow, the outputs of the pair of detection circuits 211 are used alternately, so that it is possible to suppress a decrease in the resolution of the distance image data.
  • the electronic device 1 according to the second embodiment differs from the electronic device 1 according to the first embodiment in that the range for performing DR expansion can be set in advance using information from a visible image sensor (RGB sensor).
  • RGB sensor visible image sensor
  • FIG. 13 is a schematic diagram of the external appearance of the electronic device 1 according to the second embodiment.
  • the electronic device 1 according to the second embodiment further includes a visible image sensor (RGB sensor) 300.
  • the coordinates of the imaging area of the visible imaging sensor (RGB sensor) and the plurality of detection circuits 211 have a corresponding relationship, and are recorded in advance in the recording unit 120 (see FIG. 1), for example.
  • FIG. 14 is a block diagram showing the configuration of a processing circuit 60 according to the second embodiment. As shown in FIG. 14, the processing circuit 60 according to the second embodiment further includes a first area extraction section 95a.
  • FIG. 15 is a diagram schematically showing a processing example of the first region extracting section 95a.
  • the first region extraction unit 95a shows a captured image Ci44 of the visible image sensor (RGB sensor) 300 and a region R46 of MP in the SPAD sensor 20 (see FIG. 2) having a plurality of detection circuits 211.
  • FIG. 16 is a flowchart illustrating an example of processing by the first region extracting section 95a.
  • the first region extraction unit 95a acquires the captured image Ci44 from the visible image sensor (RGB sensor) 300, and extracts the luminance values of the regions 1 to N corresponding to the ranging points MP1 to N. An average value is calculated (step S200).
  • the first region extracting unit 95a extracts a range A44a in which the average value of the luminance values exceeds the threshold Th1 from the regions 1 to N (step S202). Subsequently, the first region extracting unit 95a estimates the ranging point MP that overflows on the SPAD sensor 20 side using the threshold value Th1 as a parameter for the average value, and outputs the position information of the ranging point MP to the control unit 50. (Step S204).
  • the control unit 50 uses the detection circuit 211 of the ranging point MP in the area A46b for detection and performs DR expansion (step S204).
  • the counter circuit 212 in the area A46c paired with the counter circuit 212 corresponding to the area A46b is used for DR expansion.
  • the imaging cycle is maintained at 8 banks, for example. In this way, by activating only the distance measurement point MP (area A46b) where the brightness value of the subject is high, distance measurement can be performed without lowering the frame rate even under strong background light.
  • the captured image Ci44 captured in advance is acquired from the visible image sensor (RGB sensor) 300, and the area A46b of the distance measurement point corresponding to the area where the average value of the brightness values is large is obtained.
  • the detection circuit 211 of the area A46c is used for distance measurement, and the counter 211 of the area A46c paired with the counter 211 of the area A46b is used for DR expansion.
  • the dynamic range of the area where the average value of the luminance values is large can be expanded in advance, so that it is possible to measure the area A46b where there is a high possibility that the target object exists without overflowing.
  • the electronic device 1 according to the third embodiment is different from the electronic device 1 according to the second embodiment in that the range for performing DR expansion can be further set in advance using information from an event-based vision sensor (EVS). .
  • EVS event-based vision sensor
  • FIG. 17 is a schematic diagram of the external appearance of the electronic device 1 according to the third embodiment.
  • the electronic device 1 according to the third embodiment further includes an event-based vision sensor 302.
  • the coordinates of the imaging area of the event-based vision sensor 302 and the plurality of detection circuits 211 have a corresponding relationship, and are recorded in advance in the recording unit 120 (see FIG. 1), for example.
  • FIG. 18 is a block diagram showing the configuration of a processing circuit 60 according to the third embodiment. As shown in FIG. 18, the processing circuit 60 according to the third embodiment further includes a second area extraction section 95b.
  • FIG. 19 is a diagram schematically showing a processing example of the second region extracting section 95b.
  • a captured image Ci45 of the event-based vision sensor 302 and a region R46 of the ranging point MP in the SPAD sensor 20 (see FIG. 2) are shown.
  • FIG. 20 is a flowchart showing a processing example of the second area extracting section 95b.
  • the second region extraction unit 95b first acquires the captured image Ci45 from the event-based vision sensor 300, and calculates changes in brightness values of regions 1 to N corresponding to distance measurement points MP1 to N. (Step S300).
  • the second region extraction unit 95b extracts a range A45a in which the change in brightness value exceeds the threshold Th2 from the regions 1 to N (step S302). Subsequently, the second region extraction section 95b extracts the distance measurement point MP of the region A47b corresponding to the range A45a, and outputs it to the control section 50. Then, the control unit 50 uses the detection circuit 211 of the ranging point MP in the area A47b for detection and performs DR expansion (step S304). As a result, the counter circuit 212 in the area A47c paired with the counter circuit 212 corresponding to the area A47b is used for DR expansion.
  • the imaging cycle is maintained at 8 banks, for example. In this way, by enabling only the distance measurement point MP (area A47b) where the subject is moving, distance measurement can be performed without reducing the frame rate when there are few moving areas under strong background light. It becomes possible. Furthermore, it is also possible to automatically switch the distance measurement point MP at the location where the subject is moving in accordance with the next imaging by the event-based vision sensor 300.
  • the captured image Ci44 captured in advance is acquired from the vent base vision sensor 300, and the detection circuit 211 of the distance measurement point area A46b corresponding to the area where the change in brightness value is large is detected.
  • the counter 211 of the area A46c which is used for distance measurement and is paired with the counter 211 of the area A46b, is used for DR expansion.
  • the electronic device 1 according to the fourth embodiment is different from the electronic device 1 according to the third embodiment in that it includes a plurality of SPAD sensors and a plurality of counter sections. Below, differences from the electronic device 1 according to the third embodiment will be explained.
  • FIG. 21 is a schematic diagram of the external appearance of the electronic device 1 according to the fourth embodiment.
  • the electronic device 1 according to the fourth embodiment includes a plurality of irradiation units 105a, b and a plurality of light receiving optical systems 110a, b.
  • FIG. 22 is a diagram showing an example of a stacked structure of a light receiving element 200a according to the fourth embodiment.
  • the light receiving element 200a includes a light receiving chip 201a and a logic chip 202a stacked on the light receiving chip 201a.
  • the light receiving chip 201a also includes a first SPAD sensor 20a in which a plurality of detection circuits 211 are provided in a two-dimensional grid pattern, and a second SPAD sensor 20b in which a plurality of detection circuits 211 are provided in a two-dimensional grid pattern.
  • the first SPAD sensor 20a receives the reflected light of the pulsed light emitted by the irradiation unit 105a via the light receiving optical system 110a.
  • the second SPAD sensor 20b receives the reflected light of the pulsed light emitted by the irradiation unit 105b via the light receiving optical system 110b.
  • the plurality of detection circuits 211 of the first SPAD sensor 20a and the second SPAD sensor 20b have a corresponding relationship. That is, the first SPAD sensor 20a and the second SPAD sensor 20b employ a pixel array in which detection circuits 211 using SPAD are arranged in a matrix. Furthermore, the first SPAD sensor 20a and the second SPAD sensor 20b can be driven independently or synchronously.
  • the logic chip 202a is provided with a first counter section 30a, a second counter section 30b, and a control processing circuit 213 (see FIG. 5).
  • the first counter section 30a includes a plurality of counter circuits 212 corresponding to the detection circuits 211 of the first SPAD sensor 20a.
  • the second counter section 30b includes a plurality of counter circuits 212 corresponding to the detection circuits 211 of the second SPAD sensor 20b.
  • FIG. 23 is a diagram showing an example of a control system from the control circuit 50 of the first counter section 30a and the second counter section 30b. As shown in FIG. 23, the first counter section 30a and the second counter section 30b can be driven independently or synchronously under the control of the control circuit 50.
  • FIG. 24 is a diagram illustrating an example of the operation of the light receiving element 200a according to the fourth embodiment when extending the DR of the distance measuring point MP.
  • the distance measuring points of the detection circuit 211 used in the first SPAD sensor 20a are MP1, 2, 5, 6, 9, 10, 13, and the distance measuring points of the detection circuit 211 used in the second SPAD sensor 20b are MP0, 1, 3. , 4, 7, 8, 11, 12.
  • the distance measuring points of the counter circuit 212 linked on the first SPAD sensor 20a side are the counter circuits 212 corresponding to MP0, 1, 3, 4, 7, 8, 11, and 12, and the distance measurement points on the second SPAD sensor 20b side are The distance measuring points of the counter circuit 212 that are linked are MP1, 2, 5, 6, 9, 10, and 13. In this way, the distance measuring points MP are used in a complementary manner by the first SPAD sensor 20a and the second SPAD sensor 20b. This suppresses a decrease in resolution even during DR expansion.
  • FIG. 25 is a diagram showing the sequence of the bank (BANK) signal during DR expansion.
  • the upper side is the sequence of the bank (BANK) signal during DR expansion in the first counter section 30a
  • the lower side is the sequence of the bank (BANK) signal during DR expansion in the second counter section 30b.
  • the control circuit 50 synchronizes the first SPAD sensor 20a and the first counter section, and the second SPAD sensor 20b and the second counter section 30b. Furthermore, since the resolution is maintained, images are periodically captured with eight banks.
  • the light receiving element 200a includes a plurality of first SPAD sensors 20a and a first counter section, and a plurality of second SPAD sensors 20b and a second counter section 30b, and is used during DR expansion.
  • the distance measuring point MP is used in a complementary manner by the first SPAD sensor 20a and the second SPAD sensor 20b. This makes it possible to expand the dynamic range while maintaining resolution.
  • the electronic device 1 according to the fifth embodiment differs from the electronic device 1 according to the fourth embodiment in that a priority is given to how the distance measuring points MP0 to MPn are formed in pairs. Below, differences from the electronic device 1 according to the fourth embodiment will be explained.
  • FIG. 26 is a diagram showing an example of a combination of pairs of ranging points MP0 to MPn. In FIG. 26, n is 13. FIG. 26 shows an example in which pairs are combined vertically.
  • FIG. 27 is a diagram showing another example of combinations of distance measuring point MP0 to MPn pairs.
  • n is 13.
  • the pairs are combined diagonally.
  • the electronic device 1 according to the second embodiment has a plurality of pair combination methods in addition to the horizontal direction.
  • FIG. 28 is a diagram schematically showing the priorities of pair combinations recorded in advance in the recording unit 120 (see FIG. 1). As shown in FIG. 28, horizontal connections have priority 1, vertical connections have priority 2, and diagonal connections have priority 3. These priorities are examples when adjacent ranging points are not saturated.
  • FIG. 29 is a diagram showing an example of connection control by the control unit 50.
  • this is a case where saturation of distance measuring point MP2 is detected.
  • adjacent ranging points are not saturated, they are connected with the priority shown in FIG. 29.
  • the adjacent distance measuring point M5 is also saturated, in this case, it is connected to the counter circuit 212 of the distance measuring point M5.
  • the distance measuring point M5 is also saturated, so even if the counter at the distance measuring point M5 is used, a decrease in the amount of imaged information is suppressed.
  • FIG. 30 is a diagram schematically showing the effect of selecting a saturated measurement point when adjacent distance measurement points are saturated.
  • measurement points MP1 and MP5 are saturated.
  • the detection circuits 211 of MP0 and MP4 which are not saturated, cannot be used, resulting in a decrease in resolution.
  • the counter 211 corresponding to the detection circuit 211 of MP5, which is originally unusable can be used, and a decrease in resolution can be suppressed.
  • the counters 211 when there is a measurement point MP that is saturated and an adjacent measurement point MP is not saturated, the counters 211 are connected according to the priority. . Thereby, even when there are a plurality of saturated measurement points MP, the counters 211 can be connected regularly, and irregular decreases in resolution can be suppressed. Furthermore, when there is a saturated measurement point MP and an adjacent measurement point MP is saturated, the counter circuits 212 of the saturated fixed points MP are connected. Thereby, the counter 211 corresponding to the detection circuit 211 of the measurement point MP which is originally unusable can be used, and a decrease in resolution can be suppressed.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of transportation such as a car, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility vehicle, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may also be realized as a device mounted on the body.
  • FIG. 31 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 includes multiple electronic control units connected via communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside vehicle information detection unit 7400, an inside vehicle information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 connecting these plurality of control units is, for example, CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay. Compliant with arbitrary standards such as y (registered trademark) It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs calculation processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and also communicates with devices or sensors inside and outside the vehicle through wired or wireless communication.
  • a communication I/F is provided for communication.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon receiving section 7650, an in-vehicle device I/F 7660, an audio image output section 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units similarly include a microcomputer, a communication I/F, a storage section, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an operation amount of an accelerator pedal, an operation amount of a brake pedal, or a steering wheel. At least one sensor for detecting angle, engine rotational speed, wheel rotational speed, etc. is included.
  • the drive system control unit 7100 performs arithmetic processing using signals input from the vehicle state detection section 7110, and controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like.
  • the body system control unit 7200 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 7200.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is a power supply source for the drive motor, according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including a secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the external information detection unit 7400 detects information external to the vehicle in which the vehicle control system 7000 is mounted.
  • an imaging section 7410 and an external information detection section 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle external information detection unit 7420 includes, for example, an environmental sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunlight sensor that detects the degree of sunlight, and a snow sensor that detects snowfall.
  • the surrounding information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging section 7410 and the vehicle external information detection section 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 32 shows an example of the installation positions of the imaging section 7410 and the vehicle external information detection section 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirrors mainly capture images of the sides of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires images of the rear of the vehicle 7900.
  • the imaging unit 7918 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 32 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • Imaging range a indicates the imaging range of imaging unit 7910 provided on the front nose
  • imaging ranges b and c indicate imaging ranges of imaging units 7912 and 7914 provided on the side mirrors, respectively
  • imaging range d is The imaging range of an imaging unit 7916 provided in the rear bumper or back door is shown. For example, by superimposing image data captured by imaging units 7910, 7912, 7914, and 7916, an overhead image of vehicle 7900 viewed from above can be obtained.
  • the external information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided at the front, rear, sides, corners, and the upper part of the windshield inside the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the vehicle exterior information detection units 7920, 7926, and 7930 provided at the front nose, rear bumper, back door, and upper part of the windshield inside the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These external information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image of the exterior of the vehicle, and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection section 7420 to which it is connected.
  • the external information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the external information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, etc., and receives information on the received reflected waves.
  • the external information detection unit 7400 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received information.
  • the external information detection unit 7400 may perform environment recognition processing to recognize rain, fog, road surface conditions, etc. based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the outside-vehicle information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, cars, obstacles, signs, characters on the road, etc., based on the received image data.
  • the outside-vehicle information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and also synthesizes image data captured by different imaging units 7410 to generate an overhead image or a panoramic image. Good too.
  • the outside-vehicle information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver condition detection section 7510 that detects the condition of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that images the driver, a biosensor that detects biometric information of the driver, a microphone that collects audio inside the vehicle, or the like.
  • the biosensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is dozing off. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch, or a lever that can be inputted by the passenger.
  • the integrated control unit 7600 may be input with data obtained by voice recognition of voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that is compatible with the operation of the vehicle control system 7000. It's okay.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information using gestures. Alternatively, data obtained by detecting the movement of a wearable device worn by a passenger may be input. Further, the input section 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 described above and outputs it to the integrated control unit 7600. By operating this input unit 7800, a passenger or the like inputs various data to the vehicle control system 7000 and instructs processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, etc. Furthermore, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F7620 supports GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE -Advanced) and other cellular communication protocols , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution
  • wireless communication protocols such as wireless LAN (also referred to as Wi-Fi (registered trademark)) or Bluetooth (registered trademark).
  • the general-purpose communication I/F 7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via a base station or an access point, for example. You may. Furthermore, the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with P2P (Peer To Peer) technology to communicate with a terminal located near the vehicle (for example, a terminal of a driver, a pedestrian, a store, or an MTC (Machine Type Communication) terminal). You can also connect it with
  • the dedicated communication I/F 7630 is a communication I/F that supports communication protocols developed for use in vehicles.
  • the dedicated communication I/F 7630 supports, for example, WAVE (Wireless Access in Vehicle Environment), which is a combination of lower layer IEEE802.11p and upper layer IEEE1609, and DSRC (Dedicated Shore). standard protocols such as t Range Communications) or cellular communication protocols. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-vehicle communication. to pedestrian ) communications, a concept that includes one or more of the following:
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs positioning of the vehicle.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • Latitude, longitude and altitude Generate location information including.
  • the positioning unit 7640 may specify the current location by exchanging signals with a wireless access point, or may acquire location information from a terminal such as a mobile phone, PHS, or smartphone that has a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a wireless station installed on the road, and obtains information such as the current location, traffic jams, road closures, or required travel time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 also connects USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High -definition Link) etc.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or wearable device owned by a passenger, or an information device carried into or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 communicates via at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information obtained. For example, the microcomputer 7610 calculates a control target value for a driving force generating device, a steering mechanism, or a braking device based on acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Good too.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. Coordination control may be performed for the purpose of
  • the microcomputer 7610 controls the driving force generating device, steering mechanism, braking device, etc. based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 can drive the vehicle autonomously without depending on the driver's operation. Cooperative control for the purpose of driving etc. may also be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 acquires information through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning section 7640, a beacon reception section 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including surrounding information of the current position of the vehicle may be generated. Furthermore, the microcomputer 7610 may predict dangers such as a vehicle collision, a pedestrian approaching, or entering a closed road, based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio and image output unit 7670 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 7710, a display section 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display section 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, a wearable device such as a glasses-type display worn by the passenger, a projector, or a lamp.
  • the output device When the output device is a display device, the display device displays results obtained from various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, graphs, etc. Show it visually. Further, when the output device is an audio output device, the audio output device converts an audio signal consisting of reproduced audio data or acoustic data into an analog signal and audibly outputs the analog signal.
  • control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions performed by one of the control units may be provided to another control unit.
  • predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • a computer program for realizing each function of the electronic device 1 according to the present embodiment described using FIG. 1 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the electronic device 1 according to the present embodiment described using FIG. 1 can be applied to the imaging unit 7410 of the application example shown in FIG. 31.
  • the components of the electronic device 1 described using FIG. 1 are realized in a module (for example, an integrated circuit module configured with one die) for the integrated control unit 7600 shown in FIG. may be done.
  • the electronic device 1 described using FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG. 31.
  • a light receiving element including a plurality of pixels The pixel is a detection circuit capable of detecting incident photons; a counter circuit that counts pulses output by the detection circuit; In the first mode, at least one first counter circuit among the plurality of counter circuits included in the plurality of pixels is based on the output value of a second counter circuit different from the first counter circuit among the plurality of counter circuits.
  • the second counter circuit counts pulse signals of a second detection circuit different from the first detection circuit among the plurality of detection circuits included in the plurality of pixels.
  • Light receiving element In the first mode, the second counter circuit counts pulse signals of a second detection circuit different from the first detection circuit among the plurality of detection circuits included in the plurality of pixels.
  • control processing circuit When the control processing circuit is controlling in the second mode, the control processing circuit changes the control processing circuit to the first mode depending on the case where the counter value of the first counter circuit or the second counter circuit exceeds a predetermined upper limit value.
  • control processing circuit includes a histogram generation unit that counts the number of counters output by each of the plurality of counter circuits at a predetermined period and generates a histogram in which the number of counters is arranged in time series. element.
  • the histogram generation unit generates a first histogram that is a sum of the output value of the first counter circuit and the output value of the second counter circuit.
  • the histogram generation unit in the first mode, generates a histogram based on the output value of the first counter circuit and a second histogram based on the output value of the second counter circuit.
  • Light receiving element in the first mode, generates a histogram based on the output value of the first counter circuit and a second histogram based on the output value of the second counter circuit.
  • control processing circuit further includes a display control section that causes a display section to display the first histogram or the second histogram.
  • the first counter circuit is a first selection element that receives signals from the first detection circuit and the second counter circuit, respectively; a first bit counter that counts based on the output signal of the first selection element; has The control processing circuit controls the first selection element to select the output signal of the second counter circuit in the first mode, and to select the output signal of the first detection circuit in the second mode. , (4).
  • the first counter circuit is a first selection element that receives signals from the first detection circuit and the second counter circuit, respectively; a first bit counter that counts based on the output signal of the first selection element; has The control processing circuit includes: In the second mode, the first selection element is controlled to select the output signal of the first detection circuit in a first cycle; The light receiving element according to (4), wherein in the first mode, control is performed to alternately select the output signal of the first detection circuit and the output signal of the second counter circuit in a second period that is twice the first period. .
  • the second counter circuit is a second selection element that receives signals from the second detection circuit and the first counter circuit, respectively; a second bit counter that counts based on the output signal of the second selection element; has
  • the control processing circuit includes: The light receiving element according to (12), wherein in the first mode, control is performed to alternately select the first counter circuit and the output signal of the second detection circuit in the second period.
  • the first detection circuit includes: an avalanche photodiode, a resistor connected in series with the avalanche photodiode between a power supply terminal and a ground terminal; a waveform shaping circuit that shapes the output signal of the avalanche photodiode into the pulse;
  • the light receiving element according to (12) which has:
  • the control processing circuit selects a first area having a high average luminance value based on the image data acquired from the first imaging unit, and selects the second detection circuit from a corresponding area within the first area. 4).
  • the light receiving element according to item 4).
  • the control processing circuit selects a third region with a high change in brightness value based on the image data acquired from the second imaging unit, and selects the second detection circuit from a region corresponding to the third region.
  • the light receiving element according to (4).
  • Each of the plurality of pixels can be driven independently, and has a first pixel group and a second pixel group to which the detection circuit corresponds,
  • In the first mode From the first pixel group, obtain a pulse signal from a first detection circuit group including the second detection circuit, The light receiving element according to (4), wherein a pulse signal from a second detection circuit group that does not correspond to the first detection circuit group is acquired from the second pixel group.
  • control processing circuit The light receiving element according to (4), wherein the light receiving element is selected from the combinations according to the priority.
  • the control processing circuit If a counter circuit corresponding to a detection circuit adjacent to the second detection circuit exceeds a predetermined upper limit value, the detection circuit exceeding the predetermined upper limit value is selected as the first detection circuit; 4).
  • the light receiving element according to item 4).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Light Receiving Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

［課題］カウンタ回路の飽和を抑制可能な受光素子、および電子機器を提供する。 ［解決手段］本開示によれば、複数の画素を備えた受光素子であって、画素は、フォトンの入射を検出可能な検知回路と、検知回路が出力するパルスをカウントするカウンタ回路と、を有し、第１モードでは、複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子が提供される。

Description

受光素子、および電子機器
本開示は、受光素子、および電子機器に関する。
　光子の有無を検出するＳＰＡＤ（Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）を有する検知回路と、光子数を計数するカウンタ回路を画素毎に設けた受光素子が知られている。ところが、背景光量が大きな場合にカウンタ回路が飽和する恐れがある。
特開２０２０－１００９３号公報
　そこで、本開示では、カウンタ回路の飽和を抑制可能な受光素子、および電子機器を提供する。
　上記の課題を解決するために、本開示によれば、
　複数の画素を備えた受光素子であって、
　前記画素は、
　フォトンの入射を検出可能な検知回路と、
　前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
　第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子が提供される。
　第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントしてもよい。
　前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントしてもよい。
　前記複数の画素を制御処理する制御処理回路を更に備えてもよい。
　前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御してもよい。
　前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御してもよい。
　前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有してもよい。
　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成してもよい。
　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成してもよい。
　前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有してもよい。
　前記第１カウンタ回路は、
　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
　を有し、
　前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行ってもよい。
　前記第１カウンタ回路は、
　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
　を有し、
　前記制御処理回路は、
　前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
　前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行ってもよい。
　前記第２カウンタ回路は、
　前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
　前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
　を有し、
　前記制御処理回路は、
　前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行うってもよい。
　前記第１検知回路は、
　アバランシェフォトダイオードと、
　電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
　前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
を有してもよい。
　前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択してもよい。
　前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択してもよい。
　前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択してもよい。
　前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択してもよい。
　前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
　前記第１モードでは、
　前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
　前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得してもよい。
　前記第１検知回路と前記第２検知回路の組合わせを複数有し、
　前記制御処理回路は、前記第１モードでは、
　優先度に従い、前記組合わせの中から選択してもよい。
　前記制御処理回路は、前記第１モードでは、
　前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択してもよい。
　上記の課題を解決するために、本開示によれば、
　上述の受光素子と、
　前記受光素子に戻り光を供給する光学系と備える、電子機器が提供される。
電子機器の一構成例を示すブロック図。 受光素子の積層構造の一例を示す図。 受光チップの一構成例を示す平面図。 ロジックチップの一構成例を示す平面図。 光学素子の回路構成例を模式的に示すブロック図。 ストグラム生成部が生成したヒストグラムの例を示す図。 光学素子内のより詳細な構成例を示す図。 測距点の組合わせ例を示す図。 図７で示する測距点の制御回路による制御例を示すタイムチャ－ト。 図７で示す測距点の制御回路による制御例を示すフローチャ－ト。 表示部に表示制御部が表示させるヒストグラム画像の例を示す図。 別の例のヒストグラム画像の例を示す図。 第２実施形態に係る電子機器の外観の概略図。 第２実施形態に係る処理回路の構成を示すブロック図。 第１領域抽出部の処理例を模式的に示す図。 第１領域抽出部の処理例を示すフローチャート。 第３実施形態に係る電子機器の外観の概略図。 第３実施形態に係る処理回路の構成を示すブロック図。 第２領域抽出部の処理例を模式的に示す図。 第２領域抽出部９５ｂの処理例を示すフローチャート。 第４実施形態に係る電子機器の外観の概略図。 第４実施形態に係る受光素子の積層構造の一例を示す図。 第１カウンタ部、及び第２カウンタ部の制御回路からの制御系統例を示す図。 第４実施形態に係る受光素子における測距点のＤＲ拡張時の動作例を示す図。 ＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスを示す図。 測距点のペアの組合わせ例を示す図。 距点ペアにおける別の組合わせ例を示す図。 記録部に予め記録されるペアの組み合わせの優先度を模式的に示す図。 制御部による連結の制御例を示す図。 飽和している測定点を選択する効果を模式的に示す図。 車両制御システムの概略的な構成の一例を示すブロック図。 車外情報検出部及び撮像部の設置位置の一例を示す説明図。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１実施形態）
［電子機器の構成例］
　図１は、本実施の形態における電子機器１の一構成例を示すブロック図である。この電子機器１は、例えば距離画像データを生成可能な機器である。すなわち、電子機器１は、照射部１０５、光学系１１０、受光素子２００、記録部１２０、撮像制御部１３０、及び表示部１５０を備える。電子機器１としては、例えば、スマートフォン、デジタルカメラ、パーソナルコンピュータ、車載カメラやＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）カメラが想定される。
　照射部１０５は、撮像制御部１３０の制御に従って、パルス状のレーザ光を、予め設定された間隔で繰り返し照射すると共に、その照射タイミングを受光素子２００に通知する。なお、本実施形態ではレーザ光を照射する周期を、バンク（ＢＡＮＫ）時間と称する。
　光学系１１０は、例えば撮像レンズを有し、レーザの戻り光を集光して受光素子２００に導くものである。受光素子２００は、撮像制御部１３０の制御に従って、距離画像データを撮像する。この受光素子２００は、撮像した距離画像データを記録部１２０に供給する。記録部１２０は、距離画像データなどを記録する。
　撮像制御部１３０は、受光素子２００を制御して距離画像データを撮像させる。この撮像制御部１３０は、例えば、周期信号ＦＹＮＣなどの同期信号を照射部１０５、及び受光素子２００に供給する。なお、電子機器１は、インターフェースをさらに備え、そのインターフェースにより画像データを外部に送信してもよいし、表示部１５０に画像データを表示してもよい。
　［受光素子の構成例］
　図２は、本技術の実施の形態における受光素子２００の積層構造の一例を示す図である。この受光素子２００は、受光チップ２０１と、その受光チップ２０１に積層されたロジックチップ２０２とを備える。これらのチップ間には、信号を伝送するための信号線が設けられる。この受光素子２００は、所謂フォトンカウンティング式の撮像素子である。
　［受光チップの構成例］
　図３は、本技術の実施の形態における受光チップ２０１の一構成例を示す平面図である。この受光チップ２０１には、二次元格子状に複数の検知回路２１１が設けられる。また、検知回路２１１のそれぞれは、ＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）を有する。ＳＰＡＤでは、降伏電圧よりも大きい電圧を印加した状態で、高電界のＰＮ接合領域へ１個の光子が入ると、アバランシェ増幅が発生する。検知回路２１１すなわち、受光チップ２０１では、ＳＰＡＤを用いた検知回路２１１を行列状に配置した画素アレイが採用される。複数の検知回路２１１のそれぞれは、検知した光子に応じてパルス信号を出力する。また、複数の検知回路２１１は、ＳＰＡＤセンサ２０を構成する。
　［ロジックチップの構成例］
　図４は、本実施の形態におけるロジックチップ２０２の一構成例を示す平面図である。このロジックチップ２０２には、複数のカウンタ回路２１２と、制御処理回路２１３とが設けられる。複数のカウンタ回路２１２は、複数の検知回路２１１に対応している。これにより、複数のカウンタ回路２１２のそれぞれは、対応する検知回路２１１が出力するパルス信号の数をカウントすることが可能である。
　カウンタ回路２１２は、例えば８ビットのカウンタである。また、複数のカウンタ回路２１２は、それぞれ一対のペアとなるカウンタ回路２１２を連結可能に構成されている。一対のカウンタ回路２１２を連結した場合には、一方のカウンタ回路２１２の最上位ビット（ＭＳＢ）を、他方のカウンタ回路２１２の最下位ビット（ＬＳＢ）として入力可能に構成される。これにより、一対のカウンタ回路２１２を連結した場合には、パルス数を１６ビットまでカウントすることが可能である。この場合、例えば連結した一対のカウンタ回路２１２の内の一方に対応する検知回路２１１のパルス信号をカウントする。これから分かるように、カウンタ回路２１２を連結した場合には、ダイナミックレンジ（ＤＲ）が倍となる。一方で、連結した場合の解像度は、連結しない場合の１／２となる。なお、複数のカウンタ回路２１２は、カウンタ部３０を構成する。また、本実施形態に係る検知回路２１１と対応するカウンタ回路２１２との構成を画素と称する。すなわち、１画素は、検知回路２１１と対応するカウンタ回路２１２とを有する。
　制御処理回路２１３は、複数の検知回路２１１、及び複数のカウンタ回路２１２を制御する。また、制御処理回路２１３は、複数のカウンタ回路２１２の出力に基づき、複数の検知回路２１１に対応する距離値を生成し、複数の検知回路２１１の位置に対応する二次元座標の距離画像データを生成する。
　［光学素子２００内の回路構成例］
　図５は、本実施の形態における光学素子２００の回路構成例を模式的に示すブロック図である。光学素子２００は、上述のようにＳＰＡＤセンサ２０と、カウンタ部３０と、制御処理回路２１３とを備える。また、制御処理回路２１３は、例えばＣＰＵを含んで構成され、クロック発生器４０と、制御回路５０と、処理回路６０とを有する。処理回路６０は、ヒストグラム生成部７０と、距離値生成部８０と、表示制御部９０とを有する。
　クロック発生器４０は、クロック信号を生成する。制御回路５０は、クロック信号に基づき、ＳＰＡＤセンサ２０と、カウンタ部３０と、処理回路６０とを制御する。制御回路５０は、例えば、周期信号ＦＹＮＣなどの同期信号に同期させ所定の時間間隔ｂｉｎ毎に、カウンタ部３０の複数のカウンタ回路２１２のカウンタ値を出力させる。
　また、制御回路５０は、各カウンタ回路２１２が飽和（オーバフロー）したか否かを判定する。すなわち、この制御回路５０は、カウンタ回路２１２のいずれかが飽和、例えば所定の上限値である２５６（例えば８ビット）を越えた場合に、一対のカウンタ回路２１２を連結させる制御を行うことが可能である。
　ヒストグラム生成部７０は、カウンタ回路２１２毎に対応するヒストグラムを生成する。図６は、ヒストグラム生成部７０が生成したヒストグラムの例を示す図である。横軸は時間を示し、縦軸は、カウンタ回路２１２のカウンタ値である。カウント上限値は、例えば２５６に対応する。時間間隔ｂｉｎ０～ｂｉｎ９１を加算した時間が、上述のバンク（ＢＡＮＫ）時間に対応する。すなわち、照射部１０５が、撮像制御部１３０の制御に従って、パルス状のレーザ光を照射したタイミングで、ｂｉｎ０が開始する。そして、次のパルス状のレーザ光は、ｂｉｎ９１が終了した時点で照射される。
　図６に示すように、制御回路５０は、時間間隔ｂｉｎ０～ｂｉｎ９１毎に、複数のカウンタ回路２１２のカウンタ値をヒストグラム生成部７０に出力させる。そして、複数のカウンタ回路２１２をリセットし、次のｂｉｎのカウントを開始させる。このように、制御回路５０は、時間間隔ｂｉｎ０～ｂｉｎ９１毎に、複数のカウンタ回路２１２のカウンタ値の出力とリセットを繰り返させる。
　距離値生成部８０は、ヒストグラム生成部７０が生成した各ヒストグラムの最大値を示すｂｉｎを時間間隔ｂｉｎ０～ｂｉｎ９１の中から選択する。例えば、選択されたｂｉｎがパルス状のレーザ光を照射したタイミングから反射した光子が戻ってきたタイミングに対応する。これらから分かる様に、選択されたｂｉｎに対応する時間に光速を乗算し、２で割った値が距離値に対応する。すなわち、距離値生成部８０は、選択されたｂｉｎに対応する距離値をカウンタ回路２１２毎に生成する。そして、距離値生成部８０は、各距離値を二次元座標に対応させた距離画像データを生成する。複数の検知回路２１１のそれぞれは、２次元座標に対応するので、距離値生成部８０は、各距離値を二次元座標に対応させた距離画像データを生成することが可能である。
　表示制御部９０は、表示部１５０に距離画像データを表示させる。また、表示制御部９０は、表示部１５０に後述するヒストグラム画像を表示させることが可能である。
　図７は、光学素子２００内のより詳細な構成例を示す図である。図７では、簡単のため、一対のペアとなる検知回路２１１ａ及びカウンタ回路２１２ａと検知回路２１１ｂ及びカウンタ回路２１２ｂとを図示しているが、他の検知回路２１１及びカウンタ回路２１２も同様の構成である。検知回路２１１ａ及びカウンタ回路２１２ａは、後述する図８で示す測距点ＭＰ０内の検知回路２１１及びカウンタ回路２１２の例を示す。同様に、検知回路２１１ｂ及びカウンタ回路２１２ｂは、後述する図８で示す測距点ＭＰ１内の検知回路２１１及びカウンタ回路２１２の例を示す。
　図７に示すように、検知回路２１１ａ、ｂは、アバランシェフォトダイオード（ＡＰＤ）１１１と、クエンチ抵抗１１２と、波形整形回路１１３と、を有する。すなわち、検知回路２１１はＳＰＡＤを構成する。カウンタ回路２１２ａは、マルチプレクサ１１４ａと、複数ビットカウンタ１１５ａとを有する。同様に、カウンタ回路２１２ｂは、マルチプレクサ１１４ｂと、複数ビットカウンタ１１５ｂとを有する。
　ＡＰＤ１１１にはクエンチ抵抗１１２を介して降伏電圧以上のバイアス電圧ＶＡＰＤが印加されている。この状態でＡＰＤ１１１に光子が入射すると、アバランシェ増倍によって大きな光電流が流れ、クエンチ抵抗１１２で電圧降下が発生する。これにより、ＡＰＤ１１１に印加されるバイアス電圧ＶＡＰＤが低下し、バイアス電圧ＶＡＰＤが降伏電圧まで降下するとアバランシェ増倍は停止する。その結果、光電流が流れなくなり、ＡＰＤ１０１には再びバイアス電圧ＶＡＰＤが印加される状態に戻る。クエンチ抵抗１１２はＡＰＤ１１１のアバランシェ増倍を停止するための抵抗素子である。
　波形整形回路１１３は、ＡＰＤ１１１とクエンチ抵抗１１２との接続点の電圧を増幅したのちにエッジ検出することにより、光子の入射によって生じる電圧変化から電圧パルスをパルス信号として生成する。このように、ＡＰＤ１１１、クエンチ抵抗１１２、および波形整形回路１０３は、単一フォトンの入射を検出可能な検知回路２１１を形成する。
　マルチプレクサ１１４ａは、一方の入力端子には、対となる複数ビットカウンタ１１５ｂの最上位ビットの一方の端子が接続され、他方の入力端子には、対応する検知回路２１１ａの波形整形回路１１３が接続される。また、マルチプレクサ１１４の出力端子は複数ビットカウンタ１１５ａに接続される。なお、本実施形態に係るマルチプレクサ１１４ａが選択素子に対応する。
　複数ビットカウンタ１１５ａの最上位ビットの端子は、マルチプレクサ１１４ｂの一方の入力端子に接続され、キャリービット端子は、制御回路５０に接続される。マルチプレクサ１１４ｂ、及び複数ビットカウンタ１１５ｂも同様の接続である。すなわち、複数ビットカウンタ１１５ｂの最上位ビットの端子は、マルチプレクサ１１４ａの一方の入力端子に接続され、キャリービット端子は、制御回路５０に接続される。
　（通常測距）
　通常測距時には、制御回路５０は、マルチプレクサ１１４ａ、１１４ｂへの入力を対応する波形整形回路１１３とする。また、複数ビットカウンタ１１５ａ、ｂのそれぞれはキャリービットを制御回路５０に出力する。
　（ＤＲ拡張Ａ）
　一方で、ダイナミックレンジ（ＤＲ）拡張時（連結撮像時）には、制御回路５０は、検知回路２１１ａを使用する場合に、マルチプレクサ１１４ａへの入力を対応する波形整形回路１１３とする。また、マルチプレクサ１１４ｂへの入力を複数ビットカウンタ１１５ａの最上位ビットの端子とする。
　（ＤＲ拡張Ｂ）
同様に、ＤＲ拡張時に検知回路２１１ｂを使用する場合には、制御回路５０は、マルチプレクサ１１４ｂへの入力を対応する波形整形回路１１３とする。また、マルチプレクサ１１４ａへの入力を複数ビットカウンタ１１５ｂの最上位ビットの端子とする。なお、本実施形態に係るＤＲ拡張が第１モードに対応し、通常測距が第２モードに対応する。
　図８は、本実施形態に係る測距点ＭＰ０～ＭＰ５の組合わせ例を示す図である。図８に示すように、本実施形態では、縦方向に隣接する３つの検知回路２１１を組として測距点ＭＰとする。図８では、測距点ＭＰ０とＭＰ１とがペアであり、測距点ＭＰ２とＭＰ３とがペアであり、測距点ＭＰ４とＭＰ５とがペアである。例えばペアである測距点ＭＰ０とＭＰ１内の、マルチプレクサ１１４及び複数ビットカウンタ１１５は、同様の接続関係を有する。これにより、ＤＲ拡張時には、縦方向に隣接する３つの検知回路２１１毎に撮像、非撮像が制御回路５０により制御される。なお、各測距点ＭＰには、レーザの戻り光（撮像光）の受光範囲が対応している。
　図９は、図７で示する測距点ＭＰ０とＭＰ１の制御回路５０による制御例を示すタイムチャ－トである。上から状態（ＳＴＡＴ）、オーバフローフラグ（ＯＶＦ　Ｆｌｇ）、周期信号（ＦＹＮＣ）、測距点ＭＰ０の選択信号（ＭＰＯのｓｅｌ）、測距点ＭＰ１の選択信号（ＭＰ１のｓｅｌ）、バンク（ＢＡＮＫ）のシーケンス（Ｓｅｑ）を示す。横軸は時間を示す。
　状態（ＳＴＡＴ）の通常測距時には、上述の（通常測距）の駆動動作を行う。一方で、状態（ＳＴＡＴ）のＤＲ拡張時には、上述の（ＤＲ拡張Ａ）又は（ＤＲ拡張Ｂ）の駆動制御を行う。
　オーバフローフラグは、制御回路５０の検出結果に基づく信号である。ハイレベル信号は、測距点ＭＰ０とＭＰ１内のカウンタ２１１のいずれかがオーバーフロー、すなわち例えば２５６の値を超えていることを示す。一方で、ロウレベル信号は、測距点ＭＰ０とＭＰ１内のカウンタ２１１のいずれもオーバーフローしていないことを示す。例えば、制御回路５０は、オーバーフローの検知には各カウンタ２１１のキャリービットを用いることが可能である。
　周期信号ＦＹＮＣは、上述のように、撮像制御部１３０が出力する同期信号であり、電子機器１全体を同期させる信号である。撮像制御部１３０は、通常測距時には、８バンクとし、ＤＲ拡張時には、１６バンクとする。すなわち、撮像制御部１３０は、制御回路５０の制御情報に応じて、周期信号ＦＹＮＣの周期を変更可能である。
　測距点ＭＰ０の選択信号（ＭＰＯのｓｅｌ）は、ハイレベル信号である場合には、ＭＰＯ内の検知回路２１１ａ（図６参照）を使用することを示す。つまり、上述の（ＤＲ拡張Ａ）の駆動制御が行われる。
　一方で、測距点ＭＰ１の選択信号（ＭＰ１のｓｅｌ）は、ハイレベル信号である場合には、ＭＰ１内の検知回路２１１ｂ図６参照）を使用することを示す。つまり、上述の（ＤＲ拡張Ｂ）の駆動制御が行われる。このように、制御回路５０は、オーバーフローした測距点ＭＰ０、及びＭＰ１内のマルチプレクサ１１４ａ、ｂをＭＰＯのｓｅｌ信号、及びＭＰ１のｓｅｌ信号にしたがい制御し、入力信号を選択させる。
　バンク（ＢＡＮＫ）のシーケンス（Ｓｅｑ）のシーケンスは、各バンク（ＢＡＮＫ）時間を示す。上述のように、１バンクは、レーザ光を照射する周期に対応する。つまり、通常測距時には、８バンクの測距が繰り返される。一方で、ＤＲ拡張時には、１６バンクの測距が、（ＤＲ拡張Ａ）及び（ＤＲ拡張Ｂ）を交互に繰り返される。なお、本実施形態では、測距点ＭＰ０とＭＰ１内のカウンタ２１１がオーバーフローした場合には、測距点ＭＰ０とＭＰのみをＤＲ拡張の駆動とするが、これに限定されない。例えば、測距点ＭＰ２とＭＰ３とのペア、及び測距点ＭＰ４とＭＰ５とのペアもＤＲ拡張の駆動としてもよい。
　図１０は、図７で示す測距点ＭＰ０とＭＰ１の制御回路５０による制御例を示すフローチャ－トである。図１０に示すように、制御回路５０は、通常測距の状態から撮像を開始する（ステップＳ１００）。通常測距であるので、ＭＰＯのｓｅｌ、及びＭＰ１のｓｅｌをロウレベル（＝０）として、マルチプレクサ１１４ａ、ｂをそれぞれの対応する検知回路２１１側とし、８バンク分の処理を行う。
　次に、制御回路５０は、周期信号ＦＹＮＣがハイレベルの時にオーバフローフラグがハイレベル（＝１）であるか否かを判定する（ステップＳ１０２）。オーバフローフラグがロウレベル（＝０）である場合（ステップＳ１０２のＮ）、通常測距であるので、ＭＰＯのｓｅｌ、及びＭＰ１のｓｅｌをロウレベル（＝０）として、マルチプレクサ１１４ａ、ｂをそれぞれの対応する検知回路２１１側とし、８バンク分の処理を行う。
（ステップＳ１０４～Ｓ１１０）
　一方で、オーバフローフラグがハイレベル（＝１）である場合（ステップＳ１０２のＹ）、ＤＲ拡張であるので、制御回路５０は、ＭＰＯのｓｅｌをロウレベル（＝０）、及びＭＰ１のｓｅｌをハイレベル（＝１）として１バンク分の（ＤＲ拡張Ａ）の制御駆動を行う（ステップＳ１１２）。続けて、制御回路５０は、ＭＰＯのｓｅｌをハイレベル（＝１）、及びＭＰ１のｓｅ　ｌをロウレベル（＝０）として１バンク分の（ＤＲ拡張Ｂ）の制御駆動を行う（ステップＳ１１４）、そして、（ＤＲ拡張Ａ）と、（ＤＲ拡張Ｂ）との駆動を交互に１４バンク分繰り返す（ステップＳ１１６～ステップＳ１１８）。そして、ステップＳ１０２からの処理を、電子機器１の撮像が終了するまで、繰り返す。
　このように、制御回路５０は、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれかがオーフローすると、ペアとなる二つのカウンタ２１１を連結した駆動を行うことにより、ダイナミックレンジを拡張する。これにより、背景光の光量が増加した場合にも、より精度の高い側距を行うことが可能である。また、オーフローした場合には、一対の組となる検知回路２１１の出力を交互に用いることにより、距離画像データの解像度の低下を抑制できる。換言すると、測距点ＭＰ０、ＭＰ１の数を落とさずに撮像が可能である。さらにまた、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれもがオーフローしていない場合には、一対の組となる検知回路２１１のそれぞれの出力を用いることにより、解像度をより高めることが可能となる。
　図１１は、ＤＲ拡張Ａの駆動をしている場合の表示部１５０に表示制御部９０が表示させるヒストグラム画像Ｚ４０の例を示す図である。画像Ｚ４０内には、ヒストグラム測距点ＭＰ０内のカウンタ２１１ａのキャリービットのヒストグラムＺ２４０ａと、カウンタ２１１ｂのキャリービットのヒストグラムＺ２４０ｂとが上下に並べて表示される。これにより、オーバーフローしたｂｉｎとそのときの値の把握が容易となる。
　図１２は、ＤＲ拡張Ａの駆動をしている場合の表示部１５０に表示制御部９０が表示させる別の例のヒストグラム画像Ｚ４２の例を示す図である。画像Ｚ４２内には、カウンタ２１１ａのキャリービットの値と、カウンタ２１１ｂのキャリービットの値を合算したヒストグラムが表示される。これにより、オーバーフローしたｂｉｎと全体の値を一図で把握可能となる。図１０、又は図１１の表示例は設定により、選択可能である。
　以上説明したように、本実施形態によれば、制御回路５０は、測距点ＭＰ０、ＭＰ１内のカウンタ２１１のいずれかがオーバーフローすると、対となる二つのカウンタ２１１を連結した駆動を行うこととした。これにより、測定ビット数が倍となり、ダイナミックレンジを拡張することが可能となる。このため、光量が増加した場合にも、より精度の高い側距を行うことが可能である。また、オーバーフローした場合には、一対の組となる検知回路２１１の出力を交互に用いるので、距離画像データの解像度の低下を抑制できる。
（第２実施形態）
　第２実施形態に係る電子機器１は、可視撮像センサ（ＲＧＢセンサ）の情報を用いて、予めＤＲ拡張を行う範囲を設定可能である点で第１実施形態に係る電子機器１と相違する。以下では、第１実施形態に係る電子機器１と相違する点を説明する。
　図１３は、第２実施形態に係る電子機器１の外観の概略図である。図１３に示すように、第２実施形態に係る電子機器１は、可視撮像センサ（ＲＧＢセンサ）３００を更に有する。可視撮像センサ（ＲＧＢセンサ）の撮像領域の座標と、複数の検知回路２１１とはそれぞれ対応関係があり、例えば予め記録部１２０（図１参照）に記録されている。
　図１４は、第２実施形態に係る処理回路６０の構成を示すブロック図である。図１４に示すように、第２実施形態に係る処理回路６０は、第１領域抽出部９５ａを更に有する。
　図１５は、第１領域抽出部９５ａの処理例を模式的に示す図である。第１領域抽出部９５ａは、可視撮像センサ（ＲＧＢセンサ）３００の撮像画像Ｃｉ４４と、複数の検知回路２１１を有するＳＰＡＤセンサ２０（図２参照）におけるＭＰの領域Ｒ４６を示す。図１６は、第１領域抽出部９５ａの処理例を示すフローチャートである。
　図１５を参照にしつつ、図１６に基づき、第１領域抽出部９５ａの処理例を説明する。図１６に示すように、まず、第１領域抽出部９５ａは、撮像画像Ｃｉ４４を可視撮像センサ（ＲＧＢセンサ）３００から取得し、測距点ＭＰ１～Ｎに対応する領域１～Ｎの輝度値の平均値を算出する（ステップＳ２００）。
　次に、第１領域抽出部９５ａは、領域１～Ｎの中から輝度値の平均値が閾値Ｔｈ１を越える範囲Ａ４４ａを抽出する（ステップＳ２０２）。続けて、第１領域抽出部９５ａは、平均値に対して閾値Ｔｈ１をパラメータとしてＳＰＡＤセンサ２０側でオーバーフローする測距点ＭＰを推測し、測距点ＭＰの位置情報を制御部５０に出力する（ステップＳ２０４）。
　そして、制御部５０は、領域Ａ４６ｂの測距点ＭＰの検出回路２１１を検出に使用し、ＤＲ拡張する（ステップＳ２０４）。これにより、領域Ａ４６ｂに対応するカウンタ回路２１２とペアとなる領域Ａ４６ｃのカウンタ回路２１２がＤＲ拡張に使用される。この場合、常に領域Ａ４６ｂの測距点ＭＰの検出回路２１１が測距に使用されるので、例えば撮像周期は８バンクが維持される。このように、被写体の輝度値が高い箇所の測距点ＭＰ（領域Ａ４６ｂ）だけを有効にさせることで、強背景光下でもフレームレートを下げずに測距が可能となる。また、次の、可視撮像センサ（ＲＧＢセンサ）３００の撮像に応じて、被写体が動作している箇所の測距点ＭＰを自動的に切り替えることも可能となる。
　以上説明したように、本実施形態によれば、予め撮像した撮像画像Ｃｉ４４を、可視撮像センサ（ＲＧＢセンサ）３００から取得し、輝度値の平均値が大きい領域に対応する測距点の領域Ａ４６ｂの検出回路２１１を測距に使用し、領域Ａ４６ｂのカウンタ２１１とペアとなる領域Ａ４６ｃのカウンタ２１１をＤＲ拡張に使用する。これにより、輝度値の平均値が大きい領域のダイナミックレンジを予め拡張できるので、対象物が存在する可能性が高い領域Ａ４６ｂをオーバーフローすることなく測定可能となる。
（第３実施形態）
　第３実施形態に係る電子機器１は、イベントベースビジョンセンサ（ＥＶＳ）の情報を用いて、予めＤＲ拡張を行う範囲を更に設定可能である点で第２実施形態に係る電子機器１と相違する。以下では、第２実施形態に係る電子機器１と相違する点を説明する。
　図１７は、第３実施形態に係る電子機器１の外観の概略図である。図１７に示すように、第３実施形態に係る電子機器１は、イベントベースビジョンセンサ３０２を更に有する。イベントベースビジョンセンサ３０２の撮像領域の座標と、複数の検知回路２１１とはそれぞれ対応関係があり、例えば予め記録部１２０（図１参照）に記録されている。
　図１８は、第３実施形態に係る処理回路６０の構成を示すブロック図である。図１８に示すように、第３実施形態に係る処理回路６０は、第２領域抽出部９５ｂを更に有する。
　図１９は、第２領域抽出部９５ｂの処理例を模式的に示す図である。イベントベースビジョンセンサ３０２の撮像画像Ｃｉ４５と、ＳＰＡＤセンサ２０（図２参照）における測距点ＭＰの領域Ｒ４６を示す。図２０は、第２領域抽出部９５ｂの処理例を示すフローチャートである。
　図１９を参照にしつつ、図２０に基づき、第２領域抽出部９５ｂの処理例を説明する。図２０に示すように、まず、第２領域抽出部９５ｂは、撮像画像Ｃｉ４５をイベントベースビジョンセンサ３００から取得し、測距点ＭＰ１～Ｎに対応する領域１～Ｎの輝度値の変化を算出する（ステップＳ３００）。
　次に、第２領域抽出部９５ｂは、領域１～Ｎの中から輝度値の変化が閾値Ｔｈ２を越える範囲Ａ４５ａを抽出する（ステップＳ３０２）。続けて、第２領域抽出部９５ｂは、範囲Ａ４５ａに対応する領域Ａ４７ｂの測距点ＭＰを抽出し、制御部５０に出力する。そして、制御部５０は、領域Ａ４７ｂの測距点ＭＰの検出回路２１１を検出に使用し、ＤＲ拡張する（ステップＳ３０４）。これにより、領域Ａ４７ｂに対応するカウンタ回路２１２とペアとなる領域Ａ４７ｃのカウンタ回路２１２がＤＲ拡張に使用される。この場合、常に領域Ａ４６ｂの測距点ＭＰの検出回路２１１が測距に使用されるので、例えば撮像周期は８バンクが維持される。このように、被写体が動作している箇所の測距点ＭＰ（領域Ａ４７ｂ）だけを有効にさせることで、強背景光下で動いている領域が少ないときにフレームレートを下げずに測距が可能となる。また、次の、イベントベースビジョンセンサ３００の撮像に応じて、被写体が動作している箇所の測距点ＭＰを自動的に切り替えることも可能となる。
　以上説明したように、本実施形態によれば、予め撮像した撮像画像Ｃｉ４４をベントベースビジョンセンサ３００から取得し、輝度値の変化が大きい領域に対応する測距点の領域Ａ４６ｂの検出回路２１１を測距に使用し、領域Ａ４６ｂのカウンタ２１１とペアとなる領域Ａ４６ｃのカウンタ２１１をＤＲ拡張に使用する。これにより、輝度値の変化が大きい領域のダイナミックレンジを予め拡張できるので、対象物が存在する可能性が高い領域Ａ４６ｂをオーバーフローすることなく測定可能となる。
（第４実施形態）
　第４実施形態に係る電子機器１は、複数のＳＰＡＤセンサと、複数のカウンタ部を備える点で第３実施形態に係る電子機器１と相違する。以下では、第３実施形態に係る電子機器１と相違する点を説明する。
　図２１は、第４実施形態に係る電子機器１の外観の概略図である。図２１に示すように、第４実施形態に係る電子機器１は、複数の照射部１０５ａ、ｂと、複数の受光光学系１１０ａ、ｂを有する。
　［受光素子の構成例］
　図２２は、第４実施形態に係る受光素子２００ａの積層構造の一例を示す図である。この受光素子２００ａは、受光チップ２０１ａと、その受光チップ２０１ａに積層されたロジックチップ２０２ａとを備える。また、この受光チップ２０１ａには、二次元格子状に複数の検知回路２１１が設けられる第１ＳＰＡＤセンサ２０ａと、二次元格子状に複数の検知回路２１１が設けられる第２ＳＰＡＤセンサ２０ｂとを有する。
　第１ＳＰＡＤセンサ２０ａは、照射部１０５ａの照射したパルス光の反射光を受光光学系１１０ａを介して受光する。同様に、第２ＳＰＡＤセンサ２０ｂは、照射部１０５ｂの照射したパルス光の反射光を受光光学系１１０ｂを介して受光する。
　また、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとの複数の検知回路２１１は対応関係を有する。すなわち、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとでは、ＳＰＡＤを用いた検知回路２１１を行列状に配置した画素アレイが採用される。さらにまた、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとは、独立に駆動することも、同期して駆動することも可能である。
　ロジックチップ２０２ａには、第１カウンタ部３０ａと、第２カウンタ部３０ｂと、制御処理回路２１３（図５参照）が設けられる。第１カウンタ部３０ａは、第１ＳＰＡＤセンサ２０ａの検知回路２１１に対応する複数のカウンタ回路２１２を有する。同様に、第２カウンタ部３０ｂは、第２ＳＰＡＤセンサ２０ｂの検知回路２１１に対応する複数のカウンタ回路２１２を有する。
　図２３は、第１カウンタ部３０ａ、及び第２カウンタ部３０ｂの制御回路５０からの制御系統例を示す図である。図２３に示すように、第１カウンタ部３０ａと、第２カウンタ部３０ｂとは、制御回路５０の制御に従い、独立に駆動することも、同期して駆動することも可能である。
　ここで、図２４、及び図２５を用いて、ＤＲ拡張時の第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとの同期駆動に関して説明する。
　図２４は、第４実施形態に係る受光素子２００ａにおける測距点ＭＰのＤＲ拡張時の動作例を示す図である。第１ＳＰＡＤセンサ２０ａで用いる検知回路２１１の測距点はＭＰ１、２、５、６、９、１０、１３であり、第２ＳＰＡＤセンサ２０ｂで用いる検知回路２１１の測距点は、ＭＰ０、１、３、４、７、８、１１、１２である。また、第１ＳＰＡＤセンサ２０ａ側で連携されるカウンタ回路２１２の測距点は、ＭＰ０、１、３、４、７、８、１１、１２に対応するカウンタ回路２１２であり、第２ＳＰＡＤセンサ２０ｂ側で連携されるカウンタ回路２１２の測距点は、ＭＰ１、２、５、６、９、１０、１３である。このように、使用する測距点ＭＰを、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとで相補的に用いる。これにより、ＤＲ拡張時でも解像度の低下が抑制される。
　図２５は、ＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスを示す図である。上側が第１カウンタ部３０ａにおけるＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスであり、下側が第２カウンタ部３０ｂにおけるＤＲ拡張時のバンク（ＢＡＮＫ）信号のシーケンスである。このように、ＤＲ拡張時には、制御回路５０は、第１ＳＰＡＤセンサ２０ａ及び第１カウンタ部と、２ＳＰＡＤセンサ２０ｂ及び第２カウンタ部３０ｂとを、同期させる。また、解像度も維持されるため、バンク数８で周期的に撮像される。
　以上説明したように、本実施形態によれば、受光素子２００ａは、複数の第１ＳＰＡＤセンサ２０ａ及び第１カウンタ部と、２ＳＰＡＤセンサ２０ｂ及び第２カウンタ部３０ｂとを有することとし、ＤＲ拡張時に使用する測距点ＭＰを、第１ＳＰＡＤセンサ２０ａと、第２ＳＰＡＤセンサ２０ｂとで相補的に用いることとした。これにより、解像度を維持した状態でダイナミックレンジの拡張が可能となる。
（第５実施形態）
　第５実施形態に係る電子機器１は、測距点ＭＰ０～ＭＰｎのペアの組み方に優先度を設ける点で
第４実施形態に係る電子機器１と相違する。以下では、第４実施形態に係る電子機器１と相違する点を説明する。
　図２６は、測距点ＭＰ０～ＭＰｎのペアの組合わせ例を示す図である。図２６では、ｎは１３である。図２６では、ペアを上下に組合わせる例を示している。
　図２７は、測距点ＭＰ０～ＭＰｎペアにおける別の組合わせ例を示す図である。図２７では、ｎは１３である。図２７では、ペアを斜めに組合わせる。このように、第２実施形態に係る電子機器１では、ペアの組合わせ方法を横方向意外にも複数有する。
　図２８は、記録部１２０（図１参照）に予め記録されるペアの組み合わせの優先度を模式的に示す図である。図２８に示すように、横連結が優先度１であり、縦連結が優先度２であり、斜め連結が優先度３である。これらの優先度は、隣接する測距点が飽和していない場合の例である。
　図２９は、制御部５０による連結の制御例を示す図である。例えば、測距点ＭＰ２の飽和が検知されている場合である。この場合、隣接する測距点が飽和していない場合には、図２９で示す優先度で連結する。ところが、隣接する測距点Ｍ５も飽和しているので、この場合には測距点Ｍ５のカウンタ回路２１２と連結させる。これにより、測距点Ｍ５も飽和しているので、測距点Ｍ５のカウンタを使用しても、撮像情報量の低下が抑制される。
　一方で、飽和が検知された測距点ＭＰ１３では、隣接する測距点の飽和が検知されていない場合である。この場合、優先度にしたがい連結される。すなわち、横連結が優先度１であり、横連結が選択される。
　図３０は、隣接する測距点が飽和している場合に、飽和している測定点を選択する効果を模式的に示す図である。図３０では、測定点ＭＰ１とＭＰ５が飽和している。この場合、優先度１に従いＭＰ０と、ＭＰ４と連結させると、飽和していないＭＰ０と、ＭＰ４の検知回路２１１が使用できなくなり、解像度が低下してしまう。これに対して、優先度は２番目であるが測定点ＭＰ１とＭＰ５を連結させると、もともと使用できないＭＰ５の検知回路２１１に対応するカウンタ２１１が使用でき、解像度の低下を抑制できる。
　以上説明したように本実施形態によれば、飽和している測定点ＭＰがある場合に、隣接する測定点ＭＰが飽和していない場合には、優先度にしたがいカウンタ２１１を連結させることにした。これにより、飽和している測定点ＭＰが複数ある場合にも規則的にカウンタ２１１を連結させることができ、解像度に不規則な低下が生じることを抑制できる。また、飽和している測定点ＭＰがある場合に、隣接する測定点ＭＰが飽和している場合には、飽和している定点ＭＰ同士のカウンタ回路２１２を連結させることとした。これにより、もともと使用できない測定点ＭＰの検知回路２１１に対応するカウンタ２１１が使用でき、解像度の低下を抑制できる。
　＜＜１．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３２には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る電子機器１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る電子機器１は、図３１に示した応用例の撮像部７４１０に適用することができる。
　また、図１を用いて説明した電子機器１の少なくとも一部の構成要素は、図３１に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した電子機器１が、図３１に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
なお、本技術は以下のような構成を取ることができる。
（１）
　複数の画素を備えた受光素子であって、
　前記画素は、
　フォトンの入射を検出可能な検知回路と、
　前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
　第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子。
（２）
　第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントする、（１）に記載の受光素子。
（３）
　前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントする、（２）に記載の受光素子。
（４）
　前記複数の画素を制御処理する制御処理回路を更に備える、（３）に記載の受光素子。
（５）
　前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御する、（４）に記載の受光素子。
（６）
　前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御する、（５）に記載の受光素子。
（７）
　前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有する、（６）に記載の受光素子。
（８）
　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成する、（７）に記載の受光素子。
（９）
　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成する、（８)に記載の受光素子。
（１０）
　前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有する、（９）に記載の受光素子。
（１１）
　前記第１カウンタ回路は、
　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
　を有し、
　前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行う、（４）に記載の受光素子。
（１２）
　前記第１カウンタ回路は、
　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
　を有し、
　前記制御処理回路は、
　前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
　前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行う、（４）に記載の受光素子。
（１３）
　前記第２カウンタ回路は、
　前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
　前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
　を有し、
　前記制御処理回路は、
　前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行う、（１２）に記載の受光素子。
（１４）
　前記第１検知回路は、
　アバランシェフォトダイオードと、
　電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
　前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
を有する、（１２）に記載の受光素子。
（１５）
　前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択する、（４）に記載の受光素子。
（１６）
　前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択する、（１５）に記載の受光素子。
（１７）
　前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択する、（４）に記載の受光素子。
（１８）
　前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択する、（１７）に記載の受光素子。
（１９）
　前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
　前記第１モードでは、
　前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
　前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得する、（４）に記載の受光素子。
（２０）
　前記第１検知回路と前記第２検知回路の組合わせを複数有し、
　前記制御処理回路は、前記第１モードでは、
　優先度に従い、前記組合わせの中から選択する、（４）に記載の受光素子。
（２１）
　前記制御処理回路は、前記第１モードでは、
　前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択する、（４）に記載の受光素子。
（２２）
　（１）に記載の受光素子と、
　前記受光素子に戻り光を供給する光学系と備える、電子機器。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
１：電子機器、
２０ａ：第１ＳＰＡＤセンサ（第１検知回路群）、
２０ｂ：第２ＳＰＡＤセンサ（第２検知回路群）、
７０：ヒストグラム生成部、
９０：表示制御部、
１１０：光学系、
１１１：アバランシェフォトダイオード、
１１２：クエンチ抵抗
１１３：波形整形回路、
１１４：マルチプレクサ（選択素子）、
１１５：複数ビットカウンタ、
２００：光学素子、
２１１：検知回路、
２１２：カウンタ回路、
２１３：制御処理回路、
３００：可視撮像センサ（ＲＧＢセンサ）、
３０２：イベントベースビジョンセンサ（ＥＶＳ）。

Claims (22)

  1. 　複数の画素を備えた受光素子であって、
    　前記画素は、
    　フォトンの入射を検出可能な検知回路と、
    　前記検知回路が出力するパルスをカウントするカウンタ回路と、を有し、
    　第１モードでは、前記複数の画素が有する複数のカウンタ回路の中の少なくとも一つの第１カウンタ回路は、前記複数のカウンタ回路の中の第１カウンタ回路と異なる第２カウンタ回路の出力値に基づきカウントする、受光素子。
  2. 　第２モードでは、前記第１カウンタ回路は、前記複数の画素が有する複数の検知回路の中の対応する第１検知回路のパルス信号をカウントする、請求項１に記載の受光素子。
  3. 　前記第１モードでは、前記第２カウンタ回路は、前記複数の画素が有する複数の検知回路の中の前記第１検知回路と異なる第２検知回路のパルス信号をカウントする、請求項２に記載の受光素子。
  4. 　前記複数の画素を制御処理する制御処理回路を更に備える、請求項３に記載の受光素子。
  5. 　前記制御処理回路は、前記第２モードで制御している場合に、前記第１カウンタ回路、又は前記第２カウンタ回路のカウンタ値が所定の上限値を越えた場合に応じて、前記第１モードで前記第１カウンタ回路、及び前記第２カウンタ回路に対応する第１複数画素を制御する、請求項４に記載の受光素子。
  6. 　前記制御処理回路は、前記第１モードで前記第１複数画素を制御している場合に、前記第１カウンタ回路、及び前記第２カウンタ回路のカウンタ値が所定の上限値を越えない場合に応じて、前記第２モードで前記第１複数画素を制御する、請求項５に記載の受光素子。
  7. 　前記制御処理回路は、前記複数のカウンタ回路がそれぞれ出力するカウンタ数を所定の周期でカウントし、時系列に前記カウンタ数が並ぶヒストグラムを生成するヒストグラム生成部を有する、請求項６に記載の受光素子。
  8. 　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値と、前記第２カウンタ回路の出力値と、を合算した第１ヒストグラムを生成する、請求項７に記載の受光素子。
  9. 　前記ヒストグラム生成部は、前記第１モードでは、前記第１カウンタ回路の出力値に基づくヒストグラムと、前記第２カウンタ回路の出力値に基づく第２ヒストグラムと、を生成する、請求項８に記載の受光素子。
  10. 　前記制御処理回路は、前記第１ヒストグラム又は前記第２ヒストグラムを表示部に表示させる表示制御部を更に有する、請求項９に記載の受光素子。
  11. 　前記第１カウンタ回路は、
    　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
    　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
    　を有し、
    　前記制御処理回路は、前記第１モードでは、前記第２カウンタ回路の出力信号を選択させ、前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に行う、請求項４に記載の受光素子。
  12. 　前記第１カウンタ回路は、
    　前記第１検知回路と、前記第２カウンタ回路とからそれぞれ信号を入力される第１選択素子と、
    　前記第１選択素子の出力信号に基づきカウントする第１ビットカウンタと、
    　を有し、
    　前記制御処理回路は、
    　前記第２モードでは、前記第１検知回路の出力信号を選択させる制御を前記第１選択素子に第１周期で行い、
    　前記第１モードでは、前記第１検知回路と、前記第２カウンタ回路の出力信号と、を交互に選択させる制御を第１周期の倍の第２周期で行う、請求項４に記載の受光素子。
  13. 　前記第２カウンタ回路は、
    　前記第２検知回路と、前記第１カウンタ回路とからそれぞれ信号を入力される第２選択素子と、
    　前記第２選択素子の出力信号に基づきカウントする第２ビットカウンタと、
    　を有し、
    　前記制御処理回路は、
    　前記第１モードでは、前記第１カウンタ回路と、前記第２検知回路の出力信号と、を交互に選択させる制御を前記第２周期で行う、請求項１２に記載の受光素子。
  14. 　前記第１検知回路は、
    　アバランシェフォトダイオードと、
    　電源端子と接地端子との間において前記アバランシェフォトダイオードに直列に接続された抵抗と、
    　前記アバランシェフォトダイオードの出力信号を前記パルスに成形する波形成形回路と、
    を有する、請求項１２に記載の受光素子。
  15. 　前記制御処理回路は、第１撮像部から取得した画像データに基づき、平均輝度値が高い第１領域を選択し、前記第１領域内に対応する領域から前記第２検知回路を選択する、請求項４に記載の受光素子。
  16. 　前記制御処理回路は、前記第１領域外に対応する領域から前記第１検知回路を選択する、請求項１５に記載の受光素子。
  17. 　前記制御処理回路は、第２撮像部から取得した画像データに基づき、輝度値の変化が高い第３領域を選択し、前記第３領域内に対応する領域から前記第２検知回路を選択する、請求項４に記載の受光素子。
  18. 　前記制御処理回路は、前記第３領域外に対応する領域から前記第１検知回路を選択する、請求項１７に記載の受光素子。
  19. 　前記複数の画素は、それぞれが独立して駆動が可能であり、前記検知回路が対応する第１画素群と、第２画素群と、を有し、
    　前記第１モードでは、
    　前記第１画素群の中からは、前記第２検知回路を含む第１検知回路群からのパルス信号を取得し、
    　前記第２画素群の中からは、前記第１検知回路群と対応しない第２検知回路群からのパルス信号を取得する、請求項４に記載の受光素子。
  20. 　前記第１検知回路と前記第２検知回路の組合わせを複数有し、
    　前記制御処理回路は、前記第１モードでは、
    　優先度に従い、前記組合わせの中から選択する、請求項４に記載の受光素子。
  21. 　前記制御処理回路は、前記第１モードでは、
    　前記第２検知回路に隣接する検知回路に対応するカウンタ回路が所定の上限値を越えている場合には、前記所定の上限値を越えている検知回路を前記第１検知回路として選択する、請求項４に記載の受光素子。
  22. 　請求項１に記載の受光素子と、
    　前記受光素子に戻り光を供給する光学系と備える、電子機器。
PCT/JP2023/002873 2022-03-10 2023-01-30 受光素子、および電子機器 WO2023171176A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022037567A JP2023132322A (ja) 2022-03-10 2022-03-10 受光素子、および電子機器
JP2022-037567 2022-03-10

Publications (1)

Publication Number Publication Date
WO2023171176A1 true WO2023171176A1 (ja) 2023-09-14

Family

ID=87936576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002873 WO2023171176A1 (ja) 2022-03-10 2023-01-30 受光素子、および電子機器

Country Status (2)

Country Link
JP (1) JP2023132322A (ja)
WO (1) WO2023171176A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010093A (ja) * 2018-07-03 2020-01-16 キヤノン株式会社 撮像素子および撮像装置
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
JP2021139647A (ja) * 2020-03-02 2021-09-16 株式会社リコー 受光装置及び距離計測装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010093A (ja) * 2018-07-03 2020-01-16 キヤノン株式会社 撮像素子および撮像装置
JP2020145502A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 撮像装置およびその制御方法
JP2021139647A (ja) * 2020-03-02 2021-09-16 株式会社リコー 受光装置及び距離計測装置

Also Published As

Publication number Publication date
JP2023132322A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
US12078721B2 (en) Ranging device and ranging method
JP7568504B2 (ja) 受光装置及び測距装置
US20220026541A1 (en) Photodetection device and distance measurement device
WO2021124762A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
JP7511562B2 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
US20220120875A1 (en) Photodetector, driving method of photodetector, and distance measuring device
WO2023171176A1 (ja) 受光素子、および電子機器
WO2021161858A1 (ja) 測距装置および測距方法
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2024162109A1 (ja) 光検出装置及び測距システム
WO2023145344A1 (ja) 受光素子、および電子機器
WO2024190189A1 (ja) 光検出素子、測距方法、及び測距システム
WO2023162734A1 (ja) 測距装置
WO2024185307A1 (ja) 光検出装置、測定方法、及び距離測定システム
US20230106211A1 (en) Distance measuring device and distance measuring method
WO2023223928A1 (ja) 測距装置及び測距システム
WO2023162733A1 (ja) 測距装置及び測距方法
US20240241235A1 (en) Light detecting device and distance measuring system
WO2023218798A1 (ja) 測距装置及びカウンタ
JP7407734B2 (ja) 光検出装置及び光検出装置の制御方法、並びに、測距装置
WO2023219045A1 (ja) 受光装置、制御方法、及び測距システム
US20240353559A1 (en) Ranging device and ranging method
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2024195323A1 (ja) 発光装置、及び測距システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766356

Country of ref document: EP

Kind code of ref document: A1