WO2023089884A1 - 光検出装置、撮像装置および測距装置 - Google Patents

光検出装置、撮像装置および測距装置 Download PDF

Info

Publication number
WO2023089884A1
WO2023089884A1 PCT/JP2022/030933 JP2022030933W WO2023089884A1 WO 2023089884 A1 WO2023089884 A1 WO 2023089884A1 JP 2022030933 W JP2022030933 W JP 2022030933W WO 2023089884 A1 WO2023089884 A1 WO 2023089884A1
Authority
WO
WIPO (PCT)
Prior art keywords
count value
unit
digital
count
analog
Prior art date
Application number
PCT/JP2022/030933
Other languages
English (en)
French (fr)
Inventor
挙文 高塚
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023089884A1 publication Critical patent/WO2023089884A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to a photodetector, imaging device, and distance measuring device using an avalanche photodiode (APD).
  • APD avalanche photodiode
  • a photodetector includes a pulse response section, an analog counter section, and a reset section.
  • the pulse response section generates a pulse signal in response to incident light.
  • the analog counter unit generates an analog first count value by performing count processing based on the pulse signal.
  • the reset unit resets the first count value when the first count value exceeds the first threshold.
  • An imaging device includes a plurality of pixels arranged in a matrix and a signal processing section that generates image data based on pixel data obtained from each pixel.
  • Each pixel has a pulse response section, an analog counter section, and a reset section.
  • the pulse response section generates a pulse signal in response to incident light.
  • the analog counter unit generates an analog first count value by performing count processing based on the pulse signal.
  • the reset unit resets the first count value when the first count value exceeds the first threshold.
  • a distance measuring device includes a photodetector and a signal processing circuit that calculates the distance to the measurement object from the output signal of the photodetector.
  • the photodetector has a pulse response section, an analog counter section, and a reset section.
  • the pulse response section generates a pulse signal in response to incident light.
  • the analog counter unit generates an analog first count value by performing count processing based on the pulse signal.
  • the reset unit resets the first count value when the first count value exceeds the first threshold.
  • the analog counter unit is provided after the analog counter unit.
  • the count value of the analog counter section is reset.
  • FIG. 2 is a diagram showing a schematic configuration example of the solid-state imaging device of FIG. 1; 3 is a diagram showing an example of functional blocks of pixels and peripheral circuits in FIG. 2; FIG. 4 is a diagram showing a circuit configuration example of a detection unit in FIG. 3; FIG. FIG. 5 is a diagram showing an example of signal waveforms in the detection unit of FIG. 4; 5 is a diagram showing an example of count values output from pixels in FIGS. 3 and 4; FIG. 3 is a diagram showing the concept of a signal readout operation from the pixel array section in FIG. 2; FIG.
  • FIG. 3 is a diagram showing a modified example of the circuit configuration of the pixel and peripheral circuits in FIG. 2;
  • FIG. FIG. 4 is a diagram showing a modified example of the circuit configuration of the detection unit in FIG. 3;
  • FIG. 10 is a diagram showing an example of signal waveforms in the detection unit of FIG. 9;
  • FIG. FIG. 4 is a diagram showing a modified example of the circuit configuration of the detection unit in FIG. 3;
  • FIG. 9 is a diagram showing a circuit configuration example that can replace the A/D conversion unit in FIGS. 3 and 8;
  • FIG. FIG. 9 is a diagram showing a circuit configuration example that can replace the A/D conversion unit in FIGS. 3 and 8;
  • FIG. FIG. 12 is a diagram showing an arrangement example of capacitors in the analog counters of FIGS.
  • FIG. 12 is a diagram showing an arrangement example of capacitors in the analog counters of FIGS. 4, 9, and 11;
  • FIG. FIG. 12 is a diagram showing a planar configuration example of capacitances in the analog counters of FIGS. 4, 9, and 11;
  • FIG. 3 is a diagram showing a modified example of functional blocks of pixels and peripheral circuits in FIG. 2;
  • FIG. 3 is a diagram showing a modified example of functional blocks of pixels and peripheral circuits in FIG. 2;
  • FIG. 3 is a diagram showing a modified example of functional blocks of pixels and peripheral circuits in FIG. 2;
  • FIG. 20 is a diagram showing an example of count values output from pixels in FIG. 19;
  • FIG. 20 is a diagram showing an example of count values output from pixels in FIG. 19;
  • FIG. 3 is a diagram showing a modified example of functional blocks of pixels and peripheral circuits in FIG. 2;
  • FIG. FIG. 22 is a diagram showing an example of temporal changes in count values obtained from the pixels in FIG. 21; 3 is a diagram showing a modified example of functional blocks of pixels and peripheral circuits in FIG. 2;
  • FIG. 24 is a diagram showing an example of reference resistors in the OVF control unit of FIG. 23;
  • FIG. FIG. 24 is a diagram showing an example of changes over time in count values obtained from the pixels in FIG. 23;
  • 2 is a diagram showing how the imaging device of FIG. 1 is configured with one chip;
  • FIG. It is a figure showing a mode that the imaging device of FIG. 1 was laminated
  • FIG. 3 is a diagram showing a modified example of the circuit configuration in the pixel array section of FIG. 2;
  • FIG. 3 is a diagram showing a modified example of the circuit configuration in the pixel array section of FIG. 2;
  • FIG. 10 is a diagram illustrating an example of functional blocks of a distance measuring device according to a second embodiment of the present disclosure;
  • FIG. 31 is a diagram showing a schematic configuration example of a photodetector in FIG. 30;
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 illustrates an example of functional blocks of an imaging device 100 according to the first embodiment of the present disclosure.
  • the imaging device 100 is a device that acquires image data by imaging, and includes an optical system 110, a solid-state imaging device 120, a control section 130, and a communication section 140.
  • the optical system 110 collects incident light and guides it to the solid-state imaging device 120 .
  • the solid-state imaging device 120 acquires image data by imaging, and outputs the image data obtained by imaging to the outside via the communication unit 140 .
  • the solid-state imaging device 120 has a plurality of pixels 10, which will be described later. A plurality of pixels 10 are two-dimensionally arranged in the effective pixel area.
  • the communication unit 140 is an interface that communicates with an external device, and outputs image data obtained by the solid-state imaging device 120 to the external device.
  • the control unit 130 controls the solid-state imaging device 120 to acquire image data by the solid-state imaging device 120 by imaging. For example, the control unit 130 simultaneously selects a plurality of pixels 10 (pixel rows) arranged in the row direction, and holds a plurality of pixel data obtained in the selected pixel rows in the solid-state imaging device 120. Let The control unit 130 further causes the communication unit 140 to sequentially output the held plurality of pixel data, for example. For example, the control unit 130 sequentially selects a plurality of pixel rows at a predetermined cycle, and sequentially outputs a plurality of pixel data obtained thereby to the communication unit 140 . The control unit 130 causes the solid-state imaging device 120 to output the plurality of pixel data obtained by the solid-state imaging device 120 as image data to the communication unit 140 .
  • FIG. 2 shows a schematic configuration example of the solid-state imaging device 120.
  • the solid-state imaging device 120 has, for example, a pixel array section 121, a row driving section 122, an A/D conversion section 123, a digital counting section 124 and an interface section 125, as shown in FIG.
  • the pixel array section 121 has a plurality of pixels 10 that perform photoelectric conversion.
  • a plurality of pixels 10 are arranged in a matrix of s ⁇ m (s and m are positive integers) in the effective pixel area.
  • two horizontal signal lines HSL1 and SHL2 are wired along the row direction for each pixel row
  • two vertical signal lines VSL1 and VSL2 are wired along the column direction for each pixel column.
  • the horizontal signal lines HSL ⁇ b>1 and SHL ⁇ b>2 are wirings for controlling the timing of reading out signals from the pixels 10 .
  • One ends of the horizontal signal lines HSL1 and SHL2 are connected to the row driver 122 .
  • the vertical signal lines VSL1 and VSL2 are wiring for reading out signals from the pixels 10 .
  • One end of the vertical signal line VSL1 is connected to the A/D conversion section 123, and one end of the vertical signal line VSL2 is connected to the digital count section .
  • Each pixel 10 has a light pulse response section 11 and a detection section 12, for example, as shown in FIG.
  • the optical pulse response section 11 generates a pulse signal in response to incident light.
  • the optical pulse response section 11 includes, for example, a light receiving section 11b and a quench section 11a as shown in FIG.
  • the light receiving section 11b includes an avalanche photodiode (APD).
  • APD avalanche photodiode
  • a Geiger-mode APD when a voltage higher than the breakdown voltage is applied between terminals, an avalanche phenomenon occurs when a single photon is incident.
  • An APD that multiplies a single photon by avalanche phenomenon is called a single photon avalanche diode (SPAD).
  • the light receiving section 11b includes, for example, a SPAD.
  • the quenching portion 11a has a function (quenching) of stopping the avalanche phenomenon by lowering the voltage applied to the light receiving portion 11b to the breakdown voltage.
  • the quenching section 11a further has a function of allowing the light receiving section 11b to detect photons again by setting the voltage applied to the light receiving section 11b to a bias voltage equal to or higher than the breakdown voltage.
  • Quench unit 11a includes, for example, a MOS transistor.
  • Quenching portion 11a may be, for example, a resistor.
  • One end of the quench section 11a (for example, the source of the MOS transistor) is connected to a power supply line to which a fixed voltage Vspad is applied.
  • the other end of the quenching portion 11a (for example, the drain of the MOS transistor) is connected to one end of the light receiving portion 11b (for example, the cathode of SPAD).
  • FIG. 3 shows N1 as a connection point (connection node) between the quenching portion 11a and the light receiving portion 11b.
  • the other end of the light receiving portion 11b (for example, the anode of SPAD) is connected to a power supply line to which a reference voltage Van is applied, for example.
  • the values of the fixed voltage Vspad and the reference voltage Van are set so that a voltage equal to or higher than the breakdown voltage is applied to the light receiving portion 11b.
  • the connection node N1 is connected to an analog counter 12a (described later) of the detector 12 .
  • the detection unit 12 includes, for example, an analog counter 12a, an OVF (overflow) control unit 12b, and switch units 12c and 12d, as shown in FIG.
  • the detection unit 12 performs counting processing based on the pulse signal input from the optical pulse response unit 11 .
  • the detection unit 12 outputs an analog count voltage Vout2 and a digital count voltage Vout1 obtained by the counting process.
  • the detection unit 12 outputs a count voltage Vout1 to the vertical signal line VSL1 and outputs a count voltage Vout2 to the vertical signal line VSL2.
  • the count value Cnt2 obtained based on the count voltage Vout2 is on the low bit side
  • the count value Cnt1 obtained based on the count voltage Vout1 is on the high bit side. becomes.
  • the analog counter 12a outputs an analog voltage (count voltage Vcnt) corresponding to the number of pulses input from the light pulse response section 11.
  • the analog counter 12a is, for example, a countdown type counter in which the count voltage Vcnt decreases stepwise from the initial voltage each time a pulse signal is input from the optical pulse response unit 11 .
  • the analog counter 12a may be, for example, a count-up type counter in which the count voltage Vcnt increases stepwise from the initial voltage each time a pulse signal is input from the optical pulse response section 11 .
  • the count voltage Vcnt output from the analog counter 12a is input to the OVF controller 12b.
  • the analog counter 12a resets the output (count voltage Vcnt) of the analog counter 12a based on the inverted signal of the comparison voltage Vcmp input from the OVF control section 12b.
  • the analog counter 12a outputs the initial voltage as the count voltage Vcnt by resetting the output of the analog counter 12a.
  • the OVF control unit 12b detects whether or not the analog counter 12a is saturated, and outputs the result as the saturation voltage Vovf.
  • the OVF control section 12b outputs the saturation voltage Vovf to the switch section 12c and outputs an inverted signal of the comparison voltage Vcmp to the analog counter 12a.
  • the switch unit 12c outputs the saturation voltage Vovf input to the input terminal to the vertical signal line VSL1 through the output terminal when turned on.
  • the switch section 12c floats the input terminal when turned off. In other words, the switch section 12c outputs only the voltage during the ON period of the switch section 12c to the vertical signal line VSL1 as the count voltage Vout1 out of the saturation voltage Vovf.
  • the switch unit 12d outputs the count voltage Vcnt input to the input terminal to the vertical signal line VSL2 through the output terminal when turned on.
  • the switch section 12d floats the input terminal when turned off. In other words, the switch unit 12d outputs only the voltage during the ON period of the switch unit 12d among the count voltage Vcnt to the vertical signal line VSL1 as the count voltage Vout2.
  • FIG. 4 shows a circuit configuration example of the analog counter 12a and the OVF controller 12b.
  • FIG. 5 shows an example of the change over time of the signal waveform in the detection section 12. As shown in FIG.
  • Analog counter 12a For example, as shown in FIG. 4, the analog counter 12a has a charge extraction section 12-1, a holding section 12-2 and a reset section 12-3.
  • the holding unit 12-2 is a circuit that has a capacitor C2 and reduces the initial voltage held in the capacitor C2 by the voltage of the capacitor C1 held in the charge extraction unit 12-1.
  • the voltage of the capacitor C2 (count voltage Vcnt) decreases stepwise from the initial voltage each time a pulse signal is input from the light pulse response section 11 to the charge extraction section 12-1.
  • the reset unit 12-3 has a switch element, and when the inverted signal of the comparison voltage Vcmp is input from the OVF control unit 12b as a signal for turning on the switch element, the switch element is turned on and the voltage of the capacitor C2 (count voltage Vcnt) is set to the initial voltage (power supply voltage Vdd). That is, the reset section 12-3 resets the count voltage Vcnt when the inverted signal of the comparison voltage Vcmp is input from the OVF control section 12b as a signal for turning on the switch element.
  • the reset unit 12-3 turns off the switch element when the inverted signal of the comparison voltage Vcmp is input from the OVF control unit 12b as the signal for turning off the switch element.
  • the OVF controller 12b has, for example, a comparator, an inverter, an RS flip-flop and an AND circuit as shown in FIG.
  • the OVF control unit 12b compares, for example, the count voltage Vcnt and the reference voltage Vref input to the comparator. As a result, when the count voltage Vcnt falls below the reference voltage Vref (that is, when the count voltage Vcnt exceeds the reference voltage Vref from the side above it to the side below it), the OVF control unit 12b sets the voltage of Hi as the comparison voltage Vcmp. to the RS flip-flop and inverter.
  • the inverter outputs an inverted signal of the input comparison voltage Vcmp to the reset section 12-3.
  • the OVF controller 12b resets the count voltage Vcnt.
  • the OVF control unit 12b sets the Lo voltage to the RS flip-flop as the comparison voltage Vcmp. output to the amplifier and inverter.
  • the RS flip-flop is used as memory.
  • the S terminal is connected to the output terminal of the comparator
  • the Q terminal is connected to the input terminal of the switch section 12c and one input terminal of the AND circuit
  • the R terminal is connected to the output terminal of the AND circuit. It is connected.
  • one input terminal is connected to the Q terminal of the RS flip-flop, the other input terminal is connected to the wiring for supplying the control signal Sel1 for turning on/off the switch section 12c, and the output terminal is connected to the RS flip-flop. connected to the R terminal of the
  • the RS flip-flop When the comparison voltage Vcmp that changes from the Lo voltage to the Hi voltage is input to the S terminal, the RS flip-flop outputs the Hi voltage as the saturation signal Vovf from the Q terminal. At this time, the count voltage Vcnt is reset in the reset unit 12-3, and the comparison voltage Vcmp that changes from the Hi voltage to the Lo voltage is input to the S terminal. However, since the RS flip-flop is in the ON state, the RS flip-flop continues to output a Hi voltage from the Q terminal as the saturation signal Vovf.
  • a peripheral circuit includes a row driving section 122 , an A/D converting section 123 , a digital counting section 124 and an interface section 125 .
  • the row driving section 122 controls the timing of reading out signals from the plurality of pixels 10 .
  • the row driving unit 122 outputs control signals for selecting the plurality of pixels 10 for each pixel row to the plurality of horizontal signal lines HSL1 and HSL2. As a result, signals from the plurality of pixels 10 are sequentially output to the plurality of vertical signal lines VSL for each pixel row.
  • the A/D converter 123 is connected to the vertical signal line VSL2.
  • the vertical signal line VSL2 is connected to the output terminal of the analog counter 12a via the switch section 12d.
  • the A/D converter 123 A/D-converts the voltage (count voltage Vcnt) at the output terminal of the analog counter 12a via the vertical signal line VSL2, thereby obtaining a digital count value Cnt2 (n -k bits).
  • the digital count unit 124 is connected to the vertical signal line VSL1.
  • the digital count unit 124 reads out a digital signal (count voltage Vout1) via the vertical signal line VSL1, and performs count processing on the read count voltage Vout1 to generate a digital count value Cnt1 (k bits).
  • the digital count section 124 includes a digital addition section 124A and a memory array 124B.
  • the digital adder 124A initializes the memory array 124B at the start of the exposure period. After that, the digital addition unit 124A reads out the count voltage Vout1 of a certain pixel 10 (hereinafter referred to as "count processing target pixel 10") via the vertical signal line VSL1 at a predetermined cycle. The digital adder 124A further reads the count voltage Vout1 of the pixel 10 to be counted, which was previously written to the memory array 124B, from the memory array 124B. The digital adder 124A adds both read count voltages Vout1 to each other, and writes (overwrites) the value obtained thereby to the memory array 124B as the count voltage Vout1 of the pixel 10 to be counted. The digital addition unit 124A generates a digital count value Cnt1 (k bits) by repeatedly performing the above addition process (counting process) each time the count voltage Vout1 is read from the pixel 10 to be counted.
  • the interface unit 125 generates the count value Cnt by combining the count value Cnt1 and the count value Cnt2 with the count value Cnt1 on the low bit side and the count value Cnt2 on the high bit side (see FIG. 6).
  • the interface unit 125 outputs the generated count value Cnt to the outside as pixel data.
  • FIG. 7 is a conceptual diagram of an example of a signal readout operation from the pixel array section 121.
  • the control unit 130 controls the pixel array unit 121 to simultaneously turn on the switches 12c of a plurality of (m) pixels 10 (row lines) arranged in the row direction. Accordingly, the signal processing unit 122 reads the count voltage Vout1 from each pixel 10 of the row line selected by the control unit 130, and performs counting processing on the read count voltage Vout1 to generate a digital count value Cnt1.
  • the count voltage Vout1 is 1-bit digital data that takes a value of "1" or "0". Assume that, for example, 3 bits are assigned as the count value Cnt1. At this time, the signal processing unit 122 adds the digital count voltage Vout1 to the count value Cnt1. When the count value Cnt1 is the initial value (000), the signal processing unit 122 adds the read count voltage Vout1 (“1” or “0”) to the count value Cnt1, thereby setting the count value Cnt1 to 001. or 000.
  • control unit 130 performs the above-described control on all (s) row lines for each row line.
  • the signal processing unit 122 reads out a plurality (m) of count voltages Vout1 from each row line, and generates a digital count value Cnt1 by performing count processing on the read count voltages Vout1.
  • the count value Cnt1 for one frame is obtained.
  • the signal processing unit 122 holds the acquired count value Cnt1 for one frame in the memory.
  • control unit 130 repeatedly acquires the count value Cnt1 for one frame during the exposure period, and simultaneously acquires the count value Cnt1 for one frame at the timing when the exposure period ends. Acquisition of the count value Cnt2 for the frame is performed.
  • the control unit 130 controls the pixel array unit 121 to simultaneously turn on the switches 12d included in the row line. Accordingly, the signal processing unit 122 reads the analog count voltage Vout2 from each pixel 10 of the row line selected by the control unit 130, AD-converts the read count voltage Vout2, and thereby corresponds to the count voltage Vout2. Generate a digital count value Cnt2.
  • the count value Cnt2 is 0101, for example.
  • control unit 130 performs the above-described control on all (s) row lines for each row line.
  • the signal processing unit 122 reads a plurality (m) of count voltages Vout2 from each row line, AD-converts the read count voltages Vout2, and thereby generates a digital count value Cnt2 corresponding to the count voltage Vout2. do.
  • the count value Cnt2 for one frame is obtained.
  • the signal processing unit 122 holds the acquired count value Cnt2 for one frame in the memory.
  • the signal processing unit 122 uses the count value Cnt1 for one frame read from one memory and the count value Cnt2 for one frame read from the other memory to obtain pixel data (that is, image data) for one frame. ).
  • an OVF control section 12b that resets the count voltage Vcnt of the analog counter 12a when the count value cnt1 of the analog counter 12a exceeds a predetermined threshold is provided after the analog counter 12a.
  • the analog counter 12a can count lower bits and the digital counter 122a can count higher bits.
  • the number of times analog values are read out per pixel 10 can be reduced to one, and the number of bits can be increased by the amount of the provision of the digital counter 122a. Therefore, the limit of the frame rate can be reduced while using the analog counter.
  • a digital count value Cnt1 is generated by performing count processing on the digital signal (count voltage Vout1) output from the OVF control section 12b. Furthermore, a digital count value Cnt2 is generated by A/D converting the analog count voltage Vout2 output from the analog counter 12a.
  • the analog counter 12a can count lower bits and the digital counter 122a can count higher bits.
  • the number of times analog values are read out per pixel 10 can be reduced to one, and the number of bits can be increased by the amount of the provision of the digital counter 122a. Therefore, the limit of the frame rate can be reduced while using the analog counter.
  • the vertical signal line VSL1 that transmits the digital count voltage Vout1 to the digital addition unit 124A and the vertical signal line VSL2 that transmits the analog count voltage Vout2 to the A/D conversion unit 123 are connected to the pixel array unit 121. is provided in Accordingly, the digital addition section 124A and the A/D conversion section 123 can be provided outside the pixel array section 121, and the size of the pixels 10 can be reduced. ⁇ 2. Variation> Next, a modification of the imaging device 100 according to the above embodiment will be described.
  • a digital counter array 124C may be provided instead of the digital adder 124A and memory array 124B.
  • the digital counter array 124C has a digital counter corresponding to each pixel 10.
  • Digital counter array 124C initializes digital counter array 124C at the start of an exposure period. After that, the digital counter array 124C reads the count voltage Vout1 (digital count value) of the pixels 10 to be counted at predetermined intervals via the vertical signal line VSL1, and counts the read count voltage Vout1.
  • a digital count value Cnt1 (k bits) is generated.
  • the digital counter array 124C generates a digital count value Cnt1 (k bits) by repeating the above counting process every time the count voltage Vout1 (digital count value) is read from the pixel 10 to be counted.
  • the area occupied by the digital count section 124 is slightly larger than in the above embodiment, but otherwise the same effects as in the above embodiment can be obtained. .
  • the OVF controller 12b may have a digital counter instead of the RSFF and AND circuit, as shown in FIG. 9, for example.
  • this digital counter is a 1-bit digital counter. For example, as shown in FIG. It is displaced as "0", "1", and so on. Even in this case, the same count values Cnt1 and Cnt2 as in the above embodiment are obtained. Therefore, as in the above embodiment, it is possible to reduce the frame rate limitation while using the analog counter.
  • the OVF controller 12b may have an inverter instead of the comparator, as shown in FIG. 11, for example.
  • the inverter when the count voltage Vcnt having a value lower than the threshold value of the inverter is input to the inverter, the inverter outputs a Hi voltage to the RS flip-flop and the inverter as the output signal Vinv. Also, when the count voltage Vcnt having a value exceeding the threshold value of the inverter is input to the inverter, the inverter outputs the Lo voltage to the RS flip-flop and the inverter as the output signal Vinv. Even in such a case, it is possible to realize the same function as in the above embodiment. Therefore, as in the above embodiment, it is possible to reduce the frame rate limitation while using the analog counter.
  • the A/D converter 122b may be configured including a comparator and a counter, as shown in FIG. 12, for example.
  • the voltage of the vertical signal line VSL2 (count voltage Vout2) and the reference voltage Vref_adc are input to the comparator.
  • the comparator compares the count voltage Vout2 and the reference voltage Vref_adc, and outputs a high level voltage when the count voltage Vout2 is lower than the reference voltage Vref_adc.
  • the comparator outputs a low level voltage, for example, when the count voltage Vout2 exceeds the reference voltage Vref_adc.
  • the counter counts the number of pulses input from the comparator, thereby generating a count value Cnt2 (n ⁇ k bits).
  • the A/D converter 124c may be configured including a comparator and a latch, as shown in FIG. 13, for example.
  • the voltage of the vertical signal line VSL2 (count voltage Vout2) and the reference voltage Vref_adc are input to the comparator.
  • the comparator compares the count voltage Vout2 and the reference voltage Vref_adc, and outputs a high level voltage when the count voltage Vout2 is lower than the reference voltage Vref_adc.
  • the comparator outputs a low level voltage, for example, when the count voltage Vout2 exceeds the reference voltage Vref_adc.
  • the latch records (holds) the time code when the output of the comparator becomes high level.
  • the capacitors C1 and C2 of the analog counter 12a may be composed of MIM (Metal-Insulator-Metal).
  • MIM Metal-Insulator-Metal
  • a pixel array section 121 is formed in the sensor chip 100A.
  • the sensor chip 100A and the logic chip 100B are stacked by, for example, joining Cu pads formed on the sensor chip 100A and Cu pads formed on the logic chip 100B to each other.
  • the capacitors C1 and C2 may be formed in the logic chip 100B as shown in FIG. 15, for example. At this time, a portion of each pixel 10 excluding the capacitors C1 and C2 may be formed on the sensor chip 100A. By doing so, the sensor chip 100A can be miniaturized to the extent that it is not necessary to form the capacitors C1 and C2, which require an area, on the sensor chip 100A.
  • FIG. 16 shows a planar configuration example of the capacitors C1 and C2.
  • Capacitors C1 and C2 have, for example, a comb shape as shown in FIG. In this case, the capacitors C1 and C2 can be formed in the same layer with the same capacitance as when the capacitors C1 and C2 are stacked in the thickness direction.
  • each pixel 10 may have a switching section 13 as shown in FIG. 17, for example.
  • the switching unit 13 switches between outputting the saturation signal Vovf to the vertical signal line VSL and outputting the count voltage Vcnt to the vertical signal line VSL.
  • the peripheral circuit may have a switching unit 126 as shown in FIG. 17, for example.
  • the switching unit 126 connects the vertical signal line VSL to the digital addition unit 124A when the saturation signal Vovf is applied to the vertical signal line VSL, and connects the vertical signal line VSL to the digital addition unit 124A when the count voltage Vcnt is applied to the vertical signal line VSL.
  • a line VSL is connected to the A/D converter 123 . In this case, the number of vertical signal lines VSL can be reduced, so the area of the pixel array section 121 can be reduced.
  • the A/D converter 123 may be omitted.
  • an A/D conversion unit 12e having the same function as the A/D conversion unit 123 is provided in the detection unit 12 of each pixel 10, and a reading unit 127 for reading the voltage of the vertical signal line VSL2 is provided in the peripheral circuit. good too.
  • two digital signals saturated signal Vovf and count voltage Vcnt
  • VSL1 and VSL2 can be output from each pixel 10 to the vertical signal lines VSL1 and VSL2.
  • the detector 12 may have, for example, a set of analog counters 12a and OVF controllers 12b as analog blocks in multiple stages, as shown in FIG.
  • the analog counter 12a generates an analog count value Cnt1 (count voltage Vcnt1). Furthermore, in the first-stage analog block, the OVF control unit 12b controls when the count voltage Vcnt1 generated by the analog counter 12a falls below the reference voltage Vref (that is, when the count voltage Vcnt1 falls below the reference voltage Vref ), the Hi voltage is output as the saturation signal Vovf. For example, when the count voltage Vcnt1 exceeds the reference voltage Vref (that is, when the count voltage Vcnt1 exceeds the reference voltage Vref to the side below it), the OVF control unit 12b outputs the Lo voltage as the saturation signal Vovf. do.
  • the analog counter 12a performs counting processing based on the saturation signal Vovf output from the OVF control section 12b in the preceding analog block to obtain an analog count value Cnt2 (count voltage Vcnt2). Generate. Furthermore, in the second and subsequent analog blocks, when the count voltage Vcnt2 generated by the analog counter 12a falls below the reference voltage Vref (that is, when the count voltage Vcnt2 falls below the reference voltage Vref, the OVF control unit 12b side), the Hi voltage is output as the saturation signal Vovf.
  • the OVF control unit 12b outputs the Lo voltage as the saturation signal Vovf. do.
  • the peripheral circuit has a digital count section 124 and A/D conversion sections 123 and 128 .
  • the digital adder 124A is connected to the vertical signal line VSL1.
  • the vertical signal line VSL1 is connected to the second stage OVF control section 12b via the switch section 12c.
  • the digital adder 124A reads the saturation signal Vovf of the second stage via the vertical signal line VSL1, and performs count processing on the read saturation signal Vovf to generate a digital count value Cnt1 (k1 bits).
  • the A/D converter 123 is connected to the vertical signal line VSL2.
  • the vertical signal line VSL2 is connected to the output terminal of the first-stage analog counter 12a via the switch section 12d.
  • the A/D converter 123 A/D-converts the voltage (count voltage Vcnt2) at the output end of the first-stage analog counter 12a via the vertical signal line VSL2, thereby obtaining a digital count corresponding to the count voltage Vcnt2. Generate the value Cnt2 (k2 bits).
  • the A/D converter 128 is connected to the vertical signal line VSL3.
  • the vertical signal line VSL3 is connected to the output terminal of the second-stage analog counter 12a via the switch section 12f.
  • the A/D converter 128 A/D-converts the voltage (count voltage Vcnt3) at the output end of the second-stage analog counter 12a via the vertical signal line VSL3, thereby obtaining a digital count corresponding to the count voltage Vcnt3. Generate the value Cnt3 (n ⁇ k1 ⁇ k2 bits).
  • the interface unit 125 sets the count values (count values Cnt2 and Cnt3) obtained from the first and second stage analog counters 12a to the low bit side, and sets the count value (count Cnt1) obtained from the digital counter 122a to the high bit side.
  • the count value Cnt is generated by combining the count values Cnt1, Cnt2, and Cnt3 as (see FIG. 20). Note that the count value Cnt2 is on the low bit side of the count value Cnt3.
  • the interface unit 125 outputs the generated count value Cnt to the outside as pixel data.
  • the detector 12 may have a digital counter 12g after the OVF controller 12b, as shown in FIG. 21, for example. At this time, the digital count unit 124 may be omitted, and a readout unit 129 for reading the voltage of the vertical signal line VSL1 may be provided in the peripheral circuit.
  • the digital counter 12g generates a digital count value Cnt1 by performing count processing on the digital signal output from the OVF control section 12b.
  • the reading unit 122f reads the digital count value Cnt1 via the vertical signal line VSL1.
  • FIG. 22 shows an example of the change over time of the count value Cnt obtained from the pixel 10.
  • the analog counter 12a may not be saturated and the digital counter 12g may not count.
  • the digital counter 12g At medium or high illuminance, when the analog counter 12a saturates, the digital counter 12g also counts.
  • the time change of the count value Cnt is gradual, but as the illuminance increases, the time change of the count value Cnt becomes steeper.
  • the detection unit 12 may have a determination unit 12h, as shown in FIG. 23, for example.
  • the determination unit 12h sets the reference voltage Vref based on the count value Cnt1 generated by the digital counter 12g.
  • the determination unit 12h generates a control signal Scode for setting the reference voltage Vref based on the count value Cnt1, for example, and outputs it to the OVF control unit 12b.
  • one input terminal of a comparator is connected to a plurality of reference voltage lines via switching sections.
  • the switching unit selects one reference voltage line from among the plurality of reference voltage lines based on the control signal Scode input from the determining unit 12h.
  • one input terminal of the comparator may be connected to a plurality of constant current sources via switching sections.
  • the switching section selects one reference voltage line from among the plurality of reference voltage lines based on the control signal Scode input from the determining section 12h.
  • FIG. 25 shows an example of the change over time of the count value Cnt obtained from the pixel 10.
  • a plurality of thresholds are set for the count value Cnt.
  • the count value Cnt does not reach the lowest value threshold, and the reference voltage line to which the reference voltage Vref1 with the lowest value is applied is selected.
  • the reference voltage line to which the reference voltage Vref2 higher than the reference voltage line Vref1 with the lowest value is applied is selected.
  • the count value Cnt reaches the second lowest threshold, the reference voltage line to which the reference voltage Vref3 higher than the reference voltage Vref2 is applied is selected.
  • the time change of the count value Cnt can be made substantially constant regardless of the illuminance.
  • the solid-state imaging device 120 may be formed on one semiconductor substrate 100C, as shown in FIG. 26, for example. At this time, an effective pixel region in which a plurality of pixels 10 are arranged in a matrix is formed on the surface of the semiconductor substrate 100C. On the surface of the semiconductor substrate 100C, for example, a row driving section 122, an A/D converting section 123, a digital counting section 124, an interface section 125 and the like are mounted around the effective pixel area.
  • the solid-state imaging device 120 is configured by stacking a plurality of semiconductor substrates (for example, two semiconductor substrates 100D and 100E) as shown in FIG. may At this time, a plurality of light receiving portions 11b may be arranged in a matrix on the surface of the semiconductor substrate 100D, and a plurality of quenching portions 11a may be arranged in a matrix on the surface of the semiconductor substrate 100E.
  • the semiconductor substrates 100D and 100E are bonded together, for example, by bonding a pad portion 11c made of Cu provided on the semiconductor substrate 100D side and a pad portion 11d made of Cu provided on the semiconductor substrate 100E side. ing.
  • the light receiving portion 11b and the quenching portion 11a can be formed by laminating each other.
  • the planar size of the pixel 10 can be reduced compared to the case of forming the pixel 10 .
  • the adder 20 may be connected to the outputs of the pixels 10 .
  • the adder 20 adds the count values Cnt input from the plurality of pixels 10 . Thereby, an image with high sensitivity can be obtained.
  • the detection unit 12 may be connected to the output of the addition unit 20 .
  • the addition unit 20 counts the number of pulses input from the plurality of optical pulse response units 11 and outputs the obtained analog count value to the detection unit 12 . Even in this case, an image with high sensitivity can be obtained.
  • FIG. 30 illustrates an example of functional blocks of the distance measuring device 200 according to the second embodiment of the present disclosure.
  • Range finder 200 is a ToF (Time Of Flight) sensor that emits light and detects reflected light reflected by an object to be detected.
  • the distance measuring device 200 includes a light emitting section 210 , an optical system 220 , a light detecting section 230 , a control section 240 , a signal processing section 250 and a communication section 260 .
  • ToF Time Of Flight
  • the light emitting unit 210 emits a light pulse L0 toward the object to be detected based on an instruction from the control unit 240. Based on an instruction from control unit 240, light emitting unit 210 emits light pulse L0 by performing a light emitting operation that alternately repeats light emission and non-light emission.
  • the light emitting unit 210 has a light source that emits infrared light, for example. This light source is configured using, for example, a laser light source or an LED (Light Emitting Diode).
  • the optical system 220 includes a lens that forms an image on the light receiving surface of the photodetector 230 .
  • a light pulse (reflected light pulse L1) emitted from the light emitting unit 210 and reflected by the object to be detected is incident on the optical system 220 .
  • the light detection section 230 detects the reflected light pulse L1 based on the instruction from the control section 240 .
  • the signal processing section 250 generates distance image data based on the detection result of the light detection section 230 and outputs the generated distance image data to the outside via the communication section 250 .
  • the photodetector 230 has the same configuration as the solid-state imaging device 120 according to the above embodiment and its modification.
  • the control unit 240 supplies control signals to the light emitting unit 210 and the light detecting unit 230 and controls the operation of these units, thereby controlling the operation of the distance measuring device 200 .
  • an OVF control section 12b that resets the count voltage Vcnt of the analog counter 12a when the count value cnt1 of the analog counter 12a exceeds a predetermined threshold value is provided after the analog counter 12a.
  • the analog counter 12a can count the lower bits
  • the digital counter 124b can count the upper bits.
  • the number of times analog values are read out per pixel 10 can be reduced to one, and the number of bits can be increased by the provision of the digital counter 124b. Therefore, the limit of the frame rate can be reduced while using the analog counter.
  • a digital count value Cnt1 is generated by performing count processing on the digital signal (count voltage Vout1) output from the OVF control section 12b. Furthermore, a digital count value Cnt2 is generated by A/D converting the analog count voltage Vout2 output from the analog counter 12a.
  • the analog counter 12a can count the lower bits
  • the digital counter 124b can count the upper bits.
  • the number of times analog values are read out per pixel 10 can be reduced to one, and the number of bits can be increased by the provision of the digital counter 124b. Therefore, the limit of the frame rate can be reduced while using the analog counter.
  • the vertical signal line VSL1 that transmits the digital count voltage Vout1 to the digital addition unit 124A and the vertical signal line VSL2 that transmits the analog count voltage Vout2 to the A/D conversion unit 123 are connected to the pixel array unit 121. is provided in Accordingly, the digital addition section 124A and the A/D conversion section 123 can be provided outside the pixel array section 121, and the size of the pixels 10 can be reduced.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be applied to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), etc. It may also be implemented as a body-mounted device.
  • FIG. 32 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 7000 comprises a plurality of electronic control units connected via communication network 7010 .
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an inside information detection unit 7500, and an integrated control unit 7600.
  • the communication network 7010 that connects these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used in various calculations, and a drive circuit that drives various devices to be controlled. Prepare.
  • Each control unit has a network I/F for communicating with other control units via a communication network 7010, and communicates with devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I/F for communication is provided. In FIG.
  • the functional configuration of the integrated control unit 7600 includes a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle equipment I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are shown.
  • Other control units are similarly provided with microcomputers, communication I/Fs, storage units, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 7100 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection section 7110 is connected to the drive system control unit 7100 .
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the axial rotational motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting angle, engine speed or wheel rotation speed is included.
  • Drive system control unit 7100 performs arithmetic processing using signals input from vehicle state detection unit 7110, and controls the internal combustion engine, drive motor, electric power steering device, brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • body system control unit 7200 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • Body system control unit 7200 receives these radio waves or signals and controls the door lock device, power window device, lamps, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source for the driving motor, according to various programs. For example, the battery control unit 7300 receives information such as battery temperature, battery output voltage, or remaining battery capacity from a battery device including a secondary battery 7310 . The battery control unit 7300 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 7310 or control of a cooling device provided in the battery device.
  • the vehicle exterior information detection unit 7400 detects information outside the vehicle in which the vehicle control system 7000 is installed.
  • the imaging section 7410 and the vehicle exterior information detection section 7420 is connected to the vehicle exterior information detection unit 7400 .
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 includes, for example, an environment sensor for detecting the current weather or weather, or a sensor for detecting other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. ambient information detection sensor.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • These imaging unit 7410 and vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 33 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910 , 7912 , 7914 , 7916 , and 7918 are provided, for example, at least one of the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 7900 .
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided above the windshield in the vehicle interior mainly acquire images of the front of the vehicle 7900 .
  • Imaging units 7912 and 7914 provided in the side mirrors mainly acquire side images of the vehicle 7900 .
  • An imaging unit 7916 provided in the rear bumper or back door mainly acquires an image behind the vehicle 7900 .
  • An imaging unit 7918 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 33 shows an example of the imaging range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d is The imaging range of an imaging unit 7916 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners, and above the windshield of the vehicle interior of the vehicle 7900 may be, for example, ultrasonic sensors or radar devices.
  • the exterior information detectors 7920, 7926, and 7930 provided above the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be LIDAR devices, for example.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used to detect preceding vehicles, pedestrians, obstacles, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging section 7410 to capture an image of the exterior of the vehicle, and receives the captured image data.
  • the vehicle exterior information detection unit 7400 also receives detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, radar device, or LIDAR device
  • the vehicle exterior information detection unit 7400 emits ultrasonic waves, electromagnetic waves, or the like, and receives reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the vehicle exterior object based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing people, vehicles, obstacles, signs, characters on the road surface, etc., based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. good too.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410 .
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • the in-vehicle information detection unit 7500 is connected to, for example, a driver state detection section 7510 that detects the state of the driver.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects the biometric information of the driver, a microphone that collects sounds in the vehicle interior, or the like.
  • a biosensor is provided, for example, on a seat surface, a steering wheel, or the like, and detects biometric information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determine whether the driver is dozing off. You may The in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected sound signal.
  • the integrated control unit 7600 controls overall operations within the vehicle control system 7000 according to various programs.
  • An input section 7800 is connected to the integrated control unit 7600 .
  • the input unit 7800 is realized by a device that can be input-operated by the passenger, such as a touch panel, button, microphone, switch or lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input by a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000.
  • PDA Personal Digital Assistant
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information through gestures.
  • the input section 7800 may include an input control circuit that generates an input signal based on information input by a passenger or the like using the input section 7800 and outputs the signal to the integrated control unit 7600, for example.
  • a passenger or the like operates the input unit 7800 to input various data to the vehicle control system 7000 and instruct processing operations.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like. Also, the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage unit 7690 may be realized by a magnetic storage device such as a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication between various devices existing in the external environment 7750.
  • the general-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced) , or other wireless communication protocols such as wireless LAN (also referred to as Wi-Fi®), Bluetooth®, and the like.
  • General-purpose communication I / F 7620 for example, via a base station or access point, external network (e.g., Internet, cloud network or operator-specific network) equipment (e.g., application server or control server) connected to You may
  • external network e.g., Internet, cloud network or operator-specific network
  • equipment e.g., application server or control server
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle. may be connected with P2P (Peer To Peer) technology to connect terminals (for example, terminals of drivers, pedestrians, stores, or MTC (Machine Type Communication) terminals) near the vehicle.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol designed for use in vehicles.
  • the dedicated communication I/F 7630 uses standard protocols such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of lower layer IEEE 802.11p and higher layer IEEE 1609, or cellular communication protocol. May be implemented.
  • the dedicated communication I/F 7630 is typically used for vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) perform V2X communication, which is a concept involving one or more of the communications.
  • the positioning unit 7640 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), performs positioning, and obtains the latitude, longitude, and altitude of the vehicle. Generate location information containing Note that the positioning unit 7640 may specify the current position by exchanging signals with a wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smart phone having a positioning function.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from wireless stations installed on the road, and acquires information such as the current position, traffic jams, road closures, or required time. Note that the function of the beacon reception unit 7650 may be included in the dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates connections between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 is connected via a connection terminal (and cable if necessary) not shown, USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High -definition Link), etc.
  • In-vehicle equipment 7760 includes, for example, at least one of mobile equipment or wearable equipment possessed by passengers, or information equipment carried in or attached to the vehicle. In-vehicle equipment 7760 may also include a navigation device that searches for a route to an arbitrary destination. or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010. In-vehicle network I/F 7680 transmits and receives signals and the like according to a predetermined protocol supported by communication network 7010 .
  • the microcomputer 7610 of the integrated control unit 7600 uses at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs on the basis of the information acquired by. For example, the microcomputer 7610 calculates control target values for the driving force generator, steering mechanism, or braking device based on acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. good too.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control may be performed for the purpose of In addition, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information about the surroundings of the vehicle, thereby autonomously traveling without depending on the operation of the driver. Cooperative control may be performed for the purpose of driving or the like.
  • ADAS Advanced Driver Assistance System
  • Microcomputer 7610 receives information obtained through at least one of general-purpose communication I/F 7620, dedicated communication I/F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I/F 7660, and in-vehicle network I/F 7680. Based on this, three-dimensional distance information between the vehicle and surrounding objects such as structures and people may be generated, and local map information including the surrounding information of the current position of the vehicle may be created. Further, based on the acquired information, the microcomputer 7610 may predict dangers such as vehicle collisions, pedestrians approaching or entering closed roads, and generate warning signals.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio/image output unit 7670 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display section 7720 and an instrument panel 7730 are exemplified as output devices.
  • Display 7720 may include, for example, at least one of an on-board display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, or other device.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually.
  • the voice output device converts an audio signal including reproduced voice data or acoustic data into an analog signal and outputs the analog signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • an individual control unit may be composed of multiple control units.
  • vehicle control system 7000 may comprise other control units not shown.
  • some or all of the functions that any control unit has may be provided to another control unit. In other words, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • sensors or devices connected to any control unit may be connected to other control units, and multiple control units may send and receive detection information to and from each other via communication network 7010. .
  • Any computer program for realizing each function of the imaging device 100 described with reference to FIGS. can be mounted in a control unit or the like. It is also possible to provide a computer-readable recording medium storing such a computer program.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a recording medium.
  • imaging device 100 described using FIGS. 1 to 29 and the like may be realized by a plurality of control units of vehicle control system 7000 shown in FIG.
  • distance measuring device 200 described with reference to FIGS. 30, 31, etc. may be realized by a plurality of control units of vehicle control system 7000 shown in FIG.
  • the present disclosure can have the following configurations. (1) a pulse response unit that generates a pulse signal in response to incident light; an analog counter unit that generates an analog first count value by performing count processing based on the pulse signal; and a reset unit that resets the first count value when the first count value exceeds a first threshold. (2) The reset unit outputs a digital signal indicating when the first count value exceeds the first threshold, The photodetector is a first digital counter that generates a digital second count value by counting the digital signal output from the reset unit; The photodetector according to (1), further comprising: an A/D converter that A/D converts the first count value to generate a digital third count value.
  • the reset unit holds the digital signal when the first count value exceeds the first threshold, and resets the first count value when the digital signal is output; A photodetector as described.
  • the first digital counter has a digital adder and a memory, The digital addition section adds the digital signal output from the reset section and the count value read from the memory, and uses the value obtained thereby as the second count value.
  • the photodetector according to (2) overwriting the count value.
  • a set of the analog counter unit and the reset unit are provided in a plurality of stages as analog blocks, In the analog block on the first stage, The reset unit outputs a digital signal indicating when the first count value generated by the analog counter unit exceeds the first threshold, In the analog block after the second stage, The analog counter unit performs count processing based on the digital signal output from the reset unit in the preceding analog block to generate an analog fifth count value; According to any one of (2) to (8), the reset unit outputs a digital signal indicating when the fifth count value input to the reset unit exceeds a second threshold. photodetector.
  • the photodetector according to any one of (2) to (8), further comprising a threshold setting unit that sets the first threshold based on the second count value generated by the digital counter.
  • a threshold setting unit that sets the first threshold based on the second count value generated by the digital counter.
  • (11) a plurality of pixels arranged in a matrix; a signal processing unit that generates image data based on pixel data obtained from each pixel; Each said pixel is a pulse response unit that generates a pulse signal in response to incident light; an analog counter unit that generates an analog first count value by performing count processing based on the pulse signal; and a reset unit that resets the first count value when the first count value exceeds a first threshold value.
  • the reset unit outputs a digital signal indicating when the first count value exceeds the first threshold
  • the signal processing unit is a digital counter that generates a digital second count value by performing count processing on the digital signal output from the reset unit; (11), further comprising an A/D converter that A/D converts the first count value to generate a digital third count value.
  • (13) (11), further comprising a switch in which the output of the digital signal to the first digital counter and the output of the first count value to the A/D converter are controlled by separate control signals.
  • each pixel further includes a first switching unit for switching between output of the digital signal and output of the first count value; (11) to (16), further comprising a second switching unit for inputting an output of the switching unit to either one of the digital counter and the A/D conversion unit; The imaging device described.
  • each pixel has a set of the analog counter section and the reset section as analog blocks in a plurality of stages;
  • the reset unit outputs a digital signal indicating when the first count value generated by the analog counter unit exceeds the first threshold,
  • the analog counter unit performs count processing based on the digital signal output from the reset unit in the preceding analog block to generate an analog fifth count value;
  • the reset unit according to any one of (11) to (17), wherein when the fifth count value input to the reset unit exceeds a second threshold, the reset unit outputs a digital signal indicating it. imaging device.
  • the reset unit outputs a digital signal indicating when the first count value exceeds the first threshold
  • each pixel further includes a digital counter that generates a digital second count value by performing count processing on the digital signal output from the reset unit.
  • the photodetector according to any one of (11) to (20), wherein the pulse response section includes an avalanche photodiode and a quench circuit connected in series with the avalanche photodiode.
  • the photodetector is a pulse response unit that generates a pulse signal in response to incident light; an analog counter unit that generates an analog first count value by performing count processing based on the pulse signal; and a reset unit that resets the first count value when the first count value exceeds a first threshold value.
  • the analog counter unit is provided after the analog counter unit.
  • the count value of the analog counter section is reset. This makes it possible, for example, to count the lower bits with an analog counter section and count the upper bits with another counter (for example, a digital counter).
  • a digital counter for example, a digital counter

Abstract

本開示の一側面に係る光検出装置は、パルス応答部と、アナログカウンタ部と、リセット部とを備えている。パルス応答部は、光入射に応じてパルス信号を生成する。アナログカウンタ部は、パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成する。リセット部は、第1のカウント値が第1の閾値を超えたとき第1のカウント値をリセットする。

Description

光検出装置、撮像装置および測距装置
 本開示は、アバランシェフォトダイオード(APD)を用いた光検出装置、撮像装置および測距装置に関する。
 従来より、APDを用いた光検出装置において、APDの後段にアナログカウンタを設けることが行われている。しかし、このようにした場合には、画素内リークや、容量ばらつきの影響により、例えば、4V系のアナログカウンタの出力信号として7~9ビット程度の信号しか利用することができない。そのため、読み出し回数が多い用途では、A/D変換に要する時間に起因して、フレームレートが制限されてしまう問題があった。この問題に対して、例えば、アナログカウンタの他に1ビットのデジタルカウンタを用い、出力信号のビット数を1ビット拡大することが考えられる(特許文献1参照)。
国際公開WO2016/042734
 しかし、特許文献1に記載の方法では、読み出しのタイミングでアナログ値を複数回読み出しており、フレームレートの制限を本質的に解決することができない。従って、アナログカウンタを用いつつ、フレームレートの制限を低減することの可能な光検出装置、撮像装置および測距装置を提供することが望ましい。
 本開示の第1の側面に係る光検出装置は、パルス応答部と、アナログカウンタ部と、リセット部とを備えている。パルス応答部は、光入射に応じてパルス信号を生成する。アナログカウンタ部は、パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成する。リセット部は、第1のカウント値が第1の閾値を超えたとき第1のカウント値をリセットする。
 本開示の第2の側面に係る撮像装置は、行列状に配置された複数の画素と、各画素から得られた画素データに基づいて画像データを生成する信号処理部とを備えている。各画素は、パルス応答部と、アナログカウンタ部と、リセット部とを有している。パルス応答部は、光入射に応じてパルス信号を生成する。アナログカウンタ部は、パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成する。リセット部は、第1のカウント値が第1の閾値を超えたとき第1のカウント値をリセットする。
 本開示の第3の側面に係る測距装置は、光検出装置と、光検出装置の出力信号から測定対象物までの距離を算出する信号処理回路とを備えている。光検出装置は、パルス応答部と、アナログカウンタ部と、リセット部とを有している。パルス応答部は、光入射に応じてパルス信号を生成する。アナログカウンタ部は、パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成する。リセット部は、第1のカウント値が第1の閾値を超えたとき第1のカウント値をリセットする。
 本開示の第1の側面に係る光検出装置、本開示の第2の側面に係る撮像装置および本開示の第3の側面に係る測距装置では、アナログカウンタ部の後段に、アナログカウンタ部のカウント値が所定の閾値を超えたときアナログカウンタ部のカウント値がリセットされる。これにより、例えば、下位ビットをアナログカウンタ部でカウントし、上位ビットを他のカウンタ(例えばデジタルカウンタ)でカウントすることが可能となる。
本開示の第1の実施の形態に係る撮像装置の機能ブロック例を表す図である。 図1の固体撮像素子の概略構成例を表す図である。 図2の画素および周辺回路の機能ブロック例を表す図である。 図3の検出部の回路構成例を表す図である。 図4の検出部内の信号波形の一例を表す図である。 図3,図4の画素から出力されるカウント値の一例を表す図である。 図2の画素アレイ部からの信号読み出し動作の概念を表す図である。 図2の画素および周辺回路の回路構成の一変形例を表す図である。 図3の検出部の回路構成の一変形例を表す図である。 図9の検出部内の信号波形の一例を表す図である。 図3の検出部の回路構成の一変形例を表す図である。 図3,図8のA/D変換部に置き換え可能な回路構成例を表す図である。 図3,図8のA/D変換部に置き換え可能な回路構成例を表す図である。 図4,図9,図11のアナログカウンタ内の容量の配置例を表す図である。 図4,図9,図11のアナログカウンタ内の容量の配置例を表す図である。 図4,図9,図11のアナログカウンタ内の容量の平面構成例を表す図である。 図2の画素および周辺回路の機能ブロックの一変形例を表す図である。 図2の画素および周辺回路の機能ブロックの一変形例を表す図である。 図2の画素および周辺回路の機能ブロックの一変形例を表す図である。 図19の画素から出力されるカウント値の一例を表す図である。 図2の画素および周辺回路の機能ブロックの一変形例を表す図である。 図21の画素から得られるカウント値の経時変化の一例を表す図である。 図2の画素および周辺回路の機能ブロックの一変形例を表す図である。 図23のOVF制御部内の参照抵抗の一例を表す図である。 図23の画素から得られるカウント値の経時変化の一例を表す図である。 図1の撮像装置を1チップで構成した様子を表す図である。 図1の撮像装置を2枚のチップを積層して構成した様子を表す図である。 図2の画素アレイ部内の回路構成の一変形例を表す図である。 図2の画素アレイ部内の回路構成の一変形例を表す図である。 本開示の第2の実施の形態に係る測距装置の機能ブロック例を表す図である。 図30の光検出部の概略構成例を表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

1.第1の実施の形態(図1~図7)…撮像装置
2.変形例(図8~図29)
3.第2の実施の形態(図30,図31)…測距装置
4.適用例(図32,図33)
 
<1.第1の実施の形態>
[構成]
 図1は、本開示の第1の実施の形態に係る撮像装置100の機能ブロック例を表したものである。撮像装置100は、例えば、図1に示したように、撮像により画像データを取得する装置であり、光学系110、固体撮像素子120、制御部130および通信部140を備えている。
 光学系110は、入射光を集光して固体撮像素子120に導くものである。固体撮像素子120は、撮像により画像データを取得するものであり、撮像により得られた画像データを、通信部140を介して外部に出力する。固体撮像素子120は、後述の複数の画素10を有している。複数の画素10は、有効画素領域において2次元配置されている。通信部140は、外部機器と通信を行うインターフェースであり、固体撮像素子120で得られた画像データを外部機器に出力する。
 制御部130は、固体撮像素子120を制御して、撮像により固体撮像素子120に画像データを取得させるものである。制御部130は、例えば、行方向に並んで配置された複数の画素10(画素行)を同時に選択させることにより、選択された画素行で得られた複数の画素データを固体撮像素子120に保持させる。制御部130は、さらに、例えば、保持させた複数の画素データを順次、通信部140に出力させる。制御部130は、例えば、所定の周期で複数の画素行を順次、選択し、それにより得られた複数の画素データを順次、通信部140に出力させる。制御部130は、このようにして固体撮像素子120で得られた複数の画素データを画像データとして固体撮像素子120から通信部140に出力させる。
 図2は、固体撮像素子120の概略構成例を表したものである。固体撮像素子120は、例えば、図2に示したように、画素アレイ部121、行駆動部122、A/D変換部123、デジタルカウント部124およびインターフェース部125を有している。
 画素アレイ部121は、光電変換を行う複数の画素10を有している。複数の画素10は、有効画素領域においてs×m(s,mは正の整数)の行列状に配置されている。画素アレイ部121では、画素行ごとに2本の水平信号線HSL1,SHL2が行方向に沿って配線されており、画素列ごとに2本の垂直信号線VSL1,VSL2が列方向に沿って配線されている。水平信号線HSL1,SHL2は、画素10から信号を読み出すタイミングを制御するための配線である。水平信号線HSL1,SHL2の一端は行駆動部122に接続されている。垂直信号線VSL1,VSL2は、画素10から信号を読み出すための配線である。垂直信号線VSL1の一端はA/D変換部123に接続されており、垂直信号線VSL2の一端はデジタルカウント部124に接続されている。
 各画素10は、例えば、図3に示したように、光パルス応答部11および検出部12を有している。
(光パルス応答部11)
 光パルス応答部11は、光入射に応じてパルス信号を生成する。光パルス応答部11は、例えば、図3に示したように、受光部11bおよびクエンチ部11aを含む。
 受光部11bは、アバランシェフォトダイオード(APD)を含んでいる。ガイガーモードのAPDでは、端子間に降伏電圧以上の電圧が印可されると、単一フォトンの入射でアバランシェ現象が発生する。単一フォトンをアバランシェ現象で増倍させるAPDは、シングルフォトンアバランシェダイオード(SPAD)と呼ばれる。各画素10において、受光部11bは、例えば、SPADを含んでいる。クエンチ部11aは、受光部11bに印加される電圧を降伏電圧まで下げることによって、アバランシェ現象を止める機能(クエンチ)を有する。クエンチ部11aは、さらに、受光部11bに印加される電圧を降伏電圧以上のバイアス電圧にすることによって、受光部11bで再びフォトンの検出を行えるようにする機能を有する。クエンチ部11aは、例えば、MOSトランジスタを含む。クエンチ部11aは、例えば、抵抗器であってもよい。
 クエンチ部11aの一端(例えば、MOSトランジスタのソース)は、固定電圧Vspadが印可される電源線に接続されている。一方、クエンチ部11aの他端(例えば、MOSトランジスタのドレイン)は、受光部11bの一端(例えば、SPADのカソード)に接続されている。図3には、クエンチ部11aと受光部11bとの接続点(接続ノード)としてN1が記載されている。受光部11bの他端(例えば、SPADのアノード)は、例えば、基準電圧Vanが印可される電源線に接続されている。受光部11bに、降伏電圧以上の電圧が印可されるよう、固定電圧Vspadおよび基準電圧Vanの値が設定されている。接続ノードN1は、検出部12のアナログカウンタ12a(後述)に接続されている。
(検出部12)
 検出部12は、例えば、図3に示したように、アナログカウンタ12a、OVF(overflow)制御部12bおよびスイッチ部12c,12dを含んでいる。検出部12は、光パルス応答部11から入力されたパルス信号に基づいてカウント処理を行う。検出部12は、カウント処理により得られたアナログのカウント電圧Vout2およびデジタルのカウント電圧Vout1を出力する。検出部12は、例えば、垂直信号線VSL1にカウント電圧Vout1を出力し、垂直信号線VSL2にカウント電圧Vout2を出力する。カウント電圧Vout2に基づいて得られたカウント値Cnt2をロービット側とし、カウント電圧Vout1に基づいて得られたカウント値Cnt1をハイビット側としてカウント値Cnt1とカウント値Cnt2とを結合したカウント値Cntが画素データとなる。
 アナログカウンタ12aは、光パルス応答部11から入力されたパルスの数に応じたアナログの電圧(カウント電圧Vcnt)を出力する。アナログカウンタ12aは、例えば、光パルス応答部11からパルス信号が入力される度に、カウント電圧Vcntが初期電圧からステップ状に小さくなるカウントダウン方式のカウンタである。アナログカウンタ12aは、例えば、光パルス応答部11からパルス信号が入力される度に、カウント電圧Vcntが初期電圧からステップ状に大きくなるカウントアップ方式のカウンタであってもよい。アナログカウンタ12aから出力されたカウント電圧Vcntは、OVF制御部12bに入力される。
 アナログカウンタ12aは、OVF制御部12bから入力される比較電圧Vcmpの反転信号に基づいてアナログカウンタ12aの出力(カウント電圧Vcnt)をリセットする。アナログカウンタ12aは、アナログカウンタ12aの出力をリセットすることにより、カウント電圧Vcntとして初期電圧を出力する。
 OVF制御部12bは、アナログカウンタ12aの飽和の有無を検知し、その結果を飽和電圧Vovfとして出力する。OVF制御部12bは、飽和電圧Vovfをスイッチ部12cに出力するとともに、比較電圧Vcmpの反転信号をアナログカウンタ12aに出力する。スイッチ部12cは、オン時、入力端子に入力された飽和電圧Vovfを、出力端子を介して垂直信号線VSL1に出力する。スイッチ部12cは、オフ時、入力端子をフローティングにする。つまり、スイッチ部12cは、飽和電圧Vovfのうち、スイッチ部12cがオンしている期間の電圧だけを、カウント電圧Vout1として垂直信号線VSL1に出力する。スイッチ部12dは、オン時、入力端子に入力されたカウント電圧Vcntを、出力端子を介して垂直信号線VSL2に出力する。スイッチ部12dは、オフ時、入力端子をフローティングにする。つまり、スイッチ部12dは、カウント電圧Vcntのうち、スイッチ部12dがオンしている期間の電圧だけを、カウント電圧Vout2として垂直信号線VSL1に出力する。
 次に、アナログカウンタ12aおよびOVF制御部12bの回路構成について詳細に説明する。図4は、アナログカウンタ12aおよびOVF制御部12bの回路構成例を表したものである。図5は、検出部12における信号波形の経時変化の一例を表したものである。
(アナログカウンタ12a)
 アナログカウンタ12aは、例えば、図4に示したように、電荷引き抜き部12-1、保持部12-2およびリセット部12-3を有している。
 電荷引き抜き部12-1は、キャパシタC1を有し、光パルス応答部11から入力されたパルス信号の電圧に応じた電荷をキャパシタC1に蓄積する回路である。キャパシタC1の容量Cと、蓄積される電荷Qと、キャパシタC1から取り出される電圧Vとの間には、V=Q/Cの関係があるので、アナログカウンタ12aは、入力されたパルスの数に応じた電圧を保持することができる。
 保持部12-2は、キャパシタC2を有し、キャパシタC2に保持された初期電圧を、電荷引き抜き部12-1に保持されたキャパシタC1の電圧の分だけ減じる回路である。保持部12-2は、光パルス応答部11から電荷引き抜き部12-1にパルス信号が入力される度に、キャパシタC2の電圧(カウント電圧Vcnt)が初期電圧からステップ状に小さくなる。
 リセット部12-3は、スイッチ素子を有し、OVF制御部12bから比較電圧Vcmpの反転信号がスイッチ素子をオンさせる信号として入力されると、スイッチ素子をオンし、キャパシタC2の電圧(カウント電圧Vcnt)を初期電圧(電源電圧Vdd)にする。つまり、リセット部12-3は、OVF制御部12bから比較電圧Vcmpの反転信号がスイッチ素子をオンさせる信号として入力されると、カウント電圧Vcntをリセットする。リセット部12-3は、OVF制御部12bから比較電圧Vcmpの反転信号がスイッチ素子をオフさせる信号として入力されると、スイッチ素子をオフする。
(OVF制御部12b)
 OVF制御部12bは、例えば、図4に示したように、コンパレータ、インバータ、RSフリップフロップおよびAND回路を有している。OVF制御部12bは、例えば、コンパレータに入力されるカウント電圧Vcntおよび参照電圧Vrefを比較する。その結果、カウント電圧Vcntが参照電圧Vrefを下回ったとき(つまり、カウント電圧Vcntが参照電圧Vrefを上回る側から下回る側に超えたとき)、OVF制御部12bは、比較電圧Vcmpとして、Hiの電圧をRSフリップフロップおよびインバータに出力する。インバータは、入力された比較電圧Vcmpの反転信号をリセット部12-3に出力する。このとき、OVF制御部12bは、カウント電圧Vcntをリセットさせる。OVF制御部12bは、カウント電圧Vcntが参照電圧Vrefを上回ったとき(つまり、カウント電圧Vcntが参照電圧Vrefを下回る側から上回る側に超えたとき)、比較電圧Vcmpとして、Loの電圧をRSフリップフロップおよびインバータに出力する。
 RSフリップフロップは、メモリとして使用される。RSフリップフロップにおいて、S端子がコンパレータの出力端子に接続されており、Q端子がスイッチ部12cの入力端子およびAND回路の一方の入力端子に接続されており、R端子がAND回路の出力端子に接続されている。RSフリップフロップでは、S=0(Lo)→1(Hi)のとき、Q=0(Lo)→1(Hi)となる。このとき、RSフリップフロップはオン状態になっており、この後に、S=1(Hi)→0(Lo)となってもQ=1(Hi)を維持する。RSフリップフロップがオン状態になっているとき、R=0(Lo)→1(Hi)となった場合には、Q=1(Hi)→0(Lo)となる。このとき、RSフリップフロップはオフ状態になっている。
 AND回路では、一方の入力端子がRSフリップフロップのQ端子に接続されており、他方の入力端子がスイッチ部12cをオンオフさせる制御信号Sel1を供給する配線に接続されており、出力端子がRSフリップフロップのR端子に接続されている。
 RSフリップフロップは、Loの電圧からHiの電圧に変位する比較電圧VcmpがS端子に入力されると、Hiの電圧を飽和信号VovfとしてQ端子から出力する。このとき、リセット部12-3においてカウント電圧Vcntがリセットされ、Hiの電圧からLoの電圧に変位する比較電圧VcmpがS端子に入力される。しかし、RSフリップフロップはオン状態になっているので、RSフリップフロップは、引き続き、Hiの電圧を飽和信号VovfとしてQ端子から出力する。
 制御信号Sel1がスイッチ部12cをオンさせる電圧(Hiの電圧)になると、Hiの電圧の飽和信号Vovfがカウント電圧Vout1として垂直信号線VSL1に出力される。このとき、AND回路は、入力端子の双方がHiの電圧となるので、Hiの電圧をR端子に入力する。その結果、RSフリップフロップはオフ状態となり、Loの電圧を飽和信号VovfとしてQ端子から出力する。このとき、垂直信号線VSL1の電圧(カウント電圧Vout1)は、Hiの電圧からLoの電圧に遷移する。その後、制御信号Sel1がスイッチ部12cをオフさせる電圧(Loの電圧)になると、スイッチ部12cがオフし、AND回路の出力端子やRSフリップフロップのR端子の電圧がHiの電圧からLoの電圧に遷移する。
(周辺回路)
 次に、固体撮像素子120における、画素アレイ部121の周辺回路について説明する。周辺回路は、行駆動部122、A/D変換部123、デジタルカウント部124およびインターフェース部125を含んで構成されている。
 行駆動部122は、複数の画素10から信号を読み出すタイミングを制御する。行駆動部122は、複数の画素10を画素行ごとに選択する制御信号を複数の水平信号線HSL1,HSL2に対して出力する。これにより、複数の画素10からの信号が画素行ごとに複数の垂直信号線VSLに順次、出力される。
 A/D変換部123は、垂直信号線VSL2に接続されている。垂直信号線VSL2は、スイッチ部12dを介してアナログカウンタ12aの出力端に接続されている。A/D変換部123は、垂直信号線VSL2を介してアナログカウンタ12aの出力端の電圧(カウント電圧Vcnt)をA/D変換し、それによりカウント電圧Vcntに対応するデジタルのカウント値Cnt2(n-kビット)を生成する。
 デジタルカウント部124は、垂直信号線VSL1に接続されている。デジタルカウント部124は、垂直信号線VSL1を介してデジタル信号(カウント電圧Vout1)を読み出し、読み出したカウント電圧Vout1についてカウント処理を行うことによりデジタルのカウント値Cnt1(kビット)を生成する。デジタルカウント部124は、図3に示したように、デジタル加算部124Aおよびメモリアレイ124Bを含んで構成されている。
 デジタル加算部124Aは、露光期間の開始時に、メモリアレイ124Bを初期化する。その後、デジタル加算部124Aは、垂直信号線VSL1を介してある画素10(以下、「カウント処理対象の画素10」と称する。)のカウント電圧Vout1を所定の周期で読み出す。デジタル加算部124Aは、さらに、メモリアレイ124Bから、前回メモリアレイ124Bに書き込んだカウント処理対象の画素10のカウント電圧Vout1を読み出す。デジタル加算部124Aは、読み出した双方のカウント電圧Vout1を互いに加算し、それにより得られた値を、カウント処理対象の画素10のカウント電圧Vout1としてメモリアレイ124Bに書き込む(上書きする)。デジタル加算部124Aは、カウント処理対象の画素10からカウント電圧Vout1を読み出す度に、上記の加算処理(カウント処理)を繰り返し行うことにより、デジタルのカウント値Cnt1(kビット)を生成する。
 インターフェース部125は、カウント値Cnt1をロービット側とし、カウント値Cnt2をハイビット側としてカウント値Cnt1とカウント値Cnt2とを結合することによりカウント値Cntを生成する(図6参照)。インターフェース部125は、生成したカウント値Cntを画素データとして外部に出力する。
 次に、画素アレイ部121からの信号読み出し動作について説明する。図7は、画素アレイ部121からの信号読み出し動作の一例の概念図である。
 制御部130は、例えば、画素アレイ部121を制御して、行方向に並んで配置された複数(m個)の画素10(行ライン)の各スイッチ12cを同時にオンさせる。これにより、信号処理部122は、制御部130によって選択された行ラインの各画素10からカウント電圧Vout1を読み出し、読み出したカウント電圧Vout1についてカウント処理を行うことによりデジタルのカウント値Cnt1を生成する。
 ここで、カウント電圧Vout1は、「1」または「0」の値を採る1bitのデジタルデータである。カウント値Cnt1として例えば3bitが割り当てられているとする。このとき、信号処理部122は、デジタルのカウント電圧Vout1をカウント値Cnt1に加算する。カウント値Cnt1が初期値(000)となっている場合、信号処理部122は、読み出したカウント電圧Vout1(「1」または「0」)をカウント値Cnt1に加算することにより、カウント値Cnt1は001または000となる。
 制御部130は、例えば、上述の制御を全て(s個)の行ラインに対して行ラインごとに行う。これにより、信号処理部122は、各行ラインから複数(m個)のカウント電圧Vout1を読み出し、読み出したカウント電圧Vout1についてカウント処理を行うことによりデジタルのカウント値Cnt1を生成する。これにより、1フレーム分のカウント値Cnt1が得られる。信号処理部122は、取得した1フレーム分のカウント値Cnt1をメモリに保持する。
 制御部130は、例えば、上述の1フレーム分のカウント値Cnt1の取得を露光期間の間、繰り返し行い、露光期間が終了するタイミングで、上述の1フレーム分のカウント値Cnt1の取得と同時に、1フレーム分のカウント値Cnt2の取得を行う。
 制御部130は、例えば、露光期間が終了するタイミングで、画素アレイ部121を制御して、行ラインに含まれる各スイッチ12dを同時にオンさせる。これにより、信号処理部122は、制御部130によって選択された行ラインの各画素10からアナログのカウント電圧Vout2を読み出し、読み出したカウント電圧Vout2をAD変換し、それにより、カウント電圧Vout2に対応するデジタルのカウント値Cnt2を生成する。ここで、カウント値Cnt2として例えば4bitが割り当てられているとする。このとき、カウント値Cnt2は、例えば、0101となっている。
 制御部130は、例えば、上述の制御を全て(s個)の行ラインに対して行ラインごとに行う。これにより、信号処理部122は、各行ラインから複数(m個)のカウント電圧Vout2を読み出し、読み出したカウント電圧Vout2をAD変換し、それにより、カウント電圧Vout2に対応するデジタルのカウント値Cnt2を生成する。これにより、1フレーム分のカウント値Cnt2が得られる。信号処理部122は、取得した1フレーム分のカウント値Cnt2をメモリに保持する。
 信号処理部122は、一方のメモリから読み出した1フレーム分のカウント値Cnt1と、他方のメモリから読み出した1フレーム分のカウント値Cnt2とを用いて、1フレーム分の画素データ(つまり、画像データ)を生成する。
[効果]
  次に、撮像装置100の効果について説明する。
 本実施の形態では、アナログカウンタ12aの後段に、アナログカウンタ12aのカウント値cnt1が所定の閾値を超えたときアナログカウンタ12aのカウント電圧VcntをリセットするOVF制御部12bが設けられている。これにより、例えば、下位ビットをアナログカウンタ12aでカウントし、上位ビットをデジタルカウンタ122aでカウントすることが可能となる。その結果、1つの画素10あたりのアナログ値の読み出し回数を1回に抑えることができ、さらに、デジタルカウンタ122aを設けた分だけビット数を増やすことができる。従って、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
 本実施の形態では、OVF制御部12bから出力されるデジタル信号(カウント電圧Vout1)についてカウント処理を行うことによりデジタルのカウント値Cnt1が生成される。さらに、アナログカウンタ12aから出力されるアナログのカウント電圧Vout2をA/D変換することにより、デジタルのカウント値Cnt2が生成される。これにより、例えば、下位ビットをアナログカウンタ12aでカウントし、上位ビットをデジタルカウンタ122aでカウントすることが可能となる。その結果、1つの画素10あたりのアナログ値の読み出し回数を1回に抑えることができ、さらに、デジタルカウンタ122aを設けた分だけビット数を増やすことができる。従って、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
 本実施の形態では、デジタルのカウント電圧Vout1をデジタル加算部124Aに伝送する垂直信号線VSL1と、アナログのカウント電圧Vout2をA/D変換部123に伝送する垂直信号線VSL2とが画素アレイ部121に設けられている。これにより、画素アレイ部121の外にデジタル加算部124AやA/D変換部123を設けることができ、画素10のサイズを小さくすることができる。
<2.変形例>
 次に、上記実施の形態に係る撮像装置100の変形例について説明する。
[変形例A]
 上記実施の形態において、例えば、図8に示したように、デジタル加算部124Aおよびメモリアレイ124Bの代わりに、デジタルカウンタアレイ124Cが設けられていてもよい。
 デジタルカウンタアレイ124Cは、各画素10に対応したデジタルカウンタを有している。デジタルカウンタアレイ124Cは、露光期間の開始時に、デジタルカウンタアレイ124Cを初期化する。その後、デジタルカウンタアレイ124Cは、垂直信号線VSL1を介してカウント処理対象の画素10のカウント電圧Vout1(デジタルのカウント値)を所定の周期で読み出し、読み出したカウント電圧Vout1についてカウント処理を行うことによりデジタルのカウント値Cnt1(kビット)を生成する。デジタルカウンタアレイ124Cは、カウント処理対象の画素10からカウント電圧Vout1(デジタルのカウント値)を読み出す度に、上記のカウント処理を繰り返し行うことにより、デジタルのカウント値Cnt1(kビット)を生成する。デジタルカウンタアレイ124Cを設けた場合、上記実施の形態と比べて、デジタルカウント部124の占有面積が若干大きくなるが、それ以外の点については、上記実施の形態と同様の効果を得ることができる。
[変形例B]
 上記実施の形態において、OVF制御部12bは、例えば、図9に示したように、RSFFおよびAND回路の代わりにデジタルカウンタを有していてもよい。このとき、このデジタルカウンタは、1bitのデジタルカウンタであり、例えば、図10に示したように、比較電圧VcmpがHiの電圧となるたびに、デジタルカウンタの出力(飽和電圧Vovf)が「1」「0」「1」…と変位する。このようにした場合であっても、上記の実施の形態と同様のカウント値Cnt1,Cnt2が得られる。従って、上記の実施の形態と同様、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
[変形例C]
 上記実施の形態において、OVF制御部12bは、例えば、図11に示したように、コンパレータの代わりにインバータを有していてもよい。このとき、インバータの閾値を下回る値のカウント電圧Vcntがインバータに入力されると、インバータは、出力信号Vinvとして、Hiの電圧をRSフリップフロップおよびインバータに出力する。また、インバータの閾値を上回る値のカウント電圧Vcntがインバータに入力されると、インバータは、出力信号Vinvとして、Loの電圧をRSフリップフロップおよびインバータに出力する。このようにした場合であっても、上記の実施の形態と同様の機能を実現することができる。従って、上記の実施の形態と同様、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
[変形例D]
 上記実施の形態において、A/D変換部122bは、例えば、図12に示したように、コンパレータおよびカウンタを含んで構成されていてもよい。このとき、コンパレータには、垂直信号線VSL2の電圧(カウント電圧Vout2)と、参照電圧Vref_adcが入力される。コンパレータは、カウント電圧Vout2および参照電圧Vref_adcを比較し、カウント電圧Vout2が参照電圧Vref_adcを下回ったとき、ハイレベルの電圧を出力する。コンパレータは、例えば、カウント電圧Vout2が参照電圧Vref_adcを上回ったとき、ローレベルの電圧を出力する。カウンタは、コンパレータから入力されるパルスの数をカウントし、それにより、カウント値Cnt2(n-kビット)を生成する。
[変形例E]
 上記実施の形態において、A/D変換部124cは、例えば、図13に示したように、コンパレータおよびラッチを含んで構成されていてもよい。このとき、コンパレータには、垂直信号線VSL2の電圧(カウント電圧Vout2)と、参照電圧Vref_adcが入力される。コンパレータは、カウント電圧Vout2および参照電圧Vref_adcを比較し、カウント電圧Vout2が参照電圧Vref_adcを下回ったとき、ハイレベルの電圧を出力する。コンパレータは、例えば、カウント電圧Vout2が参照電圧Vref_adcを上回ったとき、ローレベルの電圧を出力する。ラッチは、コンパレータの出力がハイレベルとなったときの時刻コードを記録(保持)する。
[変形例F]
 上記実施の形態およびその変形例において、アナログカウンタ12aのキャパシタC1,C2がMIM(Metal-Insulator-Metal)で構成されていてもよい。このとき、キャパシタC1,C2が、例えば、図14に示したように、信号処理部122およびインターフェース部123が形成されたロジックチップ100Bとは別のチップ(センサチップ100A)に形成されていてもよい。センサチップ100Aには、画素アレイ部121が形成されている。センサチップ100Aおよびロジックチップ100Bは、例えば、センサチップ100Aに形成されたCuパッドと、ロジックチップ100Bに形成されたCuパッドとが互いに接合されることにより積層されている。
 なお、キャパシタC1,C2が、例えば、図15に示したように、ロジックチップ100Bに形成されていてもよい。このとき、各画素10の、キャパシタC1,C2を除く部分がセンサチップ100Aに形成されていてもよい。このようにすることにより、面積を要するキャパシタC1,C2をセンサチップ100Aに形成しなくて済む分、センサチップ100Aを小型化することができる。
 図16は、キャパシタC1,C2の平面構成例を表したものである。キャパシタC1,C2が、例えば、図16に示したような櫛歯形状となっている。このようにした場合、キャパシタC1,C2を厚さ方向に積層させた場合とあまり変わらない容量で、キャパシタC1,C2を同一層内に形成することができる。
[変形例G]
 上記実施の形態およびその変形例において、各画素10が、例えば、図17に示したように、切替部13を有していてもよい。切替部13は、飽和信号Vovfの垂直信号線VSLへの出力と、カウント電圧Vcntの垂直信号線VSLへの出力とを切り替える。このとき、周辺回路は、例えば、図17に示したように、切替部126を有していてもよい。切替部126は、垂直信号線VSLに飽和信号Vovfが印可されているときは垂直信号線VSLをデジタル加算部124Aに接続し、垂直信号線VSLにカウント電圧Vcntが印可されているときは垂直信号線VSLをA/D変換部123に接続する。このようにした場合には、垂直信号線VSLの本数を減らすことができるので、画素アレイ部121の面積を小さくすることができる。
[変形例H]
 上記実施の形態およびその変形例において、例えば、図18に示したように、A/D変換部123が省略されてもよい。このとき、A/D変換部123と同様の機能のA/D変換部12eが各画素10の検出部12に設けられ、垂直信号線VSL2の電圧を読み出す読み出し部127が周辺回路に設けられてもよい。このようにした場合には、各画素10からは、2つのデジタル信号(飽和信号Vovfおよびカウント電圧Vcnt)を垂直信号線VSL1,VSL2に出力することができるので、外部ノイズに強い撮像装置100を実現することができる。
[変形例I]
 上記実施の形態およびその変形例において、検出部12が、例えば、図19に示したように、一組のアナログカウンタ12aおよびOVF制御部12bをアナログブロックとして複数段有していてもよい。
 このとき、1段目のアナログブロックでは、アナログカウンタ12aは、アナログのカウント値Cnt1(カウント電圧Vcnt1)を生成する。さらに、1段目のアナログブロックでは、OVF制御部12bは、アナログカウンタ12aで生成されたカウント電圧Vcnt1が参照電圧Vrefを下回ったとき(つまり、カウント電圧Vcnt1が参照電圧Vrefを上回る側から下回る側に超えたとき)、Hiの電圧を飽和信号Vovfとして出力する。OVF制御部12bは、例えば、カウント電圧Vcnt1が参照電圧Vrefを上回ったとき(つまり、カウント電圧Vcnt1が参照電圧Vrefを上回る側から下回る側に超えたとき)、Loの電圧を飽和信号Vovfとして出力する。
 2段目以降のアナログブロックでは、アナログカウンタ12aは、前段のアナログブロックにおけるOVF制御部12bから出力される飽和信号Vovfに基づいてカウント処理を行うことによりアナログのカウント値Cnt2(カウント電圧Vcnt2)を生成する。さらに、2段目以降のアナログブロックでは、OVF制御部12bは、アナログカウンタ12aで生成されたカウント電圧Vcnt2が参照電圧Vrefを下回ったとき(つまり、カウント電圧Vcnt2が参照電圧Vrefを上回る側から下回る側に超えたとき)、Hiの電圧を飽和信号Vovfとして出力する。OVF制御部12bは、例えば、カウント電圧Vcnt2が参照電圧Vrefを上回ったとき(つまり、カウント電圧Vcnt2が参照電圧Vrefを上回る側から下回る側に超えたとき)、Loの電圧を飽和信号Vovfとして出力する。
 本変形例では、周辺回路は、デジタルカウント部124と、A/D変換部123,128とを有している。デジタル加算部124Aは、垂直信号線VSL1に接続されている。垂直信号線VSL1は、スイッチ部12cを介して2段目のOVF制御部12bに接続されている。デジタル加算部124Aは、垂直信号線VSL1を介して2段目の飽和信号Vovfを読み出し、読み出した飽和信号Vovfについてカウント処理を行うことによりデジタルのカウント値Cnt1(k1ビット)を生成する。
 A/D変換部123は、垂直信号線VSL2に接続されている。垂直信号線VSL2は、スイッチ部12dを介して1段目のアナログカウンタ12aの出力端に接続されている。A/D変換部123は、垂直信号線VSL2を介して1段目のアナログカウンタ12aの出力端の電圧(カウント電圧Vcnt2)をA/D変換し、それによりカウント電圧Vcnt2に対応するデジタルのカウント値Cnt2(k2ビット)を生成する。
 A/D変換部128は、垂直信号線VSL3に接続されている。垂直信号線VSL3は、スイッチ部12fを介して2段目のアナログカウンタ12aの出力端に接続されている。A/D変換部128は、垂直信号線VSL3を介して2段目のアナログカウンタ12aの出力端の電圧(カウント電圧Vcnt3)をA/D変換し、それによりカウント電圧Vcnt3に対応するデジタルのカウント値Cnt3(n-k1-k2ビット)を生成する。
 インターフェース部125は、1段目および2段目のアナログカウンタ12aから得られたカウント値(カウント値Cnt2,Cnt3)をロービット側とし、デジタルカウンタ122aから得られたカウント値(カウントCnt1)をハイビット側としてカウント値Cnt1,Cnt2,Cnt3を結合することによりカウント値Cntを生成する(図20参照)。なお、カウント値Cnt2は、カウント値Cnt3よりもロービット側とする。インターフェース部125は、生成したカウント値Cntを画素データとして外部に出力する。
 このように、一組のアナログカウンタ12aおよびOVF制御部12bをアナログブロックとして複数段設けることにより、より大きなビット数を扱うことができる。これにより、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
[変形例J]
 上記実施の形態およびその変形例において、検出部12が、例えば、図21に示したように、OVF制御部12bの後段にデジタルカウンタ12gを有していてもよい。このとき、デジタルカウント部124は省略され、垂直信号線VSL1の電圧を読み出す読み出し部129が周辺回路に設けられ得る。
 デジタルカウンタ12gは、OVF制御部12bから出力されるデジタル信号についてカウント処理を行うことによりデジタルのカウント値Cnt1を生成する。読出部122fは、垂直信号線VSL1を介してデジタルのカウント値Cnt1を読み出す。
 図22は、画素10から得られるカウント値Cntの経時変化の一例を表したものである。低照度のときは、アナログカウンタ12aが飽和せず、デジタルカウンタ12gでのカウントがなされないことがある。中照度、高照度のときは、アナログカウンタ12aが飽和すると、デジタルカウンタ12gでのカウントも実行される。低照度のときは、カウント値Cntの時間変化が緩やかであるが、照度が高くなるにつれて、カウント値Cntの時間変化が急峻となる。
[変形例K]
 上記変形例Jにおいて、検出部12が、例えば、図23に示したように、判定部12hを有していてもよい。判定部12hは、デジタルカウンタ12gで生成されるカウント値Cnt1に基づいて、参照電圧Vrefを設定する。判定部12hは、例えば、カウント値Cnt1に基づいて、参照電圧Vrefを設定するための制御信号Scodeを生成し、OVF制御部12bに出力する。
 OVF制御部12bにおいて、例えば、図24(A)に示したように、コンパレータの一方の入力端子に、切替部を介して複数の参照電圧線が接続されている。切替部は、判定部12hから入力される制御信号Scodeに基づいて、複数の参照電圧線の中から1つの参照電圧線を選択する。
 OVF制御部12bにおいて、例えば、図24(B)に示したように、コンパレータの一方の入力端子に、切替部を介して複数の定電流源が接続されていてもよい。このとき、切替部は、判定部12hから入力される制御信号Scodeに基づいて、複数の参照電圧線の中から1つの参照電圧線を選択する。
 図25は、画素10から得られるカウント値Cntの経時変化の一例を表したものである。図25に破線で示したように、カウント値Cntに対して複数の閾値が設定される。低照度のときは、カウント値Cntが最も低い値の閾値に達せず、最も低い値の参照電圧Vref1が印可される参照電圧線が選択される。中照度、高照度のときは、カウント値Cntが最も低い値の閾値に達すると、最も低い値の参照電圧線Vref1よりも高い参照電圧Vref2が印可される参照電圧線が選択される。このとき、さらに、カウント値Cntが2番目に低い閾値に達すると、参照電圧Vref2よりも高い参照電圧Vref3が印可される参照電圧線が選択される。
 このように、カウント値Cntの大きさに応じて参照電圧の値が設定されることにより、カウント値Cntの時間変化を照度によらず、概ね一定にすることができる。
[変形例L]
 上記変実施の形態およびその変形例において、固体撮像素子120は、例えば、図26に示したように、1つの半導体基板100C上に形成されていてもよい。このとき、半導体基板100Cの表面には、複数の画素10が行列状に配置された有効画素領域が形成されている。半導体基板100Cの表面において、有効画素領域の周囲には、例えば、行駆動部122、A/D変換部123、デジタルカウント部124およびインターフェース部125等が実装されている。
[変形例M]
 上記変実施の形態およびその変形例において、固体撮像素子120は、例えば、図27に示したように、複数の半導体基板(例えば、2枚の半導体基板100D、100E)が積層されて構成されていてもよい。このとき、半導体基板100Dの表面には、複数の受光部11bが行列状に配置されるとともに、半導体基板100Eの表面には、複数のクエンチ部11aが行列状に配置されていてもよい。半導体基板100D,100Eは、例えば、半導体基板100D側に設けられたCuからなるパッド部11cと、半導体基板100E側に設けられたCuからなるパッド部11dとが互いに接合されることにより、貼り合わされている。このようにした場合には、各画素10において、受光部11bとクエンチ部11aとを互いに積層して形成することができるので、1枚の半導体基板の表面に、受光部11bおよびクエンチ部11aを形成した場合と比べて、画素10の平面サイズを小さくすることができる。
[変形例N]
 上記変実施の形態およびその変形例において、例えば、図28に示したように、複数の画素10の出力に加算部20が接続されていてもよい。加算部20は、複数の画素10から入力されたカウント値Cntを加算する。これにより、感度の高い画像を得ることができる。
[変形例O]
 上記変実施の形態およびその変形例において、例えば、図29に示したように、各画素10において検出部12が省略され、このとき、複数の光パルス応答部11の出力に加算部20が接続され、加算部20の出力に検出部12が接続されていてもよい。加算部20は、複数の光パルス応答部11から入力されたパルスの数をカウントし、それにより得られたアナログのカウント値を検出部12に出力する。このようにした場合にも、感度の高い画像を得ることができる。
<3.第2の実施の形態>
[構成]
 図30は、本開示の第2の実施の形態に係る測距装置200の機能ブロック例を表したものである。測距装置200は、ToF(Time Of Flight)センサであり、光を射出するとともに、検出対象物により反射された反射光を検出する。測距装置200は、発光部210と、光学系220と、光検出部230と、制御部240と、信号処理部250と、通信部260とを備えている。
 発光部210は、制御部240からの指示に基づいて、検出対象物に向かって光パルスL0を射出する。発光部210は、制御部240からの指示に基づいて、発光および非発光を交互に繰り返す発光動作を行うことにより光パルスL0を射出する。発光部210は、例えば赤外光を射出する光源を有する。この光源は、例えば、レーザ光源やLED(Light Emitting Diode)などを用いて構成される。
 光学系220は、光検出部230の受光面において像を結像させるレンズを含んで構成される。この光学系220には、発光部210から射出され、検出対象物により反射された光パルス(反射光パルスL1)が入射するようになっている。
 光検出部230は、制御部240からの指示に基づいて、反射光パルスL1を検出する。信号処理部250は、光検出部230での検出結果に基づいて距離画像データを生成し、生成した距離画像データを、通信部250を介して外部に出力する。光検出部230は、例えば、図31に示したように、上記実施の形態およびその変形例に係る固体撮像素子120と同様の構成となっている。
 制御部240は、発光部210および光検出部230に制御信号を供給し、これらの動作を制御することにより、測距装置200の動作を制御する。
[効果] 
 本実施の形態では、上記実施の形態と同様、アナログカウンタ12aの後段に、アナログカウンタ12aのカウント値cnt1が所定の閾値を超えたときアナログカウンタ12aのカウント電圧VcntをリセットするOVF制御部12bが設けられている。これにより、例えば、下位ビットをアナログカウンタ12aでカウントし、上位ビットをデジタルカウンタ124bでカウントすることが可能となる。その結果、1つの画素10あたりのアナログ値の読み出し回数を1回に抑えることができ、さらに、デジタルカウンタ124bを設けた分だけビット数を増やすことができる。従って、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
 本実施の形態では、OVF制御部12bから出力されるデジタル信号(カウント電圧Vout1)についてカウント処理を行うことによりデジタルのカウント値Cnt1が生成される。さらに、アナログカウンタ12aから出力されるアナログのカウント電圧Vout2をA/D変換することにより、デジタルのカウント値Cnt2が生成される。これにより、例えば、下位ビットをアナログカウンタ12aでカウントし、上位ビットをデジタルカウンタ124bでカウントすることが可能となる。その結果、1つの画素10あたりのアナログ値の読み出し回数を1回に抑えることができ、さらに、デジタルカウンタ124bを設けた分だけビット数を増やすことができる。従って、アナログカウンタを用いつつ、フレームレートの制限を低減することができる。
 本実施の形態では、デジタルのカウント電圧Vout1をデジタル加算部124Aに伝送する垂直信号線VSL1と、アナログのカウント電圧Vout2をA/D変換部123に伝送する垂直信号線VSL2とが画素アレイ部121に設けられている。これにより、画素アレイ部121の外にデジタル加算部124AやA/D変換部123を設けることができ、画素10のサイズを小さくすることができる。
<4.適用例>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図32は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図32に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
 各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図32では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
 駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
 駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
 ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
 車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
 環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
 ここで、図33は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図33には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
 車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
 図32に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
 また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
 車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
 統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
 記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
 汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
 専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
 測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
 ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
 車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
 車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
 統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
 マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
 音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図32の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
 なお、図32に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
 なお、図1~図29等を用いて説明した撮像装置100の各機能や、図30,図31等を用いて説明した測距装置200の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 以上説明した車両制御システム7000において、図1~図29等を用いて説明した撮像装置100や、図30,図31等を用いて説明した測距装置200は、例えば,環境センサとしてのLIDARの光源ステアリング部として用いることができる。また,撮像部における画像認識を、図1~図29等を用いて説明した撮像装置100や、図30,図31等を用いて説明した測距装置200を用いた光コンピューティングユニットで行うこともできる。図1~図29等を用いて説明した撮像装置100や、図30,図31等を用いて説明した測距装置200を、高効率・高輝度なプロジェクションデバイスとして用いた場合は,地面に線や文字を投影することができる。具体的には、車が後退する際に車外の人が車の通る位置が分かるように線を表示したり、歩行者に道を譲る場合に横断歩道を光で表示したりすることができる。
 また、図1~図29等を用いて説明した撮像装置100の少なくとも一部の構成要素は、図32に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1~図29等を用いて説明した撮像装置100が、図32に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
 また、図30,図31等を用いて説明した測距装置200の少なくとも一部の構成要素は、図32に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図30,図31等を用いて説明した測距装置200が、図32に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
 以上、実施の形態およびその変形例、ならびに適用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
 また、例えば、本開示は以下のような構成を取ることができる。
(1)
 光入射に応じてパルス信号を生成するパルス応答部と、
 前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
 前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
 を備えた
 光検出装置。
(2)
 前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
 当該光検出装置は、
 前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成する第1デジタルカウンタと、
 前記第1のカウント値をA/D変換することによりデジタルの第3のカウント値を生成するA/D変換部と
 を更に備えた
 (1)に記載の光検出装置。
(3)
 前記第1デジタルカウンタへの前記デジタル信号の出力と、前記A/D変換部への前記第1のカウント値の出力が別々の制御信号によって制御されるスイッチを更に備えた
 (1)または(2)に記載の光検出装置。
(4)
 前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、前記デジタル信号を保持し、かつ、前記デジタル信号の出力時に前記第1のカウント値をリセットする
 (3)に記載の光検出装置。
(5)
 前記リセット部は、前記デジタル信号を保持するとともに出力する第2デジタルカウンタを含む
 (3)に記載の光検出装置。
(6)
 前記第1デジタルカウンタは、デジタル加算部およびメモリを有し、
 前記デジタル加算部は、前記リセット部から出力される前記デジタル信号と、前記メモリから読み出したカウント値とを互いに加算し、それにより得られた値を前記第2のカウント値として前記メモリ内の前記カウント値に上書きする
 (2)に記載の光検出装置。
(7)
 前記パルス応答部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに直列接続されたクエンチ回路とを含む
 (1)ないし(6)のいずれか1つに記載の光検出装置。
(8)
 前記第3のカウント値をロービット側とし、前記第2のカウント値をハイビット側として前記第3のカウント値と前記第2のカウント値とを結合することにより、第4のカウント値を生成し、出力する出力部を更に備えた
 (2)に記載の光検出装置。
(9)
 一組の前記アナログカウンタ部および前記リセット部をアナログブロックとして複数段備え、
 1段目の前記アナログブロックでは、
 前記リセット部は、前記アナログカウンタ部で生成された前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
 2段目以降の前記アナログブロックでは、
 前記アナログカウンタ部は、前段の前記アナログブロックにおける前記リセット部から出力される前記デジタル信号に基づいてカウント処理を行うことによりアナログの第5のカウント値を生成し、
 前記リセット部は、当該リセット部に入力される前記第5のカウント値が第2の閾値を超えたとき、それを示すデジタル信号を出力する
 (2)ないし(8)のいずれか1つに記載の光検出装置。
(10)
 前記デジタルカウンタで生成される前記第2のカウント値に基づいて前記第1の閾値を設定する閾値設定部を更に備えた
 (2)ないし(8)のいずれか1つに記載の光検出装置。
(11)
 行列状に配置された複数の画素と、
 各前記画素から得られた画素データに基づいて画像データを生成する信号処理部と
 を備え、
 各前記画素は、
 光入射に応じてパルス信号を生成するパルス応答部と、
 前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
 前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
 を有する
 撮像装置。
(12)
 前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
 前記信号処理部は、
 前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成するデジタルカウンタと、
 前記第1のカウント値をA/D変換することによりデジタルの第3のカウント値を生成するA/D変換部と
 を有する
 (11)に記載の撮像装置。
(13)
 前記第1デジタルカウンタへの前記デジタル信号の出力と、前記A/D変換部への前記第1のカウント値の出力が別々の制御信号によって制御されるスイッチを更に備えた
 (11)に記載の撮像装置。
(14)
 前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、前記デジタル信号を保持し、かつ、前記デジタル信号の出力時に前記第1のカウント値をリセットする
 (13)に記載の撮像装置。
(15)
 前記リセット部は、前記デジタル信号を保持するとともに出力する第2デジタルカウンタを含む
 (13)に記載の撮像装置。
(16)
 前記デジタル信号を前記デジタルカウンタに伝送する第1の配線と、
 前記第1のカウント値を前記A/D変換部に伝送する第2の配線と
 を更に備えた
 (11)ないし(15)のいずれか1つに記載の撮像装置。
(17)
 各前記画素は、前記デジタル信号の出力と前記第1のカウント値の出力とを切り替える第1の切替部を更に有し、
 当該撮像装置は、前記切替部の出力を前記デジタルカウンタおよび前記A/D変換部のいずれか一方に入力する第2の切替部を更に備えた
 (11)ないし(16)のいずれか1つに記載の撮像装置。
(18)
 各前記画素は、一組の前記アナログカウンタ部および前記リセット部をアナログブロックとして複数段有し、
 1段目の前記アナログブロックでは、
 前記リセット部は、前記アナログカウンタ部で生成された前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
 2段目以降の前記アナログブロックでは、
 前記アナログカウンタ部は、前段の前記アナログブロックにおける前記リセット部から出力される前記デジタル信号に基づいてカウント処理を行うことによりアナログの第5のカウント値を生成し、
 前記リセット部は、当該リセット部に入力される前記第5のカウント値が第2の閾値を超えたとき、それを示すデジタル信号を出力する
 (11)ないし(17)のいずれか1つに記載の撮像装置。
(19)
 前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
 各前記画素は、前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成するデジタルカウンタを更に有する
 (11)に記載の撮像装置。
(20)
 前記デジタルカウンタで生成される前記第2のカウント値に基づいて前記第1の閾値を設定する閾値設定部を更に備えた
 (19)に記載の光検出装置。
(21)
 前記パルス応答部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに直列接続されたクエンチ回路とを含む
 (11)ないし(20)のいずれか1つに記載の光検出装置。
(22)
 前記アナログカウンタ部の容量は、MIM(Metal-Insulator-Metal)で構成されている
 (11)ないし(21)のいずれか1つに記載の撮像装置。
(23)
 前記アナログカウンタのうち、前記MIMで構成された容量が形成された第1のチップと、
 前記パルス応答部、および、前記アナログカウンタのうち、前記MIMを除く回路が形成された第2のチップとを
 備えた
 (22)に記載の撮像装置。
(24)
 光検出装置と、
 前記光検出装置の出力信号から測定対象物までの距離を算出する信号処理回路と
 を備え、
 前記光検出装置は、
 光入射に応じてパルス信号を生成するパルス応答部と、
 前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
 前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
 を有する
 測距装置。
 本開示の第1の側面に係る光検出装置、本開示の第2の側面に係る撮像装置および本開示の第3の側面に係る測距装置では、アナログカウンタ部の後段に、アナログカウンタ部のカウント値が所定の閾値を超えたときアナログカウンタ部のカウント値がリセットされる。これにより、例えば、下位ビットをアナログカウンタ部でカウントし、上位ビットを他のカウンタ(例えばデジタルカウンタ)でカウントすることが可能となる。このように、多段カウンタを用いることにより、アナログカウンタを用いつつ、アナログカウンタに起因するフレームレートの制限を低減することができる。
 本出願は、日本国特許庁において2021年11月22日に出願された日本特許出願番号第2021-189721号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
 当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (19)

  1.  光入射に応じてパルス信号を生成するパルス応答部と、
     前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
     前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
     を備えた
     光検出装置。
  2.  前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
     当該光検出装置は、
     前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成する第1デジタルカウンタと、
     前記第1のカウント値をA/D変換することによりデジタルの第3のカウント値を生成するA/D変換部と
     を更に備えた
     請求項1に記載の光検出装置。
  3.  前記第1デジタルカウンタへの前記デジタル信号の出力と、前記A/D変換部への前記第1のカウント値の出力が別々の制御信号によって制御されるスイッチを更に備えた
     請求項1に記載の光検出装置。
  4.  前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、前記デジタル信号を保持し、かつ、前記デジタル信号の出力時に前記第1のカウント値をリセットする
     請求項3に記載の光検出装置。
  5.  前記リセット部は、前記デジタル信号を保持するとともに出力する第2デジタルカウンタを含む
     請求項3に記載の光検出装置。
  6.  前記第1デジタルカウンタは、デジタル加算部およびメモリを有し、
     前記デジタル加算部は、前記リセット部から出力される前記デジタル信号と、前記メモリから読み出したカウント値とを互いに加算し、それにより得られた値を前記第2のカウント値として前記メモリ内の前記カウント値に上書きする
     請求項2に記載の光検出装置。
  7.  前記パルス応答部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに直列接続されたクエンチ回路とを含む
     請求項1に記載の光検出装置。
  8.  行列状に配置された複数の画素と、
     各前記画素から得られた画素データに基づいて画像データを生成する信号処理部と
     を備え、
     各前記画素は、
     光入射に応じてパルス信号を生成するパルス応答部と、
     前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
     前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
     を有する
     撮像装置。
  9.  前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
     前記信号処理部は、
     前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成する第1デジタルカウンタと、
     前記第1のカウント値をA/D変換することによりデジタルの第3のカウント値を生成するA/D変換部と
     を有する
     請求項8に記載の撮像装置。
  10.  前記第1デジタルカウンタへの前記デジタル信号の出力と、前記A/D変換部への前記第1のカウント値の出力が別々の制御信号によって制御されるスイッチを更に備えた
     請求項8に記載の撮像装置。
  11.  前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、前記デジタル信号を保持し、かつ、前記デジタル信号の出力時に前記第1のカウント値をリセットする
     請求項10に記載の撮像装置。
  12.  前記リセット部は、前記デジタル信号を保持するとともに出力する第2デジタルカウンタを含む
     請求項10に記載の撮像装置。
  13.  前記デジタル信号を前記デジタルカウンタに伝送する第1の配線と、
     前記第1のカウント値を前記A/D変換部に伝送する第2の配線と
     を更に備えた
     請求項8に記載の撮像装置。
  14.  各前記画素は、前記デジタル信号の出力と前記第1のカウント値の出力とを切り替える第1の切替部を更に有し、
     当該撮像装置は、前記切替部の出力を前記デジタルカウンタおよび前記A/D変換部のいずれか一方に入力する第2の切替部を更に備えた
     請求項8に記載の撮像装置。
  15.  各前記画素は、一組の前記アナログカウンタ部および前記リセット部をアナログブロックとして複数段有し、
     1段目の前記アナログブロックでは、
     前記リセット部は、前記アナログカウンタ部で生成された前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
     2段目以降の前記アナログブロックでは、
     前記アナログカウンタ部は、前段の前記アナログブロックにおける前記リセット部から出力される前記デジタル信号に基づいてカウント処理を行うことによりアナログの第5のカウント値を生成し、
     前記リセット部は、当該リセット部に入力される前記第5のカウント値が第2の閾値を超えたとき、それを示すデジタル信号を出力する
     請求項8に記載の撮像装置。
  16.  前記リセット部は、前記第1のカウント値が前記第1の閾値を超えたとき、それを示すデジタル信号を出力し、
     各前記画素は、前記リセット部から出力される前記デジタル信号についてカウント処理を行うことによりデジタルの第2のカウント値を生成するデジタルカウンタを更に有する
     請求項8に記載の撮像装置。
  17.  前記デジタルカウンタで生成される前記第2のカウント値に基づいて前記第1の閾値を設定する閾値設定部を更に備えた
     請求項16に記載の光検出装置。
  18.  前記パルス応答部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに直列接続されたクエンチ回路とを含む
     請求項8に記載の撮像装置。
  19.  光検出装置と、
     前記光検出装置の出力信号から測定対象物までの距離を算出する信号処理回路と
     を備え、
     前記光検出装置は、
     光入射に応じてパルス信号を生成するパルス応答部と、
     前記パルス信号に基づいてカウント処理を行うことによりアナログの第1のカウント値を生成するアナログカウンタ部と、
     前記第1のカウント値が第1の閾値を超えたとき前記第1のカウント値をリセットするリセット部と
     を有する
     測距装置。
     
PCT/JP2022/030933 2021-11-22 2022-08-16 光検出装置、撮像装置および測距装置 WO2023089884A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021189721A JP2023076345A (ja) 2021-11-22 2021-11-22 光検出装置、撮像装置および測距装置
JP2021-189721 2021-11-22

Publications (1)

Publication Number Publication Date
WO2023089884A1 true WO2023089884A1 (ja) 2023-05-25

Family

ID=86396620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030933 WO2023089884A1 (ja) 2021-11-22 2022-08-16 光検出装置、撮像装置および測距装置

Country Status (2)

Country Link
JP (1) JP2023076345A (ja)
WO (1) WO2023089884A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042734A1 (ja) * 2014-09-19 2016-03-24 パナソニックIpマネジメント株式会社 固体撮像装置
JP2021106180A (ja) * 2019-12-26 2021-07-26 パナソニックIpマネジメント株式会社 固体撮像素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042734A1 (ja) * 2014-09-19 2016-03-24 パナソニックIpマネジメント株式会社 固体撮像装置
JP2021106180A (ja) * 2019-12-26 2021-07-26 パナソニックIpマネジメント株式会社 固体撮像素子

Also Published As

Publication number Publication date
JP2023076345A (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
WO2020116039A1 (ja) 測距装置及び測距方法
EP3765866B1 (en) Light receiving device and distance measuring device
WO2020153275A1 (ja) 測距装置、車載システム及び測距方法
WO2020121736A1 (ja) 光検出装置及び測距装置
JP2021128084A (ja) 測距装置および測距方法
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2021161858A1 (ja) 測距装置および測距方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2023223928A1 (ja) 測距装置及び測距システム
WO2024095625A1 (ja) 測距装置および測距方法
WO2023145344A1 (ja) 受光素子、および電子機器
WO2023162734A1 (ja) 測距装置
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
WO2023218798A1 (ja) 測距装置及びカウンタ
WO2023243497A1 (ja) 固体撮像素子、および、撮像装置
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2022176532A1 (ja) 受光装置、測距装置及び受光装置の信号処理方法
WO2023032298A1 (ja) 固体撮像装置