WO2023153218A1 - 光電変換装置 - Google Patents

光電変換装置 Download PDF

Info

Publication number
WO2023153218A1
WO2023153218A1 PCT/JP2023/002358 JP2023002358W WO2023153218A1 WO 2023153218 A1 WO2023153218 A1 WO 2023153218A1 JP 2023002358 W JP2023002358 W JP 2023002358W WO 2023153218 A1 WO2023153218 A1 WO 2023153218A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
photoelectric conversion
circuit
signal
detection signal
Prior art date
Application number
PCT/JP2023/002358
Other languages
English (en)
French (fr)
Inventor
和浩 森本
雄 前橋
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to KR1020247029262A priority Critical patent/KR20240146025A/ko
Priority to CN202380020260.2A priority patent/CN118648299A/zh
Publication of WO2023153218A1 publication Critical patent/WO2023153218A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]

Definitions

  • the present invention relates to a photoelectric conversion device and a photoelectric conversion system.
  • the TOF (Time-Of-Flight) method is often used when measuring the distance to the measurement object.
  • Japanese Patent Application Laid-Open No. 2014-059302 discloses a TOF rangefinder using an APD (Avalanche Photo Diode). A plurality of adjacent APDs are grouped, and a pulse signal is output when a predetermined number or more of the APDs in the group detect a signal at close timing. As a result, it is possible to selectively detect signals with strong temporal and spatial correlations, and to suppress the effects of external light with weak temporal and spatial correlations on signals.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a photoelectric conversion device and an imaging system that achieve both high spatial resolution and suppression of false signals.
  • One aspect of the present invention is a photoelectric conversion device comprising: a first photoelectric conversion unit; and a first detection circuit that outputs a first detection signal based on photons incident on the first photoelectric conversion unit. , a first output circuit for outputting a first pixel signal to the outside of the pixel according to the first detection signal, and controlling whether or not to input the first detection signal to the first output circuit. a first control circuit, a first pixel, a second photoelectric conversion unit, and a second detection circuit that outputs a second detection signal based on a photon incident on the second photoelectric conversion unit.
  • a second output circuit for outputting a second pixel signal to the outside of the pixel according to the second detection signal, and controlling whether or not to input the second detection signal to the second output circuit.
  • FIG. 1 is a schematic diagram of a photoelectric conversion device according to an embodiment
  • FIG. 1 is a schematic diagram of a PD substrate of a photoelectric conversion device according to an embodiment
  • FIG. 1 is a schematic diagram of a circuit board of a photoelectric conversion device according to an embodiment
  • FIG. 4 is a configuration example of a pixel circuit of the photoelectric conversion device according to the embodiment
  • FIG. 4 is a schematic diagram showing driving of the pixel circuit of the photoelectric conversion device according to the embodiment
  • It is a block diagram per two pixels according to a comparative example of the first embodiment.
  • 2 is a block diagram for two pixels according to the first embodiment
  • FIG. 3 is a circuit diagram for one pixel according to the first embodiment
  • FIG. 4 is a timing chart of pixel driving according to the first embodiment;
  • FIG. FIG. 4 is a diagram showing the control relationship of the pixel array according to the first embodiment;
  • FIG. It is a circuit diagram for one pixel according to the second embodiment.
  • FIG. 9 is a timing chart of pixel driving according to the second embodiment;
  • FIG. 11 is a circuit diagram for one pixel according to the third embodiment;
  • FIG. 11 is a timing chart of pixel driving according to the third embodiment;
  • FIG. 10 is a diagram showing control relationships of a pixel array according to the third embodiment;
  • FIG. 11 is a diagram showing control relationships of a pixel array according to a modification of the third embodiment;
  • FIG. 11 is a diagram showing control relationships of a pixel array according to a modification of the third embodiment;
  • FIG. 10 is a diagram showing control relationships of a pixel array according to a modification of the third embodiment;
  • FIG. 11 is a diagram showing control relationships of a pixel array according to a
  • FIG. 11 is a diagram showing control relationships of a pixel array according to a modification of the third embodiment;
  • FIG. 11 is a diagram showing control relationships of a pixel array according to a modification of the third embodiment;
  • FIG. 13 is a circuit diagram for one pixel according to the fourth embodiment;
  • FIG. 11 is a timing chart of pixel driving according to the fourth embodiment;
  • FIG. 11 is a timing chart of pixel driving according to the fourth embodiment;
  • FIG. 12 is a diagram showing control relationships of a pixel array according to the fifth embodiment;
  • FIG. 12 is a diagram showing control relationships of a pixel array according to the fifth embodiment;
  • FIG. 12 is a diagram showing control relationships of a pixel array according to the fifth embodiment;
  • FIG. 12 is a diagram showing control relationships of a pixel array according to the fifth embodiment;
  • FIG. 12 is a diagram showing control relationships of a pixel array according to the fifth embodiment;
  • FIG. 14 is a diagram showing a control relationship of a pixel array according to a modified example of the fifth embodiment;
  • FIG. FIG. 14 is a diagram showing a control relationship of a pixel array according to a modified example of the fifth embodiment;
  • FIG. FIG. 14 is a diagram showing a control relationship of a pixel array according to a modified example of the fifth embodiment;
  • FIG. FIG. 11 is a functional block diagram of a photoelectric conversion system according to a sixth embodiment;
  • FIG. 11 is a functional block diagram of a photoelectric conversion system according to a seventh embodiment;
  • FIG. 11 is a functional block diagram of a photoelectric conversion system according to a seventh embodiment;
  • FIG. 11 is a functional block diagram of a photoelectric conversion system according to an eighth embodiment;
  • FIG. 20 is a functional block diagram of a photoelectric conversion system according to a ninth embodiment
  • FIG. 20 is a functional block diagram of a photoelectric conversion system according to a tenth embodiment
  • FIG. 20 is a functional block diagram of a photoelectric conversion system according to a tenth embodiment
  • planar view means viewing from a direction perpendicular to the light incident surface of the semiconductor layer.
  • a cross-sectional view refers to a plane in a direction perpendicular to the light incident surface of the semiconductor layer.
  • the plane view is defined based on the light incident surface of the semiconductor layer macroscopically.
  • the anode of the APD (avalanche photodiode) is set to a fixed potential and the signal is extracted from the cathode side. Therefore, the semiconductor region of the first conductivity type in which majority carriers are the same polarity as the signal charges is an N-type semiconductor region, and the semiconductor region of the second conductivity type in which majority carriers are charges of a different polarity from the signal charges. is a P-type semiconductor region.
  • the present invention can also be applied when the cathode of the APD is set at a fixed potential and the signal is extracted from the anode side.
  • the semiconductor region of the first conductivity type having majority carriers of the same polarity as the signal charges is a P-type semiconductor region
  • the semiconductor region of the second conductivity type having majority carriers of charges having a polarity different from that of the signal charges. is an N-type semiconductor region.
  • impurity concentration when the term “impurity concentration” is simply used, it means the net impurity concentration after subtracting the amount compensated by the impurity of the opposite conductivity type. In other words, “impurity concentration” refers to NET doping concentration.
  • a region in which the P-type impurity concentration is higher than the N-type impurity concentration is a P-type semiconductor region.
  • a region where the N-type impurity concentration is higher than the P-type impurity concentration is an N-type semiconductor region.
  • FIG. 1 A configuration common to each embodiment of a photoelectric conversion device and a driving method thereof according to the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 A configuration common to each embodiment of a photoelectric conversion device and a driving method thereof according to the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 A configuration common to each embodiment of a photoelectric conversion device and a driving method thereof according to the present invention will be described with reference to FIGS. 1 to 5.
  • FIG. 1 is a diagram showing the configuration of a stacked photoelectric conversion device 100 according to an embodiment of the present invention.
  • the photoelectric conversion device 100 is configured by laminating and electrically connecting two substrates, a sensor substrate 11 and a circuit substrate 21 .
  • the sensor substrate 11 has a first semiconductor layer having photoelectric conversion elements 102, which will be described later, and a first wiring structure.
  • the circuit board 21 has a second semiconductor layer having circuits such as the signal processing unit 103, which will be described later, and a second wiring structure.
  • the photoelectric conversion device 100 is configured by stacking a second semiconductor layer, a second wiring structure, a first wiring structure, and a first semiconductor layer in this order.
  • the photoelectric conversion device described in each embodiment is a backside illumination type photoelectric conversion device in which light enters from the first surface and a circuit board is disposed on the second surface.
  • each substrate may be a wafer. Further, each substrate may be laminated in a wafer state and then diced, or may be chipped and then laminated and bonded.
  • a pixel region 12 is arranged on the sensor substrate 11 , and a circuit region 22 for processing signals detected by the pixel region 12 is arranged on the circuit substrate 21 .
  • FIG. 2 is a diagram showing an arrangement example of the sensor substrate 11.
  • FIG. Pixels 101 having photoelectric conversion elements 102 including APDs are arranged in a two-dimensional array in plan view to form a pixel region 12 .
  • the pixels 101 are typically pixels for forming an image, but when used for TOF (Time of Flight), they do not necessarily form an image. That is, the pixel 101 may be a pixel for measuring the time and amount of light that light reaches.
  • TOF Time of Flight
  • FIG. 3 is a configuration diagram of the circuit board 21.
  • FIG. It has a signal processing unit 103 that processes charges photoelectrically converted by the photoelectric conversion element 102 in FIG. there is
  • the photoelectric conversion element 102 in FIG. 2 and the signal processing unit 103 in FIG. 3 are electrically connected via connection wiring provided for each pixel.
  • the vertical scanning circuit section 110 receives the control pulse supplied from the control pulse generating section 115 and supplies the control pulse to each pixel.
  • Logic circuits such as shift registers and address decoders are used in the vertical scanning circuit unit 110 .
  • a signal output from the photoelectric conversion element 102 of the pixel is processed by the signal processing unit 103 .
  • the signal processing unit 103 is provided with a counter, a memory, and the like, and a digital value is held in the memory.
  • the horizontal scanning circuit unit 111 inputs a control pulse for sequentially selecting each column to the signal processing unit 103 in order to read the signal from the memory of each pixel holding the digital signal.
  • a signal is output to the signal line 113 from the signal processing unit 103 of the pixel selected by the vertical scanning circuit unit 110 for the selected column.
  • the signal output to the signal line 113 is output to the external recording unit or signal processing unit of the photoelectric conversion device 100 via the output circuit 114 .
  • the array of photoelectric conversion elements in the pixel area may be arranged one-dimensionally.
  • the function of the signal processing unit does not necessarily have to be provided for each photoelectric conversion element.
  • one signal processing unit may be shared by a plurality of photoelectric conversion elements, and signal processing may be performed sequentially.
  • a plurality of signal processing units 103 are arranged in a region overlapping the pixel region 12 in plan view.
  • a vertical scanning circuit portion 110, a horizontal scanning circuit portion 111, a column circuit 112, an output circuit 114, and a control pulse generating portion 115 are arranged so as to overlap between the edge of the sensor substrate 11 and the edge of the pixel region 12 in plan view. is distributed.
  • the sensor substrate 11 has the pixel area 12 and the non-pixel area arranged around the pixel area 12, and the vertical scanning circuit section 110 and the horizontal scanning circuit section are provided in the area overlapping the non-pixel area in plan view.
  • 111, a column circuit 112, an output circuit 114, and a control pulse generator 115 are arranged.
  • FIG. 4 is an example of a block diagram including the equivalent circuits of FIGS. 2 and 3.
  • the photoelectric conversion element 102 having the APD 201 is provided on the sensor substrate 11, and the other members are provided on the circuit substrate 21.
  • the APD 201 is a photoelectric conversion unit that generates charge pairs according to incident light through photoelectric conversion.
  • a voltage VL first voltage
  • the cathode of the APD 201 is supplied with a voltage VH (second voltage) higher than the voltage VL supplied to the anode.
  • a reverse bias voltage is supplied to the anode and cathode so that the APD 201 performs an avalanche multiplication operation. By supplying such a voltage, charges generated by the incident light undergo avalanche multiplication, generating an avalanche current.
  • An APD operated in Geiger mode is called a SPAD.
  • the voltage VL (first voltage) is -30V
  • the voltage VH (second voltage) is 1V.
  • the APD 201 may operate in linear mode or in Geiger mode. In the case of SPAD, the potential difference is larger than that of linear mode APD, and the effect of withstand voltage is remarkable. Therefore, SPAD is preferable.
  • the quenching element 202 is connected to the APD 201 and the power supply that supplies the voltage VH.
  • the quench element 202 functions as a load circuit (quench circuit) during signal multiplication by avalanche multiplication, suppresses the voltage supplied to the APD 201, and has a function of suppressing avalanche multiplication (quench operation). Also, the quench element 202 has a function of returning the voltage supplied to the APD 201 to the voltage VH by causing a current corresponding to the voltage drop due to the quench operation (recharge operation).
  • the signal processing section 103 has a waveform shaping section 210 , a counter circuit 211 and a selection circuit 212 .
  • the signal processing section 103 may have any one of the waveform shaping section 210 , the counter circuit 211 and the selection circuit 212 .
  • the waveform shaping section 210 shapes the potential change of the cathode of the APD 201 obtained during photon detection, and outputs a pulse signal.
  • an inverter circuit is used as the waveform shaping section 210 .
  • FIG. 4 shows an example in which one inverter is used as the waveform shaping section 210, a circuit in which a plurality of inverters are connected in series may be used, or another circuit having a waveform shaping effect may be used.
  • the counter circuit 211 counts the pulse signals output from the waveform shaping section 210 and holds the count value. Further, when the control pulse pRES is supplied via the drive line 213, the signal held in the counter circuit 211 is reset.
  • the selection circuit 212 is supplied with a control pulse pSEL from the vertical scanning circuit section 110 in FIG. 3 through the drive line 214 in FIG. connection or non-connection.
  • the selection circuit 212 includes, for example, a buffer circuit for outputting a signal.
  • a switch such as a transistor may be provided between the quench element 202 and the APD 201 or between the photoelectric conversion element 102 and the signal processing section 103 to switch the electrical connection.
  • the voltage VH or the voltage VL supplied to the photoelectric conversion element 102 may be electrically switched using a switch such as a transistor.
  • the configuration using the counter circuit 211 is shown.
  • a time-to-digital converter hereinafter referred to as TDC
  • a memory may be used as the photoelectric conversion device 100 that obtains the pulse detection timing.
  • TDC time-to-digital converter
  • a control pulse pREF reference signal
  • the TDC acquires a signal as a digital signal when the input timing of the signal output from each pixel via the waveform shaping section 210 is relative to the control pulse pREF.
  • FIG. 5 is a diagram schematically showing the relationship between the operation of the APD and the output signal.
  • FIG. 5(a) is a diagram extracting the APD 201, the quenching element 202, and the waveform shaping section 210 in FIG.
  • the input side of the waveform shaping section 210 is nodeA
  • the output side is nodeB.
  • FIG. 5(b) shows waveform changes of nodeA in FIG. 5(a)
  • FIG. 5(c) shows waveform changes of nodeB in FIG. 5(a).
  • a potential difference of VH-VL is applied to the APD 201 in FIG. 5(a).
  • a photon enters the APD 201 at time t1 avalanche multiplication occurs in the APD 201, an avalanche multiplication current flows through the quench element 202, and the voltage of nodeA drops.
  • the voltage drop amount increases further and the potential difference applied to the APD 201 decreases the avalanche multiplication of the APD 201 stops as at time t2, and the voltage level of nodeA does not drop beyond a certain value.
  • nodeA stabilizes at the original potential level.
  • a portion of the output waveform at nodeA exceeding a certain threshold is waveform-shaped by the waveform shaping section 210 and output as a signal at nodeB.
  • the arrangement of the signal lines 113, the arrangement of the column circuits 112, and the output circuits 114 are not limited to those shown in FIG.
  • the signal lines 113 may be arranged extending in the row direction, and the column circuits 112 may be arranged beyond the extension of the signal lines 113 .
  • FIG. 6 A photoelectric conversion device according to the first embodiment will be described with reference to FIGS. 6 to 11.
  • FIG. 6 A photoelectric conversion device according to the first embodiment will be described with reference to FIGS. 6 to 11.
  • FIG. 6 A circuit configuration of a pixel in a comparative example of the first photoelectric conversion device will be described using FIG.
  • Each of the first pixel 31 and the second pixel 32 shown in FIG. 6 has an APD 301 , a quench circuit 302 and a signal detection circuit 303 .
  • the first pixel 31 and the second pixel 32 have common readout circuits 304 , signal lines 305 , and control circuits 306 .
  • the APD 301 is connected to the quench circuit 302 and the output terminal of the APD 301 is connected to the signal detection circuit 303.
  • Detection signals based on photons photoelectrically converted by the APDs 301 of the first pixels 31 and the second pixels 32 pass through the readout circuit 304 and the control circuit 306 common to the first pixels 31 and the second pixels 32. , is output to the signal line 305 as a pixel signal.
  • the control circuit 306 controls whether to output a pulse signal to the readout circuit 304 based on the output signals of the signal detection circuits 303 of the first pixels 31 and the second pixels 32 .
  • the control circuit 306 is configured by, for example, a combinational circuit or a sequential circuit.
  • the control circuit 306 there is an operation of outputting a pulse signal to the readout circuit 304 when signals based on photons are detected at the first pixel 31 and the second pixel 32 at the same time or at close timing. .
  • This selectively reads photon signals with high temporal and spatial correlations and filters photon signals with weak temporal and spatial correlations.
  • the signal light has strong temporal and spatial correlations, and external light and dark current, which are spurious signals, enter randomly and have weak temporal and spatial correlations. Therefore, by filtering signals with weak temporal and spatial correlations, it is possible to efficiently distinguish between signal light and external light or dark current.
  • the circuit configuration shown in FIG. 6 is employed, the number of pixel signals output to the signal line 305 is smaller than the number of APDs 301, so there is a problem that the spatial resolution is lowered.
  • FIG. 7 is an example of a block diagram for two pixels in the photoelectric conversion device according to this embodiment. Unlike the conventional circuit configuration shown in FIG. 6, a readout circuit 304 and a control circuit 306 are provided for each of the first pixel 31 and the second pixel 32 .
  • the control circuit 306 (first control circuit) of the first pixel 31 controls the signal detection circuit 303 (second control circuit) of the second pixel 32 input via the control line 308 .
  • detection circuit) of the first pixel 31 based on the output (second detection signal) of the signal detection circuit 303 (first detection circuit) of the first pixel 31, the output (first detection signal) of the first pixel 31 It controls whether or not to input to the readout circuit 304 (first output circuit).
  • the control circuit 306 (second control circuit) of the second pixel 32 controls the second pixel 32 based on the output of the signal detection circuit 303 of the first pixel 31 input via the control line 307 . It controls whether or not to input the output of the signal detection circuit 303 of the second pixel 32 to the readout circuit 304 (second output circuit) of the second pixel 32 .
  • the readout circuit 304 of the first pixel 31 As an example of the operation of the control circuit 306 of the first pixel 31, when the first pixel 31 and the second pixel 32 detect photons at the same time or at close timing, the readout circuit 304 of the first pixel 31 An operation of outputting a pulse signal, which is a first pixel signal, can be mentioned.
  • the control circuit 306 of the second pixel 32 when the first pixel 31 and the second pixel 32 detect photon signals at the same time or at close timing, the second pixel 32 An operation of outputting a pulse signal, which is a second pixel signal, to the readout circuit 304 can be given.
  • the control circuit 306 of the first pixel 31 may control signal output based on the output of the signal detection circuit 303 of pixels other than the second pixel 32 . Further, the control circuit 306 of the second pixel 32 may control signal output based on the output of the signal detection circuit 303 of pixels other than the first pixel 31 .
  • the photon detection timing at which the pulse signal is output to the readout circuit 304 in each pixel will be described later.
  • the strength of the temporal and spatial correlation of the photon signal detected by the APD 301 of each pixel can be determined for each pixel, thus reducing the spatial resolution. False signals can be suppressed without
  • FIG. 8 shows an example of a circuit diagram for one pixel of this embodiment.
  • a first pixel 31 of a photoelectric conversion device in which a first pixel 31, a second pixel 32, and a third pixel 33 are arranged in a one-dimensional array will be described as an example.
  • the APD 301 (first photoelectric conversion unit) of the first pixel 31 is connected to a quench circuit 302 that is a first quench element made up of a P-type transistor.
  • the quench circuit 302 is an element arranged to control the current flowing through the APD 301, and may be a resistor element, a capacitative element, or a circuit combining a plurality of transistors.
  • the signal detection circuit 303 includes an inverter circuit 401 that performs waveform shaping, but a resistor element, a capacitor element, a circuit combining a plurality of transistors, or the like may be used.
  • the width td of the output pulse signal of the signal detection circuit 303 is determined according to the recovery time of the APD 301 .
  • a pull-down circuit 405 consisting of an N-type transistor is arranged in the readout circuit 304 .
  • the signal line 305 is reset to "H” level through the pull-up circuit 406, and is switched to "L” level when the pulse signal is input to the pull-down circuit 405.
  • the control circuit 306 includes a first logic circuit 402 , a second logic circuit 403 and a third logic circuit 404 .
  • the first logic circuit 402, the second logic circuit 403, and the third logic circuit 404 are all NAND circuits.
  • the first logic circuit 402 takes a negative logical product of the output signal of the inverter circuit 401 of the first pixel 31 and the output signal of the inverter circuit 401 of the third pixel 33 .
  • the second logic circuit 403 takes a NAND of the output signal of the inverter circuit 401 of the first pixel 31 and the output signal of the inverter circuit 401 of the second pixel 32 .
  • the third logic circuit 404 takes a NAND of the output signals of the first logic circuit 402 and the second logic circuit 403 .
  • the control circuit 306 detects that at least one of the signals input from the adjacent second pixels 32 and 33 is "H". " level, it outputs "H" level to the readout circuit 304 .
  • the first pixel 31 detects a photon at time t0
  • either the second pixel 32 or the third pixel 33 detects a photon between time t0 ⁇ td and time t0+td. Then, the signal detected at the first pixel 31 is determined to be the true signal.
  • a period of 2td which is a period corresponding to two output pulse signals from the detection circuit 303, is regarded as the aforementioned close timing.
  • the first pixel 31 can output a pulse signal to the reading circuit 304 .
  • the output of the signal detection circuit 303 of the first pixel 31 is connected to the control circuits 306 of the adjacent second and third pixels 32 and 33 via control lines 309 .
  • control circuit 306 is not limited to that shown in FIG. 8, and any configuration capable of performing similar operations may be used.
  • the first logic circuit 402 and the second logic circuit 403 may be AND circuits
  • the third logic circuit 404 may be an OR circuit.
  • FIG. 9 is a timing chart showing the operation of the pixels of the photoelectric conversion device according to this embodiment.
  • the cathode potential of the APD 301 in FIG. 8 is VC
  • the potential of the output terminal of the signal detection circuit 303 is V1
  • the potential of the control line 308 is V2
  • the potential of the control line 309 is V3
  • the potential of the output terminal of the control circuit 306 is V4.
  • the potential output to the signal line 305 is V5.
  • Photon1, Photon2, and Photon3 indicate timings at which photons enter the APDs 301 of the first pixel 31, the second pixel 32, and the third pixel 33, respectively.
  • the cathode potential VC is the potential of the output terminal of the APD 301, and changes due to photoelectric conversion that occurs according to the timing of Photon1 at times t1, t4, and t7.
  • V1 indicates the signal waveform after the change in the cathode potential VC is waveform-shaped by the inverter circuit 401; Similarly, V2 is a pulse generated according to the timing of Photon2, and V3 is a pulse generated according to the timing of Photon3.
  • V4 is at "H” level during the period when V1 is at “H” level and either V2 or V3 is at “H” level.
  • V5 is the inverted logic of V4.
  • V1 Due to Photon1 incident on the APD 301 at time t1, V1 becomes “H” level during the period from t1 to t2. However, since V2 and V3 are at "L” level at close timing, V4 does not go to "H” level and the photon detection pulse is not output to V5.
  • V1 becomes "H” level during period t4-t6.
  • the period t3 to t4 is shorter than the aforementioned pulse width td, and the time t3 is within the range of the period t4-td to t4+td. That is, Photon2 is incident at time t3, which is a timing close to time t4, and V2 becomes "H” level during period t3-t5, so V4 becomes "H” level during period t4-t5, and the signal detection pulse is output to V5.
  • Photon 1 enters at time t7
  • Photon 3 enters at time t8, which is a close timing.
  • output to Photon2 and Photon3 incident at time t10 cause V2 and V3 to go to "H” level during the period from t10 to t11, but V1 does not go to "H” level at close timing. Not output to V5.
  • a circuit configuration is adopted in which a signal detected at a timing when adjacent pixels are close to each other is regarded as a true signal, and any other signal is regarded as a false signal.
  • the first detected signal is regarded as a false signal
  • the later detected signal is regarded as a true signal.
  • a circuit configuration may be employed for distinguishing the signal from the fake signal.
  • FIG. 10 shows the control relationship of the pixel array of the photoelectric conversion device according to this embodiment.
  • the control circuit of the target pixel is controlled by the vertically adjacent pixels.
  • the control circuit for the pixel of interest is not controlled by pixels other than adjacent pixels.
  • the control circuit of the target pixel is controlled only by the lower adjacent pixel. Pixels located at the ends of the array have fewer neighboring pixels than pixels located near the center of the array. Therefore, the number of pixels for controlling the control circuit of the pixel of interest is also reduced.
  • the control circuit for the pixel of interest is controlled with a small number of pixels, there is a high possibility that the true signal cannot be detected correctly or a false signal is output compared to the case of controlling the control pixel using a sufficient number of pixels. Therefore, for example, it is possible to take measures such that the outermost pixels are not used in subsequent image processing.
  • FIG. 11 A photoelectric conversion device according to the second embodiment will be described with reference to FIGS. 11 and 12.
  • FIG. This embodiment differs from the first embodiment in the internal circuit configurations of the signal detection circuit 303 and the control circuit 306 . Descriptions common to the first embodiment will be omitted, and differences from the first embodiment will be mainly described.
  • FIG. 11 shows an example of a circuit diagram for one pixel of this embodiment.
  • the first pixel 31 of a photoelectric conversion device in which the first pixel 31, the second pixel 32, and the third pixel 33 are arranged in a one-dimensional array is taken as an example. to explain.
  • An output signal of the APD 301 of the first pixel 31 is input to the first signal detection circuit 303 .
  • the first control circuit 306 inputs the output of the first signal detection circuit 303 to the first readout circuit 304 according to the output of the signal detection circuit 303 of the second pixel 32 and the third pixel 33 . control whether to
  • the signal detection circuit 303 of this embodiment includes an inverter circuit 401 and a pulse shortening circuit 407 .
  • the pulse shortening circuit 407 is a circuit that generates a pulse signal having a predetermined pulse width shorter than the pulse width of the input signal according to the input signal.
  • a monostable circuit or the like is used, but other combinational circuits, sequential circuits, capacitive coupling elements, or the like may also be used.
  • the output of the signal detection circuit 303 is divided into two systems, the output of the inverter circuit 401 is directly connected to the control line 307 and the output of the pulse shortening circuit 407 is input to the control circuit 306 .
  • the control circuit 306 includes logic circuitry 408 .
  • the output signal of the pulse shortening circuit 407 is output to the reading circuit 304 only when the signals input via the control lines 308 and 309 are both at the "L" level.
  • FIG. 12 is a timing chart showing the operation of the pixels of the photoelectric conversion device according to this embodiment.
  • V1 the potential of the output terminal of the inverter circuit 401 in FIG. 11
  • V1' the potential of the output terminal of the pulse shortening circuit 407
  • a pulse wave is generated at the cathode potential VC according to the Photon1 signal incident on the APD 301 at times t1, t5, and t8.
  • V1 indicates the signal waveform after the change in the cathode potential VC is waveform-shaped by the inverter circuit 401.
  • FIG. A pulse signal obtained by shortening V1 is generated at V1'.
  • V1' becomes “H” level during the period from t1 to t2. Since V2 and V3 are at “L” level at close timing, V4 becomes “H” level and a photon detection pulse is output to V5 during the period from t1 to t2.
  • V1 Due to Photon1 incident at time t5, V1 becomes “H” level during period t5 to t7. Photon 2 is incident at time t4, which is a close timing, and V2 becomes “H” level earlier than V1, so V4 becomes “L” level and the photon detection pulse is not output to V5.
  • Photon 1 which is incident at time t8, is incident on Photon 3 at time t9, which is close timing, and V3 becomes "H” level.
  • a signal based on Photon1 is detected during the period t8-t9 when V3 is at the "L” level, a photon detection pulse is output to V5 during the period t8-t9.
  • the first detected signal is regarded as a true signal
  • the later detected signal is regarded as a false signal. It has a circuit configuration that sharply distinguishes between a false signal and a false signal.
  • signal quality may be degraded by false signals such as crosstalk between the light source and the light receiving element due to reflection of emitted light within the TOF module housing, and crosstalk between pixels due to the avalanche light emission phenomenon. . It is known that signals due to such crosstalk components have very strong temporal and spatial correlations.
  • signals with weak temporal and spatial correlations are read out as true signals, and signals with strong temporal and spatial correlations are regarded as false signals and filtered. This makes it possible to suppress false signals due to crosstalk while achieving high spatial resolution. Furthermore, by providing the pulse shortening circuit 407, the period for judging the photons as close timing is shortened. As a result, signals with stronger temporal correlation can be filtered as false signals.
  • circuit configuration and circuit operation for realizing the present embodiment are not limited to the configuration described above. For example, when signals are detected at close timings, temporal and spatial correlation may occur due to a circuit configuration that regards them as false signals regardless of the order of detection. Strong signals may be filtered.
  • FIG. 13 to 15 A photoelectric conversion device according to a third embodiment of the present invention will be described with reference to FIGS. 13 to 15.
  • FIG. The photoelectric conversion device according to this embodiment differs from the first embodiment in that pixels are arranged in a two-dimensional array. Descriptions common to the first embodiment will be omitted, and differences from the first embodiment will be mainly described.
  • FIG. 13 shows an example of a circuit diagram for one pixel of this embodiment.
  • a first pixel 31 surrounded by a vertically adjacent second pixel 32 and a third pixel 33, and horizontally adjacent a fourth pixel 34 and a fifth pixel 35 will be described as an example.
  • the first pixel 31 and the second pixel 32 are arranged in a first direction
  • the second pixel 32 and the fourth pixel 34 are arranged in a second direction crossing the first direction.
  • the first pixel 31 and the fifth pixel 35 are arranged in a third direction crossing the first direction.
  • the first pixel 31 has an APD 301 (first photoelectric conversion unit), a signal detection circuit 303 (first detection circuit) that outputs a first detection signal, and a control circuit 306 (first control circuit).
  • the second pixel 32 includes an APD 301 (second photoelectric conversion unit), a signal detection circuit 303 (second detection circuit) that outputs a second detection signal, and a control circuit 306 (second control circuit). ).
  • the third pixel 33 has an APD 301 (third photoelectric conversion unit), a signal detection circuit 303 (third detection circuit) that outputs a third detection signal, and a control circuit 306 (third control circuit).
  • the fourth pixel 34 has an APD 301 (fourth photoelectric conversion unit), a signal detection circuit 303 (fourth detection circuit) that outputs a fourth detection signal, and a control circuit 306 (fourth control circuit).
  • the fifth pixel 31 has an APD 301 (fifth photoelectric conversion unit), a signal detection circuit 303 (fifth detection circuit) that outputs a fifth detection signal, and a control circuit 306 (fifth control circuit). .
  • the control circuit 306 of the first pixel 31 outputs the output signal of the signal detection circuit 303 of the first pixel 31 according to the output signal of the signal detection circuit 303 of each of the second to fifth pixels. It controls whether or not to input to the readout circuit 304 of 31. Also, the output signal of the signal detection circuit 303 of the first pixel 31 is sent to the control circuit 306 of the second pixel 32, the third pixel 33, the fourth pixel 34, and the fifth pixel 35 through the control line 307. is entered.
  • the signal detection circuit 303 of this embodiment includes an inverter circuit 501 for waveform shaping and a gate circuit 502 (first selection circuit).
  • the gate circuit 502 outputs the output signal of the inverter circuit 501 to the control circuit 306 while the gate signal VG input from the outside of the pixel is at "H” level.
  • the output signal of the inverter circuit 501 is not output to the control circuit 306 while the gate signal VG is at "L” level.
  • the readout circuit 304 in this embodiment includes a counter circuit 505 and an output circuit 506 .
  • the counter circuit 505 measures the incident intensity of photons detected by the first pixel 31 by counting the number of input pulses.
  • An example of the counter circuit 505 is a multi-bit digital counter or the like, but a 1-bit digital memory, an analog memory using a capacitive element, or the like may also be used.
  • the counter circuit 505 and the output circuit 506 are connected by the number of wires corresponding to the number of bits of the counter circuit 505 .
  • the output circuit 506 receives a selection signal input from the outside of the pixel and outputs a signal output from the counter circuit 505 to the signal line 305 .
  • the control circuit 306 in this embodiment includes a logic circuit 503 and a logic circuit 504 .
  • the logic circuit 503 takes the logical sum of the four signal lines 308, 309, 310 and 311, and the logic circuit 504 takes the logical product of the output of the gate circuit 502 and the output of the logic circuit 503. is taking By adopting such a circuit configuration, the first pixel 31 and at least one of the second pixel 32, the third pixel 33, the fourth pixel 34, and the fifth pixel 35 are brought close to each other. A signal when a photon is detected in time can be regarded as a true signal.
  • the logic circuit 503 and the logic circuit 504 may be configured using NOR circuits or NAND circuits instead of OR circuits or AND circuits, or other combinational circuits or sequential circuits.
  • FIG. 14 is a timing chart showing the operation of the pixels of the photoelectric conversion device according to this embodiment.
  • 13 is VR
  • the output terminal potential of the inverter circuit 501 is V0
  • the output terminal potential of the control circuit 306 is V6
  • the output terminal of the counter circuit 505 is V7.
  • Photon1 to Photon5 indicate timings at which photons enter the APDs 301 of the first to fifth pixels, respectively.
  • VR is set to "L" level.
  • a unit time is defined as the period until VR is changed to “L” level again at time t10.
  • the potential VR is a reset signal that resets the cathode potential VC of the APD 301 by switching the resistance value of the quench element.
  • VG is set to "H” level.
  • the output signal of the inverter circuit 501 is output to the control circuit 306 during the period t2 to t5 in which VG is at the "H” level.
  • the period during which VG is at "H” level is the detection period of the detection signal based on the photons incident on the APD 301
  • the period during which VG is at "L” level is the non-detection period of the detection signal.
  • Photon 1 is incident at times t6 and t8, Photon 2 is incident at time t7, Photon 3 is incident at time t9, and Photon 5 is incident at time t10. Since VG is at "L" level, the output signal of the inverter circuit 501 of each pixel is not output to the control circuit 306.
  • FIG. 15 shows the control relationship of the pixel array of the photoelectric conversion device according to this embodiment.
  • the control circuit of the target pixel is controlled by four adjacent pixels on the top, bottom, left, and right.
  • the control circuit for the target pixel is not controlled for pixels other than adjacent pixels, such as pixels arranged in a diagonal direction.
  • the control circuit of the target pixel is controlled only by the pixels arranged above and below and the three adjacent pixels on the left side of the target pixel. Pixels arranged at the outermost periphery of the array have fewer neighboring pixels than pixels arranged at other than the outermost periphery of the array. Therefore, the number of pixels for controlling the control circuit of the pixel of interest is also reduced.
  • the control circuit for the pixel of interest is controlled with a small number of pixels, there is a high possibility that the true signal cannot be detected correctly or a false signal is output compared to the case of controlling the control pixel using a sufficient number of pixels. Therefore, for example, it is possible to take measures such that the outermost pixels are not used in subsequent image processing.
  • the circuit is configured such that a signal detected at a timing close to one of four adjacent pixels is regarded as a true signal, and any other signal is regarded as a false signal.
  • 16A to 16D show the control relationship of the pixel array in this modified example.
  • the configuration and driving timing of the pixel circuit conform to those of the third embodiment.
  • a different point from the third embodiment is that the arrangement of pixels for controlling the pixel of interest is different.
  • Four types of connection relationships, pattern 1 to pattern 4 will be described below.
  • the control circuit 306 of the pixel of interest is controlled by eight pixels surrounding the pixel of interest.
  • the 8 pixels surrounding the pixel of interest are the 4 pixels adjacent to the pixel of interest on the top, bottom, left, and right, and the 4 pixels arranged in the diagonal direction of the pixel of interest. Since the number of pixels that control the pixel of interest is greater than in the third embodiment, the light utilization efficiency is increased, and even weaker signals can be detected with high accuracy.
  • the control circuit 306 for the pixel of interest is controlled by four pixels arranged in a diagonal direction, and is not controlled by the nearest four pixels on the top, bottom, left, and right.
  • crosstalk caused by avalanche light emission tends to generate false signals with strong temporal correlations in the nearest pixels.
  • the control circuit 306 of the pixel of interest is controlled by 12 pixels including a pixel that is not in direct contact with the pixel of interest and is separated from the pixel of interest by two pixels.
  • the pixels controlled by the control circuit 306 of the pixel of interest are arranged in a biased manner with respect to the X and Y directions.
  • the control circuit 306 of the pixel of interest is controlled by three pixels, ie, the pixel adjacent to the pixel of interest in the downward direction and the left direction, and the pixel arranged in the lower left direction of the pixel of interest.
  • the "pixel group controlling the target pixel” and the "pixel group controlled by the target pixel” do not necessarily match.
  • the number of pixels controlling the target pixel and the number of pixels controlled by the target pixel are not limited to the same number.
  • the effect of this embodiment can be obtained similarly to the patterns shown in FIGS. 15 and 16A to 16D.
  • FIG. 17 shows an example of a circuit diagram for one pixel of this embodiment. This embodiment differs from the third embodiment in the circuit configuration inside the control circuit 306 . Descriptions common to the first to third embodiments will be omitted, and differences from the third embodiment will be mainly described.
  • the control circuit 306 in this embodiment includes a multiplexer circuit 508 and a logic circuit 509 .
  • the multiplexer circuit 508 can switch Enable/Disable of the function of the control circuit 306 according to the signal S input from outside the pixel.
  • the control circuit 306 of the first pixel 31 detects the output of the signal detection circuit 303 of the first pixel 31 according to the signals of the adjacent second to fifth pixels. It controls whether or not to output to the readout circuit 304 of the first pixel 31 .
  • the output of the signal detection circuit 303 of the first pixel 31 is directly output to the readout circuit 304 of the first pixel 31 regardless of the outputs of adjacent pixels.
  • the logic circuit 509 similarly to the third embodiment, after obtaining the logical sum of the outputs of the signal detection circuits 303 of the adjacent pixels, the output of the logical sum and the signal detection circuit 303 of the first pixel 31 are obtained.
  • a circuit configuration is conceivable in which the AND of the outputs of .
  • the logic circuit 509 detects the output of the signal detection circuit 303 of the first pixel 31 only when the output of the signal detection circuit 303 of N pixels or more (N is an integer of 2 or more) among adjacent pixels is at "H" level.
  • a circuit configuration that outputs to the readout circuit 304 of the first pixel 31 may be employed.
  • the logic circuit 509 selects the first pixel 31 and the first pixel 31 only when the outputs of the signal detection circuits 303 of N pixels or more (N is an integer equal to or greater than 2) among the pixels adjacent to the first pixel 31 are at the "H" level.
  • a circuit configuration may be adopted in which a “H” level is output to the readout circuit 304 of one pixel 31 .
  • a configuration in which the output of the signal detection circuit 303 is weighted according to the arrangement of adjacent pixels involved in the control of the control circuit 306 is also conceivable.
  • the output of the signal detection circuit 303 of the first pixel 31 is output to the readout circuit 304 of the first pixel 31 only when the weighted addition value of the "H" level signal exceeds a certain threshold value M.
  • the circuit configuration may be such that Each of the thresholds N and M may be a predetermined value, or may be a variable rewritable from outside the pixel.
  • the signal detection circuit 303 of this embodiment includes an inverter circuit 501, a gate circuit 502, and a latch circuit 507 (first latch circuit).
  • the latch circuit 507 is latched to the "H” level state when a photon is detected while the gate signal VG is at the "H” level.
  • the recharge signal VR becomes “L” level the latch circuit 507 is also reset to "L” level. In this way, by holding the signal based on photon detection in the latch circuit 507, even if timing variations occur in the circuits of the first pixel 31 and adjacent pixels, the true signal and the false signal can be discriminated with high accuracy. be able to.
  • FIG. 18A and 18B are timing charts showing the operation of the pixels of the photoelectric conversion device according to this embodiment.
  • FIG. 18A shows a timing chart of the first drive mode in which the control circuit is enabled
  • FIG. 18B shows a timing chart of the second drive mode in which the control circuit is disabled.
  • VR is set to "L" level.
  • a unit time is defined as the period until VR is changed to "L” level again at time t10.
  • VG is set to "H” level.
  • the output signal of the inverter circuit 501 is output to the control circuit 306 during the period t2 to t5 in which VG is at the "H” level.
  • Photon 1 is incident at times t6 and t8, Photon 2 is incident at time t7, Photon 3 is incident at time t9, and Photon 5 is incident at time t10. Since VG is at "L" level, the output signal of inverter circuit 501 is not output to control circuit 306.
  • VR is set to "L" level at time t1 as in FIG. 18A.
  • a unit time is defined as the period until VR is changed to "L" level again at time t10.
  • VG is set to "H” level.
  • the output signal of the inverter circuit 501 is output to the control circuit 306 during the period t2 to t5 in which VG is at the "H” level.
  • Photon 1 enters at time t6 and time t8, Photon 4 at t4, Photon 2 at time t7, Photon 3 at time t9, and Photon 5 at time t10, but these signals do not contribute to the change in V6. Since VG is at "L" level, the output signal of inverter circuit 501 is not output to control circuit 306.
  • FIG. 1 the output signal of inverter circuit 501 is not output to control circuit 306.
  • the first detected signal when signals are detected at timings when adjacent pixels are close to each other, the first detected signal is regarded as a true signal, and the later detected signal is regarded as a fake signal, thereby filtering signals due to crosstalk components. I showed the configuration to do.
  • the first detected signal when signals are detected at timings when adjacent pixels are close to each other, the first detected signal is regarded as a false signal and the later detected signal is regarded as a true signal. Filtering is also possible.
  • a drive mode that distinguishes true signals from false signals based on the strength of temporal and spatial correlation
  • a drive mode that outputs a signal regardless of the strength of temporal and spatial correlation. You can switch. By selecting the optimum drive mode according to the scene, it is possible to improve the signal quality during shooting.
  • FIGS. 19A to 19C are diagrams showing the control relationship of the pixel array of the photoelectric conversion device according to this embodiment.
  • pixels having different connection relationships with pixels involved in control of the control circuit are mixed.
  • pixels A and pixels B are arranged in a two-dimensional array.
  • the pixel A and the pixel B have different connection relationships with the pixels involved in the control of the control circuit.
  • pixel rows in which pixels A are arranged and pixel rows in which pixels B are arranged are alternately arranged.
  • the control relationship of pixel A is shown in FIG. 19B, and the control relationship of pixel B is shown in FIG. 19C.
  • the control circuit for pixel A is controlled by two pixels adjacent to the left and right of the pixel of interest.
  • the control circuit for the pixel B is controlled by pixels for one row in which the pixel of interest is arranged. In an arrangement in which pixel rows in which pixels A are arranged and pixel rows in which pixels B are arranged are alternately arranged as shown in FIG. Connected.
  • the strength of the spatial correlation of the detected signals also differs. According to such a photoelectric conversion device, since a signal with a strong spatial correlation and a signal with a weak spatial correlation can be obtained at the same time, it is possible to obtain the effect of being able to improve the accuracy of distinguishing between a true signal and a false signal.
  • 20A to 20C show the control relationship of the pixel array in this modified example. It is common to the fifth embodiment that pixels having different connection relationships with pixels related to the control of the control circuit are mixed, but differs from the fifth embodiment in that pixels having different connection relationships are connected to each other. ing.
  • pixels A and pixels B are arranged in a two-dimensional array.
  • the pixel A and the pixel B have different connection relationships with the pixels involved in the control of the control circuit.
  • pixels A and pixels B are alternately arranged.
  • the control relationship of pixel A is shown in FIG. 20B, and the control relationship of pixel B is shown in FIG. 20C.
  • the control circuit of pixel A is controlled by four pixels adjacent to the upper, lower, right, and left sides of the pixel of interest.
  • the control circuit for the pixel B is controlled by a total of 8 pixels, 4 pixels arranged diagonally to the pixel of interest and 4 pixels separated from the pixel of interest by 2 pixels.
  • pixels A and pixels B are alternately arranged as shown in FIG. 20A, pixels A and pixels B are connected to each other for control of the control circuit.
  • the strength of the spatial correlation of the detected signals also differs. According to such a photoelectric conversion device, since a signal with a strong spatial correlation and a signal with a weak spatial correlation can be obtained at the same time, it is possible to obtain the effect of being able to improve the accuracy of distinguishing between a true signal and a false signal.
  • FIG. 21 is a block diagram showing a schematic configuration of a photoelectric conversion system according to this embodiment.
  • the photoelectric conversion devices described in the first to sixth embodiments can be applied to various photoelectric conversion systems.
  • Examples of applicable photoelectric conversion systems include digital still cameras, digital camcorders, surveillance cameras, copiers, facsimiles, mobile phones, vehicle-mounted cameras, and observation satellites.
  • a camera module including an optical system such as a lens and an imaging device is also included in the photoelectric conversion system.
  • FIG. 21 illustrates a block diagram of a digital still camera as an example of these.
  • the photoelectric conversion system illustrated in FIG. 21 includes an imaging device 1004 that is an example of a photoelectric conversion device, and a lens 1002 that forms an optical image of a subject on the imaging device 1004 . Furthermore, it has an aperture 1003 for varying the amount of light passing through the lens 1002 and a barrier 1001 for protecting the lens 1002 .
  • a lens 1002 and a diaphragm 1003 are an optical system for condensing light onto an imaging device 1004 .
  • the imaging device 1004 is a photoelectric conversion device according to any of the above embodiments, and converts an optical image formed by the lens 1002 into an electrical signal.
  • the photoelectric conversion system also has a signal processing unit 1007 that is an image generation unit that generates an image by processing an output signal output from the imaging device 1004 .
  • a signal processing unit 1007 performs an operation of performing various corrections and compressions as necessary and outputting image data.
  • the signal processing unit 1007 may be formed on the semiconductor substrate on which the imaging device 1004 is provided, or may be formed on a semiconductor substrate separate from the imaging device 1004 .
  • the photoelectric conversion system further includes a memory unit 1010 for temporarily storing image data, and an external interface unit (external I/F unit) 1013 for communicating with an external computer or the like. Further, the photoelectric conversion system includes a recording medium 1012 such as a semiconductor memory for recording or reading image data, and a recording medium control interface section (recording medium control I/F section) 1011 for recording or reading from the recording medium 1012. have Note that the recording medium 1012 may be built in the photoelectric conversion system or may be detachable.
  • the photoelectric conversion system has an overall control/calculation unit 1009 that controls various calculations and the entire digital still camera, and a timing generation unit 1008 that outputs various timing signals to the imaging device 1004 and signal processing unit 1007 .
  • the timing signal and the like may be input from the outside, and the photoelectric conversion system may have at least the imaging device 1004 and the signal processing unit 1007 that processes the output signal output from the imaging device 1004 .
  • the imaging device 1004 outputs the imaging signal to the signal processing unit 1007 .
  • a signal processing unit 1007 performs predetermined signal processing on the imaging signal output from the imaging device 1004 and outputs image data.
  • a signal processing unit 1007 generates an image using the imaging signal.
  • a photoelectric conversion system that applies the photoelectric conversion device (imaging device) of any of the above embodiments can be realized.
  • FIGS. 22A and 22B are diagrams showing the configurations of the photoelectric conversion system and the moving body of this embodiment.
  • FIG. 22A shows an example of a photoelectric conversion system for an in-vehicle camera.
  • the photoelectric conversion system 1300 has an imaging device 1310 .
  • the imaging device 1310 is the photoelectric conversion device described in any of the above embodiments.
  • the photoelectric conversion system 1300 includes an image processing unit 1312 that performs image processing on a plurality of image data acquired by the imaging device 1310, and a parallax (phase difference of the parallax image) from the plurality of image data acquired by the photoelectric conversion system 1300. It has a parallax acquisition unit 1314 that performs calculation.
  • the photoelectric conversion system 1300 also includes a distance acquisition unit 1316 that calculates the distance to the object based on the calculated parallax, and a collision determination unit that determines whether there is a possibility of collision based on the calculated distance. 1318 and .
  • the parallax acquisition unit 1314 and the distance acquisition unit 1316 are examples of distance information acquisition means for acquiring distance information to the target object. That is, the distance information is information related to parallax, defocus amount, distance to the object, and the like.
  • the collision determination unit 1318 may use any of these distance information to determine the possibility of collision.
  • the distance information acquisition means may be implemented by specially designed hardware, or may be implemented by a software module.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the photoelectric conversion system 1300 is connected to a vehicle information acquisition device 1320, and can acquire vehicle information such as vehicle speed, yaw rate, and steering angle.
  • the photoelectric conversion system 1300 is also connected to a control ECU 1330 which is a control unit that outputs a control signal for generating a braking force to the vehicle based on the determination result of the collision determination unit 1318 .
  • the photoelectric conversion system 1300 is also connected to an alarm device 1340 that issues an alarm to the driver based on the determination result of the collision determination section 1318 . For example, if the collision determination unit 1318 determines that there is a high probability of collision, the control ECU 1330 performs vehicle control to avoid collisions and reduce damage by applying the brakes, releasing the accelerator, or suppressing the engine output.
  • the alarm device 1340 warns the user by sounding an alarm such as sound, displaying alarm information on the screen of a car navigation system, or vibrating a seat belt or steering wheel.
  • the photoelectric conversion system 1300 captures an image of the surroundings of the vehicle, for example, the front or rear.
  • FIG. 22B shows a photoelectric conversion system for capturing an image in front of the vehicle (imaging range 1350).
  • a vehicle information acquisition device 1320 sends an instruction to the photoelectric conversion system 1300 or imaging device 1310 .
  • the photoelectric conversion system can be applied not only to vehicles such as own vehicles but also to moving bodies (moving devices) such as ships, aircraft, and industrial robots.
  • the present invention can be applied not only to mobile objects but also to devices that widely use object recognition, such as intelligent transportation systems (ITS).
  • ITS intelligent transportation systems
  • FIG. 23 is a block diagram showing a configuration example of a distance image sensor, which is the photoelectric conversion system of this embodiment.
  • the distance image sensor 401 includes an optical system 407, a photoelectric conversion device 408, an image processing circuit 404, a monitor 405, and a memory 406.
  • the distance image sensor 401 receives the light (modulated light or pulsed light) projected from the light source device 409 toward the subject and reflected by the surface of the subject, thereby producing a distance image corresponding to the distance to the subject. can be obtained.
  • the optical system 407 includes one or more lenses, guides the image light (incident light) from the subject to the photoelectric conversion device 408, and forms an image on the light receiving surface (sensor section) of the photoelectric conversion device 408.
  • the photoelectric conversion device of each embodiment described above is applied as the photoelectric conversion device 408 , and a distance signal indicating the distance obtained from the received light signal output from the photoelectric conversion device 408 is supplied to the image processing circuit 404 .
  • the image processing circuit 404 performs image processing to construct a distance image based on the distance signal supplied from the photoelectric conversion device 408 .
  • a distance image (image data) obtained by the image processing is supplied to the monitor 405 to be displayed, or supplied to the memory 406 to be stored (recorded).
  • the distance image sensor 401 configured in this manner, by applying the above-described photoelectric conversion device, it is possible to obtain, for example, a more accurate distance image as the characteristics of the pixels are improved.
  • FIG. 24 is a diagram showing an example of a schematic configuration of an endoscopic surgery system, which is the photoelectric conversion system of this embodiment.
  • FIG. 24 shows how an operator (physician) 1131 uses an endoscopic surgery system 1150 to perform surgery on a patient 1132 on a patient bed 1133 .
  • the endoscopic surgery system 1150 is composed of an endoscope 1100, a surgical tool 1110, and a cart 1134 loaded with various devices for endoscopic surgery.
  • An endoscope 1100 is composed of a lens barrel 1101 whose distal end is inserted into the body cavity of a patient 1132 and a camera head 1102 connected to the proximal end of the lens barrel 1101 .
  • the illustrated example shows an endoscope 1100 configured as a so-called rigid endoscope having a rigid lens barrel 1101, but the endoscope 1100 may be configured as a so-called flexible endoscope having a flexible lens barrel. good.
  • the tip of the lens barrel 1101 is provided with an opening into which the objective lens is fitted.
  • a light source device 1203 is connected to the endoscope 1100, and light generated by the light source device 1203 is guided to the tip of the lens barrel 1101 by a light guide extending inside the lens barrel 1101, whereupon the objective lens through the body cavity of the patient 1132 toward the object to be observed.
  • the endoscope 1100 may be a straight scope, a perspective scope, or a side scope.
  • An optical system and a photoelectric conversion device are provided inside the camera head 1102, and the reflected light (observation light) from the observation target is focused on the photoelectric conversion device by the optical system.
  • the photoelectric conversion device photoelectrically converts the observation light to generate an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • the photoelectric conversion device the photoelectric conversion device described in each of the above embodiments can be used.
  • the image signal is transmitted to a camera control unit (CCU: Camera Control Unit) 1135 as RAW data.
  • CCU Camera Control Unit
  • the CCU 1135 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 1100 and the display device 1136 in an integrated manner. Further, the CCU 1135 receives an image signal from the camera head 1102 and performs various image processing such as development processing (demosaicing) for displaying an image based on the image signal.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 1136 displays an image based on the image signal subjected to image processing by the CCU 1135 under the control of the CCU 1135 .
  • the light source device 1203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies the endoscope 1100 with irradiation light for photographing a surgical site or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 1137 is an input interface for the endoscopic surgery system 1150.
  • the user can input various information and instructions to the endoscopic surgery system 1150 via the input device 1137 .
  • the treatment instrument control device 1138 controls driving of the energy treatment instrument 1112 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the light source device 1203 that supplies irradiation light to the endoscope 1100 for photographing the surgical site can be composed of, for example, a white light source composed of an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. It can be carried out.
  • the observation target is irradiated with laser light from each of the RGB laser light sources in a time-sharing manner, and by controlling the drive of the imaging device of the camera head 1102 in synchronization with the irradiation timing, each of the RGB can be handled. It is also possible to pick up images by time division. According to this method, a color image can be obtained without providing a color filter in the imaging element.
  • the driving of the light source device 1203 may be controlled so as to change the intensity of the output light every predetermined time.
  • the driving of the imaging device of the camera head 1102 in synchronism with the timing of the change in the intensity of the light to acquire images in a time-division manner and synthesizing the images, a high dynamic A range of images can be generated.
  • the light source device 1203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • Special light observation utilizes the wavelength dependence of light absorption in body tissues. Specifically, a predetermined tissue such as a blood vessel on the surface of the mucous membrane is imaged with high contrast by irradiating light with a narrower band than the irradiation light (that is, white light) used during normal observation.
  • irradiation light that is, white light
  • fluorescence observation may be performed in which an image is obtained from fluorescence generated by irradiation with excitation light.
  • body tissue is irradiated with excitation light and fluorescence from the body tissue is observed, or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the fluorescence wavelength of the reagent is observed in the body tissue. It is possible to obtain a fluorescent image by irradiating excitation light corresponding to .
  • the light source device 1203 can be configured to supply narrowband light and/or excitation light corresponding to such special light observation.
  • FIG. 25A illustrates glasses 1600 (smart glasses) that are the photoelectric conversion system of this embodiment.
  • Glasses 1600 have a photoelectric conversion device 1602 .
  • the photoelectric conversion device 1602 is the photoelectric conversion device described in each of the above embodiments.
  • a display device including a light emitting device such as an OLED or an LED may be provided on the rear surface side of the lens 1601 .
  • One or more photoelectric conversion devices 1602 may be provided. Further, a plurality of types of photoelectric conversion devices may be used in combination.
  • the arrangement position of the photoelectric conversion device 1602 is not limited to that shown in FIG. 25A.
  • the spectacles 1600 further include a control device 1603 .
  • the control device 1603 functions as a power source that supplies power to the photoelectric conversion device 1602 and the display device. Further, the control device 1603 controls operations of the photoelectric conversion device 1602 and the display device.
  • An optical system for condensing light onto the photoelectric conversion device 1602 is formed in the lens 1601 .
  • FIG. 25B illustrates glasses 1610 (smart glasses) according to one application example.
  • the glasses 1610 have a control device 1612, and the control device 1612 is equipped with a photoelectric conversion device corresponding to the photoelectric conversion device 1602 and a display device.
  • a photoelectric conversion device in the control device 1612 and an optical system for projecting light emitted from the display device are formed in the lens 1611 , and an image is projected onto the lens 1611 .
  • the control device 1612 functions as a power source that supplies power to the photoelectric conversion device and the display device, and controls the operation of the photoelectric conversion device and the display device.
  • the control device may have a line-of-sight detection unit that detects the line of sight of the wearer.
  • Infrared rays may be used for line-of-sight detection.
  • the infrared light emitting section emits infrared light to the eyeballs of the user who is gazing at the display image.
  • a captured image of the eyeball is obtained by detecting reflected light of the emitted infrared light from the eyeball by an imaging unit having a light receiving element.
  • the user's line of sight to the displayed image is detected from the captured image of the eyeball obtained by capturing infrared light.
  • Any known method can be applied to line-of-sight detection using captured images of eyeballs.
  • line-of-sight detection processing is performed based on the pupillary corneal reflection method.
  • the user's line of sight is detected by calculating a line of sight vector representing the orientation (rotational angle) of the eyeball based on the pupil image and the Purkinje image included in the captured image of the eyeball using the pupillary corneal reflection method. be.
  • the display device of the present embodiment may have a photoelectric conversion device having a light receiving element, and may control the display image of the display device based on the user's line-of-sight information from the photoelectric conversion device.
  • the display device determines a first visual field area that the user gazes at and a second visual field area other than the first visual field area, based on the line-of-sight information.
  • the first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device.
  • the display resolution of the first viewing area may be controlled to be higher than the display resolution of the second viewing area. That is, the resolution of the second viewing area may be lower than that of the first viewing area.
  • the display area has a first display area and a second display area different from the first display area. may be determined.
  • the first viewing area and the second viewing area may be determined by the control device of the display device, or may be determined by an external control device.
  • the resolution of areas with high priority may be controlled to be higher than the resolution of areas other than areas with high priority. In other words, the resolution of areas with relatively low priority may be lowered.
  • AI may be used to determine the first field of view area and areas with high priority.
  • the AI is a model configured to estimate the angle of the line of sight from the eyeball image and the distance to the object ahead of the line of sight, using the image of the eyeball and the direction in which the eyeball of the image was actually viewed as training data. It's okay.
  • the AI program may be owned by the display device, the photoelectric conversion device, or the external device. If the external device has it, it is communicated to the display device via communication.
  • Smart glasses can display captured external information in real time.
  • the photoelectric conversion systems shown in the sixth and seventh embodiments are examples of photoelectric conversion systems to which the photoelectric conversion device can be applied, and the photoelectric conversion device of the present invention can be applied.
  • This photoelectric conversion system is not limited to the configurations shown in FIGS. 21 to 22A and 22B. The same applies to the ToF system shown in the eighth embodiment, the endoscope shown in the ninth embodiment, and the smart glasses shown in the tenth embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Light Receiving Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

第1の光電変換部と、第1の光電変換部に入射した光子に基づく第1の検出信号を出力する第1の検出回路と、第1の検出信号に応じて画素外に第1の画素信号を出力する第1の出力回路と、第1の検出信号を第1の出力回路に入力するか否かを制御する第1の制御回路と、を含む、第1の画素と、第2の光電変換部と、第2の光電変換部に入射した光子に基づく第2の検出信号を出力する第2の検出回路と、第2の検出信号に応じて画素外に第2の画素信号を出力する第2の出力回路と、第2の検出信号を第2の出力回路に入力するか否かを制御する第2の制御回路と、を含む、第2の画素と、を含む複数の画素がアレイ状に配された画素領域を有し、第1の制御回路は、第2の検出信号に応じて、第1の検出信号を第1の出力回路に入力するか否かを制御することを特徴とする光電変換装置。

Description

光電変換装置
 本発明は、光電変換装置及び光電変換システムに関するものである。
 測定対象物までの距離を測定する際、しばしば、TOF(Time-Of-Flight)法が用いられる。特開2014-059302号では、APD(Avalanche Photo Diode)を用いたTOF測距装置が開示されている。隣接する複数のAPDをグループ化し、グループ内のAPDのうち一定個数以上のAPDが近接したタイミングで信号を検知した場合にパルス信号を出力する。これにより、時間および空間的な相関の強い信号を選択的に検出し、時間および空間的な相関の弱い外光による信号の影響を抑制することができる。
特開2014-059302号
 しかしながら、特開2014-059302号においては、複数のAPDをグループ化することで、検出装置の空間解像度が低下するという課題があった。
 本発明は上記課題を鑑みてなされたものであり、高い空間解像度と偽信号の抑制を両立した光電変換装置及び撮像システムを提供することを目的とするものである。
 本発明の一つの側面は、光電変換装置であって、第1の光電変換部と、前記第1の光電変換部に入射した光子に基づく第1の検出信号を出力する第1の検出回路と、前記第1の検出信号に応じて画素外に第1の画素信号を出力する第1の出力回路と、前記第1の検出信号を前記第1の出力回路に入力するか否かを制御する第1の制御回路と、を含む、第1の画素と、第2の光電変換部と、前記第2の光電変換部に入射した光子に基づく第2の検出信号を出力する第2の検出回路と、前記第2の検出信号に応じて画素外に第2の画素信号を出力する第2の出力回路と、前記第2の検出信号を前記第2の出力回路に入力するか否かを制御する第2の制御回路と、を含む、第2の画素と、を含む複数の画素がアレイ状に配された画素領域を有し、前記第1の制御回路は、前記第2の検出信号に応じて、前記第1の検出信号を前記第1の出力回路に入力するか否かを制御することを特徴とする。
 本発明によれば、高い空間解像度と偽信号の抑制を両立することができる。
実施形態にかかる光電変換装置の概略図である。 実施形態にかかる光電変換装置のPD基板の概略図である。 実施形態にかかる光電変換装置の回路基板の概略図である。 実施形態にかかる光電変換装置の画素回路の構成例である。 実施形態にかかる光電変換装置の画素回路の駆動を示す模式図である。 第1の実施形態の比較例にかかる2画素あたりのブロック図である。 第1の実施形態にかかる2画素あたりのブロック図である。 第1の実施形態にかかる1画素あたりの回路図である。 第1の実施形態にかかる画素駆動のタイミング図である。 第1の実施形態にかかる画素アレイの制御関係を示す図である。 第2の実施形態にかかる1画素あたりの回路図である。 第2の実施形態にかかる画素駆動のタイミング図である。 第3の実施形態にかかる1画素あたりの回路図である。 第3の実施形態にかかる画素駆動のタイミング図である。 第3の実施形態にかかる画素アレイの制御関係を示す図である。 第3の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第3の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第3の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第3の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第4の実施形態にかかる1画素あたりの回路図である。 第4の実施形態にかかる画素駆動のタイミング図である。 第4の実施形態にかかる画素駆動のタイミング図である。 第5の実施形態にかかる画素アレイの制御関係を示す図である。 第5の実施形態にかかる画素アレイの制御関係を示す図である。 第5の実施形態にかかる画素アレイの制御関係を示す図である。 第5の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第5の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第5の実施形態の変形例にかかる画素アレイの制御関係を示す図である。 第6の実施形態にかかる光電変換システムの機能ブロック図である。 第7の実施形態にかかる光電変換システムの機能ブロック図である。 第7の実施形態にかかる光電変換システムの機能ブロック図である。 第8の実施形態にかかる光電変換システムの機能ブロック図である。 第9の実施形態にかかる光電変換システムの機能ブロック図である。 第10の実施形態にかかる光電変換システムの機能ブロック図である。 第10の実施形態にかかる光電変換システムの機能ブロック図である。
 以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
 以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、以下の説明では、必要に応じて特定の方向や位置を示す用語(例えば、「上」、「下」、「右」、「左」及び、それらの用語を含む別の用語)を用いる。それらの用語の使用は図面を参照した実施形態の理解を容易にするためであって、それらの用語の意味によって本発明の技術的範囲が限定されるものではない。
 本明細書において、平面視とは、半導体層の光入射面に対して垂直な方向から視ることである。また、断面視とは、半導体層の光入射面と垂直な方向における面をいう。なお、微視的に見て半導体層の光入射面が粗面である場合は、巨視的に見たときの半導体層の光入射面を基準として平面視を定義する。
 以下の説明において、APD(アバランシェフォトダイオード)のアノードを固定電位とし、カソード側から信号を取り出している。したがって、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域とはN型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはP型半導体領域である。なお、APDのカソードを固定電位とし、アノード側から信号を取り出す場合でも本発明は成立する。この場合は、信号電荷と同じ極性の電荷を多数キャリアとする第1導電型の半導体領域はP型半導体領域であり、信号電荷と異なる極性の電荷を多数キャリアとする第2導電型の半導体領域とはN型半導体領域である。以下では、APDの一方のノードを固定電位とする場合について説明するが、両方のノードの電位が変動してもよい。
 本明細書において、単に「不純物濃度」という用語が使われた場合、逆導電型の不純物によって補償された分を差し引いた正味の不純物濃度を意味している。つまり、「不純物濃度」とは、NETドーピング濃度を指す。P型の添加不純物濃度がN型の添加不純物濃度より高い領域はP型半導体領域である。反対に、N型の添加不純物濃度がP型の添加不純物濃度より高い領域はN型半導体領域である。
 本発明に係る光電変換装置及びその駆動方法の各実施形態に共通する構成について、図1から図5を用いて説明する。
 図1は、本発明の実施形態に係る積層型の光電変換装置100の構成を示す図である。光電変換装置100は、センサ基板11と、回路基板21の2つの基板が積層され、且つ電気的に接続されることにより構成される。センサ基板11は、後述する光電変換素子102を有する第1半導体層と、第1配線構造と、を有する。回路基板21は、後述する信号処理部103等の回路を有する第2半導体層と、第2配線構造と、を有する。光電変換装置100は、第2半導体層、第2配線構造、第1配線構造、第1半導体層の順に積層して構成される。各実施形態に記載の光電変換装置は、第1面から光が入射し、第2面に回路基板が配される、裏面照射型の光電変換装置である。
 以下では、センサ基板11と回路基板21とは、ダイシングされたチップで説明するが、チップに限定されない。例えば、各基板はウエハであってもよい。また、各基板はウエハ状態で積層した後にダイシングされていてもよいし、チップ化した後にチップを積層して接合してもよい。
 センサ基板11には、画素領域12が配され、回路基板21には、画素領域12で検出された信号を処理する回路領域22が配される。
 図2は、センサ基板11の配置例を示す図である。APDを含む光電変換素子102を有する画素101が平面視で二次元アレイ状に配列され、画素領域12を形成する。
 画素101は、典型的には、画像を形成するための画素であるが、TOF(Time of Flight)に用いる場合には、必ずしも画像を形成しなくてもよい。すなわち、画素101は、光が到達した時刻と光量を測定するための画素であってもよい。
 図3は、回路基板21の構成図である。図2の光電変換素子102で光電変換された電荷を処理する信号処理部103、読み出し回路112、制御パルス生成部115、水平走査回路部111、信号線113、垂直走査回路部110を有している。
 図2の光電変換素子102と、図3の信号処理部103は、画素毎に設けられた接続配線を介して電気的に接続される。
 垂直走査回路部110は、制御パルス生成部115から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部110にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
 画素の光電変換素子102から出力された信号は、信号処理部103で処理される。信号処理部103は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。
 水平走査回路部111は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを信号処理部103に入力する。
 信号線113には、選択されている列について、垂直走査回路部110により選択された画素の信号処理部103から信号が出力される。
 信号線113に出力された信号は、出力回路114を介して、光電変換装置100の外部の記録部または信号処理部に出力する。
 図2において、画素領域における光電変換素子の配列は1次元状に配されていてもよい。信号処理部の機能は、必ずしも全ての光電変換素子に1つずつ設けられる必要はなく、例えば、複数の光電変換素子によって1つの信号処理部が共有され、順次信号処理が行われてもよい。
 図2および図3に示すように、平面視で画素領域12に重なる領域に、複数の信号処理部103が配される。そして、平面視で、センサ基板11の端と画素領域12の端との間に重なるように、垂直走査回路部110、水平走査回路部111、列回路112、出力回路114、制御パルス生成部115が配される。言い換えると、センサ基板11は、画素領域12と画素領域12の周りに配された非画素領域とを有し、平面視で非画素領域に重なる領域に、垂直走査回路部110、水平走査回路部111、列回路112、出力回路114、制御パルス生成部115が配される。
 図4は、図2及び図3の等価回路を含むブロック図の一例である。
 図2において、APD201を有する光電変換素子102は、センサ基板11に設けられており、その他の部材は、回路基板21に設けられている。
 APD201は、光電変換により入射光に応じた電荷対を生成する光電変換部である。APD201のアノードには、電圧VL(第1電圧)が供給される。また、APD201のカソードには、アノードに供給される電圧VLよりも高い電圧VH(第2電圧)が供給される。アノードとカソードには、APD201がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。
 尚、逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きいな電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。
 ガイガーモードで動作させるAPDをSPADと呼ぶ。例えば、電圧VL(第1電圧)は、-30V、電圧VH(第2電圧)は、1Vである。APD201は、リニアモードで動作させてもよいし、ガイガーモードで動作させてもよい。SPADの場合はリニアモードのAPDに比べて電位差が大きくなり耐圧の効果が顕著となるため、SPADであることが好ましい。
 クエンチ素子202は、電圧VHを供給する電源とAPD201に接続される。クエンチ素子202は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD201に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。また、クエンチ素子202は、クエンチ動作で電圧降下した分の電流を流すことにより、APD201に供給する電圧を電圧VHへと戻す働きを持つ(リチャージ動作)。
 信号処理部103は、波形整形部210、カウンタ回路211、選択回路212を有する。本明細書において、信号処理部103は、波形整形部210、カウンタ回路211、選択回路212のいずれかを有していればよい。
 波形整形部210は、光子検出時に得られるAPD201のカソードの電位変化を整形して、パルス信号を出力する。波形整形部210としては、例えば、インバータ回路が用いられる。図4では、波形整形部210としてインバータを一つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。
 カウンタ回路211は、波形整形部210から出力されたパルス信号をカウントし、カウント値を保持する。また、駆動線213を介して制御パルスpRESが供給されたとき、カウンタ回路211に保持された信号がリセットされる。
 選択回路212には、図3の垂直走査回路部110から、図4の駆動線214(図3では不図示)を介して制御パルスpSELが供給され、カウンタ回路211と信号線113との電気的な接続、非接続を切り替える。選択回路212には、例えば、信号を出力するためのバッファ回路などを含む。
 クエンチ素子202とAPD201との間や、光電変換素子102と信号処理部103との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換素子102に供給される電圧VHまたは電圧VLの供給をトランジスタ等のスイッチを用いて電気的に切り替えてもよい。
 本実施形態では、カウンタ回路211を用いる構成を示した。しかし、カウンタ回路211の代わりに、時間・デジタル変換回路(Time to Digital Converter:以下、TDC)、メモリを用いて、パルス検出タイミングを取得する光電変換装置100としてもよい。このとき、波形整形部210から出力されたパルス信号の発生タイミングは、TDCによってデジタル信号に変換される。TDCには、パルス信号のタイミングの測定に、図1の垂直走査回路部110から駆動線を介して、制御パルスpREF(参照信号)が供給される。TDCは、制御パルスpREFを基準として、波形整形部210を介して各画素から出力された信号の入力タイミングを相対的な時間としたときの信号をデジタル信号として取得する。
 図5は、APDの動作と出力信号との関係を模式的に示した図である。
 図5(a)は、図4のAPD201、クエンチ素子202、波形整形部210を抜粋した図である。ここで、波形整形部210の入力側をnodeA、出力側をnodeBとする。図5(b)は、図5(a)のnodeAの波形変化を、図5(c)は、図5(a)のnodeBの波形変化をそれぞれ示す。
 時刻t0から時刻t1の間において、図5(a)のAPD201には、VH-VLの電位差が印加されている。時刻t1において光子がAPD201に入射すると、APD201でアバランシェ増倍が生じ、クエンチ素子202にアバランシェ増倍電流が流れ、nodeAの電圧は降下する。電圧降下量がさらに大きくなり、APD201に印加される電位差が小さくなると、時刻t2のようにAPD201のアバランシェ増倍が停止し、nodeAの電圧レベルはある一定値以上降下しなくなる。その後、時刻t2から時刻t3の間において、nodeAには電圧VLから電圧降下分を補う電流が流れ、時刻t3においてnodeAは元の電位レベルに静定する。このとき、nodeAにおいて出力波形がある閾値を越えた部分は、波形整形部210で波形整形され、nodeBで信号として出力される。
 なお、信号線113の配置、列回路112、出力回路114の配置は図3に限定されない。例えば、信号線113はが行方向に延びて配されており、列回路112が信号線113の延びる先に配されていてもよい。
 以下では、各実施形態の光電変換装置について説明する。
 (第1の実施形態)
 第1の実施形態にかかる光電変換装置について図6から図11までを用いて説明する。
 図6を用いて、第1の光電変換装置の比較例における画素の回路構成について説明する。図6に記載の第1の画素31と第2の画素32のそれぞれは、APD301、クエンチ回路302、信号検出回路303、を有する。また、第1の画素31と第2の画素32とに共通の読み出し回路304、信号線305、制御回路306を有する。
 各画素において、APD301はクエンチ回路302に接続され、APD301の出力端子は信号検出回路303に接続される。第1の画素31および第2の画素32のAPD301で光電変換された光子に基づく検出信号は、第1の画素31と第2の画素32とに共通の読み出し回路304及び制御回路306を介して、画素信号として信号線305に出力される。制御回路306は、第1の画素31および第2の画素32の信号検出回路303の出力信号に基づき、読み出し回路304にパルス信号を出力するか否かを制御する。制御回路306は、例えば組み合わせ回路や順序回路によって構成される。
 制御回路306の動作の一例として、第1の画素31と第2の画素32に同時ないし近接したタイミングで光子に基づく信号が検出された場合に、読み出し回路304にパルス信号を出力する動作がある。これにより、時間および空間的な相関の高い光子信号を選択的に読み出し、時間および空間的な相関の弱い光子信号をフィルタリングする。TOF法においては、信号光は時間および空間的な相関が強く、偽信号となる外光や暗電流はランダムに入射するため時間および空間的な相関が弱い。したがって、時間および空間的な相関が弱い信号をフィルタリングすることで、信号光と外光ないし暗電流とを効率よく峻別することができる。ただし、図6で示された回路構成を採用する場合、APD301の個数に対して信号線305に出力される画素信号の個数が少なくなるため、空間解像度が低下するという課題があった。
 図7は、本実施形態に係る光電変換装置における2画素あたりのブロック図の一例である。図6で示した従来の回路構成と異なり、第1の画素31と第2の画素32のそれぞれに対して読み出し回路304と制御回路306が設けられている。
 本実施形態に係る光電変換装置において、第1の画素31の制御回路306(第1の制御回路)は、制御線308を介して入力される第2の画素32の信号検出回路303(第2の検出回路)の出力(第2の検出信号)に基づいて、第1の画素31の信号検出回路303(第1の検出回路)の出力(第1の検出信号)を第1の画素31の読み出し回路304(第1の出力回路)に入力するか否かを制御する。また、第2の画素32の制御回路306(第2の制御回路)は、制御線307を介して入力される第1の画素31の信号検出回路303の出力に基づいて、第2の画素32の信号検出回路303の出力を第2の画素32の読み出し回路304(第2の出力回路)に入力するか否かを制御する。
 第1の画素31の制御回路306の動作の一例として、第1の画素31と第2の画素32が同時ないし近接したタイミングで光子を検出した場合に、第1の画素31の読み出し回路304に第1の画素信号であるパルス信号を出力する動作が挙げられる。同様に、第2の画素32の制御回路306の動作の一例として、第1の画素31と第2の画素32が同時ないし近接したタイミングで光子信号を検出した場合に、第2の画素32の読み出し回路304に第2の画素信号であるパルス信号を出力する動作が挙げられる。第1の画素31の制御回路306は、第2の画素32以外の画素の信号検出回路303の出力に基づいて信号の出力を制御してもよい。また、第2の画素32の制御回路306は、第1の画素31以外の画素の信号検出回路303の出力に基づいて信号の出力を制御してもよい。各画素において読み出し回路304にパルス信号が出力される光子検出のタイミングについては後述する。
 図7に示すような回路構成を適用することにより、各画素のAPD301で検出された光子信号の時間および空間的な相関の強さを画素毎に判定することができるため、空間解像度を低下させることなく、偽信号を抑制することが可能となる。
 図8に、本実施形態の1画素あたりの回路図の例を示す。
 第1の画素31、第2の画素32、第3の画素33が1次元方向にアレイ状に配置された光電変換装置の第1の画素31を例に挙げて説明する。第1の画素31のAPD301(第1の光電変換部)は、P型トランジスタからなる第1のクエンチ素子であるクエンチ回路302に接続される。クエンチ回路302は、APD301に流れる電流を制御するために配置された素子であり、抵抗素子や容量素子、または複数のトランジスタを組み合わせた回路等を用いてもよい。信号検出回路303は、波形整形を行うインバータ回路401を含むが、抵抗素子や容量素子、または複数のトランジスタを組み合わせた回路等を用いてもよい。信号検出回路303の出力パルス信号の幅tdは、APD301の復帰時間に応じて決められる。
 読み出し回路304には、N型トランジスタからなるプルダウン回路405が配されている。信号線305はプルアップ回路406を介して“H”レベルにリセットされており、プルダウン回路405にパルス信号が入力されると、“L”レベルに切り替えられる。
 制御回路306は第1の論理回路402、第2の論理回路403、第3の論理回路404を含む。図8において第1の論理回路402、第2の論理回路403、第3の論理回路404はいずれもNAND回路である。例えば第1の論理回路402は第1の画素31のインバータ回路401の出力信号と、第3の画素33のインバータ回路401の出力信号との否定論理積をとる。同様に、第2の論理回路403は第1の画素31のインバータ回路401の出力信号と、第2の画素32のインバータ回路401の出力信号との否定論理積をとる。第3の論理回路404は第1の論理回路402と第2の論理回路403との出力信号の否定論理積を取る。
 制御回路306の動きの一例を挙げる。制御回路306は、第1の画素31の信号検出回路303が“H”レベルを出力しているときに、隣接する第2の画素32および画素33から入力される信号のうち少なくとも一方が“H”レベルであれば、読み出し回路304に対して“H”レベルを出力する。これにより、第1の画素31がある時刻t0で光子を検出したとき、時刻t0-tdから時刻t0+tdまでの間に第2の画素32又は第3の画素33のいずれかが光子を検出した場合に、第1の画素31で検出された信号は真の信号であると判定される。つまり、検出回路303の出力パルス信号2つ分の期間である2tdの期間を前述の近接したタイミングとみなしている。第1の画素31は読み出し回路304にパルス信号を出力することができる。また、第1の画素31の信号検出回路303の出力は、制御線309を介して隣接する第2の画素32と第3の画素33の制御回路306に接続される。このような画素回路を鎖状に並べてアレイ配置することで、各画素で検出された光子に基づく信号の時間および空間的な相関の強さを画素毎に判定し、真の信号と偽信号の峻別を行うことができる。
 制御回路306の構成は図8に示すものに限られず、同様の動作が可能な構成であればよい。例えば第1の論理回路402、第2の論理回路403をAND回路、第3の論理回路404をOR回路としてもよい。
 図9は、本実施形態にかかる光電変換装置の画素の動作を示すタイミング図である。なお、図8のAPD301のカソード電位をVC、信号検出回路303の出力端子の電位をV1、制御線308の電位をV2、制御線309の電位をV3、制御回路306の出力端子の電位をV4、信号線305に出力される電位をV5とする。Photon1、Photon2、Photon3はそれぞれ、第1の画素31、第2の画素32、第3の画素33のAPD301に光子が入射するタイミングを示す。
 カソード電位VCは、APD301の出力端子の電位であり、時刻t1、t4、t7においてPhoton1のタイミングに応じて起こる光電変換によって変化する。
 V1はカソード電位VCの変化がインバータ回路401によって波形整形された後の信号波形を示す。同様に、V2はPhoton2のタイミングに応じて生成されるパルスであり、V3はPhoton3のタイミングに応じて生成されるパルスである。
 V4はV1が“H”レベルであり、かつV2とV3のいずれかが“H”レベルとなる期間において、“H”レベルとなる。V5はV4の反転論理である。
 時刻t1でAPD301に入射したPhoton1により、期間t1~t2ではV1が“H”レベルとなる。しかし、近接したタイミングでV2とV3は“L”レベルであるため、V4は“H”レベルにならず、光子検出パルスはV5に出力されない。
 一方、時刻t4に入射したPhoton1により、期間t4~t6でV1が“H”レベルとなる。期間t3~t4は前述のパルス幅tdよりも短く、時刻t3は期間t4―td~t4+tdの範囲内の時刻である。すなわち、時刻t4に近接したタイミングである時刻t3にPhoton2が入射し、期間t3~t5でV2が“H”レベルとなるため、t4~t5の期間にV4が“H”レベルとなり、信号検出パルスがV5に出力される。
 同様に、時刻t7で入射したPhoton1は、近接したタイミングである時刻t8にPhoton3が入射し、期間t8~t9でV3が“H”レベルとなるため、期間t8~t9の間信号検出パルスがV5に出力される。なお、時刻t10に入射するPhoton2およびPhoton3により、期間t10~t11にV2とV3が“H”レベルになるが、近接したタイミングでV1が“H”レベルとならないため、この期間では光子検出パルスはV5に出力されない。
 本実施形態においては、隣接画素が近接したタイミングで信号を検出した場合の信号を真の信号とみなし、それ以外の信号を偽信号とみなすような回路構成をとっている。これに対し、例えば隣接画素が近接したタイミングで信号を検出した場合に、先に検出した信号を偽信号とみなし、後に検出した信号を真の信号とみなす等、検出の順番を考慮して真の信号と偽信号との峻別を行う回路構成をとってもよい。
 図10に、本実施形態に係る光電変換装置の画素アレイの制御関係を示す。
 上下方向に配された1次元アレイの中央付近に配置された画素に注目する場合、注目画素の制御回路は上下の隣接画素によって制御される。本実施形態では、注目画素の制御回路は、隣接画素以外の画素には制御されない。
 また、上下方向に配された1次元アレイの上端に配置された画素に注目する場合、注目画素の制御回路は下側の隣接画素のみによって制御される。アレイ端部に配された画素は、アレイの中央付近に配置された画素と比べ、隣接する画素の数が少ない。そのため、注目画素の制御回路を制御する画素も少なくなる。注目画素の制御回路を少ない画素で制御する場合、十分な画素を用いて制御画素を制御する場合と比べて真の信号を正しく検出できない、または偽信号を出力する可能性が高くなる。したがって、例えば最外周の画素は後段の画像処理に使用しないといった対策をとることができる。
 (第2の実施形態)
 第2の実施形態にかかる光電変換装置について、図11及び図12を用いて説明する。本実施形態は、信号検出回路303と制御回路306の内部の回路構成において第1の実施形態と異なっている。第1の実施形態と共通する説明は省略し、主に第1の実施形態と異なる部分について説明する。
 図11は、本実施形態の1画素あたりの回路図の例を示す。第1の実施形態と同様に、第1の画素31、第2の画素32、第3の画素33が1次元方向にアレイ状に配置された光電変換装置の第1の画素31を例に挙げて説明する。第1の画素31のAPD301の出力信号は第1の信号検出回路303に入力される。また、第1の制御回路306は、第2の画素32および第3の画素33の信号検出回路303の出力に応じて、第1の信号検出回路303の出力を第1の読み出し回路304に入力するか否かを制御する。
 本実施形態の信号検出回路303は、インバータ回路401とパルス短化回路407を含んで構成される。パルス短化回路407は、入力信号に応じて、入力信号のパルス幅よりも短い、あらかじめ決められたパルス幅のパルス信号を生成する回路である。一例として、モノステーブル回路等が用いられるが、その他の組み合わせ回路や順序回路、容量結合素子などを用いてもよい。信号検出回路303の出力は2系統に分かれており、インバータ回路401の出力は制御線307に直接接続され、パルス短化回路407の出力は制御回路306に入力される。
 制御回路306は論理回路408を含む。制御線308および制御線309を介して入力される信号がともに“L”レベルとなっている時にのみ、パルス短化回路407の出力信号が読み出し回路304に出力される。
 図12は、本実施形態にかかる光電変換装置の画素の動作を示すタイミング図である。図11のインバータ回路401の出力端子の電位をV1、パルス短化回路407の出力端子の電位をV1’とする。時刻t1、t5、t8でAPD301に入射するPhoton1信号に応じて、カソード電位VCにパルス波が生成される。V1はカソード電位VCの変化がインバータ回路401によって波形整形された後の信号波形を示す。V1’にはV1が短化されたパルス信号が生成される。
 時刻t1でAPD301に入射したPhoton1により、期間t1~t2ではV1’が“H”レベルになる。近接したタイミングでV2とV3は“L”レベルであるため、V4は“H”レベルになり、光子検出パルスがt1~t2の期間にV5に出力される。
 時刻t5で入射したPhoton1により、期間t5~t7でV1が“H”レベルとなる。近接したタイミングである時刻t4でPhoton2が入射し、V2がV1よりも先に“H”レベルとなっているため、V4は“L”レベルになり、光子検出パルスはV5に出力されない。
 時刻t8で入射したPhoton1は、近接したタイミングである時刻t9にPhoton3が入射し、V3が“H”レベルとなる。しかし、V3が“L”レベルである期間t8~t9の間にPhoton1に基づく信号が検出されているため、期間t8~t9の間光子検出パルスがV5に出力される。
 本実施形態では、隣接画素が近接したタイミングで信号を検出した場合、先に検出した信号を真の信号とみなし、後に検出した信号を偽信号とみなすように、検出の順番を考慮して真の信号と偽信号を峻別する回路構成をとっている。
 TOF法による測距においては、前述の外光ないし暗電流による偽信号の他にも、信号品質を低下させうる要因が考えられる。例えば発光光のTOFモジュール筐体内での反射に起因する光源と受光素子間のクロストークや、アバランシェ発光現象に起因する画素間のクロストーク等の偽信号によって、信号品質が低下する可能性がある。このようなクロストーク成分による信号は、時間および空間的な相関が非常に強いことが知られている。
 本実施形態においては、時間および空間的な相関が弱い信号を真の信号として読み出し、時間および空間的な相関が強い信号を偽信号とみなしてフィルタリングする。これにより、高い空間解像度を実現しながら、クロストークによる偽信号を抑制することができる。さらに、パルス短化回路407を設けることで近接したタイミングとして光子を峻別する期間が短くなる。これにより、より時間的な相関が強い信号を偽信号としてフィルタリングすることができる。
 本実施形態を実現する回路構成及び回路動作は前述の構成に限られず、例えば近接したタイミングで信号を検出した場合、検出の順番に関わらず偽信号とみなす回路構成によって時間および空間的な相関が強い信号をフィルタリングしてもよい。
 (第3の実施形態)
 本発明の第3の実施形態にかかる光電変換装置について、図13から図15までを用いて説明する。本実施形態にかかる光電変換装置は、画素が2次元状にアレイ配置されている点において第1の実施形態と異なっている。第1の実施形態と共通する説明は省略し、主に第1の実施形態と異なる部分について説明する。
 図13は、本実施形態の1画素あたりの回路図の例を示す。上下に隣接する第2の画素32と第3の画素33、および左右に隣接する第4の画素34と第5の画素35に囲まれた第1の画素31を例に挙げて説明する。言い換えれば、第1の画素31と第2の画素32とは第1の方向に並び、第2の画素32と第4の画素34とは第1の方向に交差する第2の方向に並ぶ。第1の画素31と第5の画素35とは第1の方向に交差する第3の方向に並ぶ。第1の画素31は、APD301(第1の光電変換部)と、第1の検出信号を出力する信号検出回路303(第1の検出回路)と制御回路306(第1の制御回路)を有する。同様に、第2の画素32は、APD301(第2の光電変換部)と、第2の検出信号を出力する信号検出回路303(第2の検出回路)と制御回路306(第2の制御回路)を有する。第3の画素33は、APD301(第3の光電変換部)と、第3の検出信号を出力する信号検出回路303(第3の検出回路)と制御回路306(第3の制御回路)を有する。第4の画素34は、APD301(第4の光電変換部)と、第4の検出信号を出力する信号検出回路303(第4の検出回路)と制御回路306(第4の制御回路)を有する。第5の画素31は、APD301(第5の光電変換部)と、第5の検出信号を出力する信号検出回路303(第5の検出回路)と制御回路306(第5の制御回路)を有する。
 第1の画素31の制御回路306は、第2~第5の画素のそれぞれの信号検出回路303の出力信号に応じて、第1の画素31の信号検出回路303の出力信号を第1の画素31の読み出し回路304に入力するか否かを制御する。また、第1の画素31の信号検出回路303の出力信号は制御線307を介して第2の画素32、第3の画素33、第4の画素34、第5の画素35の制御回路306に入力される。
 本実施形態の信号検出回路303は、波形整形を行うインバータ回路501と、ゲート回路502(第1の選択回路)を含んで構成される。ゲート回路502は、画素の外部から入力されるゲート信号VGが“H”レベルの期間にインバータ回路501の出力信号を制御回路306に出力する。一方、ゲート信号VGが“L”レベルの期間はインバータ回路501の出力信号を制御回路306に出力しない。ゲート信号VGとして例えばナノ秒ないしピコ秒レベルのパルスを入力することで、注目する期間の間に入射した光子信号のみを選択的に検出することができる。
 本実施形態における読み出し回路304は、カウンタ回路505と出力回路506を含んで構成される。カウンタ回路505は、入力パルス数をカウントすることで、第1の画素31が検出する光子の入射強度を測定する。カウンタ回路505の一例として、多bitのデジタルカウンタ等があげられるが、1bitのデジタルメモリや、容量素子を用いたアナログメモリ等を用いてもよい。カウンタ回路505と出力回路506とはカウンタ回路505のbit数に応じた数の配線で接続される。出力回路506は、画素外部から入力される選択信号を受けて、カウンタ回路505から出力される信号を信号線305に出力する。
 本実施形態における制御回路306は、論理回路503および論理回路504を含んで構成される。制御回路306の一例として、論理回路503は4本の信号線308、309、310、311の論理和をとっており、論理回路504は、ゲート回路502の出力と論理回路503の出力の論理積をとっている。このような回路構成をとることで、第1の画素31と、第2の画素32、第3の画素33、第4の画素34、第5の画素35のうち少なくとも1つの画素とが近接したタイミングで光子を検出した場合の信号を真の信号とみなすことができる。なお、論理回路503および論理回路504については、OR回路やAND回路のかわりにNOR回路やNAND回路を用いてもよいし、その他の組み合わせ回路や順序回路を用いて構成してもよい。
 図14は、本実施形態にかかる光電変換装置の画素の動作を示すタイミング図である。なお、図13のクエンチ素子に入力される電位をVR、インバータ回路501の出力の出力端子の電位をV0、制御回路306の出力端子の電位をV6、カウンタ回路505の出力端子をV7とする。Photon1~Photon5はそれぞれ、第1~第5の画素のAPD301に光子が入射するタイミングを示す。
 時刻t1においてVRを“L”レベルにする。時刻t10でVRを再び“L”レベルにするまでを単位時間とする。電位VRはクエンチ素子の抵抗値を切り替えることでAPD301のカソード電位VCをリセットするリセット信号である。
 時刻t2にVGを“H”レベルとする。VGが“H”レベルである期間t2~t5の間、インバータ回路501の出力信号が制御回路306に出力される。言い換えれば、VGが“H”レベルである期間はAPD301に入射する光子に基づく検出信号の検出期間であり、VGが“L”レベルである期間は検出信号の非検出期間である。
 時刻t3でAPD301にPhoton1が入射し、カソード電位VCにパルス波が生成される。カソード電位VCの変化に伴いインバータ回路501の出力V0が遷移し、期間t3~t5においてV1が“H”レベルになる。
 時刻t3に近接したタイミングである時刻t4でAPD301にPhoton4が入射し、V4が“H”レベルとなる。時刻t4~t5でV1とV4とが“H”レベルであるため、V6は“H”レベルになり、カウンタ回路505のカウント値が変化する。
 時刻t6と時刻t8でPhoton1、時刻t7でPhoton2、時刻t9でPhoton3、時刻t10でPhoton5が入射する。なお、VGが“L”レベルであるため、各画素のインバータ回路501の出力信号は制御回路306に出力されない。
 図15に、本実施形態にかかる光電変換装置の画素アレイの制御関係を示す。
 2次元アレイの中央付近に配置された画素に注目する場合、注目画素の制御回路は上下左右の4つの隣接画素によって制御される。本実施形態では、注目画素の制御回路は、例えば対角方向に配された画素など、隣接画素以外の画素には制御されない。
 また、2次元アレイの右端に配置された画素に注目する場合、注目画素の制御回路は上下に配された画素及び注目画素の左側に接する画素の3つの隣接画素のみによって制御される。アレイの最外周に配された画素は、アレイの最外周以外に配置された画素と比べ、隣接する画素の数が少ない。そのため、注目画素の制御回路を制御する画素も少なくなる。注目画素の制御回路を少ない画素で制御する場合、十分な画素を用いて制御画素を制御する場合と比べて真の信号を正しく検出できない、または偽信号を出力する可能性が高くなる。したがって、例えば最外周の画素は後段の画像処理に使用しないといった対策をとることができる。
 本実施形態においては、隣接する4画素のいずれかと近接したタイミングで信号を検出した場合の信号を真の信号とみなし、それ以外の信号を偽信号とみなすような回路構成をとっている。2次元アレイに対して本実施形態を適用することで、X方向およびY方向に対する信号の空間相関の強さを画素毎に判定できるようになり、1次元アレイを用いる場合よりも偽信号抑制の精度を高めることができる。
 (第3の実施形態の変形例)
 第3の実施形態の変形例について、図16A~図16Dを用いて説明する。
 図16A~図16Dに、本変形例における画素アレイの制御関係を示す。画素回路の構成と駆動タイミングについては、第3の実施形態に準ずる。第3の実施形態と異なる点として、注目画素を制御する画素の配置が異なることが挙げられる。以下にパターン1からパターン4の4種類の接続関係について説明する。
 図16Aに示されたパターン1の接続関係では、注目画素の制御回路306は注目画素の周囲を囲む8画素により制御される。注目画素の周囲を囲む8画素とは、注目画素の上下左右に隣接する4画素と、注目画素の対角方向に配された4画素である。注目画素を制御する画素の数が第3の実施形態よりも多いため、光の利用効率が高まり、より微弱な信号でも精度よく検出することができる。
 図16Bに示されたパターン2では、注目画素の制御回路306は対角方向に配置された4画素により制御され、最近接である上下左右の4画素には制御されない。APDを用いた画素アレイにおいては、アバランシェ発光に起因するクロストークにより、最近接の画素に対して時間相関の強い偽信号が発生しやすい。図16Bに示したような制御関係をとることで、クロストーク成分の影響を抑制しながら、時間および空間的な相関が強い信号を精度よく検出することが可能となる。
 図16Cに示されたパターン3では、注目画素に直接接していない、注目画素から2画素分離れた画素を含む12画素によって注目画素の制御回路306が制御される。このような制御関係をとることで、光学レンズによるぼけや被写体ぶれによって信号の空間相関が低下した場合でも、時間相関の強い信号を精度よく検出することが可能となる。
 図16Dに示されたパターン4では、注目画素の制御回路306を制御する画素がX方向およびY方向に対して偏った配置をとっている。具体的には注目画素の下方向及び左方向に隣接する画素と、注目画素の左下方向に配された画素の3画素によって注目画素の制御回路306が制御される。このような制御関係をとることで、光学系や被写体の特徴ないし制約によって、検出したい信号の空間相関が非対称である場合においても、精度よく真の信号と偽信号を峻別することが可能となる。なお、図16Dに示されたパターンを2次元画素アレイに適用する場合、「注目画素を制御する画素群」と「注目画素により制御される画素群」は必ずしも一致しなくなる。言い換えれば、注目画素を制御する画素の数と、注目画素により制御される画素の数とは同数に限られない。しかし、本実施形態の効果は図15、図16A~図16Dに示したパターンと同様に得ることができる。
 (第4の実施形態)
 本発明の第4の実施形態について、図17及び図18A、図18Bを用いて説明する。
 図17は、本実施形態の1画素あたりの回路図の例を示す。本実施形態は、制御回路306内部の回路構成において第3の実施形態と異なっている。第1~第3の実施形態と共通する説明は省略し、主に第3の実施形態と異なる部分について説明する。
 本実施形態における制御回路306は、マルチプレクサ回路508と論理回路509を含んで構成されている。
 マルチプレクサ回路508は、画素外から入力される信号Sに応じて、制御回路306の機能のEnable/Disableを切り替えることができる。制御回路306の機能をEnable化した場合、第1の画素31の制御回路306は、隣接する第2~第5の画素の信号に応じて、第1の画素31の信号検出回路303の出力を第1の画素31の読み出し回路304に出力するか否かを制御する。制御回路306の機能をDisable化した場合、第1の画素31の信号検出回路303の出力は、隣接する画素の出力に関係なく、第1の画素31の読み出し回路304に直接出力される。
 論理回路509の一例としては、第3の実施形態と同様に、隣接する画素の信号検出回路303の出力の論理和をとった後に、論理和の出力と第1の画素31の信号検出回路303の出力の論理積をとるような回路構成が考えられる。論理回路509は、隣接する画素のうちN画素以上(Nは2以上の整数)の信号検出回路303の出力が“H”レベルの場合のみ、第1の画素31の信号検出回路303の出力を第1の画素31の読み出し回路304に出力するような回路構成をとってもよい。論理回路509は、第1の画素31と第1の画素31に隣接する画素のうちN画素以上(Nは2以上の整数)の信号検出回路303の出力が“H”レベルの場合のみ、第1の画素31の読み出し回路304に“H”レベルを出力するような回路構成をとってもよい。さらに、制御回路306の制御に関与する隣接画素の配置に応じて信号検出回路303の出力に重みづけを行う構成も考えられる。例えば、“H”レベルとなる信号の重みづけ加算値が一定の閾値Mを超えた場合にのみ、第1の画素31の信号検出回路303の出力を第1の画素31の読み出し回路304に出力するような回路構成をとってもよい。上記閾値NおよびMのそれぞれは、あらかじめ決められた値でもよいし、画素の外部から書き換え可能な変数としてもよい。
 さらに、本実施形態の信号検出回路303は、インバータ回路501、ゲート回路502、およびラッチ回路507(第1のラッチ回路)を含んで構成される。ラッチ回路507は、ゲート信号VGが“H”レベルとなる期間に光子を検出した場合に“H”レベル状態にラッチされる。次にリチャージ信号VRが“L”レベルとなったときにラッチ回路507も“L”レベル状態にリセットされる。このように、光子検出に基づく信号をラッチ回路507で保持することにより、第1の画素31および隣接画素の回路のタイミングばらつきが発生した場合でも、精度よく真の信号と偽信号の峻別を行うことができる。
 図18A、図18Bは、本実施形態にかかる光電変換装置の画素の動作を示すタイミング図である。図18Aに制御回路をEnable化した第1の駆動モードのタイミング図を示し、図18Bに制御回路をDisable化した第2の駆動モードのタイミング図を示す。
 図18Aの時刻t1においてVRを“L”レベルにする。時刻t10でVRを再び“L”レベルにするまでを単位時間とする。
 時刻t2にVGを“H”レベルとする。VGが“H”レベルである期間t2~t5の間、インバータ回路501の出力信号が制御回路306に出力される。
 時刻t3でAPD301にPhoton1が入射し、カソード電位VCにパルス波が生成される。カソード電位VCの変化に伴いインバータ回路501の出力V0が遷移し、期間t3~t5においてV1が“H”レベルになる。
 時刻t3に近接したタイミングである時刻t4でAPD301にPhoton4が入射し、V4が“H”レベルとなる。時刻t4~t5でV1とV4とが“H”レベルであるため、V6は“H”レベルになり、光子検出パルスがt1~t2の期間にV5に出力される。
 時刻t6と時刻t8でPhoton1、時刻t7でPhoton2、時刻t9でPhoton3、時刻t10でPhoton5が入射する。なお、VGが“L”レベルであるため、インバータ回路501の出力信号は制御回路306に出力されない。
 図18Bでも図18Aと同様に時刻t1でVRを“L”レベルにする。時刻t10でVRを再び“L”レベルにするまでを単位時間とする。
 時刻t2にVGを“H”レベルとする。VGが“H”レベルである期間t2~t5の間、インバータ回路501の出力信号が制御回路306に出力される。
 時刻t3でAPD301にPhoton1が入射し、カソード電位VCにパルス波が生成される。カソード電位VCの変化に伴いインバータ回路501の出力V0が遷移し、V1が“H”レベルになると、V6も“H”レベルになり、光子検出パルスがt3~t5の期間にV5に出力される。
 時刻t6と時刻t8でPhoton1、t4でPhoton4、時刻t7でPhoton2、時刻t9でPhoton3、時刻t10でPhoton5が入射するが、これらの信号はV6の変化に寄与しない。なお、VGが“L”レベルであるため、インバータ回路501の出力信号は制御回路306に出力されない。
 第2の実施形態では、隣接画素が近接したタイミングで信号を検出した場合、先に検出した信号を真の信号とみなし、後に検出した信号を偽信号とみなすことでクロストーク成分による信号をフィルタリングする構成を示した。それに対し、本実施形態では、隣接画素が近接したタイミングで信号を検出した場合、先に検出した信号を偽信号とみなし、後に検出した信号を真の信号とみなすことで外光成分による信号をフィルタリングすることも可能である。
 本実施形態では、時間および空間的な相関の強さに基づいて真の信号と偽信号の峻別を行う駆動モードと、時間および空間的な相関の強さに関わらず信号を出力する駆動モードを切り替えることができる。シーンに応じて最適な駆動モードを選択することで、撮影時の信号品質を高めることが可能となる。
 (第5の実施形態)
 第5の実施形態にかかる光電変換装置について図19A~図19Cを用いて説明する。図19A~図19Cは本実施形態にかかる光電変換装置の画素アレイの制御関係を示す図である。本実施形態にかかる光電変換装置では、制御回路の制御に関わる画素との接続関係の異なる画素が混在している。
 図19Aに示すように、2次元アレイに画素Aと画素Bが配されている。画素Aと画素Bとは制御回路の制御に関わる画素との接続関係が異なる。図19Aでは、画素Aが並んだ画素行と画素Bが並んだ画素行とが1行ごとに交互に配されている。
 図19Bに画素Aの制御関係、図19Cに画素Bの制御関係を示す。画素Aの制御回路は注目画素の左右に隣接する2画素によって制御される。一方、画素Bの制御回路は注目画素の配された行の1行分の画素によって制御される。図19Aに示すような画素Aが並んだ画素行と画素Bが並んだ画素行とが1行ごとに交互に配された配置では、画素Aは画素A同士で、画素Bは画素B同士で接続される。
 画素Aと画素Bとは制御に関与する画素の数および配置位置が異なるため、検出される信号の空間相関の強度も異なる。このような光電変換装置によれば、空間相関の強い信号と弱い信号を同時に取得できるため、真の信号と偽信号の峻別の精度を高めることが可能となる効果が得られる。
 (第5の実施形態の変形例)
 第5の実施形態の変形例について、図20A~図20Cを用いて説明する。
 図20A~図20Cに、本変形例における画素アレイの制御関係を示す。制御回路の制御に関わる画素との接続関係の異なる画素が混在する点は第5の実施形態と共通しているが、接続関係の異なる画素同士が接続される点で第5の実施形態と異なっている。
 図20Aに示すように、2次元アレイに画素Aと画素Bが配されている。画素Aと画素Bとは制御回路の制御に関わる画素との接続関係が異なる。図20Aでは、画素Aと画素Bとが交互に配されている。
 図20Bに画素Aの制御関係、図20Cに画素Bの制御関係を示す。画素Aの制御回路は注目画素の上下左右に隣接する4画素によって制御される。一方、画素Bの制御回路は注目画素の対角に配された4画素と注目画素から2画素分離れた4画素の計8画素によって制御される。図20Aに示すような画素Aと画素Bとが交互に配された配置では、画素Aと画素Bとが互いに制御回路の制御のため接続される。
 画素Aと画素Bとは制御に関与する画素の数および配置位置が異なるため、検出される信号の空間相関の強度も異なる。このような光電変換装置によれば、空間相関の強い信号と弱い信号を同時に取得できるため、真の信号と偽信号の峻別の精度を高めることが可能となる効果が得られる。
 (第6の実施形態)
 本実施形態による光電変換システムについて、図21を用いて説明する。図21は、本実施形態による光電変換システムの概略構成を示すブロック図である。
 上記第1~第6実施形態で述べた光電変換装置は、種々の光電変換システムに適用可能である。適用可能な光電変換システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、光電変換システムに含まれる。図21には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
 図21に例示した光電変換システムは、光電変換装置の一例である撮像装置1004、被写体の光学像を撮像装置1004に結像させるレンズ1002を備える。さらに、レンズ1002を通過する光量を可変にするための絞り1003、レンズ1002の保護のためのバリア1001を有する。レンズ1002及び絞り1003は、撮像装置1004に光を集光する光学系である。撮像装置1004は、上記のいずれかの実施形態の光電変換装置であって、レンズ1002により結像された光学像を電気信号に変換する。
 光電変換システムは、また、撮像装置1004より出力される出力信号の処理を行うことで画像を生成する画像生成部である信号処理部1007を有する。信号処理部1007は、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部1007は、撮像装置1004が設けられた半導体基板に形成されていてもよいし、撮像装置1004とは別の半導体基板に形成されていてもよい。
 光電変換システムは、更に、画像データを一時的に記憶するためのメモリ部1010、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1013を有する。更に光電変換システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体1012、記録媒体1012に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1011を有する。なお、記録媒体1012は、光電変換システムに内蔵されていてもよく、着脱可能であってもよい。
 更に光電変換システムは、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部1009、撮像装置1004と信号処理部1007に各種タイミング信号を出力するタイミング発生部1008を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システムは少なくとも撮像装置1004と、撮像装置1004から出力された出力信号を処理する信号処理部1007とを有すればよい。
 撮像装置1004は、撮像信号を信号処理部1007に出力する。信号処理部1007は、撮像装置1004から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部1007は、撮像信号を用いて、画像を生成する。
 このように、本実施形態によれば、上記のいずれかの実施形態の光電変換装置(撮像装置)を適用した光電変換システムを実現することができる。
 (第7の実施形態)
 本実施形態の光電変換システム及び移動体について、図22A、図22Bを用いて説明する。図22A、図22Bは、本実施形態の光電変換システム及び移動体の構成を示す図である。
 図22Aは、車載カメラに関する光電変換システムの一例を示したものである。光電変換システム1300は、撮像装置1310を有する。撮像装置1310は、上記のいずれかの実施形態に記載の光電変換装置である。光電変換システム1300は撮像装置1310により取得された複数の画像データに対し画像処理を行う画像処理部1312と、光電変換システム1300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部1314を有する。また、光電変換システム1300は、算出された視差に基づいて対象物までの距離を算出する距離取得部1316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部1318と、を有する。ここで、視差取得部1314や距離取得部1316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部1318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。
 また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
 光電変換システム1300は車両情報取得装置1320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム1300は、衝突判定部1318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御部である制御ECU1330が接続されている。また、光電変換システム1300は、衝突判定部1318での判定結果に基づいて、ドライバーへ警報を発する警報装置1340とも接続されている。例えば、衝突判定部1318の判定結果として衝突可能性が高い場合、制御ECU1330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置1340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザーに警告を行う。
 本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム1300で撮像する。図22Bに、車両前方(撮像範囲1350)を撮像する場合の光電変換システムを示した。車両情報取得装置1320が、光電変換システム1300ないしは撮像装置1310に指示を送る。このような構成により、測距の精度をより向上させることができる。
 上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、光電変換システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
 (第8の実施形態)
 本実施形態の光電変換システムについて、図23を用いて説明する。図23は、本実施形態の光電変換システムである距離画像センサの構成例を示すブロック図である。
 図23に示すように、距離画像センサ401は、光学系407、光電変換装置408、画像処理回路404、モニタ405、およびメモリ406を備えて構成される。そして、距離画像センサ401は、光源装置409から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
 光学系407は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光電変換装置408に導き、光電変換装置408の受光面(センサ部)に結像させる。
 光電変換装置408としては、上述した各実施形態の光電変換装置が適用され、光電変換装置408から出力される受光信号から求められる距離を示す距離信号が画像処理回路404に供給される。
 画像処理回路404は、光電変換装置408から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像(画像データ)は、モニタ405に供給されて表示されたり、メモリ406に供給されて記憶(記録)されたりする。
 このように構成されている距離画像センサ401では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
 (第9の実施形態)
 本実施形態の光電変換システムについて、図24を用いて説明する。図24は、本実施形態の光電変換システムである内視鏡手術システムの概略的な構成の一例を示す図である。
 図24では、術者(医師)1131が、内視鏡手術システム1150を用いて、患者ベッド1133上の患者1132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム1150は、内視鏡1100と、術具1110と、内視鏡下手術のための各種の装置が搭載されたカート1134と、から構成される。
 内視鏡1100は、先端から所定の長さの領域が患者1132の体腔内に挿入される鏡筒1101と、鏡筒1101の基端に接続されるカメラヘッド1102と、から構成される。図示する例では、硬性の鏡筒1101を有するいわゆる硬性鏡として構成される内視鏡1100を図示しているが、内視鏡1100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒1101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡1100には光源装置1203が接続されており、光源装置1203によって生成された光が、鏡筒1101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者1132の体腔内の観察対象に向かって照射される。なお、内視鏡1100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド1102の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)1135に送信される。
 CCU1135は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡1100及び表示装置1136の動作を統括的に制御する。さらに、CCU1135は、カメラヘッド1102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置1136は、CCU1135からの制御により、当該CCU1135によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置1203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡1100に供給する。
 入力装置1137は、内視鏡手術システム1150に対する入力インターフェースである。ユーザーは、入力装置1137を介して、内視鏡手術システム1150に対して各種の情報の入力や指示入力を行うことができる。
 処置具制御装置1138は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具1112の駆動を制御する。
 内視鏡1100に術部を撮影する際の照射光を供給する光源装置1203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置1203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド1102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置1203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド1102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置1203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置1203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (第10の実施形態)
 本実施形態の光電変換システムについて、図25A、図25Bを用いて説明する。図25Aは、本実施形態の光電変換システムである眼鏡1600(スマートグラス)を説明する。眼鏡1600には、光電変換装置1602を有する。光電変換装置1602は、上記の各実施形態に記載の光電変換装置である。また、レンズ1601の裏面側には、OLEDやLED等の発光装置を含む表示装置が設けられていてもよい。光電変換装置1602は1つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置1602の配置位置は図25Aに限定されない。
 眼鏡1600は、制御装置1603をさらに備える。制御装置1603は、光電変換装置1602と上記の表示装置に電力を供給する電源として機能する。また、制御装置1603は、光電変換装置1602と表示装置の動作を制御する。レンズ1601には、光電変換装置1602に光を集光するための光学系が形成されている。
 図25Bは、1つの適用例に係る眼鏡1610(スマートグラス)を説明する。眼鏡1610は、制御装置1612を有しており、制御装置1612に、光電変換装置1602に相当する光電変換装置と、表示装置が搭載される。レンズ1611には、制御装置1612内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ1611には画像が投影される。制御装置1612は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザーの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。
 赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザーの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。
 より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き(回転角度)を表す視線ベクトルが算出されることにより、ユーザーの視線が検出される。
 本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザーの視線情報に基づいて表示装置の表示画像を制御してよい。
 具体的には、表示装置は、視線情報に基づいて、ユーザーが注視する第1の視界領域と、第1の視界領域以外の第2の視界領域とを決定される。第1の視界領域、第2の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第1の視界領域の表示解像度を第2の視界領域の表示解像度よりも高く制御してよい。つまり、第2の視界領域の解像度を第1の視界領域よりも低くしてよい。
 また、表示領域は、第1の表示領域、第1の表示領域とは異なる第2の表示領域とを有し、視線情報に基づいて、第1の表示領域および第2の表示領域から優先度が高い領域を決定されてよい。第1の視界領域、第2の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。
 なお、第1の視界領域や優先度が高い領域の決定には、AIを用いてもよい。AIは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。AIプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。
 視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。
 [変形実施形態]
 本発明は、上記実施形態に限らず種々の変形が可能である。
 例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態に含まれる。
 また、上記第6の実施形態、第7の実施形態に示した光電変換システムは、光電変換装置を適用しうる光電変換システム例を示したものであって、本発明の光電変換装置を適用可能な光電変換システムは図21乃至図22A、図22Bに示した構成に限定されるものではない。第8の実施形態に示したToFシステム、第9の実施形態に示した内視鏡、第10の実施形態に示したスマートグラスについても同様である。
 なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
 本願は、2022年2月8日提出の日本国特許出願特願2022-018105を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (23)

  1.  第1の光電変換部と、
     前記第1の光電変換部に入射した光子に基づく第1の検出信号を出力する第1の検出回路と、
     前記第1の検出信号に応じて画素外に第1の画素信号を出力する第1の出力回路と、
     前記第1の検出信号を前記第1の出力回路に入力するか否かを制御する第1の制御回路と、を含む、第1の画素と、
     第2の光電変換部と、
     前記第2の光電変換部に入射した光子に基づく第2の検出信号を出力する第2の検出回路と、
     前記第2の検出信号に応じて画素外に第2の画素信号を出力する第2の出力回路と、
     前記第2の検出信号を前記第2の出力回路に入力するか否かを制御する第2の制御回路と、を含む、第2の画素と、を含む複数の画素がアレイ状に配された画素領域を有し、
     前記第1の制御回路は、前記第2の検出信号に応じて、前記第1の検出信号を前記第1の出力回路に入力するか否かを制御することを特徴とする光電変換装置。
  2.  前記第1の光電変換部と、前記第2の光電変換部と、はアバランシェフォトダイオードであることを特徴とする請求項1に記載の光電変換装置。
  3.  前記第1の出力回路は前記第1の検出信号を保持するメモリ又は前記第1の検出信号をカウントするカウンタ回路を有することを特徴とする請求項1又は請求項2に記載の光電変換装置。
  4.  前記第1の制御回路は前記第1の検出信号と前記第2の検出信号との論理積をとる論理回路であることを特徴とする請求項1乃至請求項3のいずれか一項に記載の光電変換装置。
  5.  前記第2の制御回路は、前記第1の検出信号に応じて前記第2の出力回路に前記第2の検出信号を入力するか否かを決定することを特徴とする請求項1乃至請求項4のいずれか一項に記載の光電変換装置。
  6.  第3の光電変換部と、
     前記第3の光電変換部に入射した光子に基づく第3の検出信号を出力する第3の検出回路と、
     前記第3の検出信号に応じて画素外に第3の画素信号を出力する第3の出力回路と、
     前記第3の検出信号を前記第3の出力回路に入力するか否かを制御する第3の制御回路と、を含む、第3の画素を含み、
     前記第3の制御回路は前記第2の検出信号に応じて前記第3の出力回路に前記第3の検出信号を出力するか否かを決定することを特徴とする請求項1乃至請求項5のいずれか一項に記載の光電変換装置。
  7.  前記第1の画素と、前記第2の画素と、は第1の方向に並び、
     前記第2の画素と、前記第3の画素と、は前記第1の方向に交差する第2の方向に並ぶことを特徴とする請求項6に記載の光電変換装置。
  8.  前記第1の制御回路は、前記第3の検出信号に応じて前記第1の出力回路に前記第1の検出信号を出力するか否かを決定することを特徴とする請求項6又は請求項7に記載の光電変換装置。
  9.  第4の光電変換部と、
     前記第4の光電変換部に入射した光子に基づく第4の検出信号を出力する第4の検出回路と、
     前記第4の検出信号に応じて画素外に第4の画素信号を出力する第4の出力回路と、
     前記第4の検出信号を前記第4の出力回路に入力するか否かを制御する第4の制御回路と、を含む、第4の画素を含み、
     前記第1の制御回路は前記第2の検出信号と、前記第4の検出信号と、に応じて前記第1の出力回路に前記第1の検出信号を出力するか否かを決定することを特徴とする請求項1乃至請求項6のいずれか一項に記載の光電変換装置。
  10.  前記第1の画素と、前記第2の画素と、は第1の方向に並び、
     前記第2の画素と、前記第4の画素と、は前記第1の方向に交差する第3の方向に並ぶことを特徴とする請求項9に記載の光電変換装置。
  11.  前記画素領域に含まれる前記複数の画素のうち、前記第2の画素は前記第1の画素に最近接の画素ではないことを特徴とする請求項1乃至請求項10のいずれか一項に記載の光電変換装置。
  12.  前記第1の検出回路は、前記第1の検出信号を検出する検出期間と、前記第1の検出信号を検出しない非検出期間とを選択する第1の選択回路を有することを特徴とする請求項1乃至請求項11のいずれか一項に記載の光電変換装置。
  13.  前記第1の画素は、第1のクエンチ素子を有し、
     前記第1の検出回路は、第1のラッチ回路を有し、
     前記第1のラッチ回路と、前記第1のクエンチ素子と、は共通のリセット信号によって制御されることを特徴とする請求項1乃至請求項12のいずれか一項に記載の光電変換装置。
  14.  前記第1の検出回路は、前記第1の検出回路への入力信号のパルス幅よりも短いパルス幅を有する前記第1の検出信号を出力するモノステーブル回路を有することを特徴とする請求項1乃至請求項13のいずれか一項に記載の光電変換装置。
  15.  前記第1の制御回路を制御する検出信号を出力する画素の数と、
     前記第1の制御回路によって制御される出力回路を含む画素の数と、が同数であることを特徴とする請求項1乃至請求項14のいずれか一項に記載の光電変換装置。
  16.  前記画素領域の最外周に配された画素の制御回路を制御する検出信号の数は、
     前記画素領域の最外周以外に配された画素の制御回路を制御する検出信号の数より少ないことを特徴とする請求項1乃至請求項14のいずれか一項に記載の光電変換装置。
  17.  単位時間内に、前記第2の画素で光子が検出されるよりも前に前記第1の画素で光子が検出されたときに前記第1の出力回路に前記第1の検出信号を入力することを特徴とする請求項1乃至請求項16のいずれか一項に記載の光電変換装置。
  18.  単位時間内に、前記第1の画素で光子が検出されるよりも前に前記第2の画素で光子が検出されたときに前記第1の出力回路に前記第1の検出信号を入力することを特徴とする請求項1乃至請求項16のいずれか一項に記載の光電変換装置。
  19.  前記第2の検出信号に応じて前記第1の制御回路に前記第1の検出信号を入力するか否かを決定する第1の駆動モードと、
     前記第2の検出信号に拠らず前記第1の制御回路に前記第1の検出信号を入力する第2の駆動モードと、を有することを特徴とする請求項1乃至請求項18のいずれか一項に記載の光電変換装置。
  20.  前記第1の光電変換部が配されたセンサ基板と、
     前記第1の出力回路が配された回路基板と、が積層された積層型のセンサであることを特徴とする請求項1乃至請求項19のいずれか一項に記載の光電変換装置。
  21.  前記第1の制御回路は前記回路基板に配されることを特徴とする請求項20に記載の光電変換装置。
  22.  請求項1乃至請求項21のいずれか1項に記載の光電変換装置を複数有する光電変換システムであって、
     前記光電変換装置によって検出される光を発光する発光部と、
     前記光電変換装置に保持されたデジタル信号を用いて距離の算出を行う算出手段と、を有することを特徴とする光電変換システム。
  23.  移動体であって、
     請求項1乃至請求項21のいずれか1項に記載の光電変換装置と、
     前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
     前記距離情報に基づいて前記移動体を制御する制御手段と、を有することを特徴とする移動体。
PCT/JP2023/002358 2022-02-08 2023-01-26 光電変換装置 WO2023153218A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247029262A KR20240146025A (ko) 2022-02-08 2023-01-26 광전 변환 장치
CN202380020260.2A CN118648299A (zh) 2022-02-08 2023-01-26 光电转换装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-018105 2022-02-08
JP2022018105A JP2023115727A (ja) 2022-02-08 2022-02-08 光電変換装置

Publications (1)

Publication Number Publication Date
WO2023153218A1 true WO2023153218A1 (ja) 2023-08-17

Family

ID=87564108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002358 WO2023153218A1 (ja) 2022-02-08 2023-01-26 光電変換装置

Country Status (4)

Country Link
JP (1) JP2023115727A (ja)
KR (1) KR20240146025A (ja)
CN (1) CN118648299A (ja)
WO (1) WO2023153218A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059302A (ja) 2012-09-18 2014-04-03 Sick Ag 光電センサおよび物体検出方法
JP2020120175A (ja) * 2019-01-21 2020-08-06 キヤノン株式会社 撮像装置およびその制御方法
JP2020127122A (ja) * 2019-02-04 2020-08-20 キヤノン株式会社 撮像装置
JP2021022875A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
JP2022018105A (ja) 2020-07-14 2022-01-26 東レ株式会社 積層シート、電磁波抑制体、電機製品、通信機器、及び交通機関

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014059302A (ja) 2012-09-18 2014-04-03 Sick Ag 光電センサおよび物体検出方法
JP2020120175A (ja) * 2019-01-21 2020-08-06 キヤノン株式会社 撮像装置およびその制御方法
JP2020127122A (ja) * 2019-02-04 2020-08-20 キヤノン株式会社 撮像装置
JP2021022875A (ja) * 2019-07-29 2021-02-18 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
JP2022018105A (ja) 2020-07-14 2022-01-26 東レ株式会社 積層シート、電磁波抑制体、電機製品、通信機器、及び交通機関

Also Published As

Publication number Publication date
CN118648299A (zh) 2024-09-13
KR20240146025A (ko) 2024-10-07
JP2023115727A (ja) 2023-08-21

Similar Documents

Publication Publication Date Title
JP2022146231A (ja) 光電変換装置、光電変換システム、および移動体
US20240267651A1 (en) Photoelectric conversion device, photoelectric conversion system, and moving body
US20220236420A1 (en) Photoelectric conversion device, photodetection system, and movable object
JP2022106649A (ja) 光電変換装置、光検出システム
JP2022170442A (ja) 光電変換装置及び光検出システム
US20230217137A1 (en) Photoelectric conversion device and photodetection system
US20230117198A1 (en) Photoelectric conversion apparatus having avalanche photodiode
US20230120430A1 (en) Photoelectric conversion apparatus
US11855106B2 (en) Signal processing device having counter counting pulses from avalanche photodiode
WO2023153218A1 (ja) 光電変換装置
JP2023178687A (ja) 光電変換装置、光電変換システム
KR20230128061A (ko) 광전변환장치, 광 검출 시스템, 및 이동체
JP2022112735A (ja) 光電変換装置及び光検出システム
US20240347573A1 (en) Apparatus
JP7377334B2 (ja) 光電変換装置及び光電変換システム
WO2023131997A1 (ja) 光電変換装置、光電変換システム、および移動体
WO2023131996A1 (ja) 光電変換装置及び光検出システム
US11937006B2 (en) Photoelectric conversion apparatus and photoelectric conversion system
US20240357259A1 (en) Photoelectric conversion device and optical detection system
US20230215899A1 (en) Photoelectric conversion apparatus and photoelectric conversion system
US20240255620A1 (en) Semiconductor device having time-to-digital converter
JP2023061883A (ja) 光電変換装置
JP2023159648A (ja) 光電変換装置および光電変換システム
JP2023066913A (ja) 光電変換素子及び光電変換装置
JP2023077759A (ja) 光電変換素子及び光電変換装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23752683

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247029262

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023752683

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023752683

Country of ref document: EP

Effective date: 20240909