WO2022085555A1 - 光電変換装置、光電変換システム - Google Patents

光電変換装置、光電変換システム Download PDF

Info

Publication number
WO2022085555A1
WO2022085555A1 PCT/JP2021/038032 JP2021038032W WO2022085555A1 WO 2022085555 A1 WO2022085555 A1 WO 2022085555A1 JP 2021038032 W JP2021038032 W JP 2021038032W WO 2022085555 A1 WO2022085555 A1 WO 2022085555A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure period
photoelectric conversion
period
conversion device
exposure
Prior art date
Application number
PCT/JP2021/038032
Other languages
English (en)
French (fr)
Inventor
和浩 森本
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202180072028.4A priority Critical patent/CN116349238A/zh
Priority to EP21882696.4A priority patent/EP4236298A4/en
Priority to KR1020237016128A priority patent/KR20230088423A/ko
Publication of WO2022085555A1 publication Critical patent/WO2022085555A1/ja
Priority to US18/303,480 priority patent/US12044802B2/en
Priority to US18/747,766 priority patent/US20240337731A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/02016—Circuit arrangements of general character for the devices
    • H01L31/02019—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02027—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present invention relates to a photoelectric conversion device and a photoelectric conversion system.
  • the TOF Time Of Flight
  • this TOF method light is emitted from a light source and the reflected light reflected by the object to be measured is detected. Then, in the TOF method, the distance to the object to be measured is measured by measuring the time difference between the timing at which the light is emitted and the timing at which the reflected light is detected.
  • Patent Document 1 discloses a TOF ranging device using a SPAD (Single Photon Avalanche Diode) in which a light charge caused by a single photon causes an avalanche multiplication in a PN junction region of a semiconductor region constituting a photoelectric conversion unit. ing. Further, in Patent Document 1, a state in which a photon signal incident on a SPAD is detected (exposed state) and a state in which it is not detected (non-exposed state) are switched at high speed by a pulse signal having a range on the order of picoseconds to microseconds. Distance measurement by the time gate method is described.
  • SPAD Single Photon Avalanche Diode
  • Patent Document 1 in order to accurately measure the time distribution of the detected light, it is necessary to scan the relative difference between the light emission timing and the time gate timing at fine intervals within the time range corresponding to the predetermined distance measurement range. There is. Therefore, the time required for one distance measurement increases, and it is difficult to speed up the distance measurement from the photoelectric conversion device to the object to be measured.
  • the photoelectric conversion device is based on the signal charge generated in the photoelectric conversion unit and the second exposure period in which at least one of the start timing and the end timing is different from the first exposure period and the first exposure period.
  • a light amount value holding unit that holds the light amount value
  • a comparison unit that compares the light amount value based on the signal charge generated in the first exposure period, and the light amount value based on the signal charge generated in the second exposure period, and a comparison unit.
  • a control unit controls to set a fourth exposure period in which at least one of the start timing and the end timing is different between the third exposure period and the third exposure period.
  • the third exposure period and the fourth exposure period are shorter than at least one of the first exposure period and the second exposure period.
  • the photoelectric conversion device is obtained by incident on the photoelectric conversion unit in a second exposure period in which at least one of the start timing and the end timing is different from the first exposure period and the first exposure period. It has a light amount value holding unit that holds a light amount value based on a signal charge, and a comparison unit that compares the light amount value obtained in the first exposure period with the light amount value obtained in the second exposure period. A control unit that controls a third exposure period and a fourth exposure period according to the comparison result of the comparison unit.
  • the measurement of the distance from the photoelectric conversion device to the object to be measured can be speeded up as compared with Patent Document 1.
  • FIG. 1 is a block diagram of the photoelectric conversion device 100 of the present embodiment.
  • the photoelectric conversion device 100 includes a pixel unit 101, a control pulse generation unit 115, a horizontal scanning circuit unit 111, a readout circuit 112, a signal line 113, and a vertical scanning circuit unit 110.
  • a plurality of pixels 104 are arranged in a two-dimensional array (matrix) in the pixel unit 101.
  • One pixel 104 is composed of a photoelectric conversion unit 102 including an avalanche photodiode (hereinafter referred to as APD) and a pixel circuit 103.
  • APD avalanche photodiode
  • the photoelectric conversion unit 102 converts light into an electric signal.
  • the pixel circuit 103 outputs the electric signal converted by the photoelectric conversion unit 102 to the signal line 113.
  • the vertical scanning circuit unit 110 receives the control pulse supplied from the control pulse generation unit 115 and supplies the control pulse to each pixel.
  • a logic circuit such as a shift register or an address decoder is used in the vertical scanning circuit unit 110.
  • the signal output from the photoelectric conversion unit 102 of each pixel is processed by the pixel circuit 103.
  • the pixel circuit 103 is provided with a counter circuit and / or a memory.
  • a case where the pixel circuit 103 has a memory will be described. Digital values are stored in memory.
  • the horizontal scanning circuit unit 111 inputs a control pulse for sequentially selecting each column to the pixel circuit 103 in order to read a signal from the memory of each pixel in which the digital signal is held.
  • the signal from the pixel circuit 103 of the pixel 104 selected by the vertical scanning circuit unit 110 is output to the signal line 113 for the selected line.
  • the signal output to the signal line 113 is output to an external recording unit or signal processing unit of the photoelectric conversion device 100 via the output circuit 114.
  • pixels 104 are arranged in a two-dimensional array in the pixel unit 101.
  • a plurality of pixels 104 may be arranged one-dimensionally in the pixel unit 101.
  • the pixel unit 101 may be arranged with only a single pixel instead of an array.
  • the function of the pixel circuit 103 does not necessarily have to be provided for every pixel 104 one by one.
  • one pixel circuit 103 may be shared by a plurality of pixels 104, and signal processing may be sequentially performed.
  • the photoelectric conversion device a laminated sensor in which a first substrate having a photoelectric conversion unit and a second substrate having a pixel circuit are laminated and bonded may be used in order to increase the sensitivity and functionality. In this case, the photoelectric conversion unit and the pixel circuit are electrically connected via the connection wiring provided for each pixel.
  • FIG. 2 (i) is a diagram showing a comparative form, and is an explanatory diagram of a method of linearly searching the timing of reflected light among the time gate type TOF methods.
  • FIG. 2 (ii) is an explanatory diagram of a method of performing a binary search for the timing of reflected light according to the present embodiment.
  • the range shown in white in each subframe is the exposure period of the pixel 104, and the range shown in black is the non-exposure period.
  • the exposure period refers to, for example, a period in which the photoelectric conversion unit 102 is active and the signal from the photoelectric conversion unit 102 is read out to the counter circuit and / or the register circuit.
  • the non-exposure period refers to a period during which the signal from the photoelectric conversion unit 102 is not read out in the counter circuit and / or the register circuit.
  • the APD is exposed to a period in which a reverse bias potential capable of multiplying the avalanche is applied, the gate element is turned on, and the signal from the APD can be read out by the counter circuit and / register circuit. It is a period. Then, the period in which the gate element is turned off and the signal from the APD is not read through the gate element is defined as the non-exposure period.
  • the non-exposure period is not limited to this.
  • the non-exposure period may be a period for reducing the potential difference applied to the APD so that the avalanche multiplication does not occur in the APD
  • the exposure period may be the period for applying the potential difference such that the APD increases the avalanche.
  • the period for controlling the counter circuit and / or the register circuit so as not to be driven may be the non-exposure period
  • the period for controlling the counter circuit and / or the register circuit to be driven may be the exposure period.
  • subframes are arranged from the emitted light for the sake of clarity, but in actual driving, the first emitted light is the first subframe. The amount of light is measured. After that, the second emitted light is emitted at the same timing as the first emitted light, and the light amount of the second subframe is measured by the second emitted light. Then, the light amount of the Nth subframe is measured by the Nth emission light.
  • the amount of light is measured N times while shifting the relative timing between the start timing and the end timing of the exposure period with respect to the light emission timing of the light source. That is, the reflected light is measured while gradually shifting the start timing of the exposure period.
  • the timing of the exposure period is linearly scanned in steps with respect to a predetermined ranging range
  • the time resolution or ranging accuracy of the reflected light detection is higher in proportion to the number of steps N of the linear scanning. Become. However, as the number of steps increases and the number of subframes increases, it takes time to measure the distance.
  • the period corresponding to the period of the emitted light is time-divisioned into two or more exposure periods.
  • the exposure periods A and B are time-divided, the light intensity in each exposure period is independently measured, and the magnitude of the light intensity in the exposure periods A and B is compared.
  • the amount of optical signals in the exposure period A is larger than the amount of optical signals in the exposure period B. Based on this comparison result, it is assumed that the reflected light is included in the exposure period A, and the exposure period A is further divided into two within the range of the length of the exposure period A of the first subframe.
  • the linear search requires N times of light amount measurement, whereas the binary search can suppress the number of light amount measurements to Log2 (N), so that the distance measurement can be speeded up.
  • each subframe is shown only for one light irradiation and one exposure period in FIG. 2 (i)
  • an optical signal obtained by repeating each subframe a plurality of times may be added. This makes it possible to improve the accuracy of optical signal measurement.
  • the time resolution or distance measurement accuracy of the reflected light detection increases in proportion to the number of steps N of the linear scanning.
  • FIG. 2 (ii) shows an example of dividing the exposure period into two equal parts as a binary search method.
  • the term binary search method is not limited to the one in which the exposure period is halved, and the exposure period is set to three or more halves.
  • the search method is also referred to as a binary search method in this specification. That is, the binary search method is a name different from the linear scanning method, and is not limited to two equal parts. Further, the lengths of the two exposure periods A and B in one subframe may be different. Further, in the step of comparison, the signals A'and B'that have been subjected to predetermined arithmetic processing or correction processing to the respective signals may be compared instead of the signal amounts themselves of the exposure periods A and B.
  • FIG. 3 is an example of a block diagram per unit pixel in this embodiment.
  • the pixel has a photoelectric conversion unit and a pixel circuit.
  • APD301 is used as the photoelectric conversion unit.
  • the pixel circuit includes a quench element 302, a gate element 303 (switch), a light amount value holding unit 31, a comparison circuit (comparison unit) 312, a register circuit 313, and a pulse generation circuit 314.
  • the light quantity value holding unit 31 has a counter circuit 310 and a register circuit 311.
  • the APD 301 is connected to the quench element 302 that controls the avalanche current.
  • the photon detection signal output from the APD 301 is temporally controlled by the gate signal GATE input to the gate element 303.
  • the output of the gate element 303 is input to the light quantity value holding unit 31 including the counter circuit 310 and the register circuit 311.
  • the photon signal that has passed through the gate element 303 is counted by the counter circuit 310, and the count value is written to the register circuit 311 according to the trigger signal RTRG. That is, the register circuit 311 functions as a recording circuit.
  • the comparison circuit 312 receives the enable signal COEN, compares the magnitude of the output values of the counter circuit 310 and the register circuit 311 and records the comparison result in the register circuit 313.
  • the pulse generation circuit 314 receives the holding signal of the register circuit 313, the clock signal CLK, and the enable signal PGEN, and generates a gate signal GATE that defines the exposure pattern.
  • the reset signals RES1, RES2, and RES3 initialize the holding signals of the counter circuit 310, the register circuit 311 and the register circuit 313, respectively.
  • APD301 generates a charge pair according to the incident light by photoelectric conversion.
  • a potential based on the potential VH higher than the potential VL supplied to the anode is supplied to the cathode of the APD 301.
  • a potential is supplied to the anode and cathode of the APD 301 so that a reverse bias is applied so that the photons incident on the APD 301 are multiplied by the avalanche.
  • the electric charge generated by the incident light causes an avalanche multiplication and an avalanche current is generated.
  • the APD When the potential of the reverse bias is supplied and the potential difference between the anode and the cathode is larger than the breakdown voltage, the APD operates in Geiger mode.
  • APD that detects a weak signal at a single photon level at high speed by using Geiger mode operation is also referred to as SPAD (Single Photon Avalanche Diode).
  • SPAD Single Photon Avalanche Diode
  • a quench element or a resistance element composed of a plurality of transistors may be used instead of a single transistor.
  • the photomultiplier tube in the APD 301 increases the photomultiplier tube, the current obtained by the multiplied charge flows to the connection node between the APD 301 and the quench element 302. Due to the voltage drop due to this current, the potential of the cathode of the APD 301 is lowered, and the APD 301 does not form an electron avalanche. As a result, the Avalanche multiplication of APD301 is stopped.
  • the quench element 302 functions as a load circuit (quenching element) when the charge is multiplied by the avalanche multiplication, and has a function of suppressing the avalanche multiplication (quenching operation). Further, the quench element has a function of resetting the operating region of the APD to the Geiger mode again after suppressing the avalanche multiplication (recharge operation).
  • the exposure period of the pixel is adjusted by controlling the on / off of the gate element 303.
  • the exposure period refers to a period in which photon detection is possible with the APD 301 and the potential of the APD 301 is input to the light quantity value holding unit 31.
  • the pixel non-exposure period refers to a period during which the potential of the APD 301 is not input to the light quantity value holding unit 31.
  • the period in which the gate element 303 is on is the exposure period
  • the period in which the gate element 303 is off is the non-exposure period.
  • the gate element 303 is composed of a polyclonal transistor. Therefore, when the signal input to the gate transitions from the first level (high level) to the second level (low level), the gate element 303 is turned on, and when the signal is transitioned from the second level to the first level, it is turned off. It becomes.
  • the gate element 303 is an IGMP transistor, the opposite is true. That is, when the signal input to the gate transitions from the second level to the first level, the gate element 303 is turned on, and when the signal is transitioned from the first level to the second level, the gate element 303 is turned off.
  • the state in which the gate element is on means a state in which the APD 301 and the light amount value holding unit 31 are conducting, and the state in which the gate element is off means a state in which the APD 301 and the light amount value holding unit 31 are not conducting. ..
  • As the gate element 303 a specific element may not be provided between the APD 301 and the counter circuit 310, and the operation of switching the valid / invalid state of the counter operation in time may be substituted. In this case, the state in which the operation of the counter is valid is the exposure period, and the state in which the operation of the counter is invalid is the non-exposure period.
  • the counter circuit 310 may use either a digital counter or an analog counter.
  • the counter circuit 310 is connected to the register circuit 311 and the comparison circuit 312 so that an output signal from the counter is input.
  • the register circuit 311 can hold the signal output from the counter circuit 310.
  • the register circuit 311 is connected so that its output is input to the comparison circuit 312.
  • a part of the light amount value holding unit 31, the comparison circuit 312, the register circuit 313, and the pulse generation circuit 314 may be shared by a plurality of pixels.
  • the comparison circuit 312 is connected so as to compare the signal value output from the counter circuit 310 with the signal value output from the register circuit 311 and input the comparison result to the register circuit 313. Further, the register circuit 313 is connected to the pulse generation circuit 314.
  • the pulse generation circuit 314 is connected to the gate element, and the on / off of the gate element is controlled based on the output signal from the pulse generation circuit 314. In this embodiment, the exposure period is set by controlling the on / off of the gate element. That is, the pulse generation circuit 314 functions as a control unit that controls the exposure period.
  • the register circuit 313 is connected so that a signal is output to the signal line 113. Distance measurement can be performed based on the signal value output from the register circuit 313. Therefore, the signal line 113 is configured to have at least a number of signals capable of outputting a signal having the number of output bits from the register circuit 313.
  • the counter circuit 310 and the register circuit 311 are connected to the signal line 113.
  • the reliability of the distance measurement result can be improved.
  • the signal value output from the register circuit 311 and the signal value output from the counter circuit 310 are output for each frame. Then, each output signal value is compared. In the pixel to which the reflected light is incident, there is a large difference between the signal value output from the register circuit 311 and the signal value output from the counter circuit 310.
  • the number may be such that the signal from each circuit can be output, or the signal line 113 may be used for each circuit. You may share it with.
  • the signal line 113 is shared, the signal output from each circuit can be detected outside the pixel by shifting the output timing of the signal from each circuit.
  • FIG. 4 is a timing diagram showing the operation of the pixels of the photoelectric conversion device according to the present embodiment.
  • the holding signals (Count, Reg1, Reg2) of the counter circuit 310, the register circuit 311 and the register circuit 313 are initialized with RES1, RES2, and RES3 as high levels.
  • pulsed light is emitted from the light source toward the object to be measured. This pulsed light is reflected by the object to be measured and reaches the light receiving surface of the photoelectric conversion device at time t4.
  • the gate signal GATE input to the gate element is set to a low level during the period from time t3 to t5
  • the amount of light received by the APD 301 in the first exposure period A is measured.
  • the first exposure period A is started by setting the gate signal GATE to a low level at the same timing as the light emission timing of the light source.
  • the gate element since the gate element is composed of a polyclonal transistor, the gate element is turned on at the low level and turned off at the high level.
  • the gate signal GATE input to the gate element is set to a high level, and the optical signal is not measured and is in an unexposed state. That is, the first exposure period A is a period during which the exposure is started after the first delay time from the light emission timing from the light source.
  • the first exposure period A is terminated by setting the gate signal GATE to a high level after a predetermined period has elapsed.
  • the count value Count of the counter circuit 310 increases. By repeating the driving from the time t2 to t6 a plurality of times within the first period of the first subframe, the optical signal of the exposure period A is integrated.
  • the enable signal PGEN of the pulse generation circuit 314 is set to a low level, and the photodetection signal from the APD 301 is not counted by the counter circuit 310.
  • the gate signal GATE input to the gate element becomes a high level.
  • the trigger signal RTRG is set to a high level, and the output of the counter circuit 310 is recorded in the register circuit 311.
  • the reset signal RES1 is set to a high level in the period from time t10 to t11, and the holding signal of the counter circuit 310 is initialized.
  • the driving of the second period in the first subframe of the kth frame corresponding to the period from time t12 to t16 will be described.
  • the timing of raising the gate signal GATE to a high level is different.
  • the period from time t14 to t15 is defined as the exposure period B
  • the period from time t12 to t14 is defined as the non-exposure period. That is, the exposure period B is a period during which the exposure is started after a second delay time from the light emission timing from the light source.
  • the length of the second delay time is different from the length of the first delay time.
  • the exposure period B is ended by setting the gate signal GATE to a high level after a predetermined period has elapsed from the start of the exposure period B. Unlike the above-mentioned driving of the first subframe in the first period, the reflected light reaches the light receiving surface at time t13. At this time, since the photoelectric conversion device is in the non-exposure period, the optical signal is not counted.
  • the drive for comparing the magnitude of the optical signal amount in the exposure periods A and B during the period from time t16 to t21 will be described.
  • the enable signal PGEN of the pulse generation circuit 314 is set to a low level, and the photodetection signal from the APD 301 is not counted by the counter circuit 310.
  • the enable signal COEN of the comparison circuit 312 is set to a high level.
  • the comparison result of the magnitude of the output of the register circuit 311 holding the signal amount corresponding to the exposure period A and the output of the counter circuit 310 holding the signal amount corresponding to the exposure period B is recorded in the register circuit 313 as a digital signal. do.
  • the holding signal Reg2 of the register circuit 313 is changed.
  • the holding signals of the counter circuit 310 and the register circuit 311 are initialized with RES1 and RES2 as high levels.
  • the first period in the second subframe of the kth frame corresponding to the period from time t21 to t24 has half the length of the exposure period A in the first subframe based on the comparison result. Then, the pulse generation circuit 314 generates the gate signal GATE so as to set a new exposure period A defined by the period from the time t21 to t22.
  • the pulse generation circuit 314 generates the gate signal GATE so as to set a new exposure period A defined by the period from the time t21 to t22.
  • one of the two exposure periods in which the exposure period A in which the signal integration amount in the first subframe is large is divided into two equal parts is newly set as the exposure period A. Then, the remaining exposure period of the exposure period A in the first subframe and the exposure period B in the first subframe are set as the non-exposure period.
  • the driving in the second subframe of the kth frame continues after the time t25. Specifically, of the two exposure periods obtained by dividing the exposure period A having a large signal integration amount in the first subframe into two equal parts, the remaining period of the newly set exposure period A is set as the new exposure period B. Set.
  • the sequence of the exposure operation (A), the recording operation, the exposure operation (B), and the comparison operation is repeated a predetermined number of times a plurality of times, and the timing of the reflected light pulse is binary-searched to obtain the distance to the object to be measured.
  • the drive in which the frequency of the clock signal CLK input to the pulse generation circuit 314 is doubled at the time t21 when the first subframe is switched to the second subframe is shown.
  • a pulse generation circuit 314 that can switch the interval of the exposure pattern for each subframe without changing the frequency may be used.
  • periodic pulse light emission is assumed as the operation of the light source, but the intensity, width, and temporal light emission pattern of the emitted light may be switched between different subframes.
  • the signal value is output from the register circuit 313 after repeating the operation sequence a predetermined number of times, but the present invention is not limited to this.
  • a signal value may be output to the signal line 113 from the register circuit 313 for each subframe or every few subframes. This makes it possible to obtain a rough distance measurement result before the end of one frame period.
  • FIG. 5 is an example of a block diagram per unit pixel in the present embodiment.
  • the matters described below are different from those in the first embodiment.
  • the light quantity value holding unit 31 is composed of two counter circuits 310a and 310b.
  • the output terminal of the APD 301 is connected to two parallel gate elements 303a and 303b, and the outputs of the two gate elements are input to the counter circuits 310a and 310b in parallel, respectively.
  • the comparison circuit 312 compares the outputs of the counter circuits 310a and 310b.
  • the pulse generation circuit 314 generates independent gate signals GATE1 and GATE2 for the gate elements 303a and 303b.
  • GATE1 and GATE2 for the gate elements 303a and 303b.
  • the output from the gate element 303a is input to the counter circuit 310a. Then, the output from the gate element 303b is input to the counter circuit 310b.
  • the counter circuits 310a and 310b are connected so that their outputs are input to the comparison circuit 312.
  • Roman letters such as a, b, and c may be added to the end of the reference numerals to omit the description.
  • FIG. 6 is a timing diagram showing a pixel drive operation of the photoelectric conversion device according to the present embodiment.
  • the reset signals RES1, RES2, and RES3 initialize the holding signals of the counter circuit 310a, the counter circuit 310b, and the register circuit 313, respectively.
  • the sequence of the exposure operation (A, B) and the comparison operation is repeated. The difference is that you can do it.
  • the exposure period A defined by setting the gate signal GATE1 to a high level and the exposure period A defined by setting the gate signal GATE2 to a high level are specified.
  • the exposure period B to be applied is set in a complementary manner.
  • the gate elements 303a and 303b are composed of an inverter circuit and a logic circuit.
  • APD301a and 301b the potential of the cathode drops.
  • the threshold value is exceeded in the inverter circuit included in the gate element 303a, the potential is inverted.
  • the AND circuit which is a logic circuit, a high level signal is output from the gate elements 303a and 303b.
  • the period from time t3 to t4 is set as the exposure period A, the optical signal during this period is counted by the counter circuit 310a, the period from time t4 to t5 is set as the exposure period B, and the optical signal during this period is countered. Count by circuit 310b.
  • the output signals of the counter circuits 310a and 310b are compared in the period from time t6 to t7. Based on this comparison result, the exposure periods A and B in the second subframe of the kth frame corresponding to the period from the time t7 to t10 are newly set.
  • the two exposure periods in which the exposure period A in which the signal integration amount in the first subframe is large is divided into two equal parts are newly set as the exposure period A and the exposure period B.
  • the light amount of the newly set exposure period A is counted by the counter circuit 310a, and the light amount of the exposure period B is counted by the counter circuit 310b.
  • the present embodiment as in the first embodiment, it is possible to measure the distance at a higher speed than in the comparative embodiment. Further, since the intensities of the optical signals in the exposure periods A and B can be acquired in parallel in a single subframe, the period from the exposure operation to the comparison operation can be shortened as compared with the first embodiment, and the measurement target can be obtained. Distance measurement can be speeded up. Further, even when the object to be measured is moving, the time lag in the optical signal measurement in the exposure periods A and B can be reduced, and the accuracy of the distance measurement can be improved.
  • FIG. 7 is an example of a block diagram per unit pixel in the modified example.
  • the modification is different from the second embodiment in that the outputs from the two independent APDs 301a and 301b are connected to the two gate elements 303a and 303b. Since the other matters are substantially the same as those of the second embodiment except for the matters described below, the description thereof will be omitted. Further, the drive system corresponding to this modification is based on the drive system of the second embodiment.
  • the output from the APD301a is input to the gate element 303a, and the output from the APD301b is input to the gate element 303b. Therefore, the counter circuit 310a counts the amount of light detected by the APD301a, and the counter circuit 310b counts the amount of light detected by the APD301b.
  • the distance can be measured at a higher speed than in the comparative embodiment, as in the second embodiment. Further, since the intensity of the optical signals in the exposure periods A and B can be acquired in parallel within a single subframe by using two APDs that are spatially close to each other, the period from the exposure operation to the comparison operation can be shortened. , The measurement of the distance to the object to be measured can be speeded up. Further, even when the object to be measured is moving, the time lag of the optical signal measurement in the exposure periods A and B can be made as small as possible, and the accuracy of the distance measurement can be improved.
  • FIG. 8 is an example of a block diagram per unit pixel in the present embodiment.
  • the outputs from the two independent APDs 301a and 301b and the two waveform shaping circuits 820a and 820b connected to them are input to the simultaneous detection circuit 821, and the outputs of the simultaneous detection circuit 821 are two gates.
  • the difference is that they are connected to the elements 303a and 303b.
  • the other matters are substantially the same as the modified examples of the second embodiment except for those described below, and thus the description thereof will be omitted.
  • the waveform shaping circuits 820a and 820b have a function of shaping the waveform of the output from each APD, and for example, an inverter circuit, a buffer circuit, or a monostable circuit for shortening the width of the pulse waveform is used.
  • the simultaneous detection circuit 821 outputs a pulse signal when a predetermined number or more of the signals from the plurality of waveform shaping circuits reach high levels at the same time or at close timings.
  • the number of APDs and waveform shaping circuits connected to one simultaneous detection circuit 821 may be three or more. In this embodiment, the same drive system as in the second embodiment is used.
  • the present embodiment as in the first embodiment, it is possible to measure the distance at a higher speed than in the comparative embodiment. In addition, it is possible to selectively detect only photons that are temporally and spatially close to each other due to the reflected light, and to filter the randomly detected external light component and dark output.
  • FIG. 9 is an example of a block diagram per unit pixel in the present embodiment. This embodiment is different from the first embodiment in that a charge storage type photodiode 901 is used instead of the APD 301, and an analog signal is input to the comparison circuit 312. In addition, since the items other than those described below are substantially the same as those in the first embodiment, the description thereof will be omitted.
  • the light charge accumulated in the photodiode 901 is discharged at the timing when the control signal OFD is input to the overflow drain circuit 902, or is input to the light amount holding unit 91.
  • the light intensity holding unit 91 includes transfer gates 903a and 903b, holding units 910a and 910b, and transfer gates 905a and 905b.
  • the optical charge photoelectrically converted by the photodiode 901 receives the gate signal GATE1 or GATE2 and is transferred to the holding unit 910a or 910b via the transfer gate 903a or 903b.
  • the signal held in the holding unit is transferred to the two floating diffusion (FD) regions FD1 and FD2 at the timing when the transfer gates 905a and 905b receive the gate signals TX1 and TX2.
  • the potentials VFD1 and VFD2 in the two FD regions are initialized at the timing when the reset circuits 907a and 907b receive the reset signals RES1 and RES2, respectively.
  • the comparison circuit 312 receives the enable signal COEN, compares the magnitudes of the potentials VFD1 and VFD2, and records the comparison result in the register circuit 313.
  • the pulse generation circuit 314 receives the holding signal of the register circuit 313, the clock signal CLK, and the enable signal PGEN, and generates the gate signals GATE1 and GATE2 and the control signal OFD that define the exposure pattern.
  • the reset signal RES3 initializes the holding signal of the register circuit 313.
  • FIG. 10 is a timing diagram showing the operation of the pixels of the photoelectric conversion device according to the present embodiment.
  • the potentials VFD1 and VFD2 in the two FD regions and the holding signal of the register circuit 313 are initialized with RES1, RES2, and RES3 as high levels.
  • the control signal OFD is set to a high level and the charge accumulated in the photodiode 901 is reset.
  • the drive in the first subframe of the kth frame corresponding to the period from time t3 to t8 will be described.
  • pulsed light is emitted from the light source toward the object to be measured. This pulsed light is reflected by the object to be measured and reaches the light receiving surface at time t4.
  • the gate signal GATE1 By setting the gate signal GATE1 to a high level during the period from time t4 to t5, the light charge received by the photodiode 901 during the first exposure period A corresponding to time t3 to t5 is transferred.
  • the gate signal GATE2 is set to a high level during the period from time t6 to t7, the light charge received by the photodiode 901 during the second exposure period B corresponding to time t5 to t7 is transferred.
  • the voltage value VM1 of the holding portion 910a changes.
  • the enable signal PGEN of the pulse generation circuit 314 is set to a low level so that the photodetection signal from the photodiode 901 is not transferred to the holding units 910a and 910b.
  • RES1 and RES2 are set to high levels, and the FD potentials VFD1 and VFD2 are reset.
  • the transfer signals TX1 and TX2 are set to high levels, and the signal charges held by the holding units 910a and 910b are transferred to FD1 and FD2, respectively.
  • the enable signal COEN of the comparison circuit 312 is set to a high level.
  • the magnitude comparison result of VFD1 corresponding to the integrated signal amount of the exposure period A and VFD2 corresponding to the integrated signal amount of the exposure period B is recorded in the register circuit 313 as a digital signal.
  • RES1 and RES2 are set to high levels, and the FD potentials VFD1 and VFD2 are reset again.
  • the control signal OFD is set to a high level and the charge accumulated in the photodiode 901 is reset.
  • a new exposure period A, a new exposure period B, and a non-exposure period are set based on the comparison result, and the pulse generation circuit 314 sets the pulse generation circuit 314.
  • the gate signals GATE1 and GATE2 and the control signal OFD are generated.
  • the new exposure period A has half the length of the exposure period A in the first subframe, and is defined by the period from time t16 to t17.
  • the new exposure period B is defined by the period from time t17 to t18.
  • the non-exposure period is defined by the period from time t18 to t19.
  • the two exposure periods in which the exposure period A in which the signal integration amount in the first subframe is large is divided into two equal parts are newly set as the exposure periods A and B. Similar to the above, after the comparison operation from time t20 to t21, the driving of the third subframe of the kth frame continues after time t21.
  • the accuracy of distance measurement to the object to be measured is improved by repeating the sequence of exposure operation (A, B) and comparison operation multiple times and performing a binary search for the timing of the reflected light pulse.
  • the charge information is converted into voltage information via a transistor amplifier or the like.
  • a “voltage holding method” for holding this voltage signal may be used.
  • the present embodiment as in the first embodiment, it is possible to measure the distance at a higher speed than in the comparative embodiment. Further, by using a charge storage type photodiode instead of the APD, the operating voltage can be reduced. Further, by using a capacitive element that holds an electric charge or a voltage instead of a counter circuit or a register circuit, miniaturization of pixels can be realized.
  • FIG. 11 is an explanatory diagram of an example of the exposure pattern selection procedure in the present embodiment.
  • FIG. 11 (i) shows the case where the reflected light reaches the photoelectric conversion device in the first half of the period corresponding to the light emission cycle
  • FIG. 11 (ii) shows the case where the reflected light reaches the sensor in the latter half of the period corresponding to the light emission cycle. It shows the case of reaching.
  • the present embodiment is different from the first embodiment in that the exposure periods A and B of the first subframe do not cover the period corresponding to the light emission cycle.
  • the optical signal amounts of the exposure periods A and B are compared.
  • the exposure periods A and B in the second subframe are set so as not to overlap with the exposure periods A and B of the first subframe and to have the same length as the exposure periods A and B of the first subframe. ..
  • the timing of the reflected light is included in the exposure period B, and a signal amount exceeding the threshold value can be obtained. Therefore, at the time of signal comparison, it is determined that "the exposure period B contains a signal", and the exposure periods A and B of the third subframe are determined by further dividing the exposure period B of the second subframe into two.
  • the distance measurement can be speeded up by preferentially searching the period around the timing of the reflected light estimated in advance.
  • FIG. 12 is an explanatory diagram of an example of distance measurement using the binary search in the present embodiment.
  • FIG. 12 (i) is different from the first embodiment in that the pulse width of the emitted light is set to be about the same as the exposure periods A and B of the fourth subframe, which is the final subframe.
  • FIG. 12 (ii) is an enlarged view of the reflected light around the period from time t1 to t2 in FIG. 12 (i) and the exposure pattern of the fourth subframe.
  • ⁇ t T / 2 ⁇ B / ( A + B) ⁇ ⁇ ⁇ Equation 1
  • FIG. 13 is a block diagram showing the configuration of the photoelectric conversion system 1200 according to the present embodiment.
  • the photoelectric conversion system 1200 of this embodiment includes a photoelectric conversion device 1204.
  • the photoelectric conversion device 1204 any of the photoelectric conversion devices described in the above-described embodiment can be applied.
  • the photoelectric conversion system 1200 can be used, for example, as an imaging system. Specific examples of the imaging system include a digital still camera, a digital camcorder, a surveillance camera, and the like.
  • FIG. 13 shows an example of a digital still camera as a photoelectric conversion system 1200.
  • the photoelectric conversion system 1200 shown in FIG. 13 includes a photoelectric conversion device 1204, a lens 1202 for forming an optical image of a subject on the photoelectric conversion device 1204, a throttle 1203 for varying the amount of light passing through the lens 1202, and protection of the lens 1202. Has a barrier 1201 for.
  • the lens 1202 and the aperture 1203 are optical systems that condense light on the photoelectric conversion device 1204.
  • the photoelectric conversion system 1200 has a signal processing unit 1205 that processes an output signal output from the photoelectric conversion device 1204.
  • the signal processing unit 1205 performs a signal processing operation of performing various corrections and compressions on the input signal as necessary and outputting the signal.
  • the photoelectric conversion system 1200 further includes a buffer memory unit 1206 for temporarily storing image data, and an external interface unit (external I / F unit) 1209 for communicating with an external computer or the like.
  • the photoelectric conversion system 1200 includes a recording medium 1211 such as a semiconductor memory for recording or reading imaging data, and a recording medium control interface unit (recording medium control I / F unit) for recording or reading on the recording medium 1211.
  • a recording medium 1211 such as a semiconductor memory for recording or reading imaging data
  • a recording medium control interface unit recording medium control I / F unit
  • the recording medium 1211 may be built in the photoelectric conversion system 1200 or may be detachable.
  • the communication from the recording medium control I / F unit 1210 to the recording medium 1211 and the communication from the external I / F unit 1209 may be performed wirelessly.
  • the photoelectric conversion system 1200 has an overall control / calculation unit 1208 that performs various calculations and controls the entire digital still camera, and a timing generation unit 1207 that outputs various timing signals to the photoelectric conversion device 1204 and the signal processing unit 1205.
  • a timing signal or the like may be input from the outside, and if the photoelectric conversion system 1200 has at least a photoelectric conversion device 1204 and a signal processing unit 1205 that processes an output signal output from the photoelectric conversion device 1204. good.
  • the timing generator 1207 may be mounted on the photoelectric conversion device.
  • the overall control / calculation unit 1208 and the timing generation unit 1207 may be configured to perform part or all of the control functions of the photoelectric conversion device 1204.
  • the photoelectric conversion device 1204 outputs an image signal to the signal processing unit 1205.
  • the signal processing unit 1205 performs predetermined signal processing on the image signal output from the photoelectric conversion device 1204, and outputs the image data. Further, the signal processing unit 1205 uses the image signal to generate an image. Further, the signal processing unit 1205 may perform a distance measuring operation on the signal output from the photoelectric conversion device 1204.
  • the signal processing unit 1205 and the timing generation unit 1207 may be mounted on the photoelectric conversion device. That is, the signal processing unit 1205 and the timing generation unit 1207 may be provided on the substrate on which the pixels are arranged, or may be provided on another substrate.
  • FIG. 14 is a block diagram showing a configuration example of a distance image sensor (ToF system), which is an electronic device using the photoelectric conversion device described in the above-described embodiment.
  • ToF system a distance image sensor
  • the distance image sensor 401 includes an optical system 402, a photoelectric conversion device 403, an image processing circuit 404, a monitor 405, and a memory 406. Then, the distance image sensor 401 receives light (modulated light or pulsed light) that is projected from the light source device 411 toward the subject and reflected on the surface of the subject, so that the distance image corresponding to the distance to the subject is obtained. Can be obtained.
  • light modulated light or pulsed light
  • the optical system 402 is configured to have one or a plurality of lenses, guides image light (incident light) from a subject to a photoelectric conversion device 403, and forms an image on a light receiving surface (sensor unit) of the photoelectric conversion device 403. Let me.
  • the photoelectric conversion device 403 As the photoelectric conversion device 403, the photoelectric conversion device of each of the above-described embodiments is applied, and a distance signal indicating a distance obtained from a light receiving signal output from the photoelectric conversion device 403 is supplied to the image processing circuit 404.
  • the image processing circuit 404 performs image processing for constructing a distance image based on the distance signal supplied from the photoelectric conversion device 403. Then, the distance image (image data) obtained by the image processing is supplied to the monitor 405 and displayed, or supplied to the memory 406 and stored (recorded).
  • the distance image sensor 401 configured in this way, by applying the above-mentioned photoelectric conversion device, for example, a more accurate distance image can be acquired as the characteristics of the pixels are improved.
  • FIG. 15 is a schematic view showing a configuration example of a photoelectric conversion system and a moving body according to the present embodiment.
  • an example of an in-vehicle camera is shown as a photoelectric conversion system.
  • FIG. 15 shows an example of a vehicle system and a photoelectric conversion system that performs imaging mounted on the vehicle system.
  • the two photoelectric conversion devices 1302 are arranged in front of the vehicle 1300.
  • the center line with respect to the advancing / retreating direction or the outer shape (for example, the vehicle width) of the vehicle 1300 is regarded as an axis of symmetry, and the two photoelectric conversion devices 1302 are arranged line-symmetrically with respect to the axis of symmetry, the vehicle 1300 and It is preferable for acquiring distance information with the object to be photographed and determining the possibility of collision.
  • the photoelectric conversion device 1302 is arranged so as not to obstruct the driver's field of view when the driver visually recognizes the situation outside the vehicle 1300 from the driver's seat.
  • a photoelectric conversion device 1302 may be arranged behind the vehicle 1300 to sound an alarm when a vehicle behind the vehicle approaches.
  • the photoelectric conversion device can be applied to the control of automatically driving following other vehicles and the control of automatically driving so as not to go out of the lane.
  • the photoelectric conversion system 1301 can be applied not only to a vehicle such as a own vehicle but also to a moving body (moving device) such as a ship, an aircraft, or an industrial robot.
  • a moving body moving device
  • it can be applied not only to moving objects but also to devices that widely use object recognition, such as intelligent transportation systems (ITS).
  • ITS intelligent transportation systems
  • the photoelectric conversion device of the present invention may further have a configuration capable of acquiring various information such as distance information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

光電変換部と、第１の露光期間および前記第１の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第２の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、前記第１の露光期間に発生した信号電荷に基づく光量値と、前記第２の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、前記比較部の比較結果に基づき、第３の露光期間と前記第３の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第４の露光期間とを設定するように制御する制御部と、を有し、前記第３の露光期間および前記第４の露光期間は、前記第１の露光期間および前記第２の露光期間の少なくとも一方よりも短い。

Description

光電変換装置、光電変換システム
　本発明は、光電変換装置、および光電変換システムに関する。
　測定対象物までの距離を測定する際、しばしば、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）法が用いられる。このＴＯＦ法では、光源から光が射出され、測定対象物で反射された反射光を検出する。そして、ＴＯＦ法では、光を射出したタイミング及び反射光を検出したタイミングの間の時間差を計測することにより、測定対象物までの距離を計測する。
　特許文献１では、光電変換部を構成する半導体領域のＰＮ接合領域において、単一光子に起因する光電荷がアバランシェ増倍を起こすＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）を用いたＴＯＦ測距装置が開示されている。また、特許文献１には、ＳＰＡＤに入射した光子信号を検出する状態（露光状態）と検出しない状態（非露光状態）とを、ピコ秒～マイクロ秒オーダーの幅を持つパルス信号によって高速で切り替える時間ゲート方式による測距測定が記載されている。
米国特許出願公開第２０１７／００５２０６５号明細書
　しかしながら、特許文献１においては、検出光の時間分布を精度よく測定するために、所定の距離測定範囲に対応する時間範囲内で、発光タイミングに対する時間ゲートタイミングの相対差を細かい間隔で走査する必要がある。このため、１回の距離測定あたりにかかる時間が増加し、光電変換装置から測定対象物までの距離測定の高速化が困難である。
　一形態に係る光電変換装置は、光電変換部と、第１の露光期間および前記第１の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第２の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、前記第１の露光期間に発生した信号電荷に基づく光量値と、前記第２の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、前記比較部の比較結果に基づき、第３の露光期間と前記第３の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第４の露光期間とを設定するように制御する制御部と、を有し、前記第３の露光期間および前記第４の露光期間は、前記第１の露光期間および前記第２の露光期間の少なくとも一方よりも短い。
　一形態に係る光電変換装置は、光電変換部と、第１の露光期間および前記第１の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第２の露光期間に入射して得られた信号電荷に基づく光量値を保持する光量値保持部と、前記第１の露光期間に得られた光量値と前記第２の露光期間に得られた光量値を比較する比較部と、を有し、前記比較部の比較結果に応じて、第３の露光期間および第４の露光期間を制御する制御部と、を有する。
　本発明によれば、特許文献１に比較して、光電変換装置から測定対象物までの距離の測定を高速化できる。
実施形態１に関わる光電変換装置の一例の模式図 比較形態及び実施形態１に関わる露光パターンを示すタイミング図 実施形態１に関わる単位画素あたりのブロック図 実施形態１に関わる画素駆動のタイミング図 実施形態２に関わる単位画素あたりのブロック図 実施形態２に関わる画素駆動のタイミング図 実施形態２の変形に関わる単位画素あたりのブロック図 実施形態３に関わる単位画素あたりのブロック図 実施形態４に関わる単位画素あたりのブロック図 実施形態４に関わる画素駆動のタイミング図 実施形態５に関わる露光パターンを示すタイミング図 実施形態６に関わる露光パターンを示すタイミング図 実施形態７に関わる光電変換システムのブロック図 実施形態８に関わる光電変換システムのブロック図 実施形態９に関わる光電変換システムのブロック図
　以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
　（実施形態１）
　実施形態１について、図１から図４を用いて説明する。図１は、本実施形態の光電変換装置１００のブロック図である。光電変換装置１００は、画素部１０１、制御パルス生成部１１５、水平走査回路部１１１、読み出し回路１１２、信号線１１３、垂直走査回路部１１０を有する。画素部１０１には、画素１０４が２次元アレイ状（行列状）に複数配されている。一つの画素１０４は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２及び画素回路１０３から構成される。なお、画素部１０１において、少なくともＡＰＤが２次元アレイ状に配されていればよい。光電変換部１０２は光を電気信号へ変換する。画素回路１０３は、光電変換部１０２で変換された電気信号を信号線１１３に出力する。
　垂直走査回路部１１０は、制御パルス生成部１１５から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
　各画素の光電変換部１０２から出力された信号は、画素回路１０３で処理される。画素回路１０３は、カウンタ回路及び／又はメモリが設けられている。以下では、画素回路１０３がメモリを有する場合について説明する。メモリにはデジタル値が保持される。
　水平走査回路部１１１は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを画素回路１０３に入力する。
　信号線１１３には、選択されている行について、垂直走査回路部１１０により選択された画素１０４の画素回路１０３からの信号が出力される。
　信号線１１３に出力された信号は、出力回路１１４を介して、光電変換装置１００の外部の記録部または信号処理部に出力する。
　図１において、画素部１０１には、２次元アレイ状に画素１０４が配されている。画素部１０１には、複数の画素１０４が１次元状に配されていてもよい。また、画素部１０１には、配列ではなく単一の画素のみが配されていてもよい。
　画素回路１０３の機能は、必ずしも全ての画素１０４に１つずつ設けられる必要はない。例えば、複数の画素１０４によって１つの画素回路１０３を共有し、順次信号処理が行われてもよい。光電変換装置は、高感度化、高機能化のために、光電変換部を有する第一の基板と、画素回路を有する第二の基板を積層して接合した積層型センサを用いてもよい。この場合、光電変換部と画素回路とは、画素毎に設けられた接続配線を介して電気的に接続される。
　図２を用いて、本発明の効果である、距離測定の高速化の原理について説明する。
　図２（ｉ）は、比較形態を示す図であり、時間ゲート型ＴＯＦ方式のうち、反射光のタイミングを線形探索する方式の説明図である。図２（ｉｉ）は、本実施形態の反射光のタイミングをバイナリ探索する方式の説明図である。図２（ｉ）において、各サブフレームに白色で示す範囲が画素１０４の露光期間であり、黒色で示す範囲が非露光期間である。
　本実施形態において、露光期間とは、例えば、光電変換部１０２がアクティブであり、且つ、光電変換部１０２からの信号がカウンタ回路及び／又はレジスタ回路に読み出される状態にある期間を指す。また、非露光期間とは、カウンタ回路及び／又はレジスタ回路において光電変換部１０２からの信号が読み出されない期間を指す。以降の説明では、ＡＰＤにアバランシェ増倍可能な逆バイアスの電位が印加されており、且つ、ゲート素子をオンし、ＡＰＤからの信号をカウンタ回路及び／レジスタ回路が読み出し可能な状態の期間を露光期間とする。そして、ゲート素子をオフし、ゲート素子を介してＡＰＤからの信号が読み出されない状態の期間を非露光期間とする。非露光期間は、これに限定されない。
　例えば、ＡＰＤにおいてアバランシェ増倍が生じないように、ＡＰＤへ印加する電位差を小さくする期間を非露光期間とし、ＡＰＤがアバランシェ増倍するような電位差を印加する期間を露光期間としてもよい。また、カウンタ回路及び／又はレジスタ回路が駆動しないように制御する期間を非露光期間とし、カウンタ回路及び／又はレジスタ回路が駆動するように制御する期間を露光期間としてもよい。
　なお、図２（ｉ）及び図２（ｉｉ）では、説明をわかりやすくするために、発光光からサブフレームを並べているが、実際の駆動では、第１回目の発光光で第１サブフレームの光量計測がなされる。その後、第１回目の発光光と同じタイミングで第２回目の発光光が射出され、第２回目の発光光で第２サブフレームの光量計測がなされる。そして、Ｎ回目の発光光で第Ｎサブフレームの光量計測がなされる。
　比較形態では、光源の発光タイミングに対して、露光期間の開始タイミングと終了タイミングとの相対的なタイミングをずらしながらＮ回の光量測定を行う。つまり、露光期間の開始タイミングを少しずつずらしながら、反射光を測定する。このように、所定の測距範囲に対して、露光期間のタイミングをステップで線形に走査する場合は、反射光検出の時間分解能ないし測距精度は、線形走査のステップ数Ｎに比例して高くなる。しかしながら、ステップ数が増加しサブフレーム数を増やすと、距離測定に時間がかかる。
　一方、本実施形態では、第１サブフレームにおいて、発光光の周期に対応する期間を２以上の露光期間に時分割する。例えば、露光期間Ａ、Ｂの２つに時分割し、それぞれの露光期間における光強度を独立に測定し、露光期間ＡとＢにおける光強度の大小を比較する。説明図においては、反射光が露光期間Ａに包含されるため、露光期間Ａの光信号量が露光期間Ｂの光信号量よりも大きくなる。この比較結果をもとに、反射光が露光期間Ａに包含されていると仮定し、第１サブフレームの露光期間Ａの長さの範囲内で、露光期間Ａをさらに二分する形で、第２サブフレームの露光期間ＡとＢを決定する。このように、各サブフレームでの２以上の露光期間での光量を比較して、次のサブフレームでの露光パターン、特に露光のタイミングと期間を決めることを逐次的に繰り返すことで、反射光のタイミングの推定を高めていく。この結果、線形探索ではＮ回の光量測定が必要であったのに対し、バイナリ探索では光量測定回数をＬｏｇ２（Ｎ）に抑制できるため、距離測定の高速化が可能となる。
　なお、図２（ｉ）では、各サブフレームは１回の光照射及び１回の露光期間しか図示していないが、各サブフレームを複数繰り返して得られた光信号を加算してもよい。これにより、光信号測定の精度を向上させることができる。この場合は、比較形態によると、反射光検出の時間分解能ないし測距精度は、線形走査のステップ数Ｎに比例して高くなる。
　したがって、本実施形態を用いることによる距離測定の高速化の効果が顕著となる。
　なお、図２（ｉｉ）ではバイナリ探索方式として露光期間を２等分する例を示している。以降の図における説明でも２等分を例として説明するが、バイナリ探索方式という用語は、露光期間を２等分にするものに限定されるものではなく、露光期間の等分数を３以上にして探索を行うものも、本明細書ではバイナリ探索方式という。すなわち、バイナリ探索方式は、線形走査方式とは異なる方式の呼称であり、２等分には限定されない。また、一つのサブフレームにおける二つの露光期間Ａ、Ｂの長さは異なってもよい。さらに、比較する工程においては、露光期間Ａ、Ｂの信号量そのものではなく、それぞれの信号に所定の演算処理ないし補正処理を加えた信号Ａ’、Ｂ’同士を比較してもよい。
　図３は、本実施形態における単位画素あたりのブロック図の一例である。上述の通り、画素は、光電変換部と画素回路とを有する。図３において、光電変換部としてＡＰＤ３０１を用いる。また、画素回路は、クエンチ素子３０２、ゲート素子３０３（スイッチ）、光量値保持部３１、比較回路（比較部）３１２、レジスタ回路３１３、パルス生成回路３１４を有する。光量値保持部３１は、カウンタ回路３１０とレジスタ回路３１１とを有する。
　ＡＰＤ３０１は、アバランシェ電流を制御するクエンチ素子３０２に接続される。ＡＰＤ３０１から出力される光子検出信号は、ゲート素子３０３に入力されるゲート信号ＧＡＴＥにより時間的に制御される。ゲート素子３０３の出力は、カウンタ回路３１０及びレジスタ回路３１１からなる光量値保持部３１に入力される。ゲート素子３０３を通過した光子信号は、カウンタ回路３１０によりカウントされ、カウント値はトリガー信号ＲＴＲＧに応じてレジスタ回路３１１に書き込まれる。つまり、レジスタ回路３１１は、記録回路として機能する。比較回路３１２は、イネーブル信号ＣＯＥＮを受けて、カウンタ回路３１０及びレジスタ回路３１１の出力値の大小を比較し、この比較結果をレジスタ回路３１３に記録する。パルス生成回路３１４は、レジスタ回路３１３の保持信号とクロック信号ＣＬＫ及びイネーブル信号ＰＧＥＮを受けて、露光パターンを規定するゲート信号ＧＡＴＥを生成する。リセット信号ＲＥＳ１、ＲＥＳ２、ＲＥＳ３は、それぞれカウンタ回路３１０、レジスタ回路３１１及びレジスタ回路３１３の保持信号を初期化する。
　ＡＰＤ３０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ３０１のカソードにはアノードに供給される電位ＶＬよりも高い電位ＶＨに基づく電位が供給される。そしてＡＰＤ３０１のアノードとカソードには、ＡＰＤ３０１に入射したフォトンがアバランシェ増倍されるような逆バイアスがかかるように電位が供給される。このような逆バイアスの電位を供給した状態で光電変換することで、入射光によって生じた電荷がアバランシェ増倍を起こしアバランシェ電流が発生する。
　逆バイアスの電位が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きいときには、ＡＰＤはガイガーモード動作となる。以下では、ガイガーモード動作を用いて単一光子レベルの微弱信号を高速検出するＡＰＤをＳＰＡＤ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ａｖａｌａｎｃｈｅ　Ｄｉｏｄｅ）とも呼ぶ。本実施形態では、微弱信号を高速検出するためにＳＰＡＤを用いることが好ましいが、ＡＰＤは降伏電圧以下の電圧で増倍させるリニアモード動作であってもよい。
　クエンチ素子３０２は、単一のトランジスタの代わりに複数のトランジスタからなるクエンチ素子や抵抗素子などを用いてもよい。ＡＰＤ３０１においてアバランシェ増倍により光電流が増倍されると、増倍した電荷によって得られる電流が、ＡＰＤ３０１とクエンチ素子３０２との接続ノードに流れる。この電流による電圧降下により、ＡＰＤ３０１のカソードの電位が下がり、ＡＰＤ３０１は、電子なだれを形成しなくなる。これにより、ＡＰＤ３０１のアバランシェ増倍が停止する。その後、電源の電位ＶＨがクエンチ素子３０２を介してＡＰＤ３０１のカソードに供給されるため、ＡＰＤ３０１のカソードに供給される電位が電位ＶＨに戻る。つまり、ＡＰＤ３０１の動作領域は再びガイガーモード動作となる。このように、クエンチ素子３０２は、アバランシェ増倍による電荷の増倍時に負荷回路（クエンチ素子）として機能し、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。また、クエンチ素子は、アバランシェ増倍を抑制した後に、ＡＰＤの動作領域を再びガイガーモードにする働きを持つ（リチャージ動作）。
　ゲート素子３０３としては、単一のトランジスタの代わりに複数のトランジスタを用いたスイッチ回路や論理回路を用いることができる。図３において、ゲート素子３０３のオン／オフを制御することにより画素の露光期間を調整している。露光期間とは、ＡＰＤ３０１で光子検知を可能な状態であり、且つ、ＡＰＤ３０１の電位が光量値保持部３１に入力される期間を指す。また、画素の非露光期間とは、ＡＰＤ３０１の電位が光量値保持部３１に入力されない期間を指す。具体的には、ゲート素子３０３がオンの状態の期間が露光期間となり、ゲート素子３０３がオフの状態が非露光期間となる。図３では、ゲート素子３０３がＰＭＯＳトランジスタにより構成されている。したがって、ゲートに入力される信号が第１のレベル（ハイレベル）から第２のレベル（ローレベル）へと遷移するとゲート素子３０３はオンとなり、第２のレベルから第１のレベルに遷移するとオフとなる。
　なお、ゲート素子３０３がＮＭＯＳトランジスタの場合は、逆になる。つまり、ゲートに入力される信号が第２のレベルから第１のレベルに遷移するとゲート素子３０３がオンとなり、第１のレベルから第２のレベルに遷移するとゲート素子３０３がオフとなる。ゲート素子がオン状態であるとは、ＡＰＤ３０１と光量値保持部３１が導通している状態を指し、ゲート素子がオフ状態であるとは、ＡＰＤ３０１と光量値保持部３１が非導通の状態を指す。なお、ゲート素子３０３として、ＡＰＤ３０１とカウンタ回路３１０の間に特定の素子を設けず、カウンタの動作の有効・無効状態を時間的に切り替える動作で代用してもよい。この場合において、カウンタの動作が有効な状態が露光期間となり、カウンタの動作が無効な状態が非露光期間となる。
　カウンタ回路３１０は、デジタルカウンタとアナログカウンタのいずれを用いてもよい。カウンタ回路３１０は、レジスタ回路３１１と比較回路３１２とにカウンタからの出力信号が入力されるように接続されている。レジスタ回路３１１は、カウンタ回路３１０から出力された信号を保持することができる。レジスタ回路３１１はその出力が比較回路３１２に入力されるように接続されている。
　光量値保持部３１、比較回路３１２、レジスタ回路３１３、パルス生成回路３１４の一部を複数の画素で共有してもよい。
　比較回路３１２は、カウンタ回路３１０から出力される信号値とレジスタ回路３１１から出力される信号値とを比較して、比較結果をレジスタ回路３１３に入力するように接続されている。また、レジスタ回路３１３は、パルス生成回路３１４に接続されている。パルス生成回路３１４は、ゲート素子に接続されており、パルス生成回路３１４からの出力信号に基づき、ゲート素子のオンオフが制御される。本実施形態では、ゲート素子のオンオフを制御することにより、露光期間を設定している。つまり、パルス生成回路３１４が露光期間を制御する制御部として機能する。
　レジスタ回路３１３は、信号線１１３に信号が出力されるように接続されている。レジスタ回路３１３から出力される信号値に基づき、測距を行うことが可能となる。したがって、信号線１１３は、少なくともレジスタ回路３１３からの出力ビット数の信号を出力できるような本数で構成されている。
　なお、図３では、レジスタ回路３１３に加えて、カウンタ回路３１０及びレジスタ回路３１１が信号線１１３に接続されている。このように、カウンタ回路３１０、レジスタ回路３１１からの出力を、信号線１１３を介して画素外に出力することにより、測距結果の信頼性を向上できる。例えば、レジスタ回路３１１から出力される信号値とカウンタ回路３１０から出力される信号値とをフレーム毎に出力する。そして、出力された各信号値を比較する。反射光が入射する画素においては、レジスタ回路３１１から出力される信号値とカウンタ回路３１０から出力される信号値とに大きな差がある。一方で、反射光が入射しない画素においては、ノイズや外光に基づく信号のみが検知されるため、レジスタ回路３１１から出力される信号値とカウンタ回路３１０から出力される信号値との差があまりない。このような信号値の絶対値および差を利用することで、反射光が入射する画素か否かの情報や、検出されたノイズや外光のデータを得ることができる。これらの情報は測距精度の正確性を確認するための判断材料とすることできるため、測距結果の信頼性を高めることが可能となる。
　レジスタ回路３１３、カウンタ回路３１０、及びレジスタ回路３１１の各出力値が信号線１１３に出力される場合は、各回路からの信号をそれぞれ出力できるような本数としてもよいし、信号線１１３を各回路で共有してもよい。信号線１１３を共有する場合は、各回路からの信号の出力タイミングをずらすことにより、各回路から出力される信号を画素外で検知することが可能となる。
　図４は、本実施形態による光電変換装置の画素の動作を示すタイミング図である。時刻ｔ１からｔ２までの期間において、ＲＥＳ１、ＲＥＳ２、ＲＥＳ３をハイレベルとして、カウンタ回路３１０、レジスタ回路３１１及びレジスタ回路３１３の保持信号（Ｃｏｕｎｔ、Ｒｅｇ１、Ｒｅｇ２）を初期化する。
　まず、時刻ｔ２からｔ７までの期間に相当する第ｋフレームの第１サブフレームにおける第１期間の駆動を説明する。時刻ｔ３に光源から測定対象物に向けてパルス光を照射する。このパルス光が測定対象物に反射され、時刻ｔ４に光電変換装置の受光面に到達する。時刻ｔ３からｔ５までの期間にゲート素子に入力するゲート信号ＧＡＴＥをローレベルとすることにより、第一の露光期間ＡにおいてＡＰＤ３０１が受ける光量の測定を行う。
　つまり、光源の発光タイミングと同じタイミングでゲート信号ＧＡＴＥをローレベルとすることで第一の露光期間Ａを開始する。本実施形態ではゲート素子をＰＭＯＳトランジスタにより構成されているため、ゲート素子は、ローレベルのときにＯＮとなり、ハイレベルのときにＯＦＦとなる。一方、時刻ｔ５からｔ６までの期間はゲート素子に入力するゲート信号ＧＡＴＥをハイレベルとし、光信号を測定しない非露光状態とする。つまり、第一の露光期間Ａは、光源からの発光タイミングから第１の遅延時間を経て露光を開始する期間である。所定の期間を経過した後にゲート信号ＧＡＴＥをハイレベルとすることで第一の露光期間Ａを終了する。露光期間Ａに内包されるｔ４において、反射光のパルスが検出されるため、カウンタ回路３１０のカウント値Ｃｏｕｎｔが増加する。第１サブフレームの第１期間内に、時刻ｔ２からｔ６までの駆動を複数回繰り返すことで、露光期間Ａの光信号を積算する。
　次に、時刻ｔ７からｔ１２までの期間に、カウンタ回路３１０が保持する信号をレジスタ回路３１１に記録する駆動を説明する。時刻ｔ７からｔ１２までの期間は、パルス生成回路３１４のイネーブル信号ＰＧＥＮをローレベルとし、ＡＰＤ３０１からの光検出信号をカウンタ回路３１０でカウントしないようにする。時刻ｔ７からｔ１２までの期間は、ゲート素子に入力されるゲート信号ＧＡＴＥはハイレベルとなる。時刻ｔ８からｔ９までの期間にトリガー信号ＲＴＲＧをハイレベルとし、カウンタ回路３１０の出力をレジスタ回路３１１に記録する。これにより、レジスタ回路３１１の保持信号値Ｒｅｇ１が変更される。時刻ｔ１０からｔ１１までの期間でリセット信号ＲＥＳ１をハイレベルとし、カウンタ回路３１０の保持信号を初期化する。
　次に、時刻ｔ１２からｔ１６までの期間に相当する第ｋフレームの第１サブフレームにおける第２期間の駆動を説明する。前述の第１サブフレームの第１期間の駆動と比べ、ゲート信号ＧＡＴＥをハイレベルにするタイミングが異なる。第１サブフレームにおける第２期間では、時刻ｔ１４からｔ１５までの期間を露光期間Ｂとし、時刻ｔ１２からｔ１４までの期間を非露光期間とする。つまり、露光期間Ｂは、光源からの発光タイミングから第２の遅延時間を経て露光を開始する期間である。第２の遅延時間の長さは第１の遅延時間の長さと異なる。露光期間Ｂを開始してから所定の期間を経過した後にゲート信号ＧＡＴＥをハイレベルとすることで露光期間Ｂを終了している。前述の第１サブフレームの第１期間の駆動とは異なり、反射光は時刻ｔ１３に受光面に到達する。このとき、光電変換装置は非露光期間中であるため、光信号はカウントされない。
　次に、時刻ｔ１６からｔ２１までの期間に、露光期間Ａ及びＢにおける光信号量の大小を比較する駆動を説明する。前記同様、時刻ｔ１６からｔ２１までの期間は、パルス生成回路３１４のイネーブル信号ＰＧＥＮをローレベルとし、ＡＰＤ３０１からの光検出信号をカウンタ回路３１０でカウントしないようにする。時刻ｔ１７からｔ１８までの期間に、比較回路３１２のイネーブル信号ＣＯＥＮをハイレベルとする。そして、露光期間Ａに対応する信号量を保持するレジスタ回路３１１の出力と露光期間Ｂに対応する信号量を保持するカウンタ回路３１０の出力の大小の比較結果を、デジタル信号としてレジスタ回路３１３に記録する。これにより、レジスタ回路３１３の保持信号Ｒｅｇ２が変更される。
　時刻ｔ１９からｔ２０までの期間において、ＲＥＳ１、ＲＥＳ２をハイレベルとして、カウンタ回路３１０及びレジスタ回路３１１の保持信号を初期化する。
　時刻ｔ２１からｔ２４までの期間に相当する第ｋフレームの第２サブフレームにおける第１期間では、前記比較結果に基づき、第１サブフレームにおける露光期間Ａの半分の長さを有する。そして、時刻ｔ２１からｔ２２までの期間で規定される新たな露光期間Ａを設定するように、パルス生成回路３１４がゲート信号ＧＡＴＥを生成する。ここでは、第１サブフレームにおける信号積算量が大きかった露光期間Ａを２等分した２つの露光期間のうち一方を、新たに露光期間Ａと設定している。そして、第１サブフレームにおける露光期間Ａの残りの露光期間と、第１サブフレームにおける露光期間Ｂとを非露光期間として設定している。前記同様、記録動作を経て、時刻ｔ２５以降に第ｋフレームの第２サブフレームにおける第２期間の駆動が続く。具体的には、第１サブフレームにおける信号積算量が大きかった露光期間Ａを２等分した２つの露光期間のうち、新たに設定した露光期間Ａの残りの期間を、新たな露光期間Ｂとして設定する。
　このように、露光動作（Ａ）、記録動作、露光動作（Ｂ）、比較動作のシーケンスを所定の回数だけ複数回繰り返し、反射光パルスのタイミングをバイナリ探索することで、測定対象物までの距離測定の精度を高めていく。
　なお、本実施形態では、第１サブフレームから第２サブフレームに切り替わる時刻ｔ２１において、パルス生成回路３１４に入力されるクロック信号ＣＬＫの周波数が倍増する駆動を示した。これに限らず、周波数を変えずに露光パターンの間隔をサブフレーム毎に切り替えられるようなパルス生成回路３１４を用いてもよい。また、本実施形態では、光源の動作として、周期的なパルス発光を仮定したが、異なるサブフレーム間で発光光の強度や幅、時間的な発光パターンを切り替えてもよい。
　また、上記の説明では、所定の回数だけ動作のシーケンスを繰り返した後にレジスタ回路３１３から信号値を出力しているがこれに限定されない。例えば、１サブフレーム毎や、数サブフレーム毎にレジスタ回路３１３から信号値を、信号線１１３に出力してもよい。これにより、１フレーム期間が終了する前に大まかな測距結果を得ることが可能となる。
　本実施形態によれば比較形態に比べて高速に距離測定を行うことが可能となる。
　（実施形態２）
　実施形態２について、図５及び図６を用いて説明する。図５は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、次に説明する事項が実施形態１とは異なる。本実施形態では、光量値保持部３１が２つのカウンタ回路３１０ａ、３１０ｂにより構成されている。そして、ＡＰＤ３０１の出力端子が二つの並列なゲート素子３０３ａ、３０３ｂに接続され、この二つのゲート素子の出力がそれぞれ、カウンタ回路３１０ａ、３１０ｂに並列で入力される。比較回路３１２は、カウンタ回路３１０ａ及び３１０ｂの出力を比較する。パルス生成回路３１４は、ゲート素子３０３ａ及び３０３ｂに対し、独立なゲート信号ＧＡＴＥ１とＧＡＴＥ２を生成する。以下では、実施形態１と異なる点について説明し、実施形態１と実質的に同じである点の説明は省略する。
　ゲート素子３０３ａからの出力は、カウンタ回路３１０ａに入力される。そして、ゲート素子３０３ｂからの出力は、カウンタ回路３１０ｂに入力される。カウンタ回路３１０ａ、３１０ｂは、それらの出力が比較回路３１２に入力されるように接続される。なお、本明細書において、構成が同様であるものについては、符号の末尾にａ、ｂ、ｃ等のローマ字を付して説明を省略することがある。
　図６は、本実施形態による光電変換装置の画素の駆動動作を示すタイミング図である。
　リセット信号ＲＥＳ１、ＲＥＳ２、ＲＥＳ３は、それぞれカウンタ回路３１０ａ、カウンタ回路３１０ｂ及びレジスタ回路３１３の保持信号を初期化する。露光動作（Ａ）、記録動作、露光動作（Ｂ）、比較動作のシーケンスを繰り返す実施形態１と比べて、本実施形態では、露光動作（Ａ、Ｂ）、比較動作のシーケンスを繰り返して行うことができる点が異なる。時刻ｔ３からｔ６までの期間に相当する第ｋフレームの第１サブフレーム内で、ゲート信号ＧＡＴＥ１をハイレベルにすることで規定される露光期間Ａと、ゲート信号ＧＡＴＥ２をハイレベルにすることで規定される露光期間Ｂとを相補的に設定している。本実施形態では、ゲート素子３０３ａ、３０３ｂは、インバータ回路および論理回路により構成されている。ＡＰＤ３０１ａ、３０１ｂでアバランシェ増倍が生じるとカソードの電位が下がる。そして、ゲート素子３０３ａに含まれるインバータ回路において閾値を超えると電位が反転する。そして論理回路であるＡＮＤ回路に入力されるとゲート素子３０３ａ、３０３ｂからハイレベルの信号が出力される。例えば、時刻ｔ３からｔ４までの期間を露光期間Ａとして、この期間中の光信号をカウンタ回路３１０ａでカウントし、時刻ｔ４からｔ５までの期間を露光期間Ｂとして、この期間中の光信号をカウンタ回路３１０ｂでカウントする。
　実施形態１と同様に、時刻ｔ６からｔ７までの期間において、カウンタ回路３１０ａ及び３１０ｂの出力信号を比較する。この比較結果に基づき、時刻ｔ７からｔ１０までの期間に相当する第ｋフレームの第２サブフレームにおける露光期間Ａ及びＢを新たに設定する。ここでは、第１サブフレームにおける信号積算量が大きかった露光期間Ａを２等分した２つの露光期間を、新たに露光期間Ａ及び露光期間Ｂと設定している。そして、第１サブフレームと同様に、新たに設定された露光期間Ａの光量をカウンタ回路３１０ａでカウントし、露光期間Ｂの光量をカウンタ回路３１０ｂでカウントしている。
　本実施形態によれば、実施形態１と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、単一のサブフレーム内で、露光期間ＡとＢにおける光信号の強度を並列で取得できるため、実施形態１よりも、露光動作から比較動作までの期間を短縮でき、測定対象物までの距離の測定を高速化できる。さらに、測定対象物が動いている場合でも、露光期間Ａ及びＢにおける光信号測定の時間のずれを少なくでき、距離測定の精度を向上できる。
　（実施形態２の変形例）
　実施形態２の変形例について、図７を用いて説明する。図７は、変形例における単位画素あたりのブロック図の一例である。変形例においては、２つの独立したＡＰＤ３０１ａ、３０１ｂからの出力が、２つのゲート素子３０３ａ、３０３ｂに接続されている点が実施形態２と異なる。その他に以下で説明する事項以外は実施形態２と実質的に同様であるため、説明を省略する。また、本変形例に対応する駆動方式は、実施形態２の駆動方式に準ずる。
　図７に示すように、ＡＰＤ３０１ａからの出力がゲート素子３０３ａに入力され、ＡＰＤ３０１ｂからの出力がゲート素子３０３ｂに入力される。したがって、カウンタ回路３１０ａは、ＡＰＤ３０１ａで検出される光量をカウントし、カウンタ回路３１０ｂは、ＡＰＤ３０１ｂで検出される光量をカウントする。
　本変形例によれば、実施形態２と同様に、比較形態に比べて高速に距離測定を行うことができる。また、空間的に近接する２つのＡＰＤを用いて、単一のサブフレーム内で、露光期間ＡとＢにおける光信号の強度を並列で取得できるため、露光動作から比較動作までの期間を短縮でき、測定対象物までの距離の測定を高速化できる。さらに、測定対象物が動いている場合でも、露光期間Ａ及びＢにおける光信号測定の時間のずれをできるだけ小さくすることができ、距離測定の精度を向上できる。
　（実施形態３）
　実施形態３について、図８を用いて説明する。図８は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、２つの独立したＡＰＤ３０１ａ、３０１ｂと、それらに接続された２つの波形整形回路８２０ａ、８２０ｂからの出力が同時検出回路８２１に入力され、同時検出回路８２１の出力が、２つのゲート素子３０３ａ、３０３ｂに接続される点が異なる。それ以外の事項は、下記で説明する以外は実施形態２の変形例と実質的に同様であるため説明を省略する。
　波形整形回路８２０ａ、８２０ｂは、それぞれのＡＰＤからの出力の波形を整形する機能を持ち、例えばインバータ回路、バッファ回路、ないしパルス波形の幅を短化するモノステーブル回路等が用いられる。同時検出回路８２１は、複数の波形整形回路からの信号のうち、所定の数以上の信号が同時ないし近接したタイミングでハイレベルとなった場合にパルス信号を出力する。なお、１つの同時検出回路８２１に接続されるＡＰＤ及び波形整形回路は、３つ以上でもよい。本実施形態においては、実施形態２と同様の駆動方式を用いる。
　本実施形態によれば、実施形態１と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、反射光に起因する時間的・空間的に近接した光子のみを選択的に検出し、ランダムに検出される外光成分や暗時出力をフィルタリングすることができる。
　したがって、ＴｏＦ方式の距離測定精度に対する外光や暗時出力の影響を低減できる。
　（実施形態４）
　実施形態４について、図９及び図１０を用いて説明する。図９は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、ＡＰＤ３０１の代わりに電荷蓄積型のフォトダイオード９０１を用いており、比較回路３１２にはアナログ信号が入力される点が実施形態１とは異なる。その他に、以下で説明する事項以外は実質的に実施形態１と同様であるため説明を省略する。
　フォトダイオード９０１で蓄積された光電荷は、オーバーフロードレイン回路９０２に制御信号ＯＦＤが入力されたタイミングで排出されるか、光量保持部９１に入力される。
　光量保持部９１は、転送ゲート９０３ａ及び９０３ｂと、保持部９１０ａ及び９１０ｂ、及び転送ゲート９０５ａ、９０５ｂからなる。フォトダイオード９０１で光電変換された光電荷は、ゲート信号ＧＡＴＥ１またはＧＡＴＥ２を受け、転送ゲート９０３ａまたは９０３ｂを介して保持部９１０ａまたは９１０ｂに転送される。前記保持部に保持された信号は、転送ゲート９０５ａ及び９０５ｂがゲート信号ＴＸ１及びＴＸ２を受けたタイミングで、２つのフローティングディフュージョン（ＦＤ）領域ＦＤ１及びＦＤ２に転送される。前記二つのＦＤ領域の電位ＶＦＤ１、ＶＦＤ２は、リセット回路９０７ａ及び９０７ｂがリセット信号ＲＥＳ１及びＲＥＳ２を受けたタイミングで、それぞれ初期化される。
　比較回路３１２は、イネーブル信号ＣＯＥＮを受けて、電位ＶＦＤ１及びＶＦＤ２の大小を比較し、この比較結果をレジスタ回路３１３に記録する。パルス生成回路３１４は、レジスタ回路３１３の保持信号とクロック信号ＣＬＫ及びイネーブル信号ＰＧＥＮを受けて、露光パターンを規定するゲート信号ＧＡＴＥ１とＧＡＴＥ２、及び制御信号ＯＦＤを生成する。リセット信号ＲＥＳ３は、レジスタ回路３１３の保持信号を初期化する。
　図１０は、本実施形態による光電変換装置の画素の動作を示すタイミング図である。時刻ｔ１からｔ２までの期間において、ＲＥＳ１、ＲＥＳ２、ＲＥＳ３をハイレベルとして、二つのＦＤ領域の電位ＶＦＤ１及びＶＦＤ２と、レジスタ回路３１３の保持信号を初期化する。時刻ｔ２からｔ３までの期間において、制御信号ＯＦＤをハイレベルとして、フォトダイオード９０１に蓄積した電荷をリセットする。
　まず、時刻ｔ３からｔ８までの期間に相当する第ｋフレームの第１サブフレームにおける駆動を説明する。時刻ｔ３に光源から測定対象物に向けてパルス光を照射する。このパルス光が測定対象物に反射され、時刻ｔ４に受光面に到達する。時刻ｔ４からｔ５までの期間にゲート信号ＧＡＴＥ１をハイレベルとすることにより、時刻ｔ３からｔ５に対応する第一の露光期間Ａにおいてフォトダイオード９０１が受ける光電荷の転送を行う。さらに、時刻ｔ６からｔ７までの期間にゲート信号ＧＡＴＥ２をハイレベルとすることにより、時刻ｔ５からｔ７に対応する第二の露光期間Ｂにおいてフォトダイオード９０１が受ける光電荷の転送を行う。この時、前記露光期間Ａに内包されるｔ４において、反射光のパルスが検出されるため、保持部９１０ａの電圧値ＶＭ１が変化する。前記第１サブフレームの期間内に、時刻ｔ３からｔ７までの駆動を複数回繰り返すことで、露光期間Ａ及びＢの光信号を積算する。
　次に、時刻ｔ８からｔ１６までの期間に、保持部９１０ａ、９１０ｂの保持信号を比較する駆動を説明する。時刻ｔ８からｔ１６までの期間は、パルス生成回路３１４のイネーブル信号ＰＧＥＮをローレベルとし、フォトダイオード９０１からの光検出信号を保持部９１０ａ及び９１０ｂに転送しないようにする。時刻ｔ９からｔ１０までの期間でＲＥＳ１、ＲＥＳ２をハイレベルとし、ＦＤ電位ＶＦＤ１及びＶＦＤ２をリセットする。時刻ｔ１０からｔ１１までの期間で転送信号ＴＸ１及びＴＸ２をハイレベルとし、保持部９１０ａ及び９１０ｂに保持された信号電荷をそれぞれＦＤ１及びＦＤ２に転送する。時刻ｔ１２からｔ１３までの期間に、比較回路３１２のイネーブル信号ＣＯＥＮをハイレベルとする。そして、露光期間Ａの積算信号量に対応するＶＦＤ１及び露光期間Ｂの積算信号量に対応するＶＦＤ２の大小の比較結果を、デジタル信号としてレジスタ回路３１３に記録する。時刻ｔ１４からｔ１５までの期間に、ＲＥＳ１、ＲＥＳ２をハイレベルとし、ＦＤ電位ＶＦＤ１及びＶＦＤ２を再度リセットする。時刻ｔ１５からｔ１６までの期間において、制御信号ＯＦＤをハイレベルとして、フォトダイオード９０１に蓄積した電荷をリセットする。
　時刻ｔ１６からｔ２０までの期間に相当する第ｋフレームの第２サブフレームでは、前記比較結果に基づき、新たな露光期間Ａ、新たな露光期間Ｂ、非露光期間を設定し、パルス生成回路３１４がゲート信号ＧＡＴＥ１、ＧＡＴＥ２及び制御信号ＯＦＤを生成する。
　新たな露光期間Ａは、第１サブフレームにおける露光期間Ａの半分の長さを有し、時刻ｔ１６からｔ１７までの期間で規定される。新たな露光期間Ｂは、時刻ｔ１７からｔ１８までの期間で規定される。そして、非露光期間は、及び時刻ｔ１８からｔ１９までの期間で規定される。ここでは、第１サブフレームにおける信号積算量が大きかった露光期間Ａを２等分した２つの露光期間を、新たに露光期間Ａ及びＢと設定している。前記同様、時刻ｔ２０からｔ２１までの比較動作を経て、時刻ｔ２１以降に第ｋフレームの第３サブフレームの駆動が続く。
　このように、露光動作（Ａ、Ｂ）、比較動作のシーケンスを複数回繰り返し、反射光パルスのタイミングをバイナリ探索することで、測定対象物までの距離測定の精度を高めていく。
　なお、本実施形態では、光信号の保持手段として、光電荷信号を保持する容量を用いた「電荷保持方式」の例として説明したが、トランジスタ・アンプ等を介して電荷情報を電圧情報に変換し、この電圧信号を保持する「電圧保持方式」を用いてもよい。
　本実施形態によれば、実施形態１と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、ＡＰＤの代わりに電荷蓄積型のフォトダイオードを用いることで、動作電圧が低減できる。また、カウンタ回路やレジスタ回路の代わりに電荷ないし電圧を保持する容量素子を用いることで、画素の微細化が実現できる。
　（実施形態５）
　本実施形態について、図１１を用いて説明する。図１１は、本実施形態における露光パターンの選択手順の一例の説明図である。図１１（ｉ）では、反射光が発光周期に対応する期間の前半に光電変換装置に到達する場合を示し、図１１（ｉｉ）では、反射光が発光周期に対応する期間の後半にセンサに到達する場合を示している。
　本実施形態は実施形態１と比べ、第１サブフレームの露光期間Ａ及びＢが、発光周期に対応する期間を網羅していない点が異なる。図１１（ｉ）の第１サブフレームにおいて、露光期間Ａ及びＢの光信号量を比較する。この時、前記二つの露光期間の信号がいずれも一定の閾値に達していない場合は、信号比較時に「露光期間ＡにもＢにも信号が含まれていない」と判定する。そして、第２サブフレームにおける露光期間Ａ及びＢは、第１サブフレームの露光期間Ａ及びＢと重複せず、また第１サブフレームの露光期間Ａ及びＢと同じ長さになるように設定する。第２サブフレームにおいては、反射光のタイミングが露光期間Ｂに包含されており、前記閾値を上回る信号量が得られる。したがって、信号比較時に「露光期間Ｂに信号が含まれている」と判定し、第２サブフレームの露光期間Ｂをさらに二分する形で、第３サブフレームの露光期間ＡとＢを決定する。
　一方、図１１（ｉｉ）では、反射光のタイミングが第１サブフレームの露光期間Ａに包含されているため、信号比較時に「露光期間Ａに信号が含まれている」と判定する。そして、第１サブフレームの露光期間Ａをさらに二分する形で、第２サブフレームの露光期間ＡとＢを決定する。
　本実施形態のバイナリ探索方式を用いれば、あらかじめ推定される反射光のタイミングの周辺の期間を優先的に探索することで、距離測定を高速化できる。
　（実施形態６）
　本実施形態について、図１２を用いて説明する。図１２は、本実施形態におけるバイナリ探索を用いた距離測定の一例の説明図である。図１２（ｉ）においては、実施形態１と比べ、発光光のパルス幅が最終サブフレームである第４サブフレームの露光期間Ａ及びＢと同程度に設定されている点が異なる。
　図１２（ｉｉ）は、図１２（ｉ）の時刻ｔ１からｔ２までの期間の周辺の反射光及び第４サブフレームの露光パターンを拡大した図である。反射光が露光パターンＡの開始時刻ｔ１に対し、Δｔだけ遅れたタイミングで到達する場合を考える。反射光の大部分は露光期間Ａに包含されるため、信号量を比較すると、露光期間Ａの方が露光期間Ｂよりも大きくなる。この時、反射光のパルス幅と露光期間Ａ及びＢの幅が同等とすると、信号量Ａ及びＢの内分比を用いて、Δｔは下記式で計算できる
　Δｔ＝Ｔ／２×Ｂ／（Ａ＋Ｂ）・・・式１
　なお、上記の式１では、外光や暗時出力の影響が無視できると仮定したが、外光や暗時出力を別途測定し、信号Ａ及びＢから減算した上で、上式を用いてΔｔを求めてもよい。
　本実施形態によれば、最終サブフレームの露光期間の長さよりも細かい時間分解能を実現できるため、距離測定の精度を向上できる。
　（実施形態７）
　図１３は、本実施形態に係る光電変換システム１２００の構成を示すブロック図である。本実施形態の光電変換システム１２００は、光電変換装置１２０４を含む。ここで、光電変換装置１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１３では、光電変換システム１２００としてデジタルスチルカメラの例を示している。
　図１３に示す光電変換システム１２００は、光電変換装置１２０４、被写体の光学像を光電変換装置１２０４に結像させるレンズ１２０２、レンズ１２０２を通過する光量を可変にするための絞り１２０３、レンズ１２０２の保護のためのバリア１２０１を有する。
　レンズ１２０２および絞り１２０３は、光電変換装置１２０４に光を集光する光学系である。
　光電変換システム１２００は、光電変換装置１２０４から出力される出力信号の処理を行う信号処理部１２０５を有する。信号処理部１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１２０９を有する。
　更に光電変換システム１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１２１１、記録媒体１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１２１０を有する。記録媒体１２１１は、光電変換システム１２００に内蔵されていてもよく、着脱可能であってもよい。
　また、記録媒体制御Ｉ／Ｆ部１２１０から記録媒体１２１１との通信や外部Ｉ／Ｆ部１２０９からの通信は無線によってなされてもよい。
　更に光電変換システム１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１２０８、光電変換装置１２０４と信号処理部１２０５に各種タイミング信号を出力するタイミング発生部１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１２００は、少なくとも光電変換装置１２０４と、光電変換装置１２０４から出力された出力信号を処理する信号処理部１２０５とを有すればよい。第４の実施形態にて説明したようにタイミング発生部１２０７は光電変換装置に搭載されていてもよい。全体制御・演算部１２０８およびタイミング発生部１２０７は、光電変換装置１２０４の制御機能の一部または全部を実施するように構成してもよい。
　光電変換装置１２０４は、画像用信号を信号処理部１２０５に出力する。信号処理部１２０５は、光電変換装置１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１２０５は、光電変換装置１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１２０５やタイミング発生部１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１２０５やタイミング発生部１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
　（実施形態８）
　図１４は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサ（ＴｏＦシステム）の構成例を示すブロック図である。
　図１４に示すように、距離画像センサ４０１は、光学系４０２、光電変換装置４０３、画像処理回路４０４、モニタ４０５、およびメモリ４０６を備えて構成される。そして、距離画像センサ４０１は、光源装置４１１から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
　光学系４０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置４０３に導き、光電変換装置４０３の受光面（センサ部）に結像させる。
　光電変換装置４０３としては、上述した各実施形態の光電変換装置が適用され、光電変換装置４０３から出力される受光信号から求められる距離を示す距離信号が画像処理回路４０４に供給される。
　画像処理回路４０４は、光電変換装置４０３から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。
　このように構成されている距離画像センサ４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
　（実施形態９）
　本実施形態の光電変換システムおよび移動体について、図１５を用いて説明する。図１５は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
　図１５は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。本実施形態では、２つの光電変換装置１３０２は、車両１３００の前方に配される。具体的には、車両１３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配されると、車両１３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１３０２は、運転者が運転席から車両１３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。なお、車両１３００の後方にも光電変換装置１３０２を配置し、後方の車両が近づいた際に警報を鳴らす構成としてもよい。
　このように、光電変換装置は、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム１３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
　本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。
　（その他の実施形態）
　以上、各実施形態について説明したが、本発明はこれらの実施形態に制限されるものではなく、様々な変更および変形が可能である。また、各実施形態は相互に適用可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２０年１０月２１日提出の日本国特許出願特願２０２０－１７６５９９を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (21)

  1. 　光電変換部と、
    　第１の露光期間および前記第１の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第２の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、
    　前記第１の露光期間に発生した信号電荷に基づく光量値と、前記第２の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、
    　前記比較部の比較結果に基づき、第３の露光期間と前記第３の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第４の露光期間とを設定するように制御する制御部と、を有し、
    　前記第３の露光期間および前記第４の露光期間は、前記第１の露光期間および前記第２の露光期間の少なくとも一方よりも短いことを特徴とする光電変換装置。
  2. 　前記光電変換部は、アバランシェフォトダイオードであり、
    　前記光量値保持部は、前記光電変換部でアバランシェ増倍された信号をカウントするカウンタ回路を有することを特徴とする請求項１に記載の光電変換装置、
  3. 　前記光量値保持部は、前記カウンタ回路のカウント値を保持する記録回路と、を有することを特徴とする請求項２に記載の光電変換装置。
  4. 　前記カウンタ回路は第１のカウンタ回路と第２のカウンタ回路とを含み、
    　前記第１の露光期間における光量値は、前記第１のカウンタ回路でカウントされ、
    　前記第２の露光期間における光量値は、前記第２のカウンタ回路でカウントされることを特徴とする請求項２に記載の光電変換装置。
  5. 　前記光電変換部は、第１のアバランシェフォトダイオード、第２のアバランシェフォトダイオードを含み、
    　前記カウンタ回路は第１のカウンタ回路と第２のカウンタ回路とを含み、
    　前記第１の露光期間において、前記第１のアバランシェフォトダイオードから得られた光量値は前記第１のカウンタ回路でカウントされ、
    　前記第２の露光期間において、前記第２のアバランシェフォトダイオードから得られた光量値は前記第２のカウンタ回路でカウントされることを特徴とする請求項２に記載の光電変換装置。
  6. 　前記アバランシェフォトダイオードはガイガーモードで動作するＳＰＡＤであることを特徴とする請求項２乃至５のいずれか１項に記載の光電変換装置。
  7. 　前記光電変換部は、電荷蓄積型のフォトダイオードであり、
    　前記光電変換部はオーバーフロードレイン回路の一部を構成し、
    　前記オーバーフロードレイン回路のオンオフを制御することにより露光期間を制御することを特徴とする請求項１に記載の光電変換装置。
  8. 　前記第３の露光期間及び前記第４の露光期間は、前記第１の露光期間及び前記第２の露光期間よりも短いことを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。
  9. 　前記比較部の比較結果において、前記第１の露光期間における光量値および前記第２の露光期間における光量値が所定の閾値に達していない場合は、前記第１の露光期間および前記第２の露光期間のいずれにも重ならない期間を前記第３の露光期間および前記第４の露光期間として設定することを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。
  10. 　前記第３の露光期間及び前記第４の露光期間は、前記第１の露光期間及び前記第２の露光期間のうち前記比較部との比較結果で光量の多い期間の長さの範囲内で設定されることを特徴とする請求項１乃至９のいずれか１項に記載の光電変換装置。
  11. 　前記第１の露光期間及び前記第２の露光期間は同じ長さであり、
    　前記第３の露光期間及び前記第４の露光期間は同じ長さであることを特徴とする請求項１乃至１０のいずれか１項に記載の光電変換装置。
  12. 　前記光電変換部のノードと前記光量値保持部のノードとの間に前記光電変換部と前記光量値保持部とのノードを接続するか否かを制御するスイッチが配され、
    　前記第１の露光期間、前記第２の露光期間、前記第３の露光期間、および前記第４の露光期間は前記スイッチのオンオフを制御することで前記露光期間を設定することを特徴とする請求項１乃至１１のいずれか１項に記載の光電変換装置。
  13. 　光源の発光タイミングと同じ又は所定の期間が経過するタイミングで前記スイッチの制御信号を第１のレベルから第２のレベルに遷移させることで前記第１の露光期間を開始し、前記第１の露光期間を開始してから所定の期間を経過した後に前記スイッチの制御信号を前記第２のレベルから前記第１のレベルに遷移させることで前記第１の露光期間を終了し、
    　前記第１の露光期間が終了してから所定の期間を経過した後に前記スイッチの制御信号を前記第１のレベルから前記第２のレベルに遷移させることで前記第２の露光期間を開始し、前記第２の露光期間を開始してから所定の期間を経過した後に前記スイッチの制御信号を前記第２のレベルから前記第１のレベルに遷移させることで前記第２の露光期間を終了することを特徴とする請求項１２に記載の光電変換装置。
  14. 　前記スイッチはＰＭＯＳトランジスタで構成されることを特徴とする請求項１２又は１３に記載の光電変換装置。
  15. 　前記第１の露光期間を繰り返した後に、前記第２の露光期間を複数回繰り返し、
    　前記第１の露光期間に得られた光量値は、前記複数回の前記第１の露光期間で得られた光量値を積算して得られた値であり、
    　前記第２の露光期間に得られた光量値は、前記複数回の前記第２の露光期間で得られた光量値を積算して得られた値であることを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。
  16. 　信号処理部を備え、
    　前記第１の露光期間に得られた光量値および前記第２の露光期間に得られた光量値を、
    　前記信号処理部に出力することを特徴とする請求項１５に記載の光電変換装置。
  17. 　積算する前の前記複数回の前記第１の露光期間のそれぞれの光量値も前記信号処理部に出力し、
    　積算する前の前記複数回の前記第２の露光期間のそれぞれの光量値も前記信号処理部に出力することを特徴とする請求項１６に記載の光電変換装置。
  18. 　前記光電変換部は第１の基板に配され、
    　前記比較部は第２の基板に配され、
    　前記第１の基板と前記第２の基板とは積層して接合されることを特徴とする請求項１乃至１７のいずれか１項に記載の光電変換装置。
  19. 　前記光電変換装置は、光源から発光された光が対象物で反射する光を測定する光電変換装置であって、
    　前記第１の露光期間は、前記光源からの発光タイミングから第１の遅延時間を経て露光を開始する期間であり、
    　前記第２の露光期間は、前記光源からの発光タイミングから第２の遅延時間を経て露光を開始する期間であり、
    　前記第１の遅延時間と前記第２の遅延時間の長さが異なる
    　ことを特徴とする請求項１乃至１８のいずれか１項に記載の光電変換装置。
  20. 　光源と、
    　請求項１乃至１９のいずれか１項に記載の光電変換装置と、
    　前記光源から照射され対象物から反射された反射光を前記光電変換装置により検知する光電変換システム。
  21. 　光電変換部と、
    　第１の露光期間および前記第１の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第２の露光期間に入射して得られた信号電荷に基づく光量値を保持する光量値保持部と、
    　前記第１の露光期間に得られた光量値と前記第２の露光期間に得られた光量値を比較する比較部と、を有し、
    　前記比較部の比較結果に応じて、第３の露光期間および第４の露光期間を制御する制御部と、を有することを特徴とする光電変換装置。
PCT/JP2021/038032 2020-10-21 2021-10-14 光電変換装置、光電変換システム WO2022085555A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180072028.4A CN116349238A (zh) 2020-10-21 2021-10-14 光电转换设备及光电转换系统
EP21882696.4A EP4236298A4 (en) 2020-10-21 2021-10-14 PHOTOELECTRIC CONVERSION DEVICE AND PHOTOELECTRIC CONVERSION SYSTEM
KR1020237016128A KR20230088423A (ko) 2020-10-21 2021-10-14 광전변환장치, 광전변환 시스템
US18/303,480 US12044802B2 (en) 2020-10-21 2023-04-19 Photoelectric conversion device and photoelectric conversion system comprising a control unit to set a third exposure period and a.fourth exposure period on a basis of light value comparison based on signal charge during first and second exposure periods
US18/747,766 US20240337731A1 (en) 2020-10-21 2024-06-19 Photoelectric conversion device and photoelectric conversion system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-176599 2020-10-21
JP2020176599A JP2022067801A (ja) 2020-10-21 2020-10-21 光電変換装置、光電変換システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/303,480 Continuation US12044802B2 (en) 2020-10-21 2023-04-19 Photoelectric conversion device and photoelectric conversion system comprising a control unit to set a third exposure period and a.fourth exposure period on a basis of light value comparison based on signal charge during first and second exposure periods

Publications (1)

Publication Number Publication Date
WO2022085555A1 true WO2022085555A1 (ja) 2022-04-28

Family

ID=81290860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038032 WO2022085555A1 (ja) 2020-10-21 2021-10-14 光電変換装置、光電変換システム

Country Status (6)

Country Link
US (2) US12044802B2 (ja)
EP (1) EP4236298A4 (ja)
JP (1) JP2022067801A (ja)
KR (1) KR20230088423A (ja)
CN (1) CN116349238A (ja)
WO (1) WO2022085555A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243380A1 (en) * 2022-06-15 2023-12-21 Sony Semiconductor Solutions Corporation Photon counting photodetector with motion detection

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024038655A (ja) * 2022-09-08 2024-03-21 キヤノン株式会社 光電変換装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170052065A1 (en) 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2020176599A (ja) 2019-04-22 2020-10-29 ダイハツ工業株式会社 内燃機関

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015110748A1 (de) 2015-07-03 2017-01-05 Schuler Pressen Gmbh Verfahren zur Einstellung eines Phasenversatzes einer mehrfach wirkenden mechanischen Querwellenpresse sowie eine Presse nach diesem Verfahren
EP3334151B1 (en) * 2015-08-04 2021-04-07 Panasonic Semiconductor Solutions Co., Ltd. Method for driving solid-state imaging device
KR102404260B1 (ko) 2015-11-03 2022-05-30 삼성중공업 주식회사 밸러스트수 여과 필터 설치 장치 및 방법
EP3418772A4 (en) * 2016-02-17 2019-03-13 Panasonic Intellectual Property Management Co., Ltd. DISTANCE MEASURING DEVICE
JPWO2017150246A1 (ja) * 2016-02-29 2018-12-27 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
KR102673812B1 (ko) * 2016-07-26 2024-06-10 삼성전자주식회사 라이다 장치 및 거리 측정 방법
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
EP3879291A1 (fr) 2020-03-13 2021-09-15 Hervé Sallin Dispositif de contrôle d'installations électriques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170052065A1 (en) 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP2020176599A (ja) 2019-04-22 2020-10-29 ダイハツ工業株式会社 内燃機関

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4236298A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243380A1 (en) * 2022-06-15 2023-12-21 Sony Semiconductor Solutions Corporation Photon counting photodetector with motion detection

Also Published As

Publication number Publication date
JP2022067801A (ja) 2022-05-09
US12044802B2 (en) 2024-07-23
KR20230088423A (ko) 2023-06-19
EP4236298A1 (en) 2023-08-30
US20240337731A1 (en) 2024-10-10
CN116349238A (zh) 2023-06-27
US20230258776A1 (en) 2023-08-17
EP4236298A4 (en) 2024-09-25

Similar Documents

Publication Publication Date Title
US9171985B2 (en) Pixel circuit with controlled capacitor discharge time of flight measurement
US11644551B2 (en) Lidar systems with improved time-to-digital conversion circuitry
WO2022085555A1 (ja) 光電変換装置、光電変換システム
JP7117535B2 (ja) 固体撮像素子及び撮像システム
US11159738B2 (en) Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
JP7353765B2 (ja) 光検出装置、光検出システム及び移動体
US10833207B2 (en) Photo-detection device, photo-detection system, and mobile apparatus
JP2022066288A (ja) 光電変換装置及び撮像システム
JP6735515B2 (ja) 固体撮像装置
US10971539B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
JP2020162109A (ja) 光電変換装置、光電変換システム、および移動体
CN111048540A (zh) 一种门控式像素单元以及3d图像传感器
JP7527853B2 (ja) 光電変換装置
US11196948B2 (en) Photo-detection device and imaging system
JP2019009672A (ja) 撮像装置及びその駆動方法
JP2022096472A (ja) 光電変換装置及びその駆動方法
JP2022092345A (ja) 光電変換装置、撮像システム、移動体
US11965987B2 (en) Solid-state imaging device, distance measuring device, and distance measuring method
US11818488B2 (en) Photoelectric conversion device, photoelectric conversion system, and moving body
US20240004037A1 (en) Distance measuring device and solid-state imaging device
JP7443006B2 (ja) 光検出器及び距離測定装置
JP2024090470A (ja) 光電変換装置及び信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882696

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237016128

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021882696

Country of ref document: EP

Effective date: 20230522