WO2021070212A1 - 距離画像撮像装置及び距離画像撮像方法 - Google Patents

距離画像撮像装置及び距離画像撮像方法 Download PDF

Info

Publication number
WO2021070212A1
WO2021070212A1 PCT/JP2019/039423 JP2019039423W WO2021070212A1 WO 2021070212 A1 WO2021070212 A1 WO 2021070212A1 JP 2019039423 W JP2019039423 W JP 2019039423W WO 2021070212 A1 WO2021070212 A1 WO 2021070212A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
light
floating diffusion
pixel
distance image
Prior art date
Application number
PCT/JP2019/039423
Other languages
English (en)
French (fr)
Inventor
圭吾 磯部
Original Assignee
株式会社ブルックマンテクノロジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ブルックマンテクノロジ filed Critical 株式会社ブルックマンテクノロジ
Priority to PCT/JP2019/039423 priority Critical patent/WO2021070212A1/ja
Publication of WO2021070212A1 publication Critical patent/WO2021070212A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers

Definitions

  • the present invention relates to a distance image imaging device and a distance image imaging method.
  • Time of Flight which measures the distance between a measuring instrument and an object based on the flight time of light in space (measurement space) by utilizing the known speed of light.
  • a distance image sensor of the type (hereinafter referred to as "TOF") has been realized.
  • the measurement target is irradiated with a light (for example, near-infrared light) pulse, and the time during which the light pulse is irradiated and the light pulse (reflected light) reflected by the object in the measurement space are returned.
  • the distance between the measuring instrument and the object is measured based on the difference from the incoming time, that is, the flight time of light between the measuring instrument and the object (see, for example, Patent Document 1).
  • the TOF type distance image sensor converts the amount of light incident on the photoelectric conversion element into electric charge, stores the converted electric charge in the electric charge storage unit, and analog corresponding to the electric charge amount of the electric charge accumulated by the AD converter. Converting electric charge to digital voltage. Further, the TOF type distance image sensor obtains the distance between the measuring instrument and the object from the information of the flight time of light between the measuring instrument and the object included in the digital voltage.
  • the background light in the environment of the measurement space is included when the reflected light used for measuring the distance is incident, and in order to obtain the distance accurately, the background light is removed from the incident light and only the reflected light is used. I need to get information. Therefore, for the purpose of removing (cancelling) the influence of the background light in the environment of the measurement space in the distance measurement, by setting the period during which the irradiation light is not always irradiated, the amount of light received only by the background light is accumulated and the target is targeted.
  • the charge from the incident light input during the period when the reflected light from the object (including information on the distance to the object) is received is accumulated during the period when the irradiation light is not irradiated.
  • the charge due to the background light is subtracted to obtain the charge for the reflected light only.
  • Patent Document 1 in the case of the TOF sensor, the irradiation light is irradiated a plurality of times, the electric charge generated by the received light is accumulated each time the irradiation is performed, and the analog voltage corresponding to the accumulated electric charge is applied to the distance. Used for measurement. Therefore, when the intensity of the background light contained in the received light is high, the charge storage portion that stores the charge may be saturated or the range of the convertible analog voltage of the AD converter may be exceeded to reach the object. It may not be possible to measure the distance.
  • the intensity of the background light is high, it is conceivable to reduce the number of distributions (the number of irradiations of the irradiation light) and the intensity of the irradiation light in order to prevent saturation of the charge storage portion.
  • the S / N ratio is lowered and the distance measurement accuracy is reduced. In particular, the longer the distance, the lower the measurement accuracy of the distance.
  • the intensity of the reflected light is high, it is generated by the light reception including the background light so that it is not necessary to reduce the number of distributions (the number of irradiations of the irradiation light) and the intensity of the irradiation light. It is also conceivable to increase the capacity of the charge storage portion so that it will not be saturated even if the charge is accumulated.
  • the charge storage unit is provided for each pixel, the area of the charge storage unit, that is, the area of each pixel also increases as the capacity of the charge storage unit increases, forming a distance image imaging device. The chip area becomes large.
  • An object of the present invention is to provide a distance image imaging device and a distance image imaging method capable of accurately measuring a distance by improving the S / N ratio.
  • the distance image imaging apparatus of the present invention includes a light source unit that irradiates a measurement space, which is a space to be measured, with irradiation light, reflected light reflected by the irradiation light on an object in the measurement space, and the measurement space.
  • a photoelectric conversion element that receives the background light in the above environment and generates an electric charge corresponding to the received reflected light and the background light, and an electric charge accumulation that accumulates the electric charge when the irradiation light is irradiated in the frame period.
  • a light receiving pixel portion having a unit and having a pixel circuit for accumulating the charge in the charge storage unit in synchronization with the irradiation of the irradiation light, and an input voltage corresponding to the amount of charge stored in the charge storage unit. It is provided with a distance image processing unit that measures the distance, and the electric charge generated when the charge storage unit receives the reflected light is converted from the electric charge generated when the reflected light is received to the electric charge generated by the background light included when the reflected light is received. It is removed and the charge generated by the reflected light is accumulated.
  • the charge storage unit stores the first charge generated when the background light is received, the first floating diffusion, and the second charge generated when the reflected light is received. It is provided with a second floating diffusion for storing light, and a charge storage capacity provided between the first floating diffusion and the second floating diffusion.
  • the distance image imaging apparatus of the present invention removes the first charge from the second charge by propagating the first charge from the first floating diffusion to the second floating diffusion via the charge storage capacity. To do.
  • the distance image processing unit enters the measurement space based on the amount of charge, which is the amount of the charge accumulated in each of the plurality of distributed charge storage units in the charge storage unit.
  • the first floating diffusion that accumulates the first charge generated when the charge storage unit receives the background light and the first floating diffusion generated when the reflected light is received are obtained by determining the distance from the existing object.
  • the second floating diffusion that stores two charges and the charge storage capacity provided between the first floating diffusion and the second floating diffusion are provided, and the first charge generation unit is generated by the background light for each charge storage unit. The removal process of one charge is performed, and the second charge is accumulated by the reflected light.
  • the first charge is accumulated, the first reset transistor is turned on, the second reset transistor is turned off, the first charge is propagated to the second floating diffusion, the first reset transistor is turned on, and the first reset transistor is turned on. 2 With the reset transistor turned off, the first charge is removed from the second charge by accumulating the second charge in the second floating diffusion.
  • the distance image capturing apparatus of the present invention removes the first charge from the second charge by repeating the accumulation of the first charge, the propagation of the first charge, and the removal of the first charge from the second charge.
  • the integrated value of the electric charge due to the reflected light is obtained, and the distance is measured by this integrated value.
  • the distance image imaging device of the present invention resets the electric charge of the photoelectric conversion element by the first reset transistor or the second reset transistor.
  • the charge storage capacity is composed of a MOS capacitor.
  • the MOS capacitor is a depletion type.
  • the process of irradiating the measurement space which is the space to be measured, with the irradiation light from the light source unit, the reflected light reflected by the irradiation light on the object in the measurement space, and the measurement.
  • the present invention even if the intensity of the reflected light is high, the number of distributions (the number of times of irradiation of the irradiation light) and the intensity of the irradiation light are not reduced, and the capacity of the charge storage portion is not increased to increase the chip area. It is possible to provide a distance image imaging device and a distance image imaging method capable of accurately measuring a distance by improving the S / N ratio.
  • Timing chart which showed the timing which drives the pixel circuit 321 arranged in the light receiving pixel part 320 of the image pickup element (distance image sensor 32) used for the distance image image pickup apparatus 1 of 1st Embodiment of this invention. It is a figure explaining the timing chart which simulated the operation which charge is accumulated in charge accumulation part CS2. It is a conceptual diagram which shows the structural example of the AD conversion circuit which AD-converts the input voltage supplied from the pixel signal processing circuit in 1st Embodiment of this invention. It is a figure explaining the effect obtained by the structure which removes the charge generated by the background light in 1st Embodiment from the charge generated at the time of incident of the reflected light, and accumulates only the charge generated by the reflected light.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image imaging device according to a first embodiment of the present invention. Note that FIG. 1 also shows a subject S, which is a subject whose distance is measured by the distance image imaging device 1.
  • the distance image imaging device 1 having the configuration shown in FIG. 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4.
  • the light source unit 2 has an intermittent optical pulse PO in a space (measurement space P) in which the subject S whose distance is to be measured in the distance image imaging device 1 exists. Irradiate.
  • the light source unit 2 is, for example, a surface emitting type semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source device 21 is, for example, a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting element.
  • the light source device 21 emits an optical pulse PO as a pulsed laser beam in response to control from the timing control unit 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 to the size of a predetermined cross-sectional area that irradiates the measurement space P with the subject S.
  • the pulsed laser beam diffused by the diffuser plate 22 is emitted from the light source unit 2 as an optical pulse PO and is applied to the subject S in the measurement space P.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32.
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and receives (incidents) the light on the pixels provided in the light receiving region of the distance image sensor 32.
  • the distance image sensor 32 is an image pickup device used in the distance image image pickup device 1.
  • the distance image sensor 32 includes a plurality of pixels in a two-dimensional light receiving region, and in each pixel, one photoelectric conversion element and a plurality of charge storage units corresponding to the one photoelectric conversion element, respectively. It is an image pickup device having a distribution configuration in which a component for distributing charges is provided in a charge storage unit.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion elements constituting the pixels to the respective charge storage units according to the control from the timing control unit 41, and responds to the amount of charges distributed to each charge storage unit. Outputs the pixel signal.
  • a plurality of pixels are arranged in a two-dimensional grid pattern (matrix pattern), and a pixel signal for one frame corresponding to each pixel is output.
  • the distance image processing unit 4 is a control unit that controls the entire distance image imaging device 1, and is also a calculation unit that calculates the distance to the subject S measured by the distance image imaging device 1.
  • the distance image processing unit 4 includes a timing control unit 41 and a distance calculation unit 42.
  • the timing control unit 41 controls the timing at which the light source unit 2 irradiates the subject S with the light pulse PO, the timing at which the distance image sensor 32 provided in the light receiving unit 3 receives the reflected light RL, and the like.
  • the distance calculation unit 42 outputs distance information obtained by calculating the distance between the distance image imaging device 1 and the subject S based on the pixel signal output from the distance image sensor 32.
  • the light receiving unit 3 receives the reflected light RL reflected by the subject S from the light pulse PO in the near infrared wavelength band irradiated by the light source unit 2 to the subject S.
  • the distance image processing unit 4 outputs distance information obtained by measuring the distance to the subject S.
  • FIG. 1 shows a distance image imaging device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 is a component provided outside the distance image imaging device 1. You may.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup device (distance image sensor 32) used in the distance image image pickup device 1 according to the first embodiment of the present invention.
  • the distance image sensor 32 includes a light receiving pixel unit 320 in which a plurality of pixel circuits 321 are arranged, a control circuit 322, a vertical scanning circuit 323, a horizontal scanning circuit 324, a pixel signal processing circuit 325, and pixels. It includes a drive circuit 326.
  • a plurality of pixel circuits 321 are shown as an example of the light receiving pixel unit 320 arranged in a two-dimensional grid pattern in 8 rows and 8 columns.
  • the control circuit 322 controls the components provided in the distance image sensor 32 such as the vertical scanning circuit 323, the horizontal scanning circuit 324, the pixel signal processing circuit 325, and the pixel drive circuit 326.
  • the control circuit 322 operates the components provided in the distance image sensor 32 in response to control from the distance image processing unit 4 (more specifically, the timing control unit 41) provided in the distance image imaging device 1, for example. To control.
  • the control circuit 322 may directly control the components of the distance image sensor 32, for example, by the distance image processing unit 4 (more specifically, the timing control unit 41). In this case, the distance image sensor 32 may be configured not to include the control circuit 322.
  • the pixel drive circuit 326 is a plurality of charge storage units (charge storage units described later) provided in the pixel circuit 321 with the charges generated by the photoelectric conversion elements (photoelectric conversion element PD described later) included in the pixel circuits 321 arranged in a grid pattern.
  • Accumulation drive signals (accumulation drive signals TX1_1, TX1_3, TX2, TX3, which will be described later), reset signals (reset signals RST1-1, RST1_3, RST2, RST3, which will be described later) and reset drive signals (reset, which will be described later) that are distributed and stored in CS2 and CS3).
  • the drive signal RSTD is output in column units of the pixel circuits 321 arranged in a grid pattern in the light receiving pixel unit 320.
  • the vertical scanning circuit 323 controls each of the pixel circuits 321 arranged in the light receiving pixel unit 320 according to the control from the control circuit 322, and the amount of charge obtained by photoelectrically converting the incident light from each of the pixel circuits 321.
  • This is a drive circuit that outputs (reads) a signal of a corresponding voltage (hereinafter, referred to as a “voltage signal”) to a corresponding vertical signal line 327.
  • the vertical scanning circuit 323 is a line of the pixel circuit 321 in which control signals (selection drive signals SEL2 and SEL3, which will be described later) for driving (controlling) and reading the pixel circuit 321 are arranged in a grid pattern in the light receiving pixel unit 320. Output in units.
  • the voltage signals corresponding to the amount of charge distributed to each of the charge storage units (charge storage units CS2 and CS3 described later) in the pixel circuit 321 are the vertical signal lines 327 corresponding to each row of the light receiving pixel unit 320. Is read out and output to the pixel signal processing circuit 325.
  • the pixel circuit 321 receives the reflected light RL reflected by the subject S by the light pulse PO irradiated by the light source unit 2 on the subject S, and responds to the light amount (light receiving amount) of the received reflected light RL. Generates a charged charge.
  • the pixel drive circuit 326 outputs a storage drive signal to distribute charges according to the amount of received reflected light RL (light reception amount) to any of the plurality of charge storage units provided. And accumulate.
  • the vertical scanning circuit 323 outputs a selection drive signal as a read drive signal, so that the voltage signal has a size corresponding to the amount of electric charge distributed and accumulated in each charge storage unit. Is output to the corresponding vertical signal line 327.
  • the pixel signal processing circuit 325 performs predetermined signal processing on the voltage signal output from the pixel circuit 321 in each row to the corresponding vertical signal line 327 according to the control from the vertical scanning circuit 323. It is a signal processing circuit.
  • the predetermined signal processing includes, for example, noise suppression processing for suppressing noise included in a voltage signal by Correlated Double Sampling (CDS).
  • CDS Correlated Double Sampling
  • the AD conversion circuit 329 AD-converts the analog voltage signals for each column supplied from the pixel signal processing circuit 325 via the vertical signal line 330 and converts them into digital values.
  • the pixel signal processing circuit 325 may be a pixel signal processing circuit group including a plurality of pixel signal processing circuits corresponding to each row of the light receiving pixel unit 320.
  • the pixel signal processing circuit 325 outputs the voltage signal after the predetermined signal processing to the AD conversion circuit 329 via the vertical signal line 330 according to the control from the control circuit 322.
  • the AD conversion circuit 329 outputs the AD-converted digital value to the horizontal signal line 338 for each line of the light receiving pixel unit 320 under the control of the horizontal scanning circuit 324.
  • the vertical scanning circuit 323 sequentially outputs a read drive signal for outputting a voltage signal corresponding to the pixel circuit 321 in each row to the pixel signal processing circuit 325.
  • the horizontal scanning circuit 324 sequentially outputs (reads) a digital value obtained by AD-converting the voltage signal after signal processing from the AD conversion circuit 329 to the horizontal signal line 338 according to the control from the control circuit 322. ) It is a drive circuit.
  • the voltage signal for one frame after the signal processing output by the pixel signal processing circuit 325 is sequentially output as the pixel signal for one frame to the outside of the distance image sensor 32 via the horizontal signal line 338. Will be done.
  • the distance image sensor 32 outputs a voltage signal after signal processing from an output circuit (not shown) such as an output amplifier to the outside of the distance image sensor 32 as a pixel signal.
  • the pixel signal processing circuit 325 provided in the distance image sensor 32 performs noise suppression processing on the voltage signal output from the pixel circuit 321 and then A / D conversion processing in the AD conversion circuit 329. That is, the voltage signal converted into a digital value is output from the horizontal signal line 338.
  • FIG. 3 is a circuit showing an example of the configuration of the pixel circuit 321 arranged in the light receiving pixel portion 320 of the image pickup element (distance image sensor 32) used in the distance image image pickup device 1 of the first embodiment of the present invention. It is a figure.
  • FIG. 3 shows an example of the configuration of one pixel circuit 321 among the plurality of pixel circuits 321 arranged in the light receiving pixel unit 320.
  • the pixel circuit 321 is an example of a configuration including two pixel signal reading units RU2 and RU3.
  • the pixel circuit 321 includes, for example, one photoelectric conversion element PD, a drain gate transistor GD, and two pixel signal reading units RU2 and RU3 that output voltage signals from the corresponding output terminals O.
  • the pixel signal reading unit RU2 is a circuit that outputs a voltage signal corresponding to the accumulated electric charge from the output terminal O2.
  • the pixel signal reading unit RU2 includes read gate transistors G1_1 and G2, floating diffusion FD1_1 and FD2, charge storage capacitance C2, reset gate transistors RT1_1 and RT2, source follower gate transistor SF2, and selection gate transistor SL2. ing.
  • the charge storage unit CS2 is composed of the floating diffusion FD1_1 and FD2 and the charge storage capacity C2.
  • the drain gate transistor GD, the read gate transistors G1_1 and G2, the reset gate transistors RT1_1 and RT2, the source follower gate transistor SF2, and the selection gate transistor SL2 are N-channel MOS transistors.
  • the reset gate transistors RT1_1 and RT2 are depletion type N-channel MOS transistors, the drain is connected to the power supply line of a predetermined voltage RT VDD, and the source is connected to the floating diffusion FD1-1 and FD2, respectively. There is.
  • the pixel signal reading unit RU3 is a circuit that outputs a voltage signal corresponding to the accumulated electric charge from the output terminal O3.
  • the pixel signal reading unit RU3 includes read gate transistors G1_3 and G3, floating diffusion FD1_3 and FD3, charge storage capacitance C3, reset gate transistors RT1_3 and RT3, source follower gate transistor SF3, and selection gate transistor SL3. ing.
  • the charge storage unit CS3 is configured by the floating diffusion FD1_3 and FD3 and the charge storage capacity C3.
  • the read gate transistors G1_3 and G3, the reset gate transistors RT1_3 and RT3, the source follower gate transistor SF3, and the selection gate transistor SL3 are N-channel MOS transistors.
  • the reset gate transistors RT1_3 and RT3 are depletion type N-channel MOS transistors, the drain is connected to the power supply line of a predetermined voltage RT VDD, and the source is connected to the floating diffusion FD1_3 and FD3, respectively. There is.
  • the photoelectric conversion element PD is an embedded photodiode that converts incident light by photoelectric conversion to generate an electric charge and accumulates the generated electric charge.
  • the structure of the photoelectric conversion element PD provided in the pixel circuit 321 is not particularly specified. Therefore, the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are bonded, or an I-type semiconductor is sandwiched between the P-type semiconductor and the N-type semiconductor. It may be a PIN photodiode having a structure.
  • the photoelectric conversion element provided in the pixel circuit 321 is not limited to the photodiode, and may be, for example, a photogate type photoelectric conversion element.
  • the drain gate transistor GD is a transistor for discarding the electric charge that is generated and accumulated by the photoelectric conversion element PD in response to the drive signal input from the pixel drive circuit 326 and is not transferred to each pixel signal reading unit RU. Is. That is, the drain gate transistor GD is a transistor generated by the photoelectric conversion element PD that resets the electric charge that is not used for measuring the distance to the subject S.
  • the drain gate transistor GD is an N-channel MOS transistor.
  • the read-out gate transistor G (G1_1, G1_3, G2, G3) charges the charge generated and accumulated by the photoelectric conversion element PD in response to the drive signal input from the pixel drive circuit 326, and the corresponding charge storage unit CS (CS2). , CS3).
  • the charge transferred by the read-out gate transistor G is held (stored) in the corresponding charge storage unit CS.
  • the read gate transistor G1_1 has a drain connected to the second terminal (cathode) of the photoelectric conversion element PD, and the gate is connected to the signal line LTX1-11 propagating the storage drive signal TX1_1.
  • the source is connected to the floating diffusion FD1_1 and the first terminal of the charge storage capacity C2.
  • the drain is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX2 propagating the storage drive signal TX2, and the source is floating. It is connected to the second terminal of the diffusion FD2 and the charge storage capacity C2.
  • the drain is connected to the second terminal (cathode) of the photoelectric conversion element PD, the gate is connected to the signal line LTX1_3 propagating the storage drive signal TX1_3, and the source is connected. Is connected to the floating diffusion FD1_3 and the first terminal of the charge storage capacity C3.
  • the drain is connected to the second terminal of the photoelectric conversion element PD
  • the gate is connected to the signal line LTX3 propagating the storage drive signal TX3, and the source is floating. It is connected to the second terminal of the diffusion FD3 and the charge storage capacity C3.
  • Each of the above-mentioned storage drive signal TX1_1, storage drive signal TX1_3, storage drive signal TX2, and storage drive signal TX3 is transmitted from the pixel drive circuit 326 via the signal line LTX1_1, the signal line LTX1_3, the signal line LTX2, and the signal line LTX3, respectively. Be supplied.
  • the charge storage capacity C2 is a capacity that holds (stores) the charge transferred by the corresponding read-out gate transistors G1_1 and G2. Further, the charge storage capacity C3 is a capacity for holding (accumulating) the charge transferred by the corresponding read-out gate transistors G1_3 and G3.
  • the reset gate transistors RT1_1 and RT2 are transistors for discarding (resetting) the charges held in the corresponding charge storage units CS2 in response to the reset signals RST1_1 and RST2 input from the pixel drive circuit 326.
  • the reset gate transistor RT1_1 is used to fix the voltage of the floating diffusion FD1_1 to the voltage RT VDD when accumulating an electric charge in the floating diffusion FD2.
  • the reset gate transistor RT2 is used to fix the voltage of the floating diffusion FD2 to the voltage RT VDD when accumulating an electric charge in the floating diffusion FD1_1.
  • the reset gate transistors RT1_3 and RT3 are transistors for discarding the charge held in the corresponding charge storage unit CS3 according to the reset signals RST1_3 and RST3 input from the pixel drive circuit 326.
  • the reset gate transistor RT1_3 is used to fix the voltage of the floating diffusion FD1_3 to the voltage RT VDD when accumulating an electric charge in the floating diffusion FD3.
  • the reset gate transistor RT3 is used to fix the voltage of the floating diffusion FD3 to the voltage RT VDD when accumulating an electric charge in the floating diffusion FD1_3.
  • the source follower gate transistor SF2 is a transistor for amplifying a voltage signal corresponding to the amount of charge stored in the charge storage unit CS2 connected to the gate terminal and outputting it to the corresponding selection gate transistor SL2.
  • the source follower gate transistor SF3 is a transistor for amplifying a voltage signal corresponding to the amount of charge stored in the charge storage unit CS3 connected to the gate terminal and outputting it to the corresponding selection gate transistor SL3.
  • the selection gate transistor SL2 is a transistor for outputting a voltage signal amplified by the corresponding source follower gate transistor SF2 from the corresponding output terminal O2 in response to the drive signal input from the vertical scanning circuit 323.
  • the selection gate transistor SL3 is a transistor for outputting a voltage signal amplified by the corresponding source follower gate transistor SF3 from the corresponding output terminal O3 in response to the drive signal input from the vertical scanning circuit 323. ..
  • the pixel circuit 321 the electric charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is distributed to each of the two charge storage units CS2 and CS3. Then, the pixel circuit 321 outputs a voltage signal corresponding to the amount of electric charge distributed to each of the charge storage units CS2 and CS3 to the pixel signal processing circuit 325.
  • the operation (1) is an operation of resetting the charge stored in the charge storage capacity C2.
  • This operation (1) corresponds to the operation at the time TC1 in the timing chart of FIG. 4 (B). That is, in the time TC1, the accumulation drive signals TX1_1 and TX2 are set to the “L (Low)” level, and the reset signals RST1_1 and RST2 are set to the “H (High)” level. Therefore, the read gate transistors G1_1 and G2 are turned off, the reset transistors RT1_1 and RT2 are turned on, and the voltage V1 of the first terminal TC2P of the charge storage capacity C2 and the voltage V2 of the second terminal TC2M are set as the voltage RT VDD. ..
  • the charge stored in the charge storage capacity C2 is reset.
  • the reset drive signal RSTD is set to the “H (High)” level, the drain gate transistor GD is turned on, and the electric charge generated in the photoelectric conversion element PD is also discharged.
  • the operation (2) is an operation of accumulating the electric charge by the background light with respect to the electric charge accumulating capacity C2.
  • the reset drive signal RSTD is set to the “L” level, and the drain gate transistor GD is turned off.
  • the storage drive signal TX1_1 is set to the “H” level and the read gate transistor G1_1 is turned on, while the storage drive signal TX2 is set to the “L” level and the read gate transistor G2 is turned off.
  • the reset signal RST1_1 is set to the "L” level
  • the reset transistor RT1_1 is turned off
  • the reset signal RST2 is set to the "H” level
  • the reset transistor RT2 is turned on.
  • the electric charge ⁇ Q1 generated by the photoelectric conversion element PD is accumulated in the floating diffusion FD1_1 via the read gate transistor G1_1.
  • the voltage V1 of the first terminal TC2P (floating diffusion FD1_1) of the charge storage capacity C2 becomes the voltage RT VDD ⁇ Q1 / C
  • the voltage V2 of the second terminal TC2M (floating diffusion FD2) becomes the voltage RT VDD.
  • the operation (3) is an operation of preserving the charge-Q1 accumulated in the floating diffusion FD1_1 when the charge-Q1 is propagated to the floating diffusion FD2. Therefore, at the time TC3 in the timing chart of FIG. 4B, the first terminal TC2P and the second terminal TC2M of the charge storage capacity C2 are in the floating state. That is, the storage drive signals TX1_1 and TX2 and the reset signals RST1_1 and RST2 are set to the "L" level. Therefore, the read gate transistors G1_1 and G2 are turned off, and the reset transistors RT1_1 and RT2 are turned off.
  • the voltage V1 of the first terminal TC2P of the charge storage capacity C2 is the voltage RT VDD ⁇ Q1 / C
  • the voltage V2 of the second terminal TC2M is the voltage RT VDD
  • the charge ⁇ Q1 accumulated in the operation (2) is It is stored on the floating diffusion FD1_1 side.
  • the operation (4) is an operation of preparing to accumulate the electric charge generated in the photoelectric conversion element PD by the reflected light RL from the subject S. That is, it is an operation of propagating the electric charge ⁇ Q1 in the floating diffusion FD1_1 to the floating diffusion FD2.
  • the reset signal RST1_1 is set to the “H” level, and the reset transistor RT1_1 is turned on.
  • the voltage RT VDD is applied to the floating diffusion FD1-11, and the first terminal TC2P of the charge storage capacity C2 becomes the voltage RT VDD, so that the charge ⁇ Q1 on the floating diffusion FD1-1 side propagates to the floating diffusion FD2 side.
  • the amount of electric charge on the floating diffusion FD2 side decreases by electric charge Q1, and the voltage V2 of the second terminal TC2M becomes the voltage RT VDD + Q1 / C.
  • Operation (5) The electric charge ⁇ Q2 generated in the photoelectric conversion element PD by the reflected light RL from the subject S is accumulated in the floating diffusion FD2.
  • the storage drive signal TX2 is set to the “H” level, and the read gate transistor G2 is turned on. Therefore, the electric charge ⁇ Q2 generated by the reflected light RL is supplied from the photoelectric conversion element PD to the floating diffusion FD2.
  • the charge amount of the floating diffusion FD2 increases by the charge ⁇ Q2, and the voltage V2 of the second terminal TC2M becomes the voltage RT VDD ⁇ (Q2-Q1) / C.
  • the charge ⁇ Q1 due to the background light is stored in the floating diffusion FD1_1, and in the operation (4), the charge Q1 is reduced from the floating diffusion FD2. Then, in the operation (5), the electric charge ⁇ Q2 due to the reflected light RL is supplied to the floating diffusion FD2 whose charge amount is reduced by the electric charge Q1. As a result, in the floating diffusion FD2, the charge amount-Q1 due to the background light contained in the charge-Q2 is canceled (charge-Q2 + Q1), and the charge amount- (Q2-Q1) is accumulated only as a component of the reflected light RL. It becomes.
  • the above-mentioned operation (1) is performed at the start of the frame period (described later), and the above-mentioned operations (2) to (5) are repeated for each charge distribution in the charge accumulation period (described later) to obtain an optical pulse.
  • Only the component of the reflected light RL from the subject S irradiated with PO is sequentially accumulated in the charge storage unit CS2 as the amount of electric charge ⁇ (Q2-Q1).
  • the charge accumulation operation of the pixel signal reading unit RU3 is the same as that of the pixel signal reading unit RU2 described above.
  • the operation (2) to the operation (5) are repeated for each charge distribution in the charge accumulation period (described later), so that the reflected light RL from the subject S irradiated with the optical pulse PO is repeated. Only the components of are sequentially accumulated in the charge storage unit CS3 as the amount of electric charge ⁇ (Q3-Q1).
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration including the two pixel signal reading units RU as shown in FIG. 3, but is limited to one photoelectric conversion element PD and photoelectric conversion. Any pixel may be used as long as it is a pixel having a configuration including a plurality of pixel signal reading units RU for distributing the accumulated charges generated by the element PD. That is, the number of pixel signal reading units RU (charge storage unit CS) provided in the pixels arranged in the distance image sensor 32 may be one or three or more.
  • the pixel signal reading unit RU2 (RU3) is provided with a charge storage capacity C2 (C3), and the floating diffusion FD1_1 (FD1_3) that stores the charge Q1 due to the background light and the reflected light are received.
  • the charge storage capacity C2 (C3) is interposed between the floating diffusion FD2 (FD3) that stores the charge Q2 (Q3) to form the charge storage unit CS2 (CS3).
  • the charge storage unit CS2 (CS3) has a configuration in which the charge due to the reflected light RL can be extracted, and this charge can be integrated and held (stored).
  • the pixel circuit 321 having the configuration shown in FIG. 3 an example of the configuration including the drain gate transistor GD is shown, but when it is not necessary to discard the (remaining) charge accumulated in the photoelectric conversion element PD.
  • the pixel arranged in the distance image sensor 32 may not be provided with the drain gate transistor GD.
  • FIG. 5 shows the timing for driving the pixel circuit 321 arranged in the light receiving pixel portion 320 of the image pickup device (distance image sensor 32) used in the distance image image pickup device 1 of the first embodiment of the present invention. It is a chart.
  • FIG. 5 shows the timing of the drive signal of the pixel circuit 321 when the distance image sensor 32 outputs the pixel signal for one frame, and the timing of the optical pulse PO that the light source unit 2 irradiates the subject S.
  • the reset period (Reset) from time tA1 to time tA2, the reset operation of the charge storage units CS2 and CS3 already described and the photoelectric conversion element PD is performed.
  • the pixel circuit 321 in the charge accumulation period (Integral) in which the charge generated and accumulated by the photoelectric conversion element PD according to the amount of received light (light intensity) is distributed to each of the pixel signal reading units RU2 and RU3.
  • the drive (control) will be described.
  • the light source unit 2 irradiates the subject S with the light pulse PO.
  • the electric charges corresponding to the received background light and the reflected light RL are distributed to the respective charge storage units CS.
  • the pixel drive circuit 326 simultaneously drives all the pixel circuits 321 arranged in the light receiving pixel unit 320, that is, by so-called global shutter drive, the charges are distributed to the respective charge storage units CS provided in all the pixel circuits 321. And accumulate.
  • the time for the light source device 21 to emit the pulsed laser beam, that is, the pulse width Tw of the light pulse PO is a very short time, for example, 10 ns.
  • the maximum distance that can be measured (hereinafter, referred to as "maximum measurement distance") is determined by the pulse width Tw of the optical pulse PO.
  • the pulse width Tw of the above-mentioned optical pulse PO is 10 ns
  • the maximum measurement distance is 1.5 m.
  • the pulse width Tw of the optical pulse PO is simply widened, that is, if the emission time of the laser light in the light source device 21 is lengthened, the photoelectric conversion element PD can receive more reflected light RL, but the measurement The resolution of the distance to the subject S is reduced.
  • the pulse width Tw of the optical pulse PO is short, the amount of electric charge generated by the photoelectric conversion element PD by the photoelectric conversion is also small. Therefore, in the distance image imaging device 1, the irradiation of the optical pulse PO and the distribution of the charges are performed a plurality of times so that a sufficient amount of charges are accumulated in the respective charge storage units CS2 and CS3 during the charge accumulation period.
  • each of the vertical scanning circuit 323 and the pixel drive circuit 326 will be described as a configuration in which the pixel circuit 321 is driven (controlled).
  • control circuit 322 is a clock signal that generates each of the storage drive signals TX1_1, TX2, TX1_3, TX3, the reset signals RST1_1, RST2, RST1_3, RST3, and the reset drive signal RSTD with respect to the pixel drive circuit 326. Outputs CK1, CK2, CK3, CKS1, CKS2, CKS3, and CKRSTD, respectively. Further, the control circuit 322 outputs a clock signal for generating each of the selection drive signals SEL2 and SEL3 to the vertical scanning circuit 323, respectively.
  • the drive timing of the pixel circuit 321 when irradiation of the optical pulse PO and distribution of the charge in all the pixel circuits 321 is performed a plurality of times. Is shown.
  • the light pulse PO in the charge accumulation period of the timing chart shown in FIG. 5 is irradiated by the light pulse PO (the light source device 21 emits laser light) at the “H (High)” level, and “L (Low)”. ) ”
  • the irradiation of the light pulse PO is stopped (the light source device 21 is turned off) at the level.
  • the timing chart shown in FIG. 5 will be described assuming that all the pixel circuits 321 are reset, that is, the charge is not accumulated in the photoelectric conversion element PD and the charge storage units CS2 and CS3.
  • the charge accumulation cycle is a cycle in which charges are distributed to the charge storage unit CS2 in the range from time tA2 to time tA10. This charge accumulation cycle is repeated as a plurality of cycles during the charge accumulation period.
  • the pulse widths of the storage drive signals TX1_1, TX1_3, TX2, and TX3 are the same Tw as the optical pulse PO.
  • the pulses of the storage drive signals TX1_3 and TX3 for the charge storage unit CS3 are described, the operation description of the charge storage unit CS3 is omitted without describing the pulses of the reset signals RST1_3 and RST3. The same applies to the accumulation cycle for the charge storage unit CS3.
  • the pixel drive circuit 326 sets the reset signals RST1_1 and RST2 to the "H” level, turns on the reset gate transistors RT1_1 and RT2, and stores the charge in the charge storage unit CS2. Resets (discards) the existing charge. At this time, the pixel drive circuit 326 sets the reset drive signal RSTD to the “H” level. As a result, the drain gate transistor GD is turned on, and the electric charge accumulated in the photodiode PD is reset.
  • the pixel drive circuit 326 sets the reset signal RST1_1 to the “L” level. As a result, the electric charge can be accumulated with respect to the floating diffusion FD1_1 in the electric charge accumulating unit CS2.
  • the pixel drive circuit 326 sets the reset drive signal RSTD to the “L” level.
  • the drain gate transistor GD is turned off, and the electric charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is accumulated in the cathode of the photoelectric conversion element PD.
  • the pixel drive circuit 326 sets the storage drive signal TX1_1 to the “H” level and turns on the read gate transistor G1_1.
  • the charge ⁇ Q1 generated by photoelectric conversion by the photoelectric conversion element PD according to the background light before the light pulse PO is irradiated is transferred to the floating diffusion FD1_1 of the charge storage unit CS2 via the read gate transistor G1_1. Is accumulated.
  • the voltage V1 of the floating diffusion FD1_1 becomes the voltage RT VDD ⁇ Q1 / C.
  • the voltage V2 of the floating diffusion FD2 is the voltage RT VDD.
  • the pixel drive circuit 326 sets the storage drive signal TX1_1 to the “L” level and turns off the read gate transistor G1_1. As a result, the supply of the electric charge Q1 generated by the background light to the floating diffusion FD1_1 from the photoelectric conversion element PD is stopped. Further, the pixel drive circuit 326 sets the storage drive signal TX1_3 to the "H” level and turns on the read gate transistor G1_3. As a result, the electric charge Q1'generated by the background light is started to be supplied to the floating diffusion FD1_3 from the photoelectric conversion element PD.
  • the pixel drive circuit 326 sets the reset signal RST2 to the "L” level. As a result, both the reset gate transistor RT1_1 and the reset gate transistor RT2 are turned off.
  • the pixel drive circuit 326 sets the reset signal RST1_1 to the “H” level. As a result, the reset gate transistor RT1_1 is turned on and the reset gate transistor RT2 is turned off.
  • the pixel drive circuit 326 sets the storage drive signal TX1_3 to the “L” level and the storage drive signal TX2 to the “H” level. Further, the light source unit 2 irradiates the optical pulse PO in synchronization with the timing when the accumulated drive signal TX2 reaches the “H” level. As a result, the read-out gate transistor G1_3 is turned off, and the charge ⁇ Q1 ′ generated by the photoelectric conversion element PD due to the background light on the floating diffusion FD1_3 is completed.
  • the read-out gate transistor G2 is turned on, and the charge Q2 generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is transferred to the floating diffusion FD2 in the charge storage unit CS2 and stored.
  • the voltage ⁇ Q2 / C is applied to the voltage RT VDD + (Q1 ′ / C)
  • the voltage V2 of the floating diffusion FD2 becomes the voltage RT VDD ⁇ (Q2-Q1 ′) / C
  • the floating diffusion FD2 has a voltage V2.
  • the charge- (Q2-Q1') generated only by the reflected light RL from which the charge Q1 generated by the background light has been removed is accumulated.
  • the electric charge accumulated in the floating diffusion FD2 is the electric charge Q2 corresponding to the reflected light RL reflected by the subject S within the time of the pulse width Tw irradiating the optical pulse PO.
  • This charge includes, in addition to the charge Q1 corresponding to the background light, a charge corresponding to the reflected light RL that has been incident with a delay time proportional to the distance (absolute distance) to the subject S. More specifically, for example, when the subject S exists at a close position, the irradiated light pulse PO is reflected by the subject S and returned as the reflected light RL in a short time, so that the charge storage unit CS2 has a charge storage unit CS2. , The charge corresponding to the reflected light RL reflected by the subject S existing at a close position is included more.
  • the pixel drive circuit 326 sets the storage drive signal TX2 to the “L” level and the storage drive signal TX3 to the “H” level. Further, the light source unit 2 stops the irradiation of the optical pulse PO in synchronization with the timing when the accumulated drive signal TX2 reaches the “L” level. As a result, the read-out gate transistor G2 is turned off, and the supply of electric charge from the photoelectric conversion element PD to the floating diffusion FD2 is completed. Further, the read-out gate transistor G3 is turned on, and the electric charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is transferred to the floating diffusion FD3 in the charge storage unit CS3 and stored.
  • the electric charge accumulated in the floating diffusion FD3 is an electric charge corresponding to the reflected light RL reflected by the subject S outside the time of the pulse width Tw irradiating the optical pulse PO.
  • This charge includes, in addition to the charge corresponding to the background light, the charge corresponding to the reflected light RL that has been incident with a delay time proportional to the distance (absolute distance) to the subject S. More specifically, for example, when the subject S exists at a distant position, the irradiated light pulse PO takes a longer time and is reflected by the subject S and returned as the reflected light RL, so that the charge is accumulated.
  • Part CS3 contains a larger amount of electric charge corresponding to the reflected light RL reflected by the subject S existing at a distant position.
  • the pixel drive circuit 326 sets the storage drive signal TX3 to the “L” level and the reset drive signal RSTD to the “H” level.
  • the read-out gate transistor G3 is turned off, and the supply of electric charge from the photoelectric conversion element PD to the floating diffusion FD3 is stopped.
  • the drain gate transistor GD is turned on, the electric charge accumulated in the photoelectric conversion element PD is discharged, and the photoelectric conversion element PD is reset.
  • the pixel drive circuit 326 sets the reset signal RST1_1 to the “L” level and the reset signal RST2 to the “H” level.
  • the reset transistor RT1_1 is turned off, the reset transistor RT2 is turned on, and the voltage RT VDD is applied to the floating diffusion FD2.
  • the charge- (Q2-Q1) stored in the floating diffusion FD2 is propagated to the floating diffusion FD1-1 via the charge storage capacity C2.
  • the voltage V1 of the floating diffusion FD1_1 becomes the voltage RT VDD + (Q2-Q1).
  • the pixel drive circuit 326 repeats the same drive of the pixel circuit 321 as from time tA2 to time tA9 (hereinafter, referred to as “charge distribution drive”).
  • charge distribution drive the charge accumulation in the charge storage unit CS3 in the pixel signal reading unit RU3 is also performed in the same manner as the operation of the charge storage in the charge storage unit CS2 in the pixel signal reading unit RU2.
  • the amount of charge for the repeated charge distribution drive is accumulated and held in each of the charge accumulation units CS2 and CS3 provided in all the pixel circuits 321.
  • the maximum number of times the charge distribution drive is repeated during the charge accumulation period is determined by the cycle in which the distance image sensor 32 outputs (acquires) a pixel signal for one frame. More specifically, the time obtained by subtracting the pixel signal reading period from the time for the distance image sensor 32 to acquire the pixel signal for one frame is the time for the light source device 21 to emit the pulsed laser beam, that is, It is the number of quotients divided by the pulse period time To of the optical pulse PO.
  • the distance image sensor 32 as the number of charge distribution drives increases, the amount of charge accumulated (integrated) in each charge storage unit CS increases, resulting in higher sensitivity. As a result, the distance image sensor 32 can improve the resolution of the distance to the subject S to be measured.
  • a voltage signal corresponding to the amount of charge distributed to each of the charge storage units CS2 and CS3 provided in each of the pixel signal reading units RU2 and RU3 is sent into the light receiving pixel unit 320.
  • the drive (control) of the pixel circuit 321 during the pixel signal reading period for sequentially outputting each row of the arranged pixel circuits 321 will be described.
  • a voltage signal corresponding to the amount of electric charge accumulated (integrated) and held in the device is output to the pixel signal processing circuit 325 in line order.
  • the pixel signal processing circuit 325 performs predetermined signal processing such as noise suppression processing on the voltage signal output by each pixel circuit 321.
  • the correlated double sampling (CDS) processing performed by the pixel signal processing circuit 325 as noise suppression processing is a voltage signal (integrated) according to the amount of charge stored and held in each of the charge storage units CS2 and CS3.
  • the difference between the "distance pixel voltage signal PS" and the voltage signal (hereinafter referred to as "reset voltage signal PR”) according to the amount of charge in the state where the charge storage unit CS is reset (reset state) is calculated. It is a process to take.
  • the voltage signals of the distance pixel voltage signal PS and the reset voltage signal PR corresponding to the respective charge storage units CS provided in the respective pixel circuits 321 are processed in a row-sequential manner. Output to circuit 325.
  • each voltage signal is output in the order of the charge storage unit CS2 (i) and the charge storage unit CS3 (i) provided in each pixel circuit 321 (i). ..
  • the distance pixel voltage signal PS2 (i) is the distance pixel voltage signal PS2
  • the reset voltage signal PR2 (i) is the reset voltage signal PR2
  • the read operation from the charge storage unit CS3 is omitted. ..
  • the vertical scanning circuit 323 transmits the distance pixel voltage signal PS2 (i) from the output terminal O2 (i) via the vertical signal line to the pixel signal processing circuit. Output to 325.
  • the vertical scanning circuit 323 sets the selection drive signal SEL2 to the “H” level, sets the reset signal RST1_1 to the “H” level, and sets the charge storage unit CS2 (i) via the selection gate transistor SL2.
  • the distance pixel voltage signal PS2 (i) corresponding to the accumulated charge is output.
  • the pixel signal processing circuit 325 temporarily holds the distance pixel voltage signal PS2 (i) output from the pixel signal reading unit RU2 (i) via the vertical signal line.
  • the vertical scanning circuit 323 causes the reset voltage signal PR2 (i) to be output from the output terminal O2 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the pixel drive circuit 326 sets the reset signal RST2 to the “H” level and resets the charge stored in the charge storage unit CS2 (i).
  • the pixel signal processing circuit 325 has the distance pixel voltage signal PS2 (i) once held and the reset voltage signal PR2 (i) output from the pixel signal reading unit RU2 (i) via the vertical signal line.
  • the reset voltage signal PR2 (i) is read out when the reset signals RST1_1 and RST2 are at the “H” level, but after the reset signal RST2 is set to the “L” level, the reset voltage signal is signaled.
  • the configuration may be such that the reading of PR2 (i) is performed.
  • the vertical scanning circuit 323 has the distance pixel voltage signal PS3 (i) and the reset voltage signal PR3 (i) as in the period from time tR1 to time tR3. ) Is output from the output terminal O3 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the vertical scanning circuit 323 sequentially arranges the drive of the pixel circuit 321 (hereinafter, referred to as “pixel signal read-out drive”) similar to that from the time tR1 to the time tR6 in the other rows of the light receiving pixel unit 320. This is performed on the pixel circuit 321 (for example, each pixel circuit 321 arranged on the i + 1 line), and each voltage signal is sequentially output from all the pixel circuits 321 arranged in the light receiving pixel unit 320.
  • pixel signal read-out drive the drive of the pixel circuit 321 (hereinafter, referred to as “pixel signal read-out drive”) similar to that from the time tR1 to the time tR6 in the other rows of the light receiving pixel unit 320. This is performed on the pixel circuit 321 (for example, each pixel circuit 321 arranged on the i + 1 line), and each voltage signal is sequentially output from all the pixel circuits 321 arranged in the light receiving pixel unit 320.
  • the pixel drive circuit 326 is a pixel signal of the electric charge generated and accumulated by the photoelectric conversion element PD in each pixel circuit 321 arranged in the light receiving pixel unit 320. Distribution to each of the reading units RU2 and RU3 is performed a plurality of times. Further, the vertical scanning circuit 323 sequentially transmits voltage signals according to the amount of charges accumulated (integrated) in each of the charge storage units CS2 and CS3 provided in the pixel signal reading units RU2 and RU3, and sequentially transmits the voltage signals via the vertical signal line. Output to the processing circuit 325.
  • the AD conversion circuit 329 performs A / D conversion processing line by line for each voltage signal in which noise is suppressed. Then, the horizontal scanning circuit 324 sequentially outputs the voltage signals of each row after the AD conversion circuit 329 performs the A / D conversion processing via the horizontal signal line in the order of the columns of the light receiving pixel unit 320. As a result, the distance image sensor 32 outputs the pixel signals of all the pixel circuits 321 for one frame to the outside. As a result, in the distance image imaging device 1, pixel signals for one frame are output to the distance calculation unit 42 in the so-called raster order.
  • each of the pixel signals for one frame has two pixel signal reading units RU2 and RU3 provided in the corresponding pixel circuit 321.
  • Two voltage signals corresponding to each of (charge storage units CS2 and CS3) are included.
  • the distance calculation unit 42 calculates the distance to the subject S for each pixel signal, that is, for each pixel circuit 321 based on the pixel signal for one frame output from the distance image sensor 32. ..
  • the charge amount Q1 is the amount of charge corresponding to the background light before the light pulse PO distributed to the floating diffusion FD1-1 of the charge storage unit CS2 of the pixel signal reading unit RU2 is irradiated. Further, the charge amount of the charge corresponding to the background light before the light pulse PO distributed to the floating diffusion FD1_3 of the charge storage unit CS3 of the pixel signal reading unit RU3 is defined as the charge amount Q1'.
  • the charge amount Q2 is the amount of charge corresponding to the reflected light RL incident on the floating diffusion FD2 in the charge storage unit CS2 of the pixel signal reading unit RU2 with a delay time corresponding to the distance.
  • the charge amount Q3 is the amount of charge corresponding to the reflected light RL incident on the floating diffusion FD3 in the charge storage unit CS3 of the pixel signal reading unit RU3 with a delay time corresponding to the distance.
  • the charge read from the pixel signal reading unit RU2 is (Q2-Q1)
  • the charge read from the pixel signal reading unit RU3 is (Q3-Q1'). Let's say', Q3'. Then, the distance calculation unit 42 obtains the distance D between the subject S and each pixel circuit 321 by the following equation (1).
  • Dm is the maximum distance (maximum measurement distance) that can be measured by irradiation with an optical pulse PO.
  • the maximum measurement distance Dm is expressed by the following equation (2).
  • c is the speed of light and Tw is the pulse width of the optical pulse PO.
  • the distance image imaging device 1 obtains the distance D between itself and the subject S for each pixel circuit 321 arranged in the light receiving pixel unit 320 of the distance image sensor 32.
  • the configuration of the pixel circuits arranged in a grid pattern (matrix pattern) on the distance image sensor 32 is a configuration including two pixel signal reading units RU2 and RU3 as shown in FIG.
  • the pixel circuit 321 is not limited to this, and may be a pixel circuit 321 having one photoelectric conversion element PD and one or more pixel signal reading units RU that distribute the charges generated and accumulated by the photoelectric conversion element PD.
  • the pixel drive (control) method (timing) is the distance image imaging device 1 shown in FIG.
  • the driving (control) method (timing) of the pixel circuit 321 in the above charge distribution to pixels is performed at a period in which a phase relationship is maintained so that the phases of the drive signals input to the read gate transistor G and the drain gate transistor GD provided in each pixel signal read unit RU do not overlap with each other.
  • the charge accumulating unit CS provided in each pixel signal reading unit RU can accumulate (integrate) the charge corresponding to the corresponding light. Then, by sequentially outputting each voltage signal from all the pixels by the pixel signal read-out drive, it is possible to output the pixel signal for one frame to the outside of the distance image sensor as in the distance image sensor 32.
  • the distance calculation unit 42 is similarly based on the pixel signal for one frame output from the distance image sensor in which the pixels having different numbers of the pixel signal reading units RU are arranged.
  • the distance D between 1 and the subject S can be obtained for each pixel signal (for each pixel).
  • each of the storage drive signals TX1_1, TX1_3, TX2, TX3, reset drive signal RSTD, reset signal RST1-1, RST1_3, RST2, and RST3 is arranged in a grid-like array of pixel circuits 321 in all the rows of the pixel circuits 321. They are supplied at the same timing.
  • the pixel drive circuit 326 sets each of the storage drive signals TX1_1, TX1_3, TX2, TX3, the reset drive signal RSTD, the reset signal RST1-11, RST1_3, RST2, and RST3 in the above row. It is supplied to the pixel circuit 321.
  • each of the storage drive signals TX1_1, TX1_3, TX2, and TX3 controls the read gate transistors G1_1, G1_3, G2, and G3 shown in FIG. 3, and each of the reset signals RST1_1, RST1_3, RST2, and RST3 resets.
  • Each of the transistors RT1_1, RT1_3, RT2, and RT3 is controlled, and charges are accumulated in each of the charge storage units CS2 and CS3 at each charge storage cycle within the frame cycle.
  • the vertical scanning circuit 323 outputs a voltage corresponding to the amount of electric charge accumulated in each of the electric charge storage units CS2 and CS3 from the source follower gate transits SF2 and SF3 to the pixel signal processing circuit 325.
  • the vertical scanning circuit 323 controls each of the selective gate transistors SL2 and SL3 by outputting each of the selective drive signals SEL2 and SEL3.
  • each of the selective gate transistors SL2 and SL3 applies a voltage corresponding to the amount of charge stored in the charge storage units CS2 and CS3 to the distance pixel voltage signals PS2 and PS3 (analog voltage) from the output terminals O2 and O3.
  • input voltages VA (CS2) and VA (CS3) and reset voltage signals PR2 and PR3 (voltage levels in a state where the charges of the charge storage units CS2 and CS3 are erased) are used to clarify.
  • Output to the pixel signal processing circuit 325 are used to clarify.
  • FIG. 6 is a diagram illustrating a timing chart simulating the operation of accumulating electric charges in the electric charge accumulating unit CS2.
  • the circuit diagram used in the simulation is the pixel signal reading unit RU2 shown in FIG.
  • FIG. 6A shows waveforms of the storage drive signals TX1_1 and TX2 input during the simulation, the reset signals RST1_1 and RST2, and the optical pulse PO emitted from the light source unit 2. Further, each of the waveforms V1 and V2 shows the voltage change due to the respective behaviors of the charges ⁇ Q1 and ⁇ Q2 in the floating diffusion FD1_1 and FD2, which are assumed as the simulation results.
  • the reset signals RST1_1 and RST2 are at the “H” level, and the storage drive signals TX1_1 and TX2 are at the “L” level.
  • the charges in the floating diffusion FD1_1 and FD2 are reset (corresponding to (1) in FIG. 4 (A)).
  • the reset signal RST1_1 is set to the "L” level.
  • the storage drive signal TX1_1 is set to the “H” level (corresponding to (2) in FIG. 4 (A)).
  • the electric charge ⁇ Q1 is accumulated in the floating diffusion FD1_1, and the voltage V1 becomes the voltage RT VDD ⁇ Q1 / C.
  • the storage drive signal TX1_1 is set to the “L” level.
  • the reset signal RST2 is set to the “L” level.
  • both the reset signals RST1_1 and RST2 do not have the "H” level state at the same time, and the charge ⁇ Q1 can be transferred from the floating diffusion FD1_1 to the floating diffusion FD2.
  • the reset signal RST1_1 is set to the “H” level.
  • the reset signal RST2 is first set to the “L” level at the time tS5A (corresponding to (3) in FIG. 4 (A)), and then the time.
  • FIG. 6B shows the voltages V1 and V2 of the floating diffusion FD1-1 and FD2, respectively, as simulation results based on the waveforms of the storage drive signals TX1_1 and TX2 and the reset signals RST1_1 and RST2 in FIG. 6A.
  • the voltages V1 and V2 in FIG. 6B are obtained by simulation by SPICE (Simulation Program with Integrated Circuit Emphasis).
  • SPICE Simulation Program with Integrated Circuit Emphasis.
  • Each of the time tS1 to the time tS7 in FIG. 6 (B) corresponds to each of the time tS1 to the time tS7 in FIG. 6 (A).
  • the time tS5A and the time tS5B in FIG. 6 (B) correspond to the time tS5 in FIG. 6 (A).
  • the vertical axis represents the voltage
  • the horizontal axis represents the time.
  • FIG. 6 (B) by supplying the current corresponding to the charge Q1 to the floating diffusion FD1_1 at time tS3, the voltage V1 corresponds to the capacitance of the floating diffusion FD1_1 and the voltage V1 is shown in FIG. 6 (A).
  • a simulation result showing the change corresponding to the change from the voltage RT VDD to the voltage RT VDD + Q1 / C can be obtained. Further, at time tS6, by supplying the current corresponding to the electric charge Q2 to the floating diffusion FD2, the voltage V2 changes from the voltage RT VDD + Q1 / C in FIG. A simulation result showing the change corresponding to the change to Q2-Q1) / C can be obtained.
  • FIG. 7 is a conceptual diagram showing a configuration example of an AD conversion circuit that AD-converts an input voltage supplied from the pixel signal processing circuit according to the first embodiment of the present invention.
  • the AD conversion circuit 329 has a column AD conversion unit 329j for each column j in the pixel circuits 321 arranged in a grid pattern.
  • the vertical signal line 330 (FIG. 2) is composed of three vertical signal lines.
  • the vertical signal line 330j corresponding to the row j of the pixel circuits 321 arranged in a grid pattern has each of the vertical signal lines 330j (CS2) and 330j (CS3).
  • the column AD conversion unit 329j is provided corresponding to each of the output terminals O2 and O3 in the column j, and is connected via the vertical signal lines 330j (CS2) and 330j (CS3), respectively. It is equipped with CS2) and 329j (CS3). Charge storage after signal processing supplied from the pixel signal processing circuit 325 to each of the column AD converters 329j (CS2) and 329j (CS3) via the vertical signal lines 330j (CS2) and 330j (CS3), respectively. It is supplied as an input voltage VA (CS2) corresponding to the charge Q2'stored in the charge storage unit CS2 and an input voltage VA (CS3) corresponding to the charge Q3'stored in the charge storage unit CS3.
  • Each of the vertical signal lines 330j (CS2) and 330j (CS3) is connected to the output terminals O2 and O3 in the pixel circuit 321 of FIG. 3, respectively.
  • each of the column AD conversion units 329j (CS2) and 329j (CS3) converts the input voltages VA (CS2) and VA (CS3) into digital value conversion voltages VD (CS2) and VD obtained by AD conversion, respectively.
  • (CS3) is corrected and output as pixel signals of output digital values OD (CS2) and OD (CS3), respectively.
  • the column AD conversion unit is provided for each column, but the AD conversion circuit 329 is provided with an AD conversion unit that commonly performs AD conversion of the input voltage VA of each column, and the AD conversion unit is provided with an AD conversion unit.
  • the input voltage VA of each column may be input in chronological order and sequentially converted to the conversion voltage VD.
  • the electric charge due to the reflected light RL from the subject S located in front of the pixel circuit 321 is accumulated by the drive signals TX1_1, TX1_3, TX2 and TX3, and the reset signals RST1_1, RST1_3, RST2 and RST3.
  • the charge due to light is removed, and the electric charge is distributed and accumulated in each of the charge storage units CS2 and CS3.
  • the distance D between the subject S and the subject S is obtained.
  • D OD (CS3) / (OD (CS2) + OD (CS3)) x Dm ... (3)
  • FIG. 8 illustrates the effect obtained by removing the charge generated by the background light in the first embodiment from the charge generated when the reflected light is incident and accumulating only the charge generated by the reflected light. It is a figure to do.
  • FIG. 8A shows the charge Q1 generated by the background light, the charge Q2 generated by the incident light when the reflected light RL is received during the period (first period) of irradiating the irradiation light PO, and the irradiation light PO.
  • each of the charges Q3 generated by the incident light when the reflected light RL is received is accumulated in each of the different floating diffusion FD1, FD2, and FD3, and the charges Q2-Q1
  • the case of the conventional configuration in which each of the charges Q3-Q1 is calculated are shown.
  • FIG. 8A not only the reflected light RL but also the background light is incident in each of the first period and the second period in which the reflected light RL is incident. Therefore, each of the charges Q2 and Q3 accumulated in the floating diffusion FD2 and FD3 includes the charge Q1 generated by the background light with respect to the charge generated by the reflected light RL.
  • the charge accumulation amount due to the reflected light RL is suppressed by the charge Q1 accumulation amount, and the charge is accumulated in order to improve the accuracy of distance measurement. It is not possible to increase the amount of electric charge generated by the reflected light RL by increasing the number of cycles (number of distributions) or increasing the intensity of the irradiation light PO.
  • each of the charge storage units CS2 and CS3 is subjected to a process of removing the charges Q1 and Q1'due to the background light in each storage cycle, so that reflection is performed. Only the electric charges generated by the optical RL can be accumulated as the electric charges Q2'and Q3', respectively. Therefore, according to the present embodiment, the accumulated amount of electric charge by the reflected light RL in the floating diffusion FD2 and FD3 is not suppressed by the accumulated amount of the electric charges Q1 and Q1', so that the number of accumulation cycles (the number of distributions) can be increased. It is possible to increase the intensity of the irradiation light PO. As a result, as shown in FIG.
  • the amount of accumulated charge generated by the reflected light RL can be increased, the S / N ratio can be improved, and the accuracy of distance measurement can be improved. Further, according to the present embodiment, it is possible to reduce the capacity of the charge storage capacities CS2 and CS3 and reduce the area of the formation region forming the charge storage portions CS2 and CS3, and the chip size of the distance image imaging device can be reduced. Can be reduced. Further, according to the present embodiment, an A / D converter that changes the analog voltage corresponding to the charges Q1 and Q1'to a digital voltage becomes unnecessary, and the charges Q1 and Q1 are changed from the voltages corresponding to the charges Q2 and Q3, respectively. Since the calculation circuit (calculation processing) for subtracting the voltage corresponding to Q1'is unnecessary, the number of circuits can be reduced and the chip size of the distance image imaging device can be reduced.
  • FIG. 9 is a circuit showing an example of the configuration of the pixel circuit 321 arranged in the light receiving pixel portion 320 of the image pickup element (distance image sensor 32) used in the distance image image pickup device 1 of the second embodiment of the present invention. It is a figure.
  • FIG. 9 shows an example of the configuration of one pixel circuit 321 among the plurality of pixel circuits 321 arranged in the light receiving pixel unit 320, as in FIG. 4.
  • the pixel circuit 321 is an example of a configuration including two pixel signal reading units RU2 and RU3. The detailed circuit configuration of the pixel signal reading unit RU3 is omitted.
  • Each of the pixel signal reading units RU2 and RU3 has the same configuration as the pixel signal reading units RU2 and RU3 in the first embodiment. Unlike the pixel circuit 321 of the first embodiment, the drain gate transistor GD is not provided in the second embodiment. Hereinafter, only the operation different from that of the first embodiment will be described with respect to the pixel circuit 321 according to the second embodiment.
  • FIG. 10 is a diagram illustrating a concept of charge accumulation operation of the pixel signal reading unit RU2 in the second embodiment.
  • FIG. 10A shows a change in voltage across the charge storage capacity C2.
  • FIG. 10B is a timing chart corresponding to each operation of FIG. 10A.
  • the charge accumulation operation in the pixel signal reading unit RU2 is performed by a six-step process from the operation (1') to the operation (6').
  • the electric charge is accumulated in the floating diffusion FD1_1, FD2 and the charge storage capacity C2, but will be described below assuming that the electric charge is accumulated in the floating diffusion FD1_1 and FD2.
  • Each of the operations (1'), (2'), (3'), (4') and (5') in FIG. 10 (A) is the operation (1), (2), in FIG. 4 (A). Corresponding to each of (3), (4), and (5), the same processing is performed on the charge storage unit CS2. Further, each of (1'), (2'), and (5') in FIG. 10 (A) corresponds to each of the times TD1, TD2, and TD5 in FIG. 10 (B). In FIG. 10 (B), the operations (3') and (4') of FIG. 10 (A) are omitted. In the first embodiment, as shown in FIG.
  • the drain gate transistor GD since the drain gate transistor GD is not provided, the charge of the cathode of the photoelectric conversion element PD is reset by using, for example, the reset gate transistor RT1_1 and the read gate transistor G1_1. That is, at the time TD6 in FIG. 10B, each of the storage drive signal TX1_1 and the reset signal RST1_1 is set to the “H” level, and the read gate transistor G1_1 and the reset gate transistor RT1_1 are turned on. As a result, the voltage RT VDD is applied to the cathode of the photoelectric conversion element PD via the read gate transistor G1_1 and the reset gate transistor RT1_1, and the accumulated charge is discharged (charge is discharged) to perform the reset process.
  • the reset gate transistor RT1_1 is in the ON state. Therefore, by turning on the read-out gate transistor G1_1 at the time TD6, the charge accumulated in the photoelectric conversion element PD can be easily reset.
  • the read gate transistor G1_1 and the reset gate transistor RT1_1 are used to reset the charge stored in the photoelectric conversion element PD, but the read gate transistor G2 and the reset gate transistor RT2 are used.
  • the configuration may be such that the charge stored in the photoelectric conversion element PD is reset.
  • each of the storage drive signal TX2 and the reset signal RST2 is set to the “H” level, and the read gate transistor G2 and the reset gate transistor RT2 are turned on.
  • the voltage RT VDD is applied to the cathode of the photoelectric conversion element PD via the read gate transistor G2 and the reset gate transistor RT2, the accumulated charge is discharged, and the reset process is performed.
  • the photoelectric conversion element PD is read out, and the gate transistor G1_1 (G2) and the reset gate transistor RT1_1 (RT2) are used to reset the charge stored in the photoelectric conversion element PD. Since it is not necessary to provide the drain gate transistor GD as in the embodiment, it is not necessary to provide a driver for supplying the reset drive signal RSTD, the number of transistors can be reduced, and the chip size of the distance image imaging device can be reduced. Can be done.
  • the amount of charge accumulated by the reflected light RL in the floating diffusion FD2 and FD3 is the accumulation of charges Q1 and Q1'. Since it is not suppressed by the amount, it is possible to increase the number of accumulation cycles (number of distributions) and increase the intensity of the irradiation light PO. As a result, as shown in FIG. 8C, the amount of accumulated charge generated by the reflected light RL can be increased, the S / N ratio can be improved, and the accuracy of distance measurement can be improved.
  • the present embodiment it is possible to reduce the capacities of the charge storage capacities CS2 and CS3 and to reduce the area of the formation region forming the charge storage portions CS2 and CS3. ,
  • the chip size of the distance image imaging device can be reduced.
  • an A / D converter that changes the analog voltage corresponding to the charges Q1 and Q1'to a digital voltage becomes unnecessary, and the charges Q1 and Q1 are changed from the voltages corresponding to the charges Q2 and Q3, respectively. Since the calculation circuit (calculation processing) for subtracting the voltage corresponding to Q1'is unnecessary, the number of circuits can be reduced and the chip size of the distance image imaging device can be reduced.
  • FIG. 11 is a circuit diagram showing an example of the configuration of the charge storage unit CS2 in the pixel circuit 321 arranged in the light receiving pixel unit 320 used in the distance image imaging device 1 of the third embodiment of the present invention.
  • the charge storage capacitance C2 (C3) in FIGS. 3 and 9 is composed of a compression type N-channel MOS transistor.
  • the charge storage capacity C2 includes each of the capacitance transistors DP1 and DP2 and the voltage adjusting transistor CRT.
  • Each of the capacitive transistors DP1 and DP2 is a compression type N-channel MOS transistor.
  • each of the capacitive transistors DP1 and DP2 may be configured by using an enhancement type N-channel MOS transistor instead of the compression type N-channel MOS transistor.
  • the voltage adjusting transistor CRT is, for example, an enhancement type N-channel MOS transistor.
  • the voltage adjustment signal CR is set to the “H” level, and the voltage VCR (for example, 0V to 0.5V) is set at the source and drain of the capacitive transistors DP1 and DP2.
  • VCR for example, 0V to 0.5V
  • the charge storage capacity C2 (C3) is configured by using a compression type N-channel type MOS transistor, the charge storage capacity can be formed by using a normal manufacturing process. Moreover, since the capacity of the MOS capacitor is larger than that of a capacitor (so-called capacitor) composed of a metal layer and an insulating layer, the area forming the charge storage capacity can be reduced, and the chip size of the distance image imaging device can be reduced. can do.
  • the amount of charge accumulated by the reflected light RL in the floating diffusion FD2 and FD3 is the accumulation of charges Q1 and Q1'. Since it is not suppressed by the amount, it is possible to increase the number of accumulation cycles (number of distributions) and increase the intensity of the irradiation light PO. As a result, as shown in FIG. 8C, the amount of accumulated charge generated by the reflected light RL can be increased, the S / N ratio can be improved, and the accuracy of distance measurement can be improved.
  • the present embodiment it is possible to reduce the capacity of the charge storage capacities CS2 and CS3 and reduce the area of the formation region forming the charge storage portions CS2 and CS3, and the chip size of the distance image imaging device can be reduced. Can be reduced. Further, according to the present embodiment, an A / D converter that changes the analog voltage corresponding to the charges Q1 and Q1'to a digital voltage becomes unnecessary, and the charges Q1 and Q1 are changed from the voltages corresponding to the charges Q2 and Q3, respectively. Since the calculation circuit (calculation processing) for subtracting the voltage corresponding to Q1'is unnecessary, the number of circuits can be reduced and the chip size of the distance image imaging device can be reduced.
  • each of the charge storage capacities C2 and C3 in FIG. 1 is not the MOS capacitor of the depletion type N channel type MOS transistor described above, but has a MIM (metal insulator metal) structure or PIP (poly-Si (silicon) insulator poly).
  • a capacitor having a -Si) structure may be used.
  • Charge storage capacity CS2, CS3 Charge storage unit DP1, DP2 Capacity transistor CRT voltage adjustment transistor FD1_1, FD1_3, FD2, FD3 ... Floating diffusion G1_1, G1_3, G2, G3 ... Read gate transistor GD ... Drain gate transistor O2, O3 ... Output terminal P ... Measurement space PD ... Photoelectric conversion element PO ... Optical pulse (irradiation light) RL ... Reflected light RT1_1, RT1_3, RT2, RT3 ... Reset gate transistor RU2, RU3 ... Pixel signal readout unit S ... Subject (object) SF2, SF3 ... Source follower gate transistor SL2, SL3 ... Selective gate transistor

Abstract

本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、照射光が、測定空間における対象物において反射した反射光と、測定空間の環境における背景光とを受光し、受光した反射光及び背景光に応じた電荷を発生する光電変換素子と、フレーム周期において照射光が照射された際に電荷を蓄積する電荷蓄積部とを具備し、照射光の照射に同期して電荷を電荷蓄積部に蓄積する画素回路を有する受光画素部と、 電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離の測定を行う距離画像処理部とを備え、電荷蓄積部が、反射光を受光した際に発生する電荷から、当該反射光の受光の際に含まれる背景光により発生する電荷を除去して、反射光により発生した電荷を蓄積する。

Description

距離画像撮像装置及び距離画像撮像方法
 本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
 従来から、光の速度が既知であることを利用し、空間(測定空間)における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像センサが実現されている。TOF方式の距離画像センサでは、測定対象に光(例えば、近赤外光など)パルスを照射し、光パルスを照射した時間と、測定空間における対象物によって反射した光パルス(反射光)が戻ってくる時間との差、つまり、測定器と対象物との間における光の飛行時間に基づいて、測定器と対象物との距離を測定している(例えば、特許文献1参照)。
 TOF方式の距離画像センサは、光電変換素子が入射される光の光量を電荷に変換し、変換した電荷を電荷蓄積部に蓄積し、AD変換器により蓄積された電荷の電荷量に対応したアナログ電圧をデジタル電圧に変換している。
 また、TOF方式の距離画像センサは、デジタル電圧に含まれる、測定器と対象物との間における光の飛行時間の情報より、測定器と対象物との距離を求めている。
 このとき、測定空間の環境における背景光が、距離の測定に用いる反射光を入射する際に含まれており、正確に距離を求めるため、入射した光から背景光を除去して反射光のみの情報を得る必要がある。
 このため、測定空間の環境における背景光の影響を距離測定において除去(キャンセル)する目的で、常に照射光が照射されない期間を設定することにより、背景光のみの受光量を蓄積しておき、対象物との距離を算出する際に、対象物からの反射光(対象物までの距離の情報を含む)を受光する期間に入力した入射光による電荷から、照射光が照射されない期間に蓄積していた背景光による電荷を差し引いて、反射光のみの電荷としている。
特開2004-294420号公報
 しかしながら、特許文献1は、TOFセンサの場合、照射光の複数回の照射を行ない、その照射を行う毎に受光した光で発生した電荷を蓄積し、蓄積した電荷に対応するアナログ電圧を距離の計測に用いる。
 このため、受光する光に含まれる背景光の強度が大きい場合、電荷を蓄積する電荷蓄積部が飽和したり、あるいはAD変換器の変換可能なアナログ電圧の範囲を超えたりして対象物までの距離を測定することができなくなる場合がある。
 このため、背景光の強度が大きい場合、電荷蓄積部の飽和を防止するため、振分け回数(照射光の照射回数)や照射光の強度を低下させることが考えられる。 しかしながら、電荷蓄積部に蓄積される、反射光により発生する電荷の電荷量が背景光の電荷の電荷量に対して相対的に低減することにより、S/N比が低下して距離の測定精度、特に遠距離になるほど距離の測定精度が低下する。
 また、距離の測定精度を維持するため、反射光の強度が大きくても、振分け回数(照射光の照射回数)や照射光の強度を低下させる必要がないように、背景光を含む受光により発生する電荷を蓄積しても飽和しない程度に、電荷蓄積部の容量を大きくして形成することも考えられる。
 しかし、画素毎に電荷蓄積部が設けられているため、電荷蓄積部の容量を増加させるにしたがい、電荷蓄積部の面積、すなわち各画素の面積も増加してしまい、距離画像撮像装置を形成するチップ面積が大きくなってしまう。
 上述の課題を鑑み、反射光の強度が大きくても、振分け回数(照射光の照射回数)や照射光の強度を低下させず、かつ電荷蓄積部の容量を増加させてチップ面積を大きくすることなく、S/N比を向上させて精度良く距離測定が行える距離画像撮像装置及び距離画像撮像方法を提供することを目的とする。
 本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離の測定を行う距離画像処理部とを備え、前記電荷蓄積部が、前記反射光を受光した際に発生する電荷から、当該反射光の受光の際に含まれる前記背景光により発生する電荷を除去して、前記反射光により発生した電荷を蓄積する。
 本発明の距離画像撮像装置は、前記電荷蓄積部が、前記背景光を受光した際に発生する第1電荷を蓄積する第1フローティングディフュージョンと、前記反射光を受光した際に発生する第2電荷を蓄積する第2フローティングディフュージョンと、前記第1フローティングディフュージョン及び前記第2フローティングディフュージョンの間に設けられた電荷蓄積容量とを備える。
 本発明の距離画像撮像装置は、前記電荷蓄積容量を介して、前記第1フローティングディフュージョンから前記第2フローティングディフュージョンに、第1電荷を伝搬させることにより、前記第2電荷から前記第1電荷を除去する。
 本発明の距離画像撮像装置は、前記距離画像処理部が、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定空間に存在する前記対象物との距離を求め、前記電荷蓄積部が、前記背景光を受光した際に発生する第1電荷を蓄積する第1フローティングディフュージョンと、前記反射光を受光した際に発生する第2電荷を蓄積する第2フローティングディフュージョンと、前記第1フローティングディフュージョン及び前記第2フローティングディフュージョンの間に設けられた電荷蓄積容量とを備え、前記電荷蓄積部毎に、前記背景光により発生する前記第1電荷の除去処理が行われ、前記反射光による第2電荷の蓄積が行われる。
 本発明の距離画像撮像装置は、前記電荷蓄積部が、前記第1フローティングディフュージョンの電荷をリセットする、所定の電源に接続された第1リセットトランジスタ(本実施形態におけるリセットゲートトランジスタRST1_1)と、前記第2フローティングディフュージョンの電荷をリセットする、前記所定の電源に接続された第2リセットトランジスタ(本実施形態におけるリセットゲートトランジスタRST2)とを備え、前記第1リセットトランジスタ及び前記第2リセットトランジスタにより、前記第1フローティングディフュージョン、前記第2フローティングディフュージョンそれぞれを所定の電源の電圧にリセットした後、前記第1リセットトランジスタをオフし、前記第2リセットトランジスタをオンした状態で、前記第1フローティングディフュージョンに前記第1電荷を蓄積し、前記第1リセットトランジスタをオンし、前記第2リセットトランジスタをオフして、前記第2フローティングディフュージョンに前記第1電荷を伝搬させ、前記第1リセットトランジスタをオンし、前記第2リセットトランジスタをオフした状態で、前記第2フローティングディフュージョンに前記第2電荷を蓄積することで、当該第2電荷から前記第1電荷を除去する。
 本発明の距離画像撮像装置は、前記第1電荷の蓄積、前記第1電荷の伝搬及び前記第2電荷から前記第1電荷の除去を繰り返すことにより、前記第2電荷から前記第1電荷を除去した前記反射光による電荷の積算値を求め、この積算値により前記距離の測定を行う。
 本発明の距離画像撮像装置は、前記第1リセットトランジスタまたは前記第2リセットトランジスタにより、前記光電変換素子の電荷をリセットする。
 本発明の距離画像撮像装置は、前記電荷蓄積容量がMOSキャパシタで構成されている。
 本発明の距離画像撮像装置は、前記MOSキャパシタがディプレション型である。
本発明の距離画像撮像方法は、測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、当該電荷蓄積部において、前記反射光を受光した際に発生する電荷から、当該反射光の受光の際に含まれる前記背景光により発生する電荷を除去して、前記反射光により発生した電荷を蓄積する過程と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う過程とを含む。
 本発明は、反射光の強度が大きくても、振分け回数(照射光の照射回数)や照射光の強度を低下させず、かつ電荷蓄積部の容量を増加させてチップ面積を大きくすることなく、S/N比を向上させて精度良く距離測定が行える距離画像撮像装置及び距離画像撮像方法を提供することができる。
本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。 第1の実施形態における画素信号読み出し部RU2の電荷蓄積の動作の概念を説明する図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。 電荷蓄積部CS2に電荷が蓄積される動作をシミュレーションしたタイミングチャートを説明する図である。 本発明の第1の実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。 第1の実施形態における背景光により発生する電荷を、反射光の入射の際に発生する電荷から除去して、反射光により発生する電荷のみを蓄積する構成により得られる効果を説明する図である。 本発明の第2の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。 第2の実施形態における画素信号読み出し部RU2の電荷蓄積の動作の概念を説明する図である。 本発明の第3の実施形態の距離画像撮像装置1に用いられる受光画素部320内に配置された画素回路321における電荷蓄積部CS2の構成の一例を示した回路図である。
<第1の実施形態>
 以下、本発明の第1の実施形態について、図面を参照して説明する。図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。なお、図1には、距離画像撮像装置1において距離を測定する被写体である被写体Sも併せて示している。
 図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備えている。
 光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する空間(測定空間P)に、所定の周期で断続的な光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。
 光源装置21は、例えば、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光としての光パルスPOを放射する。
 拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sのある測定空間Pに照射する所定の断面積の大きさに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして光源部2から出射されて、測定空間Pの被写体Sに照射される。
 受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。
 レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ32は、タイミング制御部41からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。
 なお、距離画像センサ32では、複数の画素が二次元の格子状(行列状)に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部4は、距離画像撮像装置1の全体を制御する制御部であり、かつ距離画像撮像装置1において測定する被写体Sとの間の距離を演算する演算部でもある。この距離画像処理部4は、タイミング制御部41と距離演算部42とを備えている。
 タイミング制御部41は、光源部2が被写体Sに光パルスPOを照射するタイミングや、受光部3に備えた距離画像センサ32が反射光RLを受光するタイミングなどを制御する。
 距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、距離画像撮像装置1と被写体Sとの間の距離を演算した距離情報を出力する。
 このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
 なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。図2において、距離画像センサ32は、複数の画素回路321が配置された受光画素部320と、制御回路322と、垂直走査回路323と、水平走査回路324と、画素信号処理回路325と、画素駆動回路326とを備えている。なお、図2に示した距離画像センサ32では、複数の画素回路321が、8行8列に二次元の格子状に配置された受光画素部320の一例を示している。
 制御回路322は、垂直走査回路323、水平走査回路324、画素信号処理回路325及び画素駆動回路326などの距離画像センサ32に備えた構成要素を制御する。制御回路322は、例えば、距離画像撮像装置1に備えた距離画像処理部4(より具体的には、タイミング制御部41)からの制御に応じて、距離画像センサ32に備えた構成要素の動作を制御する。なお、制御回路322による距離画像センサ32に備えた構成要素の制御は、例えば、距離画像処理部4(より具体的には、タイミング制御部41)が直接行う構成であってもよい。この場合、距離画像センサ32は、制御回路322を備えない構成であってもよい。
 画素駆動回路326は、格子状に配列した画素回路321が備える光電変換素子(後述する光電変換素子PD)が発生した電荷を、画素回路321が備えた複数の電荷蓄積部(後述する電荷蓄積部CS2及びCS3)に振り分けて蓄積させる蓄積駆動信号(後述する蓄積駆動信号TX1_1、TX1_3、TX2、TX3)、リセット信号(後述するリセット信号RST1_1、RST1_3、RST2、RST3)及びリセット駆動信号(後述するリセット駆動信号RSTD)を、受光画素部320内に格子状に配置された画素回路321の列単位に出力する。
 垂直走査回路323は、制御回路322からの制御に応じて、受光画素部320内に配置された画素回路321の各々を制御し、画素回路321それぞれから、入射した光を光電変換した電荷量に応じた電圧の信号(以下、「電圧信号」という)を対応する垂直信号線327に出力させる(読み出させる)駆動回路である。垂直走査回路323は、画素回路321を駆動(制御)して読み出すための制御信号(後述する選択駆動信号SEL2及びSEL3)を、受光画素部320内に格子状に配置された画素回路321の行単位に出力する。
 これにより、画素回路321において電荷蓄積部(後述する電荷蓄積部CS2及びCS3)それぞれに振り分けられた電荷量に応じた電圧信号が、受光画素部320の列ごとに対応する垂直信号線327の各々に読み出され、画素信号処理回路325に出力される。
 受光画素部320において、画素回路321は、光源部2が被写体Sに照射した光パルスPOが被写体Sによって反射された反射光RLを受光し、受光した反射光RLの光量(受光量)に応じた電荷を発生させる。それぞれの画素回路321において、画素駆動回路326は、蓄積駆動信号を出力することにより、複数備えたいずれかの電荷蓄積部に、受光した反射光RLの光量(受光量)に応じた電荷を振り分けて蓄積させる。そして、画素回路321において、垂直走査回路323は、読出駆動信号として選択駆動信号を出力することにより、それぞれの電荷蓄積部に振り分けられて蓄積された電荷の電荷量に応じた大きさの電圧信号を、対応する垂直信号線327に出力する。なお、画素回路321の構成と駆動(制御)方法とに関する詳細な説明は、後述する。
 画素信号処理回路325は、垂直走査回路323からの制御に応じて、それぞれの列の画素回路321から、対応する垂直信号線327に出力された電圧信号に対して、予め定めた信号処理を行う信号処理回路である。予め定めた信号処理としては、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)によって電圧信号に含まれるノイズを抑圧するノイズ抑圧処理などがある。
 AD変換回路329は、画素信号処理回路325から、垂直信号線330を介して供給される列毎のアナログの電圧信号を、それぞれAD変換してデジタル値に変換する。
 なお、画素信号処理回路325は、受光画素部320のそれぞれの列に対応した複数の画素信号処理回路からなる画素信号処理回路群であってもよい。この場合、画素信号処理回路325は、制御回路322からの制御に応じて、予め定めた信号処理をした後の電圧信号を、AD変換回路329に対して垂直信号線330を介して出力する。
 そして、AD変換回路329は、水平走査回路324の制御に応じて、受光画素部320の行ごとに、AD変換されたデジタル値を水平信号線338に出力する。
 垂直走査回路323は、それぞれの列の画素回路321に対応する電圧信号を出力させるための読出駆動信号を、画素信号処理回路325に順次出力する。
 水平走査回路324は、制御回路322からの制御に応じて、信号処理をした後の電圧信号がAD変換されたデジタル値を、AD変換回路329から水平信号線338に順次出力させる(読み出させる)駆動回路である。これにより、画素信号処理回路325が出力した信号処理をした後の1フレーム分の電圧信号が、1フレーム分の画素信号として、水平信号線338を経由して距離画像センサ32の外部に順次出力される。このとき、距離画像センサ32は、例えば、出力アンプなどの不図示の出力回路から、信号処理をした後の電圧信号を、画素信号として距離画像センサ32の外部に出力する。
 以下の説明においては、距離画像センサ32に備えた画素信号処理回路325が、画素回路321から出力された電圧信号に対してノイズ抑圧処理を行い、その後、AD変換回路329においてA/D変換処理をして出力する、つまり、デジタル値に変換した電圧信号を水平信号線338から出力するものとして説明する。
 次に、距離画像センサ32に備える受光画素部320内に配置された画素回路321の構成について説明する。図3は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。図3には、受光画素部320内に配置された複数の画素回路321のうち、1つの画素回路321の構成の一例を示している。画素回路321は、画素信号読み出し部RU2及びRU3の2つを備えた構成の一例である。
 画素回路321は、例えば、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する2つの画素信号読み出し部RU2及びRU3とを備えている。
 図3に示した画素回路321において、画素信号読み出し部RU2は、蓄積されている電荷に対応した電圧信号を出力端子O2から出力する回路である。画素信号読み出し部RU2は、読み出しゲートトランジスタG1_1及びG2と、フローティングディフュージョンFD1_1及びFD2と、電荷蓄積容量C2と、リセットゲートトランジスタRT1_1及びRT2と、ソースフォロアゲートトランジスタSF2と、選択ゲートトランジスタSL2とを備えている。画素信号読み出し部RU2では、フローティングディフュージョンFD1_1及びFD2と電荷蓄積容量C2とによって電荷蓄積部CS2が構成されている。ドレインゲートトランジスタGD、読み出しゲートトランジスタG1_1及びG2、リセットゲートトランジスタRT1_1及びRT2、ソースフォロアゲートトランジスタSF2及び選択ゲートトランジスタSL2は、NチャネルMOSトランジスタである。 ここで、例えば、リセットゲートトランジスタRT1_1及びRT2は、ディプレション型のNチャネルMOSトランジスタであり、ドレインが所定の電圧RTVDDの電源線に接続され、ソースがフローティングディフュージョンFD1_1、FD2それぞれに接続されている。
 また、画素信号読み出し部RU3は、蓄積されている電荷に対応した電圧信号を出力端子O3から出力する回路である。画素信号読み出し部RU3は、読み出しゲートトランジスタG1_3及びG3と、フローティングディフュージョンFD1_3及びFD3と、電荷蓄積容量C3と、リセットゲートトランジスタRT1_3及びRT3と、ソースフォロアゲートトランジスタSF3と、選択ゲートトランジスタSL3とを備えている。画素信号読み出し部RU3では、フローティングディフュージョンFD1_3及びFD3と電荷蓄積容量C3とによって電荷蓄積部CS3構成がされている。読み出しゲートトランジスタG1_3及びG3、リセットゲートトランジスタRT1_3及びRT3、ソースフォロアゲートトランジスタSF3及び選択ゲートトランジスタSL3は、NチャネルMOSトランジスタである。 ここで、例えば、リセットゲートトランジスタRT1_3及びRT3は、ディプレション型のNチャネルMOSトランジスタであり、ドレインが所定の電圧RTVDDの電源線に接続され、ソースがフローティングディフュージョンFD1_3、FD3それぞれに接続されている。
 光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素回路321に備える光電変換素子PDの構造に関して特に規定しない。このため、光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、画素回路321に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
 ドレインゲートトランジスタGDは、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積し、それぞれの画素信号読み出し部RUに転送されなかった電荷を破棄するためのトランジスタである。つまり、ドレインゲートトランジスタGDは、光電変換素子PDが発生した、被写体Sとの間の距離の測定に用いない電荷をリセットするトランジスタである。また、ドレインゲートトランジスタGDは、NチャネルMOSトランジスタである。
 読み出しゲートトランジスタG(G1_1、G1_3、G2、G3)は、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積した電荷を、対応する電荷蓄積部CS(CS2、CS3)に転送するためのトランジスタである。読み出しゲートトランジスタGによって転送された電荷は、対応する電荷蓄積部CSに保持(蓄積)される。
 ここで、画素信号読み出し部RU2において、読み出しゲートトランジスタG1_1は、ドレインが光電変換素子PDの第2の端子(カソード)に接続され、ゲートが蓄積駆動信号TX1_1を伝搬する信号線LTX1_1に接続され、ソースがフローティングディフュージョンFD1_1及び電荷蓄積容量C2の第1の端子とに接続されている。
 同様に、画素信号読み出し部RU2において、読み出しゲートトランジスタG2は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX2を伝搬する信号線LTX2に接続され、ソースがフローティングディフュージョンFD2及び電荷蓄積容量C2の第2の端子とに接続されている。
 また、画素信号読み出し部RU3において、読み出しゲートトランジスタG1_3は、ドレインが光電変換素子PDの第2の端子(カソード)に接続され、ゲートが蓄積駆動信号TX1_3を伝搬する信号線LTX1_3に接続され、ソースがフローティングディフュージョンFD1_3及び電荷蓄積容量C3の第1の端子とに接続されている。
 同様に、画素信号読み出し部RU3において、読み出しゲートトランジスタG3は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX3を伝搬する信号線LTX3に接続され、ソースがフローティングディフュージョンFD3及び電荷蓄積容量C3の第2の端子とに接続されている。
 上述した蓄積駆動信号TX1_1、蓄積駆動信号TX1_3、蓄積駆動信号TX2及び蓄積駆動信号TX3の各々は、画素駆動回路326から、信号線LTX1_1、信号線LTX1_3、信号線LTX2、信号線LTX3それぞれを介して供給される。
 電荷蓄積容量C2は、対応する読み出しゲートトランジスタG1_1及びG2によって転送された電荷を保持(蓄積)する容量である。
 また、電荷蓄積容量C3は、対応する読み出しゲートトランジスタG1_3及びG3によって転送された電荷を保持(蓄積)する容量である。
 リセットゲートトランジスタRT1_1及びRT2は、画素駆動回路326から入力されたリセット信号RST1_1、RST2に応じて、対応する電荷蓄積部CS2に保持された電荷を破棄する(リセットする)ためのトランジスタである。リセットゲートトランジスタRT1_1は、フローティングディフュージョンFD2に電荷を蓄積する際に、フローティングディフュージョンFD1_1の電圧を電圧RTVDDに固定するために用いられる。リセットゲートトランジスタRT2は、フローティングディフュージョンFD1_1に電荷を蓄積する際に、フローティングディフュージョンFD2の電圧を電圧RTVDDに固定するために用いられる。
 また、リセットゲートトランジスタRT1_3及びRT3は、画素駆動回路326から入力されたリセット信号RST1_3、RST3に応じて、対応する電荷蓄積部CS3に保持された電荷を破棄するためのトランジスタである。リセットゲートトランジスタRT1_3は、フローティングディフュージョンFD3に電荷を蓄積する際に、フローティングディフュージョンFD1_3の電圧を電圧RTVDDに固定するために用いられる。リセットゲートトランジスタRT3は、フローティングディフュージョンFD1_3に電荷を蓄積する際に、フローティングディフュージョンFD3の電圧を電圧RTVDDに固定するために用いられる。
 ソースフォロアゲートトランジスタSF2は、ゲート端子に接続された電荷蓄積部CS2に蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタSL2に出力するためのトランジスタである。
 また、ソースフォロアゲートトランジスタSF3は、ゲート端子に接続された電荷蓄積部CS3に蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタSL3に出力するためのトランジスタである。
 選択ゲートトランジスタSL2は、垂直走査回路323から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタSF2によって増幅された電圧信号を、対応する出力端子O2から出力するためのトランジスタである。
 また、選択ゲートトランジスタSL3は、垂直走査回路323から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタSF3によって増幅された電圧信号を、対応する出力端子O3から出力するためのトランジスタである。
 上述した構成によって、画素回路321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を2つの電荷蓄積部CS2、CS3のそれぞれに振り分ける。そして、画素回路321では、電荷蓄積部CS2、CS3のそれぞれに振り分けられた電荷の電荷量に応じた電圧信号を、画素信号処理回路325に出力する。
 図4は、第1の実施形態における画素信号読み出し部RU2の電荷蓄積の動作の概念を説明する図である。図4(A)は、電荷蓄積容量C2の両端の電圧の変化を示している。図4(B)は、図4(A)の各動作に対応したタイミングチャートである。
 図4(A)に示すように、画素信号読み出し部RU2における電荷蓄積の動作は、動作(1)から動作(5)の5段階の処理により行われる。ここで、電荷は、フローティングディフュージョンFD1_1、FD2及び電荷蓄積部CS2に蓄積されるが、電荷の蓄積の処理の説明を簡単とするため、以下においてフローティングディフュージョンFD1_1及びFD2に蓄積されるとして説明する。
 動作(1)は、電荷蓄積容量C2に蓄積された電荷のリセットを行う動作である。この動作(1)は、図4(B)のタイミングチャートにおける時間TC1における動作に対応している。
 すなわち、時間TC1においては、蓄積駆動信号TX1_1及びTX2を“L(Low)”レベルとして、リセット信号RST1_1及びRST2を“H(High)”レベルとする。このため、読み出しゲートトランジスタG1_1及びG2がオフとなり、リセットトランジスタRT1_1及びRT2がオンとなり、電荷蓄積容量C2の第1端子TC2Pの電圧V1と、第2端子TC2Mの電圧V2とが電圧RTVDDとされる。これにより、電荷蓄積容量C2に蓄積された電荷のリセットが行われる。
 このとき、リセット駆動信号RSTDが“H(High)”レベルとされ、ドレインゲートトランジスタGDがオンとなり、光電変換素子PDに発生している電荷の放電も行われている。
 動作(2)は電荷蓄積容量C2に対して背景光による電荷の蓄積を行う動作である。図4(B)のタイミングチャートにおける時間TC2において、リセット駆動信号RSTDが“L”レベルとされ、ドレインゲートトランジスタGDがオフとなる。
 そして、蓄積駆動信号TX1_1が“H”レベルとされ、読み出しゲートトランジスタG1_1がオンとなり、一方、蓄積駆動信号TX2が“L”レベルとされ、読み出しゲートトランジスタG2がオフとなる。
 また、リセット信号RST1_1が“L”レベルとされ、リセットトランジスタRT1_1がオフとなり、リセット信号RST2が“H”レベルとされ、リセットトランジスタRT2がオンとなる。
 そして、光電変換素子PDで発生した電荷-Q1が、読み出しゲートトランジスタG1_1を介して、フローティングディフュージョンFD1_1に蓄積される。これにより、電荷蓄積容量C2の第1端子TC2P(フローティングディフュージョンFD1_1)の電圧V1が電圧RTVDD-Q1/Cとなり、第2端子TC2M(フローティングディフュージョンFD2)の電圧V2が電圧RTVDDとなる。
 動作(3)は、電荷-Q1をフローティングディフュージョンFD2に伝搬させる際、フローティングディフュージョンFD1_1に蓄積された電荷-Q1を保存する動作である。このため、図4(B)のタイミングチャートにおける時間TC3において、電荷蓄積容量C2の第1端子TC2P及び第2端子TC2Mがフローティグ状態とされる。すなわち、蓄積駆動信号TX1_1及びTX2と、リセット信号RST1_1及びRST2とが“L”レベルとされる。このため、読み出しゲートトランジスタG1_1及びG2がオフとなり、リセットトランジスタRT1_1及びRT2がオフとなる。
 このとき、電荷蓄積容量C2の第1端子TC2Pの電圧V1が電圧RTVDD-Q1/Cであり、第2端子TC2Mの電圧V2が電圧RTVDDであり、動作(2)において蓄積された電荷-Q1がフローティングディフュージョンFD1_1側に保存される。
 動作(4)は、被写体Sからの反射光RLにより光電変換素子PDに発生する電荷を蓄積させる準備の動作である。すなわち、フローティングディフュージョンFD1_1における電荷-Q1を、フローティングディフュージョンFD2に伝搬させる動作である。図4(B)のタイミングチャートにおける時間TC4において、リセット信号RST1_1が“H”レベルとされ、リセットトランジスタRT1_1はオンとなる。
 これにより、フローティングディフュージョンFD1_1に電圧RTVDDが印加され、電荷蓄積容量C2の第1端子TC2Pが電圧RTVDDとなることにより、フローティングディフュージョンFD1_1側の電荷-Q1がフローティングディフュージョンFD2側に伝搬する。これにより、フローティングディフュージョンFD2側の電荷量が電荷Q1低下し、第2端子TC2Mの電圧V2が電圧RTVDD+Q1/Cとなる。
 動作(5):被写体Sからの反射光RLにより光電変換素子PDに発生する電荷-Q2を、フローティングディフュージョンFD2に蓄積する。図4(B)のタイミングチャートにおける時間TC5において、蓄積駆動信号TX2が“H”レベルとされ、読み出しゲートトランジスタG2はオンとなる。このため、反射光RLにより発生した電荷-Q2が、光電変換素子PDからフローティングディフュージョンFD2に供給される。
 フローティングディフュージョンFD2に電荷-Q2が供給されることにより、フローティングディフュージョンFD2の電荷量が電荷-Q2増加し、第2端子TC2Mの電圧V2は電圧RTVDD-(Q2-Q1)/Cとなる。
 上述した動作(1)において、背景光による電荷-Q1をフローティングディフュージョンFD1_1に蓄積しておき、動作(4)において、電荷Q1をフローティングディフュージョンFD2から低減させる。
 そして、動作(5)において、反射光RLによる電荷-Q2を、電荷量が電荷Q1低下したフローティングディフュージョンFD2に供給する。
 これにより、フローティングディフュージョンFD2において、電荷-Q2に含まれる背景光による電荷量-Q1がキャンセルされ(電荷-Q2+Q1)、反射光RLの成分のみとして電荷量-(Q2-Q1)が蓄積された状態となる。
 そして、上述した動作(1)をフレーム周期(後述)の開始時に行ない、また上述した動作(2)から動作(5)を、電荷蓄積期間(後述)における電荷振り分け毎に繰り返すことにより、光パルスPOが照射された被写体Sからの反射光RLの成分のみが、電荷量-(Q2-Q1)として電荷蓄積部CS2に順次蓄積されていく。
 また、画素信号読み出し部RU3の電荷蓄積の動作も、上述した画素信号読み出し部RU2と同様である。そして、画素信号読み出し部RU3においても、動作(2)から動作(5)を、電荷蓄積期間(後述)における電荷振り分け毎に繰り返すことにより、光パルスPOが照射された被写体Sからの反射光RLの成分のみが、電荷量-(Q3-Q1)として電荷蓄積部CS3に順次蓄積されていく。
 距離画像センサ32に配置される画素の構成は、図3に示したような、2つの画素信号読み出し部RUを備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部RUを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、1つであってもよいし、3つ以上であってもよい。
 また、距離画像撮像装置1において距離の測定におけるダイナミックレンジを広くすることを考えると、より多くの電荷を保持(蓄積)することができる構成の方が優位である。このため、画素回路321では、画素信号読み出し部RU2(RU3)に電荷蓄積容量C2(C3)を備え、背景光による電荷Q1を蓄積するフローティングディフュージョンFD1_1(FD1_3)と、反射光を受光した際の電荷Q2(Q3)を蓄積するフローティングディフュージョンFD2(FD3)との間に、電荷蓄積容量C2(C3)を介挿させて電荷蓄積部CS2(CS3)を構成している。これにより、電荷蓄積部CS2(CS3)において、反射光RLによる電荷を抽出して、この電荷を積算して保持(蓄積)することができる構成にしている。
 また、図3に示した構成の画素回路321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、距離画像センサ32に配置される画素に、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)について説明する。図5は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。図5には、距離画像センサ32に1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。
 最初に、リセット期間(Reset)において、時刻tA1から時刻tA2において、すでに説明した電荷蓄積部CS2、CS3と、光電変換素子PDとのリセット動作が行われる。
 次に、受光した光の光量(受光量)に応じて光電変換素子PDが発生して蓄積した電荷を、画素信号読み出し部RU2、RU3のそれぞれに振り分ける電荷蓄積期間(Integ)における画素回路321の駆動(制御)について説明する。電荷蓄積期間では、光源部2によって光パルスPOを被写体Sに照射する。そして、光パルスPOを照射したタイミングに同期して画素回路321を駆動することにより、受光した背景光および反射光RLに応じた電荷を、それぞれの電荷蓄積部CSに振り分ける。画素駆動回路326は、受光画素部320内に配置された全ての画素回路321を同時に駆動する、いわゆる、グローバルシャッター駆動によって、全ての画素回路321に備えたそれぞれの電荷蓄積部CSに電荷を振り分けて蓄積させる。なお、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス幅Twは、例えば、10nsなど、予め定めた非常に短い時間である。その理由は、パルス変調方式による距離の測定では、測定することができる最大の距離(以下、「最大測定距離」という)が、光パルスPOのパルス幅Twによって決められるからである。上述した光パルスPOのパルス幅Twが10nsである場合、最大測定距離は1.5mになる。また、単純に光パルスPOのパルス幅Twを広くする、つまり、光源装置21におけるレーザー光の発光時間を長くすると、光電変換素子PDがより多くの反射光RLを受光することができるが、測定する被写体Sとの距離の分解能が低下する。他方、光パルスPOのパルス幅Twが短いと、光電変換素子PDが光電変換によって発生させる電荷の電荷量も少なくなる。このため、距離画像撮像装置1では、電荷蓄積期間においてそれぞれの電荷蓄積部CS2、CS3に十分な量の電荷が蓄積されるように、光パルスPOの照射および電荷の振り分けを複数回行う。
 ここで、垂直走査回路323及び画素駆動回路326の各々が画素回路321を駆動(制御)する構成として説明する。以下の説明において、制御回路322は、画素駆動回路326に対して、蓄積駆動信号TX1_1、TX2、TX1_3、TX3、リセット信号RST1_1、RST2、RST1_3、RST3、リセット駆動信号RSTDの各々を生成するクロック信号CK1、CK2、CK3、CKS1、CKS2、CKS3、CKRSTDをそれぞれ出力する。また、制御回路322は、垂直走査回路323に対して、選択駆動信号SEL2、SEL3の各々を生成するクロック信号をそれぞれ出力する。
 図5に示したタイミングチャートの電荷蓄積期間には、光パルスPOの照射および全ての画素回路321における電荷の振り分け(後述する電荷蓄積周期に相当)を複数回行う場合の画素回路321の駆動タイミングを示している。なお、図5に示したタイミングチャートの電荷蓄積期間における光パルスPOは、“H(High)”レベルのときに光パルスPOが照射(光源装置21がレーザー光を発光)し、“L(Low)”レベルのときに光パルスPOの照射が停止(光源装置21が消灯)されるものとして説明する。また、図5に示したタイミングチャートは、全ての画素回路321がリセットされている、つまり、光電変換素子PDおよび電荷蓄積部CS2、CS3に電荷が蓄積されていない状態から始まるものとして説明する。
 以下の説明において、電荷蓄積部CS2に対する電荷蓄積周期について説明している。電荷蓄積周期は、時刻tA2から時刻tA10までの範囲において、電荷蓄積部CS2に電荷の振り分けを行なう周期である。この電荷蓄積周期は、電荷蓄積期間に複数の周期として繰返される。また、例えば、蓄積駆動信号TX1_1、TX1_3、TX2、TX3それぞれのパルス幅は、光パルスPOと同一のTwである。
 また、電荷蓄積部CS3に対する蓄積駆動信号TX1_3及びTX3のパルスの記載をしているが、リセット信号RST1_3及びRST3のパルスの記載を行わずに電荷蓄積部CS3の動作説明は省略する。電荷蓄積部CS3に対する蓄積周期についても同様である。
 電荷蓄積期間が開始される前に、時刻tA1において、画素駆動回路326は、リセット信号RST1_1、RST2が“H”レベルとし、リセットゲートトランジスタRT1_1、RT2をオンとして、電荷蓄積部CS2に蓄積されている電荷をリセットする(破棄する)。このとき、画素駆動回路326は、リセット駆動信号RSTDを“H”レベルとしている。これにより、ドレインゲートトランジスタGDがオンし、フォトダイオードPDに蓄積されている電荷がリセットされている。
 時刻tA2において、画素駆動回路326は、リセット信号RST1_1を“L”レベルとする。これにより、電荷蓄積部CS2におけるフローティングディフュージョンFD1_1に対して、電荷の蓄積が可能な状態となる。
 時刻tA3において、画素駆動回路326は、リセット駆動信号RSTDを“L”レベルとする。これにより、ドレインゲートトランジスタGDがオフし、光電変換素子PDが入射される光を光電変換して発生させた電荷が光電変換素子PDのカソードに蓄積される状態となる。
 そして、画素駆動回路326は、蓄積駆動信号TX1_1を“H”レベルとし、読み出しゲートトランジスタG1_1をオンとする。
 光電変換素子PDが光電変換して発生させた、光パルスPOが照射される前の背景光に応じた電荷-Q1が、読み出しゲートトランジスタG1_1を介して電荷蓄積部CS2のフローティングディフュージョンFD1_1に転送して蓄積される。
 これにより、フローティングディフュージョンFD1_1の電圧V1は、電圧RTVDD-Q1/Cとなる。一方、フローティングディフュージョンFD2の電圧V2は、電圧RTVDDである。
 時刻tA4において、画素駆動回路326は、蓄積駆動信号TX1_1を“L”レベルとし、読み出しゲートトランジスタG1_1をオフとする。これにより、光電変換素子PDからのフローティングディフュージョンFD1_1に対する、背景光により発生する電荷Q1の供給が停止される。
 また、画素駆動回路326は、蓄積駆動信号TX1_3を“H”レベルとし、読み出しゲートトランジスタG1_3をオンとする。これにより、光電変換素子PDからのフローティングディフュージョンFD1_3に対する、背景光により発生する電荷Q1’の供給が開始される。
 時刻tA5Aにおいて、画素駆動回路326は、リセット信号RST2を“L”レベルとする。これにより、リセットゲートトランジスタRT1_1及びリセットゲートトランジスタRT2の双方がオフとなる。
 時刻tA5Bにおいて、画素駆動回路326は、リセット信号RST1_1を“H”レベルとする。これにより、リセットゲートトランジスタRT1_1がオンとなり、リセットゲートトランジスタRT2がオフとなる。
 この時刻tA5A及び時刻tA5Bの動作により、フローティングディフュージョンFD1_1における電荷Q1が、電荷蓄積容量C2を介して、フローティングディフュージョンFD2に伝搬し、フローティングディフュージョンFD2の電圧V2が電圧RTVDD+Q1/Cとなる。
 時刻tA6において、画素駆動回路326は、蓄積駆動信号TX1_3を“L”レベルとし、蓄積駆動信号TX2を“H”レベルとする。また、この蓄積駆動信号TX2を“H”レベルとなったタイミングに同期して光源部2が光パルスPOを照射する。
 これにより、読み出しゲートトランジスタG1_3がオフとなり、フローティングディフュージョンFD1_3に対する、光電変換素子PDが背景光により発生する電荷-Q1’の蓄積が終了する。
 また、読み出しゲートトランジスタG2がオンとなり、光電変換素子PDが入射される光を光電変換して発生させた電荷Q2を、電荷蓄積部CS2におけるフローティングディフュージョンFD2に転送して蓄積させる。このとき、電圧RTVDD+(Q1’/C)に対して電圧-Q2/Cが加えられるため、フローティングディフュージョンFD2の電圧V2が、電圧RTVDD-(Q2-Q1’)/Cとなり、フローティングディフュージョンFD2には、背景光により発生する電荷Q1が除去された反射光RLのみにより発生した電荷-(Q2-Q1’)が蓄積される。
 ここで、フローティングディフュージョンFD2に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間内に被写体Sによって反射されてきた反射光RLに応じた電荷Q2である。この電荷には、背景光に応じた電荷Q1に加えて、被写体Sまでの距離(絶対距離)に比例した遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが近い位置に存在する場合には、照射した光パルスPOが短い時間で被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS2には、近い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 時刻tA7において、画素駆動回路326は、蓄積駆動信号TX2を“L”レベルとし、蓄積駆動信号TX3を“H”レベルとする。また、この蓄積駆動信号TX2を“L”レベルとなったタイミングに同期して光源部2が光パルスPOの照射を停止する。
 これにより、読み出しゲートトランジスタG2がオフとなり、フローティングディフュージョンFD2に対する、光電変換素子PDからの電荷の供給が終了する。
 また、読み出しゲートトランジスタG3がオンとなり、光電変換素子PDが入射される光を光電変換して発生させた電荷を、電荷蓄積部CS3におけるフローティングディフュージョンFD3に転送して蓄積させる。
 ここで、フローティングディフュージョンFD3に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間外に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが遠い位置に存在する場合には、照射した光パルスPOがより長い時間を要して被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS3には、遠い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 時刻tA8において、画素駆動回路326は、蓄積駆動信号TX3を“L”レベルとし、リセット駆動信号RSTDを“H”レベルとする。
 これにより、読み出しゲートトランジスタG3がオフとなり、フローティングディフュージョンFD3に対する、光電変換素子PDからの電荷の供給が停止する。
 また、ドレインゲートトランジスタGDがオンとなり、光電変換素子PDに蓄積されている電荷が放電し、光電変換素子PDがリセットされる。
 時刻tA9において、画素駆動回路326は、リセット信号RST1_1を“L”レベルとし、リセット信号RST2を“H”レベルとする。
 これにより、リセットトランジスタRT1_1がオフとなり、リセットトランジスタRT2がオンとなり、フローティングディフュージョンFD2に電圧RTVDDが印加される。
 ここで、フローティングディフュージョンFD2に蓄積された電荷-(Q2-Q1)が、電荷蓄積容量C2を介して、フローティングディフュージョンFD1_1に伝搬される。そして、フローティングディフュージョンFD1_1の電圧V1が電圧RTVDD+(Q2-Q1)となる。
 以降、画素駆動回路326は、時刻tA2~時刻tA9までと同様の画素回路321の駆動(以下、「電荷振り分け駆動」という)を繰り返す。ここで、画素信号読み出し部RU3における電荷蓄積部CS3に対する電荷の蓄積も、画素信号読み出し部RU2における電荷蓄積部CS2に対する電荷の蓄積の動作と同様に行われる。
 これにより、電荷蓄積期間では、全ての画素回路321に備えたそれぞれの電荷蓄積部CS2、CS3それぞれに、電荷振り分け駆動を繰り返した分の電荷量が蓄積されて保持される。なお、電荷蓄積期間において電荷振り分け駆動を繰り返す最大の回数は、距離画像センサ32が、1フレーム分の画素信号を出力する(取得する)周期によって決まる。より具体的には、距離画像センサ32が、1フレーム分の画素信号を取得する時間から、画素信号読み出し期間を差し引いた時間を、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス周期時間Toで除算した商の回数である。なお、距離画像センサ32では、電荷振り分け駆動の回数が多いほど、それぞれの電荷蓄積部CSに蓄積(積算)される電荷量が多くなり、高感度となる。これにより、距離画像センサ32では、測定する被写体Sとの距離の分解能を高めることができる。
 続いて、電荷蓄積期間が終了した後に、画素信号読み出し部RU2、RU3の各々に備えた、電荷蓄積部CS2、CS3それぞれに振り分けられた電荷量に応じた電圧信号を、受光画素部320内に配置された画素回路321の行ごとに順次出力させる画素信号読み出し期間における画素回路321の駆動(制御)について説明する。画素信号読み出し期間では、受光画素部320内に配置された画素回路321を行ごとに駆動する、いわゆる、ローリング駆動によって、対応する行に配置された画素回路321に備えた電荷蓄積部CS2、CS3に蓄積(積算)されて保持されている電荷量に応じた電圧信号を、行順次で画素信号処理回路325に出力させる。
 なお、上述したように、距離画像センサ32においては、それぞれの画素回路321が出力した電圧信号に対して、画素信号処理回路325が、ノイズ抑圧処理などの予め定めた信号処理を行う。ここで、画素信号処理回路325がノイズ抑圧処理として行う相関二重サンプリング(CDS)処理は、電荷蓄積部CS2、CS3それぞれに蓄積(積算)されて保持されている電荷量に応じた電圧信号(以下、「距離画素電圧信号PS」という)と、電荷蓄積部CSがリセットされている状態(リセット状態)の電荷量に応じた電圧信号(以下、「リセット電圧信号PR」という)との差分をとる処理である。このため、画素信号読み出し期間では、それぞれの画素回路321に備えたそれぞれの電荷蓄積部CSに対応する距離画素電圧信号PSとリセット電圧信号PRとのそれぞれの電圧信号を、行順次で画素信号処理回路325に出力させる。
 図5に示したタイミングチャートの画素信号読み出し期間(Read)には、受光画素部320の垂直方向(行の配列方向)にy行(yは1以上の整数)、水平方向(列の配列方向)にx列(xは1以上の整数)の複数の画素回路321が配置されている場合において、受光画素部320のi行目(1≦i≦y)に配置されたそれぞれの画素回路321(i)から、距離画素電圧信号PS2(i)とリセット電圧信号PR2(i)とのそれぞれの電圧信号を出力させる場合の画素回路321の駆動タイミングを示している。なお、図5に示したタイミングチャートでは、それぞれの画素回路321(i)に備えた電荷蓄積部CS2(i)、電荷蓄積部CS3(i)の順番に、それぞれの電圧信号を出力させている。図5においては、距離画素電圧信号PS2(i)として距離画素電圧信号PS2、リセット電圧信号PR2(i)としてリセット電圧信号PR2とし、また、電荷蓄積部CS3からの読み出し動作については省略している。
 画素信号読み出し期間では、まず、時刻tR1~時刻tR2の期間において、垂直走査回路323は、距離画素電圧信号PS2(i)を、出力端子O2(i)から垂直信号線を介して画素信号処理回路325に出力させる。ここで、時刻tR1において、垂直走査回路323は、選択駆動信号SEL2を“H”レベルとし、リセット信号RST1_1を“H”レベルとし、選択ゲートトランジスタSL2を介して、電荷蓄積部CS2(i)に蓄積されている電荷に対応した距離画素電圧信号PS2(i)を出力させる。これにより、画素信号処理回路325は、垂直信号線を介して画素信号読み出し部RU2(i)から出力された距離画素電圧信号PS2(i)を、一旦保持する。
 その後、時刻tR2~時刻tR3の期間において、垂直走査回路323は、リセット電圧信号PR2(i)を、出力端子O2(i)から垂直信号線を介して画素信号処理回路325に出力させる。ここで、時刻tR2において、画素駆動回路326は、リセット信号RST2を“H”レベルとし、電荷蓄積部CS2(i)に蓄積されている電荷のリセットを行う。
 これにより、画素信号処理回路325は、一旦保持している距離画素電圧信号PS2(i)と、垂直信号線を介して画素信号読み出し部RU2(i)から出力されたリセット電圧信号PR2(i)との差分をとる、すなわち、電荷蓄積部CS2(i)に蓄積(積算)されて保持されている電荷量-(Q2-Q1)に応じた電圧信号に含まれるノイズを抑圧する。
 また、図5において、リセット信号RST1_1及びRST2が“H”レベルの状態において、リセット電圧信号PR2(i)の読み出しを行っているが、リセット信号RST2を“L”レベルとした後に、リセット電圧信号PR2(i)の読み出しを行う構成としても良い。
 その後、図示はしていないが、例えば、時刻tR4~時刻tR6において、垂直走査回路323は、時刻tR1~時刻tR3の期間と同様に、距離画素電圧信号PS3(i)とリセット電圧信号PR3(i)とを、出力端子O3(i)から垂直信号線を介して画素信号処理回路325に出力させる。
 以降、垂直走査回路323は、時刻tR1~時刻tR6までと同様の画素回路321の駆動(以下、「画素信号読み出し駆動」という)を順次、受光画素部320の他の行に配置されたそれぞれの画素回路321(例えば、i+1行目に配置されたそれぞれの画素回路321)に対して行って、受光画素部320内に配置された全ての画素回路321から、それぞれの電圧信号を順次出力させる。
 このような駆動(制御)方法(タイミング)によって、画素駆動回路326は、受光画素部320内に配置されたそれぞれの画素回路321において光電変換素子PDが発生して蓄積した電荷のそれぞれの画素信号読み出し部RU2、RU3それぞれへの振り分けを複数回行う。
 また、垂直走査回路323は、画素信号読み出し部RU2及びRU3に備えた電荷蓄積部CS2、CS3それぞれに蓄積(積算)された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路325に出力させる。
 なお、AD変換回路329は、ノイズを抑圧したそれぞれの電圧信号に対してA/D変換処理を行ごとに行う。そして、水平走査回路324が、AD変換回路329がA/D変換処理を行った後のそれぞれの行の電圧信号を、受光画素部320の列の順番に水平信号線を経由して順次出力させることによって、距離画像センサ32は、1フレーム分の全ての画素回路321の画素信号を外部に出力する。これにより、距離画像撮像装置1では、1フレーム分の画素信号が、いわゆる、ラスター順に、距離演算部42に出力される。
 なお、図5に示した画素回路321の駆動(制御)タイミングからもわかるように、1フレーム分の画素信号のそれぞれには、対応する画素回路321に備えた2つの画素信号読み出し部RU2、RU3(電荷蓄積部CS2、CS3)のそれぞれに対応する2つの電圧信号が含まれている。距離演算部42は、距離画像センサ32から出力された1フレーム分の画素信号に基づいて、被写体Sとの間の距離を、それぞれの画素信号ごと、つまり、それぞれの画素回路321ごとに演算する。
 ここで、距離演算部42における距離画像撮像装置1と被写体Sとの間の距離の演算方法について説明する。ここでは、画素信号読み出し部RU2の電荷蓄積部CS2のフローティングディフュージョンFD1_1に振り分けられた光パルスPOが照射される前の背景光に応じた電荷の電荷量を電荷量Q1とする。また、画素信号読み出し部RU3の電荷蓄積部CS3のフローティングディフュージョンFD1_3に振り分けられた光パルスPOが照射される前の背景光に応じた電荷の電荷量を電荷量Q1’とする。また、画素信号読み出し部RU2の電荷蓄積部CS2におけるフローティングディフュージョンFD2に振り分けられた背景光と距離に対応した遅延時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q2とする。また、画素信号読み出し部RU3の電荷蓄積部CS3におけるフローティングディフュージョンFD3に振り分けられた背景光と距離に対応した遅延時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q3とする。
 また、本実施形態においては、画素信号読み出し部RU2から読み出される電荷が(Q2-Q1)であり、画素信号読み出し部RU3から読み出される電荷が(Q3-Q1’)であるため、それぞれを電荷Q2’、Q3’とする。
 そして、距離演算部42は、それぞれの画素回路321ごとの被写体Sとの間の距離Dを、下式(1)によって求められる。
 D=Q3’/(Q2’+Q3’)×Dm   ・・・(1)
 上式(1)において、Dmは、光パルスPOの照射によって測定することができる最大の距離(最大測定距離)である。ここで、最大測定距離Dmは、下式(2)によって表される。
 Dm=(c/2)Tw   ・・・(2)
 上式(2)において、cは光速、Twは光パルスPOのパルス幅である。
 上述したように、距離画像撮像装置1は、距離画像センサ32の受光画素部320内に配置されたそれぞれの画素回路321ごとに、自身と被写体Sとの間の距離Dを求める。
 なお、上述したように、距離画像センサ32に格子状(行列状)に配置される画素回路の構成は、図3に示したような、2つの画素信号読み出し部RU2及びRU3を備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける1つ以上の画素信号読み出し部RUを備えた構成の画素回路321であればよい。この場合、つまり、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサにおいても、画素の駆動(制御)方法(タイミング)は、図5に示した距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)と同様に考えることによって、容易に実現することができる。より具体的には、それぞれの画素信号読み出し部RUに備えた読み出しゲートトランジスタGやドレインゲートトランジスタGDに入力する駆動信号の位相が互いに重ならないように位相関係を維持した周期で、画素に対する電荷振り分け駆動を繰り返すことによって、距離画像センサ32と同様に、それぞれの画素信号読み出し部RUに備えた電荷蓄積部CSに、対応する光に応じた電荷が蓄積(積算)させることができる。そして、画素信号読み出し駆動によって全ての画素からそれぞれの電圧信号を順次出力させることによって、距離画像センサ32と同様に、1フレーム分の画素信号を距離画像センサの外部に出力することができる。これにより、距離演算部42は、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサから出力された1フレーム分の画素信号に基づいて、同様に、距離画像撮像装置1と被写体Sとの間の距離Dをそれぞれの画素信号ごと(それぞれの画素ごと)に求めることができる。
 通常、距離画像センサは対象物との距離を正確に測定するため、受光画素部320における全ての画素回路321は、グローバルシャッター方式に対応して、蓄積周期内で同一のタイミングで駆動させている。すなわち、蓄積駆動信号TX1_1、TX1_3、TX2、TX3、リセット駆動信号RSTD、リセット信号RST1_1、RST1_3、RST2、RST3の各々は、格子状の画素回路321の配列において、画素回路321の列の全てに、それぞれ同一のタイミングで供給される。
 図2において、画素回路321の列毎に、画素駆動回路326が蓄積駆動信号TX1_1、TX1_3、TX2、TX3、リセット駆動信号RSTD、リセット信号RST1_1、RST1_3、RST2、RST3のそれぞれを、上記列における各画素回路321に供給している。
 そして、蓄積駆動信号TX1_1、TX1_3、TX2及びTX3の各々により、図3に示す読み出しゲートトランジスタG1_1、G1_3、G2、G3それぞれが制御され、またリセット信号RST1_1、RST1_3、RST2、RST3の各々により、リセットトランジスタRT1_1、RT1_3、RT2、RT3それぞれが制御され、電荷蓄積部CS2、CS3それぞれに電荷がフレーム周期内の電荷蓄積周期毎に蓄積される。
 垂直走査回路323は、電荷蓄積部CS2及びCS3の各々に蓄積された電荷の電荷量に対応した電圧を、ソースフォロアゲートトランジスSF2、SF3から、画素信号処理回路325に出力させる。
 垂直走査回路323は、選択駆動信号SEL2及びSEL3の各々を出力することにより、選択ゲートトランジスタSL2、SL3それぞれを制御する。これにより、選択ゲートトランジスタSL2、SL3の各々は、電荷蓄積部CS2、CS3に蓄積された電荷量に対応した電圧を、出力端子O2、O3から距離画素電圧信号PS2、PS3(アナログ電圧であることを明確化するため、以下、入力電圧VA(CS2)、VA(CS3)と示す)と、リセット電圧信号PR2、PR3(電荷蓄積部CS2、CS3の電荷が消去された状態の電圧レベル)とを画素信号処理回路325に出力する。
 図6は、電荷蓄積部CS2に電荷が蓄積される動作をシミュレーションしたタイミングチャートを説明する図である。シミュレーションに用いた回路図は、図3に示す画素信号読み出し部RU2である。
 図6(A)は、シミュレーションを行う際に入力した蓄積駆動信号TX1_1及びTX2と、リセット信号RST1_1及びRST2と、光源部2から照射される光パルスPOとの波形を示している。また、波形V1及びV2の各々は、シミュレーション結果として想定される、フローティングディフュージョンFD1_1、FD2における電荷-Q1、-Q2のそれぞれの挙動による電圧変化を示している。
 図6(A)の時刻tS1において、リセット信号RST1_1及びRST2は“H”レベルであり、蓄積駆動信号TX1_1、TX2は“L”レベルである。このとき、フローティングディフュージョンFD1_1、FD2における電荷がリセットされる(図4(A)の(1)に対応)。
 時刻tS2において、リセット信号RST1_1が“L”レベルとされる。
 時刻tS3において、蓄積駆動信号TX1_1が“H”レベルとされる(図4(A)の(2)に対応)。フローティングディフュージョンFD1_1に電荷-Q1が蓄積され、電圧V1が電圧RTVDD-Q1/Cとなる。
 時刻tS4において、蓄積駆動信号TX1_1が“L”レベルとされる。
 時刻tS5Aにおいて、リセット信号RST2が“L”レベルとされる。これにより、リセット信号RST1_1及びRST2の両方が同時に“H”レベルの状態を有さない状態となり、フローティングディフュージョンFD1_1からフローティングディフュージョンFD2への電荷-Q1の転送が可能となる。
 そして、時刻tS5Bにおいて、リセット信号RST1_1が“H”レベルとされる。
 この時刻tS5A及び時刻tS5Bの動作は、図6(B)に示すように、時刻tS5Aで先にリセット信号RST2を“L”レベルとし(図4(A)の(3)に対応)、その後時刻tS5Bでリセット信号RST1_1を“H”レベルとする(図4(A)の(4)に対応)動作に対応している。
 時刻tS6において、蓄積駆動信号TX2が“H”レベルとされる(図4(A)の(5)に対応)。フローティングディフュージョンFD2に電荷-Q2が蓄積され、電圧V2が電圧RTVDD-(Q2-Q1)/Cとなる。
 図6(B)は、図6(A)における蓄積駆動信号TX1_1、TX2と、リセット信号RST1_1、RST2との波形によるシミュレーション結果として、フローティングディフュージョンFD1_1及びFD2の各々の電圧V1、V2それぞれを示している。ここで、図6(B)の電圧V1、V2は、SPICE(Simulation Program with Integrated Circuit Emphasis、スパイス)によるシミュレーションにより求められている。図6(B)における時刻tS1から時刻tS7の各々は、図6(A)における時刻tS1から時刻tS7それぞれに対応している。また、すでに述べたように、図6(B)における時刻tS5A及び時刻tS5Bは、図6(A)における時刻tS5に対応している。
 図6(A)及び図6(B)の各々のグラフは、縦軸が電圧を示し、横軸が時刻を示している。
 図6(B)を参照して判るように、時刻tS3において電荷Q1に対応する電流をフローティングディフュージョンFD1_1に供給することにより、フローティングディフュージョンFD1_1の容量に対応して、電圧V1が図6(A)における電圧RTVDDから電圧RTVDD-Q1/Cへとの変化に対応した変化を示すシミュレーション結果が得られる。
 また、時刻tS5Bにおいて、フローティングディフュージョンFD1_1に対して電圧RTVDDを印加することにより、フローティングディフュージョンFD1_1に蓄積された電荷Q1がフローティングディフュージョンFD2に伝搬し、フローティングディフュージョンFD2の電圧V2が図6(A)における電圧RTVDDから電圧RTVDD+Q1/Cへとの変化に対応した変化を示すシミュレーション結果が得られる。
 また、時刻tS6において、電荷Q2に対応する電流をフローティングディフュージョンFD2に供給することにより、フローティングディフュージョンFD2の容量に対応して、電圧V2が図6(A)における電圧RTVDD+Q1/Cから電圧RTVDD-(Q2-Q1)/Cへとの変化に対応した変化を示すシミュレーション結果が得られる。
 図7は、本発明の第1の実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。
 AD変換回路329は、格子状に配列された画素回路321における列j毎に、列AD変換部329jを有している。垂直信号線330(図2)は、3本の垂直信号線からなる。例えば、格子状に配列された画素回路321の列jに対応する垂直信号線330jは、垂直信号線330j(CS2)及び330j(CS3)の各々を有している。
 列AD変換部329jは、列jにおける出力端子O2及びO3の各々に対応して設けられ、垂直信号線330j(CS2)、330j(CS3)のそれぞれを介して接続された列AD変換部329j(CS2)、329j(CS3)を備えている。
 列AD変換部329j(CS2)及び329j(CS3)の各々には、垂直信号線330j(CS2)、330j(CS3)それぞれを介して、画素信号処理回路325から供給される信号処理後の電荷蓄積部CS2に蓄積された電荷Q2’に応じた入力電圧VA(CS2)、電荷蓄積部CS3に蓄積された電荷Q3’に応じた入力電圧VA(CS3)それぞれとして供給される。垂直信号線330j(CS2)及び330j(CS3)の各々は、それぞれ図3の画素回路321における出力端子O2、O3に接続されている。
 そして、列AD変換部329j(CS2)及び329j(CS3)の各々は、それぞれ入力電圧VA(CS2)、VA(CS3)を、AD変換により得られたデジタル値の変換電圧VD(CS2)、VD(CS3)を、それぞれ補正して、出力デジタル値OD(CS2)、OD(CS3)の画素信号として出力する。
 また、本実施形態においては、列毎に列AD変換部を設ける構成としているが、AD変換回路329に各列の入力電圧VAを共通にAD変換するAD変換部を設け、このAD変換部に対して時系列に各列の入力電圧VAを入力し、順次、変換電圧VDに変換する構成としてもよい。
 上述した処理により、画素回路321の前面に位置する被写体Sからの反射光RLによる電荷が蓄積駆動信号TX1_1、TX1_3、TX2及びTX3の各々と、リセット信号RST1_1、RST1_3、RST2、RST3とにより、背景光による電荷を除去されて、電荷蓄積部CS2、CS3それぞれに振分けられて蓄積され、出力デジタル値OD(CS2)、OD(CS3)により、距離画像処理部4が式(3)により画素回路321と被写体Sとの距離Dを求める。
 D=OD(CS3)/(OD(CS2)+OD(CS3))×Dm …(3)
 本実施形態によれば、電荷蓄積部CS2及びCS3の各々において、背景光により発生する電荷を、反射光RLの受光時に入射された光により発生する電荷から除去して、反射光RLにより発生する電荷のみを蓄積している。
 図8は、第1の実施形態における背景光により発生する電荷を、反射光の入射の際に発生する電荷から除去して、反射光により発生する電荷のみを蓄積する構成により得られる効果を説明する図である。
 図8(A)は、背景光により発生する電荷Q1と、照射光POを照射した期間(第1期間)において反射光RLを受光した際に入射した光により発生する電荷Q2、照射光POを照射した次の期間(第2期間)において反射光RLを受光した際に入射される光により発生する電荷Q3の各々を、異なるフローティングディフュージョンFD1、FD2、FD3のそれぞれに蓄積し、電荷Q2-Q1と、電荷Q3-Q1との各々を算出する従来例の構成による場合を示している。
 図8(A)において示すように、反射光RLを入射する第1期間及び第2期間の各々においては、反射光RLのみではなく、背景光も合わせて入射される。
 このため、フローティングディフュージョンFD2及びFD3の各々に蓄積される電荷Q2、Q3それぞれには、反射光RLにより発生する電荷に対して背景光により発生する電荷Q1が含まれている。
 これにより、フローティングディフュージョンFD2及びFD3の容量を飽和させない電荷量に制限させる必要から、反射光RLによる電荷の蓄積量が電荷Q1の蓄積量により抑制され、距離測定の精度を向上するために、蓄積周期数(振分け回数)を増加させたり、照射光POの強度を上げたりして、反射光RLにより発生する電荷量を増加させることができない。
 しかしながら、図8(B)に示すように、本実施形態においては、電荷蓄積部CS2及びCS3の各々で、蓄積周期毎に背景光による電荷Q1、Q1’を除去する処理が行われるため、反射光RLにより発生する電荷のみを電荷Q2’、Q3’それぞれとして蓄積させていくことができる。
 このため、本実施形態によれば、フローティングディフュージョンFD2及びFD3における反射光RLによる電荷の蓄積量が電荷Q1、Q1’の蓄積量により抑制されないため、蓄積周期数(振分け回数)を増加させたり、照射光POの強度を上げたりすることが可能となる。
 これにより、図8(C)に示すように、反射光RLにより発生する電荷の蓄積量を増加させることができ、S/N比を向上させ、距離測定の精度を高くすることができる。
 また、本実施形態によれば、電荷蓄積容量CS2及びCS3の容量を低減させ、電荷蓄積部CS2、CS3を形成する形成領域の面積を小さくすることが可能となり、距離画像撮像装置のチップサイズを低減することができる。
 また、本実施形態によれば、電荷Q1、Q1’に対応するアナログ電圧をデジタル電圧に変更するA/D変換器が不必要となり、かつ電荷Q2及びQ3の各々に対応する電圧から電荷Q1、Q1’に対応する電圧を減算するための演算回路(演算処理)が不必要となるため、回路数を少なくすることができ、距離画像撮像装置のチップサイズを低減することができる。
<第2の実施形態>
 以下、本発明の第2の実施形態について、図面を参照して説明する。図9は、本発明の第2の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。図9には、図4と同様に、受光画素部320内に配置された複数の画素回路321のうち、1つの画素回路321の構成の一例を示している。画素回路321は、2つの画素信号読み出し部RU2及びRU3を備えた構成の一例である。画素信号読み出し部RU3については、詳細な回路構成は省略している。画素信号読み出し部RU2及びRU3の各々は、第1の実施形態における画素信号読み出し部RU2、RU3それぞれと同様の構成である。
 第1の実施形態の画素回路321と異なり、第2の実施形態においては、ドレインゲートトランジスタGDが設けられていない。
 以下、第2の実施形態による画素回路321に対し、第1の実施形態と異なる動作のみを説明する。
 図10は、第2の実施形態における画素信号読み出し部RU2の電荷蓄積の動作の概念を説明する図である。図10(A)は、電荷蓄積容量C2の両端の電圧の変化を示している。図10(B)は、図10(A)の各動作に対応したタイミングチャートである。
 図10(A)に示すように、画素信号読み出し部RU2における電荷蓄積の動作は、動作(1’)から動作(6’)の6段階の処理により行われる。ここで、電荷は、フローティングディフュージョンFD1_1、FD2及び電荷蓄積容量C2に蓄積されるが、以下の説明においてフローティングディフュージョンFD1_1及びFD2に蓄積されるとして説明する。
 図10(A)における動作(1’)、(2’)、(3’)、(4’)及び(5’)の各々は、図4(A)における動作(1)、(2)、(3)、(4)、(5)のそれぞれに対応し、電荷蓄積部CS2に対して、同様の処理が行われる。
 また、図10(A)における(1’)、(2’)、及び(5’)の各々は、図10(B)における時間TD1、TD2、TD5のそれぞれに対応している。図10(B)においては、図10(A)の動作(3’)及び(4’)を省略している。
 第1の実施形態においては、図4(B)に示されているように、リセット駆動信号RSTDを“H”レベルとすることにより、ドレインゲートトランジスタGDを介して光電変換素子PDのカソードに電圧VDDを印加することにより、このカソードに蓄積されている電荷を放電してリセットしていた。
 本実施形態においては、ドレインゲートトランジスタGDを備えていないため、光電変換素子PDのカソードの電荷のリセットを、例えば、リセットゲートトランジスタRT1_1、読み出しゲートトランジスタG1_1を用いて行う。
 すなわち、図10(B)における時間TD6において、蓄積駆動信号TX1_1とリセット信号RST1_1との各々を“H”レベルとし、読み出しゲートトランジスタG1_1、リセットゲートトランジスタRT1_1それぞれをオンとする。これにより、読み出しゲートトランジスタG1_1及びリセットゲートトランジスタRT1_1を介して、光電変換素子PDのカソードに電圧RTVDDを印加し、蓄積された電荷を放電(電荷を排出)し、リセット処理を行う。
 ここで、時間TD5の後、フローティングディフュージョンFD2に蓄積されている電荷に対応した電圧を読み出す際、リセットゲートトランジスタRT1_1がオン状態である。このため、時間TD6において、読み出しゲートトランジスタG1_1をオンとすることにより、光電変換素子PDに蓄積されている電荷のリセットが容易に行える。
 また、上記説明においては、読み出しゲートトランジスタG1_1及びリセットゲートトランジスタRT1_1を用いて光電変換素子PDに蓄積されている電荷のリセットを行う構成としたが、読み出しゲートトランジスタG2及びリセットゲートトランジスタRT2を用いて光電変換素子PDに蓄積されている電荷のリセットを行う構成としてもよい。
 この構成の場合、蓄積駆動信号TX2とリセット信号RST2との各々を“H”レベルとし、読み出しゲートトランジスタG2、リセットゲートトランジスタRT2それぞれをオンとする。これにより、読み出しゲートトランジスタG2及びリセットゲートトランジスタRT2を介して、光電変換素子PDのカソードに電圧RTVDDを印加し、蓄積された電荷を放電し、リセット処理を行う。
 本実施形態によれば、光電変換素子PDを読み出しゲートトランジスタG1_1(G2)及びリセットゲートトランジスタRT1_1(RT2)を用いて、光電変換素子PDに蓄積されている電荷のリセットを行うため、第1の実施形態のようにドレインゲートトランジスタGDを備える必要がないため、リセット駆動信号RSTDを供給するドライバも備える必要が無くなり、トランジスタ数を少なくすることができ、距離画像撮像装置のチップサイズを低減することができる。
 また、本実施形態によれば、第1の実施形態と同様に、図8(B)に示すように、フローティングディフュージョンFD2及びFD3における反射光RLによる電荷の蓄積量が電荷Q1、Q1’の蓄積量により抑制されないため、蓄積周期数(振分け回数)を増加させたり、照射光POの強度を上げたりすることが可能となる。
 これにより、図8(C)に示すように、反射光RLにより発生する電荷の蓄積量を増加させることができ、S/N比を向上させ、距離測定の精度を高くすることができる。
 また、本実施形態によれば、 また、本実施形態によれば、電荷蓄積容量CS2及びCS3の容量を低減させ、電荷蓄積部CS2、CS3を形成する形成領域の面積を小さくすることが可能となり、距離画像撮像装置のチップサイズを低減することができる。
 また、本実施形態によれば、電荷Q1、Q1’に対応するアナログ電圧をデジタル電圧に変更するA/D変換器が不必要となり、かつ電荷Q2及びQ3の各々に対応する電圧から電荷Q1、Q1’に対応する電圧を減算するための演算回路(演算処理)が不必要となるため、回路数を少なくすることができ、距離画像撮像装置のチップサイズを低減することができる。
<第3の実施形態>
 以下、本発明の第3の実施形態について、図面を参照して説明する。図11は、本発明の第3の実施形態の距離画像撮像装置1に用いられる受光画素部320内に配置された画素回路321における電荷蓄積部CS2の構成の一例を示した回路図である。図11に示す第3の実施形態においては、図3及び図9における電荷蓄積容量C2(C3)がディプレッション型のNチャネルMOSトランジスタで構成されている。
 電荷蓄積容量C2は、容量トランジスタDP1、DP2及び電圧調整トランジスタCRTの各々を備えている。
 容量トランジスタDP1及びDP2の各々は、それぞれディプレッション型のNチャネルMOSトランジスタである。ディプレッション型のトランジスタを用いることにより、ゲート電圧が正の場合における容量の変化を、広い電圧範囲において線形に保つことができ、ゲート電圧によらずに高い精度で電荷の蓄積を行うことができる。
 また、容量トランジスタDP1及びDP2の各々は、ディプレッション型のNチャネルMOSトランジスタに換え、エンハンスメント型のNチャネルMOSトランジスタを用いた構成としても良い。
 一方、電圧調整トランジスタCRTは、例えば、エンハンスメント型のNチャネルMOSトランジスタである。
 本実施形態においては、容量トランジスタDP1と容量トランジスタDP2との各々は、それぞれソース及びドレインが互いに接続されている。これにより、容量トランジスタDP1及びDP2の各々は、それぞれ絶縁体であるゲートにより、フローティングディフュージョンFD1_1、FD2に接続される。
 このため、フローティングディフュージョンFD1_1、FD2からの電荷の拡散層に対するリークが絶縁体のゲートにより抑制される。
 また、容量トランジスタDP1と容量トランジスタDP2との各々は、それぞれソース及びドレインが電圧調整トランジスタCRTを介して電圧VCRに接続されている。フレームが開始されるタイミング毎に、電圧調整信号CRを“H”レベルとして、容量トランジスタDP1、DP2のソース及びドレインに電圧VCR(例えば、0V~0.5Vなど)とする。これにより、容量トランジスタDP1、DP2のゲートとソース及びドレインとの間の電位差を持たせ、容量トランジスタDP1、DP2のそれぞれの容量値を安定化させる。
 本実施形態によれば、電荷蓄積容量C2(C3)をディプレッション型のNチャネル型MOSトランジスタを用いて構成しているため、電荷蓄積容量を通常の製造プロセスを用いて形成することが可能であり、かつMOSキャパシタの容量がメタル層及び絶縁層を用いて構成するキャパシタ(いわゆるコンデンサ)より大きいため、電荷蓄積容量を形成する面積を小さくすることが可能となり、距離画像撮像装置のチップサイズを低減することができる。
 また、本実施形態によれば、第1の実施形態と同様に、図8(B)に示すように、フローティングディフュージョンFD2及びFD3における反射光RLによる電荷の蓄積量が電荷Q1、Q1’の蓄積量により抑制されないため、蓄積周期数(振分け回数)を増加させたり、照射光POの強度を上げたりすることが可能となる。
 これにより、図8(C)に示すように、反射光RLにより発生する電荷の蓄積量を増加させることができ、S/N比を向上させ、距離測定の精度を高くすることができる。
 また、本実施形態によれば、電荷蓄積容量CS2及びCS3の容量を低減させ、電荷蓄積部CS2、CS3を形成する形成領域の面積を小さくすることが可能となり、距離画像撮像装置のチップサイズを低減することができる。
 また、本実施形態によれば、電荷Q1、Q1’に対応するアナログ電圧をデジタル電圧に変更するA/D変換器が不必要となり、かつ電荷Q2及びQ3の各々に対応する電圧から電荷Q1、Q1’に対応する電圧を減算するための演算回路(演算処理)が不必要となるため、回路数を少なくすることができ、距離画像撮像装置のチップサイズを低減することができる。
 また、図1における電荷蓄積容量C2及びC3の各々は、上述したディプレッション型のNチャネル型MOSトランジスタのMOSキャパシタではなく、MIM(metal insulator metal)構造や、PIP(poly-Si(silicon) insulator poly-Si)構造のキャパシタを用いてもよい。
 以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 1…距離画像撮像装置
 2…光源部
 3…受光部
 4…距離画像処理部
 21…光源装置
 22…拡散板
 31…レンズ
 32…距離画像センサ
 41…タイミング制御部
 42…距離算出部
 320…受光画素部
 321…画素回路
 322…制御回路
 323…垂直走査回路
 324…水平走査回路
 325…画素信号処理回路
 326…画素駆動回路
 329…AD変換回路
 329j…列AD変換部
 329j(CS2),329j(CS3)…列AD変換部
 C2,C3…電荷蓄積容量
 CS2,CS3 電荷蓄積部
 DP1,DP2 容量トランジスタ
 CRT 電圧調整トランジスタ
 FD1_1,FD1_3,FD2,FD3…フローティングディフュージョン
 G1_1,G1_3,G2,G3…読み出しゲートトランジスタ
 GD…ドレインゲートトランジスタ
 O2,O3…出力端子
 P…測定空間
 PD…光電変換素子
 PO…光パルス(照射光)
 RL…反射光
 RT1_1,RT1_3,RT2,RT3…リセットゲートトランジスタ
 RU2,RU3…画素信号読み出し部
 S…被写体(対象物)
 SF2,SF3…ソースフォロアゲートトランジスタ
 SL2,SL3…選択ゲートトランジスタ

Claims (10)

  1.  測定対象の空間である測定空間に対して照射光を照射する光源部と、
     前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
     前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離の測定を行う距離画像処理部と
     を備え、
     前記電荷蓄積部が、
     前記反射光を受光した際に発生する電荷から、当該反射光の受光の際に含まれる前記背景光により発生する電荷を除去して、前記反射光により発生した電荷を蓄積する
     距離画像撮像装置。
  2.  前記電荷蓄積部が、
     前記背景光を受光した際に発生する第1電荷を蓄積する第1フローティングディフュージョンと、
     前記反射光を受光した際に発生する第2電荷を蓄積する第2フローティングディフュージョンと、
     前記第1フローティングディフュージョン及び前記第2フローティングディフュージョンの間に設けられた電荷蓄積容量と
     を備える
     請求項1に記載の距離画像撮像装置。
  3.  前記電荷蓄積容量を介して、前記第1フローティングディフュージョンから前記第2フローティングディフュージョンに、第1電荷を伝搬させることにより、前記第2電荷から前記第1電荷を除去する
     請求項2に記載の距離画像撮像装置。
  4.  前記距離画像処理部が、
     前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定空間に存在する前記対象物との距離を求め、
     前記電荷蓄積部が
     前記背景光を受光した際に発生する第1電荷を蓄積する第1フローティングディフュージョンと、
     前記反射光を受光した際に発生する第2電荷を蓄積する第2フローティングディフュージョンと、
     前記第1フローティングディフュージョン及び前記第2フローティングディフュージョンの間に設けられた電荷蓄積容量と
     を備え、
     前記電荷蓄積部毎に、前記背景光により発生する前記第1電荷の除去処理が行われ、前記反射光による第2電荷の蓄積が行われる
     請求項1から請求項3のいずれか一項に記載の距離画像撮像装置。
  5.  前記電荷蓄積部が、
     前記第1フローティングディフュージョンの電荷をリセットする、所定の電源に接続された第1リセットトランジスタと、
     前記第2フローティングディフュージョンの電荷をリセットする、前記所定の電源に接続された第2リセットトランジスタと
     を備え、
     前記第1リセットトランジスタ及び前記第2リセットトランジスタにより、前記第1フローティングディフュージョン、前記第2フローティングディフュージョンそれぞれを所定の電源の電圧にリセットした後、
     前記第1リセットトランジスタをオフし、前記第2リセットトランジスタをオンした状態で、前記第1フローティングディフュージョンに前記第1電荷を蓄積し、
     前記第1リセットトランジスタをオンし、前記第2リセットトランジスタをオフして、前記第2フローティングディフュージョンに前記第1電荷を伝搬させ、
     前記第1リセットトランジスタをオンし、前記第2リセットトランジスタをオフした状態で、前記第2フローティングディフュージョンに前記第2電荷を蓄積することで、当該第2電荷から前記第1電荷を除去する
     請求項2から請求項4のいずれか一項に記載の距離画像撮像装置。
  6.  前記第1電荷の蓄積、前記第1電荷の伝搬及び前記第2電荷から前記第1電荷の除去を繰り返すことにより、第2電荷から前記第1電荷を除去した前記反射光による電荷の積算値を求め、この積算値により前記距離の測定を行う
     請求項5に記載の距離画像撮像装置。
  7.  前記第1リセットトランジスタまたは前記第2リセットトランジスタにより、
     前記光電変換素子の電荷をリセットする
     請求項5または請求項6に記載の距離画像撮像装置。
  8.  前記電荷蓄積容量がMOSキャパシタで構成されている
     請求項2から請求項7のいずれか一項に記載の距離画像撮像装置。
  9.  前記MOSキャパシタがディプレション型である
     請求項8に記載の距離画像撮像装置。
  10.  測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、
     前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、
     フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、
     当該電荷蓄積部において、前記反射光を受光した際に発生する電荷から、当該反射光の受光の際に含まれる前記背景光により発生する電荷を除去して、前記反射光により発生した電荷を蓄積する過程と、
     前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う過程と
     を含む
     距離画像撮像方法。
PCT/JP2019/039423 2019-10-07 2019-10-07 距離画像撮像装置及び距離画像撮像方法 WO2021070212A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039423 WO2021070212A1 (ja) 2019-10-07 2019-10-07 距離画像撮像装置及び距離画像撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039423 WO2021070212A1 (ja) 2019-10-07 2019-10-07 距離画像撮像装置及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
WO2021070212A1 true WO2021070212A1 (ja) 2021-04-15

Family

ID=75437014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039423 WO2021070212A1 (ja) 2019-10-07 2019-10-07 距離画像撮像装置及び距離画像撮像方法

Country Status (1)

Country Link
WO (1) WO2021070212A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6395666A (ja) * 1986-10-13 1988-04-26 Fuji Photo Film Co Ltd 電荷転送デバイスの出力機構
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
US20100308209A1 (en) * 2009-06-09 2010-12-09 Mesa Imaging Ag System for Charge-Domain Electron Subtraction in Demodulation Pixels and Method Therefor
WO2011105438A1 (ja) * 2010-02-26 2011-09-01 浜松ホトニクス株式会社 距離画像センサ
WO2011122600A1 (ja) * 2010-03-31 2011-10-06 本田技研工業株式会社 固体撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6395666A (ja) * 1986-10-13 1988-04-26 Fuji Photo Film Co Ltd 電荷転送デバイスの出力機構
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
US20100308209A1 (en) * 2009-06-09 2010-12-09 Mesa Imaging Ag System for Charge-Domain Electron Subtraction in Demodulation Pixels and Method Therefor
WO2011105438A1 (ja) * 2010-02-26 2011-09-01 浜松ホトニクス株式会社 距離画像センサ
WO2011122600A1 (ja) * 2010-03-31 2011-10-06 本田技研工業株式会社 固体撮像装置

Similar Documents

Publication Publication Date Title
US8786745B2 (en) Solid-state image pickup device
US9979913B2 (en) Driving method of imaging device and driving method of imaging system
US10666875B2 (en) Solid-state imaging device
US10038869B2 (en) Optical electronic device including enhanced global shutter pixel array and related methods
JP2015198361A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2012019410A (ja) 固体撮像装置
TW201340708A (zh) 固體攝像裝置及電子機器
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2009010787A (ja) 固体撮像装置およびその駆動方法、撮像装置
JP2015165648A (ja) 撮像装置及びその制御方法
JP6734649B2 (ja) 撮像装置、撮像システム、及び、撮像装置の制御方法
CN107251545A (zh) 固体摄像装置以及照相机
JP7363899B2 (ja) 距離画像撮像装置及び距離画像撮像方法
CN113544544A (zh) 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
JP7114132B2 (ja) 距離画像撮像装置
JP2014220644A (ja) 固体撮像装置
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
KR100610581B1 (ko) 증폭 기능을 갖는 화소가 복수 배열된 증폭형 고체 촬상장치
WO2020027221A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP7253846B2 (ja) 距離画像センサ及び距離画像撮像装置
JP2005244434A (ja) 固体撮像装置
JP2013197697A (ja) 固体撮像装置及び電子機器
WO2021235542A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19948245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP