WO2021234932A1 - 距離画像撮像装置及び距離画像撮像方法 - Google Patents

距離画像撮像装置及び距離画像撮像方法 Download PDF

Info

Publication number
WO2021234932A1
WO2021234932A1 PCT/JP2020/020221 JP2020020221W WO2021234932A1 WO 2021234932 A1 WO2021234932 A1 WO 2021234932A1 JP 2020020221 W JP2020020221 W JP 2020020221W WO 2021234932 A1 WO2021234932 A1 WO 2021234932A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
storage unit
light
distance image
charge storage
Prior art date
Application number
PCT/JP2020/020221
Other languages
English (en)
French (fr)
Inventor
正規 永瀬
圭吾 磯部
Original Assignee
株式会社ブルックマンテクノロジ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ブルックマンテクノロジ filed Critical 株式会社ブルックマンテクノロジ
Priority to PCT/JP2020/020221 priority Critical patent/WO2021234932A1/ja
Priority to PCT/JP2021/019327 priority patent/WO2021235542A1/ja
Priority to EP21808759.1A priority patent/EP4155766A4/en
Priority to US17/999,357 priority patent/US20230281957A1/en
Priority to CN202180036313.0A priority patent/CN115667984A/zh
Priority to JP2022524548A priority patent/JPWO2021235542A1/ja
Publication of WO2021234932A1 publication Critical patent/WO2021234932A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Definitions

  • the background light in the environment of the measurement space is included when the reflected light used for measuring the distance is incident, and in order to obtain the distance accurately, the background light is removed from the incident light and only the reflected light is used. I need to get information. Therefore, for the purpose of removing (cancelling) the influence of the background light in the environment of the measurement space in the distance measurement, by setting the period during which the irradiation light is not always irradiated, the amount of light received only by the background light is accumulated and the target is targeted.
  • Patent Document 1 in the case of a TOF sensor, the irradiation light is irradiated a plurality of times, the electric charge generated by the received light is accumulated each time the irradiation is performed, and the analog voltage corresponding to the accumulated electric charge is used for measuring the distance. Use. At this time, each time the irradiation light is irradiated, the reflected light reflected from the object is incident, and the distance is calculated from the ratio of each of the charges Q2 and Q3 generated by the incident light. At this time, the light received by the TOF sensor includes the background light in the environment in addition to the reflected light whose irradiation light is reflected from the object.
  • the image of the end portion corresponding to the viewing angle ⁇ 2 is imaged as compared with the incident angle ⁇ 1 of the incident light with respect to the pixel of the imaging point 501 corresponding to the viewing angle ⁇ 1 on the axis f of the lens 31.
  • the incident angle ⁇ 2 of the incident light with respect to the pixel at the point 502 is large.
  • the charge Q1 generated by the background light differs according to the change in the incident angle ⁇ of the incident light with respect to each pixel.
  • the charge accumulated for each pixel includes a different uncontrolled charge QB1.
  • the charges Q2 and the charges Q3 accumulated for each pixel also include different uncontrolled charges QB2 and QB3, respectively.
  • FIG. 12 is a diagram illustrating the generation of uncontrolled charges QB1, QB2, and QB3 contained in each of the charges Q1, Q2, and Q3 depending on the incident angle of the incident light with respect to the pixel.
  • FIG. 12A shows the configuration of pixels in a plan view in an example of a TOF sensor.
  • the charge generated by the photoelectric conversion on the silicon substrate on which the pixel including the photodiode PD is formed is collected by the photodiode PD, and by turning on the readout gate transistor G1, the charge is distributed to the charge storage unit FD1.
  • the charged charge becomes the charge Q1.
  • the charge collected by the photodiode PD and distributed to the charge storage unit FD2 (corresponding to the charge storage unit CS2 described later) becomes the charge Q2 and is distributed to the charge storage unit FD3 (corresponding to the charge storage unit CS2 described later).
  • the charged charge becomes the charge Q3.
  • the charge collected in the photodiode PD is distributed to the charge storage unit FD1.
  • FIG. 14 is a conceptual diagram showing the relationship between the uncontrolled charges QB1, QB2, and QB3 in each of the charges Q1, Q2, and Q3.
  • FIG. 14A shows the case where each of the uncontrolled charges QB1, QB2 and QB3 is the same, for example, the charges Q1, Q2, when the incident angle is small (smaller than 20 ° described later) such as the incident angle 0 °.
  • Each of Q3 is shown.
  • FIG. 14A by removing the charge Q1 from each of the charges Q2 and Q3 as shown in the equation (1), all the charges generated by the background light are removed, and the distance from only the charges generated by the reflected light. Can be calculated with high accuracy.
  • FIG. 14A shows the case where each of the uncontrolled charges QB1, QB2 and QB3 is the same, for example, the charges Q1, Q2, when the incident angle is small (smaller than 20 ° described later) such as the incident angle 0 °.
  • Each of Q3 is shown.
  • FIG. 14A
  • the distance image sensor includes a photoelectric conversion element that collects electric charges generated in response to the incident light, and a charge storage unit that accumulates the electric charges in a frame period.
  • a pixel circuit that controls the accumulation of electric charge in the charge storage unit is provided for each pixel, and the distance image processing unit is the non-controllable charge that flows into the charge storage unit without being controlled by the pixel circuit.
  • the adjustment voltage corresponding to the amount of electric charge is subtracted from the input voltage corresponding to the amount of electric charge stored in the electric charge storage unit, and the distance between the distance image sensor and the measurement target is measured.
  • the pixel circuit controls each of the first charge storage unit and the second charge storage unit, which are measured in advance in a state where the irradiation light is not emitted under a predetermined ambient light.
  • the pixel circuit controlled the reference background light voltage obtained from each of the first charge storage unit and the second charge storage unit by accumulating charges, and the first charge storage unit and the second charge storage unit. It is provided with a storage unit that does not store charges and stores each of the reference reference voltage acquired from each of the first charge storage unit and the second charge storage unit.
  • the distance image sensor irradiates the measurement space with irradiation light, receives light including reflected light from an object in the measurement space as incident light, and receives the incident light.
  • the charge generated by the above is stored in each of the first charge storage unit and the second charge storage unit, and the distance image processing unit stores the background light voltage generated by the charge stored in the first charge storage unit.
  • the adjustment ratio by dividing by the reference background light voltage measured in advance and stored in the storage unit, and multiplying each of the reference reference voltages by the adjustment ratio, thereby with respect to each of the input voltages. The adjustment voltage is calculated.
  • the frame period includes each of the first frame period and the second frame period, and in the first frame period, the distance image sensor emits irradiation light to the measurement space. It irradiates, receives light including reflected light from an object in the measurement space as incident light, and stores the charge controlled by the pixel circuit in each of the first charge storage unit and the second charge storage unit.
  • the distance image processing unit acquires the input voltage generated by the accumulated charge, and in the second frame period, the distance image sensor irradiates the measurement space with irradiation light, and the measurement is performed.
  • the unit acquires the adjustment voltage corresponding to the uncontrolled charge in each of the first charge storage unit and the second charge storage unit.
  • the pixel circuit controls each of the first charge storage unit and the second charge storage unit, which are measured in advance in a state where the irradiation light is irradiated in a light-shielded environment.
  • the pixel circuit controls each of the reference reflected light voltage obtained from each of the first charge storage unit and the second charge storage unit, and the first charge storage unit and the second charge storage unit. It is provided with a storage unit that does not store the charged charges and stores each of the reference reference voltage acquired from each of the first charge storage unit and the second charge storage unit.
  • the distance image processing unit adds the input voltages generated by the charges accumulated in each of the first charge storage unit and the second charge storage unit.
  • the adjustment ratio is calculated by dividing by the result of adding each of the reference reflected light voltages, and multiplying the reference reference voltage by the adjustment ratio to calculate each of the adjustment voltages for each of the input voltages.
  • the distance image processing unit acquires the input voltage generated by the charges accumulated in each of the first charge storage unit and the second charge storage unit, and in the second frame period,
  • the distance image sensor irradiates the measurement space with irradiation light in a shielded environment, receives light including reflected light from an object in the measurement space as incident light, and charges controlled by the pixel circuit.
  • the distance image processing unit charges the uncontrolled charge in each of the first charge storage unit and the second charge storage unit. Acquires the adjustment voltage corresponding to.
  • the pixel circuit controls each of the first charge storage unit and the second charge storage unit, which are measured in advance in a state where the irradiation light is not emitted under a predetermined ambient light.
  • the pixel circuit controlled the reference background light voltage obtained from each of the first charge storage unit and the second charge storage unit by accumulating charges, and the first charge storage unit and the second charge storage unit. A state in which the first reference reference voltage obtained as a reference reference voltage from each of the first charge storage unit and the second charge storage unit without accumulating charges and the irradiation light in a shielded environment are applied.
  • the charges controlled by the pixel circuit were stored in each of the first charge storage unit and the second charge storage unit, which were measured in advance in the above, and obtained from each of the first charge storage unit and the second charge storage unit.
  • Reference The reflected light voltage and the charge controlled by the pixel circuit are not accumulated in each of the first charge storage unit and the second charge storage unit, and the first charge storage unit and the second charge storage unit refer to each other. It is provided with a storage unit for storing each of the second reference reference charge acquired as the reference voltage.
  • the distance image sensor irradiates the measurement space with irradiation light, receives light including reflected light from an object in the measurement space as incident light, and receives the incident light.
  • the charge generated by the above is accumulated for each pixel, and the distance image processing unit measures the input voltage generated by the accumulated charge in advance and stores the reference background light voltage in the storage unit.
  • the first adjustment ratio is obtained as the adjustment ratio by dividing by, and the first adjustment voltage for each of the input voltages is calculated by multiplying each of the first reference reference voltages by the first adjustment ratio.
  • the result of adding each of the input voltages is divided by the addition result of adding each of the reference reflected light voltages to obtain the second adjustment ratio as the adjustment ratio, and the second adjustment ratio is obtained with respect to the second reference reference voltage.
  • the second adjustment voltage for each of the input voltages is calculated, and the first adjustment voltage and the two adjustment voltages are added to calculate the adjustment voltage.
  • the distance image imaging device of the present invention further includes a lens that incidents the incident light from the space, and the distance image sensor receives the incident light through the lens.
  • the incident light is incident on each of the pixels through the lens
  • a plurality of characteristics of the lens are stored in the storage unit in accordance with the characteristics of the lens.
  • the present invention even if the area of the pixel in the range image sensor is reduced, the influence of each of the uncontrolled charges contained in each of the charges stored in the charge storage portion and whose amount of charge differs depending on the incident angle of the incident light. It is possible to provide a distance image imaging device and a distance image imaging method for obtaining a distance between an object and itself with the same accuracy as in the case where the area of a pixel is not reduced.
  • the light source device 21 is, for example, a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting device.
  • the light source device 21 emits an optical pulse as a pulsed laser beam according to the control from the timing control unit 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 to the size of a predetermined cross-sectional area that irradiates the measurement space P in which the subject S is located.
  • the pulsed laser beam diffused by the diffuser plate 22 is emitted from the light source unit 2 as an optical pulse PO, and irradiates the subject S in the measurement space P.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the distance image sensor 32 is an image pickup element used in the distance image image pickup device 1.
  • the range image sensor 32 includes a plurality of pixels in a two-dimensional light receiving region, and in each pixel, one photoelectric conversion element and a plurality of charge storage units corresponding to the one photoelectric conversion element, respectively. It is an image pickup device having a distribution configuration in which a component for distributing charges is provided in a charge storage unit.
  • the range image sensor 32 distributes the charges generated by the photoelectric conversion elements constituting the pixels to the respective charge storage units according to the control from the timing control unit 41, and responds to the amount of charges distributed to the respective charge storage units. Output the pixel signal.
  • a plurality of pixels are arranged in a two-dimensional grid pattern (matrix pattern), and a pixel signal for one frame corresponding to each pixel is output.
  • the distance image processing unit 4 is a control unit that controls the entire distance image imaging device 1, and is also a calculation unit that calculates the distance to the subject S measured by the distance image imaging device 1.
  • the distance image processing unit 4 includes a timing control unit 41, a distance calculation unit 42, and a correction parameter storage unit 43.
  • the timing control unit 41 controls the timing at which the light source unit 2 irradiates the subject S with the light pulse PO, the timing at which the distance image sensor 32 provided in the light receiving unit 3 receives and stores the reflected light RL, and the like.
  • the correction parameter storage unit 43 stores correction parameters for generating an adjustment voltage to be subtracted from the input voltage when the distance calculation unit 42 removes the voltage corresponding to the uncontrolled charge from the input voltage (the correction parameter storage unit 43). Will be detailed later).
  • the light receiving unit 3 receives the reflected light RL reflected by the subject S by the light pulse PO in the near-infrared wavelength band irradiated by the light source unit 2 on the subject S.
  • the distance image processing unit 4 calculates and outputs the distance information obtained by measuring the distance to the subject S from the input voltage from which the voltage component corresponding to the uncontrolled charge corresponding to the incident light is removed.
  • FIG. 1 shows a distance image image pickup device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 is a component provided outside the distance image image pickup device 1. You may.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup device (distance image sensor 32) used in the distance image image pickup device 1 of the first embodiment of the present invention.
  • the distance image sensor 32 includes a light receiving pixel unit 320 in which a plurality of pixels 321 are arranged, a control circuit 322, a vertical scanning circuit 323, a horizontal scanning circuit 324, a pixel signal processing circuit 325, and a pixel drive. It is equipped with a circuit 326.
  • a plurality of pixels 321 are shown as an example of a light receiving pixel unit 320 in which a plurality of pixels 321 are arranged in a two-dimensional grid pattern in 8 rows and 8 columns.
  • the vertical scanning circuit 323 controls each of the pixels 321 arranged in the light receiving pixel unit 320 according to the control from the control circuit 322, and corresponds to the amount of electric charge obtained by photoelectrically converting the incident light from each of the pixels 321. It is a drive circuit that outputs (reads) a voltage signal (hereinafter referred to as “voltage signal”) to the corresponding vertical signal line 327.
  • the vertical scanning circuit 323 is a row of pixels 321 in which control signals (selection drive signals SEL1, SEL2, SEL3, which will be described later) for driving (controlling) and reading out the pixels 321 are arranged in a grid pattern in the light receiving pixel unit 320. Output in units.
  • the pixel 321 receives the reflected light RL reflected by the subject S by the light pulse PO irradiated by the light source unit 2 on the subject S, and corresponds to the light amount (light receiving amount) of the received reflected light RL. Generates an electric charge.
  • the pixel drive circuit 326 outputs a storage drive signal to distribute a charge corresponding to the light amount (light reception amount) of the received reflected light RL to any of the plurality of charge storage units provided. Accumulate.
  • the vertical scanning circuit 323 sequentially outputs a read drive signal for outputting a voltage signal corresponding to the pixel 321 in each row to the pixel signal processing circuit 325.
  • the horizontal scanning circuit 324 sequentially outputs (reads) a digital value obtained by AD-converting the voltage signal after signal processing to the horizontal signal line 329 according to the control from the control circuit 322.
  • the voltage signal for one frame after the signal processing output by the pixel signal processing circuit 325 is sequentially output as a pixel signal for one frame to the outside of the distance image sensor 32 via the horizontal signal line 329. Will be done.
  • the distance image sensor 32 outputs a voltage signal after signal processing from an output circuit (not shown) such as an output amplifier to the outside of the distance image sensor 32 as a pixel signal.
  • the pixel signal processing circuit 325 provided in the distance image sensor 32 performs noise suppression processing on the voltage signal output from the pixel 321 and then performs A / D conversion processing in the AD conversion circuit. That is, the voltage signal converted into a digital value is output from the horizontal signal line 329.
  • the read-out gate transistor G is a transistor for transferring the charge generated and accumulated by the photoelectric conversion element PD to the corresponding charge storage unit CS in response to the drive signal input from the vertical scanning circuit 323.
  • the charge transferred by the read-out gate transistor G is held (stored) in the corresponding charge storage unit CS.
  • the source of the reading gate transistor G1 is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX1 propagating the storage drive signal TX1, and the drain is floating. It is connected to the first terminal of the diffusion FD1 and the charge storage capacity C1.
  • the source of the readout gate transistor G2 is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX2 propagating the storage drive signal TX2, and the drain is floating. It is connected to the first terminal of the diffusion FD2 and the charge storage capacity C2.
  • the source of the readout gate transistor G3 is connected to the second terminal of the photoelectric conversion element PD, the gate is connected to the signal line LTX3 propagating the storage drive signal TX3, and the drain is drained. Is connected to the first terminal of the floating diffusion FD3 and the charge storage capacity C3.
  • Each of the above-mentioned storage drive signals TX1, TX2 and TX3 is supplied from the pixel drive circuit 326 via the signal lines LTX1, LTX2 and LTX3, respectively.
  • the reset gate transistor RT is a transistor for discarding the charge held in the corresponding charge storage unit CS in response to the drive signal input from the vertical scanning circuit 323. That is, the reset gate transistor RT is a transistor that resets the charge held in the corresponding charge storage unit CS.
  • the source follower gate transistor SF is a transistor for amplifying a voltage signal corresponding to the amount of charge stored in the charge storage unit CS connected to the gate terminal and outputting it to the corresponding selection gate transistor SL.
  • the selection gate transistor SL is a transistor for outputting a voltage signal amplified by the corresponding source follower gate transistor SF from the corresponding output terminal O in response to the drive signal input from the vertical scanning circuit 323.
  • the charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is distributed to each of the three charge storage units CS, and each of them is distributed according to the charge amount of the distributed charge.
  • the voltage signal is output to the pixel signal processing circuit 325.
  • the charge storage unit CS is composed of the floating diffusion FD and the charge storage capacity C.
  • the charge storage unit CS may be configured by at least a floating diffusion FD. That is, the pixel 321 may not have the respective charge storage capacities C. In the case of this configuration, it has the effect of increasing the charge detection sensitivity (charge-voltage conversion gain CG).
  • a configuration capable of retaining (accumulating) a larger amount of electric charge is superior.
  • the pixel signal reading unit RU is provided with the charge storage capacity C, and the charge storage unit CS is configured by the floating diffusion FD and the charge storage capacity C, so that the charge storage unit CS is formed only by the floating diffusion FD. It is configured to be able to retain (accumulate) more electric charge than when configured.
  • the pixel 321 having the configuration shown in FIG. 3 an example of the configuration including the drain gate transistor GD is shown, but when it is not necessary to discard the (remaining) charge accumulated in the photoelectric conversion element PD. May be configured not to include the drain gate transistor GD in the pixels arranged in the distance image sensor 32.
  • the drive (control) of the pixel 321 during the charge storage period in which the charge generated and accumulated by the photoelectric conversion element PD according to the light amount (light reception amount) of the received light is distributed to each pixel signal reading unit RU will be described. do.
  • the light source unit 2 irradiates the subject S with the light pulse PO.
  • the electric charges corresponding to the received background light and the reflected light RL are distributed to the respective charge storage units CS.
  • the pixel drive circuit 326 distributes and stores charges to each charge storage unit CS provided in all the pixels 321 by so-called global shutter drive that simultaneously drives all the pixels 321 arranged in the light receiving pixel unit 320.
  • the time for the light source device 21 to emit the pulsed laser beam that is, the pulse width Tw of the optical pulse PO is a very short time, for example, 10 nS.
  • the maximum distance that can be measured (hereinafter referred to as "maximum measurement distance") is determined by the pulse width Tw of the optical pulse PO.
  • the pulse width Tw of the above-mentioned optical pulse PO is 10 nS
  • the maximum measurement distance is 1.5 m.
  • the pulse width Tw of the optical pulse PO is simply widened, that is, if the emission time of the laser light in the light source device 21 is lengthened, the photoelectric conversion element PD can receive more reflected light RL, but the measurement is performed. The resolution of the distance to the subject S is reduced.
  • the pulse width Tw of the optical pulse PO is short, the amount of electric charge generated by the photoelectric conversion element PD by the photoelectric conversion is also small. Therefore, in the distance image imaging apparatus 1, the irradiation of the optical pulse PO and the distribution of electric charges are performed a plurality of times so that a sufficient amount of electric charges are accumulated in each electric charge accumulating unit CS during the electric charge accumulating period.
  • each of the vertical scanning circuit 323 and the pixel drive circuit 326 will be described as a configuration in which the pixel 321 is driven (controlled).
  • the control circuit 322 outputs clock signals CK1, CK2, CK3, and CKRSTD that generate each of the storage drive signals TX1, TX2, TX3, and the reset drive signal RSTD to the pixel drive circuit 326, respectively. Further, the control circuit 322 outputs a clock signal for generating each of the selective drive signals SEL1, SEL2, SEL3, and the reset signals RST1, RST2, and RST3 to the vertical scanning circuit 323, respectively.
  • the charge accumulation period of the timing chart shown in FIG. 4 shows the drive timing of the pixel 321 when the irradiation of the optical pulse PO and the distribution of the charge in all the pixels 321 are performed a plurality of times.
  • the optical pulse PO in the charge accumulation period of the timing chart shown in FIG. 4 is irradiated by the optical pulse PO (light source device 21 emits laser light) at the “H (High)” level, and “L (Low)”. ) ”
  • the irradiation of the optical pulse PO is stopped (the light source device 21 is turned off) at the level.
  • the timing chart shown in FIG. 4 will be described assuming that all the pixels 321 are reset, that is, the charge is not accumulated in the photoelectric conversion element PD and the charge storage unit CS.
  • the pixel drive circuit 326 In the charge accumulation period, first, the pixel drive circuit 326 generates light generated by photoelectric conversion by the photoelectric conversion element PD from the time tA1 equal to the pulse width Tw at which the light source unit 2 irradiates the optical pulse PO. The charge corresponding to the background light before the pulse PO is irradiated is transferred to the charge storage unit CS1 via the readout gate transistor G1 and stored.
  • the irradiated light pulse PO is reflected by the subject S and returned as the reflected light RL in a short time, so that the charge storage unit CS2 has a charge storage unit CS2.
  • the charge corresponding to the reflected light RL reflected by the subject S existing at a close position is contained more.
  • the pixel drive circuit 326 reads out the electric charge generated by the photoelectric conversion element PD according to the light currently photoelectrically converted from the same time tA3 as the timing when the light source unit 2 stops the irradiation of the optical pulse PO. It is transferred to the charge storage unit CS3 via the above and stored.
  • the charge accumulated in the charge storage unit CS3 is a charge corresponding to the reflected light RL reflected by the subject S outside the time of the pulse width Tw irradiating the optical pulse PO.
  • This charge includes, in addition to the charge corresponding to the background light, the charge corresponding to the reflected light RL that has been incident with a large delay time proportional to the distance (absolute distance) to the subject S.
  • the irradiated light pulse PO takes a longer time to be reflected by the subject S and returned as the reflected light RL, so that the charge is accumulated.
  • the unit CS3 contains a larger amount of electric charge corresponding to the reflected light RL reflected by the subject S existing at a distant position.
  • the electric charge not used for measuring the distance to the subject S is discarded via the drain gate transistor GD.
  • the photoelectric conversion element PD resets.
  • the pixel drive circuit 326 repeats the same drive of the pixel 321 (hereinafter referred to as “charge distribution drive”) from the time tA1 to the time tA5.
  • charge distribution drive the same drive of the pixel 321
  • the amount of charge for the repeated charge distribution drive is accumulated and held in each charge storage unit CS provided in all the pixels 321.
  • the maximum number of times the charge distribution drive is repeated during the charge accumulation period is determined by the cycle in which the distance image sensor 32 outputs (acquires) a pixel signal for one frame.
  • a voltage signal corresponding to the amount of charge distributed to each charge storage unit CS provided in each pixel signal reading unit RU is a pixel arranged in the light receiving pixel unit 320.
  • the drive (control) of the pixel 321 during the pixel signal reading period in which the 321 rows are sequentially output will be described.
  • the pixels 321 arranged in the light receiving pixel unit 320 are driven row by row, that is, by so-called rolling drive, they are accumulated (integrated) in the charge storage unit CS provided in the pixels 321 arranged in the corresponding rows. ),
  • the voltage signal corresponding to the amount of electric charge held is output to the pixel signal processing circuit 325 in line order.
  • the pixel signal processing circuit 325 performs predetermined signal processing such as noise suppression processing and A / D conversion processing for the voltage signal output by each pixel 321.
  • the correlated double sampling (CDS) processing performed by the pixel signal processing circuit 325 as noise suppression processing is a voltage signal according to the amount of charge accumulated (integrated) and held in the charge storage unit CS (hereinafter, “”
  • the voltage signals of the distance pixel voltage signal PS and the reset voltage signal PR corresponding to the respective charge storage units CS provided in each pixel 321 are sequentially processed in the pixel signal processing circuit. Output to 325.
  • y rows (y is an integer of 1 or more) in the horizontal direction (row direction) and x columns (x is in the column direction) in the vertical direction (column direction) of the light receiving pixel unit 320.
  • a distance pixel voltage signal is transmitted from each pixel 321 (i) arranged in the i-th row (1 ⁇ i ⁇ y) of the light receiving pixel unit 320.
  • the drive timing of the pixel 321 when each voltage signal of PS (i) and reset voltage signal PR (i) is output is shown.
  • the voltage signals of the charge storage units CS1 (i), CS2 (i), and CS3 (i) provided in each pixel 321 (i) are output in this order. There is.
  • the vertical scanning circuit 323 transmits the distance pixel voltage signal PS1 (i) from the output terminal O1 (i) via the vertical signal line to the pixel signal processing circuit. Output to 325.
  • the pixel signal processing circuit 325 temporarily holds the distance pixel voltage signal PS1 (i) output from the pixel signal reading unit RU1 (i) via the vertical signal line.
  • the vertical scanning circuit 323 outputs the reset voltage signal PR1 (i) from the output terminal O1 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the pixel signal processing circuit 325 has the distance pixel voltage signal PS1 (i) once held and the reset voltage signal PR1 (i) output from the pixel signal reading unit RU1 (i) via the vertical signal line. That is, the noise contained in the voltage signal corresponding to the amount of charge accumulated (integrated) and held in the charge storage unit CS1 (i) is suppressed.
  • the vertical scanning circuit 323 After that, in the period from time tR4 to time tR7, the vertical scanning circuit 323 outputs the distance pixel voltage signal PS2 (i) and the reset voltage signal PR2 (i) to the output terminal O2 as in the period from time tR1 to time tR4. It is output from (i) to the pixel signal processing circuit 325 via the vertical signal line. Further, even in the period from time tR7 to time tR10, the vertical scanning circuit 323 outputs the distance pixel voltage signal PS3 (i) and the reset voltage signal PR3 (i) as in the period from time tR1 to time tR4. It is output from O3 (i) to the pixel signal processing circuit 325 via the vertical signal line.
  • the vertical scanning circuit 323 sequentially drives the pixels 321 (hereinafter referred to as “pixel signal readout drive”) similar to those from the time tR1 to the time tR10, and sequentially arranges each pixel in another row of the light receiving pixel unit 320. This is performed for 321 (for example, each pixel 321 arranged in the i + 1 row), and each voltage signal is sequentially output from all the pixels 321 arranged in the light receiving pixel unit 320.
  • the pixel drive circuit 326 reads out each pixel signal of the charge generated and accumulated by the photoelectric conversion element PD in each pixel 321 arranged in the light receiving pixel unit 320. Distribution to the department RU is performed multiple times. Further, the vertical scanning circuit 323 sequentially outputs a voltage signal according to the amount of electric charge accumulated (integrated) in the charge storage unit CS provided in the pixel signal reading unit RU to the pixel signal processing circuit 325 via the vertical signal line. Let me.
  • each of the pixel signals for one frame has three pixel signal reading units RU (charge storage unit) provided for the corresponding pixel 321. Three voltage signals corresponding to each of CS) are included.
  • the distance calculation unit 42 calculates the distance to the subject S for each pixel signal, that is, for each pixel 321 based on the pixel signal for one frame output from the distance image sensor 32.
  • the charge Q1 is the amount of charge corresponding to the background light before the light pulse PO distributed to the charge storage unit CS1 of the pixel signal reading unit RU1 is irradiated.
  • the charge Q2 is the amount of charge corresponding to the background light distributed to the charge storage unit CS2 of the pixel signal reading unit RU2 and the reflected light RL incident on the light with a short delay time.
  • the charge Q3 is the amount of charge corresponding to the background light distributed to the charge storage unit CS3 of the pixel signal reading unit RU3 and the reflected light RL incident on the light with a large delay time.
  • the distance calculation unit 42 obtains the distance L between each pixel 321 and the subject S by the equation (1) already described.
  • the distance image imaging device 1 obtains the distance L between itself and the subject S for each pixel 321 arranged in the light receiving pixel unit 320 of the distance image sensor 32.
  • the configuration of the pixels arranged in a grid pattern on the distance image sensor 32 is limited to the configuration including the three pixel signal reading units RU1, RU2, and RU3 as shown in FIG.
  • the pixel 321 may be configured to include one photoelectric conversion element PD and two or more pixel signal reading unit RUs that distribute the charges generated and accumulated by the photoelectric conversion element PD.
  • the pixel drive (control) method (timing) is the pixel in the distance image imaging device 1 shown in FIG. It can be easily realized by considering the same as the drive (control) method (timing) of 321.
  • the distance calculation unit 42 is similarly a distance image imaging device based on the pixel signal for one frame output from the distance image sensor in which the pixels having different numbers of the pixel signal reading units RU are arranged.
  • the distance L between 1 and the subject S can be obtained for each pixel signal (for each pixel).
  • the data of the reference reference voltage corresponding to the uncontrolled charge generated by the background light and the reference background light voltage corresponding to the background light charge generated by the background light are, for example, the distance image imaging device 1. Is acquired in advance at the time of shipment or at startup, that is, before the distance image is captured, and is written and stored in the correction parameter storage unit 43.
  • FIG. 5 is a timing chart illustrating the process of acquiring each of the reference background light voltage and the reference reference voltage in the first embodiment of the present invention.
  • the distance calculation unit 42 causes the timing control unit 41 to perform timing output processing in each of the reference background light voltage acquisition frame and the reference reference voltage acquisition frame.
  • FIG. 5A shows the reference background light voltage VA1 and the background light stored in the charge storage unit CS2 corresponding to the amount of charge generated by the background light stored in the charge storage unit CS1 in the reference background light voltage acquisition frame.
  • the process of acquiring the reference background light voltage VA2 corresponding to the amount of electric charge generated by the above and the reference background light voltage VA3 corresponding to the amount of electric charge generated by the background light stored in the charge storage unit CS3 is shown.
  • the distance image sensor 32 uses the same processing as the operation description of the frame period in FIG. 4, and each of the storage drive signals TX1, TX2, and TX3 is subjected to pulse widths Tw1, Tw2, and Tw3, respectively.
  • Read gate Transistors G1, G2, G3 are supplied.
  • the timing control unit 41 controls the light source device 21 to prevent the emission of the optical pulse PO. Therefore, the incident light input to the photodiode PD of each pixel 321 of the distance image sensor 32, more specifically, the incident light input to the silicon region of the pixel including the photodiode PD is the background light in the environment for imaging. Only.
  • the charge accumulators CS1, CS2, and CS3 in each pixel circuit are generated by the lens 31 incident at different angles in each of the pixels 321. Charges are accumulated. Then, the readout process is performed in the same manner as in FIG. 4, and the pixel signal processing circuit 325 corresponds to the amount of background light charge (that is, reference background light charge) due only to the background light stored in the charge storage unit CS1.
  • Reference background light voltage VA1 and reference background light corresponding to the amount of charge of the background light charge stored in the charge storage unit CS2 Reference background light corresponding to the amount of charge of the background light charge stored in the charge storage unit CS3 and the reference background light voltage VA2
  • the voltage VA3 is output as a pixel signal.
  • the distance calculation unit 42 writes and stores each of the acquired reference background light voltages VA1, VA2, and VA3 in the correction parameter storage unit 43 together with the identification information that identifies each of the pixels 321 in the light receiving pixel unit 320.
  • the distance calculation unit 42 writes and stores each of the reference background optical voltages VA1, VA2, and VA3 acquired in the same order as the pixel signals are read out from the pixel signal processing circuit 325 in the correction parameter storage unit 43. May be.
  • the charges are collected by the photodiode PD and read gate transistors G1 and G2, respectively.
  • the charges stored in each of the charge storage units CS1, CS2, and CS3 controlled and distributed by G3 are the same.
  • the reference background optical voltages VA1, VA2, and VA3 are different from each other because the uncontrolled charges flowing into and stored in the charge storage units CS1, CS2, and CS3 are different.
  • FIG. 5B is a reference corresponding to the amount of uncontrolled charge generated by the background light and flowing into the charge storage unit CS1 without passing through the read gate transistor G1 and stored in the reference reference voltage acquisition frame.
  • the reference voltage VB1 and the reference voltage VB2 corresponding to the amount of uncontrolled charge that flows into and is stored in the charge storage unit CS2 without going through the read gate transistor G2, and the charge storage unit CS3 without going through the read gate transistor G3.
  • the process of acquiring each of the reference reference voltage VB3 corresponding to the charge amount of the uncontrolled charge flowing in and accumulated is shown.
  • the distance image sensor 32 accumulates and reads out charges by the same processing as in the operation description of the frame period in FIG.
  • the timing control unit 41 controls the light source device 21 to prevent the emission of the optical pulse PO as in the case of FIG. 5 (A), and unlike the case of FIG. 5 (A), the control circuit 322. Is controlled so that each of the storage drive signals TX1, TX2, and TX3 is not output, and the charge (that is, the control charge to be stored in the charge storage unit) is not distributed to each of the charge storage units CS1, CS2, and CS3. Further, the timing control unit 41 outputs a reset drive signal RSTD that turns on the drain gate transistor GD at the timing of controlling the control circuit 322 and distributing the charge to each of the charge storage units CS1, CS2, and CS3.
  • RSTD reset drive signal
  • the drain gate transistor GD may be turned off during the distribution period for each read gate transistor G. In that case, the drain gate transistor GD immediately after the distribution period is turned on. Occasionally, the charge held by the photodiode PD is discarded by the drain.
  • Corresponding reference reference voltage VB1, reference reference voltage VB2 corresponding to the amount of uncontrolled charge QB2 stored in the charge storage unit CS2, reference reference voltage corresponding to the amount of uncontrolled charge stored in the charge storage unit CS3 VB3 is output as a pixel signal.
  • the distance calculation unit 42 writes and stores each of the acquired reference reference voltages VB1, VB2, and VB3 in the correction parameter storage unit 43 together with the identification information that identifies each of the pixels 321 in the light receiving pixel unit 320.
  • the distance calculation unit 42 writes and stores each of the reference reference voltages VB1, VB2, and VB3 acquired in order in the correction parameter storage unit 43 in the same order as the order in which the pixel signals are read from the pixel signal processing circuit 325. May be.
  • the pixel signal processing circuit 325 uses the charge storage units CS1, CS2, and CS3 as pixel signals (digital values).
  • Each of the pixel signals VQ1, VQ2, and VQ3 corresponding to each of the above is output to the distance calculation unit 42 for each pixel 321 corresponding to one frame.
  • the distance calculation unit 42 corresponds to each of the pixel signals VQ1, VQ2, and VQ3 for each pixel 321 supplied from the pixel signal processing circuit 325, and the reference background optical voltages VA1, VA2, and VA3 corresponding to the pixels 321 are supported.
  • the distance calculation unit 42 uses the calculated adjustment ratio ⁇ and each of the reference reference voltages VB1, VB2, and VB3, and uses the following equations (2), (3), and (4) to obtain the pixel signals VQ1 and VQ2. , VQ3, and the adjusted voltages VP1, VP2, and VP3 corresponding to each of VQ3 are calculated.
  • each of the adjusted voltages VP1, VP2, and VP3 is a voltage generated when the uncontrolled charge is accumulated in each of the charge storage units CS1, CS2, and CS3, which is generated at the time of distance measurement.
  • the distance calculation unit 42 uses the distance image sensor 32 and the subject S according to the following equation (8) corresponding to the equation (1) already described.
  • L [(VQ3'-VQ1') / (VQ2'+ VQ3'-2VQ1')] x Dm ...
  • Dm is (c / 2) Tw.
  • the distance image imaging device 1 obtains the distance L between the distance image sensor 32 and the subject S for each pixel 321 arranged in the light receiving pixel unit 320 of the distance image sensor 32.
  • FIG. 6 is a timing chart illustrating a period during which uncontrolled charges are accumulated.
  • FIG. 6 is a timing chart shown in the same manner as in FIG. 4, which is shown over two frame cycles, and as described in FIG. 4 at each frame cycle, the charge storage unit CS is irradiated with the optical pulse PO.
  • the control charges collected by the photodiode PD and controlled and distributed by the respective readout gate transistors G1, G2, and G3 are charged only during the charge storage period (Integration) of the charge storage units CS1, CS2, and CS3. Accumulated in each.
  • the charge storage unit CS is once discarded and reset by the reset gate transistor RT, but the charge is not discarded until the next charge reading time. That is, since the charge is discarded only once per frame (Integration + Read), the uncontrolled charge is accumulated in the charge storage unit CS in a period of about one frame. That is, the period during which the uncontrolled charge is accumulated in the charge storage unit CS is longer than the period during which the control charge is accumulated in the charge storage unit CS. Therefore, in the prior art, when the area of the pixel 321 is reduced, the amount of control charge collected by the photodiode PD, distributed to the charge storage unit CS via the readout gate transistor G, and stored is relative to the charge amount of the control charge.
  • the ratio of the amount of uncontrolled charge stored in the charge storage unit CS without going through the read gate transistor G increases, and the accuracy of the required distance L decreases. Further, as the area of the pixel 321 is reduced, the accumulation ratio of the uncontrolled charge gradually increases, so that the accuracy of the required distance L gradually decreases.
  • the lens 31 has a plurality of different characteristics that change the incident angle of the incident light to the distance image sensor 32, such as having a plurality of F values
  • the reference is made for each characteristic.
  • the background light voltages VA1, VA2 and VA3 and the reference reference voltages VB1, VB2 and VB3 are obtained, written and stored in the correction parameter storage unit 43 in advance corresponding to each of the characteristics, and the pixel signal corresponding to the characteristics is stored. It may be configured to correct each of VQ1, VQ2 and VQ3.
  • the distance calculation unit 42 corrects the reference background optical voltages VA1, VA2 and VA3 corresponding to the characteristics of the lens used for the charge accumulation period in the frame period, and the correction parameters such as the reference reference voltages VB1, VB2 and VB3.
  • Each of the pixel signals VQ1, VQ2, and VQ3 is corrected according to the correction parameters read from the parameter storage unit 43 and read.
  • the reference background light voltages VA1, VA2 and VA3 corresponding to each of all the pixels 321 in the light receiving pixel unit 320 and the reference reference voltages VB1, VB2 and VB3 are stored in the correction parameter storage unit 43.
  • the adjustment ratio corresponds to the characteristics of the lens 31.
  • Each of the pixels 321 is divided into groups so that ⁇ falls within a predetermined difference range, and the reference background light voltages VA1, VA2, and VA3 in the pixels 321 in each group and the reference reference voltages VB1, VB2, and VB3 are divided into groups.
  • FIG. 7 is a diagram showing a tendency of a change in the incident angle at which the incident light incident on each pixel in the characteristics of the lens 31.
  • the incident angle of the incident light gradually changes concentrically (concentric circle E) around the area center of gravity CO of the chip of the distance image sensor 32, the incident angle changes as described above. It is possible to configure the grouping of each of the same predetermined pixels 321. Further, as another configuration, the correction parameter values of the reference background light voltages VA1, VA2 and VA3 and the reference reference voltages VB1, VB2 and VB3 in the pixel 321 at the position of the predetermined radius of the concentric circle E centered on the area center of gravity CO. May be stored in the correction parameter storage unit 43.
  • a complement function that complements the correction parameter value in the concentric circle E having the predetermined radius to the correction parameter value of each pixel 321 in the region sandwiched by the concentric circle E is previously provided in the correction parameter storage unit 43 for each region. Write in and memorize it. Then, the distance calculation unit 42 reads out the correction parameter value and the complementary function in the concentric circle E as necessary, and the correction parameter value of the pixel 321 in the region sandwiched by the concentric circle E corresponds to the concentric circle E sandwiching the region.
  • the correction parameter value in the pixel 321 is generated by the complementary function.
  • the characteristics of the lens 31 have been described as an example in which the incident angle of the incident light gradually changes in a concentric manner (concentric circle E), but the characteristics of the lens to be used do not necessarily change the characteristics of the lens 31 into concentric circles. It may be changed according to the characteristic of the incident angle of the incident light of the lens.
  • the circuit in the distance image sensor 32 is formed by an n-channel transistor is shown, but the polarity of the semiconductor may be changed and the circuit may be formed by a p-channel transistor.
  • the distance image imaging device has the same configuration as that of the first embodiment shown in FIG. 1, but the pixels 321 of the first embodiment have three pixel signal reading units RU1, RU2, and RU3.
  • the pixels 321 of the first embodiment have three pixel signal reading units RU1, RU2, and RU3.
  • Each of the pixel signal reading units RU1, RU2, RU3 and RU4 includes charge storage units CS1, CS2, CS3 and CS4 (not shown), respectively.
  • the charge storage unit CS1 has the same background light charge as the distribution time Tw1 (the same as the pulse width Tw) in the background light charge collected by the photodiode PD due to the incident light generated only by the background light. It is a time width, and is distributed and accumulated in Tw2, Tw3, and Tw4 shown below).
  • the distribution times Tw1Tw2, Tw3 and Tw4 are the storage drive signal TX1 applied to the read gate transistor G1, the storage drive signal TX2 applied to the read gate transistor G2, and the storage applied to the read gate transistor G3.
  • Tw1, Tw2, Tw3 and Tw4 has the same pulse width Tw as the optical pulse PO.
  • the background light charge collected by the photodiode PD is distributed to the charge storage unit CS1 at the distribution time Tw1 before the light pulse PO is irradiated.
  • each of the charge storage units CS2, CS3, and CS4 is photographed at the distribution time Tw2, the next distribution time Tw3, and the next distribution time Tw4, respectively, to which the optical pulse PO is irradiated.
  • the background light charge collected by the diode PD and the charge according to the reflected light RL are distributed.
  • the data of each of the reference reference voltages VB1, VB2, VB3 and VB4 corresponding to the uncontrolled charge generated by the background light and the background generated by the background light is acquired and corrected in advance at the time of shipment or startup of the distance image imaging device 1, that is, before the distance image is captured. It is written and stored in the parameter storage unit 43.
  • FIG. 8 is a timing chart illustrating the process of acquiring each of the reference background light voltage and the reference reference voltage in the second embodiment of the present invention.
  • FIG. 8A shows the reference background light voltage VA4 stored in the charge storage unit CS4 together with the reference background light voltages VA1, VA2, and VA3 in the reference background light voltage acquisition frame, as in FIG. 5A. Indicates the process of acquiring.
  • the distance image sensor 32 stores the charge on the charge storage unit CS and reads out the charge from the charge storage unit CS.
  • the timing control unit 41 controls the light source device 21 to prevent the emission of the optical pulse PO. Therefore, the incident light input to each pixel 321 of the distance image sensor 32 is only the background light in the imaging environment.
  • the incident angles of the charge storage portions CS1, CS2, CS3, and CS4 in each pixel 321 are changed to different angles by the lens 31. Incident light of only light is incident. Then, the readout process is performed in the same manner as in FIG. 5 (A), and the background light charge (that is, the reference background light charge) due only to the background light stored in the charge storage unit CS1 as a pixel signal from the pixel signal processing circuit 325.
  • the reference background light voltage VA3 corresponding to the above and the reference background light voltage VA4 corresponding to the amount of charge of the background light charge stored in the charge storage unit CS4 are output as pixel signals.
  • the distance calculation unit 42 writes and stores each of the acquired reference background optical voltages VA1, VA2, VA3, and VA4 in the correction parameter storage unit 43 together with the identification information that identifies each of the pixels 321 in the light receiving pixel unit 320.
  • the distance calculation unit 42 writes each of the reference background optical voltages VA1, VA2, VA3, and VA4 acquired in order in the correction parameter storage unit 43 in the same order as the pixel signal is read out from the pixel signal processing circuit 325. It may be configured to be memorized.
  • FIG. 8 (B) is the same as in FIG. 5 (B), in the reference reference voltage acquisition frame, each of the reference reference voltages VB1, VB2, and VB3 flows into the charge storage unit CS4 along with the background light and is accumulated. The process of acquiring the reference reference voltage VB4 corresponding to the amount of uncontrolled charge is shown.
  • the distance image sensor 32 accumulates and reads out charges by the same processing as in the operation description of the frame period in FIG.
  • the timing control unit 41 controls the light source device 21 to prevent the emission of the optical pulse PO, and controls the control circuit 322 to not output each of the storage drive signals TX1, TX2, TX3 and TX4.
  • the timing control unit 41 controls the control circuit 322 to generate a reset drive signal RSTD that turns on the drain gate transistor GD at the timing of distributing charges to each of the charge storage units CS1, CS2, CS3, and CS4. It outputs and discards the charge.
  • the period for sorting by each read-out gate transistor G1, G2, G3, G4 is an extremely short time of about 40 ns, the charge collected by the photodiode PD is small, and in most cases, it is held by the photodiode PD. Therefore, the drain gate transistor GD may be turned off during the distribution period as in FIG. 8A. In that case, the photo is taken when the drain gate transistor GD immediately after the distribution period is turned on. The charge held by the diode PD is discarded in the drain.
  • each of the read gate transistors G1, G2, G3, and G4 remains off, and the charge due to the background light passes through each of the read gate transistors G1, G2, G3, and G4, and the charge storage units CS1, CS2, and CS3. , CS4 are not propagated to each. Therefore, only the uncontrolled charges QB1, QB2, QB3, and QB4 that flow in without passing through each of the read gate transistors G1, G2, G3, and G4 are accumulated in each of the charge storage units CS1, CS2, CS3, and CS4. NS. Then, the read processing is performed in the same manner as in FIG.
  • the pixel signal processing circuit 325 uses the charge storage units CS1, CS2, CS3 and as pixel signals (digital) as pixel signals (digital).
  • Each of the pixel signals VQ1, VQ2, VQ3, and VQ4 corresponding to each of CS4 is output to the distance calculation unit 42 for each pixel 321 corresponding to one frame.
  • the distance calculation unit 42 sequentially receives the reference background optical voltages VA1, VA2, VA3 and VA4 corresponding to the pixels 321 read from the correction parameter storage unit 43, and the reference reference voltages VB1, VB2, VB3 and VB4. And read.
  • the distance calculation unit 42 divides the pixel signal VQ1 (VQ1 / VA1) by the reference background light voltage VA1 and calculates the adjustment ratio ⁇ .
  • This adjustment ratio ⁇ is a value indicating the intensity ratio of the background light at the time of acquisition of the correction parameter and the time of calculation of the distance
  • VQ2'/ VA2, VQ3' / VA3 and VQ4' / VA4 are also signals. The same value is obtained in the intensity linearity region (unsaturated region).
  • the correction pixel signal VQ2' is a voltage that does not include a charge component corresponding to the reflected light RL among the amount of charges corresponding to the background light and the reflected light RL distributed to the charge storage unit CS2.
  • the correction pixel signal VQ3' is a voltage that does not include the charge component corresponding to the reflected light RL among the amount of charge corresponding to the background light and the reflected light RL distributed to the charge storage unit CS3, and is corrected.
  • the pixel signal VQ4' is a voltage that does not include a charge component corresponding to the reflected light RL among the amount of charges corresponding to the background light and the reflected light RL distributed to the charge storage unit CS4.
  • the distance calculation unit 42 uses the adjustment ratio ⁇ and the reference reference voltages VB1, VB2, VB3 and VB4 to obtain a pixel signal according to the following equations (9), (10), (11) and (12).
  • the adjustment voltages VP1, VP2, VP3, and VP4 generated by the uncontrolled charge accumulated in the charge storage unit CS, which are generated at the time of distance measurement corresponding to each of VQ1, VQ2, VQ3, and VQ4, are calculated.
  • FIG. 9 is a timing chart illustrating the process of acquiring each of the reference background light voltage and the reference reference voltage in the third embodiment of the present invention.
  • FIG. 9A shows the timing chart of the first frame
  • FIG. 9B shows the timing chart of the second frame.
  • FIG. 9A shows that in the first frame, the light pulse PO is irradiated and the reflected light RL (delay time Td from the irradiation timing of the light pulse PO) is received from the subject S, as in the process described with reference to FIG.
  • the process is performed to capture a distance image, and each of the pixel signals VQ1, VQ2, and VQ3 is acquired.
  • the distance calculation unit 42 writes and stores each of the acquired pixel signals VQ1, VQ2, and VQ3 in the correction parameter storage unit 43.
  • the pixel signal VQ1 is a voltage corresponding to the amount of electric charge collected by the photodiode PD by the incident light of only the background light, distributed to the electric charge storage unit CS1 and accumulated.
  • the pixel signal VQ2 is a voltage corresponding to the amount of electric charge collected by the photodiode PD by the incident light including a part of the background light and the reflected light RL, distributed to the electric charge storage unit CS2, and accumulated. ..
  • FIG. 9 (B) shows the reflected light RL from the subject S (delay time from the radiation timing of the optical pulse PO) in the second frame because the optical pulse PO is emitted in the second frame as in the first frame of FIG. 9 (A).
  • the distance calculation unit 42 acquires each of the reference reference voltages VB1, VB2, and VB3 for each of the charge storage units CS1, CS2, and CS3 by the same processing as in FIG. 5B. ..
  • the reset drive signal RSTD that turns on the drain gate transistor GD is output at the timing of distributing the charges to each of the charge storage units CS1, CS2, and CS3.
  • the drain gate transistor GD may be turned off during the distribution period as in FIG. 9A. In this configuration, the drain gate immediately after the distribution period may be used. When the transistor GD is turned on, the charge held by the photodiode PD is discarded in the drain. Then, the distance calculation unit 42 reads each of the pixel signals VQ1, VQ2, and VQ3 from the correction parameter storage unit 43.
  • corrections are made in advance as in the first embodiment and the second embodiment. Since it is not necessary to write and store the reference background light voltages VA1, VA2, and VA3 corresponding to all the pixels 321 and the reference reference voltages VB1, VB2, and VB3 in the parameter storage unit 43, the capacity of the correction parameter storage unit 43. Can be reduced.
  • the phase shift amount between the irradiated light and the reflected light is obtained to calculate the distance. It can be applied to a TOF sensor using CW (continuous wave) modulation to be used, and can be applied to various other TOF sensors. For example, in a TOF sensor using CW (continuous wave) modulation, distance measurement is normally performed using two frames, but in order to perform the same correction as in the present embodiment, two frames for correction are used. You can add and use four frames to get one distance image.
  • the voltage components corresponding to the uncontrolled charges generated by the background light and flowing into the charge storage units CS1, CS2 and CS3 are removed from the pixel signals VQ1, VQ2 and VQ3, respectively. It was a composition.
  • the voltage corresponding to the uncontrolled charge generated by the reflected light RL reflected by the subject S by the optical pulse PO (pulse width Tw) and flowing into each of the charge storage units CS1, CS2 and CS3.
  • the configuration is such that the component is removed from each of the pixel signals VQ1, VQ2, and VQ3.
  • the uncontrolled charge due to the background light can be corrected.
  • a state in which the background light does not exist that is, a state in which the background light is not incident on the distance image sensor 32 and is shielded from ambient light in a dark room or the like. Will be described using.
  • the reference reflected light voltage VC1 corresponding to the amount of the reflected light charge C1 generated by the reflected light stored in the charge storage unit CS1 and the reflected light stored in the charge storage unit CS2 are generated.
  • the reference reflected light voltage VC2 corresponding to the charge amount of the reflected light charge C2 and the reference reflected light voltage VC3 corresponding to the charge amount of the reflected light charge C3 generated by the reflected light stored in the charge storage unit CS3, and the charge storage unit.
  • the reference reference voltage VD1 corresponding to the charge amount of the uncontrolled charge D1 generated by the reflected light stored in CS1, and the charge amount of the uncontrolled charge D2 generated by the reflected light stored in the charge storage unit CS2.
  • the reference reference voltage VD3 corresponding to the amount of uncontrolled charge D3 generated by the reflected light stored in the reference reference voltage VD2 and the charge storage unit CS3 is, for example, at the time of shipment or startup of the range image imaging device 1, that is, The distance image is acquired in advance before being imaged, and is written and stored in the correction parameter storage unit 43.
  • FIG. 10 is a timing chart illustrating the process of acquiring each of the reference reflected light voltage and the reference reference voltage in the fourth embodiment of the present invention.
  • FIG. 10A shows the reference reflected light voltage acquisition frame, which is stored in the reference reflected light voltage VC1 and the charge storage unit CS2 corresponding to the amount of charge generated by the incident light of only the reflected light stored in the charge storage unit CS1.
  • the reference reflected light voltage VC2 corresponding to the amount of charge generated by the incident light of only the reflected light
  • the reference reflected light voltage corresponding to the amount of charge generated by the incident light of only the reflected light stored in the charge storage unit CS3.
  • the process of acquiring each of VC3 is shown. In FIG.
  • the distance image sensor 32 performs the same processing as the distance measurement for radiating the optical pulse PO in the same manner as in the operation description of the frame period in FIG. 4, respectively, in the charge storage units CS1, CS2, and CS3.
  • the charge is accumulated and the charge is read from each of the charge storage units CS1, CS2, and CS3.
  • each of the charge storage units CS1, CS2, and CS3 in each pixel 321 is reflected by the lens 31 at different angles of incidence on each of the pixels 321. Only light becomes incident light and the generated charge is accumulated. Then, the readout process is performed in the same manner as in FIG. 4, and the charge of the reflected light charge (that is, the reference reflected light charge) due only to the reflected light stored in the charge storage unit CS1 as a pixel signal from the pixel signal processing circuit 325.
  • the reference reflected light voltage VC1 corresponds to the amount
  • the reference reflected light voltage VC2 corresponds to the charge amount of only the reflected light stored in the charge storage unit CS2, and the charge amount of only the reflected light stored in the charge storage unit CS3.
  • the reference reflected light voltage VC3 is output as a pixel signal.
  • the distance calculation unit 42 writes and stores each of the acquired reference reflected light voltages VC1, VC2, and VC3 in the correction parameter storage unit 43 together with the identification information that identifies each of the pixels 321 in the light receiving pixel unit 320.
  • the distance calculation unit 42 writes and stores each of the reference reflected light voltages VC1, VC2, and VC3 acquired in order in the correction parameter storage unit 43 in the same order as the pixel signal is read out from the pixel signal processing circuit 325. It may be configured.
  • FIG. 10B shows a reference reference voltage VD1 corresponding to the amount of uncontrolled charge that flows into and is stored in the charge storage unit CS1 with the reflected light in the reference reference voltage acquisition frame, and a charge associated with the reflected light.
  • Reference voltage VD2 corresponding to the amount of uncontrolled charge flowing into and accumulating in the storage unit CS2
  • reference corresponding to the amount of uncontrolled charge flowing into and accumulating in the charge storage unit CS3 with reflected light
  • the process of acquiring each of the reference voltage VD3 is shown.
  • the distance image sensor 32 accumulates and reads out charges by the same processing as in the operation description of the reference reference voltage acquisition frame in FIG. 5B.
  • the timing control unit 41 controls the light source device 21 to radiate the optical pulse PO, while controlling the control circuit 322 to not output each of the storage drive signals TX1, TX2, and TX3, and charge storage. Charges are not distributed to each of the parts CS1, CS2, and CS3. Further, the timing control unit 41 outputs a reset drive signal RSTD that turns on the drain gate transistor GD at the timing of controlling the control circuit 322 and distributing the charge to each of the charge storage units CS1, CS2, and CS3. However, the electric charge generated by the reflected light is discarded.
  • the drain gate transistor GD may be turned off during the charge distribution period. In that case, the photodiode PD may be turned on when the GD immediately after the charge distribution period is turned on. The charge held in is discarded in the drain.
  • each of the read gate transistors G1, G2, and G3 remains off, and the charge due to the reflected light is not propagated to each of the charge storage units CS1, CS2, and CS3 via the read gate transistors G1, G2, and G3. .. Therefore, only the uncontrolled charges QD1, QD2, and QD3 that flow in without passing through each of the read gate transistors G1, G2, and G3 are stored in each of the charge storage units CS1, CS2, and CS3. Then, the read processing is performed in the same manner as in FIG.
  • the distance calculation unit 42 writes and stores each of the acquired reference reference voltages VD1, VD2, and VD3 in the correction parameter storage unit 43 together with the identification information that identifies each of the pixels 321 in the light receiving pixel unit 320.
  • the distance calculation unit 42 writes and stores each of the reference reference voltages VD1, VD2, and VD3 acquired in order in the correction parameter storage unit 43 in the same order as the order in which the pixel signals are read from the pixel signal processing circuit 325. May be.
  • the pixel signal processing circuit 325 uses the charge storage units CS1, CS2, and CS3 as pixel signals (digital values).
  • Each of the pixel signals VQ1, VQ2, and VQ3 corresponding to each of the above is output to the distance calculation unit 42 for each pixel 321 corresponding to one frame.
  • the distance calculation unit 42 sequentially reads the reference reflected light voltages VC1, VC2 and VC3 corresponding to the read pixels 321 and the reference reference voltages VD1, VD2 and VD3 from the correction parameter storage unit 43.
  • the distance calculation unit 42 calculates the total reflected light voltage VCALL corresponding to the amount of charge generated by the reflected light in the reference reflected light voltage acquisition frame by the following equation (20).
  • VCALL (VC2-VC1) + (VC3-VC1) ...
  • the distance calculation unit 42 extracts the component of the reflected light charge generated by the reflected light contained in each of the reference reflected light voltages VC1, VC2 and VC3 as the reflected light total charge voltage VCALL according to the above equation (20).
  • the distance calculation unit 42 sets the total reflected light voltage VQALL corresponding to the amount of charge generated by the reflected light in the frame for measuring the distance between the distance image sensor 32 and the subject S to the following (21). ) Calculated by the formula.
  • VQALL (VQ2-VQ1) + (VQ3-VQ1) ... (21)
  • the distance calculation unit 42 extracts the component of the reflected light charge generated by the reflected light contained in each of the pixel signals VQ1, VQ2 and VQ3 as the reflected light total charge voltage VQALL by the above equation (21).
  • the distance calculation unit 42 divides the reflected light total charge voltage VQALL by the reflected light total charge voltage VCALL (VQALL / VCALL), and calculates the adjustment ratio ⁇ .
  • This adjustment ratio ⁇ indicates the intensity ratio of the reflected light RL in the reference reflected light voltage acquisition frame and the frame for measuring the distance between the distance image sensor 32 and the subject S. Therefore, the distance calculation unit 42 calculates the adjustment voltages VR1, VR2, and VR3 for correcting each of the pixel signals VQ1, VQ2, and VQ3 by each of the following equations (22), (23), and (24). do.
  • the distance calculation unit 42 calculates each of the correction pixel signals VQ1', VQ2', and VQ3'by each of the following equations (25), (26), and (27).
  • VQ1' VQ1-VR1 ...
  • VQ2' VQ2-VR2 ...
  • VQ3' VQ3-VR3 ...
  • the distance calculation unit 42 uses the obtained correction pixel signals VQ1', VQ2', and VQ3'to calculate the distance L between the distance image sensor 32 and the subject S by the equation (8) in the first embodiment. ..
  • the reference reflected light voltage and the reference reference voltage are previously written and stored in the correction parameter storage unit 43 before measuring the distance between the subject S and the distance image sensor 32.
  • the correction parameter is acquired for each distance measurement process.
  • This embodiment has the same configuration as the distance image imaging device 1 shown in the fourth embodiment described above, and the operation different from that of the fourth embodiment will be described below.
  • two frames each of the first frame and the second frame are used to acquire one distance image. Therefore, in the fourth embodiment, for example, the distance measurement is performed 60 times per second, whereas in the present embodiment, the distance measurement is performed 30 times per second.
  • the state in which the background light does not exist that is, the state in which the background light is not incident on the distance image sensor 32 and is shielded from the ambient light in a dark room or the like will be described. do.
  • FIG. 10A in the timing chart of FIG. 10 shows the timing chart of the first frame
  • FIG. 10B shows the timing chart of the second frame.
  • the light pulse PO is irradiated and the reflected light RL from the subject S (delay time Td from the irradiation timing of the light pulse PO), as in the process in the fourth embodiment.
  • the distance image is imaged by performing a process of receiving light, and each of the pixel signals VQ1, VQ2, and VQ3 is acquired. Then, the distance calculation unit 42 writes and stores each of the acquired pixel signals VQ1, VQ2, and VQ3 in the correction parameter storage unit 43.
  • the pixel signal VQ1 is a voltage corresponding to the amount of electric charge stored in the electric charge storage unit CS1. Further, the pixel signal VQ2 is a voltage corresponding to the amount of electric charge collected by the photodiode PD by the incident light including a part of the reflected light RL and accumulated in the electric charge storage unit CS2, and the pixel signal VQ3 is a voltage corresponding to the electric charge amount. It is a voltage corresponding to the amount of electric charge collected by the photodiode PD by the incident light including a part of the reflected light RL and accumulated in the electric charge storage unit CS3.
  • Each of the pixel signals VQ1, VQ2, and VQ3 includes reference reference voltages VD1, VD2, and VD3, which are voltage components of uncontrolled charges having a charge amount corresponding to the incident light.
  • the distance calculation unit 42 acquires each of the reference reference voltages VD1, VD2, and VD3 for each of the charge storage units CS1, CS2, and CS3 by the same processing as in FIG. 5 (B). do. Then, the distance calculation unit 42 reads each of the pixel signals VQ1, VQ2, and VQ3 from the correction parameter storage unit 43.
  • the distance calculation unit 42 sets each of the reference reference voltages VD1, VD2, and VD3 as the adjustment voltages VO1, VO2, and VO3 of the pixel signals VQ1, VQ2, and VQ3, respectively, and sets the following equations (28), (29), and (30). ),
  • the correction pixel signals VQ1', VQ2', and VQ3' are calculated.
  • VQ1' VQ1-VO1 ...
  • VQ2' VQ2-VO2 ...
  • VQ3' VQ3-VO3 ...
  • the distance calculation unit 42 calculates the distance L between the subject S and the distance image sensor 32 in the distance image imaging device 1 by the equation (8) using the obtained correction pixel signals VQ1', VQ2', and VQ3'. ..
  • the correction parameter storage unit 43 in order to acquire each of the reference reference voltages VD1, VD2, and VD3 as correction parameters for each process of calculating the distance, the correction parameter storage unit 43 is stored in advance as in the fourth embodiment. Since it is not necessary to write and store the reference reflected light voltages VC1, VC2, and VC3 corresponding to all the pixels 321 and the reference reference voltages VD1, VD2, and VD3, the capacity of the correction parameter storage unit 43 can be reduced. .. Further, according to the present embodiment, in order to acquire the pixel signal for measurement in the first frame and to acquire the pixel signal of the reference reference voltage for correcting the pixel signal for measurement in the next second frame.
  • the phase shift amount between the irradiated light and the reflected light by irradiating continuously modulated light can be applied to a TOF sensor using CW modulation used for calculating the distance, and can be applied to various other TOF sensors.
  • Measurement space PD Photoelectric conversion element PO ... Optical pulse (irradiation light) RL ... Reflected light RT1, RT2, RT3 ... Reset gate transistor RU1, RU2, RU3 ... Pixel signal readout unit S ... Subject (object) SF1, SF2, SF3 ... Source follower gate transistor SL1, SL2, SL3 ... Selective gate transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を画素毎に蓄積し、画素毎に蓄積された電荷の電荷量からなる距離画像を生成する距離画像センサと、距離画像における電荷量から、距離画像センサにおいて電荷を蓄積する制御によらない非制御電荷に基づく信号値を記憶し、記憶した信号値を用いて空間における対象物との距離を補正し取得する距離画像処理部とを備える。

Description

距離画像撮像装置及び距離画像撮像方法
 本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
 従来から、光の速度が既知であることを利用し、空間(測定空間)における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像センサが実現されている。TOF方式の距離画像センサでは、測定対象に光(例えば、近赤外光など)パルスを照射し、光パルスを照射した時間と、測定空間における対象物によって反射した光パルス(反射光)が戻ってくる時間との差、つまり、測定器と対象物との間における光の飛行時間に基づいて、測定器と対象物との距離を測定している(例えば、特許文献1参照)。
 TOF方式の距離画像センサは、光電変換素子が入射される光の光量を電荷に変換し、変換した電荷を電荷蓄積部に蓄積し、AD変換器により蓄積された電荷の電荷量に対応したアナログ電圧をデジタル値に変換している。
 また、TOF方式の距離画像センサは、電荷量に対応したアナログ電圧や、デジタル値に含まれる、測定器と対象物との間における光の飛行時間の情報により、測定器と対象物との距離を求めている。
 このとき、測定空間の環境における背景光が、距離の測定に用いる反射光を入射する際に含まれており、正確に距離を求めるため、入射した光から背景光を除去して反射光のみの情報を得る必要がある。
 このため、測定空間の環境における背景光の影響を距離測定において除去(キャンセル)する目的で、常に照射光が照射されない期間を設定することにより、背景光のみの受光量を蓄積しておき、対象物との距離を算出する際に、対象物からの反射光(対象物までの距離の情報を含む)を受光する期間に入力した入射光による電荷から、照射光が照射されない期間に蓄積していた背景光による電荷を差し引いて、反射光のみの電荷としている。
特開2004-294420号公報
 特許文献1は、TOFセンサの場合、照射光の複数回の照射を行ない、その照射を行う毎に受光した光で発生した電荷を蓄積し、蓄積した電荷に対応するアナログ電圧を距離の計測に用いる。
 このとき、照射光を照射するごとに、対象物から反射される反射光を入射し、入射光により発生する電荷Q2及びQ3の各々の比から距離の算出を行う。このとき、TOFセンサが受光する光には、照射光が対象物から反射される反射光に加えて環境における背景光が含まれる。
 これにより、入射光により発生する電荷Q2及びQ3の各々には、反射光により発生する電荷のほかに、背景光により発生する電荷Q1が含まれる。
 背景光による電荷Q1は、TOFセンサから対象物までの距離を算出する際に精度を低下する原因となる。
 このため、照射光を照射する前に、背景光のみをTOFセンサに入射させて、電荷Q1を求めて、以下の(1)式により距離Lの計算を行う。
 L=((Q3-Q1)/(Q2+Q3-2Q1))×(cTw)/2 …(1)
 (1)式において、cは光速であり、Twは照射光のパルス幅である。(1)式を用いることにより、TOFセンサから対象物までの距離Lを算出することができる。ここで、(cTw)/2は光パルスPOの照射によって測定することができる最大の距離(最大測定距離)を示している。
 しかしながら、図11に示されるように、TOFセンサを用いた距離画像撮像装置では、画素素子が形成された距離画像センサ32(センサチップ)の画素領域に光を集光するためにレンズ31が設けられている。
 図11(A)において、レンズ31が距離画像センサ32の画素領域の各画素に対して所定の視野角αの入射光を結像させる。
 このため、距離画像センサ32の画素の各々に対しては、図11(B)に示すように、レンズ31のような、例えば球面形状のレンズ面全体から様々な入射角度の入射光が、距離画像センサ32におけるそれぞれの画素に結像されることになる。
 ここで、距離画像センサ32において、レンズ31の軸fにおける視野角α1に対応した結像点501の画素に対する入射光の入射角度θ1に比較して、視野角α2に対応した端部の結像点502の画素に対する入射光の入射角度θ2が大きくなっている。
 この各画素に対する入射光の入射角度θの変化に対応して、背景光により発生する電荷Q1が異なる。また、画素毎に蓄積される電荷には、それぞれ異なる非制御電荷QB1が含まれる。
 また、画素毎に蓄積される電荷Q2及び電荷Q3にも、それぞれ異なる非制御電荷QB2、QB3それぞれが含まれる。上述した非制御電荷とは、光電変換素子(後述するフォトダイオードPD)に収集され、読み出しゲートトランジスタGをオン/オフ制御して電荷を振分ける制御により、電荷蓄積部FDに蓄積される電荷である制御電荷以外の電荷を示している。
 図12は、入射光の画素に対する入射角度による電荷Q1、Q2及びQ3の各々に含まれる非制御電荷QB1、QB2、QB3の発生について説明する図である。図12(A)は、TOFセンサの一例における画素の平面視の構成を示している。画素の光電変換素子であるフォトダイオードPDで発生して電荷蓄積部FD1(後述する電荷蓄積部CS1に対応)に振り分けられた電荷が電荷Q1となる。より厳密には、フォトダイオードPDを含む画素が形成されているシリコン基板において光電変換により発生した電荷が、フォトダイオードPDに収集され、読み出しゲートトランジスタG1をオンすることにより、電荷蓄積部FD1に振り分けられた電荷が電荷Q1となる。
 同様に、フォトダイオードPDに収集され、電荷蓄積部FD2(後述する電荷蓄積部CS2に対応)に振り分けられた電荷が電荷Q2となり、電荷蓄積部FD3(後述する電荷蓄積部CS2に対応)に振り分けられた電荷が電荷Q3となる。
 読み出しゲートトランジスタG1をオンすることにより、フォトダイオードPDに収集される電荷が電荷蓄積部FD1に振り分けられる。読み出しゲートトランジスタG2をオンすることにより、フォトダイオードPDに収集される電荷が電荷蓄積部FD2に振り分けられる。また、読み出しゲートトランジスタG3をオンすることにより、フォトダイオードPDに収集される電荷が電荷蓄積部FD3に振り分けられる。
 図12(B)は、図12(A)における線分A-A’における断面の構成を示している。距離画像センサ32のセンサチップ表面に対する入射光が0°ではなく、入射角が線分A-A’に平行でセンサチップ平面に対して垂直な平面に対して-20°の場合を示している。
 ここで、電荷蓄積部FD1、FD2及びFD3の各々には、フォトダイオードPDで収集した電荷が読み出しゲートトランジスタG1、G2、G3それぞれを介して振り分けられる電荷である制御電荷QA1、QA2、QA3と、読み出しゲートトランジスタG1、G2、G3を介さずに流入する電荷である非制御電荷QB1、QB2、QB3が含まれている。ここで、非制御電荷QB1、QB2及びQB3の各々は、画素回路で読み出し制御が行なわれることなく、電荷蓄積部FD1、FD2、FD3に流入する電荷を示している。
 この非制御電荷QB1、QB2、QB3は、背景光に対して同様では無く、入射光の入射角度によって、電荷蓄積部FD1、FD2及びFD3の各々で異なっている。
 図12(B)の場合、入射光が電荷蓄積部FD3側に比較して電荷蓄積部FD2側に多く入射するため、電荷蓄積部FD3に流入する非制御電荷QB3に比較して、電荷蓄積部FD2に流入する非制御電荷QB2が多くなる。
 図13は、センサチップに対する入射光の入射角度により電荷蓄積部に蓄積される電荷が変化することを示す図である。図13(A)は、コリメート光の放射方向に対して、距離画像センサ32の画素の形成された面の角度を傾けて、レンズ31による、距離画像センサ32の画素に対する入射光の入射角の変化を疑似的に単純化させた実験の概念を示している。
 図13(B)は、横軸が入射角度を示し、縦軸が電荷量を電荷蓄積部FD1、FD2及びFD3の各々における電荷量Q1(実線)、Q2(一点鎖線)、Q3(二点鎖線)それぞれに相当するデジタル値(LSB)を示している。入射光量は、入射光の入射角により投影面積の縮小分だけ小さくなる。具体的には入射角θとすれば、cos(コサイン)θ倍に変化する。したがって、フォトダイオードPDに収集される電荷量も、理想的には、入射角θとすれば、cos(コサイン)θ倍に変化する。ここで、フォトダイオードPDに収集されて、読み出しゲートトランジスタG1、G2及びG3の各々により、電荷蓄積部FD1、FD2、FD3それぞれに振り分けられる制御電荷QA1、QA2、QA3の各々は同一である。
 したがって、例えば、入射角θが負の時、電荷Q2が他の電荷Q1及び電荷Q3よりも大きな電荷量となるのは、入射光の入射角によって非制御電荷QB1、QB2及びQB3が各々異なるためである。
 図14は、電荷Q1、Q2及びQ3の各々における非制御電荷QB1、QB2、QB3それぞれの関係を示す概念図である。図14(A)は、非制御電荷QB1、QB2及びQB3の各々が同一の場合であり、例えば入射角0°等の小さい(後述する20°より小さい)入射角の時の電荷Q1、Q2、Q3それぞれを示している。図14(A)の場合、電荷Q2及びQ3の各々から電荷Q1を(1)式に示すように除去することにより、背景光により発生する電荷をすべて除き、反射光により発生する電荷のみから距離の算出を高い精度で行うことができる。
 一方、図14(B)は、非制御電荷QB1、QB2及びQB3の各々が同一でない場合であり、例えば入射角20°等の大きい入射角の時の電荷Q1、Q2、Q3それぞれを示している。図14(B)の場合、電荷Q2及びQ3の各々から電荷Q1を(1)式に示すように減算しても、電荷Q2、Q3それぞれにおいて背景光により発生する電荷量が電荷Q1と異なり、減算結果に非制御電荷QB1、QB2、QB3それぞれの違いによる差分が残り、背景光により発生する電荷をすべて除くことができないため、距離の算出を高い精度で行うことができない。
 従来においては、フォトダイオードPDから電荷蓄積部FD1、FD2、FD3それぞれに流入する非制御電荷QB1、QB2、QB3の電荷量が、反射光で発生し、フォトダイオードPDに収集され、読み出しゲートトランジスタG1、G2、およびG3をオンすることにより、電荷蓄積部FD1、FD2、FD3にそれぞれ振り分けられる電荷量に比較して無視できる比率(誤差範囲の割合)であり、上記(1)式から算出される距離の精度も誤差範囲に含まれる程度の大きさであった。
 しかしながら、距離画像の解像度を高くしたり、距離画像センサ32のチップサイズをより小さくするため、画素を形成する面積を低減することが必要となる。
 そのため、反射光で発生する電荷量が面積比に対応して減少し、非制御電荷QB1、QB2、QB3の電荷量の差分が、反射光で発生する電荷量に比較して無視できない比となり、(1)式で算出する距離の精度が、画素の面積の縮小に応じて低下してしまう。
 上述の課題を鑑み、距離画像センサにおける画素の面積を縮小しても、電荷蓄積部に蓄積される電荷の各々に含まれる、入射光の入射角に依存して電荷量が異なる非制御電荷それぞれの影響を受けずに、対象物と自身との距離を、画素を縮小しない場合と同様の精度で求める距離画像撮像装置及び距離画像撮像方法を提供することを目的とする。
 本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を画素毎に蓄積し、当該画素毎に蓄積された前記電荷の電荷量からなる距離画像を生成する距離画像センサと、前記距離画像における前記電荷量から、前記距離画像センサにおいて前記電荷を蓄積する制御によらずに当該電荷量に含まれる非制御電荷に基づく信号値を記憶し、記憶した前記信号値を用いて前記空間における前記対象物との距離を補正する距離画像処理部とを備える。
 本発明の距離画像撮像装置は、前記距離画像センサが、前記入射光に応じて生成された電荷を収集する光電変換素子と、フレーム周期において前記電荷を蓄積する電荷蓄積部とを具備し、前記電荷を前記電荷蓄積部に蓄積する制御を行う画素回路を画素毎に備え、前記距離画像処理部が、前記画素回路による制御によらずに前記電荷蓄積部に流入する前記電荷である前記非制御電荷の電荷量に対応した調整電圧を、前記電荷蓄積部に蓄積された前記電荷量に応じた入力電圧から減算し、前記距離画像センサと前記測定対象との距離の測定を行う。
 本発明の距離画像撮像装置は、前記電荷蓄積部が、前記空間の背景光を受光して発生した背景光電荷を蓄積する少なくとも一つの第1電荷蓄積部と、前記照射光の前記対象物からの前記反射光を受光して発生した反射光電荷を蓄積する2個以上の複数の第2電荷蓄積部とを備える。
 本発明の距離画像撮像装置は、所定の環境光下における前記照射光が放射されない状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照背景光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照基準電圧とのそれぞれを記憶する記憶部を備える。
 本発明の距離画像撮像装置は、前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を前記第1電荷蓄積部、前記第2電荷蓄積部の各々に蓄積し、前記距離画像処理部が、前記第1電荷蓄積部に蓄積された電荷によって生成された背景光電圧を、予め測定されて前記記憶部に記憶された前記参照背景光電圧により除算して調整比を求め、前記参照基準電圧の各々に対して当該調整比を乗算することにより、前記入力電圧それぞれに対する前記調整電圧を算出する。
 本発明の距離画像撮像装置は、前記フレーム周期が、第1フレーム周期及び第2フレーム周期の各々を含み、前記第1フレーム周期において、前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させ、前記距離画像処理部が、前記蓄積された電荷によって生成された前記入力電圧を取得し、前記第2フレーム周期において、前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させず、前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々における前記非制御電荷に対応した調整電圧を取得する。
 本発明の距離画像撮像装置は、遮光された環境下における前記照射光が照射された状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部及び前記第2電荷蓄積部それぞれから取得した参照反射光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積せず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照基準電圧とのそれぞれを記憶する記憶部を備える。
 本発明の距離画像撮像装置は、距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積された電荷によって生成された前記入力電圧それぞれを加算した結果を、前記参照反射光電圧の各々を加算した結果により除算して調整比を求め、前記参照基準電圧に対して当該調整比を乗算することにより、前記入力電圧の各々に対する前記調整電圧それぞれを算出する。
 本発明の距離画像撮像装置は、前記フレーム周期が、第1フレーム周期及び第2フレーム周期の各々を含み、前記第1フレーム周期において、前記距離画像センサが、遮光された環境において前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させ、前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積された電荷によって生成された前記入力電圧を取得し、前記第2フレーム周期において、前記距離画像センサが、遮光された環境において前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させず、前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に電荷によって前記非制御電荷に対応した調整電圧を取得する。
 本発明の距離画像撮像装置は、所定の環境光下における前記照射光が放射されない状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照背景光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから参照基準電圧として取得した第1参照基準電圧と、また、遮光された環境下における前記照射光が照射された状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部及び前記第2電荷蓄積部それぞれから取得した参照反射光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから参照基準電圧として取得した第2参照基準電圧と、のそれぞれを記憶する記憶部を備える。
 本発明の距離画像撮像装置は、前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を前記画素毎に蓄積し、前記距離画像処理部が、前記蓄積された電荷によって生成された前記入力電圧を、予め測定されて前記記憶部に記憶された前記参照背景光電圧により除算して調整比として第1調整比を求め、前記第1参照基準電圧の各々に対して当該第1調整比を乗算することにより、前記入力電圧それぞれに対する第1調整電圧を算出し、また、前記入力電圧の各々を加算した結果を、前記参照反射光電圧の各々を加算した加算結果により除算して調整比として第2調整比を求め、前記第2参照基準電圧に対して当該第2調整比を乗算することにより、前記入力電圧の各々に対する第2調整電圧それぞれを算出し、前記第1調整電圧及び前記2調整電圧を加算して、前記調整電圧を算出する。
 本発明の距離画像撮像装置は、前記空間からの前記入射光を入射するレンズをさらに備え、前記距離画像センサが前記レンズを介して前記入射光を受光する。
 本発明の距離画像撮像装置は、前記空間からの前記入射光を入射するレンズをさらに備え、前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、前記調整比が所定の差分範囲内の前記画素をグループに分割し、当該グループにおける前記参照基準電圧の中央値を、前記グループの全ての画素に対する参照基準電圧とする。
 本発明の距離画像撮像装置は、前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、当該レンズの複数の特性が記憶部に記憶されている。
 本発明の距離画像撮像装置は、前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、当該画素の各々の位置に対応した前記調整比を出力する調整関数が記憶部に記憶されている。
 本発明の距離画像撮像方法は、距離画像センサが、測定対象の空間である測定空間に対して照射光を光源部から照射させ、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を画素毎に蓄積し、当該画素毎に蓄積された前記電荷の電荷量を有する距離画像を生成する距離画像生成過程と、前記距離画像における前記電荷量から、前記距離画像センサにおいて前記電荷を蓄積する制御によらずに当該電荷量に含まれる非制御電荷を除去した補正電荷量により前記空間における前記対象物との距離を取得する距離画像処理過程とを含む。
 本発明は、距離画像センサにおける画素の面積を縮小しても、電荷蓄積部に蓄積される電荷の各々に含まれる、入射光の入射角に依存して電荷量が異なる非制御電荷それぞれの影響を受けずに、対象物と自身との距離を、画素の面積を縮小しない場合と同様の精度で求める距離画像撮像装置及び距離画像撮像方法を提供することができる。
本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素321の構成の一例を示した回路図である。 本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素321を駆動するタイミングを示したタイミングチャートである。 本発明の第1の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。 非制御電荷が蓄積される期間を説明するタイミングチャートである。 レンズ31の特性における入射光が各画素に入射する入射角度の変化の傾向を示す図である。 本発明の第2実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。 本発明の第3の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。 本発明の第4の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。 距離画像センサにおける画素の各々に対する入射光の入射角度を説明する概念図である。 入射光の画素に対する入射角度による電荷Q1、Q2及びQ3の各々に含まれる非制御電荷QB1、QB2、QB3の発生について説明する図である。 センサチップに対する入射光の入射角度により電荷蓄積部に蓄積される電荷が変化することを示す図である。 電荷Q1、Q2及びQ3の各々における非制御電荷QB1、QB2、QB3それぞれの関係を示す概念図である。
<第1の実施形態>
 以下、本発明の第1の実施形態について、図面を参照して説明する。図1は、本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。なお、図1には、距離画像撮像装置1において距離を測定する被写体Sも併せて示している。
 図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備えている。
 光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する空間(測定空間P)に、所定の周期で断続的な光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。
 光源装置21は、例えば、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光としての光パルスを放射する。
 拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sのある測定空間Pに照射する所定の断面積の大きさに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして光源部2から出射されて、測定空間Pの被写体Sに照射される。
 受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。
 レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ32は、タイミング制御部41からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。
 なお、距離画像センサ32では、複数の画素が二次元の格子状(行列状)に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部4は、距離画像撮像装置1の全体を制御する制御部であり、かつ距離画像撮像装置1において測定する被写体Sとの間の距離を演算する演算部でもある。この距離画像処理部4は、タイミング制御部41と距離演算部42と補正パラメータ記憶部43を備えている。
 タイミング制御部41は、光源部2が被写体Sに光パルスPOを照射するタイミングや、受光部3に備えた距離画像センサ32が反射光RLを受光し、蓄積させるタイミングなどを制御する。
 距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、距離画像撮像装置1と被写体Sとの間の距離を演算した距離情報を出力する。また、距離演算部42は、距離画像撮像装置1と被写体Sとの間の距離情報を算出する際、画素信号における電荷量から取得する、距離の演算に用いる入力電圧に含まれる非制御電荷に対応した電圧成分を調整電圧として、入力電圧から減算して除去し、補正入力電圧を求めて(1)式による距離の演算を行う(後に詳述)。
 補正パラメータ記憶部43は、距離演算部42が入力電圧から、上記非制御電荷に対応した電圧を除去する際に、入力電圧から減算する調整電圧を生成するための補正パラメータが記憶されている(後に詳述)。
 このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を、入射光に対応した非制御電荷に対応する電圧成分を除去した入力電圧により算出して出力する。
 なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の第1の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。図2において、距離画像センサ32は、複数の画素321が配置された受光画素部320と、制御回路322と、垂直走査回路323と、水平走査回路324と、画素信号処理回路325と、画素駆動回路326とを備えている。なお、図2に示した距離画像センサ32では、複数の画素321が、8行8列に二次元の格子状に配置された受光画素部320の一例を示している。
 制御回路322は、垂直走査回路323、水平走査回路324、画素信号処理回路325及び画素駆動回路326などの距離画像センサ32に備えた構成要素を制御する。制御回路322は、例えば、距離画像撮像装置1に備えた距離画像処理部4(より具体的には、タイミング制御部41)からの制御に応じて、距離画像センサ32に備えた構成要素の動作を制御する。なお、制御回路322による距離画像センサ32に備えた構成要素の制御は、例えば、距離画像処理部4(より具体的には、タイミング制御部41)が直接行う構成であってもよい。この場合、距離画像センサ32は、制御回路322を備えない構成であってもよい。
 画素駆動回路326は、格子状に配列した画素321が備える光電変換素子(後述する光電変換素子PD)が発生した電荷を、画素321が備えた複数の電荷蓄積部(後述する電荷蓄積部CS1、CS2、CS3)に振り分けて蓄積させる蓄積駆動信号(後述する蓄積駆動信号TX1、TX2、TX3)、リセット信号(後述するリセット信号RST1、RST2、RST3)及びリセット駆動信号(後述するリセット駆動信号RSTD)を、受光画素部320内に格子状に配置された画素321の列単位に出力する。
 垂直走査回路323は、制御回路322からの制御に応じて、受光画素部320内に配置された画素321の各々を制御し、画素321それぞれから、入射した光を光電変換した電荷量に応じた電圧の信号(以下、「電圧信号」という)を対応する垂直信号線327に出力させる(読み出させる)駆動回路である。垂直走査回路323は、画素321を駆動(制御)して読み出すための制御信号(後述する選択駆動信号SEL1,SEL2、SEL3)を、受光画素部320内に格子状に配置された画素321の行単位に出力する。
 これにより、画素321において電荷蓄積部(後述する電荷蓄積部CS1、CS2、CS3)それぞれに振り分けられた電荷量に応じた電圧信号が、受光画素部320の列ごとに対応する垂直信号線327の各々に読み出され、画素信号処理回路325に出力される。
 受光画素部320において、画素321は、光源部2が被写体Sに照射した光パルスPOが被写体Sによって反射された反射光RLを受光し、受光した反射光RLの光量(受光量)に応じた電荷を発生させる。それぞれの画素321において、画素駆動回路326は、蓄積駆動信号を出力することにより、複数備えたいずれかの電荷蓄積部に、受光した反射光RLの光量(受光量)に応じた電荷を振り分けて蓄積させる。そして、画素321において、垂直走査回路323は、読出駆動信号として選択駆動信号を出力することにより、それぞれの電荷蓄積部に振り分けられて蓄積された電荷の電荷量に応じた大きさの電圧信号を、対応する垂直信号線327に出力する。なお、画素321の構成と駆動(制御)方法とに関する詳細な説明は、後述する。
 画素信号処理回路325は、垂直走査回路323からの制御に応じて、それぞれの列の画素321から、対応する垂直信号線327に出力された電圧信号に対して、予め定めた信号処理を行う信号処理回路である。予め定めた信号処理としては、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)によって電圧信号に含まれるノイズを抑圧するノイズ抑圧処理などがある。
 なお、画素信号処理回路325は、受光画素部320のそれぞれの列に対応した複数の画素信号処理回路からなる画素信号処理回路群であってもよい。この場合、画素信号処理回路325は、制御回路322からの制御に応じて、予め定めた信号処理をした後の電圧信号を、内部に設けられたAD変換回路に対して出力し、AD変換回路は、水平走査回路324の制御に応じて、受光画素部320の行ごとに、AD変換されたデジタル値を水平信号線329に出力する。
 垂直走査回路323は、それぞれの列の画素321に対応する電圧信号を出力させるための読出駆動信号を、画素信号処理回路325に順次出力する。
 水平走査回路324は、制御回路322からの制御に応じて、信号処理をした後の電圧信号がAD変換されたデジタル値を、水平信号線329に順次出力させる(読み出させる)。これにより、画素信号処理回路325が出力した信号処理をした後の1フレーム分の電圧信号が、1フレーム分の画素信号として、水平信号線329を経由して距離画像センサ32の外部に順次出力される。このとき、距離画像センサ32は、例えば、出力アンプなどの不図示の出力回路から、信号処理をした後の電圧信号を、画素信号として距離画像センサ32の外部に出力する。
 以下の説明においては、距離画像センサ32に備えた画素信号処理回路325が、画素321から出力された電圧信号に対してノイズ抑圧処理を行い、その後、AD変換回路においてA/D変換処理をして出力する、つまり、デジタル値に変換した電圧信号を水平信号線329から出力するものとして説明する。
 次に、距離画像センサ32に備える受光画素部320内に配置された画素321の構成について説明する。図3は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素321の構成の一例を示した回路図である。図3には、受光画素部320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
 画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備えている。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備えている。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。ドレインゲートトランジスタGD、読み出しゲートトランジスタG、リセットゲートトランジスタRT、ソースフォロアゲートトランジスタSF及び選択ゲートトランジスタSLは、NチャネルMOSトランジスタである。
 なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、ゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備えている。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。
 光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素321に備える光電変換素子PDの構造に関して特に規定しない。このため、光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、画素321に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
 ドレインゲートトランジスタGDは、垂直走査回路323から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積し、それぞれの画素信号読み出し部RUに転送されなかった電荷を破棄するためのトランジスタである。つまり、ドレインゲートトランジスタGDは、光電変換素子PDが発生した、被写体Sとの間の距離の測定に用いない電荷をリセットするトランジスタである。
 読み出しゲートトランジスタGは、垂直走査回路323から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積した電荷を、対応する電荷蓄積部CSに転送するためのトランジスタである。読み出しゲートトランジスタGによって転送された電荷は、対応する電荷蓄積部CSに保持(蓄積)される。
 ここで、画素信号読み出し部RU1において、読み出しゲートトランジスタG1は、ソースが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX1を伝搬する信号線LTX1に接続され、ドレインがフローティングディフュージョンFD1及び電荷蓄積容量C1の第1の端子とに接続されている。
 同様に、画素信号読み出し部RU2において、読み出しゲートトランジスタG2は、ソースが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX2を伝搬する信号線LTX2に接続され、ドレインがフローティングディフュージョンFD2及び電荷蓄積容量C2の第1の端子とに接続されている。
 また、同様に、画素信号読み出し部RU3において、読み出しゲートトランジスタG3は、ソースが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX3を伝搬する信号線LTX3に接続され、ドレインがフローティングディフュージョンFD3及び電荷蓄積容量C3の第1の端子とに接続されている。
 上述した蓄積駆動信号TX1、TX2及びTX3の各々は、画素駆動回路326から、信号線LTX1、LTX2、LTX3それぞれを介して供給される。
 電荷蓄積容量Cは、対応する読み出しゲートトランジスタGによって転送された電荷を保持(蓄積)する容量である。
 リセットゲートトランジスタRTは、垂直走査回路323から入力された駆動信号に応じて、対応する電荷蓄積部CSに保持された電荷を破棄するためのトランジスタである。つまり、リセットゲートトランジスタRTは、対応する電荷蓄積部CSに保持された電荷をリセットするトランジスタである。
 ソースフォロアゲートトランジスタSFは、ゲート端子に接続された電荷蓄積部CSに蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタSLに出力するためのトランジスタである。
 選択ゲートトランジスタSLは、垂直走査回路323から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタSFによって増幅された電圧信号を、対応する出力端子Oから出力するためのトランジスタである。
 上述した構成によって、画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
 距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部RUを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
 また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよい。つまり、画素321は、それぞれの電荷蓄積容量Cを備えていない構成であってもよい。この構成の場合には、電荷検出感度(電荷電圧変換ゲインCG)が高められる効果を有する。しかしながら、距離画像撮像装置1において距離の測定におけるダイナミックレンジを広くすることを考えると、より多くの電荷を保持(蓄積)することができる構成の方が優位である。このため、画素321では、画素信号読み出し部RUに電荷蓄積容量Cを備え、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSを構成することにより、フローティングディフュージョンFDのみで電荷蓄積部CSを構成した場合よりも、より多くの電荷を保持(蓄積)することができる構成にしている。
 また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、距離画像センサ32に配置される画素に、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、距離画像撮像装置1における画素321の駆動(制御)方法(タイミング)について説明する。図4は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素321を駆動するタイミングを示したタイミングチャートである。図4には、距離画像センサ32に1フレーム分の画素信号を出力させる際の画素321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。
 最初に、受光した光の光量(受光量)に応じて光電変換素子PDが発生して蓄積した電荷を、それぞれの画素信号読み出し部RUに振り分ける電荷蓄積期間における画素321の駆動(制御)について説明する。電荷蓄積期間では、光源部2によって光パルスPOを被写体Sに照射する。そして、光パルスPOを照射したタイミングに同期して画素321を駆動することにより、受光した背景光および反射光RLに応じた電荷を、それぞれの電荷蓄積部CSに振り分ける。画素駆動回路326は、受光画素部320内に配置された全ての画素321を同時に駆動する、いわゆる、グローバルシャッタ駆動によって、全ての画素321に備えたそれぞれの電荷蓄積部CSに電荷を振り分けて蓄積させる。なお、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス幅Twは、例えば、10nSなど、予め定めた非常に短い時間である。その理由は、パルス変調方式による距離の測定では、測定することができる最大の距離(以下、「最大測定距離」という)が、光パルスPOのパルス幅Twによって決められるからである。上述した光パルスPOのパルス幅Twが10nSである場合、最大測定距離は1.5mになる。また、単純に光パルスPOのパルス幅Twを広くする、つまり、光源装置21におけるレーザー光の発光時間を長くすると、光電変換素子PDがより多くの反射光RLを受光することができるが、測定する被写体Sとの距離の分解能が低下する。他方、光パルスPOのパルス幅Twが短いと、光電変換素子PDが光電変換によって発生させる電荷の電荷量も少なくなる。このため、距離画像撮像装置1では、電荷蓄積期間においてそれぞれの電荷蓄積部CSに十分な量の電荷が蓄積されるように、光パルスPOの照射および電荷の振り分けを複数回行う。
 ここで、垂直走査回路323及び画素駆動回路326の各々が画素321を駆動(制御)する構成として説明する。以下の説明において、制御回路322は、画素駆動回路326に対して、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を生成するクロック信号CK1、CK2、CK3、CKRSTDをそれぞれ出力する。また、制御回路322は、垂直走査回路323に対して、選択駆動信号SEL1、SEL2、SEL3、リセット信号RST1、RST2、RST3の各々を生成するクロック信号をそれぞれ出力する。
 図4に示したタイミングチャートの電荷蓄積期間には、光パルスPOの照射および全ての画素321における電荷の振り分けを複数回行う場合の画素321の駆動タイミングを示している。なお、図4に示したタイミングチャートの電荷蓄積期間における光パルスPOは、“H(High)”レベルのときに光パルスPOが照射(光源装置21がレーザー光を発光)し、“L(Low)”レベルのときに光パルスPOの照射が停止(光源装置21が消灯)されるものとして説明する。また、図4に示したタイミングチャートは、全ての画素321がリセットされている、つまり、光電変換素子PDおよび電荷蓄積部CSに電荷が蓄積されていない状態から始まるものとして説明する。
 図4に示したタイミングチャートの電荷蓄積期間には、光パルスPOの照射および全ての画素321における電荷の振り分けを複数回行う場合の画素321の駆動タイミングを示している。図4に示す信号レベルとして、2値の電圧パルスのうち高い側の電圧値が“H”レベルであり、低い側の電圧値が“L”レベルである。
 以下の説明において、時刻tA1からtA5が電荷の振り分けを行なう蓄積周期であり、電荷蓄積期間に複数の蓄積周期が繰返される。また、例えば、時刻tA1、tA2、tA3、tA4の間の時間幅、すなわち光パルスPO、蓄積駆動信号TX1、TX2、TX3それぞれのパルス幅は、同一のTwである。
 電荷蓄積期間では、まず、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA1から、光電変換素子PDが光電変換して発生させた、光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
 その後、画素駆動回路326は、光源部2が光パルスPOを照射するタイミングと同じ時刻tA2から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG2を介して電荷蓄積部CS2に転送して蓄積させる。ここで、電荷蓄積部CS2に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間内に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した少ない遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが近い位置に存在する場合には、照射した光パルスPOが短い時間で被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS2には、近い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 その後、画素駆動回路326は、光源部2が光パルスPOの照射を停止するタイミングと同じ時刻tA3から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG3を介して電荷蓄積部CS3に転送して蓄積させる。ここで、電荷蓄積部CS3に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間外に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した多くの遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが遠い位置に存在する場合には、照射した光パルスPOがより長い時間を要して被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS3には、遠い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
 その後、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ経過した時刻tA4から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷、つまり、被写体Sとの間の距離の測定に用いない電荷を、ドレインゲートトランジスタGDを介して破棄させる。言い換えれば、光電変換素子PDがリセットさせる。
その後、画素駆動回路326は、光源部2が次に光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA5において、光電変換素子PDのリセットを解除する。そして、画素駆動回路326は、時刻tA1からのタイミングと同様に、光電変換素子PDが次に光電変換して発生させた電荷、つまり、次に光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
 以降、画素駆動回路326は、時刻tA1~時刻tA5までと同様の画素321の駆動(以下、「電荷振り分け駆動」という)を繰り返す。これにより、電荷蓄積期間では、全ての画素321に備えたそれぞれの電荷蓄積部CSに、電荷振り分け駆動を繰り返した分の電荷量が蓄積されて保持される。なお、電荷蓄積期間において電荷振り分け駆動を繰り返す最大の回数は、距離画像センサ32が、1フレーム分の画素信号を出力する(取得する)周期によって決まる。より具体的には、距離画像センサ32が、1フレーム分の画素信号を取得する時間から、画素信号読み出し期間を差し引いた時間を、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス周期時間Toで除算した商の回数である。なお、距離画像センサ32では、電荷振り分け駆動の回数が多いほど、それぞれの電荷蓄積部CSに蓄積(積算)される電荷量が多くなり、高感度となる。これにより、距離画像センサ32では、測定する被写体Sとの距離の分解能を高めることができる。
 続いて、電荷蓄積期間が終了した後に、それぞれの画素信号読み出し部RUに備えたそれぞれの電荷蓄積部CSに振り分けられた電荷量に応じた電圧信号を、受光画素部320内に配置された画素321の行ごとに順次出力させる画素信号読み出し期間における画素321の駆動(制御)について説明する。画素信号読み出し期間では、受光画素部320内に配置された画素321を行ごとに駆動する、いわゆる、ローリング駆動によって、対応する行に配置された画素321に備えた電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号を、行順次で画素信号処理回路325に出力させる。
 なお、上述したように、距離画像センサ32においては、それぞれの画素321が出力した電圧信号に対して、画素信号処理回路325が、ノイズ抑圧処理やA/D変換処理などの予め定めた信号処理を行う。ここで、画素信号処理回路325がノイズ抑圧処理として行う相関二重サンプリング(CDS)処理は、電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号(以下、「距離画素電圧信号PS」という)と、電荷蓄積部CSがリセットされている状態(リセット状態)の電荷量に応じた電圧信号(以下、「リセット電圧信号PR」という)との差分をとる処理である。このため、画素信号読み出し期間では、それぞれの画素321に備えたそれぞれの電荷蓄積部CSに対応する距離画素電圧信号PSとリセット電圧信号PRとのそれぞれの電圧信号を、行順次で画素信号処理回路325に出力させる。
 図4に示したタイミングチャートの画素信号読み出し期間には、受光画素部320の水平方向(行方向)にy行(yは1以上の整数)、垂直方向(列方向)にx列(xは1以上の整数)の複数の画素321が配置されている場合において、受光画素部320のi行目(1≦i≦y)に配置されたそれぞれの画素321(i)から、距離画素電圧信号PS(i)とリセット電圧信号PR(i)とのそれぞれの電圧信号を出力させる場合の画素321の駆動タイミングを示している。なお、図4に示したタイミングチャートでは、それぞれの画素321(i)に備えた電荷蓄積部CS1(i)、CS2(i)、CS3(i)の順番に、それぞれの電圧信号を出力させている。
 画素信号読み出し期間では、まず、時刻tR1~時刻tR2の期間において、垂直走査回路323は、距離画素電圧信号PS1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、垂直信号線を介して画素信号読み出し部RU1(i)から出力された距離画素電圧信号PS1(i)を、一旦保持する。
 その後、時刻tR3~時刻tR4の期間において、垂直走査回路323は、リセット電圧信号PR1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、一旦保持している距離画素電圧信号PS1(i)と、垂直信号線を介して画素信号読み出し部RU1(i)から出力されたリセット電圧信号PR1(i)との差分をとる、すなわち、電荷蓄積部CS1(i)に蓄積(積算)されて保持されている電荷量に応じた電圧信号に含まれるノイズを抑圧する。
 その後、時刻tR4~時刻tR7の期間において、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS2(i)とリセット電圧信号PR2(i)とを、出力端子O2(i)から垂直信号線を介して画素信号処理回路325に出力させる。さらに、時刻tR7~時刻tR10の期間においても、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS3(i)とリセット電圧信号PR3(i)とを、出力端子O3(i)から垂直信号線を介して画素信号処理回路325に出力させる。
 以降、垂直走査回路323は、時刻tR1~時刻tR10までと同様の画素321の駆動(以下、「画素信号読み出し駆動」という)を順次、受光画素部320の他の行に配置されたそれぞれの画素321(例えば、i+1行目に配置されたそれぞれの画素321)に対して行って、受光画素部320内に配置された全ての画素321から、それぞれの電圧信号を順次出力させる。
 このような駆動(制御)方法(タイミング)によって、画素駆動回路326は、受光画素部320内に配置されたそれぞれの画素321において光電変換素子PDが発生して蓄積した電荷のそれぞれの画素信号読み出し部RUへの振り分けを複数回行う。
 また、垂直走査回路323は、画素信号読み出し部RUに備えた電荷蓄積部CSに蓄積(積算)された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路325に出力させる。
 なお、画素信号処理回路325は、ノイズを抑圧したそれぞれの電圧信号に対してA/D変換処理を行ごとに行う。そして、水平走査回路324は、画素信号処理回路325がA/D変換処理を行った後のそれぞれの行の電圧信号(デジタル化された電圧信号)を、受光画素部320の列の順番に水平信号線を経由して順次出力させる。これにより、距離画像センサ32は、1フレーム分の全ての画素321の画素信号(電荷蓄積部CS1、CS2及びCS3の各々の電荷量Q1、Q2、Q3それぞれに対応する画素信号VQ1、VQ2、VQ3)を外部に出力する。これにより、距離画像撮像装置1では、撮像画像の1フレーム分の画素信号(画素信号VQ1、VQ2、VQ3)が、いわゆる、ラスター順に、距離演算部42に出力される。
 なお、図4に示した画素321の駆動(制御)タイミングからもわかるように、1フレーム分の画素信号のそれぞれには、対応する画素321に備えた3つの画素信号読み出し部RU(電荷蓄積部CS)のそれぞれに対応する3つの電圧信号が含まれている。距離演算部42は、距離画像センサ32から出力された1フレーム分の画素信号に基づいて、被写体Sとの間の距離を、それぞれの画素信号ごと、つまり、それぞれの画素321ごとに演算する。
 ここで、距離演算部42における距離画像撮像装置1と被写体Sとの間の距離の演算方法について説明する。ここでは、画素信号読み出し部RU1の電荷蓄積部CS1に振り分けられた光パルスPOが照射される前の背景光に応じた電荷量を電荷Q1とする。また、画素信号読み出し部RU2の電荷蓄積部CS2に振り分けられた背景光と少ない遅れ時間で入射してきた反射光RLに応じた電荷量を電荷Q2とする。また、画素信号読み出し部RU3の電荷蓄積部CS3に振り分けられた背景光と多くの遅れ時間で入射してきた反射光RLに応じた電荷量を電荷Q3とする。距離演算部42は、それぞれの画素321ごとの被写体Sとの間の距離Lを、すでに説明した式(1)によって求める。
 上述したように、距離画像撮像装置1は、距離画像センサ32の受光画素部320内に配置されたそれぞれの画素321ごとに、自身と被写体Sとの間の距離Lを求める。
 なお、上述したように、距離画像センサ32に格子状に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RU1、RU2及びRU3を備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける2つ以上の画素信号読み出し部RUを備えた構成の画素321であればよい。この場合、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサにおいても、画素の駆動(制御)方法(タイミング)は、図4に示した距離画像撮像装置1における画素321の駆動(制御)方法(タイミング)と同様に考えることによって、容易に実現することができる。より具体的には、それぞれの画素信号読み出し部RUに備えた読み出しゲートトランジスタGやドレインゲートトランジスタGDに入力する駆動信号の位相が互いに重ならないように位相関係を維持した周期で、画素に対する電荷振り分け駆動を繰り返すことによって、距離画像センサ32と同様に、それぞれの画素信号読み出し部RUに備えた電荷蓄積部CSに、対応する光に応じた電荷が蓄積(積算)させることができる。そして、画素信号読み出し駆動によって全ての画素からそれぞれの電圧信号を順次出力させることによって、距離画像センサ32と同様に、1フレーム分の画素信号を距離画像センサの外部に出力することができる。これにより、距離演算部42は、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサから出力された1フレーム分の画素信号に基づいて、同様に、距離画像撮像装置1と被写体Sとの間の距離Lをそれぞれの画素信号ごと(それぞれの画素ごと)に求めることができる。
 本実施形態においては、非制御電荷の電圧成分を除去するため、予め補正パラメータとして、以下の処理により非制御電荷の電荷量に対応した電圧を参照基準電圧として、電荷蓄積部CS1、CS2及びCS3の各々において取得し、補正パラメータ記憶部43に書き込んで記憶させておく。
 また、同様に、背景光により生成された電荷量に対応した電圧を参照背景光電圧として、電荷蓄積部CS1、CS2及びCS3の各々において取得し、補正パラメータ記憶部43に書き込んで記憶させておく。
 本実施形態においては、背景光により生成される非制御電荷に対応した参照基準電圧のデータと、背景光により生成される背景光電荷に対応した参照背景光電圧を、例えば、距離画像撮像装置1の出荷時や起動時、すなわち距離画像を撮像する前に予め取得し、補正パラメータ記憶部43に書き込んで記憶させておく。
 図5は、本発明の第1の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。例えば、距離画像撮像装置1が起動された際、距離演算部42は、参照背景光電圧取得フレーム及び参照基準電圧取得フレームの各々におけるタイミング出力処理をタイミング制御部41に行わせる。
 図5(A)は、参照背景光電圧取得フレームにおいて、電荷蓄積部CS1に蓄積される背景光により生成された電荷量に対応する参照背景光電圧VA1、電荷蓄積部CS2に蓄積される背景光により生成された電荷量に対応する参照背景光電圧VA2、電荷蓄積部CS3に蓄積される背景光により生成された電荷量に対応する参照背景光電圧VA3のそれぞれを取得する処理を示している。
 図5(A)においては、距離画像センサ32は、図4におけるフレーム周期の動作説明と同様な処理により、蓄積駆動信号TX1、TX2及びTX3の各々を、それぞれパルス幅Tw1、Tw2、Tw3により、読み出しゲートトランジスタG1、G2、G3に供給する。これにより、フォトダイオードPDが入射光により収集した電荷を、電荷蓄積部CS1、CS2、CS3に振り分けて、背景光電荷の蓄積を行う。このとき、タイミング制御部41は、図4の処理とは異なり、光源装置21を制御して光パルスPOの放射を行わせない。このため、距離画像センサ32の各画素321のフォトダイオードPDに入力される入射光、より厳密には、フォトダイオードPDを含む画素のシリコン領域に入力される入射光は、撮像する環境における背景光のみとなる。
 これにより、参照背景光電圧取得フレームにおける蓄積期間において、各画素回路における電荷蓄積部CS1、CS2及びCS3の各々には、レンズ31により入射角度が画素321のそれぞれにおいて異なった角度で入射され生成された電荷が蓄積される。
 そして、図4の説明と同様に読み出し処理が行われ、画素信号処理回路325から、電荷蓄積部CS1に蓄積された背景光のみによる背景光電荷(すなわち、参照背景光電荷)の電荷量に対応した参照背景光電圧VA1、電荷蓄積部CS2に蓄積された背景光電荷の電荷量に対応した参照背景光電圧VA2、電荷蓄積部CS3に蓄積された背景光電荷の電荷量に対応した参照背景光電圧VA3が画素信号として出力される。距離演算部42は、取得した参照背景光電圧VA1、VA2及びVA3の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に順番に取得した参照背景光電圧VA1、VA2及びVA3の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。ここで、同一の画素321においては、フォトダイオードPDを含む画素のシリコン領域に入力される入射光により光電変換され発生した電荷のうち、フォトダイオードPDに収集され、それぞれの読み出しゲートトランジスタG1、G2、G3で制御されて振り分けられた電荷蓄積部CS1、CS2、CS3それぞれに蓄積される電荷は同一である。参照背景光電圧VA1、VA2及びVA3の各々が異なるのは、電荷蓄積部CS1、CS2、CS3それぞれに流入して蓄積される非制御電荷が異なるためである。
 図5(B)は、参照基準電圧取得フレームにおいて、背景光によって生成されて、読み出しゲートトランジスタG1を介さずに電荷蓄積部CS1に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VB1、読み出しゲートトランジスタG2を介さずに電荷蓄積部CS2に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VB2、読み出しゲートトランジスタG3を介さずに電荷蓄積部CS3に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VB3のそれぞれを取得する処理を示している。
 図5(B)においては、距離画像センサ32は、図4におけるフレーム周期の動作説明と同様な処理により、電荷の蓄積及び読み出しを行う。一方、タイミング制御部41は、図5(A)の場合と同様に、光源装置21を制御して光パルスPOの放射を行わせないとともに、図5(A)の場合と異なり、制御回路322を制御して蓄積駆動信号TX1、TX2及びTX3の各々を出力させず、電荷蓄積部CS1、CS2、CS3それぞれに、電荷(すなわち、電荷蓄積部に蓄積させる制御電荷)の振り分けを行わせない。
 また、タイミング制御部41は、制御回路322を制御して、電荷蓄積部CS1、CS2及びCS3の各々に電荷振り分けを行うタイミングで、ドレインゲートトランジスタGDがオン状態とするリセット駆動信号RSTDを出力し、フォトダイオードPDに収集され、それぞれの読み出しゲートトランジスタG1、G2、G3で制御されて振り分けられて、それぞれの電荷蓄積部に蓄積される制御電荷に相当する電荷を破棄している。しかしながら、読み出しゲートトランジスタG1、G2、G3で振り分けを行う期間は、30nsほどの極めて短い時間であり、フォトダイオードPDに収集される電荷は少ないため、ほとんどの場合、フォトダイオードPDで保持できるため、図5(A)と同様に各読み出しゲートトランジスタGで振り分けを行う期間においてドレインゲートトランジスタGDをオフ状態とする構成としてもよく、その場合は、振り分け期間直後のドレインゲートトランジスタGDをオン状態にしたときに、フォトダイオードPDで保持された電荷はドレインに破棄される。
 このため、読み出しゲートトランジスタG1、G2、G3の各々がオフのままとなり、背景光による制御電荷が電荷蓄積部CS1、CS2、CS3のそれぞれに蓄積されることがない。すなわち、読み出しゲートトランジスタG1、G2、G3それぞれを介して、背景光による制御電荷が伝搬されないため、電荷蓄積部CS1、CS2及びCS3の各々には、読み出しゲートトランジスタG1、G2及びG3の各々を介さずに流入する非制御電荷QB1、QB2、QB3それぞれのみが蓄積される。
 そして、図5(B)においても、図5(A)と同様に読み出し処理が行われ、画素信号処理回路325から画素信号として、電荷蓄積部CS1に蓄積された非制御電荷QB1の電荷量に対応した参照基準電圧VB1、電荷蓄積部CS2に蓄積された非制御電荷QB2の電荷量に対応した参照基準電圧VB2、電荷蓄積部CS3に蓄積された非制御電荷の電荷量に対応した参照基準電圧VB3が画素信号として出力される。距離演算部42は、取得した参照基準電圧VB1、VB2及びVB3の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に、順番に取得した参照基準電圧VB1、VB2及びVB3の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。
 そして、距離画像センサ32と被写体Sとの間の距離を測定するフレーム周期において、すでに説明したように、画素信号処理回路325は、画素信号(デジタル値)として、電荷蓄積部CS1、CS2およびCS3の各々に対応した画素信号VQ1、VQ2、VQ3のそれぞれを、1フレーム分に対応して画素321毎に、距離演算部42に対して出力する。
 このとき、距離演算部42は、画素信号処理回路325から供給される画素321毎の画素信号VQ1、VQ2及びVQ3の各々に対応し、この画素321に対応する参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3との各々を、補正パラメータ記憶部43から順次読み出す。
 そして、距離演算部42は、参照背景光電圧VA1により画素信号VQ1を除算(VQ1/VA1)し、調整比βを算出する。
 この調整比βは、補正パラメータの取得の時点と、距離の算出を行う時点とにおける背景光の強度比を示す値であり、VQ2’/VA2及びVQ3’/VA3に対しても、信号強度のリニアリティ領域(非飽和領域)においては同じ値となる。ここで、補正画素信号VQ2’は、電荷蓄積部CS2に振り分けられた背景光と少ない遅れ時間で入射してきた反射光RLに応じた電荷量のうち反射光RLに応じた電荷の成分が含まれていない電圧である。同様に、補正画素信号VQ3’は、電荷蓄積部CS3に振り分けられた背景光と多くの遅れ時間で入射してきた反射光RLに応じた電荷量のうち反射光RLに応じた電荷の成分が含まれていない電圧である。
 距離演算部42は、算出した調整比βと、参照基準電圧VB1、VB2及びVB3の各々とを用いて以下の(2)式、(3)式、(4)式により、画素信号VQ1、VQ2、VQ3のそれぞれに対応した調整電圧VP1、VP2、VP3を算出する。ここで、調整電圧VP1、VP2及びVP3の各々は、距離測定時に生じている、非制御電荷が電荷蓄積部CS1、CS2、CS3それぞれに蓄積されたことにより生ずる電圧のことである。
 VP1=β×VB1=(VQ1/VA1)×VB1   …(2)
 VP2=β×VB2=(VQ1/VA1)×VB2   …(3)
 VP3=β×VB3=(VQ1/VA1)×VB3   …(4)
 上述した(2)式、(3)式、(4)式により、調整比βに対応した、すなわち距離Lを算出する時点における背景光の強度に対応した参照基準電圧VB1、VB2及びVB3の各々に基づいた調整電圧VP1、VP2、VP3それぞれを取得することができる。
 そして、距離演算部42は、取得した調整電圧VP1、VP2及びVP3の各々を用いて、以下の(5)式、(6)式、(7)式により、画素信号VQ1、VQ2及びVQ3の各々から、距離測定時に生じている、非制御電荷が電荷蓄積部CSに蓄積されたことにより生ずる電圧成分を除去した補正画素信号VQ1’、VQ2’、VQ3’を算出する。
 VQ1’=VQ1-VP1   …(5)
 VQ2’=VQ2-VP2   …(6)
 VQ3’=VQ3-VP3   …(7)
 距離演算部42は、求めた補正画素信号VQ1’、VQ2’及びVQ3’の各々を用いて、すでに説明した(1)式に対応した以下の(8)式により、距離画像センサ32と被写体Sとの間の距離Lを算出する。
 L=[(VQ3’-VQ1’)/(VQ2’+VQ3’-2VQ1’)]×Dm
 …(8)
 上式(8)において、Dmは、(c/2)Twである。
 上述したように、距離画像撮像装置1は、距離画像センサ32の受光画素部320内に配置されたそれぞれの画素321ごとに、距離画像センサ32と被写体Sとの間の距離Lを求める。本実施形態によれば、画素信号VQ1、VQ2及びVQ3の各々を、調整電圧VP1、VP2、VP3それぞれで補正した補正画素信号VQ1’、VQ2’、VQ3’を用いることにより、従来から用いていた距離を求める式(1)をそのまま利用することができる。
 図6は、非制御電荷が蓄積される期間を説明するタイミングチャートである。図6は、図4と同様に示したタイミングチャートであり、2個のフレーム周期にわたって示され、フレーム周期毎において図4で説明したように、光パルスPOを照射して電荷蓄積部CSに対して電荷を蓄積する電荷蓄積期間(Integuration)と、電荷蓄積部CSから電荷を読み出す画素信号読み出し期間(Read)とがある。ここで、フォトダイオードPDにより収集され、それぞれの読み出しゲートトランジスタG1、G2、G3により制御されて振分けられた制御電荷は、電荷蓄積期間(Integuration)のみに電荷が電荷蓄積部CS1、CS2及びCS3の各々に蓄積される。電荷蓄積部CSは、電荷が読み出された後、一旦、リセットゲートトランジスタRTにより破棄されてリセットされるが、次の電荷読み出し時間まで電荷は破棄されない。すなわち、電荷の破棄は、1フレーム(Integuration+Read)毎に1回のみ行なわれるため、非制御電荷は、ほぼ1フレームの期間において電荷蓄積部CSに蓄積される。すなわち、制御電荷が電荷蓄積部CSに蓄積される期間よりも非制御電荷が電荷蓄積部CSに蓄積される期間の方が長くなる。
 このため、従来技術では、画素321の面積を縮小した場合、フォトダイオードPDにより収集され、読み出しゲートトランジスタGを介して電荷蓄積部CSに振分けられて蓄積される制御電荷の電荷量に対して、読み出しゲートトランジスタGを介さずに電荷蓄積部CSに蓄積される非制御電荷の電荷量の比率が大きくなり、求める距離Lの精度が低下する。さらに画素321の面積を縮小するに従って、非制御電荷の蓄積割合は、段階的に高くなるため、求める距離Lの精度が徐々に低下する。
 しかしながら、本実施形態によれば、読み出しゲートトランジスタGを介して制御電荷の電荷量に対して、読み出しゲートトランジスタGを介さずに電荷蓄積部CSに蓄積される非制御電荷の電荷量の比率が大きくなっても、画素321の面積を縮小しても、電荷蓄積部CSに蓄積される電荷の各々に含まれる、入射光の入射角に依存して電荷量が異なる非制御電荷それぞれの影響を排除することができ、被写体Sと自身との距離Lを、同様あるいはより高い精度で求めることができる。
 また、本実施形態によれば、レンズ31を取り付けて距離画像撮像装置1が組み立てられた後に、特別な校正機器を用いることなく、参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3とを計測することができ、取り付けられたレンズ31の個々の特性、また取り付けられたレンズ31と距離画像センサ32との相対位置の違いなどに対応させて、画素信号VQ1、VQ2及びVQ3の各々の補正を容易に行うことができる。
 また、本実施形態においては、レンズ31が複数のF値を有するなど、入射光の距離画像センサ32への入射角度を変化させる異なる特性を複数有している場合、それぞれの特性毎に、参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3とを求めて、あらかじめ特性の各々に対応させて補正パラメータ記憶部43に対して書き込んで記憶させ、特性に対応した画素信号VQ1、VQ2及びVQ3の各々の補正を行う構成としてもよい。この場合、距離演算部42は、フレーム周期において電荷の蓄積期間に用いたレンズの特性に対応した参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3などの補正パラメータを補正パラメータ記憶部43から読み込み、読み込んだ補正パラメータにより、画素信号VQ1、VQ2及びVQ3の各々の補正を行う。
 また、本実施形態においては、受光画素部320における全ての画素321の各々に対応した参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3とを、補正パラメータ記憶部43に記憶させたが、被写体Sに対して受光画素部320の前部に設けられたレンズ31を介して、画素321のそれぞれに入射光が入射するため、レンズ31の特性に対応して、調整比βが所定の差分範囲内に入るように画素321の各々をグループに分割し、それぞれのグループ内の画素321における参照背景光電圧VA1、VA2及びVA3の各々と、参照基準電圧VB1、VB2及びVB3各々との中央値を、グループ内の全ての画素321に対する参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3として用い、補正パラメータ記憶部43の記憶容量を低下する構成としてもよい。
 図7は、レンズ31の特性における入射光が各画素に入射する入射角度の変化の傾向を示す図である。
 図7において示すように、距離画像センサ32のチップの面積重心COを中心として、同心円状(同心円E)に連続して入射光の入射角度が徐々に変化するため、上述したように入射角度が同様な所定の画素321の各々のグループ化を行う構成とすることが可能である。
 また、他の構成として、面積重心COを中心とした同心円Eの所定の半径の位置における画素321における参照背景光電圧VA1、VA2及びVA3と、参照基準電圧VB1、VB2及びVB3との補正パラメータ値を補正パラメータ記憶部43に記憶させておく構成としてもよい。この場合には、上記所定の半径の同心円Eにおける補正パラメータ値を、同心円Eで挟まれる領域における画素321の各々の補正パラメータ値に補完する補完関数をあらかじめ、上記領域ごとに補正パラメータ記憶部43に書き込んで記憶させておく。そして、距離演算部42が、必要に応じて、同心円Eにおける補正パラメータ値及び補完関数を読み出し、同心円Eで挟まれる領域における画素321の補正パラメータ値を、その領域を挟んでいる同心円Eに対応する画素321における補正パラメータ値を補完関数により生成する構成とする。
 本実施形態においては、レンズ31特性を同心円状(同心円E)に連続して入射光の入射角度が徐々に変化する例で説明したが、使用するレンズの特性によって、必ずしも同心円状に変化させなくてもよく、レンズのもつ入射光の入射角度の特性に対応して変化させてもよい。
 また、本実施形態においては、距離画像センサ32における回路をnチャネル型トランジスタにより形成した例を示したが、半導体の極性を換えて、pチャネル型トランジスタにより形成してもよい。
<第2の実施形態>
 第2の実施形態による距離画像撮像装置は、図1に示す第1の実施形態と同様の構成であるが、第1の実施形態の画素321が画素信号読み出し部RU1、RU2及びRU3の3個であるのに対して、本実施形態においては、画素信号読み出し部RU1、RU2、RU3及びRU4(不図示)の4個を有している。
 画素信号読み出し部RU1、RU2、RU3及びRU4の各々は、それぞれ電荷蓄積部CS1、CS2、CS3、CS4(不図示)を備えている。
 本実施形態の構成の場合、電荷蓄積部CS1は、第1の実施形態と同様に、背景光のみによる入射光によりフォトダイオードPDで収集した背景光電荷が振り分け時間Tw1(パルス幅Twと同一の時間幅であり、以降に示すTw2、Tw3、Tw4それぞれも同様)において振り分けられて蓄積される。振り分け時間Tw1Tw2、Tw3及びTw4(不図示)の各々は、読み出しゲートトランジスタG1に印加される蓄積駆動信号TX1、読み出しゲートトランジスタG2に印加される蓄積駆動信号TX2、読み出しゲートトランジスタG3に印加される蓄積駆動信号TX3、読み出しゲートトランジスタG4(不図示)に印加される蓄積駆動信号TX4(不図示)のパルス幅である。Tw1、Tw2、Tw3及びTw4の各々は、それぞれ光パルスPOのパルス幅Twと同一である。
 電荷蓄積部CS1には、図4のタイミングチャートと同様に、光パルスPOが照射される前の振り分け時間Tw1において、フォトダイオードPDで収集した背景光電荷が振り分けられる。電荷蓄積部CS2、CS3及びCS4の各々には、図4のタイミングチャートと同様に、光パルスPOが照射されている振り分け時間Tw2、次の振り分け時間Tw3、さらに次の振分け時間Tw4それぞれにおいて、フォトダイオードPDで収集した背景光電荷と反射光RLに応じた電荷とが振り分けられる。
 本実施形態においては、第1の実施形態と同様に、背景光により生成される非制御電荷に対応した参照基準電圧VB1、VB2、VB3及びVB4の各々のデータと、背景光により生成される背景光電荷に対応した参照背景光電圧VA1、VA2、VA3及びVA4の各々のデータとを、例えば、距離画像撮像装置1の出荷時や起動時、すなわち距離画像を撮像する前に予め取得し、補正パラメータ記憶部43に書き込んで記憶させておく。
 図8は、本発明の第2の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。例えば、距離画像撮像装置1が起動された際、距離演算部42は、参照背景光電圧取得フレームにおける参照背景光電圧の取得処理と、参照基準電圧取得フレームにおける参照基準電圧取得処理とをタイミング制御部41に行わせる。
 図8(A)は、参照背景光電圧取得フレームにおいて、図5(A)と同様に、参照背景光電圧VA1、VA2及びVA3の各々とともに、電荷蓄積部CS4に蓄積される参照背景光電圧VA4を取得する処理を示している。
 図8(A)においては、距離画像センサ32は、電荷蓄積部CSに対する電荷の蓄積、及び電荷蓄積部CSからの電荷の読み出しを行う。この電荷の蓄積を行う際、タイミング制御部41は、光源装置21を制御して光パルスPOの放射を行わせない。このため、距離画像センサ32の各画素321に入力される入射光は、撮像する環境における背景光のみとなる。
 これにより、参照背景光電圧取得フレームにおける電荷の蓄積期間において、各画素321における電荷蓄積部CS1、CS2、CS3及びCS4の各々には、レンズ31により入射角度がそれぞれ異なった角度に変更された背景光のみの入射光が入射する。
 そして、図5(A)の説明と同様に読み出し処理が行われ、画素信号処理回路325から画素信号として、電荷蓄積部CS1に蓄積された背景光のみによる背景光電荷(すなわち、参照背景光電荷)の電荷量に対応した参照背景光電圧VA1、電荷蓄積部CS2に蓄積された背景光電荷の電荷量に対応した参照背景光電圧VA2、電荷蓄積部CS3に蓄積された背景光電荷の電荷量に対応した参照背景光電圧VA3、電荷蓄積部CS4に蓄積された背景光電荷の電荷量に対応した参照背景光電圧VA4が画素信号として出力される。距離演算部42は、取得した参照背景光電圧VA1、VA2、VA3及びVA4の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に、順番に取得した参照背景光電圧VA1、VA2、VA3及びVA4の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。
 図8(B)は、図5(B)と同様に、参照基準電圧取得フレームにおいて、参照基準電圧VB1、VB2、VB3のそれぞれと、背景光に伴って電荷蓄積部CS4に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VB4を取得する処理を示している。
 図8(B)においては、距離画像センサ32は、図4におけるフレーム周期の動作説明と同様な処理により、電荷の蓄積及び読み出しを行う。一方、タイミング制御部41は、光源装置21を制御して光パルスPOの放射を行わせないとともに、制御回路322を制御して蓄積駆動信号TX1、TX2、TX3及びTX4の各々を出力させず、電荷蓄積部CS1、CS2、CS3、CS4それぞれに、電荷の振り分けを行わせない。
 また、タイミング制御部41は、制御回路322を制御して、電荷蓄積部CS1、CS2、CS3及びCS4の各々に電荷振り分けを行うタイミングで、ドレインゲートトランジスタGDがオン状態とするリセット駆動信号RSTDを出力して電荷を破棄している。しかしながら、各読み出しゲートトランジスタG1、G2、G3、G4で振り分けを行う期間は、40nsほどの極めて短い時間であるため、フォトダイオードPDに収集される電荷は少なく、ほとんどの場合、フォトダイオードPDで保持できるため、図8(A)と同様に振り分けを行う期間においてドレインゲートトランジスタGDをオフ状態とする構成としてもよく、その場合は、振り分け期間直後のドレインゲートトランジスタGDをオン状態にしたときにフォトダイオードPDで保持された電荷はドレインに破棄される。
 これにより、読み出しゲートトランジスタG1、G2、G3、G4の各々がオフのままとなり、背景光による電荷が読み出しゲートトランジスタG1、G2、G3及びG4の各々を介して、電荷蓄積部CS1、CS2、CS3、CS4それぞれに伝搬されない。このため、電荷蓄積部CS1、CS2、CS3及びCS4の各々には、読み出しゲートトランジスタG1、G2、G3及びG4の各々を介さずに流入する非制御電荷QB1、QB2、QB3、QB4のみが蓄積される。
 そして、図8(A)と同様に読み出し処理が行われ、画素信号処理回路325から画素信号として、参照基準電圧VB1、VB2、VB3とともに、電荷蓄積部CS4に蓄積された非制御電荷の電荷量に対応した参照基準電圧VB4が画素信号として出力される。距離演算部42は、取得した参照基準電圧VB1、VB2、VB3及びVB4の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に、順番に取得した参照基準電圧VB1、VB2、VB3及びVB4の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。
 そして、距離画像センサ32と被写体Sとの間の距離を測定するフレーム周期において、すでに説明したように、画素信号処理回路325は、画素信号(デジタル)として、電荷蓄積部CS1、CS2、CS3およびCS4の各々に対応した画素信号VQ1、VQ2、VQ3、VQ4のそれぞれを、1フレーム分に対応して画素321毎に、距離演算部42に対して出力する。
 このとき、距離演算部42は、順次、補正パラメータ記憶部43から、読み出された画素321に対応する参照背景光電圧VA1、VA2、VA3及びVA4と、参照基準電圧VB1、VB2、VB3及びVB4とを読み出す。
 距離演算部42は、参照背景光電圧VA1により画素信号VQ1を除算(VQ1/VA1)し、調整比βを算出する。この調整比βは、補正パラメータの取得の時点と、距離の算出を行う時点とにおける背景光の強度比を示す値であり、VQ2’/VA2、VQ3’/VA3及びVQ4’/VA4も、信号強度のリニアリティ領域(非飽和領域)においては同じ値となる。ここで、補正画素信号VQ2’は、電荷蓄積部CS2に振り分けられた背景光と反射光RLに応じた電荷量のうち反射光RLに応じた電荷の成分が含まれていない電圧である。同様に、補正画素信号VQ3’は、電荷蓄積部CS3に振り分けられた背景光と反射光RLに応じた電荷量のうち反射光RLに応じた電荷の成分が含まれていない電圧であり、補正画素信号VQ4’は、電荷蓄積部CS4に振り分けられた背景光と反射光RLに応じた電荷量のうち反射光RLに応じた電荷の成分が含まれていない電圧である。
 距離演算部42は、調整比βと、参照基準電圧VB1、VB2、VB3及びVB4とを用いて以下の(9)式、(10)式、(11)式、(12)式により、画素信号VQ1、VQ2、VQ3及びVQ4の各々に対応した距離測定時に生じている、非制御電荷が電荷蓄積部CSに蓄積されたことにより生ずる調整電圧VP1、VP2、VP3、VP4それぞれを算出する。
 VP1=β×VB1=(VQ1/VA1)×VB1   …(9)
 VP2=β×VB2=(VQ1/VA1)×VB2   …(10)
 VP3=β×VB3=(VQ1/VA1)×VB3   …(11)
 VP4=β×VB4=(VQ1/VA1)×VB4   …(12)
 そして、距離演算部42は、調整電圧VP1、VP2、VP3及びVP4の各々を用いて、以下の(13)式、(14)式、(15)式、(16)式により、画素信号VQ1、VQ2、VQ3及びVQ4の補正画素信号VQ1’、VQ2’、VQ3’、VQ4’それぞれを算出する。
 VQ1’=VQ1-VP1   …(13)
 VQ2’=VQ2-VP2   …(14)
 VQ3’=VQ3-VP3   …(15)
 VQ4’=VQ4-VP4   …(16)
 以上により、画素信号読み出し部をRU1、RU2、RU3及びRU4の4個とした場合でも、画素信号読み出し部をRU1、RU2及びRU3の3個の場合と同様に、補正画素信号VQ1’、VQ2’、VQ3’、VQ4’を算出できる。すなわち、画素信号読み出し部が3個以上の場合で、上述した補正方法により、画素信号VQ1、VQ2、VQ3、VQ4の電圧値の正確な補正ができる。
<第3の実施形態>
 第1の実施形態及び第2の実施形態の各々が、被写体Sと距離画像センサ32との距離の計測を行う以前に、予め参照背景光電圧と参照基準電圧とを補正パラメータ記憶部43に書き込んで記憶させていたが、第3の実施形態においては、距離の計測処理毎に、補正パラメータを取得する構成となっている。
 本実施形態は、図1に示す距離画像撮像装置1と同様の構成であり、以下、第1の実施形態及び第2の実施形態の各々と異なる動作を説明する。
 本実施形態においては、一枚の距離画像を取得するために第1フレーム及び第2フレームの各々2つのフレームを使用する。このため、第1の実施形態及び第2の実施形態においては、例えば1秒間に60回の距離計測が行われるのに比較し、本実施形態においては、1秒間に30回の距離計測が行われる。
 図9は、本発明の第3の実施形態における参照背景光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。図9(A)が第1フレームのタイミングチャートを示し、図9(B)が第2フレームのタイミングチャートを示している。
 図9(A)は、第1フレームにおいて、図4で説明した処理と同様に、光パルスPOを照射し、被写体Sからの反射光RL(光パルスPOの照射タイミングから遅延時間Td)を受光する処理を行って距離画像を撮像し、画素信号VQ1、VQ2及びVQ3の各々を取得する。そして、距離演算部42は、取得した画素信号VQ1、VQ2及びVQ3の各々を、補正パラメータ記憶部43に書き込んで記憶させる。
 画素信号VQ1は、背景光のみの入射光によりフォトダイオードPDで収集され、電荷蓄積部CS1に振分けられて蓄積される電荷の電荷量に対応する電圧である。また、画素信号VQ2は、背景光及び反射光RLの一部が含まれる入射光によりフォトダイオードPDで収集され、電荷蓄積部CS2に振分けられて蓄積される電荷の電荷量に対応する電圧である。画素信号VQ3は、背景光及び反射光RLの一部が含まれる入射光によりフォトダイオードPDで収集され、電荷蓄積部CS3に振分けられて蓄積される電荷の電荷量に対応する電圧である。画素信号VQ1、VQ2及びVQ3の各々には、入射光に対応した電荷量の非制御電荷の電圧成分である参照基準電圧VB1、VB2、VB3それぞれが含まれている。
 図9(B)は、第2フレームにおいて、図9(A)の第1フレームと同様に、光パルスPOを放射するため、被写体Sからの反射光RL(光パルスPOの放射タイミングから遅延時間Td)を受光するが、図5(B)と同様の処理により、距離演算部42は、電荷蓄積部CS1、CS2及びCS3の各々に対して参照基準電圧VB1、VB2及びVB3の各々を取得する。ここで、図9(B)のタイミングチャートにおいては、電荷蓄積部CS1、CS2及びCS3の各々に電荷の振り分けを行うタイミングで、ドレインゲートトランジスタGDがオン状態とするリセット駆動信号RSTDを出力して電荷を破棄しているが、ここでも、各読み出しゲートトランジスタG1、G2、G3で振り分けを行う期間は、30nsほどの極めて短い時間であるため、フォトダイオードPDに収集される電荷は少なく、ほとんどの場合、フォトダイオードPDで保持できるため、図9(A)と同様に、振り分けを行う期間においてドレインゲートトランジスタGDをオフ状態とする構成としてもよく、この構成の場合は、振り分け期間直後のドレインゲートトランジスタGDをオン状態にしたときに、フォトダイオードPDで保持された電荷はドレインに破棄される。
 そして、距離演算部42は、補正パラメータ記憶部43から画素信号VQ1、VQ2及びVQ3の各々を読み込む。
 距離演算部42は、参照基準電圧VB1、VB2及びVB3の各々を、画素信号VQ1、VQ2、VQ3それぞれの調整電圧VP1、VP2、VP3とし、以下の(17)式、(18)式、(19)式により、補正画素信号VQ1’、VQ2’、VQ3’を算出する。
 VQ1’=VQ1-VP1   …(17)
 VQ2’=VQ2-VP2   …(18)
 VQ3’=VQ3-VP3   …(19)
 そして、距離演算部42は、求めた補正画素信号VQ1’、VQ2’、VQ3’を用いて、被写体Sと距離画像撮像装置1における距離画像センサ32との距離Lを(8)式により算出する。
 本実施形態によれば、距離を算出する処理毎に、補正パラメータとして参照基準電圧VB1、VB2及びVB3の各々の取得を行うため、第1の実施形態及び第2の実施形態のように予め補正パラメータ記憶部43に、全ての画素321に対応する参照背景光電圧VA1、VA2、VA3と、参照基準電圧VB1、VB2、VB3とを書き込んで記憶させる必要がないため、補正パラメータ記憶部43の容量を低減することができる。
 また、本実施形態によれば、第1フレームにおいて計測用の画素信号を取得し、次の第2フレームにおいて、計測用の画素信号を補正するための参照基準電圧の画素信号を取得するため、本発明で示している単発の光パルスの遅延を測る方法だけでなく、例えば、連続変調された光を照射して、この照射光と反射光の間の位相シフト量を求めて距離の計算に使うCW(continuous wave)変調を用いたTOFセンサにも適用することができるし、その他さまざまなTOFセンサに適用することができる。
 例えば、CW(continuous wave)変調を用いたTOFセンサでは、通常2つのフレームを用いて測距しているが、本実施形態と同様な補正を行うためには、2つの補正するためのフレームを追加し、一枚の距離画像を取得するために4つのフレームを使用すればよい。
<第4の実施形態>
 第1の実施形態から第3の実施形態は、背景光により発生して電荷蓄積部CS1、CS2及びCS3に流入する非制御電荷に対応した電圧成分を画素信号VQ1、VQ2、VQ3それぞれから除去する構成であった。
 一方、第4の実施形態は、光パルスPO(パルス幅Tw)が被写体Sで反射した反射光RLにより発生して電荷蓄積部CS1、CS2及びCS3の各々に流入する非制御電荷に対応した電圧成分を画素信号VQ1、VQ2、VQ3それぞれから除去する構成である。
 すでに述べたように、第1の実施形態から第3の実施形態のいずれかを施せば、背景光による非制御電荷が補正できる。本実施形態においては、第4の実施形態について、補正できることが既知であるため、背景光が存在しない状態、すなわち背景光が距離画像センサ32に入射されない、暗室などにおける環境光から遮光された状態を用いて説明する。
 本実施形態においては、電荷蓄積部CS1に蓄積される反射光により生成される反射光電荷C1の電荷量に対応した参照反射光電圧VC1、電荷蓄積部CS2に蓄積される反射光により生成される反射光電荷C2の電荷量に対応した参照反射光電圧VC2及び電荷蓄積部CS3に蓄積される反射光により生成される反射光電荷C3の電荷量に対応した参照反射光電圧VC3と、電荷蓄積部CS1に蓄積される反射光により生成される非制御電荷D1の電荷量に対応した参照基準電圧VD1、電荷蓄積部CS2に蓄積される反射光により生成される非制御電荷D2の電荷量に対応した参照基準電圧VD2及び電荷蓄積部CS3に蓄積される反射光により生成される非制御電荷D3の電荷量に対応した参照基準電圧VD3を、例えば、距離画像撮像装置1の出荷時や起動時、すなわち距離画像を撮像する前に予め取得し、補正パラメータ記憶部43に書き込んで記憶させておく。
 図10は、本発明の第4の実施形態における参照反射光電圧及び参照基準電圧の各々の取得の処理を説明するタイミングチャートである。
 図10(A)は、参照反射光電圧取得フレームにおいて、電荷蓄積部CS1に蓄積される反射光のみの入射光により生成された電荷量に対応する参照反射光電圧VC1、電荷蓄積部CS2に蓄積される反射光のみの入射光により生成された電荷量に対応する参照反射光電圧VC2、電荷蓄積部CS3に蓄積される反射光のみの入射光により生成された電荷量に対応する参照反射光電圧VC3のそれぞれを取得する処理を示している。
 図10(A)においては、距離画像センサ32は、図4におけるフレーム周期の動作説明と同様に光パルスPOの放射を行う距離計測と同様な処理により、電荷蓄積部CS1、CS2及びCS3の各々に対する電荷の蓄積、及び電荷蓄積部CS1、CS2、CS3それぞれからの読み出しを行う。
 これにより、参照反射光電圧取得フレームにおける蓄積期間において、各画素321における電荷蓄積部CS1、CS2及びCS3の各々には、レンズ31により画素321の各々への入射角度がそれぞれ異なって入射される反射光のみが入射光となり発生する電荷が蓄積される。
 そして、図4の説明と同様に読み出し処理が行われ、画素信号処理回路325から画素信号として、電荷蓄積部CS1に蓄積された反射光のみによる反射光電荷(すなわち、参照反射光電荷)の電荷量に対応した参照反射光電圧VC1、電荷蓄積部CS2に蓄積された反射光のみの電荷量に対応した参照反射光電圧VC2、電荷蓄積部CS3に蓄積された反射光のみの電荷量に対応した参照反射光電圧VC3が画素信号として出力される。距離演算部42は、取得した参照反射光電圧VC1、VC2及びVC3の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に、順番に取得した参照反射光電圧VC1、VC2及びVC3の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。
 図10(B)は、参照基準電圧取得フレームにおいて、反射光に伴って電荷蓄積部CS1に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VD1、反射光に伴って電荷蓄積部CS2に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VD2、反射光に伴って電荷蓄積部CS3に流入して蓄積される非制御電荷の電荷量に対応する参照基準電圧VD3のそれぞれを取得する処理を示している。
 図10(B)においては、距離画像センサ32は、図5(B)における参照基準電圧取得フレームの動作説明と同様な処理により、電荷の蓄積及び読み出しを行う。すなわち、タイミング制御部41は、光源装置21を制御して光パルスPOの放射を行わせ、一方、制御回路322を制御して蓄積駆動信号TX1、TX2及びTX3の各々を出力させず、電荷蓄積部CS1、CS2、CS3それぞれに電荷の振り分けを行わせない。
 また、タイミング制御部41は、制御回路322を制御して、電荷蓄積部CS1、CS2及びCS3の各々に電荷の振り分けを行うタイミングで、ドレインゲートトランジスタGDがオン状態とするリセット駆動信号RSTDを出力し、反射光により生成される電荷を破棄している。しかしながら、読み出しゲートトランジスタG1、G2及びG3の各々で振り分けを行う期間は、30nsほどの極めて短い時間であるため、フォトダイオードPDに収集される電荷は少なく、ほとんどの場合、フォトダイオードPDで保持できるため、図10(A)と同様に電荷の振り分けを行う期間においてドレインゲートトランジスタGDをオフ状態とする構成としてもよく、その場合は、振り分け期間直後のGDをオン状態にしたときにフォトダイオードPDで保持された電荷はドレインに破棄される。
 これにより、読み出しゲートトランジスタG1、G2、G3の各々がオフのままとなり、反射光による電荷が読み出しゲートトランジスタG1、G2、G3それぞれを介して、電荷蓄積部CS1、CS2及びCS3の各々に伝搬されない。このため、電荷蓄積部CS1、CS2及びCS3の各々には、読み出しゲートトランジスタG1、G2及びG3の各々を介さずに流入する非制御電荷QD1、QD2、QD3のみが蓄積される。
 そして、図10(A)と同様に読み出し処理が行われ、画素信号処理回路325から画素信号として、電荷蓄積部CS1に蓄積された非制御電荷QD1の電荷量に対応した参照基準電圧VD1、電荷蓄積部CS2に蓄積された非制御電荷QD2の電荷量に対応した参照基準電圧VD2、電荷蓄積部CS3に蓄積された非制御電荷QD3の電荷量に対応した参照基準電圧VD3が画素信号として出力される。距離演算部42は、取得した参照基準電圧VD1、VD2及びVD3の各々を、受光画素部320における画素321それぞれを識別する識別情報とともに補正パラメータ記憶部43に書き込んで記憶させる。または、距離演算部42が、画素信号処理回路325から画素信号が読み出される順番と同様に、順番に取得した参照基準電圧VD1、VD2及びVD3の各々を補正パラメータ記憶部43に書き込んで記憶させる構成としてもよい。
 そして、距離画像センサ32と被写体Sとの間の距離を測定するフレーム周期において、すでに説明したように、画素信号処理回路325は、画素信号(デジタル値)として、電荷蓄積部CS1、CS2およびCS3の各々に対応した画素信号VQ1、VQ2、VQ3のそれぞれを、1フレーム分に対応して画素321毎に、距離演算部42に対して出力する。
 このとき、距離演算部42は、順次、補正パラメータ記憶部43から、読み出された画素321に対応する参照反射光電圧VC1、VC2及びVC3と、参照基準電圧VD1、VD2及びVD3とを読み出す。
 そして、距離演算部42は、参照反射光電圧取得フレームにおける反射光により生成された電荷の電荷量に対応する反射光総電荷電圧VCALLを、以下の(20)式により算出する。
 VCALL=(VC2-VC1)+(VC3-VC1)  …(20)
 距離演算部42は、上記(20)式により、参照反射光電圧VC1、VC2及びVC3の各々に含まれる反射光により発生した反射光電荷の成分を反射光総電荷電圧VCALLとして抽出する。
 そして、距離演算部42は、距離画像センサ32と被写体Sとの間の距離を測定するフレームにおける反射光により生成された電荷の電荷量に対応する反射光総電荷電圧VQALLを、以下の(21)式により算出する。
 VQALL=(VQ2-VQ1)+(VQ3-VQ1)  …(21)
 距離演算部42は、上記(21)式により、画素信号VQ1、VQ2及びVQ3の各々に含まれる反射光により発生した反射光電荷の成分を反射光総電荷電圧VQALLとして抽出する。
 距離演算部42は、反射光総電荷電圧VCALLにより反射光総電荷電圧VQALLを除算(VQALL/VCALL)し、調整比βを算出する。
 この調整比βは、参照反射光電圧取得フレームと、距離画像センサ32と被写体Sとの間の距離を測定するフレームとにおける反射光RLの強度比を示している。
 このため、距離演算部42は、以下の(22)式、(23)式及び(24)式の各々により、画素信号VQ1、VQ2、VQ3のそれぞれを補正する調整電圧VR1、VR2、VR3を算出する。
 VR1=β×VD1=(VQALL/VCALL)×VD1   …(22)
 VR2=β×VD2=(VQALL/VCALL)×VD2   …(23)
 VR3=β×VD3=(VQALL/VCALL)×VD3   …(24)
 そして、距離演算部42は、以下の(25)式、(26)式及び(27)式の各々により、補正画素信号VQ1’、VQ2’及びVQ3’の各々を算出する。
 VQ1’=VQ1-VR1   …(25)
 VQ2’=VQ2-VR2   …(26)
 VQ3’=VQ3-VR3   …(27)
 距離演算部42は、求めた補正画素信号VQ1’、VQ2’及びVQ3’を用い、第1の実施形態における(8)式により、距離画像センサ32と被写体Sとの間の距離Lを算出する。
<第5の実施形態>
 上述した第4の実施形態が、被写体Sと距離画像センサ32との距離の計測を行う以前に、予め参照反射光電圧と参照基準電圧とを補正パラメータ記憶部43に書き込んで記憶させていたが、第5の実施形態においては、距離の計測処理毎に、補正パラメータを取得する構成となっている。
 本実施形態は、すでに述べた第4の実施形態に示す距離画像撮像装置1と同様の構成であり、以下、第4の実施形態と異なる動作を説明する。
 本実施形態においては、一枚の距離画像を取得するために第1フレーム及び第2フレームの各々2つのフレームを使用する。このため、第4の実施形態においては、例えば1秒間に60回の距離計測が行われるのに比較し、本実施形態においては、1秒間に30回の距離計測が行われる。
 また、本実施形態においても、第4の実施形態と同様に、背景光が存在しない状態、すなわち背景光が距離画像センサ32に入射されない、暗室などにおける環境光から遮光された状態を用いて説明する。
 本実施形態において、図10のタイミングチャートにおける図10(A)が第1フレームのタイミングチャートを示し、図10(B)が第2フレームのタイミングチャートを示すものとして説明する。
 図10(A)は、第1フレームにおいては、第4の実施形態における処理と同様に、光パルスPOを照射し、被写体Sからの反射光RL(光パルスPOの照射タイミングから遅延時間Td)を受光する処理を行って距離画像を撮像し、画素信号VQ1、VQ2及びVQ3の各々を取得する。そして、距離演算部42は、取得した画素信号VQ1、VQ2及びVQ3の各々を、補正パラメータ記憶部43に書き込んで記憶させる。
 画素信号VQ1は、電荷蓄積部CS1に蓄積される電荷の電荷量に対応する電圧である。また、画素信号VQ2は、反射光RLの一部が含まれる入射光によりフォトダイオードPDで収集され、電荷蓄積部CS2に蓄積される電荷の電荷量に対応する電圧であり、画素信号VQ3は、反射光RLの一部が含まれる入射光によりフォトダイオードPDで収集され、電荷蓄積部CS3に蓄積される電荷の電荷量に対応する電圧である。画素信号VQ1、VQ2及びVQ3の各々には、入射光に対応した電荷量の非制御電荷の電圧成分である参照基準電圧VD1、VD2、VD3それぞれが含まれている。
 図10(B)に示す第2フレームにおいて、図10(A)に示す第1フレームと同様に、光パルスPOを放射するため、被写体Sからの反射光RL(光パルスPOの放射タイミングから遅延時間Td)を受光するが、図5(B)と同様の処理により、距離演算部42は、電荷蓄積部CS1、CS2及びCS3の各々に対して参照基準電圧VD1、VD2及びVD3の各々を取得する。
 そして、距離演算部42は、補正パラメータ記憶部43から画素信号VQ1、VQ2及びVQ3の各々を読み込む。
 距離演算部42は、参照基準電圧VD1、VD2及びVD3の各々を、画素信号VQ1、VQ2、VQ3それぞれの調整電圧VO1、VO2、VO3とし、以下の(28)式、(29)式、(30)式により、補正画素信号VQ1’、VQ2’、VQ3’を算出する。
 VQ1’=VQ1-VO1   …(28)
 VQ2’=VQ2-VO2   …(29)
 VQ3’=VQ3-VO3   …(30)
 そして、距離演算部42は、求めた補正画素信号VQ1’、VQ2’、VQ3’を用いて、被写体Sと距離画像撮像装置1における距離画像センサ32との距離Lを(8)式により算出する。
 本実施形態によれば、距離を算出する処理毎に、補正パラメータとして参照基準電圧VD1、VD2及びVD3の各々の取得を行うため、第4の実施形態のように予め補正パラメータ記憶部43に、全ての画素321に対応する参照反射光電圧VC1、VC2、VC3と、参照基準電圧VD1、VD2、VD3とを書き込んで記憶させる必要がないため、補正パラメータ記憶部43の容量を低減することができる。
 また、本実施形態によれば、第1フレームにおいて計測用の画素信号を取得し、次の第2フレームにおいて、計測用の画素信号を補正するための参照基準電圧の画素信号を取得するため、本発明で示している単発の光パルスの遅延を測る方法だけでなく、第4の実施形態と同様に、連続変調された光を照射して、この照射光と反射光の間の位相シフト量を求めて距離の計算に使うCW変調を用いたTOFセンサにも適用することができるし、その他さまざまなTOFセンサに適用することができる。
 以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
 1…距離画像撮像装置
 2…光源部
 3…受光部
 4…距離画像処理部
 21…光源装置
 22…拡散板
 31…レンズ
 32…距離画像センサ
 41…タイミング制御部
 42…距離演算部
 43…補正パラメータ記憶部
 320…受光画素部
 321…画素
 322…制御回路
 323…垂直走査回路
 324…水平走査回路
 325…画素信号処理回路
 326…画素駆動回路
 C1,C2,C3…電荷蓄積容量
 CS1,CS2,CS3 電荷蓄積部
 FD1,FD2,FD3…フローティングディフュージョン
 G1,G2,G3…読み出しゲートトランジスタ
 GD…ドレインゲートトランジスタ
 O1,O2,O3…出力端子
 P…測定空間
 PD…光電変換素子
 PO…光パルス(照射光)
 RL…反射光
 RT1,RT2,RT3…リセットゲートトランジスタ
 RU1,RU2,RU3…画素信号読み出し部
 S…被写体(対象物)
 SF1,SF2,SF3…ソースフォロアゲートトランジスタ
 SL1,SL2,SL3…選択ゲートトランジスタ

Claims (16)

  1.  測定対象の空間である測定空間に対して照射光を照射する光源部と、
     前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を画素毎に蓄積し、当該画素毎に蓄積された前記電荷の電荷量からなる距離画像を生成する距離画像センサと、
     前記距離画像における前記電荷量から、前記距離画像センサにおいて前記電荷を蓄積する制御によらずに当該電荷量に含まれる非制御電荷に基づく信号値を記憶し、記憶した前記信号値を用いて前記空間における前記対象物との距離を補正する距離画像処理部と
     を備える距離画像撮像装置。
  2.  前記距離画像センサが、
     前記入射光に応じて生成された電荷を収集する光電変換素子と、フレーム周期において前記電荷を蓄積する電荷蓄積部とを具備し、前記電荷を前記電荷蓄積部に蓄積する制御を行う画素回路を画素毎に備え、
     前記距離画像処理部が、
     前記画素回路による制御によらずに前記電荷蓄積部に流入する前記電荷である前記非制御電荷の電荷量に対応した調整電圧を、前記電荷蓄積部に蓄積された前記電荷量に応じた入力電圧から減算し、前記距離画像センサと前記測定対象との距離の測定を行う
     請求項1に記載の距離画像撮像装置。
  3.  前記電荷蓄積部が、
     前記空間の背景光を受光して発生した背景光電荷を蓄積する少なくとも一つの第1電荷蓄積部と、前記照射光の前記対象物からの前記反射光を受光して発生した反射光電荷を蓄積する2個以上の複数の第2電荷蓄積部とを備える
     請求項2に記載の距離画像撮像装置。
  4.  所定の環境光下における前記照射光が放射されない状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照背景光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照基準電圧とのそれぞれを記憶する記憶部を備える
     請求項3に記載の距離画像撮像装置。
  5.  前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を前記第1電荷蓄積部、前記第2電荷蓄積部の各々に蓄積し、
     前記距離画像処理部が、前記第1電荷蓄積部に蓄積された電荷によって生成された背景光電圧を、予め測定されて前記記憶部に記憶された前記参照背景光電圧により除算して調整比を求め、前記参照基準電圧の各々に対して当該調整比を乗算することにより、前記入力電圧それぞれに対する前記調整電圧を算出する
     請求項4に記載の距離画像撮像装置。
  6.  前記フレーム周期が、第1フレーム周期及び第2フレーム周期の各々を含み、
     前記第1フレーム周期において、
     前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させ、
     前記距離画像処理部が、前記蓄積された電荷によって生成された前記入力電圧を取得し、
     前記第2フレーム周期において、
     前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させず、
     前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々における前記非制御電荷に対応した調整電圧を取得する
     請求項3に記載の距離画像撮像装置。
  7.  遮光された環境下における前記照射光が照射された状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部及び前記第2電荷蓄積部それぞれから取得した参照反射光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積せず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照基準電圧とのそれぞれを記憶する記憶部を備える
     請求項3に記載の距離画像撮像装置。
  8.  距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積された電荷によって生成された前記入力電圧それぞれを加算した結果を、前記参照反射光電圧の各々を加算した結果により除算して調整比を求め、前記参照基準電圧に対して当該調整比を乗算することにより、前記入力電圧の各々に対する前記調整電圧それぞれを算出する
     請求項7に記載の距離画像撮像装置。
  9.  前記フレーム周期が、第1フレーム周期及び第2フレーム周期の各々を含み、
     前記第1フレーム周期において、
     前記距離画像センサが、遮光された環境において前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させ、
     前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積された電荷によって生成された前記入力電圧を取得し、
     前記第2フレーム周期において、
     前記距離画像センサが、遮光された環境において前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、前記画素回路が制御した電荷を前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に蓄積させず、
     前記距離画像処理部が、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に電荷によって前記非制御電荷に対応した調整電圧を取得する
     請求項3に記載の距離画像撮像装置。
  10.  所定の環境光下における前記照射光が放射されない状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから取得した参照背景光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから参照基準電圧として取得した第1参照基準電圧と、
     また、遮光された環境下における前記照射光が照射された状態において予め測定された、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させ、前記第1電荷蓄積部及び前記第2電荷蓄積部それぞれから取得した参照反射光電圧と、前記第1電荷蓄積部及び前記第2電荷蓄積部の各々に前記画素回路が制御した電荷を蓄積させず、前記第1電荷蓄積部、前記第2電荷蓄積部それぞれから参照基準電圧として取得した第2参照基準電圧と、
     のそれぞれを記憶する記憶部を備える
     請求項3に記載の距離画像撮像装置。
  11.  前記距離画像センサが、前記測定空間に対して照射光を照射し、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を前記画素毎に蓄積し、
     前記距離画像処理部が、前記蓄積された電荷によって生成された前記入力電圧を、予め測定されて前記記憶部に記憶された前記参照背景光電圧により除算して調整比として第1調整比を求め、前記第1参照基準電圧の各々に対して当該第1調整比を乗算することにより、前記入力電圧それぞれに対する第1調整電圧を算出し、
     また、前記入力電圧の各々を加算した結果を、前記参照反射光電圧の各々を加算した加算結果により除算して調整比として第2調整比を求め、前記第2参照基準電圧に対して当該第2調整比を乗算することにより、前記入力電圧の各々に対する第2調整電圧それぞれを算出し、前記第1調整電圧及び前記2調整電圧を加算して、前記調整電圧を算出する
     請求項10に記載の距離画像撮像装置。
  12.  前記空間からの前記入射光を入射するレンズをさらに備え、
     前記距離画像センサが前記レンズを介して前記入射光を受光する
     請求項1から請求項11のいずれか一項に記載の距離画像撮像装置。
  13.  前記空間からの前記入射光を入射するレンズをさらに備え、
     前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、前記調整比が所定の差分範囲内の前記画素をグループに分割し、当該グループにおける前記参照基準電圧の中央値を、前記グループの全ての画素に対する参照基準電圧とする
     請求項5、請求項8及び請求項11のいずれか一項に記載の距離画像撮像装置。
  14.  前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、当該レンズの複数の特性が記憶部に記憶されている
     請求項5、請求項8及び請求項11のいずれか一項に記載の距離画像撮像装置。
  15.  前記入射光が、前記レンズを介して前記画素のそれぞれに入射するため、前記レンズの特性に対応して、当該画素の各々の位置に対応した前記調整比を出力する調整関数が記憶部に記憶されている
     請求項5、請求項8及び請求項11のいずれか一項に記載の距離画像撮像装置。
  16.  距離画像センサが、測定対象の空間である測定空間に対して照射光を光源部から照射させ、前記測定空間における対象物からの反射光を含む光を入射光として受光し、当該入射光により生成された電荷を画素毎に蓄積し、当該画素毎に蓄積された前記電荷の電荷量を有する距離画像を生成する距離画像生成過程と、
     前記距離画像における前記電荷量から、前記距離画像センサにおいて前記電荷を蓄積する制御によらずに当該電荷量に含まれる非制御電荷を除去した補正電荷量により前記空間における前記対象物との距離を取得する距離画像処理過程と
     を含む距離画像撮像方法。
PCT/JP2020/020221 2020-05-22 2020-05-22 距離画像撮像装置及び距離画像撮像方法 WO2021234932A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2020/020221 WO2021234932A1 (ja) 2020-05-22 2020-05-22 距離画像撮像装置及び距離画像撮像方法
PCT/JP2021/019327 WO2021235542A1 (ja) 2020-05-22 2021-05-21 距離画像撮像装置及び距離画像撮像方法
EP21808759.1A EP4155766A4 (en) 2020-05-22 2021-05-21 DISTANCE IMAGE CAPTURING DEVICE AND DISTANCE IMAGE CAPTURING METHOD
US17/999,357 US20230281957A1 (en) 2020-05-22 2021-05-21 Distance image capturing device and distance image capturing method
CN202180036313.0A CN115667984A (zh) 2020-05-22 2021-05-21 距离图像拍摄装置及距离图像拍摄方法
JP2022524548A JPWO2021235542A1 (ja) 2020-05-22 2021-05-21

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020221 WO2021234932A1 (ja) 2020-05-22 2020-05-22 距離画像撮像装置及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
WO2021234932A1 true WO2021234932A1 (ja) 2021-11-25

Family

ID=78708317

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/020221 WO2021234932A1 (ja) 2020-05-22 2020-05-22 距離画像撮像装置及び距離画像撮像方法
PCT/JP2021/019327 WO2021235542A1 (ja) 2020-05-22 2021-05-21 距離画像撮像装置及び距離画像撮像方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019327 WO2021235542A1 (ja) 2020-05-22 2021-05-21 距離画像撮像装置及び距離画像撮像方法

Country Status (5)

Country Link
US (1) US20230281957A1 (ja)
EP (1) EP4155766A4 (ja)
JP (1) JPWO2021235542A1 (ja)
CN (1) CN115667984A (ja)
WO (2) WO2021234932A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011122913A (ja) * 2009-12-10 2011-06-23 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2014163717A (ja) * 2013-02-22 2014-09-08 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2016217907A (ja) * 2015-05-21 2016-12-22 スタンレー電気株式会社 距離画像生成装置
JP2019215260A (ja) * 2018-06-13 2019-12-19 ファナック株式会社 精度情報を出力する測距装置
US20200074608A1 (en) * 2018-09-05 2020-03-05 Infineon Technologies Ag Time of Flight Camera and Method for Calibrating a Time of Flight Camera

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
WO2015025497A1 (ja) * 2013-08-23 2015-02-26 パナソニックIpマネジメント株式会社 測距システム及び信号発生装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011122913A (ja) * 2009-12-10 2011-06-23 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2014163717A (ja) * 2013-02-22 2014-09-08 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP2016217907A (ja) * 2015-05-21 2016-12-22 スタンレー電気株式会社 距離画像生成装置
JP2019215260A (ja) * 2018-06-13 2019-12-19 ファナック株式会社 精度情報を出力する測距装置
US20200074608A1 (en) * 2018-09-05 2020-03-05 Infineon Technologies Ag Time of Flight Camera and Method for Calibrating a Time of Flight Camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNG J. Y. ET AL.: "Time-of-flight sensor calibration for a color and depth camera pair", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 37, July 2015 (2015-07-01), pages 1501 - 1513, XP055586876, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/6928464> DOI: 10.1109/TPAMI.2014.2363827 *

Also Published As

Publication number Publication date
CN115667984A (zh) 2023-01-31
US20230281957A1 (en) 2023-09-07
JPWO2021235542A1 (ja) 2021-11-25
EP4155766A1 (en) 2023-03-29
WO2021235542A1 (ja) 2021-11-25
EP4155766A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
US10768301B2 (en) System and method for determining a distance to an object
CN109791207B (zh) 用于确定到对象的距离的系统和方法
CN108139483B (zh) 用于确定到对象的距离的系统和方法
US20180246214A1 (en) Solid-state imaging device, distance measurement device, and distance measurement method
US11029391B2 (en) System for determining a distance to an object
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US10852400B2 (en) System for determining a distance to an object
EP3550329A1 (en) System and method for determining a distance to an object
CN103875237A (zh) 图像拾取器件和相机系统
JP6825164B1 (ja) 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
WO2020188782A1 (ja) 距離画像撮像装置、距離画像撮像システム、および距離画像撮像方法
KR20140109579A (ko) 이미지 센서 및 이미지 픽업 장치
CN113518930B (zh) 距离图像传感器以及距离图像拍摄装置
WO2021234932A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2020027221A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2020194481A1 (ja) 距離画像センサ及び距離画像撮像装置
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
KR102677519B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022135438A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2012244357A (ja) 撮像方法および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20936664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20936664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP