WO2023033170A1 - 距離画像撮像装置及び距離画像撮像方法 - Google Patents

距離画像撮像装置及び距離画像撮像方法 Download PDF

Info

Publication number
WO2023033170A1
WO2023033170A1 PCT/JP2022/033259 JP2022033259W WO2023033170A1 WO 2023033170 A1 WO2023033170 A1 WO 2023033170A1 JP 2022033259 W JP2022033259 W JP 2022033259W WO 2023033170 A1 WO2023033170 A1 WO 2023033170A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
distance
width
light
photoelectric conversion
Prior art date
Application number
PCT/JP2022/033259
Other languages
English (en)
French (fr)
Inventor
邦広 畠山
弘光 針生
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Priority to EP22864752.5A priority Critical patent/EP4400866A1/en
Priority to CN202280060326.6A priority patent/CN117916623A/zh
Publication of WO2023033170A1 publication Critical patent/WO2023033170A1/ja
Priority to US18/596,019 priority patent/US20240210535A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Definitions

  • the present invention relates to a range image capturing device and a range image capturing method.
  • This application claims priority based on Japanese Patent Application No. 2021-144666 filed in Japan on September 6, 2021, the content of which is incorporated herein.
  • the ToF range imaging device consists of a light source unit that emits light and an imaging unit that includes a pixel array in which a plurality of pixel circuits that detect light for measuring distance are arranged in a two-dimensional matrix (array). I have.
  • Each of the pixel circuits has, as a component, a photoelectric conversion element (for example, a photodiode) that generates an electric charge corresponding to the intensity of light.
  • the ToF range image capturing device can acquire (capture) information about the distance between itself and the subject and an image of the subject in the measurement space (three-dimensional space).
  • the pixels receive the reflected light of the emitted light pulse reflected from the object, photoelectrically convert the received reflected light by the photoelectric conversion element, and the charge obtained by the photoelectric conversion is stored in the charge storage unit. to each predetermined time.
  • charge is accumulated in each of the charge accumulation units, and the distance to the subject is determined for each pixel by the ratio of the charge amount accumulated in each of the two charge accumulation units (charge ratio). Seeking.
  • the optical pulse does not have an ideal rectangular wave shape, but has a shape with a dull rise and fall (a shape that is not at right angles). Therefore, when the time for distributing the charge from the photoelectric conversion element to the charge storage unit (the width of the storage drive signal TX, ie, the gate pulse width, which will be described later) is the same as the width of the light pulse (ie, the light pulse width), the light pulse As a result, the light pulse width becomes narrower (shorter) than the charge distribution time, and there is a state in which the charge is distributed to only one of the two charge storage units.
  • the width of the storage drive signal TX ie, the gate pulse width
  • the bias of the distributed charges becomes particularly large.
  • the optical pulse width becomes narrower than the charge distribution time due to the dullness of the optical pulse waveform, a state in which charges are accumulated in only one of the charge accumulation units is likely to occur.
  • the change in the charge ratio becomes insensitive to the actual change in the distance, and the distance fluctuates due to the deviation of the charge ratio due to noise, etc.
  • Temporal resolution and spatial resolution are degraded.
  • the present invention has been made in view of such circumstances, and prevents a state in which charges are accumulated in only one of the two charge accumulation portions. It is also an object of the present invention to provide a distance image pickup apparatus and a distance image pickup method that reduce errors from the actual distance between objects.
  • a distance image capturing device includes a light source unit that irradiates a light pulse into a measurement space, and a charge that is generated according to the light incident from the measurement space.
  • a photoelectric conversion element that irradiates a light pulse into a measurement space, and a charge that is generated according to the light incident from the measurement space.
  • a photoelectric conversion element that irradiates a light pulse into a measurement space, and a charge that is generated according to the light incident from the measurement space.
  • a photoelectric conversion element a plurality of pixel circuits each having a plurality of charge storage units for storing the charge in a frame cycle
  • a pixel drive circuit for distributing and accumulating the electric charge generated in the photoelectric conversion element via a light receiving unit, and a light generated by reflected light in the measurement space and distributed from the photoelectric conversion element by the transfer transistor.
  • a distance calculation unit that calculates a distance between the subject and the light receiving unit from a charge ratio of the charge amount
  • a distance image pickup device is the distance image pickup device according to the first aspect, wherein the width of the light pulse is such that the reflected light is incident after the light pulse is irradiated. It is set by the variation in the change rate of the charge ratio corresponding to the change in the delay time up to .
  • a distance image pickup device is the distance image pickup device according to the second aspect, wherein the width of the light pulse is sequentially changed, and the delay time is varied for each width. The variation in the rate of change of the charge ratio is obtained, the width at which the variation is minimized is extracted, and the width is set as the width of the light pulse.
  • a distance image pickup device is the distance image pickup device according to any one of the first to third aspects, wherein the distance calculation unit corresponds to the distance between the subject and the pixel. The distance is obtained based on table information indicating the relationship between the corresponding distance and the charge ratio calculated from each charge amount accumulated in each of the charge accumulation units.
  • a distance image pickup device is the distance image pickup device according to any one of the first to third aspects, wherein the distance calculation unit is the distance image pickup device obtained using the charge ratio.
  • the distance calculation unit is the distance image pickup device obtained using the charge ratio.
  • a polynomial that approximates a distance deviation from a known distance is obtained in advance, and the distance is obtained by correcting the distance deviation using the polynomial.
  • a distance image capturing method includes: each of a plurality of pixel circuits including a light source section, a photoelectric conversion element, a plurality of charge storage sections, and a transfer transistor; a pixel drive circuit; and a distance calculation section.
  • the pixel drive circuit controls the photoelectric conversion according to the incident light from the measurement space in a predetermined accumulation cycle synchronized with the irradiation of the light pulse from the light source unit.
  • the charge generated by the conversion element is transferred to each of the charge storage units in a frame period via each of the transfer transistors for transferring the charge from the photoelectric conversion element to the charge storage unit.
  • the pulse width is set too long.
  • the waveform of the light pulse is dulled, the width of the light pulse is shortened, and the state in which the charge is accumulated in only one of the two charge accumulation units is prevented.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image pickup device according to a first embodiment of the present invention
  • FIG. It is a figure which shows an example of the pulse shape of the light pulse irradiated from a light source device. It is a figure which shows an example of the pulse shape of the light pulse irradiated from a light source device.
  • 1 is a circuit diagram showing an example of a configuration of a pixel circuit arranged in a distance image sensor in the distance image pickup device according to the first embodiment of the present invention
  • FIG. FIG. 4 is a diagram showing a timing chart for transferring charges generated by photoelectric conversion elements to respective charge storage units;
  • FIG. 10 is a diagram showing the correspondence relationship between the charge ratio of each charge accumulation unit and the distance between the distance imaging device and the subject;
  • FIG. 10 is a diagram showing the charge ratio slope in the case of an optical pulse width that is the same as the width of an accumulation drive signal and an optical pulse width that is wider than the width of the accumulation drive signal;
  • 4 is a graph showing a correspondence relationship between charge ratio and delay time in the embodiment.
  • 4 is a graph showing a correspondence relationship between charge ratio and delay time in the embodiment. It is a figure which shows the time resolution of the distance with the to-be-photographed object measured by the distance image pick-up device.
  • FIG. 10 is a diagram showing the correspondence relationship between the charge ratio of each charge accumulation unit and the distance between the distance imaging device and the subject;
  • FIG. 10 is a diagram showing the charge ratio slope in the case of an optical pulse width that is the same as the width of an accumulation drive signal and an optical pulse width that is wider than the width of the accumulation drive signal;
  • 4 is a graph showing
  • FIG. 4 is a diagram showing the spatial resolution of the distance to a subject measured by the range image capturing device; 7 is a flowchart showing operation of processing for extracting the width of an optical pulse used in distance measurement in an optical pulse width setting mode according to the present embodiment;
  • FIG. 11 is a diagram illustrating a correspondence table showing the relationship between charge ratios and estimated distances in the second embodiment;
  • FIG. 11 is a diagram showing a configuration example of a correspondence table showing the relationship between electric charges R and estimated distances in the second embodiment;
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image pickup device according to a first embodiment of the present invention.
  • a distance image pickup device 1 configured as shown in FIG. Note that FIG. 1 also shows a subject S, which is an object whose distance is to be measured in the distance image pickup device 1 .
  • the distance image pickup device is, for example, a distance image sensor 32 (described later) in the light receiving section 3 .
  • the light source unit 2 irradiates a light pulse PO into the shooting target space in which the subject S whose distance is to be measured in the distance image capturing device 1 exists.
  • the light source unit 2 is, for example, a surface emitting semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source unit 2 includes a light source device 21 and a diffuser plate 22 .
  • the light source device 21 is a light source that emits a laser beam in a near-infrared wavelength band (for example, a wavelength band of 850 nm to 940 nm) as a light pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting device.
  • the light source device 21 emits pulsed laser light under the control of the timing control section 41 .
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over a surface on which the subject S is irradiated.
  • the pulsed laser light diffused by the diffusion plate 22 is emitted as a light pulse PO, and the subject S is irradiated with the light pulse PO.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image pickup device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the light receiving section 3 includes a lens 31 and a distance image sensor 32 .
  • the lens 31 is an optical lens that guides the incident reflected light RL to the range image sensor 32 .
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side of the lens 31 and causes the pixel circuits provided in the light receiving area of the distance image sensor 32 to receive the light (incident).
  • the distance image sensor 32 is an image pickup device used in the distance image pickup device 1 .
  • the distance image sensor 32 includes a plurality of pixel circuits 321 and a pixel drive circuit 322 that controls each of the pixel circuits 321 in a two-dimensional light receiving area.
  • the pixel circuit 321 includes one photoelectric conversion element (for example, a photoelectric conversion element PD to be described later) and a plurality of charge storage units (for example, charge storage units CS1 to CS4 to be described later) corresponding to the one photoelectric conversion element. , and components for distributing charges to the respective charge storage units.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion elements to the respective charge storage units according to control from the timing control unit 41 . Also, the distance image sensor 32 outputs a pixel signal corresponding to the amount of charge distributed to the charge storage section.
  • a plurality of pixel circuits are arranged in a two-dimensional matrix, and pixel signals for one frame corresponding to each pixel circuit are output.
  • the distance image processing unit 4 controls the distance image capturing device 1 and calculates the distance to the subject S.
  • the distance image processing section 4 includes a timing control section 41 , a light pulse width adjustment section 42 , a distance calculation section 43 and a measurement control section 44 .
  • the timing control section 41 controls the timing of outputting various control signals required for distance measurement under the control of the measurement control section 44 .
  • the various control signals here include, for example, a signal for controlling the irradiation of the light pulse PO, a signal for distributing the reflected light RL to a plurality of charge accumulation units (accumulation driving signal TX for driving a transfer transistor G described later), It is a signal for controlling the number of distributions per frame.
  • the number of distribution times is the number of repetitions of the process of distributing the charge generated by incident light from the photoelectric conversion element PD to the charge storage section CS (see FIG. 3) via the transfer transistor G.
  • the storage drive signal TX that drives the transfer transistor G is a gate pulse
  • the width TP1 of the storage drive signal TX that drives the transfer transistor G is the gate pulse width TP1.
  • the width TPP of the optical pulse PO is the optical pulse width TPP.
  • the light pulse width adjusting section 42 adjusts the width TPP of the light pulse PO emitted from the light source device 21 of the light source section 2 . That is, the light source device 21 causes the light source unit 2 to irradiate the light pulse PO in synchronization with a storage drive signal TX (described later) that drives the transfer transistor G that distributes the charge to the charge storage unit CS by the timing control unit 41 . At this time, the optical pulse width adjustment unit 42 adjusts the width TPP of the optical pulse PO to the width TP1 of the storage drive signal TX (the transfer transistor G is turned on and the distribution time for distributing the charge to the charge storage unit CS, that is, the distribution of the charge).
  • the light source device 21 is irradiated with a light pulse width TPP (>TP1) adjusted according to the degree of blunting of the light pulse PO (details will be described later).
  • TPP light pulse width
  • the width TP1 (gate pulse width TP1) of the storage drive signal TX described here assumes the pulse width set value by the register.
  • the control signal may be a control signal defined by the rising timing and rising period of the optical pulse, or the period from the rising timing to the falling timing.
  • the width TPP of the optical pulse may be defined as a period of intensity of 10% or more, or a period of intensity of 90% or more, with the output peak of the optical pulse being 100%.
  • a rising period (high level period) of a specific (first rising to H level) transfer transistor G and a subsequent rising transfer transistor G The width TPP of the optical pulse PO is set longer than the period during which the transistor G rises.
  • the rise period of a specific transfer transistor G and the rise period of the transfer transistor G that rises next correspond to the width TP1 (gate pulse width TP1) of the accumulation drive signal TX.
  • the distance calculation unit 43 calculates the distance image pickup device 1 (each pixel) to the subject S and outputs distance information (quantized as gradation).
  • the distance calculation unit 43 calculates the delay time Td from the irradiation of the light pulse PO to the reception of the reflected light RL based on the charge amounts accumulated in the plurality of charge accumulation units CS.
  • the distance calculation unit 43 calculates the distance from the distance imaging device 1 to the subject S according to the calculated delay time Td.
  • the measurement control unit 44 sets the mode of each frame that is repeated in a frame cycle as an optical pulse width setting mode that adjusts the width TPP of the optical pulse PO and determines this optical pulse width TPP by arbitrarily changing it.
  • a range-finding charge amount acquisition mode is selected as a normal frame in which range-finding is performed using a light pulse PO having a width TPP. Then, the measurement control unit 44 controls the timing in the timing control unit 41 and the calculation in the distance calculation unit 43 corresponding to each of the light pulse width setting mode and the distance measurement charge amount acquisition mode ( later).
  • FIG. 2A and 2B are diagrams showing an example of the pulse shape of the light pulse PO emitted from the light source device 21.
  • TPP width
  • FIG. 2A the horizontal axis is time, and the vertical axis is intensity (voltage measured by a photodetector).
  • the optical pulse PO is ideally emitted with a waveform having the same shape as the storage drive signal TX, which has a rectangular waveform indicated by the dotted line K1.
  • the width TPP of the optical pulse PO is the set numerical value. It is actually narrower than the width TP1 of the driving signal TX.
  • FIG. 2B shows the waveform of the optical pulse PO with a width TPP set wider than the width TP1 of the accumulation drive signal TX.
  • the horizontal axis is time
  • the vertical axis is intensity (for example, voltage obtained by measuring the waveform of the light pulse with a photodetector or the like).
  • the distance obtained from the ratio of the amount of accumulated charge Q accumulated in the two charge accumulation units CS a state in which only one of them is allocated exists for a predetermined time period, or the two charges It is possible to prevent the amount of electric charge distributed to one of the storage units CS from becoming minute (that is, the electric charge generated by the photoelectric conversion element PD due to the reflected light from being accumulated in one electric charge storage unit CS with a large bias). Therefore, the distance obtained from the ratio of the amount of charge accumulated in the two charge accumulation units CS is obtained as a numerical value close to the actual distance between the distance image sensor 32 and the subject S.
  • the light receiving unit 3 receives the reflected light RL that is reflected by the subject S from the light pulse PO in the near-infrared wavelength band that the light source unit 2 irradiates the subject S ( The incident light is received as a mixture of the reflected light RL and the background light), and the distance image processing unit 4 outputs distance information obtained by measuring the distance between the subject S and the distance image pickup device 1 .
  • FIG. 1 shows the distance image pickup device 1 having a configuration in which the distance image processing unit 4 is provided inside, the distance image processing unit 4 is a component provided outside the distance image pickup device 1. may
  • FIG. 3 is a circuit diagram showing an example of the configuration of the pixel circuit 321 arranged in the range image sensor 32 in the range image pickup device according to the first embodiment of the present invention.
  • the pixel circuit 321 in FIG. 3 is a configuration example including four pixel signal readout units RU1 to RU4.
  • the pixel circuit 321 includes one photoelectric conversion element PD, charge discharge transistors GD (GD1 and GD2 described later), and four pixel signal readout units RU (RU1 to RU4) that output voltage signals from corresponding output terminals O. Prepare.
  • Each pixel signal readout unit RU includes a transfer transistor G, a floating diffusion FD, a charge storage capacitor C, a reset transistor RT, a source follower transistor SF, and a select transistor SL.
  • the floating diffusion FD and the charge storage capacitor C constitute a charge storage section CS.
  • the pixel signal readout unit RU1 that outputs a voltage signal from the output terminal O1 includes a transfer transistor G1 (transfer MOS transistor), a floating diffusion FD1, a charge storage capacitor C1, and a reset transistor RT1. , a source follower transistor SF1, and a selection transistor SL1.
  • the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacitor C1.
  • the pixel signal readout units RU2, RU3 and RU4 also have the same configuration.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light, generates electric charges corresponding to the incident light (incident light), and accumulates the generated electric charges.
  • incident light is incident from the space to be measured.
  • the charges generated by the photoelectric conversion element PD photoelectrically converting incident light are distributed to the four charge storage units CS (CS1 to CS4), respectively, and the respective charges corresponding to the charge amounts of the distributed charges are distributed.
  • a voltage signal is output to the distance image processing unit 4 .
  • the configuration of the pixel circuits arranged in the distance image sensor 32 is not limited to the configuration including the four pixel signal readout units RU (RU1 to RU4) as shown in FIG.
  • a pixel circuit having a configuration including a plurality of pixel signal readout units RU of one or more may also be used.
  • the light pulse PO is emitted with the irradiation time To, and the reflected light RL is received by the distance image sensor 32 after the delay time Td.
  • the pixel driving circuit 322 transfers the charge generated in the photoelectric conversion element PD to the transfer transistors G1, G2, G3, and G4 in synchronization with the irradiation of the light pulse PO as an accumulation drive signal.
  • TX1 to TX4 are supplied and distributed according to respective timings, and accumulated in the charge accumulation units CS1, CS2, CS3, and CS4 in this order.
  • the pixel driving circuit 322 controls the reset transistor RT and the selection transistor SL with the drive signals RST and SEL, respectively, and converts the charge accumulated in the charge storage section CS into an electric signal with the source follower transistor SF. , and outputs the generated electric signal to the distance calculator 43 via the terminal O.
  • the pixel driving circuit 322 discharges the charge generated in the photoelectric conversion element PD to the power supply VDD by the drive signal RSTD under the control of the timing control unit 41 (erases the charge).
  • FIG. 4 is a diagram showing a timing chart for transferring charges generated by the photoelectric conversion element PD to each of the charge storage units CS.
  • the vertical axis indicates the pulse level and the horizontal axis indicates time.
  • the timing control unit 41 causes the light source unit 2 to irradiate the measurement space with the light pulse PO.
  • the light pulse PO is reflected by the subject S and received by the light receiving section 3 as reflected light RL.
  • the photoelectric conversion element PD generates charges corresponding to each of the background light and the reflected light RL.
  • the pixel driving circuit 322 controls on/off of each of the transfer transistors G1 to G4 in order to transfer the charge generated by the photoelectric conversion element PD to each of the charge storage units CS1 to CS4.
  • the pixel driving circuit 322 supplies each of the accumulation driving signals TX1 to TX4 to the transfer transistors G1 to G4 as an "H" level signal with a predetermined time width (the same width as the irradiation time To).
  • the pixel drive circuit 322 for example, turns on the transfer transistor G1 provided on the transfer path for transferring the charge from the photoelectric conversion element PD to the charge storage unit CS1. As a result, charges photoelectrically converted by the photoelectric conversion element PD are accumulated in the charge accumulation unit CS1 via the transfer transistor G1. After that, the pixel drive circuit 322 turns off the transfer transistor G1. As a result, transfer of charges to the charge storage section CS1 is stopped. In this manner, the pixel drive circuit 322 accumulates charges in the charge accumulation section CS1. The same applies to the other charge storage units CS2, CS3 and CS4.
  • each of the accumulation drive signals TX1, TX2, TX3, and TX4 is a transfer transistor.
  • the accumulation period (corresponding to the width TP1 of the accumulation drive signal TX that drives the transfer transistor G) supplied to each of G1, G2, G3, and G4 is repeated.
  • Charges corresponding to the incident light are transferred from the photoelectric conversion element PD to the charge storage units CS1, CS2, CS3, and CS4 via the transfer transistors G1, G2, G3, and G4, respectively.
  • a plurality of accumulation cycles are repeated during the charge accumulation period.
  • the time window Tw1 in FIG. 4 is the state in which the charge of the reflected light RL is accumulated in the combination of the charge accumulation units CS1 and CS2
  • the time window Tw2 is the state in which the charge of the reflected light RL is accumulated in the combination of the charge accumulation units CS2 and CS3. charge is accumulated.
  • the pixel drive circuit 322 transfers the charge from the photoelectric conversion element PD after the transfer (transfer) of the charge to the charge storage unit CS4 is completed.
  • the "H" level drive signal RSTD is supplied to the charge discharging transistor GD provided on the discharging path to turn it on.
  • the charge discharge transistor GD discards the charge generated in the photoelectric conversion element PD after the immediately preceding charge storage period of the charge storage section CS4 before the start of the storage period of the charge storage section CS1 (ie, photoelectric conversion).
  • reset device PD That is, one or more (two or more) charge discharge transistors GD are provided, and charges generated by incident light from the photoelectric conversion element PD are distributed and accumulated in each of the charge accumulation units CS1, CS2, CS3, and CS4. Charges are discharged from the photoelectric conversion element PD in periods other than the period in which the charge is applied.
  • the pixel drive circuit 322 sequentially applies voltage signals from all the pixel circuits 321 arranged in the light-receiving unit 3 in units of rows (horizontal arrangement) of the pixel circuits 321 to A/D conversion processing and the like. signal processing. After that, the pixel driving circuit 322 sequentially outputs the voltage signals after the signal processing to the distance calculating section 43 in the order of the columns arranged in the light receiving section 3 .
  • the accumulation of charges in the charge accumulation unit CS by the pixel drive circuit 322 and the discarding of charges photoelectrically converted by the photoelectric conversion elements PD are repeatedly performed over one frame.
  • charges corresponding to the amount of light received by the distance image pickup device 1 during a predetermined time interval are accumulated in each of the charge accumulation units CS.
  • the pixel drive circuit 322 outputs to the distance calculation section 43 an electrical signal corresponding to the amount of charge for one frame accumulated in each of the charge accumulation sections CS.
  • the combination of the charge storage units CS1 and CS2 is irradiated with the light pulse PO.
  • the charge amount corresponding to the external light component such as the background light before the illumination (corresponding to the area indicated by the diagonal lines from the upper left to the lower right of TX1 and TX2 in FIG. 4) and part of the reflected light RL (the TX2 in FIG. (corresponding to the area indicated by diagonal lines from upper right to lower left) are distributed and held.
  • the combination of the charge storage units CS2 and CS3 has an external light component (corresponding to the area indicated by diagonal lines from the upper left to the lower right of TX2 and TX3 in FIG. 4) and the reflected light RL (the area indicated by diagonal lines from the upper right to the lower left of TX2 in FIG. 4 and the upper right of TX3 (corresponding to the region indicated by diagonal lines extending from ) to the lower left) are distributed and held.
  • the distribution (distribution ratio) of the amount of charge distributed to the charge storage units CS1 and CS2 or the charge storage units CS2 and CS3 is determined by the delay time until the light pulse PO is reflected by the object S and is incident on the distance image pickup device 1. It becomes a ratio according to Td.
  • a combination of two charge storage units CS that is, the charge storage units CS1 and CS2 and the charge storage units CS2 and CS3
  • the distance between the distance image pickup device 1 and the object S is obtained from the ratio of the amount of charge accumulated in .
  • the ratio of the amount of charge accumulated in the combination of the two charge accumulation units CS and the distance change linearly (change at a predetermined rate of change), so that the distance can be measured with high accuracy.
  • the waveform of the optical pulse PO becomes blunted and deformed, so that the relationship between the charge ratio, which is the ratio of the charge amounts, and the distance is no longer linear.
  • FIG. 5 is a diagram showing the correspondence relationship between the charge ratio of each charge storage unit CS and the distance between the distance image pickup device 1 and the subject S.
  • the dashed line indicates the linear relationship
  • the solid line indicates the relationship when the width TPP of the optical pulse PO is the same as the width TP1 of the accumulation drive signal TX.
  • the solid line deviates from the dashed line where the relationship between charge ratio and distance is linear in the vicinity of 2m and 4m.
  • the charge ratio R used here is based on the accumulated charge amounts Q1, Q2, Q3, and Q4 respectively accumulated in the charge accumulation units CS1, CS2, CS3, and CS4 and supplied from the distance image sensor 32 as follows. is set to The following calculations are performed by the optical pulse width adjusting section 42 .
  • R1 1-Q 1-3 /Q A (1)
  • R2 2-Q 2-4 /Q A (2)
  • Q 1-3
  • Q 2-4
  • Q A
  • the charge ratio R1 indicates the charge ratio in the state (time window Tw1 in FIG. 4) in which the charge of the reflected light RL is accumulated in the combination of the charge accumulation units CS1 and CS2.
  • the charge ratio R2 indicates the charge ratio in the state (time window Tw2 in FIG. 4) in which the charge of the reflected light RL is accumulated in the combination of the charge accumulation units CS2 and CS3.
  • the vicinity of the distance of 2 m in FIG. 5 corresponds to the range where the time window Tw1 is switched to Tw2. In this switching of the time windows, an error from the actual distance occurs because the width TPP of the already-explained light pulse PO actually applied becomes narrower than the width TP1 of the accumulation drive signal TX.
  • the width TPP of the light pulse PO ( ⁇ the width TP1 of the accumulation drive signal TX) that makes the charge ratio linear is obtained by the following processing.
  • the measurement control unit 44 arbitrarily sets the optical pulse width TPP, increases the predetermined unit delay time ⁇ TD from the timing synchronized with the accumulation drive signal TX1, and the light source device 21 A light pulse PO is irradiated.
  • the subject S is fixed at a predetermined position of the range image pickup device 1 .
  • the distance of the object S from the distance image pickup device 1 is virtually changed.
  • the optical pulse width adjustment unit 42 performs the process of obtaining the standard deviation of the width TPP of the optical pulse PO described above for all the set widths TPP of the optical pulse PO, and extracts the minimum standard deviation. Thereby, the optical pulse width adjustment unit 42 acquires the width of the optical pulse PO corresponding to the charge ratio slope SL with the minimum standard deviation, and sets it as the optical pulse width TPP to be used.
  • the distance calculation unit 43 calculates (1) The distance between each pixel circuit 321 and the object S is calculated based on the delay time Td obtained from the following equation (6) or (7), using the ratio R1 or R2 obtained from each equation (5). demand.
  • the distance calculation unit 43 uses the principle described above to calculate the delay time Td by the following equation (6) or (7).
  • Td To ⁇ R1 Expression (6)
  • Td To ⁇ R2 Expression (7)
  • To is the period during which the optical pulse PO is irradiated.
  • R1 is the ratio of the amount of accumulated charge accumulated in the charge storage section CS1 and the charge storage section CS2 in the time window Tw1 in FIG.
  • R2 is the ratio of the amount of accumulated charge accumulated in the charge accumulating section CS2 and the charge accumulating section CS3 in the time window Tw2.
  • the distance calculator 43 calculates the round-trip distance to the object S by multiplying the delay time Td obtained by the equation (6) or (7) by the speed of light. Then, the distance calculation unit 43 halves the calculated round trip distance (delay time Td ⁇ c (speed of light)/2), thereby A distance to the object S is obtained.
  • the horizontal axis indicates the delay time TD
  • the vertical axis indicates the charge ratio slope SL.
  • FIG. 7A and 7B are graphs showing the correspondence relationship between the charge ratio R and the delay time TD in this embodiment.
  • FIG. 7A shows the correspondence relationship between the delay time TD and the charge ratio R when the light pulse PO having the same width as the width TP1 of the accumulation drive signal TX is used.
  • the vertical axis indicates the charge ratio R
  • the horizontal axis indicates the delay time TD.
  • the broken line indicates an ideal linear line segment between the delay time TD and the charge ratio R
  • the circle points indicate the value of the charge ratio R corresponding to the actually measured delay time TD.
  • the measured circle point deviates from the linear relationship (broken line) between the delay time TD and the charge ratio R near the delay time (nearly 20 ns) at which the time window Tw1 switches to the time window Tw2. Since the delay time corresponds to the measured distance, it can be seen that when the light pulse PO with the width TPP equal to the width TP1 of the accumulation drive signal TX is used, a numerical value deviating from the actual distance is obtained.
  • FIG. 7B uses a light pulse PO having a delay time TD and a width TPP that minimizes the standard deviation of the charge ratio slope SL instead of the light pulse PO having a width TPP that is the same as the width TP1 of the accumulation drive signal TX.
  • 4 shows the correspondence relationship with the charge ratio R in the case of FIG.
  • the vertical axis indicates the charge ratio R
  • the horizontal axis indicates the delay time TD.
  • the broken line indicates an ideal linear line segment between the delay time TD and the charge ratio R
  • the circle points indicate the value of the charge ratio R corresponding to the actually measured delay time TD.
  • the measured round point is near the delay time (nearly 20 ns) at which the time window Tw1 switches to the time window Tw2, and FIG. similarly out.
  • the error of the actual measurement (circle points) with respect to the linear relationship (dashed line) between the delay time TD and the charge ratio R is reduced.
  • the light pulse PO having the light pulse width TPP that minimizes the standard deviation of the charge ratio slope SL the light pulse PO having the same width TPP as the width TP1 of the accumulation drive signal TX is used. Therefore, a numerical value closer to the actual distance can be obtained, and the distance accuracy can be improved.
  • FIG. 8A and 8B are diagrams respectively showing the temporal resolution and spatial resolution of the distance to the subject S measured by the distance image capturing device 1.
  • FIG. 8A shows the time resolution in measuring the distance to the subject S measured by the distance image capturing device 1.
  • FIG. 8A the vertical axis indicates the time resolution, and the horizontal axis indicates the actual distance (actual distance) between the distance imaging device 1 and the subject S.
  • time resolution (%) variation in distance between frames/actual distance*100.
  • the variation in distance between frames is the standard deviation of distance values calculated for each frame. Therefore, the unit of the vertical axis shown in FIG. 8A is %.
  • the dashed line indicates the relationship between the time resolution and the actual distance when the optical pulse PO having the same width TPP as the width TP1 of the accumulation drive signal TX is used.
  • the solid line indicates the relationship between the time resolution and the actual distance when the light pulse PO with the light pulse width TPP that minimizes the standard deviation of the charge ratio slope SL is used.
  • the width of the accumulation drive signal TX is The time resolution of the distance to be measured can be improved compared to the case of using the optical pulse PO having the same width TPP as TP1.
  • FIG. 8B shows the spatial resolution in measuring the distance to the subject S measured by the distance image capturing device 1.
  • the vertical axis indicates the spatial resolution
  • the horizontal axis indicates the actual distance (actual distance) between the depth image capturing device 1 and the subject S.
  • the dashed line indicates the relationship between the spatial resolution and the actual distance when the optical pulse PO having the same width TPP as the width TP1 of the accumulation drive signal TX is used.
  • the solid line shows the relationship between the spatial resolution and the actual distance when the light pulse PO with the light pulse width TPP that minimizes the standard deviation of the charge ratio slope SL is used.
  • the distance is measured using the optical pulse PO having the optical pulse width TPP that minimizes the standard deviation of the charge ratio slope SL.
  • the spatial resolution of the distance to be measured can be improved compared to the case of using the optical pulse PO having the same width TPP as TP1.
  • FIG. 9 is a flowchart showing the operation of processing for extracting the width TPP of the optical pulse PO used in distance measurement in the optical pulse width setting mode according to this embodiment.
  • Step S101 The measurement controller 44 controls the timing controller 41 to start executing the optical pulse width setting mode.
  • Step S102 Then, the optical pulse width adjustment unit 42 sets the width TPP of the optical pulse PO to the same numerical value as the width TP1 of the storage drive signal TX, and sets it in the timing control unit 41 (initialization of the width TPP of the optical pulse PO).
  • Step S103 The optical pulse width adjustment unit 42 determines whether or not the width TPP of the optical pulse PO exceeds a preset upper limit value (optical pulse width specified value). At this time, if the width TPP of the optical pulse PO does not exceed (below) the optical pulse width specified value, which is the preset upper limit value, the optical pulse width adjustment unit 42 advances the process to step S104. On the other hand, if the width TPP of the optical pulse PO exceeds the preset optical pulse width specified value, the optical pulse width adjustment unit 42 advances the process to step S112.
  • a preset upper limit value optical pulse width specified value
  • Step S104 The optical pulse width adjustment unit 42 controls the timing control unit 41 so as to synchronize the irradiation timing of the optical pulse PO with the rise of the accumulation drive signal TX1 (initialization of the delay time TD of the optical pulse PO, that is, delay Let the time TD be "0").
  • Step S105 The optical pulse width adjustment unit 42 determines whether or not the delay time TD of the timing of irradiation of the optical pulse PO from the rise of the accumulation drive signal TX1 exceeds a preset upper limit value (delay specified value). I do. At this time, if the width TPP of the optical pulse PO does not exceed (below) the preset delay specified value, the process proceeds to step S106. On the other hand, if the width TPP of the optical pulse PO ( ⁇ the width TP1 of the storage driving signal TX1) exceeds the preset upper limit delay value, the optical pulse width adjustment unit 42 advances the process to step S109. proceed.
  • a preset upper limit value delay specified value
  • Step S106 During the accumulation period in the frame period, the light source device 21 irradiates the light pulse PO with a delay time TD from the rise of the accumulation drive signal TX1 by the set light pulse width TPP for each accumulation cycle. Then, the pixel drive circuit 322 transfers charges generated by incident light in the photoelectric conversion element PD to the charge storage units CS1, CS2, CS3, and CS4, respectively, in the transfer transistors G1, G2, G3, and G3, respectively, in each accumulation period. Sorted by G4 and accumulated.
  • the storage drive signals TX1, TX2, TX3, TX4 for each of the transfer transistors G1, G2, G3 and G4 are of equal width TP1. Also, the distribution of charges to each of the charge storage units CS1, CS2, CS3, and CS4 is performed for a predetermined number of accumulation cycles (the number of distributions).
  • Step S107 The pixel drive circuit 322 supplies the accumulated charge amounts Q1, Q2, Q3 and Q4 from the charge accumulation units CS1, CS2, CS3 and CS4 in each pixel circuit 321 to the distance image processing unit 4, respectively.
  • the light pulse width adjustment unit 42 uses the accumulated charge amounts Q1, Q2, Q3, and Q4 supplied from each pixel circuit 321 to determine the charge ratio R using equations (1) and (2) for each pixel circuit 321. is calculated.
  • Step S108 The optical pulse width adjustment unit 42 adds the unit delay time ⁇ TD to the delay time TD, and sets the addition result as a new delay time TD (change of the delay time TD). Then, the optical pulse width adjustment unit 42 controls the timing control unit 41 so that the timing of irradiating the optical pulse PO is delayed by the delay time TD with respect to the rise of the accumulation drive signal TX1.
  • Step S109 The optical pulse width adjustment unit 42 calculates the difference ⁇ R in the charge ratio R between the delay time TD to be processed and the immediately preceding delay time TD for all the measured delay times TD. In addition, the optical pulse width adjustment unit 42 divides the difference ⁇ R in each delay time TD obtained for each pixel circuit 321 (ie, pixel) by the unit delay time ⁇ TD, and calculates the charge ratio gradient between each delay time TD. Find each SL.
  • Step S110 Then, the light pulse width adjustment unit 42 calculates the standard deviation s of the charge ratio slope SL in the light pulse width TPP at this time for each pixel circuit 321 from the charge ratio slope SL of each delay time TD. Further, the optical pulse width adjustment unit 42 calculates the average value of the standard deviations s in all the pixel circuits 321 and sets it as the standard deviation s_av.
  • Step S111 The optical pulse width adjuster 42 adds the unit width time ⁇ TPP to the width TPP of the optical pulse PO, and sets the addition result as a new optical pulse width TPP (change of the optical pulse width TPP). Then, the optical pulse width adjustment unit 42 controls the timing control unit 41 so that the width TPP of the optical pulse PO to be irradiated is the optical pulse width TPP obtained by adding the newly set unit width time ⁇ TPP.
  • Step S112 The optical pulse width adjuster 42 extracts the optical pulse width TPP with the minimum standard deviation s_av from each width TPP of the optical pulse PO.
  • Step S113 The light pulse width adjustment unit 42 adjusts the extracted light pulse width TPP in each of the pixel circuits 321 so that the variation (variation) of the charge ratio slope SL is the smallest, and the accuracy in measuring the distance between the distance image capturing device 1 and the subject S is determined. is set as the highest optical pulse width TPP.
  • the standard deviation s in all the pixel circuits 321 in the distance image sensor 32 is obtained, and the standard deviation s_av is calculated as the average value of the standard deviations s.
  • the average value of the standard deviations s of all the pixel circuits 321 in the distance image sensor 32 is , standard deviation s_av.
  • the light pulse width adjustment unit 42 performs processing for calculating the standard deviation s only for each of the pixel circuits 321 set in the central area of the distance image sensor 32 .
  • the pixel circuits 321 are set in advance at predetermined positions that are spatially separated from each other in the distance image sensor 32, and the average value of the standard deviations s of the plurality of pixel circuits 321 is used as the standard deviation s_av. may be configured.
  • the light pulse width adjustment unit 42 performs processing for calculating the standard deviation s only for each of the pixel circuits 321 at predetermined positions set in the distance image sensor 32 .
  • the light pulse width adjustment unit 42 obtains the average value of the charge ratios R obtained from all the pixel circuits 321, and uses this average value as the charge ratio R of the distance image sensor 32 for each of the delay times TD. may be configured to calculate the difference ⁇ R of the charge ratio R in .
  • the optical pulse width adjustment unit 42 obtains the standard deviation s of the charge non-tilt SL obtained from each of the differences ⁇ R and the unit delay time ⁇ TD, and uses it as the standard deviation s_av. .
  • the light pulse width adjustment unit 42 does not obtain the average value of the charge ratios R obtained from all the pixel circuits 321, but calculates the average value of the charge ratio R obtained from all the pixel circuits 321.
  • the difference ⁇ R between the charge ratios R at each delay time TD may be calculated using the average value of the charge ratios R of the pixel circuits 321 .
  • the light pulse width adjustment unit 42 obtains each of the differences ⁇ R obtained from the charge ratio R of the pixel circuits 321 in the central region and the unit delay time ⁇ TD.
  • a standard deviation s of the charge non-slope SL is obtained and used as the standard deviation s_av.
  • the light pulse width adjustment unit 42 does not obtain the average value of the charge ratios R obtained from all the pixel circuits 321, but rather calculates the distance image sensor 32 in a preset region, for example, the distance image sensor 32.
  • the average value of the charge ratios R of the pixel circuits 321 at the predetermined positions may be used to calculate the difference ⁇ R of the charge ratios R at each delay time TD.
  • the light pulse width adjustment unit 42 obtains each of the differences ⁇ R obtained from the charge ratios R of the pixel circuits 321 at the predetermined separated positions and the unit delay time ⁇ TD.
  • the standard deviation s of the charge non-slope SL obtained is obtained and used as the standard deviation s_av.
  • the delay time Td is obtained from the formulas (1) to (7) without specifying the external light accumulation gate in advance, and the delay time Td is used to capture the range image.
  • the distance between the device 1 and the subject S is obtained.
  • the distance calculation unit 43 calculates the delay time Td by the following equation (8) or (9). may be calculated to obtain the distance between the distance image capturing device 1 and the subject S.
  • Q1 is the accumulated charge amount accumulated in the charge accumulation section CS1.
  • Q2 is the amount of charge accumulated in the charge accumulation section CS2.
  • Q3 is the accumulated charge amount accumulated in the charge accumulation section CS3.
  • Q4 is the accumulated charge amount accumulated in the charge accumulation section CS4.
  • a second embodiment of the present invention will be described below with reference to the drawings.
  • the second embodiment has the same configuration as the distance imaging device 1 in the first embodiment shown in FIG. Operations of the distance image pickup apparatus 1 according to the second embodiment, which are different from those of the first embodiment, will be described below.
  • the process of obtaining the width TPP of the optical pulse PO used for measurement is the same as in the first embodiment.
  • the accumulated charge amounts Q1, Q2, Q3, and Q4 are acquired from the respective charge storage units CS1, CS2, CS3, and CS4 of the pixel circuit 321, and the equations (1) to (7) are obtained.
  • the distance between the pixel circuit 321 of the distance image sensor 32 and the object S is calculated from the delay time Td obtained by the above.
  • the charge ratio R obtained from each of the charge ratio R1 and the charge ratio R2 in the first embodiment and the threshold value ThW
  • the estimated distance corresponding to the distance between the pixel circuit 321 and the subject S
  • the distance between the pixel circuit 321 and the subject S is calculated (estimated) from the correspondence table showing the relationship between the .
  • the distance from the distance image capturing device 1 to the subject S is changed by a predetermined unit distance using the width TPP of the light pulse PO obtained in the first embodiment, and a distance image is captured. to obtain the charge ratio R. That is, a distance measurement experiment is performed, a known distance is used, the charge ratio R at that distance is obtained, and the change curve of FIG. 10A is obtained. Then, a change curve between the charge ratio R and the distance is obtained, and a linear region in which the charge ratio R linearly changes with respect to the distance is extracted from the change curve.
  • FIG. 10A is a diagram explaining a correspondence table showing the relationship between the charge ratio R and the estimated distance in the second embodiment.
  • FIG. 10A is a graph showing the correspondence between the charge ratio R and the estimated distance, with the vertical axis showing the charge ratio R and the horizontal axis showing the distance (estimated distance).
  • the graph in FIG. 10A shows the correspondence between the charge ratio R and the estimated distance corresponding to time window Tw1.
  • a similar graph is obtained for the time window Tw2.
  • FIG. 10B is a diagram showing a configuration example of a correspondence table showing the relationship between the charge ratio R and the estimated distance.
  • This correspondence table is provided for each time window, and corresponds to time window Tw1 in the case of FIG. 10B.
  • the charge ratio R_5 indicates the threshold at which the distance interval at which the charge ratio slope SL changes becomes short.
  • the interval of the charge ratio R is the table interval TK1, but when the charge ratio R_5 or more (near the boundary of the time window), the interval of the charge ratio R is the table interval TK2 shorter than the table interval TK1. ( ⁇ TK1).
  • each charge ratio R is associated with a distance.
  • the correspondence table of FIG. 10B is written and stored in advance in a storage unit (not shown) for each time window, with the charge ratio R_1 as the distance D1 and the charge ratio R_2 as the distance D2.
  • the correspondence table is written and stored in the storage section for each pixel circuit 321 of the distance image sensor 32 or for each area obtained by dividing the distance image sensor 32 into a plurality of areas.
  • the distance calculation unit 43 uses the accumulated charge amounts Q1, Q2, Q3, and Q4 supplied from the charge accumulation units CS1, CS2, CS3, and CS4 of the pixel circuits 321, respectively, to calculate the formulas (1) and (2). Then, the charge ratio R is calculated. Then, the distance calculator 43 searches the correspondence table of FIG. 10B for the same charge ratio R_n as the calculated charge ratio R, and when the same charge ratio R_n is searched, the charge ratio R_n corresponds The distance Dn is read out and used as the distance between the pixel circuit 321 and the subject S. FIG.
  • the distance calculation unit 43 sets the charge ratio R_n ⁇ 1 and the charge ratio Rn that include this charge ratio R with reference to the correspondence table in FIG. 10B. and extract. Then, the distance calculation unit 43 reads the distance Dn-1 and the distance Dn corresponding to the charge ratio R_n-1 and the charge ratio Rn, respectively, and performs linear interpolation in which the distance Dn_1 and the distance Dn correspond to the charge ratio R. By doing so, the distance D corresponding to the charge ratio R is calculated and used as the distance between the pixel circuit 321 and the subject S.
  • a third embodiment of the present invention will be described below with reference to the drawings.
  • the third embodiment has the same configuration as the distance image pickup device 1 in the first embodiment shown in FIG. Operations of the distance image capturing apparatus 1 according to the third embodiment, which differ from those of the first embodiment, will be described below.
  • the process of obtaining the width TPP of the optical pulse PO used for measurement is the same as in the first embodiment.
  • the accumulated charge amounts Q1, Q2, Q3 and Q4 of the charge accumulation units CS1, CS2, CS3 and CS4 are calculated.
  • the distance corresponding to the charge ratio R obtained from each was extracted or obtained by linear interpolation.
  • the correspondence relationship between the known distance and the measured distance D is determined in advance by a polynomial with the distance D as an indefinite element, corresponding to the change curve of the charge ratio R and the distance D shown in FIG. 10A. approximate. Then, the distance calculator 43 substitutes the measured distance D into the polynomial to correct the positional deviation of the distance D from the actual distance.
  • a polynomial is obtained in advance that approximates the difference between the distance D obtained using the charge ratio and the known distance, which is a known distance, and the distance calculation unit 43 substitutes the measured distance D into the polynomial. Then, by approximating the distance D to the actual distance, the distance deviation is corrected, and the distance D with the distance deviation from the actual distance reduced is obtained.
  • the variation of the charge ratio slope SL is suppressed, so the number of terms and orders of the indefinite element (charge ratio as a variable) in the polynomial that approximates the change curve is reduced, and the calculation load is reduced by the charge ratio R. It is possible to obtain an approximation formula that can obtain the distance D with high approximation accuracy while reducing the error.
  • the charges generated by the reflected light RL are transferred to the charge accumulation portions CS1, CS2, CS3 and CS4. may be accumulated across the three charge accumulation units, for example, the charge accumulation units CS1, CS2, and CS3.
  • the distance between the distance image pickup device 1 and the subject S is calculated based on the accumulated charge amounts Q of the three overlapping reflected light RL. may be configured to perform a distance calculation for obtaining .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

光パルスを照射する光源部（２）と、入射光に応じた電荷を発生する光電変換素子（ＰＤ）と、電荷を蓄積する電荷蓄積部（ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４）を備える複数の画素回路（３２１）と、光パルスに同期したタイミングで電荷蓄積部（ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４）に転送トランジスタ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）を介し、光電変換素子（ＰＤ）で発生した電荷を振り分ける画素駆動回路（３２２）とを有する受光部（３）と、反射光で生成されて光電変換素子（ＰＤ）から転送トランジスタ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）で振り分けられて電荷蓄積部（ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４）に蓄積される電荷量の電荷比から被写体（Ｓ）と受光部（３）との距離の計算を行う距離演算部（４３）とを備え、転送トランジスタ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）のうち、特定の転送トランジスタ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）の立ち上がりとその次に立ち上がる転送トランジスタ（Ｇ１，Ｇ２，Ｇ３，Ｇ４）の立ち上がりの期間に比較し、光パルスの幅が長く設定されている距離画像撮像装置（１）。

Description

距離画像撮像装置及び距離画像撮像方法
　本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
　本願は、２０２１年９月６日に、日本に出願された特願２０２１－１４４６６６号に基づき優先権を主張し、その内容をここに援用する。
　従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定するタイム・オブ・フライト（Time of Flight、以下「ＴｏＦ」と記す）方式の距離画像撮像装置がある（例えば、特許文献１参照）。
　ＴｏＦ方式距離画像撮像装置は、光を照射する光源部と、距離を測定するための光を検出する画素回路が二次元の行列状(アレイ状)に複数配置された画素アレイを含む撮像部を備えている。上記画素回路の各々は、光の強度に対応する電荷を発生する光電変換素子（例えば、フォトダイオード）を構成要素として有している。
　この構成により、ＴｏＦ方式距離画像撮像装置は、測定空間（三次元空間）において、自身と被写体との間の距離の情報や、被写体の画像を取得(撮像)することができる。
日本国特開２０１５－２９０５４号公報
　上述した距離画像撮像装置においては、放射した光パルスが被写体から反射した反射光を画素が受光して、受光した反射光を光電変換素子で光電変換し、光電変換により得られる電荷を電荷蓄積部に所定の時間毎に振り分ける。
　そして、距離画像撮像装置においては、電荷蓄積部の各々に電荷を蓄積させ、２個の電荷蓄積部の各々に蓄積された電荷量の比（電荷比）により、被写体との距離を画素ごとに求めている。
　しかしながら、光パルスは理想的な矩形波の形状ではなく、光パルスの立ち上がりや立ち下がりが鈍った形状（直角ではない形状）となっている。
　このため、光電変換素子から電荷蓄積部に電荷を振り分ける時間（後述する蓄積駆動信号ＴＸの幅、すなわちゲートパルス幅）と、光パルスの幅（すなわち光パルス幅）とが同一の場合、光パルスの波形が鈍ったことにより、光パルス幅が電荷を振り分ける時間より狭く（短く）なり、２個の電荷蓄積部のいずれか一方にしか電荷が振り分けられない状態が存在する。
　特に、複数の電荷蓄積部における、反射光が振り分けられる２個の電荷蓄積部の組合せが切り替わるタイミングにおいて、振り分けられる電荷の偏りが特に大きくなる。
　そして、光パルスの波形が鈍ることにより、光パルス幅が電荷の振り分け時間に比較して狭くなった場合、いずれかの電荷蓄積部にのみしか電荷が蓄積されない状態が発生し易い。
　この結果、電荷蓄積部の組合せが切り替わるタイミングにおいて、実際の距離変化に対して電荷比の変化が鈍感となり、ノイズ等による電荷比のずれに対して距離が変動してしまい、計測される距離の時間分解能と空間分解能とが低下してしまう。
　本発明は、このような状況に鑑みてなされ、２個の電荷蓄積部のいずれか一方のみに電荷が蓄積される状態を防止し、電荷蓄積部の電荷量の比により得られる距離と、画素及び被写体間における実際の距離との誤差を低減させる距離画像撮像装置及び距離画像撮像方法を提供することを目的としている。
　上述した課題を解決するために、本発明の第１の態様に係る距離画像撮像装置は、測定空間に光パルスを照射する光源部と、前記測定空間から入射した光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積する複数の電荷蓄積部を備える複数の画素回路と、前記光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に転送トランジスタそれぞれを介して、前記光電変換素子で発生した前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間における反射光により生成されて前記光電変換素子から前記転送トランジスタにより振り分けられて前記電荷蓄積部の各々に蓄積される電荷量のそれぞれの電荷比から被写体と前記受光部との距離の計算を行う距離演算部とを備え、前記転送トランジスタのうち、特定の転送トランジスタの立ち上がりとその次に立ち上がる転送トランジスタの立ち上がりの期間に比較して、前記光パルスの幅が長く設定されている。
　本発明の第２の態様に係る距離画像撮像装置は、第１の態様に係る距離画像撮像装置において、前記光パルスの前記幅が、前記光パルスが照射されてから前記反射光が入射されるまでの遅延時間の変化に対応した前記電荷比の変化率のバラツキによって設定されている。
　本発明の第３の態様に係る距離画像撮像装置は、第２の態様に係る距離画像撮像装置において、前記光パルスの前記幅を順次変更させつつ、当該幅毎に前記遅延時間の各々の変化における前記電荷比の変化率の前記バラツキを求め、当該バラツキが最小となる前記幅を抽出し、当該幅を前記光パルスの前記幅として設定する。
　本発明の第４の態様に係る距離画像撮像装置は、第１から第３のいずれか一つの態様に係る距離画像撮像装置において、前記距離演算部が、前記被写体と画素との距離に対応する対応距離と、前記電荷蓄積部の各々に蓄積された電荷量のそれぞれから計算される電荷比との関係を示すテーブル情報に基づいて前記距離を求める。
　本発明の第５の態様に係る距離画像撮像装置は、第１から第３のいずれか一つの態様に係る距離画像撮像装置において、前記距離演算部が、前記電荷比を用いて求められた前記距離を、既知の距離である既知距離との距離ずれを近似する多項式を予め求め、当該多項式を用いて前記距離ずれを補正した前記距離を求める。
　本発明の第６の態様に係る距離画像撮像方法は、光源部と光電変換素子と複数の電荷蓄積部と転送トランジスタとからなる複数の画素回路の各々と、画素駆動回路と、距離演算部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、前記画素駆動回路が、前記光源部からの光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、フレーム周期において電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれを介して、前記光電変換素子で発生した前記電荷を蓄積させる過程と、距離演算部が、前記測定空間における反射光により生成されて前記光電変換素子から前記転送トランジスタにより振り分けられて前記電荷蓄積部の各々に蓄積される電荷量のそれぞれの電荷比から被写体と前記距離画像撮像装置との距離の計算を行う過程とを含み、前記転送トランジスタのうち、特定の転送トランジスタの立ち上がりとその次に立ち上がる転送トランジスタの立ち上がりの期間に比較して、前記光パルスの幅が長く設定されている。
　以上説明したように、本発明の上記態様によれば、光パルスの波形が鈍って光パルスの幅が短くなり、２個の電荷蓄積部のいずれか一方のみに電荷が蓄積される状態を防止し、電荷蓄積部の電荷量の比により得られる距離と、画素及び被写体間における実際の距離との誤差を低減させる距離画像撮像装置及び距離画像撮像方法を提供することができる。
本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 光源装置から照射される光パルスのパルス形状の一例を示す図である。 光源装置から照射される光パルスのパルス形状の一例を示す図である。 本発明の第１の実施形態の距離画像撮像装置における距離画像センサに配置された画素回路の構成の一例を示した回路図である。 光電変換素子で生成された電荷を電荷蓄積部の各々に転送するタイミングチャートを示す図である。 電荷蓄積部の各々の電荷比と、距離画像撮像装置と被写体との距離との対応関係を示す図である。 蓄積駆動信号の幅と同一の光パルスの幅と、当該蓄積駆動信号の幅より広い光パルスの幅との場合における電荷比傾きを示す図である。 本実施形態における電荷比と遅延時間との対応関係を示すグラフである。 本実施形態における電荷比と遅延時間との対応関係を示すグラフである。 距離画像撮像装置により計測した被写体との距離の時間分解能を示す図である。 距離画像撮像装置により計測した被写体との距離の空間分解能を示す図である。 本実施形態による光パルス幅設定モードにおける、測距離で用いる光パルスの幅の抽出を行う処理の動作を示すフローチャートである。 第２の実施形態における電荷比と推定距離との関係を示す対応テーブルを説明する図である。 第２の実施形態における電荷Ｒと推定距離との関係を示す対応テーブルの構成例を示す図である。
＜第１の実施形態＞
　以下、本発明の第１の実施形態について、図面を参照して説明する。
　図１は、本発明の第１の実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。距離画像撮像素子は、例えば、受光部３における距離画像センサ３２（後述）である。
　光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ　Ｃａｖｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
　光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
　拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体Ｓに照射される。
　受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
　レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬをレンズ３１の距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素回路に受光（入射）させる。
　距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素回路３２１、画素回路３２１の各々を制御する画素駆動回路３２２とを備える。
　上記画素回路３２１は、１つの光電変換素子（例えば、後述する光電変換素子ＰＤ）と、この１つの光電変換素子に対応する複数の電荷蓄積部（例えば、後述する電荷蓄積部ＣＳ１からＣＳ４）と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。
　距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する１フレーム分の画素信号を出力する。
　距離画像処理部４は、距離画像撮像装置１を制御し、被写体Ｓまでの距離を演算する。
　距離画像処理部４は、タイミング制御部４１と、光パルス幅調整部４２、距離演算部４３と、測定制御部４４とを備える。
　タイミング制御部４１は、測定制御部４４の制御に応じて、距離の測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号や、反射光ＲＬを複数の電荷蓄積部に振り分ける信号（後述する転送トランジスタＧを駆動する蓄積駆動信号ＴＸ）、１フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部ＣＳ（図３参照）に、転送トランジスタＧを介して、光電変換素子ＰＤから入射光により発生した電荷を振り分ける処理を繰り返す回数である。
　ここで、転送トランジスタＧを駆動する蓄積駆動信号ＴＸはゲートパルスであり、転送トランジスタＧを駆動する蓄積駆動信号ＴＸの幅ＴＰ１はゲートパルス幅ＴＰ１である。また、光パルスＰＯの幅ＴＰＰは、光パルス幅ＴＰＰである。
　光パルス幅調整部４２は、光源部２の光源装置２１から照射する光パルスＰＯの幅ＴＰＰを調整する。
　すなわち、光源装置２１は、タイミング制御部４１により、電荷蓄積部ＣＳに電荷を振り分ける転送トランジスタＧを駆動する蓄積駆動信号ＴＸ（後述）に同期させて、光源部２に光パルスＰＯを照射させる。
　このとき、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰを、蓄積駆動信号ＴＸの幅ＴＰ１（転送トランジスタＧをオン状態とし、電荷蓄積部ＣＳに電荷を振り分ける振り分け時間、すなわち電荷を振り分けるために転送トランジスタＧをオンとしているオン期間）と同一ではなく、光パルスＰＯの鈍りの程度に対応して調整した光パルス幅ＴＰＰ（＞ＴＰ１）として、光源装置２１に照射させる（詳細は後述）。
　なお、ここで述べる蓄積駆動信号ＴＸの幅ＴＰ１（ゲートパルス幅ＴＰ１）は、レジスタによるパルス幅設定値を想定している。
　また、光パルスの立ち上がりタイミングと立ち上り期間、または立ち上りタイミングから立ち下りタイミングの期間によって定義される制御信号であってもよい。
　また、光パルスの幅ＴＰＰは光パルスの出力ピークを１００％として１０％以上の強度の期間、または９０％以上の強度の期間として定義されてもよい。
　すなわち、本実施形態においては、転送トランジスタＧの各々において、特定の（先に立ち上がってＨレベルとなる）転送トランジスタＧの立ち上がりの期間（Ｈレベルとなっている期間）と、その次に立ち上がる転送トランジスタＧの立ち上がりの期間に比較して、光パルスＰＯの幅ＴＰＰが長く設定されている。
　ここで、上述の、特定の転送トランジスタＧの立ち上がりの期間と、その次に立ち上がる転送トランジスタＧの立ち上がりの期間は、蓄積駆動信号ＴＸの幅ＴＰ１（ゲートパルス幅ＴＰ１）に相当する。
　距離演算部４３は、測定制御部４４の制御に応じて、距離画像センサ３２から出力された画素信号（後述する蓄積電荷量Ｑに対応する電圧値）に基づいて、距離画像撮像装置１（各画素）から被写体Ｓまでの距離を演算した距離情報（諧調度として量子化されている）を出力する。
　距離演算部４３は、複数の電荷蓄積部ＣＳに蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄを算出する。距離演算部４３は、算出した遅延時間Ｔｄに応じて、距離画像撮像装置１から被写体Ｓまでの距離を演算する。
　測定制御部４４は、フレーム周期で繰り返されるフレームの各々のモードを、光パルスＰＯの幅ＴＰＰを調整する、この光パルス幅ＴＰＰを任意に変更して決定する光パルス幅設定モードと、設定した幅ＴＰＰの光パルスＰＯを用いて測距を行う通常のフレームとする測距電荷量取得モードとを選択する。
　そして、測定制御部４４は、光パルス幅設定モードと測距電荷量取得モードとの各々のモードに対応して、タイミング制御部４１におけるタイミングの制御、距離演算部４３における演算の制御を行う（後に詳述する）。
　図２Ａと図２Ｂは、光源装置２１から照射される光パルスＰＯのパルス形状の一例を示す図である。図２Ａは、例えば、転送トランジスタＧを駆動する蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）の光パルスＰＯの波形を示している。図２Ａにおいて、横軸は時間（ｔｉｍｅ）であり、縦軸は強度（フォトディテクターで計測した電圧）である。
　光パルスＰＯは、理想的には点線Ｋ１で示される矩形の波形の蓄積駆動信号ＴＸと同一の形状の波形で照射される。
　しかしながら、実際には、光パルスＰＯの波形の立ち上がりと立ち下りの形状が鈍る（照射の時定数による波形の鈍りが発生する）ことにより、光パルスＰＯの幅ＴＰＰが設定された数値である蓄積駆動信号ＴＸの幅ＴＰ１より実際には狭くなってしまう。
　これにより、課題において述べたように、光電変換素子ＰＤから電荷蓄積部ＣＳの各々に電荷を振り分けるが、波形が鈍ることにより光パルスＰＯの幅ＴＰＰが蓄積駆動信号ＴＸの幅ＴＰ１より短くなる。
　そして、２個の電荷蓄積部ＣＳに蓄積される蓄積電荷量Ｑの比により距離を求める際、いずれか一個のみに振り分けられる状態が所定の時間幅存在したり、２個の電荷蓄積部ＣＳの一方に振り分けられる電荷が微小となってノイズの影響を受けやすくなる。
　このため、２個の電荷蓄積部ＣＳに蓄積される電荷量の比（後述する電荷比Ｒ）により求めた距離が、実際の距離と異なる場合がある。
　図２Ｂは、蓄積駆動信号ＴＸの幅ＴＰ１より広く設定された幅ＴＰＰの光パルスＰＯの波形を示している。図２Ｂにおいて、横軸は時間（ｔｉｍｅ）であり、縦軸は強度（例えば、フォトディテクター等で光パルスの波形を計測した電圧）である。
　これにより、光パルスＰＯの波形が鈍っても、光パルスＰＯの幅ＴＰＰは、点線Ｋ１で示される蓄積駆動信号ＴＸの幅ＴＰ１と同様とすることができることが判る。
　このため、２個の電荷蓄積部ＣＳに蓄積される蓄積電荷量Ｑの比により距離を求める際、いずれか一個のみに振り分けられる状態が所定の時間幅の間で存在したり、２個の電荷蓄積部ＣＳの一方に振り分けられる電荷が微小となる（すなわち、反射光により光電変換素子ＰＤで生成された電荷が一方の電荷蓄積部ＣＳに大きく偏って蓄積される）ことを抑制できる。
　このため、２個の電荷蓄積部ＣＳに蓄積される電荷量の比により求めた距離が、実際の距離画像センサ３２と被写体Ｓとの距離に近い数値として求められる。
　このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し（反射光ＲＬと背景光とが混合された入射光として受光し）、距離画像処理部４が、被写体Ｓと距離画像撮像装置１との距離を測定した距離情報を出力する。
　なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
　ここで、距離画像センサ３２における画素回路３２１の構成について説明する。図３は、本発明の第１の実施形態の距離画像撮像装置における距離画像センサ３２に配置された画素回路３２１の構成の一例を示した回路図である。図３の画素回路３２１は、４つの画素信号読み出し部ＲＵ１からＲＵ４を備えた構成例である。
　画素回路３２１は、１つの光電変換素子ＰＤと、電荷排出トランジスタＧＤ（後述するＧＤ１、ＧＤ２）と、対応する出力端子Ｏから電圧信号を出力する４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）とを備える。画素信号読み出し部ＲＵのそれぞれは、転送トランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットトランジスタＲＴと、ソースフォロアトランジスタＳＦと、選択トランジスタＳＬとを備える。フローティングディフュージョンＦＤと電荷蓄積容量Ｃとは、電荷蓄積部ＣＳを構成している。
　図３に示した画素回路３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、転送トランジスタＧ１（転送ＭＯＳトランジスタ）と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットトランジスタＲＴ１と、ソースフォロアトランジスタＳＦ１と、選択トランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２、ＲＵ３及びＲＵ４も同様の構成である。
　光電変換素子ＰＤは、入射した光を光電変換して、入射した光（入射光）に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
　画素回路３２１では、光電変換素子ＰＤが入射光を光電変換して発生させた電荷を４つの電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、距離画像処理部４に出力する。
　また、距離画像センサ３２に配置される画素回路の構成は、図３に示したような、４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）を備えた構成に限定されず、画素信号読み出し部ＲＵが１個以上の複数の画素信号読み出し部ＲＵを備えた構成の画素回路でもよい。
　上記距離画像撮像装置１の画素回路３２１の駆動において、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光される。画素駆動回路３２２は、タイミング制御部４１の制御により、光パルスＰＯの照射に同期させて、光電変換素子ＰＤに発生する電荷を、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４に対して、蓄積駆動信号ＴＸ１からＴＸ４をそれぞれのタイミングにより供給して振り分けて、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に蓄積させる。
　そして、画素駆動回路３２２は、リセットトランジスタＲＴ及び選択トランジスタＳＬの各々を、駆動信号ＲＳＴ、ＳＥＬそれぞれにより制御し、電荷蓄積部ＣＳに蓄積された電荷を、ソースフォロアトランジスタＳＦにより電気信号に変換し、生成された電気信号を端子Ｏを介して距離演算部４３に出力する。
　また、画素駆動回路３２２は、タイミング制御部４１の制御により、駆動信号ＲＳＴＤにより、光電変換素子ＰＤにおいて発生した電荷を電源ＶＤＤに流して放電する（電荷を消去する）。
　図４は、光電変換素子ＰＤで生成された電荷を電荷蓄積部ＣＳの各々に転送するタイミングチャートを示す図である。
　図４のタイミングチャートにおいて、縦軸はパルスのレベルを示し、横軸は時間を示している。光パルスＰＯ及び反射光ＲＬの時間軸における相対関係と、転送トランジスタＧ１からＧ４の各々に供給する蓄積駆動信号ＴＸ１からＴＸ４それぞれのタイミングと、電荷排出トランジスタＧＤに供給する駆動信号ＲＳＴＤのタイミングとを示している。
　タイミング制御部４１は、光源部２に光パルスＰＯを測定空間に対して照射させる。これにより、光パルスＰＯが被写体Ｓに反射し、反射光ＲＬとして受光部３に受光される。そして、光電変換素子ＰＤは、背景光及び反射光ＲＬの各々に対応した電荷を発生する。画素駆動回路３２２は、光電変換素子ＰＤの発生した電荷を、電荷蓄積部ＣＳ１からＣＳ４の各々に対して転送するため、転送トランジスタＧ１からＧ４の各々のオンオフを制御する。
　すなわち、画素駆動回路３２２は、蓄積駆動信号ＴＸ１からＴＸ４の各々を、所定の時間幅（照射時間Ｔｏと同一の幅）の「Ｈ」レベルの信号として、転送トランジスタＧ１からＧ４それぞれに供給する。
　画素駆動回路３２２は、例えば、光電変換素子ＰＤからの電荷を電荷蓄積部ＣＳ１に転送する転送経路上に設けられた転送トランジスタＧ１をオン状態にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、転送トランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、画素駆動回路３２２は、転送トランジスタＧ１をオフ状態にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、画素駆動回路３２２は、電荷蓄積部ＣＳ１に電荷を蓄積させる。他の電荷蓄積部ＣＳ２、ＣＳ３及びＣＳ４においても同様である。
　このとき、電荷蓄積部ＣＳに電荷の振り分けを行なう電荷蓄積期間（フレームにおける電荷蓄積部ＣＳの各々に電荷を蓄積する期間）において、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４の各々が、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４それぞれに供給される蓄積周期（転送トランジスタＧを駆動する蓄積駆動信号ＴＸの幅ＴＰ１に対応）が繰り返される。
　そして、転送トランジスタＧ１、Ｇ２、Ｇ３及びＧ４の各々を介して、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４それぞれに、光電変換素子ＰＤから入射光に対応した電荷が転送される。電荷蓄積期間に複数の蓄積周期が繰り返される。
　これにより、電荷蓄積期間における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積周期毎に、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４それぞれに電荷が蓄積される。
　ここで、図４のタイムウィンドウＴｗ１は、電荷蓄積部ＣＳ１及びＣＳ２の組合せに反射光ＲＬの電荷が蓄積される状態であり、タイムウィンドウＴｗ２は、電荷蓄積部ＣＳ２及びＣＳ３の組合せに反射光ＲＬの電荷が蓄積される状態である。
　また、画素駆動回路３２２は、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積周期を繰り返す際、電荷蓄積部ＣＳ４に対する電荷の転送（振替）が終了した後、光電変換素子ＰＤから電荷を排出する排出経路上に設けられた電荷排出トランジスタＧＤに対して、「Ｈ」レベルの駆動信号ＲＳＴＤを供給してオンさせる。
　これにより、電荷排出トランジスタＧＤは、電荷蓄積部ＣＳ１に対する蓄積周期が開始される前に、直前の電荷蓄積部ＣＳ４の蓄積周期の後に光電変換素子ＰＤに発生した電荷を破棄する（すなわち、光電変換素子ＰＤをリセットさせる）。すなわち、電荷排出トランジスタＧＤは、一個あるいは複数個（2個以上）設けられ、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に、光電変換素子ＰＤから、入射光により発生した電荷を振り分けて蓄積させる期間以外において、光電変換素子ＰＤから電荷を排出する。
　そして、画素駆動回路３２２は、受光部３内に配置された全ての画素回路３２１の各々から、それぞれ電圧信号を画素回路３２１の行（横方向の配列）単位で、順次Ａ／Ｄ変換処理などの信号処理を行なう。
　その後、画素駆動回路３２２は、信号処理を行った後の電圧信号を、受光部３において配置された列の順番に、順次、距離演算部４３に対して出力させる。
　上述したような、画素駆動回路３２２による電荷蓄積部ＣＳへの電荷の蓄積と光電変換素子ＰＤが光電変換した電荷の破棄とが、１フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置１に受光された光量に相当する電荷が、電荷蓄積部ＣＳのそれぞれに蓄積される。画素駆動回路３２２は、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号を、距離演算部４３に出力する。
　光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳ１及びＣＳ２の組合せのそれぞれに電荷を蓄積させるタイムウィンドウＴｗ１のタイミングとの関係から、電荷蓄積部ＣＳ１及びＣＳ２の組合せには、光パルスＰＯを照射する前の背景光などの外光成分に相当する電荷量（図４におけるＴＸ１及びＴＸ２の左上から右下に向かう斜線が示す領域に相当）と、反射光ＲＬの一部（図４におけるＴＸ２の右上から左下に向かう斜線が示す領域に相当）が振り分けられて保持される。また、光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳ２及びＣＳ３の組合せのそれぞれに電荷を蓄積させるタイムウィンドウＴｗ２のタイミングとの関係から、電荷蓄積部ＣＳ２及びＣＳ３の組合せには、外光成分に相当する電荷量（図４におけるＴＸ２及びＴＸ３の左上から右下に向かう斜線が示す領域に相当）と、反射光ＲＬ（図４におけるＴＸ２の右上から左下に向かう斜線が示す領域とＴＸ３の右上から左下に向かう斜線が示す領域に相当）に相当する電荷量が振り分けられて保持される。電荷蓄積部ＣＳ１及びＣＳ２、あるいは電荷蓄積部ＣＳ２及びＣＳ３に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体Ｓに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
　上述したように、本実施形態においては、例えば、電荷蓄積部ＣＳ１、ＣＳ２及びＣＳ３のうち、電荷蓄積部ＣＳ１及びＣＳ２と、電荷蓄積部ＣＳ２及びＣＳ３との、２個の電荷蓄積部ＣＳの組合せに蓄積される電荷量の比により、距離画像撮像装置１と被写体Ｓとの距離が求められる。
　この２個の電荷蓄積部ＣＳの組合せに蓄積される電荷量の比と、距離とが線形に変化する（所定の変化率により変化する）ことにより、高い精度で距離の計測が行われる。
　しかしながら、光パルスＰＯの波形が鈍って変形することにより、電荷量の比である電荷比と距離との関係は線形ではなくなる。
　図５は、電荷蓄積部ＣＳの各々の電荷比と、距離画像撮像装置１と被写体Ｓとの距離との対応関係を示す図である。
　図５において、破線が線形（リニア）の関係を示し、実線が光パルスＰＯの幅ＴＰＰが蓄積駆動信号ＴＸの幅ＴＰ１と同一の場合の関係を示している。
　実線は、２ｍ及び４ｍの近傍における電荷比と距離との関係が線形な破線からずれている。ここで用いている電荷比Ｒは、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に蓄積され、距離画像センサ３２から供給される蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれにより、以下のように設定されている。以下の計算は、光パルス幅調整部４２により行われる。
　Ｒ１＝１－Ｑ１－３／ＱＡ　　　…（１）式
　Ｒ２＝２－Ｑ２－４／ＱＡ　　　…（２）式
　上記（１）式及び（２）式において、
　Ｑ１－３＝｜Ｑ１－Ｑ３｜　　　…（３）式
　Ｑ２－４＝｜Ｑ２－Ｑ４｜　　　…（４）式
　ＱＡ＝｜Ｑ１－Ｑ３｜＋｜Ｑ２－Ｑ４｜　　　…（５）式
　である。
　電荷比Ｒ１は、電荷蓄積部ＣＳ１及びＣＳ２の組合せに反射光ＲＬの電荷が蓄積される状態（図４のタイムウィンドウＴｗ１）における電荷の比を示している。
　また、電荷比Ｒ２は、電荷蓄積部ＣＳ２及びＣＳ３の組合せに反射光ＲＬの電荷が蓄積される状態（図４のタイムウィンドウＴｗ２）における電荷の比を示している。
　図５における距離２ｍ近傍がタイムウィンドウＴｗ１からＴｗ２に切り替わる範囲に対応している。
　このタイムウィンドウの切り替わりにおいて、すでに説明した光パルスＰＯの実際に照射された幅ＴＰＰが蓄積駆動信号ＴＸの幅ＴＰ１より狭くなることにより、実際の距離との誤差が発生する。
　したがって、電荷比Ｒ１及び電荷比Ｒ２が、計測する距離に対して線形に変化する光パルスＰＯの幅ＴＰＰを求め、計測に使用することにより、算出される距離精度を向上させることができる。ここで、電荷比Ｒ１が予め設定した閾値ＴｈＷを超えた場合、電荷比Ｒ２に切り替えて、電荷比Ｒを求めている。この閾値ＴｈＷは、タイムウィンドウＴｗ１とタイムウィンドウＴｗ２の切り変わるタイミング近傍のタイムウィンドウＴｗ１における電荷比Ｒ１、すなわちタイムウィンドウＴｗ１で計測できる距離に対応する電荷比Ｒ１の上限値として設定される。
　このため、本実施形態において、電荷比が線形となる光パルスＰＯの幅ＴＰＰ（≧蓄積駆動信号ＴＸの幅ＴＰ１）を、以下の処理により求めている。
　測定制御部４４は、光パルス幅設定モードにおいて、光パルス幅ＴＰＰを任意に設定し、蓄積駆動信号ＴＸ１に対して同期するタイミングから、所定の単位遅延時間ΔＴＤずつ増加させて、光源装置２１に光パルスＰＯを照射させる。
　このとき、被写体Ｓは距離画像撮像装置１の所定の位置に固定されている。蓄積駆動信号ＴＸ１の立ち上がりのタイミングから遅延時間ＴＤをずらして光パルスＰＯを照射させることにより、距離画像撮像装置１から被写体Ｓの距離を仮想的に変化させている。
　そして、光パルス幅調整部４２は、取得した電荷比Ｒを所定の遅延時間ＴＤ毎に抽出し、隣接した遅延時間ＴＤの各々の電荷比Ｒの差分ΔＲと、単位遅延時間ΔＴＤとから電荷比傾きＳＬ（＝ΔＲ／ΔＴＤ）を求める。
　また、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰにおける全ての遅延時間ＴＤにおける電荷比傾きＳＬを求めた後、この光パルス幅ＴＰＰにおける電荷比傾きＳＬの標準偏差（すなわち、変化率のバラツキ）を求める。本実施形態において標準偏差を用いて変化率のバラツキを求めているが、分散、偏差値や平均二乗誤差などのバラツキを評価する指標であれば、光パルス幅ＴＰＰにおける電荷比傾きＳＬを評価する指標として用いることができる。
　光パルス幅調整部４２は、上述した光パルスＰＯの幅ＴＰＰの標準偏差を求める処理を、設定した光パルスＰＯの幅ＴＰＰの全てに対して行い、最小の標準偏差を抽出する。
　これにより、光パルス幅調整部４２は、最小の標準偏差の電荷比傾きＳＬに対応する光パルスＰＯの幅を取得し、使用する光パルス幅ＴＰＰとして設定する。
　そして、距離演算部４３は、測距電荷量取得モードにおいて、画素回路３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれから、（１）式から（５）式の各々から求めた比Ｒ１あるは比Ｒ２により、下記の（６）式あるいは（７）式により得られる遅延時間Ｔｄに基づき、各画素回路３２１と被写体Ｓとの距離を求める。
　すなわち、距離演算部４３は、上述した原理を利用して、以下の（６）あるいは（７）式により、遅延時間Ｔｄを算出する。
　Ｔｄ＝Ｔｏ×Ｒ１　　　…（６）式
　Ｔｄ＝Ｔｏ×Ｒ２　　　…（７）式
　ここで、Ｔｏは光パルスＰＯが照射された期間である。Ｒ１は、図４のタイムウィンドウＴｗ１における電荷蓄積部ＣＳ１と電荷蓄積部ＣＳ２とに蓄積された蓄積電荷量の比である。また、Ｒ２は、タイムウィンドウＴｗ２における電荷蓄積部ＣＳ２と、電荷蓄積部ＣＳ３に蓄積された蓄積電荷量の比である。
　（６）式においては、電荷蓄積部ＣＳ１及びＣＳ２には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ３及びＣＳ４には蓄積されない。一方、（７）式においては、電荷蓄積部ＣＳ２及びＣＳ３には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ１及びＣＳ４には蓄積されない。
　なお、（６）式あるいは（７）式では、電荷蓄積部ＣＳ１、ＣＳ２及びＣＳ３に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。
　距離演算部４３は、（６）式あるいは（７）式で求めた遅延時間Ｔｄに、光速を乗算させることにより、被写体Ｓまでの往復の距離を算出する。
　そして、距離演算部４３は、上記で算出した往復の距離を１／２とする（遅延時間Ｔｄ×ｃ（光速）／２）ことにより、距離画像センサ３２（すなわち、距離画像撮像装置１）から被写体Ｓまでの距離を求める。
　図６は、蓄積駆動信号ＴＸの幅ＴＰ１と同一の光パルス幅ＴＰＰ（＝ＴＰ１）と、当該蓄積駆動信号ＴＸの幅ＴＰ１より広い光パルス幅ＴＰＰ（＞ＴＰ１）との場合における電荷比傾きＳＬを示す図である。
　図６において、横軸が遅延時間ＴＤを示し、縦軸が電荷比傾きＳＬを示している。また、破線が蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）の光パルスＰＯを用いた場合の電荷比傾きＳＬであり、実線が蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いた場合の電荷比傾きＳＬである。
　そして、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（破線）の光パルスＰＯを用いた場合と比較して、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰの光パルスＰＯを用いた場合が電荷比傾きＳＬ（実線）のばらつきが少ないことが、図６から分かる。
　図７Ａと図７Ｂは、本実施形態における電荷比Ｒと遅延時間ＴＤとの対応関係を示すグラフである。図７Ａは、遅延時間ＴＤと、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅の光パルスＰＯを用いた場合の電荷比Ｒとの対応関係を示している。図７Ａにおいて、縦軸が電荷比Ｒを示し、横軸が遅延時間ＴＤを示している。
　また、破線が遅延時間ＴＤと電荷比Ｒとの理想的な線形の線分を示し、丸点が実際の計測された遅延時間ＴＤに対応する電荷比Ｒの値を示している。
　図７Ａから判るように、遅延時間ＴＤと電荷比Ｒとの線形関係（破線）から、計測された丸点がタイムウィンドウＴｗ１からタイムウィンドウＴｗ２に切り替わる遅延時間近傍（２０ｎｓ近傍）で外れている。
　遅延時間は、計測距離に対応しているため、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合、実際の距離から外れた数値が求められることが判る。
　図７Ｂは、遅延時間ＴＤと、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯではなく、電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いた場合の電荷比Ｒとの対応関係を示している。図７Ｂにおいて、縦軸が電荷比Ｒを示し、横軸が遅延時間ＴＤを示している。
　また、破線が遅延時間ＴＤと電荷比Ｒとの理想的な線形の線分を示し、丸点が実際の計測された遅延時間ＴＤに対応する電荷比Ｒの値を示している。
　図７Ｂから判るように、遅延時間ＴＤと電荷比Ｒとの線形関係（破線）から、計測された丸点がタイムウィンドウＴｗ１からタイムウィンドウＴｗ２に切り替わる遅延時間近傍（２０ｎｓ近傍）で、図７Ａと同様に外れている。
　しかしながら、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）の光パルスＰＯを用いた図７Ａに比較して、電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いた場合、遅延時間ＴＤと電荷比Ｒとの線形関係（破線）に対する実測（丸点）の誤差は低減されている。
　これにより、電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いることにより、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合と比較して、より実際の距離に近い数値が得られ、距離精度を向上させることができる。
　また、図８Ａと図８Ｂは、距離画像撮像装置１により計測した被写体Ｓとの距離の時間分解能と空間分解能をそれぞれ示す図である。
　図８Ａは、距離画像撮像装置１により計測した被写体Ｓとの距離の測定における時間分解能を示している。図８Ａにおいて、縦軸が時間分解能を示し、横軸が距離画像撮像装置１と被写体Ｓとの実際の距離（実距離）を示している。なお、時間分解能（％）＝フレーム間での距離バラつき／実距離*１００である。フレーム間での距離バラつきとは、フレーム毎に算出される距離値の標準偏差である。そのため、図８Ａに示している縦軸の単位は％である。
　また、破線が蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合の時間分解能と実距離との関係を示している。
　一方、実線が電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いた場合の時間分解能と実距離との関係を示している。
　図８Ａから判るように、本実施形態によれば、電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いて距離の計測を行うことにより、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合と比較して、計測する距離の時間分解能を向上させることができる。
　図８Ｂは、距離画像撮像装置１により計測した被写体Ｓとの距離の測定における空間分解能を示している。図８Ｂにおいて、縦軸が空間分解能を示し、横軸が距離画像撮像装置１と被写体Ｓとの実際の距離（実距離）を示している。
　また、破線が蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合の空間分解能と実距離との関係を示している。
　一方、実線が電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いた場合の空間分解能と実距離との関係を示している。
　図８Ｂから判るように、本実施形態によれば、電荷比傾きＳＬの標準偏差が最小となる光パルス幅ＴＰＰの光パルスＰＯを用いて距離の計測を行うことにより、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰの光パルスＰＯを用いた場合と比較して、計測する距離の空間分解能を向上させることができる。
　図９は、本実施形態による光パルス幅設定モードにおける、測距で用いる光パルスＰＯの幅ＴＰＰの抽出を行う処理の動作を示すフローチャートである。
　ステップＳ１０１：
　測定制御部４４は、タイミング制御部４１を制御して、光パルス幅設定モードの実行を開始する。
　ステップＳ１０２：
　そして、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰを蓄積駆動信号ＴＸの幅ＴＰ１と同一の数値とし、タイミング制御部４１に設定する（光パルスＰＯの幅ＴＰＰの初期化）。
　ステップＳ１０３：
　光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰが予め設定されている上限値（光パルス幅規定値）を超えているか否かの判定を行う。
　このとき、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰが予め設定されている上限値である光パルス幅規定値を超えていない（以下の）場合、処理をステップＳ１０４へ進める。
　一方、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰが予め設定されている上記光パルス幅規定値を超えている場合、処理をステップＳ１１２へ進める。
　ステップＳ１０４：
　光パルス幅調整部４２は、光パルスＰＯの照射するタイミングを、蓄積駆動信号ＴＸ１の立ち上がりに同期させるようにタイミング制御部４１の制御を行う（光パルスＰＯの遅延時間ＴＤの初期化、すなわち遅延時間ＴＤを「０」とする）。
　ステップＳ１０５：
　光パルス幅調整部４２は、蓄積駆動信号ＴＸ１の立ち上がりからの、光パルスＰＯの照射するタイミングの遅延時間ＴＤが、予め設定されている上限値（遅延規定値）を超えているか否かの判定を行う。
　このとき、光パルスＰＯの幅ＴＰＰが予め設定されている上記遅延規定値を超えていない（以下の）場合、処理をステップＳ１０６へ進める。
　一方、光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰ（≧蓄積駆動信号ＴＸ１の幅ＴＰ１）が予め設定されている上限値である遅延規定値を超えている場合、処理をステップＳ１０９へ進める。
　ステップＳ１０６：
　フレーム期間における蓄積期間において、光源装置２１は、蓄積周期毎に、設定されている光パルス幅ＴＰＰにより、蓄積駆動信号ＴＸ１の立ち上がりから遅延時間ＴＤだけ遅らせて、光パルスＰＯを照射する。
　そして、画素駆動回路３２２は、上記蓄積周期毎に、光電変換素子ＰＤで入射光により生成された電荷を、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に、転送トランジスタＧ１、Ｇ２、Ｇ３、Ｇ４により振り分けて蓄積させる。
　ここで、転送トランジスタＧ１、Ｇ２、Ｇ３及びＧ４の各々に対する、蓄積駆動信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４は、等しい幅ＴＰ１である。
　また、上記電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々に対する電荷の振り分けは、予め設定された蓄積周期数（振り分け回数）行われる。
　ステップＳ１０７：
　画素駆動回路３２２は、各画素回路３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々から、蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４それぞれを、距離画像処理部４に対して供給する。
　光パルス幅調整部４２は、各画素回路３２１から供給される蓄積電荷量Ｑ１、Ｑ２、Ｑ３及びＱ４の各々により、画素回路３２１毎に（１）式及び（２）式を用いて電荷比Ｒの算出を行う。
　ステップＳ１０８：
　光パルス幅調整部４２は、遅延時間ＴＤに対して単位遅延時間ΔＴＤを加算し、加算結果を新たな遅延時間ＴＤとする（遅延時間ＴＤの変更）。
　そして、光パルス幅調整部４２は、光パルスＰＯの照射するタイミングを、蓄積駆動信号ＴＸ１の立ち上がりに対して、遅延時間ＴＤ分を遅延させるようにタイミング制御部４１の制御を行う。
　ステップＳ１０９：
　光パルス幅調整部４２は、処理対象の遅延時間ＴＤ及び直前の遅延時間ＴＤの各々における電荷比Ｒの差分ΔＲを、計測した全ての遅延時間ＴＤにおいて算出する。
　また、光パルス幅調整部４２は、画素回路３２１（すなわち、画素）毎に、求めた各遅延時間ＴＤにおける差分ΔＲを単位遅延時間ΔＴＤにより除算し、遅延時間ＴＤの各々の間における電荷比傾きＳＬをそれぞれ求める。
　ステップＳ１１０：
　そして、光パルス幅調整部４２は、各遅延時間ＴＤの電荷比傾きＳＬから、この時点の光パルス幅ＴＰＰにおける電荷比傾きＳＬの標準偏差ｓを、画素回路３２１毎に算出する。
　また、光パルス幅調整部４２は、全ての画素回路３２１における標準偏差ｓの平均値を算出し、標準偏差ｓ＿ａｖとする。
　ステップＳ１１１：
　光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰに対して単位幅時間ΔＴＰＰを加算し、加算結果を新たな光パルス幅ＴＰＰとする（光パルス幅ＴＰＰの変更）。
　そして、光パルス幅調整部４２は、照射する光パルスＰＯの幅ＴＰＰを、新たに設定した単位幅時間ΔＴＰＰを加算した光パルス幅ＴＰＰとするように、タイミング制御部４１の制御を行う。
　ステップＳ１１２：
　光パルス幅調整部４２は、光パルスＰＯの幅ＴＰＰの各々から、標準偏差ｓ＿ａｖが最小値である光パルス幅ＴＰＰを抽出する。
　ステップＳ１１３：
　光パルス幅調整部４２は、抽出した光パルス幅ＴＰＰを画素回路３２１の各々において、最も電荷比傾きＳＬのバラツキ（変動）が少なく、距離画像撮像装置１と被写体Ｓとの距離の計測における精度を最も高くする光パルス幅ＴＰＰとして設定する。
　上述したフローチャートのステップＳ１０９及びステップＳ１１０における処理では、距離画像センサ３２における全ての画素回路３２１における標準偏差ｓを求めて、この標準偏差ｓの平均値として標準偏差ｓ＿ａｖを算出する。
　しかしながら、距離画像センサ３２における全ての画素回路３２１の標準偏差ｓの平均値ではなく、予め設定された領域、例えば距離画像センサ３２の中央部分の領域の画素回路３２１の標準偏差ｓの平均値を、標準偏差ｓ＿ａｖとして用いる構成としてもよい。
　この構成の場合、光パルス幅調整部４２は、距離画像センサ３２の中央部分の領域の設定された画素回路３２１の各々に対してのみ標準偏差ｓを算出する処理を行う。
　また、距離画像センサ３２における、それぞれが位置的に離間した所定の位置の画素回路３２１を予め設定しておき、これら画素回路３２１の複数個の標準偏差ｓの平均値を、標準偏差ｓ＿ａｖとして用いる構成としてもよい。
　この構成の場合、光パルス幅調整部４２は、距離画像センサ３２において設定された所定の位置の画素回路３２１の各々に対してのみ標準偏差ｓを算出する処理を行う。
　また、ステップＳ１０７において、光パルス幅調整部４２は、全ての画素回路３２１から求めた電荷比Ｒの平均値を求め、この平均値を距離画像センサ３２の電荷比Ｒとして、遅延時間ＴＤの各々における電荷比Ｒの差分ΔＲを算出する構成としてもよい。
　この構成の場合、ステップＳ１０９及びステップＳ１１０において、光パルス幅調整部４２は、差分ΔＲの各々と単位遅延時間ΔＴＤとから求めた電荷非傾きＳＬの標準偏差ｓを求めて、標準偏差ｓ＿ａｖとして用いる。
　また、ステップＳ１０７において、光パルス幅調整部４２は、全ての画素回路３２１から求めた電荷比Ｒの平均値を求めるのではなく、予め設定された領域、例えば距離画像センサ３２の中央部分の領域の画素回路３２１の電荷比Ｒの平均値を用いて、遅延時間ＴＤの各々における電荷比Ｒの差分ΔＲを算出する構成としてもよい。
　この構成の場合、ステップＳ１０９及びステップＳ１１０において、光パルス幅調整部４２は、上記中央部分の領域の画素回路３２１の電荷比Ｒから求めた差分ΔＲの各々と、単位遅延時間ΔＴＤとから求めた電荷非傾きＳＬの標準偏差ｓを求めて、標準偏差ｓ＿ａｖとして用いる。
　また、ステップＳ１０７において、光パルス幅調整部４２は、全ての画素回路３２１から求めた電荷比Ｒの平均値を求めるのではなく、予め設定された領域、例えば距離画像センサ３２において、それぞれが離間した所定の位置の画素回路３２１の電荷比Ｒの平均値を用いて、遅延時間ＴＤの各々における電荷比Ｒの差分ΔＲを算出する構成としてもよい。
　この構成の場合、ステップＳ１０９及びステップＳ１１０において、光パルス幅調整部４２は、上記離間した所定の位置の画素回路３２１の電荷比Ｒから求めた差分ΔＲの各々と、単位遅延時間ΔＴＤとから求めた電荷非傾きＳＬの標準偏差ｓを求めて、標準偏差ｓ＿ａｖとして用いる。
　また、本実施形態においては、（１）式から（７）式により、外光蓄積用のゲートを予め指定せずに、遅延時間Ｔｄを求めて、当該遅延時間Ｔｄを用いて、距離画像撮像装置１と被写体Ｓとの距離を求めている。
　しかしながら、予め、反射光により発生された電荷が蓄積するゲートと外光蓄積用のゲートが分かっている場合、距離演算部４３は、以下の（８）式あるいは（９）式により、遅延時間Ｔｄを算出し、距離画像撮像装置１と被写体Ｓとの距離を求める構成としてもよい。
　Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ４）／（Ｑ１＋Ｑ２－２×Ｑ４）　　　　…（８）式
　Ｔｄ＝Ｔｏ＋Ｔｏ×（Ｑ３－Ｑ４）／（Ｑ２＋Ｑ３－２×Ｑ４）　…（９）式
　ここで、Ｔｏは光パルスＰＯが照射された期間である。Ｑ１は、電荷蓄積部ＣＳ１に蓄積された蓄積電荷量である。また、Ｑ２は、電荷蓄積部ＣＳ２に蓄積された蓄積電荷量である。Ｑ３は、電荷蓄積部ＣＳ３に蓄積された蓄積電荷量である。Ｑ４は、電荷蓄積部ＣＳ４に蓄積された蓄積電荷量である。
　（８）式においては、電荷蓄積部ＣＳ１及びＣＳ２には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ３及びＣＳ４には蓄積されない（タイムウィンドウＴｗ１）。一方、（９）式においては、電荷蓄積部ＣＳ２及びＣＳ３には反射光により発生された電荷が蓄積されるが、電荷蓄積部ＣＳ１及びＣＳ４には蓄積されない（タイムウィンドウＴｗ２）。
　なお、（８）式あるいは（９）式では、電荷蓄積部ＣＳ１、ＣＳ２及びＣＳ３に蓄積される電荷量のうち、外光成分に相当する成分が、電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。
＜第２の実施形態＞
　以下、本発明の第２の実施形態について、図面を参照して説明する。第２の実施形態は、図１に示す第１の実施形態における距離画像撮像装置１と同様の構成である。
　以下、第２の実施形態による距離画像撮像装置１について、第１の実施形態と異なる動作について説明する。
　計測に用いる光パルスＰＯの幅ＴＰＰを求める処理については、第１の実施形態と同様である。
　第１の実施形態においては、画素回路３２１の各々の電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４から、それぞれ蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４を取得し、（１）式から（７）式により求めた遅延時間Ｔｄにより、距離画像センサ３２の画素回路３２１と被写体Ｓとの距離を算出している。
　第２の実施形態においては、電荷比Ｒ（第１の実施形態における電荷比Ｒ１及び電荷比Ｒ２の各々と閾値ＴｈＷから求められる）と推定距離（画素回路３２１と被写体Ｓとの距離に対応）との関係を示す対応テーブルにより、画素回路３２１と被写体Ｓとの距離を算出（推定）している。
　本実施形態においては、まず、第１の実施形態において求めた光パルスＰＯの幅ＴＰＰにより、距離画像撮像装置１から被写体Ｓとの距離を、所定の単位距離ずつ変化させ、距離画像を撮像して電荷比Ｒを取得する。すなわち、測距離の実験を行って、既知の距離を用い、当該距離における電荷比Ｒを求め、図１０Ａの変化曲線を取得する。
　そして、電荷比Ｒと距離との変化曲線を求めて、当該変化曲線において、距離に対して電荷比Ｒが線形に変化する線形領域を抽出する。
　図１０Ａは、第２の実施形態における電荷比Ｒと推定距離との関係を示す対応テーブルを説明する図である。
　図１０Ａは、電荷比Ｒと推定距離との対応を示すグラフであり、縦軸が電荷比Ｒを示し、横軸が距離（推定距離）を示している。
　例えば、図１０Ａのグラフは、タイムウィンドウＴｗ１に対応した電荷比Ｒと推定距離との対応を示している。タイムウィンドウＴｗ２においても同様のグラフが取得される。
　図１０Ａにおいて、電荷比Ｒ＿１と電荷比Ｒ＿２との間、電荷比Ｒ＿２と電荷比Ｒ＿３との間、…、電荷比Ｒ＿８と電荷比Ｒ＿９との間、…は、距離に対して電荷比Ｒが線形に変化している線形領域である（と見なしている）。
　第１の実施形態において求めた、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いることにより、図６に示すように、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）を用いた場合と比較して、電荷比傾きＳＬの変動が抑制される。
　すなわち、図１０Ａの変化曲線において、電荷比Ｒが距離に対して線形に変化する領域（テーブル間隔ＴＫ）が長くなる。
　このため、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いることにより、変化曲線を表す電荷比Ｒの数を、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）を用いた場合と比較して、低減することができる。
　図１０Ｂは、電荷比Ｒと推定距離との関係を示す対応テーブルの構成例を示す図である。この対応テーブルは、タイムウィンドウ毎に設けられ、図１０Ｂの場合、タイムウィンドウＴｗ１に対応している。
　電荷比Ｒ＿５が電荷比傾きＳＬの変化する距離間隔が短くなる閾値を示している。電荷比Ｒ＿５未満の場合、電荷比Ｒの間隔がテーブル間隔ＴＫ１であるが、電荷比Ｒ＿５以上の場合（タイムウィンドウの境界近傍の場合）、電荷比Ｒの間隔がテーブル間隔ＴＫ１より短いテーブル間隔ＴＫ２（＜ＴＫ１）となる。
　図１０Ｂにおいては、電荷比Ｒの各々に対応して、それぞれ距離が対応付けられている。例えば、電荷比Ｒ＿１に対して距離Ｄ１、電荷比Ｒ＿２に対して距離Ｄ２などとして対応付けて、不図示の記憶部に図１０Ｂの対応テーブルがタイムウィンドウ毎に予め書き込まれて記憶されている。距離画像センサ３２の全ての画素回路３２１毎、あるいは距離画像センサ３２を複数に分割した領域毎として、上記記憶部に対応テーブルは書き込まれて記憶されている。
　距離演算部４３は、各画素回路３２１の電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々から供給される蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれにより、（１）式及び（２）式により電荷比Ｒを算出する。
　そして、距離演算部４３は、算出された電荷比Ｒと同一の電荷比Ｒ＿ｎを図１０Ｂの対応テーブルから検索し、同一の電荷比Ｒ＿ｎが検索された場合、この電荷比Ｒ＿ｎに対応している距離Ｄｎを読み出し、画素回路３２１と被写体Ｓとの距離とする。
　また、距離演算部４３は、算出された電荷比Ｒと同一の電荷比Ｒ＿ｎが検索されない場合、この電荷比Ｒが含まれる電荷比Ｒ＿ｎ－１及び電荷比Ｒｎを、図１０Ｂの対応テーブルを参照して抽出する。
　そして、距離演算部４３は、電荷比Ｒ＿ｎ－１及び電荷比Ｒｎの各々に対応している距離Ｄｎ－１、距離Ｄｎを読み出し、距離Ｄｎ＿１及び距離Ｄｎを電荷比Ｒに対応させた線形補間を行なうことにより、電荷比Ｒに対応する距離Ｄを算出し、画素回路３２１と被写体Ｓとの距離とする。
＜第３の実施形態＞
　以下、本発明の第３の実施形態について、図面を参照して説明する。第３の実施形態は、図１に示す第１の実施形態における距離画像撮像装置１と同様の構成である。
　以下、第３の実施形態による距離画像撮像装置１について、第１の実施形態と異なる動作について説明する。
　計測に用いる光パルスＰＯの幅ＴＰＰを求める処理については、第１の実施形態と同様である。
　第２の実施形態においては、電荷比Ｒと距離Ｄとの対応関係を示す対応テーブルを参照し、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の各々の蓄積電荷量Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれから求めた電荷比Ｒに対応する距離を抽出、あるいは線形補間することにより取得した。
　一方、第３の実施形態においては、図１０Ａに示す電荷比Ｒ及び距離Ｄとの変化曲線に対応させ、距離Ｄを不定元として既知距離と計測された距離Ｄとの対応関係を多項式により予め近似しておく。
　そして、距離演算部４３は、計測した距離Ｄを上記多項式に対して代入して、距離Ｄにおける実距離との位置ずれを補正する。
　すなわち、電荷比を用いて求められた距離Ｄを、既知の距離である既知距離との距離ずれを近似する多項式を予め求めておき、距離演算部４３は、計測した距離Ｄを多項式に代入して、距離Ｄを実距離に近似させることで距離ずれを補正し、実距離との距離ずれが低減された距離Ｄを求める。
　多項式による近似において、図１０Ａの変化曲線における電荷比傾きＳＬに対応して多項式による近似を行う。
　これにより、第１の実施形態において求めた、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いることにより、図６に示すように、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）を用いた場合と比較して、電荷比傾きＳＬの変動が抑制される。
　本実施形態によれば、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いることにより、蓄積駆動信号ＴＸの幅ＴＰ１と同一の幅ＴＰＰ（＝ＴＰ１）を用いた場合と比較して、電荷比傾きＳＬの変動が抑制されるため、変化曲線を近似する多項式における不定元（変数としての電荷比）の項数や次数が低減し、電荷比Ｒにより計算負荷を軽減しつつ近似の精度が高い距離Ｄを取得できる近似式を得ることができる。
　また、本実施形態においては、蓄積駆動信号ＴＸの幅ＴＰ１より長い幅ＴＰＰ（＞ＴＰ１）の光パルスＰＯを用いることにより、反射光ＲＬにより発生した電荷が電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４における３個の電荷蓄積部、例えば電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３のそれぞれに跨がって蓄積される場合が考えられる。
　このように、３個の電荷蓄積部に跨がって蓄積された場合、反射光ＲＬが重複している３個の蓄積電荷量Ｑに基づいて、距離画像撮像装置１と被写体Ｓとの距離を求める距離演算を行う構成としてもよい。
　光パルスの波形が鈍って光パルス幅が短くなり、２個の電荷蓄積部のいずれか一方のみに電荷が蓄積される状態を防止し、電荷蓄積部の電荷量の比により得られる距離と、画素及び被写体間における実際の距離との誤差を低減させる距離画像撮像装置及び距離画像撮像方法を提供することができる。
　１…距離画像撮像装置
　２…光源部
　３…受光部
　３１…レンズ
　３２…距離画像センサ（距離画像撮像素子）
　３２１…画素回路
　３２２…画素駆動回路
　４…距離画像処理部
　４１…タイミング制御部
　４２…光パルス幅調整部
　４３…距離演算部
　４４…測定制御部
　ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４…電荷蓄積部
　ＦＤ１，ＦＤ２，ＦＤ３，ＦＤ４…フローティングディフュージョン
　Ｇ１，Ｇ２，Ｇ３，Ｇ４…転送トランジスタ
　ＧＤ…電荷排出トランジスタ
　ＭＬ…マイクロレンズ
　ＰＤ…光電変換素子
　ＰＯ…光パルス
　ＲＴ１，ＲＴ２，ＲＴ３，ＲＴ４…リセットトランジスタ
　Ｓ…被写体
　ＳＦ１，ＳＦ２，ＳＦ３，ＳＦ４…ソースフォロアトランジスタ
　ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４…選択トランジスタ

Claims (6)

  1. 　測定空間に光パルスを照射する光源部と、
    　前記測定空間から入射した光に応じた電荷を発生する光電変換素子と、フレーム周期において前記電荷を蓄積する複数の電荷蓄積部を備える複数の画素回路と、前記光パルスの照射に同期した所定の蓄積タイミングで、前記電荷蓄積部の各々に転送トランジスタそれぞれを介して、前記光電変換素子で発生した前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、
    　前記測定空間における反射光により生成されて前記光電変換素子から前記転送トランジスタにより振り分けられて前記電荷蓄積部の各々に蓄積される電荷量のそれぞれの電荷比から被写体と前記受光部との距離の計算を行う距離演算部と
    　を備え、
    　前記転送トランジスタのうち、特定の転送トランジスタの立ち上がりとその次に立ち上がる転送トランジスタの立ち上がりの期間に比較して、前記光パルスの幅が長く設定されている
    　距離画像撮像装置。
  2. 　前記光パルスの前記幅が、前記光パルスが照射されてから前記反射光が入射されるまでの遅延時間の変化に対応した前記電荷比の変化率のバラツキによって設定されている
    　請求項１に記載の距離画像撮像装置。
  3. 　前記光パルスの前記幅を順次変更させつつ、当該幅毎に前記遅延時間の各々の変化における前記電荷比の変化率の前記バラツキを求め、当該バラツキが最小となる前記幅を抽出し、当該幅を前記光パルスの前記幅として設定する
    　請求項２に記載の距離画像撮像装置。
  4. 　前記距離演算部が、前記被写体と画素との距離に対応する対応距離と、前記電荷蓄積部の各々に蓄積された電荷量のそれぞれから計算される電荷比との関係を示すテーブル情報に基づいて前記距離を求める
    　請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
  5. 　前記距離演算部が、前記電荷比を用いて求められた前記距離を、既知の距離である既知距離との距離ずれを近似する多項式を予め求め、当該多項式を用いて前記距離ずれを補正した前記距離を求める
    　請求項１から請求項３のいずれか一項に記載の距離画像撮像装置。
  6. 　光源部と光電変換素子と複数の電荷蓄積部と転送トランジスタとから構成される複数の画素回路の各々と、画素駆動回路と、距離演算部とを備える距離画像撮像装置を制御する距離画像撮像方法であり、
    　前記画素駆動回路が、前記光源部からの光パルスの照射に同期した所定の蓄積周期で、測定空間から入射光に応じて前記光電変換素子が発生した電荷を、フレーム周期において電荷蓄積部の各々に、前記光電変換素子から前記電荷蓄積部に前記電荷を転送させる前記転送トランジスタそれぞれを介して、前記光電変換素子で発生した前記電荷を蓄積させる過程と、
    　距離演算部が、前記測定空間における反射光により生成されて前記光電変換素子から前記転送トランジスタにより振り分けられて前記電荷蓄積部の各々に蓄積される電荷量のそれぞれの電荷比から被写体と前記距離画像撮像装置との距離の計算を行う過程と
    　を含み、
    　前記転送トランジスタのうち、特定の転送トランジスタの立ち上がりとその次に立ち上がる転送トランジスタの立ち上がりの期間に比較して、前記光パルスの幅が長く設定されている
    　距離画像撮像方法。
PCT/JP2022/033259 2021-09-06 2022-09-05 距離画像撮像装置及び距離画像撮像方法 WO2023033170A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22864752.5A EP4400866A1 (en) 2021-09-06 2022-09-05 Distance image capturing device and distance image capturing method
CN202280060326.6A CN117916623A (zh) 2021-09-06 2022-09-05 距离图像摄像装置以及距离图像摄像方法
US18/596,019 US20240210535A1 (en) 2021-09-06 2024-03-05 Range imaging device and range imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021144666A JP2023037863A (ja) 2021-09-06 2021-09-06 距離画像撮像装置及び距離画像撮像方法
JP2021-144666 2021-09-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/596,019 Continuation US20240210535A1 (en) 2021-09-06 2024-03-05 Range imaging device and range imaging method

Publications (1)

Publication Number Publication Date
WO2023033170A1 true WO2023033170A1 (ja) 2023-03-09

Family

ID=85412441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033259 WO2023033170A1 (ja) 2021-09-06 2022-09-05 距離画像撮像装置及び距離画像撮像方法

Country Status (5)

Country Link
US (1) US20240210535A1 (ja)
EP (1) EP4400866A1 (ja)
JP (1) JP2023037863A (ja)
CN (1) CN117916623A (ja)
WO (1) WO2023033170A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
JP2014159994A (ja) * 2013-02-19 2014-09-04 Panasonic Corp 距離測定装置
WO2014208018A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距システム
WO2016027656A1 (ja) * 2014-08-22 2016-02-25 浜松ホトニクス株式会社 測距方法及び測距装置
EP3767335A1 (en) * 2018-04-16 2021-01-20 Ningbo Abax Sensing Co., Ltd. Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array
JP2021144666A (ja) 2020-03-10 2021-09-24 株式会社tsumug 空間管理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010025906A (ja) * 2008-07-24 2010-02-04 Panasonic Electric Works Co Ltd 距離画像センサ
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
JP2014159994A (ja) * 2013-02-19 2014-09-04 Panasonic Corp 距離測定装置
WO2014208018A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距システム
WO2016027656A1 (ja) * 2014-08-22 2016-02-25 浜松ホトニクス株式会社 測距方法及び測距装置
EP3767335A1 (en) * 2018-04-16 2021-01-20 Ningbo Abax Sensing Co., Ltd. Distance measurement method and apparatus, and distance measurement sensor and distance measurement sensing array
JP2021144666A (ja) 2020-03-10 2021-09-24 株式会社tsumug 空間管理システム

Also Published As

Publication number Publication date
EP4400866A1 (en) 2024-07-17
US20240210535A1 (en) 2024-06-27
JP2023037863A (ja) 2023-03-16
CN117916623A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111830530B (zh) 一种距离测量方法、系统及计算机可读存储介质
WO2021020496A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US8446499B2 (en) Image capturing apparatus, image capturing system, and processing method
JP7014324B1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2021001975A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
US20230358863A1 (en) Range imaging device and range imaging method
CN213091889U (zh) 一种距离测量系统
CN111796296A (zh) 一种距离测量方法、系统及计算机可读存储介质
WO2022158560A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022191793A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2022158577A1 (ja) 距離画像撮像装置及び距離画像撮像方法
US20230333218A1 (en) Range imaging apparatus and range imaging method
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022158536A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022158570A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2021070320A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112389A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024084686A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023172742A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864752

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280060326.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022864752

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022864752

Country of ref document: EP

Effective date: 20240408