WO2021070320A1 - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
WO2021070320A1
WO2021070320A1 PCT/JP2019/039998 JP2019039998W WO2021070320A1 WO 2021070320 A1 WO2021070320 A1 WO 2021070320A1 JP 2019039998 W JP2019039998 W JP 2019039998W WO 2021070320 A1 WO2021070320 A1 WO 2021070320A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge storage
charge
group
storage unit
period
Prior art date
Application number
PCT/JP2019/039998
Other languages
English (en)
French (fr)
Inventor
知行 赤堀
正規 永瀬
川人　祥二
Original Assignee
株式会社ブルックマンテクノロジ
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ブルックマンテクノロジ, 国立大学法人静岡大学 filed Critical 株式会社ブルックマンテクノロジ
Priority to JP2021551036A priority Critical patent/JP7469779B2/ja
Priority to PCT/JP2019/039998 priority patent/WO2021070320A1/ja
Publication of WO2021070320A1 publication Critical patent/WO2021070320A1/ja
Priority to JP2024005719A priority patent/JP2024041961A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to a distance image imaging device and a distance image imaging method.
  • a time-of-flight (Time of Flight, hereinafter referred to as "TOF") distance image that measures the distance to a subject based on the flight time of light by utilizing the known speed of light.
  • TOF Time of Flight
  • an imaging device similarly to the imaging device, a plurality of pixels for detecting light for measuring the distance are arranged in a two-dimensional matrix, and information on the two-dimensional distance to the subject and an image of the subject are provided. Can be acquired (imaging).
  • the distance to the subject is measured by calculating the delay time of the pulsed light reflected by the subject based on the ratio of the charges distributed to the plurality of charge storage portions included in the pixel. can do.
  • a configuration including such a plurality of charge storage units and a charge distribution structure is called a multi-tap configuration or the like.
  • the apparent number of taps is increased by the configuration in which charges are distributed to the charge storage units at different timings for each frame, and the distance measurement range is expanded without lowering the distance resolution. Technologies that can be expanded are disclosed.
  • Patent Document 1 has room for improvement when the distance measurement range is to be further expanded. That is, if the number of frames is increased to enable measurement in a distant range, the interval from the first frame to the last frame increases, and if the object to be measured is a moving object, it may not be possible to measure accurately. there were.
  • a plurality of frames used for creating a one-frame image in one image (one-frame image) created by using a plurality of frames will be referred to as a subframe.
  • a method of increasing the number of charge storage portions included in the pixel can be considered. In this method, even if the object to be measured is a moving object, it is possible to measure with higher accuracy than in the case of measuring by increasing the number of subframes, but there is a problem that the pixel size increases.
  • the present invention has been made based on the above problems, and is a distance image imaging device and a distance image imaging method capable of increasing the number of apparent taps by a method different from the method of increasing the number of subframes. Is intended to provide.
  • the range image imaging device stores a light source unit that irradiates a measurement space, which is a space to be measured, a photoelectric conversion element that generates an electric charge according to the incident light, and the electric charge.
  • a light receiving unit having a pixel having a plurality of charge storage units and a pixel drive circuit that distributes and stores the charges to each of the charge storage units in the pixels in a predetermined storage period synchronized with the irradiation of the light pulse.
  • a timing control unit that controls the storage period, and a distance calculation unit that calculates the distance to the subject existing in the measurement space based on the amount of charge stored in each of the charge storage units.
  • a plurality of the pixels are arranged in a two-dimensional matrix, and each of the plurality of pixels is classified into one of two or more predetermined groups, and the timing control unit is the two or more groups.
  • the accumulation period of the charge storage unit in the pixels belonging to each of the above is controlled so as to be different timings for each group.
  • the timing control unit is divided into the charge storage unit in the pixels belonging to the first group among the two or more groups and the second group different from the first group. It is controlled so that the storage periods of the charge storage units in the pixel to which the charge belongs do not overlap.
  • the plurality of charge storage units in the pixel are M from the first charge storage unit to the M charge storage unit (M is an integer of 2 or more).
  • the timing control unit is composed of the charge storage unit, and the timing control unit includes M charge storage units from the first charge storage unit to the M charge storage unit in the pixels belonging to the first group among the two or more groups.
  • the charges are sequentially distributed and accumulated in each of the M charge storage units from the first charge storage unit to the M charge storage unit in the pixels belonging to the second group different from the first group, and the first charge is stored. It is controlled so that at least a part of the accumulation period of the M charge storage unit of one group and the accumulation period of the first charge storage unit of the second group overlap.
  • the plurality of charge storage units in the pixel are M from the first charge storage unit to the M charge storage unit (M is an integer of 2 or more).
  • the timing control unit comprises the charge storage unit, and the timing control unit charges the first charge storage unit in the pixels belonging to the first group of the two or more groups during the external light storage period when the light pulse is not irradiated.
  • the charge is accumulated in the first charge storage portion of the pixels belonging to the second group different from the first group, and the first reflection is performed.
  • K is an integer of any one from 2 to M
  • the K-charge storage unit in the pixels belonging to the first group and the second group After the lapse of the light storage period, the K-charge storage unit in the pixels belonging to the first group and the second group. The charge is accumulated in the Kth charge storage unit in the pixel belonging to.
  • the plurality of charge storage units in the pixel are M from the first charge storage unit to the M charge storage unit (M is an integer of 2 or more).
  • the timing control unit comprises the charge storage unit, and the timing control unit is attached to the first charge storage unit in the pixels belonging to the first group among the two or more groups during the external light storage period when the light pulse is not irradiated.
  • the K-th charge is accumulated in the pixels belonging to the first group during the K-1 reflected light accumulation period (K is any one integer from 2 to M) corresponding to the irradiation of the light pulse by accumulating the electric charge.
  • the charge is accumulated in the unit, and the charge is accumulated in the K charge storage unit in the pixels belonging to the second group during the K period including the end timing at which the K-1 reflected light storage period ends.
  • the plurality of charge storage units in the pixel are M from the first charge storage unit to the M charge storage unit (M is an integer of 2 or more).
  • the timing control unit comprises the charge storage unit, and the timing control unit is attached to the first charge storage unit in the pixels belonging to the first group among the two or more groups during the external light storage period when the light pulse is not irradiated.
  • the K-th charge is accumulated in the pixels belonging to the first group during the K-1 reflected light accumulation period (K is any one integer from 2 to M) corresponding to the irradiation of the light pulse by accumulating the electric charge.
  • the electric charge is accumulated in the unit, and the electric charge is accumulated in the first electric charge accumulating portion in the pixels belonging to the second group different from the first group in the first period including the end timing when the external light accumulating period ends.
  • the electric charge is accumulated in the Kth charge storage unit of the pixels belonging to the second group.
  • the plurality of charge storage units in the pixel are M from the first charge storage unit to the M charge storage unit (M is an integer of 2 or more).
  • the timing control unit comprises the charge storage unit, and the timing control unit is attached to the first charge storage unit in the pixels belonging to the first group among the two or more groups during the external light storage period when the light pulse is not irradiated.
  • the K-th charge is accumulated in the pixels belonging to the first group during the K-1 reflected light accumulation period (K is any one integer from 2 to M) corresponding to the irradiation of the light pulse by accumulating the electric charge.
  • the electric charge is accumulated in the K-th charge accumulating portion of the pixels belonging to the second group after the lapse of the K-th period.
  • the light source unit periodically irradiates light pulses during a plurality of subframe periods included in one frame period, and the distance calculation unit performs the plurality of distance calculation units.
  • the amount of charge accumulated in the charge storage unit is synthesized in each of the subframes.
  • the timing control unit is a pixel belonging to the first group of the two or more groups in the first subframe period of the plurality of subframe periods.
  • the accumulation period of the charge storage unit is controlled to be the first timing
  • the accumulation period of the charge storage unit in the pixels belonging to the second group different from the first group is controlled to be the second timing different from the first timing.
  • the accumulation period of the charge storage unit in the pixels belonging to the first group is the second timing
  • the charge storage unit in the pixels belonging to the second group is controlled to be the first timing.
  • a light source unit that irradiates a measurement space, which is a space to be measured, with an electric charge, a photoelectric conversion element that generates an electric charge according to the incident light, and the electric charge are accumulated.
  • a light receiving unit having a pixel having a plurality of charge storage units and a pixel drive circuit that distributes and stores the charges to each of the charge storage units in the pixels in a predetermined storage period synchronized with the irradiation of the light pulse.
  • a timing control unit that controls the storage period, and a distance calculation unit that measures the distance to the subject existing in the measurement space based on the amount of charge stored in each of the charge storage units.
  • a method for capturing a distance image by a range image imaging device in which a plurality of the pixels are arranged in a two-dimensional matrix and each of the plurality of pixels is classified into one of two or more predetermined groups.
  • the timing control unit controls the accumulation period of the charge storage unit in the pixels belonging to each of the two or more groups so that the timings are different from each other for each group.
  • the apparent number of taps can be increased by a method different from the method of increasing the number of subframes.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image imaging device according to an embodiment.
  • the distance image imaging device 1 having the configuration shown in FIG. 1 includes a light source unit 2, a light receiving unit 3, and a distance image processing unit 4. Note that FIG. 1 also shows a subject S, which is an object for measuring a distance in the distance image imaging device 1.
  • the light source unit 2 irradiates the space of the photographing target in which the subject S whose distance is to be measured in the distance image imaging device 1 exists with the light pulse PO according to the control from the distance image processing unit 4.
  • the light source unit 2 is, for example, a surface emitting type semiconductor laser module such as a vertical cavity surface emitting laser (VCSEL: Vertical Cavity Surface Emitting Laser).
  • the light source unit 2 includes a light source device 21 and a diffuser plate 22.
  • the light source device 21 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band having a wavelength of 850 nm to 940 nm) that serves as an optical pulse PO to irradiate the subject S.
  • the light source device 21 is, for example, a semiconductor laser light emitting element.
  • the light source device 21 emits a pulsed laser beam according to the control from the timing control unit 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over the area of the surface that irradiates the subject S.
  • the pulsed laser beam diffused by the diffuser plate 22 is emitted as an optical pulse PO and irradiates the subject S.
  • the light receiving unit 3 receives the reflected light RL of the light pulse PO reflected by the subject S whose distance is to be measured in the distance image imaging device 1, and outputs a pixel signal corresponding to the received reflected light RL.
  • the light receiving unit 3 includes a lens 31 and a distance image sensor 32.
  • the lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32.
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and receives (incidents) the light on the pixels provided in the light receiving region of the distance image sensor 32.
  • the distance image sensor 32 is an image pickup device used in the distance image image pickup device 1.
  • the distance image sensor 32 includes a plurality of pixels in a two-dimensional light receiving region.
  • one photoelectric conversion element In each pixel of the distance image sensor 32, one photoelectric conversion element, a plurality of charge storage units corresponding to the one photoelectric conversion element, and a component for distributing charges to each charge storage unit are provided. .. That is, the pixel is an image sensor having a distribution configuration in which charges are distributed and stored in a plurality of charge storage units.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion element to the respective charge storage units according to the control from the timing control unit 41. Further, the distance image sensor 32 outputs a pixel signal according to the amount of electric charge distributed to the electric charge storage unit. A plurality of pixels are arranged in a two-dimensional matrix in the distance image sensor 32, and a pixel signal for one frame corresponding to each pixel is output.
  • the distance image processing unit 4 controls the distance image imaging device 1 and calculates the distance to the subject S.
  • the distance image processing unit 4 includes a timing control unit 41 and a distance calculation unit 42.
  • the timing control unit 41 controls the timing of outputting various control signals required for measurement.
  • the various control signals here include, for example, a signal for controlling the irradiation of the optical pulse PO, a signal for distributing the reflected light RL to a plurality of charge storage units, a signal for controlling the number of distributions per frame, and the like.
  • the number of distributions is the number of times the process of distributing charges to the charge storage unit is repeated.
  • each of the plurality of pixels included in the distance image imaging device 1 is classified into one of two or more predetermined groups.
  • the timing control unit 41 controls the accumulation period of the charge storage unit in the pixels belonging to each of the two or more groups so that the timings are different from each other for each group.
  • the accumulation period is a period during which electric charges are accumulated in the electric charge accumulating portion.
  • the distance calculation unit 42 outputs distance information obtained by calculating the distance to the subject S based on the pixel signal output from the distance image sensor 32.
  • the distance calculation unit 42 calculates the delay time Td (see FIG. 18) from irradiating the light pulse PO to receiving the reflected light RL based on the amount of electric charge accumulated in the plurality of charge storage units.
  • the distance calculation unit 42 calculates the distance to the subject S according to the calculated delay time Td.
  • the light receiving unit 3 receives the reflected light RL reflected by the subject S from the light pulse PO in the near infrared wavelength band irradiated by the light source unit 2 to the subject S.
  • the distance image processing unit 4 outputs distance information obtained by measuring the distance to the subject S.
  • FIG. 1 shows a distance image imaging device 1 having a distance image processing unit 4 inside, but the distance image processing unit 4 is a component provided outside the distance image imaging device 1. You may.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup device (distance image sensor 32) used in the distance image image pickup device 1 according to the embodiment of the present invention.
  • the distance image sensor 32 includes, for example, a light receiving region 320 in which a plurality of pixels 321 are arranged, a control circuit 322, a vertical scanning circuit 323 having a sorting operation, and a horizontal scanning circuit 324. It includes a pixel signal processing circuit 325.
  • the light receiving area 320 is an area in which a plurality of pixels 321 are arranged, and FIG. 2 shows an example in which the light receiving area 320 is arranged in a two-dimensional matrix in 8 rows and 8 columns.
  • the pixel 321 accumulates an electric charge according to the amount of light received.
  • the control circuit 322 comprehensively controls the distance image sensor 32.
  • the control circuit 322 controls the operation of the components of the distance image sensor 32 in response to an instruction from the timing control unit 41 of the distance image processing unit 4, for example.
  • the component elements provided in the distance image sensor 32 may be controlled directly by the timing control unit 41. In this case, the control circuit 322 may be omitted.
  • the vertical scanning circuit 323 is a circuit that controls the pixels 321 arranged in the light receiving region 320 line by line in response to the control from the control circuit 322.
  • the vertical scanning circuit 323 causes the pixel signal processing circuit 325 to output a voltage signal corresponding to the amount of electric charge stored in each of the charge storage units of the pixel 321.
  • the vertical scanning circuit 323 distributes the charge converted by the photoelectric conversion element to each of the charge storage units of the pixel 321. That is, the vertical scanning circuit 323 is an example of a "pixel drive circuit".
  • the pixel signal processing circuit 325 receives predetermined signal processing (for example, noise suppression processing) for the voltage signals output from the pixels 321 in each row to the corresponding vertical signal lines in response to the control from the control circuit 322. And A / D conversion processing).
  • predetermined signal processing for example, noise suppression processing
  • the horizontal scanning circuit 324 is a circuit that sequentially outputs signals output from the pixel signal processing circuit 325 to the horizontal signal line in response to control from the control circuit 322. As a result, pixel signals corresponding to the amount of electric charge accumulated for one frame are sequentially output to the distance image processing unit 4 via the horizontal signal line.
  • the pixel signal processing circuit 325 performs A / D conversion processing and the pixel signal is a digital signal.
  • FIG. 3 is a circuit diagram showing an example of the configuration of pixels 321 arranged in the light receiving region 320 of the image pickup device (distance image sensor 32) used in the distance image image pickup device 1 of the embodiment of the present invention.
  • FIG. 3 shows an example of the configuration of one pixel 321 among the plurality of pixels 321 arranged in the light receiving region 320.
  • Pixel 321 is an example of a configuration including three pixel signal reading units.
  • Pixel 321 includes one photoelectric conversion element PD, a drain transistor GD, and three pixel signal reading units RU that output voltage signals from the corresponding output terminals O.
  • Each of the pixel signal reading units RU includes a reading transistor G, a floating diffusion FD, a charge storage capacity C, a reset transistor RT, a source follower transistor SF, and a selection transistor SL.
  • a charge storage unit CS is composed of a floating diffusion FD and a charge storage capacity C.
  • each pixel signal reading unit RU is distinguished by adding a number "1", “2", or “3” after the code "RU" of the three pixel signal reading units RU. To do.
  • each component provided in the three pixel signal reading unit RUs also has a pixel signal reading unit corresponding to each component by indicating a number representing each pixel signal reading unit RU after the reference numeral. RU is distinguished and represented.
  • the pixel signal reading unit RU1 that outputs a voltage signal from the output terminal O1 includes a reading transistor G1, a floating diffusion FD1, a charge storage capacity C1, a reset transistor RT1, and a source follower transistor SF1. And the selection transistor SL1.
  • the charge storage unit CS1 is composed of the floating diffusion FD1 and the charge storage capacity C1.
  • the pixel signal reading unit RU2 and the pixel signal reading unit RU3 have the same configuration.
  • the charge storage unit CS1 is an example of the “first charge storage unit”.
  • the charge storage unit CS2 is an example of a “second charge storage unit”.
  • the charge storage unit CS3 is an example of a “third charge storage unit”.
  • the photoelectric conversion element PD is an embedded photodiode that converts incident light by photoelectric conversion to generate an electric charge and accumulates the generated electric charge.
  • the structure of the photoelectric conversion element PD may be arbitrary.
  • the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined, or a structure in which an I-type semiconductor is sandwiched between the P-type semiconductor and the N-type semiconductor. It may be a PIN photodiode.
  • the photoelectric conversion element PD is not limited to the photodiode, and may be, for example, a photogate type photoelectric conversion element.
  • the charge generated by photoelectric conversion of the light incident on the photoelectric conversion element PD is distributed to each of the three charge storage units CS, and each voltage signal corresponding to the charge amount of the distributed charge is transmitted to the pixel. Output to the signal processing circuit 325.
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration including the three pixel signal reading units RU as shown in FIG. 3, and includes a plurality of pixel signal reading units RU. Any pixel may be used. That is, the number of pixel signal reading units RU (charge storage unit CS) provided in the pixels arranged in the distance image sensor 32 may be two or four or more.
  • the charge storage unit CS is composed of the floating diffusion FD and the charge storage capacity C.
  • the charge storage unit CS may be configured by at least a floating diffusion FD, and the pixel 321 may not have the charge storage capacity C.
  • the pixel 321 having the configuration shown in FIG. 3 shows an example of the configuration including the drain transistor GD, when it is not necessary to discard the (remaining) charge accumulated in the photoelectric conversion element PD, ,
  • the configuration may not include the drain transistor GD.
  • FIG. 18 is a timing chart showing the timing of the drive signal for driving the pixels in the conventional distance image imaging device.
  • the timing of irradiating the optical pulse PO is “Light”, the timing of receiving the reflected light is “REFRECTION”, the timing of the drive signal TX1 is “G1”, the timing of the drive signal TX2 is “G2”, and the drive signal.
  • the timing of TX3 is indicated by the item name of "G3”, and the timing of the drive signal RSTD is indicated by the item name of "GD”.
  • a series of light receiving operation timings in the distance image imaging device are indicated by the item name of "Camera”. In “Camera”, the timing at which the read transistors G1, G2, G3, and the drain transistor GD are turned on is indicated by “G1", “G2", “G3", and “GD", respectively.
  • the drive signal TX1 is a signal for driving the readout transistor G1. The same applies to the drive signals TX2 and TX3.
  • the vertical scanning circuit 323 stores charges in the order of the charge storage units CS1, CS2, and CS3 in synchronization with the irradiation of the optical pulse PO.
  • the vertical scanning circuit 323 turns on the read transistor G1. As a result, the charges photoelectrically converted by the photoelectric conversion element PD are accumulated in the charge storage unit CS1 via the readout transistor G1. After that, the vertical scanning circuit 323 turns off the read transistor G1. As a result, the transfer of electric charge to the electric charge storage unit CS1 is stopped. In this way, the vertical scanning circuit 323 stores the electric charge in the electric charge accumulating unit CS1.
  • the vertical scanning circuit 323 turns on the read transistor G2 at the timing when the charge accumulation in the charge storage unit CS1 is completed, and starts the charge accumulation in the charge storage unit CS2.
  • the subsequent flow of processing for accumulating charges in the charge storage unit CS2 is the same as the flow of processing for accumulating charges in the charge storage unit CS1. Therefore, the description thereof will be omitted.
  • the light source unit 2 irradiates the optical pulse PO at the timing when the read transistor G1 is turned off, that is, when the read transistor G2 is turned on.
  • the irradiation time To in which the light source unit 2 irradiates the light pulse PO is the same length as the accumulation period Ta.
  • the period during which the read transistor G1 is turned on and the electric charge is accumulated in the electric charge storage unit CS1 is an example of the “external light accumulation period”.
  • the vertical scanning circuit 323 turns on the read transistor G3 at the timing when the charge accumulation in the charge storage unit CS2 is completed, and starts the charge accumulation in the charge storage unit CS3.
  • the subsequent flow of processing for accumulating charges in the charge storage unit CS3 is the same as the flow of processing for accumulating charges in the charge storage unit CS1. Therefore, the description thereof will be omitted.
  • the vertical scanning circuit 323 turns on the drain transistor GD at the timing when the charge accumulation in the charge storage unit CS3 is completed, and discharges the charge. As a result, the electric charge converted by photoelectric conversion element PD is discarded via the drain transistor GD.
  • the accumulation of electric charge in the electric charge storage unit CS by the vertical scanning circuit 323 and the discarding of the electric charge converted by the photoelectric conversion element PD are repeatedly performed over one frame.
  • charges corresponding to the amount of light received by the distance image imaging device 1 in a predetermined time interval are accumulated in each of the charge storage units CS.
  • the horizontal scanning circuit 324 outputs an electric signal corresponding to the amount of charge for one frame stored in each of the charge storage units CS to the distance calculation unit 42.
  • the charge storage unit CS1 responds to external light components such as background light before irradiating the light pulse PO. The amount of charge is retained. Further, the charge storage units CS2 and CS3 distribute and hold the reflected light RL and the amount of charge according to the external light component.
  • the distribution (distribution ratio) of the amount of charge distributed to the charge storage units CS2 and CS3 is a ratio according to the delay time Td until the light pulse PO is reflected by the subject S and is incident on the distance image imaging device 1. ..
  • the distance calculation unit 42 uses this principle to calculate the delay time Td by the following equation (1).
  • Td To ⁇ (Q3-Q1) / (Q2 + Q3-2 ⁇ Q1) ... (1)
  • Q1 is the amount of charge stored in the charge storage unit CS1
  • Q2 is the amount of charge stored in the charge storage unit CS2
  • Q3 is the amount of charge stored in the charge storage unit CS3.
  • the component corresponding to the external light component is the same amount as the amount of charge stored in the charge storage part CS1. Assuming.
  • the distance calculation unit 42 calculates the round-trip distance to the subject S by multiplying the delay time obtained by the equation (1) by the speed of light. Then, the distance calculation unit 42 obtains the distance to the subject S by halving the round-trip distance calculated above.
  • one pixel 321 in the light receiving unit 3 includes four charge storage units CS (charge storage units CS1 to CS4). That is, the distance image imaging device 1 of the present embodiment has a 4-tap configuration.
  • the pixel 321 of FIG. 3 is further provided with a pixel signal reading unit RU4.
  • the pixel signal reading unit RU4 has the same configuration as the pixel signal reading unit RU1.
  • the charge storage unit CS4 is an example of the “fourth charge storage unit”.
  • FIG. 4 is a timing chart in the case where the plurality of pixels 321 in the light receiving unit 3 are classified into one of the two groups Gr1 and Gr2, and one frame is composed of two subframes Sf1 and Sf2.
  • the group Gr1 is an example of the "first group”.
  • Group Gr2 is an example of a "second group”.
  • the period required for one frame is an example of a "frame period”.
  • the period required for each of the subframes Sf1 and Sf2 is an example of the "subframe period”.
  • the period required for the subframe Sf1 is an example of the "first subframe period”.
  • the period required for the subframe Sf2 is an example of the "second subframe period”.
  • G4 indicates the timing of the drive signal TX4 by “G4”.
  • the drive signal TX4 is a signal for driving the read transistor G4.
  • the time t is shown on the horizontal axis, and the scale on the horizontal axis is attached to each time section corresponding to the “period To”.
  • the “period To” corresponds to the irradiation period of the optical pulse PO and the accumulation period Ta of one charge storage unit CS.
  • the optical pulse PO is irradiated during the period when the scale on the horizontal axis is from "0" to "1".
  • the reflected light RL was incident during the incident period R1 after the time Td1 had elapsed from the irradiation of the light pulse PO, and the reflected light RL was incident during the incident period R2 after the time Td2 had elapsed.
  • FIG. 4 the time t is shown on the horizontal axis, and the scale on the horizontal axis is attached to each time section corresponding to the “period To”.
  • the “period To” corresponds to the irradiation period of the optical pulse PO and the accumulation period Ta of one charge storage unit CS
  • the time Ton in which each gate (reading transistors G1 to G4 and drain transistor GD) is turned on is set to be slightly shorter than the accumulation period Ta of each gate.
  • the timing of changing the drain transistor GD from the on state to the off state and the timing of changing the first gate (reading transistor G1) from the off state to the on state are simultaneously generated.
  • Charge discharge and charge distribution error (crosstalk) can be suppressed.
  • “Gr1, Sf1” in FIG. 4 shows a timing chart in which pixels belonging to the group Gr1 are driven by the subframe Sf1.
  • “Gr2, Sf1” indicates a timing chart for driving the pixels belonging to the group Gr2 in the subframe Sf1.
  • “Gr1, Sf2” indicates a timing chart for driving the pixels belonging to the group Gr1 in the subframe Sf2.
  • “Gr2, Sf2” indicates a timing chart for driving the pixels belonging to the group Gr2 in the subframe Sf2.
  • the incident period R1 shown in FIG. 4 spans the period in which the readout transistors G3 and G4 are turned on in "Gr1 and Sf1". In this case, the electric charge corresponding to the reflected light RL is applied to the charge storage units CS3 and CS4. Accumulated across.
  • the incident period R1 is the reflected light from the subject S located at the substantially upper limit of the measurable distance in the conventional 4-tap configuration without a subframe. That is, the subject S farther away is incident later than the incident period R1, and cannot be measured with the conventional 4-tap configuration.
  • the incident period R2 is the reflected light RL that is incident later than the incident period R1, and it is not possible to accumulate an electric charge corresponding to the reflected light RL in any of the readout transistors G in the conventional 4-tap configuration. Therefore, the distance cannot be measured.
  • the plurality of pixels 321 included in the distance image imaging device 1 are classified into groups Gr1 and Gr2. Then, the timing control unit 41 controls the groups Gr1 and Gr2 so as to operate in conjunction with each other at different timings.
  • the timing control unit 41 turns on the read transistors G1 to G4 in the pixels belonging to the group Gr1 in order, and charges are accumulated in the charge storage units CS1 to CS4 in order. To do so.
  • the timing control unit 41 starts from the read transistor G1 in the pixel belonging to the group Gr2 at the timing when the read transistor G4 in the pixel belonging to the group Gr1 changes from the on state to the off state. G4 is turned on in order so that charges are accumulated in the charge storage units CS1 to CS4 in order. That is, the timing control unit 41 sequentially distributes and stores charges in the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr1 and the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr2.
  • the timing control unit 41 controls so that the accumulation periods Ta of the charge storage units CS do not overlap. As a result, the delay time Td of the reflected light RL that can be received by the distance image imaging device 1 is increased.
  • the incident period R2 extends over the period during which the readout transistors G3 and G4 shown in “Gr2, Sf1" are in the ON state, and the electric charge corresponding to the reflected light RL is accumulated in the pixel 321 belonging to the group Gr2. It will be accumulated across the parts CS3 and CS4. That is, according to the "configuration in which the groups Gr1 and Gr2 operate in conjunction with each other at different timings" of the present embodiment, the apparent number of taps can be set to 8 and can be increased from the actual number of taps of 4. Therefore, the distance to the subject S corresponding to the incident period R2, which could not be measured with the 4-tap configuration, can be measured without increasing the number of subframes.
  • one frame is configured to include two subframes Sf1 and Sf2.
  • This configuration is not a configuration for increasing the number of apparent taps, but is a configuration for evenly distributing the external light noise to the two group Grs as described below.
  • the timing control unit 41 drives the timing of driving the pixel 321 belonging to the group Gr1 in the subframe Sf1 and the pixel 321 belonging to the group Gr2 in the subframe Sf2. It is controlled so that the timing to be caused is the same timing (an example of "first timing").
  • the timing control unit 41 drives the pixel 321 belonging to the group Gr2 in the subframe Sf1 and the pixel 321 belonging to the group Gr1 in the subframe Sf2. Is controlled so that the timing of driving is the same timing (an example of "second timing").
  • the drive timing in the subframe Sf1 and the drive timing in the subframe Sf2 are alternately switched for each group.
  • the peculiar external light noise here is external light that can be accumulated when the drive timing of the group Gr is not changed for each subframe Sf.
  • external light linked to the cycle of the subframe is periodically generated. This is the case when it occurs in. That is, by alternately switching the drive timing of the group Gr for each subframe, even if the external light linked to the cycle of the subframe is periodically generated, the external light component is set to the group Gr1.
  • the pixels 321 belonging to Gr2 can be distributed to receive light almost evenly. Therefore, it is possible to improve the accuracy of the measurement as compared with the case where the peculiar external light noise is received only in one group.
  • FIG. 5 is a timing chart in the case where the plurality of pixels 321 in the light receiving unit 3 are classified into one of the two groups Gr1 and Gr2, and one frame is composed of four subframes Sf1 to Sf4. An example of is shown.
  • “Gr1, Sf3” indicates a timing chart in which pixels belonging to the group Gr1 are driven by the subframe Sf3.
  • “Gr2, Sf3” indicates a timing chart for driving the pixels belonging to the group Gr2 in the subframe Sf3.
  • “Gr1, Sf4” indicates a timing chart for driving the pixels belonging to the group Gr1 in the subframe Sf4.
  • “Gr2, Sf4” indicates a timing chart for driving the pixels belonging to the group Gr2 in the subframe Sf4.
  • those having the same item names as those in FIG. 4 are the same as those in FIG. 4, and therefore the description thereof will be omitted.
  • the timing control unit 41 controls the groups Gr1 and Gr2 so as to operate in conjunction with each other at different timings over the subframes Sf1 to Sf4.
  • the timing control unit 41 turns on the read transistors G1 to G4 in the pixels belonging to the group Gr1 in order in the subframe Sf1, and sequentially turns on the charge storage units CS1 to CS4. Allows the charge to accumulate.
  • the timing control unit 41 is a pixel belonging to the group Gr2 at the timing when the read transistor G4 in the pixel belonging to the group Gr1 changes from the on state to the off state in the subframe Sf1.
  • the read transistors G1 to G4 in the above are turned on in order so that charges are accumulated in the charge storage units CS1 to CS4 in order.
  • the timing control unit 41 sets the group at the timing when the read transistor G4 in the pixel belonging to the group Gr2 in the subframe Sf1 changes from the on state to the off state in the subframe Sf2.
  • the readout transistors G1 to G4 in the pixels belonging to Gr1 are turned on in order so that the charges are accumulated in the charge storage units CS1 to CS4 in order.
  • the timing control unit 41 is a pixel belonging to the group Gr2 at the timing when the read transistor G4 in the pixel belonging to the group Gr1 changes from the on state to the off state in the subframe Sf2.
  • the read transistors G1 to G4 in the above are turned on in order so that charges are accumulated in the charge storage units CS1 to CS4 in order.
  • the timing control unit 41 distributes and stores charges to the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr1 and the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr2 in order in the subframe Sf1.
  • the apparent number of taps By setting the apparent number of taps to 8, the measurable range is expanded.
  • the timing control unit 41 has the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr1 and the charge storage units CS1 to CS4 in the pixels 321 belonging to the group Gr2 from the timing when the accumulation of the subframe Sf1 ends. Charges are distributed and accumulated in each order, the number of apparent taps is further increased by 8 taps, and the total number of apparent taps is 16 taps.
  • one frame is configured to include two subframes Sf3 and Sf4 in addition to the above two subframes Sf1 and Sf2.
  • This configuration is not a configuration for increasing the number of apparent taps, but is a configuration for allowing the two group Grs to receive external light noise evenly, as described below.
  • the timing control unit 41 drives the timing of driving the pixel 321 belonging to the group Gr1 in the subframe Sf1 and the pixel 321 belonging to the group Gr2 in the subframe Sf3. It is controlled so that the timing to be caused is the same timing (an example of "first timing").
  • the timing control unit 41 drives the pixel 321 belonging to the group Gr2 in the subframe Sf1 and the pixel 321 belonging to the group Gr1 in the subframe Sf3. Is controlled so that the timing of driving is the same timing (an example of "second timing").
  • the timing control unit 41 drives the pixel 321 belonging to the group Gr1 in the subframe Sf2, and the pixel 321 belonging to the group Gr2 in the subframe Sf4. Is controlled so that the timing for driving the above is the same timing (an example of the "first timing").
  • the timing control unit 41 drives the pixel 321 belonging to the group Gr2 in the subframe Sf2, and the pixel 321 belonging to the group Gr1 in the subframe Sf4. Is controlled so that the timing of driving is the same timing (an example of "second timing").
  • the drive timings in the subframes Sf1 and Sf2 and the drive timings in the subframes Sf3 and Sf4 are alternately exchanged for each group Gr.
  • the external light component can be received by the pixels 321 belonging to the groups Gr1 and Gr2 almost evenly. .. Therefore, it is possible to improve the accuracy of the measurement as compared with the case where the peculiar external light noise is received only in one group.
  • FIG. 6 shows a case where the plurality of pixels 321 in the light receiving unit 3 are classified into one of the two groups Gr1 and Gr2, and one frame is two subframes Sf1 and Sf2, as in FIG. An example of a timing chart in the case of consisting of is shown. Since the items in FIG. 6 are the same as those in FIG. 4, the description thereof will be omitted.
  • the timing control unit 41 controls the groups Gr1 and Gr2 to operate in conjunction with each other at different timings
  • the timing control unit 41 controls so that a part of the drive timings of the groups Gr1 and Gr2 overlap. In that respect, it differs from FIG.
  • the timing control unit 41 turns on the read transistors G1 to G4 in the pixels belonging to the group Gr1 in order, and charges are accumulated in the charge storage units CS1 to CS4 in order. To do so.
  • the timing control unit 41 performs the read transistor G1 in the pixel belonging to the group Gr2 at an arbitrary timing while the read transistor G4 in the pixel belonging to the group Gr1 is in the ON state. G4 is turned on in order, and then charges are accumulated in the charge storage units CS1 to CS4 in order.
  • the timing control unit 41 controls so that the accumulation period Ta of the charge storage unit CS4 in the pixel 321 belonging to the group Gr1 and a part of the charge storage unit CS1 storage period Ta in the pixel 321 belonging to the group Gr2 overlap.
  • the reflected light RL is incident at the timing Ts when the drive of the group Gr1 is switched to the drive of the group Gr2, the deterioration of the measurement accuracy is suppressed.
  • one frame is configured to include two subframes Sf1 and Sf2.
  • This configuration is not a configuration for increasing the number of apparent taps, but a configuration for evenly distributing external light noise to two groups Gr.
  • This configuration is the same as in FIG. Therefore, the description thereof will be omitted.
  • FIG. 7 shows a case where the plurality of pixels 321 in the light receiving unit 3 are classified into one of the two groups Gr1 and Gr2, and one frame is four subframes Sf1 to Sf4, as in FIG. An example of a timing chart in the case of consisting of is shown. Since the items in FIG. 7 are the same as those in FIG. 6, the description thereof will be omitted.
  • the timing control unit 41 controls the groups Gr1 and Gr2 so as to operate in conjunction with each other at different timings over the subframes Sf1 and Sf2. At that time, the timing control unit 41 controls so that a part of the drive timings of the groups Gr1 and Gr2 overlap. This configuration is the same as in FIG. Therefore, the description thereof will be omitted.
  • one frame is configured to include two subframes Sf3 and Sf4 in addition to the above two subframes Sf1 and Sf2.
  • This configuration is not a configuration for increasing the number of apparent taps, but is a configuration for allowing the two group Grs to receive external light noise evenly, as described below. This configuration is the same as in FIG. Therefore, the description thereof will be omitted.
  • 8 to 10 are diagrams showing an example of grouping of pixel groups in the distance image imaging device of the first embodiment. 8 to 10 schematically show pixels 321 arranged in a two-dimensional manner.
  • each column of pixels 321 into two groups Gr1 and Gr2.
  • FIG. 9 for example, it is conceivable to classify each row of pixels 321 into two groups Gr1 and Gr2.
  • each pixel 321 (per pixel) into four groups Gr1 to Gr4.
  • the four pixels P1 to P4 are classified into four groups, and each group is driven at a different timing.
  • the pixel groups in the distance image imaging device may be classified into a plurality of groups of 3 or more, and each group may be driven at different timings. Also in this configuration, the same method as in the case of classifying into two groups Gr1 and Gr2 can be applied.
  • grouping may be performed according to the situation of the two-dimensional arrangement of the pixels 321.
  • the arrangement of the pixels 321 is a horizontally long sensor whose row direction is longer than that in the column direction, it is common to mount the control line along the row direction. In this case, in consideration of ease of control, it is preferable to classify each row into different groups.
  • a plurality of pixels 321 are arranged in a two-dimensional matrix, and each of the plurality of pixels 321 is any of two or more predetermined groups Gr1 and Gr2. It is classified as.
  • the timing control unit 41 controls the accumulation period Ta of the charge storage unit CS in the pixels 321 belonging to each of the two or more groups Gr1 and Gr2 so that the timings are different from each other for each group.
  • the groups Gr1 and Gr2 can be linked, and the apparent number of taps can be increased without increasing the number of subframes.
  • the distance image imaging device 1 has a 4-tap configuration, and the timing control unit 41 sequentially arranges the groups Gr1 and Gr2 so that the accumulation periods Ta of the respective charge storage units CS do not overlap. Drive. As a result, the same effect as the above-mentioned effect is obtained. Further, in the first embodiment, the distance image imaging device 1 has a 4-tap configuration, and the timing control unit 41 drives the groups Gr1 and Gr2 in order, and the charge storage unit CS4 of the group Gr1 has a storage period Ta and a group. It is controlled so that at least a part of the period overlaps with the accumulation period Ta of the charge storage unit CS1 of Gr2.
  • one frame is composed of a plurality of subframes Sf1 and Sf2, and the timing control unit 41 drives the group Gr2 in the subframe Sf2 at the timing when the group Gr1 is driven in the subframe Sf1. Let me. Further, the timing control unit 41 drives the group Gr1 in the subframe Sf2 at the timing when the group Gr2 is driven in the subframe Sf1. As a result, it is possible to suppress the uneven accumulation of external light noise in one group and suppress the deterioration of measurement accuracy. Further, in the first embodiment, when the number of subframes is increased, it is possible to increase the resistance to external light and increase the number of apparent taps.
  • one pixel 321 in the light receiving unit 3 includes three charge storage units CS (charge storage units CS1 to CS3). That is, the distance image imaging device 1 of the present embodiment has a three-tap configuration.
  • FIG. 11 is a diagram showing an example of grouping of pixel groups in the distance image imaging device of the second embodiment.
  • FIG. 11 shows an example in which the pixels 321 arranged in a two-dimensional manner are classified into one of two groups Gr1 and Gr2 alternately in the vertical direction and the horizontal direction in a houndstooth pattern.
  • TX_CTRL [0] in FIG. 11 is a timing signal for driving the pixels 321 classified in the group Gr1.
  • TX_CTRL [1] is a timing signal for driving the pixels 321 classified in the group Gr2.
  • FIG. 12 is a timing chart showing the timing of driving the pixels in the distance image imaging apparatus of the second embodiment.
  • “Gr1” indicates a timing chart for driving the pixels belonging to the group Gr1.
  • “Gr2” indicates a timing chart for driving the pixels belonging to the group Gr2.
  • Gr1_Camera the timing at which the read transistors G1, G2, G3 and the drain transistor GD belonging to the group Gr1 are turned on is indicated by “G1”, “G2", “G3", and "GD", respectively. There is.
  • the timing control unit 41 controls so that charges are accumulated in the charge storage units CS of both groups Gr1 and Gr2 at the timing when the accuracy tends to deteriorate relatively in the measurement.
  • the timing control unit 41 controls the charge to be accumulated only in one of the charge storage units CS of the group Gr1 or Gr2 at the timing when the accuracy is relatively unlikely to deteriorate.
  • the timing that tends to cause the accuracy to deteriorate relatively is the timing at which the reflected light RL from the subject S located at a relatively long distance is incident.
  • the timings at which the accuracy is relatively unlikely to deteriorate are the timing at which external light (background light) is received and the timing at which the reflected light RL from the subject S located at a relatively short distance is incident. This is because the amount of light has the property of decreasing in inverse proportion to the square of the distance.
  • the timing control unit 41 accumulates the electric charge only in the electric charge accumulating unit CS1 in the pixel 321 belonging to the group Gr1 during the external light accumulating period Tn in which the optical pulse PO is not irradiated.
  • the timing control unit 41 accumulates charges only in the charge storage unit CS1 in the pixel 321 belonging to the group Gr2 during the first reflected light storage period T1 in which the light pulse PO is irradiated.
  • the timing control unit 41 charges the charge storage unit CS2 in the pixel 321 belonging to the group Gr1 and the charge in the pixel 321 belonging to the group Gr2 in the second reflected light storage period T2 after the lapse of the first reflected light storage period T1. Charges are stored in both of the storage units CS2.
  • the timing control unit 41 accumulates charges in the charge storage unit CS3 in the pixel 321 belonging to the group Gr1 and the charge storage in the pixel 321 belonging to the group Gr2 in the third reflected light storage period T3 after the lapse of the second reflected light storage period T2. Charges are accumulated in the part CS3. As a result, even when the reflected light from a relatively long distance is received, it is possible to prevent the amount of light received from being reduced as compared with the case where the light is received at a short distance. Therefore, it is possible to suppress deterioration of measurement accuracy.
  • the synthesis method may be arbitrary.
  • the synthesis here is to synthesize the electric charge accumulated by driving the group Gr1 and the signal corresponding to the electric charge, the electric charge accumulated by driving the group Gr2, and the signal corresponding to the electric charge. It is a process to do.
  • the distance calculation unit 42 performs a synthesis process and calculates the distance using the composite result. In this case, the distance calculation unit 42 doubles the charges accumulated in the external light storage period Tn and the first reflected light storage period T1, respectively, the second reflected light storage period T2, and the third reflected light storage period. Synthesis is performed using the charges obtained by adding the charges accumulated in each of T3.
  • the charges accumulated in the external light storage period Tn and the first reflected light storage period T1 are added and averaged. It may be used to synthesize.
  • FIG. 13 is a diagram showing an example of grouping of pixel groups in the distance image imaging device of the second embodiment.
  • the pixels 321 arranged in a two-dimensional manner are alternately classified into one of two groups Gr1 and Gr2 in the first row over two rows in the vertical direction, and two alternately in the second row. It is classified into any of the groups Gr3 and Gr4, and an example of the case where the combination of the first column and the second column is expanded in the horizontal direction is shown.
  • TX_CTRL [0] and TX_CTRL [1] in FIG. 13 are the same as those in FIG.
  • TX_CTRL [2] is a timing signal for driving the pixels 321 classified in the group Gr3.
  • TX_CTRL [3] is a timing signal for driving the pixels 321 classified in the group Gr4.
  • the pixel groups in the distance image imaging device 1 may be classified into a plurality of groups of 3 or more, and each group may be driven at different timings. Also in this configuration, the same method as in the case of classifying into two groups Gr1 and Gr2 can be applied.
  • one frame may be configured to include a plurality of subframes.
  • FIG. 14 is a diagram for explaining an example of a process of synthesizing a plurality of subframes in the distance image imaging apparatus of the second embodiment.
  • the timing control unit 41 drives each subframe at different timings for each group.
  • a case where one frame is composed of two subframes Sf1 and Sf2 will be described as an example, but the present invention is not limited to this. Even when one frame is composed of three or more subframes, the synthesis method described below can be applied.
  • the timing control unit 41 may drive the group Gr2 in the subframe Sf2 at the timing when the group Gr1 is driven in the subframe Sf1.
  • the timing control unit 41 may control both the subframes Sf1 and Sf2 so as not to change the drive timings of the groups Gr1 and Gr2, respectively. Processing can be simplified by not changing the drive timing.
  • the distance image capturing apparatus 1 alternately repeats the process by the subframe Sf1 (process F1) and the process by the subframe Sf2 (process F2).
  • the distance image imaging device 1 stores the processing result by the processing F1 in the frame memory, and temporarily holds the processing result by the subframe Sf1 (processing F4).
  • the distance image imaging device 1 stores the processing result by the processing F2 in the frame memory at the timing Tm2 next to the timing Tm1, and temporarily holds the processing result by the subframe Sf2 (processing F3).
  • the distance image imaging device 1 synthesizes two processing results of the subframe Sf1 and the subframe Sf2 by using the processing result by the processing F3 and the processing result by the processing F1 at the timing Tm3 next to the timing Tm2. (Processing F5). At the timing Tm2, the distance image imaging apparatus 1 synthesizes two processing results of the subframe Sf2 and the subframe Sf1 by using the processing result by the processing F4 and the processing result by the processing F2 (processing F6).
  • the distance image imaging device 1 has a three-tap configuration, and the timing control unit 41 accumulates charges in the charge storage unit CS1 of the group Gr1 during the external light storage period Tn.
  • the timing control unit 41 accumulates charges in both the charge storage units CS2 of the groups Gr1 and Gr2 during the second reflected light storage period T2.
  • the timing control unit 41 accumulates charges in both the charge storage units CS2 of the groups Gr1 and Gr2 during the third reflected light storage period T3.
  • one frame is composed of a plurality of subframes
  • the distance calculation unit 42 synthesizes the amount of charge accumulated in the charge storage unit CS in each of the plurality of subframes.
  • one pixel 321 in the light receiving unit 3 includes three charge storage units CS (charge storage units CS1 to CS3). That is, the distance image imaging device 1 of the present embodiment has a three-tap configuration.
  • the timing control unit 41 controls the drive timing of the charge storage unit CS so as to increase the distance region where the distance resolution is high. That is, the timing control unit 41 can drive the pixels 321 belonging to the group Gr1 at the conventional light receiving timing as shown in FIG. 18, and can improve the accuracy of the measurement by the group Gr1 and can measure. The pixels 321 belonging to the group Gr2 are driven so that the range of the distance is expanded.
  • the details of the present embodiment will be described with reference to FIGS. 15 to 17.
  • FIGS. 15 to 17 are timing charts showing the timing of driving the pixels in the distance image imaging device of the third embodiment.
  • “Gr1 or Sf1” indicates a timing chart in which the pixel 321 belonging to the group Gr1 or the pixel 321 is driven by the subframe Sf1.
  • “Gr2 or Sf2” shows a timing chart for driving the pixel 321 in the pixel 321 belonging to the group Gr2 or the subframe Sf1.
  • “Light”, “G1”, “G2”, “G3”, and “GD” are the same as those in FIG. Therefore, the description thereof will be omitted.
  • the timing control unit 41 accumulates charges in the charge storage unit CS1 belonging to both groups Gr1 and Gr2 during the external light storage period Tn.
  • the timing control unit 41 accumulates charges in the charge storage unit CS2 belonging to the group Gr1 during the first reflected light storage period T1.
  • the timing control unit 41 shifts (delays) the first reflected light storage period T1 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T105. Charges are accumulated in the part CS2.
  • the timing control unit 41 accumulates charges in the charge storage unit CS3 belonging to the group Gr1 during the second reflected light storage period T2.
  • the timing control unit 41 shifts (delays) the second reflected light storage period T2 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T205. Charges are accumulated in the part CS3.
  • the accumulation in the charge storage unit CS2 of the group Gr2 can be performed so as to include the timing Tp1 of switching from the accumulation in the charge storage unit CS2 in the group Gr1 to the accumulation in the charge storage unit CS3. Therefore, it is possible to accurately accumulate the electric charge at the timing Tp1. Further, after the timing Tp2 at which the accumulation in the charge storage unit CS3 in the group Gr1 is terminated, the accumulation in the charge storage unit CS3 of the group Gr2 can be performed. Therefore, the amount of electric charge corresponding to the reflected light RL incident after the timing Tp2 can be accumulated, and the range of the measurable distance can be expanded.
  • the accumulation periods of the charge storage units CS2 and CS3 belonging to the group Gr1 (first reflected light storage period T1 and second reflected light storage period T2) and the accumulation of the charge storage units CS2 and CS3 belonging to the group Gr2.
  • the period (reflected light accumulation period T105, T205) is shifted by half (Ta / 2) of the accumulation period Ta.
  • the time resolution can be doubled as compared with the case where the electric charge is accumulated in one electric charge accumulating unit CS. Therefore, it is possible to measure the distance with high accuracy. Further, by "shifting by half", the "edge portion” where it is difficult to accurately accumulate the electric charge in the group Gr1 becomes the “middle portion” where the electric charge can be accurately accumulated in the group Gr2. Can be controlled to.
  • the “end point” is the timing of switching the charge storage unit CS from the on state to the off state.
  • the “middle portion” is the middle timing of the period from when the charge storage unit CS is turned on to when it is turned off. That is, the groups Gr1 and Gr2 can complement each other to suppress a decrease in measurement accuracy.
  • the timing control unit 41 accumulates charges in the charge storage unit CS1 belonging to the group Gr1 during the external light storage period Tn.
  • the timing control unit 41 charges the charge storage unit CS1 belonging to the group Gr2 during the storage period Tn05, which is shifted (delayed) by half (Ta / 2) of the storage period Ta from the external light storage period Tn.
  • the timing control unit 41 accumulates charges in the charge storage unit CS2 belonging to the group Gr1 during the first reflected light storage period T1.
  • the timing control unit 41 shifts (delays) the first reflected light storage period T1 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T105. Charges are accumulated in the part CS2.
  • the timing control unit 41 accumulates charges in the charge storage unit CS3 belonging to the group Gr1 during the second reflected light storage period T2.
  • the timing control unit 41 shifts (delays) the second reflected light storage period T2 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T205. Charges are accumulated in the part CS3.
  • the accumulation in the charge storage unit CS1 of the group Gr2 can be performed so as to include the timing Tp0 of switching from the accumulation in the charge storage unit CS1 in the group Gr1 to the accumulation in the charge storage unit CS2. Therefore, it is possible to accurately accumulate the amount of electric charge corresponding to the reflected light RL incident at the timing Tp0. That is, it is suitable for measuring the subject S at a short distance. Further, as in FIG. 15, it is possible to accurately accumulate the electric charge at the timing Tp1. Further, as in FIG. 15, the amount of electric charge can be accumulated in the period after the timing Tp2, and the measurable distance can be expanded.
  • the timing control unit 41 accumulates charges in the charge storage unit CS1 belonging to the group Gr1 during the external light storage period Tn.
  • the timing control unit 41 accumulates charges in the charge storage unit CS2 belonging to the group Gr1 during the first reflected light storage period T1.
  • the timing control unit 41 shifts (delays) the first reflected light storage period T1 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T105. Charges are accumulated in the part CS1.
  • the timing control unit 41 accumulates charges in the charge storage unit CS3 belonging to the group Gr1 during the second reflected light storage period T2.
  • the timing control unit 41 shifts (delays) the second reflected light storage period T2 by half (Ta / 2) of the storage period Ta, and shifts (delays) the charge accumulation belonging to the group Gr2 to the reflected light storage period T205. Charges are accumulated in the part CS2. Next, the timing control unit 41 accumulates charges in the charge storage unit CS3 belonging to the group Gr2 in the reflected light storage period T305 after the reflected light storage period T205 has elapsed.
  • the amount of electric charge can be accumulated in a longer period than the case of FIG. 16 after the timing Tp2, and the measurable distance can be expanded. That is, it is suitable for measuring the subject S at a long distance. Further, as in FIG. 15, it is possible to accurately accumulate the electric charge at the timing Tp1.
  • the distance image imaging device 1 of the third embodiment has a three-tap configuration, and the timing control unit 41 charges the charge storage units CS1 belonging to the groups Gr1 and Gr2 during the external light storage period Tn.
  • the first reflected light storage period T1 the charge is stored in the charge storage unit CS2 belonging to the group Gr1
  • the second reflected light storage period T2 the charge is stored in the charge storage unit CS3 belonging to the group Gr1.
  • the reflected light storage period T105 (first period) including the timing Tp1 (end timing) at which the first reflected light storage period T1 ends, charges are accumulated in the charge storage unit CS2 belonging to the group Gr2, and the second reflected light storage period
  • the reflected light storage period T205 (second period) including the timing Tp2 (end timing) at which T2 ends, charges are accumulated in the charge storage unit CS3 belonging to the group Gr2.
  • the electric charge can be accurately accumulated at the timing Tp1 and the distance resolution can be improved.
  • the electric charge corresponding to the reflected light RL incident after the timing Tp2 can be accumulated, and the measurable distance can be expanded.
  • the distance image imaging device 1 of the third embodiment stores charges in the charge storage unit CS1 belonging to the group Gr1 during the external light storage period Tn, and charges belonging to the group Gr1 during the first reflected light storage period T1.
  • An accumulation period including the timing Tp0 (end timing) at which the charge is accumulated in the storage unit CS2, the charge is accumulated in the charge storage unit CS3 belonging to the group Gr1 in the second reflected light storage period T2, and the external light storage period Tn ends.
  • Tn05 first period
  • charges are accumulated in the charge storage unit CS1 belonging to group Gr2
  • the reflected light storage period T105 (second period) including the timing Tp1 (end timing) at which the first reflected light storage period T1 ends.
  • the reflected light storage period T205 (third period) including the timing Tp2 (end timing) in which the charge is accumulated in the charge storage unit CS2 belonging to the group Gr2 and the second reflected light storage period T2 ends, it belongs to the group Gr2.
  • Charges are stored in the charge storage unit CS3.
  • the electric charge can be accurately accumulated at the timings Tp0 and Tp1, and the distance resolution can be improved.
  • the electric charge corresponding to the reflected light RL incident after the timing Tp2 can be accumulated, and the measurable distance can be expanded.
  • the distance image imaging device 1 of the third embodiment stores charges in the charge storage unit CS1 belonging to the group Gr1 during the external light storage period Tn, and charges belonging to the group Gr1 during the first reflected light storage period T1.
  • the charge is accumulated in the storage unit CS2, the charge is accumulated in the charge storage unit CS3 belonging to the group Gr1 in the second reflected light storage period T2, and the timing Tp1 (end timing) at which the first reflected light storage period T1 ends is included.
  • the reflected light storage period T105 (second period) charges are accumulated in the charge storage unit CS1 belonging to the group Gr2, and the reflected light storage period T205 (end timing) including the timing Tp2 (end timing) at which the second reflected light storage period T2 ends is included.
  • the charge is accumulated in the charge storage unit CS2 belonging to the group Gr2, and after the reflected light storage period T205 (third period) elapses, the charge is accumulated in the charge storage unit CS3 belonging to the group Gr2.
  • the electric charge can be accurately accumulated in Tp1 and the distance resolution can be improved.
  • the electric charge corresponding to the reflected light RL incident after the timing Tp2 can be accumulated, and the measurable distance can be further expanded.
  • the apparent number of taps can be increased by a method different from the method of increasing the number of subframes.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積期間で前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積期間を制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、を備え、前記画素は、二次元の行列状に複数配置されると共に、前記複数の前記画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、前記タイミング制御部は、前記二以上のグループのそれぞれに属する画素における前記電荷蓄積部の前記蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する。

Description

距離画像撮像装置、及び距離画像撮像方法
　本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
　従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置がある。距離画像撮像装置では、撮像装置と同様に、距離を測定するための光を検出する画素が二次元の行列状に複数配置され、被写体との間の２次元の距離の情報や、被写体の画像を取得（撮像）することができる。
　このような距離画像撮像装置では、画素が備える複数の電荷蓄積部に振り分けられた電荷の比に基づいて、被写体によって反射してきたパルス光の遅れ時間を算出することによって、被写体との距離を測定することができる。このような複数の電荷蓄積部と電荷振り分け構造とを備える構成は、マルチタップ構成などと称される。特許文献１では、フレームごとに互いに異なるタイミングで電荷蓄積部に電荷を振分ける構成により、見かけ上のタップ数（電荷蓄積部の数）を増やし、距離分解能を低下させることなく、距離計測範囲を拡大させることができる技術が開示されている。
特開２０１０－３２４２５号公報
　しかしながら、特許文献１に開示された技術では、距離計測範囲をさらに拡大させようとする場合に改善の余地があった。すなわち、遠方の範囲を測定可能とするためにフレームの数を増やすと、最初のフレームから最後のフレームまでの間隔が増大し、測定対象物が動体である場合に精度よく測定できなくなる可能性があった。
　以下の説明においては、複数のフレームを用いて作成する１つの画像（１フレーム画像）における、１フレーム画像の作成に用いられた複数のフレームを、サブフレームと記載する。
　また、遠方の範囲を測定可能とするための別の方法として、画素が備える電荷蓄積部の数を増やす方法が考えられる。この方法は、測定対象物が動体であっても、サブフレームを増やして測定する場合と比較して精度よく測定することが可能となるが、画素サイズが増大してしまう問題があった。
　本発明は、上記の課題に基づいてなされたものであり、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる距離画像撮像装置、および距離画像撮像方法を提供することを目的としている。
　本発明によれば、距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積期間で前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積期間を制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、を備え、前記画素は、二次元の行列状に複数配置されると共に、前記複数の前記画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、前記タイミング制御部は、前記二以上のグループのそれぞれに属する画素における前記電荷蓄積部の前記蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する。
　本発明によれば、上述した距離画像撮像装置において、前記タイミング制御部は、前記二以上のグループのうち第１グループに属する画素における前記電荷蓄積部、及び前記第１グループと異なる第２グループに属する画素における前記電荷蓄積部のそれぞれの前記蓄積期間が重ならないように制御する。
　本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、前記タイミング制御部は、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部から第Ｍ電荷蓄積部までの、Ｍ個の前記電荷蓄積部、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部から第Ｍ電荷蓄積部までの、Ｍ個の前記電荷蓄積部のそれぞれに、順に前記電荷を振り分けて蓄積させ、前記第１グループの前記第Ｍ電荷蓄積部の前記蓄積期間、及び前記第２グループの前記第１電荷蓄積部の前記蓄積期間の少なくとも一部の期間が重なるように制御する。
　本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、前記光パルスが照射されている第１反射光蓄積期間に、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、前記第１反射光蓄積期間の経過後の第Ｋ反射光蓄積期間（Ｋは、２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部、及び前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる。
　本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ期間に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる。
　本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、前記外光蓄積期間が終了する終了タイミングを含む第１期間に、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ期間に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる。
　本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、前記タイミング制御部は、前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ期間に、前記第１グループと異なる第２グループに属する画素における前記第Ｋ－１電荷蓄積部に前記電荷を蓄積させ、前記第Ｋ期間の経過後に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる。
　本発明によれば、上述した距離画像撮像装置において、前記光源部は、１フレーム期間に含まれる複数のサブフレーム期間において、定期的に光パルスを照射し、前記距離演算部は、前記複数のサブフレームのそれぞれにおいて前記電荷蓄積部に蓄積された電荷量を合成する。
　本発明によれば、上述した距離画像撮像装置において、前記タイミング制御部は、前記複数のサブフレーム期間のうち、第１サブフレーム期間において、前記二以上のグループのうち第１グループに属する画素における前記電荷蓄積部の前記蓄積期間が第１タイミング、前記第１グループと異なる第２グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第１タイミングと異なる第２タイミングとなるように制御し、前記第１サブフレーム期間と異なる第２サブフレーム期間において、前記第１グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第２タイミング、前記第２グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第１タイミングとなるように制御する。
　本発明によれば、距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積期間で前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積期間を制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離演算部と、を備え、前記画素は、二次元の行列状に複数配置されると共に、前記複数の前記画素のそれぞれが予め定められた二以上のグループのいずれかに分類されている、距離画像撮像装置による距離画像撮像方法であって、前記タイミング制御部が、前記二以上のグループのそれぞれに属する画素における前記電荷蓄積部の前記蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する。
　上記各態様によれば、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる。
実施形態の距離画像撮像装置１の概略構成を示したブロック図である。 実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。 実施形態の距離画像撮像装置１に用いられる撮像素子の受光領域に配置された画素３２１の構成の一例を示した回路図である。 第１の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第１の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第１の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第１の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第１の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第１の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第１の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第２の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第２の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第２の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第２の実施形態の距離画像撮像装置における複数のサブフレームを合成する処理の例を説明するための図である。 第３の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第３の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第３の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 従来の距離画像撮像装置における画素を駆動するタイミングを示したタイミングチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。
（実施形態）
　まず、実施形態について説明する。ここでは、後述する第１の実施形態から第３の実施形態に共通する、距離画像撮像装置１の構成について説明する。
　図１は、実施形態の距離画像撮像装置の概略構成を示したブロック図である。図１に示した構成の距離画像撮像装置１は、光源部２と、受光部３と、距離画像処理部４とを備える。なお、図１には、距離画像撮像装置１において距離を測定する対象物である被写体Ｓも併せて示している。
　光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体Ｓが存在する撮影対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ　Ｃａｖｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
　光源装置２１は、被写体Ｓに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
　拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体Ｓに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体Ｓに照射される。
　受光部３は、距離画像撮像装置１において距離を測定する対象の被写体Ｓによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
　レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
　距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
　距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
　距離画像処理部４は、距離画像撮像装置１を制御し、被写体Ｓまでの距離を演算する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２とを備える。
　タイミング制御部４１は、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号や、反射光ＲＬを複数の電荷蓄積部に振り分ける信号、１フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部に電荷を振り分ける処理を繰返す回数である。
　本発明の実施形態では、距離画像撮像装置１が備える複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類されている。タイミング制御部４１は、二以上のグループのそれぞれに属する画素における電荷蓄積部の蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する。蓄積期間とは、電荷蓄積部に電荷が蓄積される期間である。タイミング制御部４１が電荷蓄積部に電荷を蓄積させるタイミングを制御する方法の詳細については、後述する第１の実施形態から第３の実施形態の各実施形態で詳しく説明する。
　距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体Ｓまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間Ｔｄ（図１８参照）を算出する。距離演算部４２は、算出した遅延時間Ｔｄに応じて被写体Ｓまでの距離を演算する。
　このような構成によって、距離画像撮像装置１では、光源部２が被写体Ｓに照射した近赤外の波長帯域の光パルスＰＯが被写体Ｓによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体Ｓとの距離を測定した距離情報を出力する。
　なお、図１においては、距離画像処理部４を内部に備えた構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
　次に、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、本発明の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示したブロック図である。
　図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
　受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に応じた電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
　垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部それぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
　画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
　水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に応じた画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
　以下の説明においては、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
　ここで、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、本発明の実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の受光領域３２０内に配置された画素３２１の構成の一例を示した回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３つの画素信号読み出し部を備えた構成の一例である。
　画素３２１は、１つの光電変換素子ＰＤと、ドレイントランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する３つの画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットトランジスタＲＴと、ソースフォロアトランジスタＳＦと、選択トランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
　なお、図３においては、３つの画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」または「３」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３つの画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
　図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットトランジスタＲＴ１と、ソースフォロアトランジスタＳＦ１と、選択トランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２および画素信号読み出し部ＲＵ３も同様の構成である。電荷蓄積部ＣＳ１は「第１電荷蓄積部」の一例である。電荷蓄積部ＣＳ２は「第２電荷蓄積部」の一例である。電荷蓄積部ＣＳ３は「第３電荷蓄積部」の一例である。
　光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
　画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を３つの電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。
　距離画像センサ３２に配置される画素の構成は、図３に示したような、３つの画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２つであってもよいし、４つ以上であってもよい。
　また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
　また、図３に示した構成の画素３２１では、ドレイントランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレイントランジスタＧＤを備えない構成であってもよい。
　次に、距離画像撮像装置１における画素３２１の駆動（制御）方法について図１８を用いて説明する。図１８は、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
　図１８では、光パルスＰＯを照射するタイミングを「Ｌｉｇｈｔ」、反射光が受光されるタイミングを「ＲＥＦＲＥＣＴＩＯＮ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。また、距離画像撮像装置における一連の受光動作タイミングを「Ｃａｍｅｒａ」の項目名で示している。「Ｃａｍｅｒａ」では、読み出しトランジスタＧ１、Ｇ２、Ｇ３、及びドレイントランジスタＧＤがオン状態となるタイミングを、それぞれ、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」で示している。なお、駆動信号ＴＸ１は、読み出しトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２、ＴＸ３についても同様である。
　図１８に示すように、光パルスＰＯが照射時間Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ３２に受光されるとする。垂直走査回路３２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、及びＣＳ３の順に、電荷を蓄積させる。
　まず、垂直走査回路３２３は、読み出しトランジスタＧ１をオン状態にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、読み出しトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、垂直走査回路３２３は、読み出しトランジスタＧ１をオフ状態にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、垂直走査回路３２３は、電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、垂直走査回路３２３は、電荷蓄積部ＣＳ１への電荷の蓄積を終了させたタイミングで、読み出しトランジスタＧ２をオン状態とし、電荷蓄積部ＣＳ２への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ２に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様である。このため、その説明を省略する。
　一方、光源部２は、読み出しトランジスタＧ１がオフ状態となったタイミング、つまり読み出しトランジスタＧ２がオン状態となったタイミングで、光パルスＰＯを照射する。光源部２が光パルスＰＯを照射する照射時間Ｔｏは、蓄積期間Ｔａと同じ長さである。ここで、読み出しトランジスタＧ１がオン状態となり、電荷蓄積部ＣＳ１に電荷が蓄積された期間（蓄積期間Ｔａ）は、「外光蓄積期間」の一例である。
　次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しトランジスタＧ３をオン状態とし、電荷蓄積部ＣＳ３への電荷の蓄積を開始させる。以降の電荷蓄積部ＣＳ３に電荷を蓄積させる処理の流れは、電荷蓄積部ＣＳ１に電荷を蓄積させる処理の流れと同様である。このため、その説明を省略する。
　次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、ドレイントランジスタＧＤをオン状態にし、電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷がドレイントランジスタＧＤを介して破棄される。
　上述したような、垂直走査回路３２３による電荷蓄積部ＣＳへ電荷の蓄積と光電変換素子ＰＤが光電変換した電荷の破棄とが、１フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置１に受光された光量に応じた電荷が、電荷蓄積部ＣＳのそれぞれに蓄積される。水平走査回路３２４は、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号を、距離演算部４２に出力する。
　光パルスＰＯを照射するタイミングと、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部ＣＳ１には、光パルスＰＯを照射する前の背景光などの外光成分に応じた電荷量が保持される。また、電荷蓄積部ＣＳ２、及びＣＳ３には、反射光ＲＬ、及び外光成分に応じた電荷量が振り分けられて保持される。電荷蓄積部ＣＳ２、及びＣＳ３に振り分けられる電荷量の配分（振り分け比率）は、光パルスＰＯが被写体Ｓに反射して距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率となる。
　距離演算部４２は、この原理を利用して、以下の（１）式により、遅延時間Ｔｄを算出する。
　Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１）　…（１）
　ここで、Ｔｏは光パルスＰＯが照射された期間、Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量、Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量、Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量、を示す。なお、（１）式では、電荷蓄積部ＣＳ２、及びＣＳ３に蓄積される電荷量のうち、外光成分に応じた成分が、電荷蓄積部ＣＳ１に蓄積された電荷量と同量であることを前提とする。
　距離演算部４２は、（１）式で求めた遅延時間に、光の速度を乗算させることにより、被写体Ｓまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体Ｓまでの距離を求める。
（第１の実施形態）
　ここで、第１の実施形態について説明する。本実施形態では、受光部３における１つの画素３２１が、４つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ４）を備える。すなわち、本実施形態の距離画像撮像装置１は、４タップ構成である。この場合、図３の画素３２１において、画素信号読み出し部ＲＵ４を更に備える。画素信号読み出し部ＲＵ４は、画素信号読み出し部ＲＵ１と同様の構成である。ここで、電荷蓄積部ＣＳ４は、「第４電荷蓄積部」の一例である。
　図４～図７は、第１の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
　図４では、受光部３における複数の画素３２１が、二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合であって、且つ、１フレームが二つのサブフレームＳｆ１、Ｓｆ２からなる場合におけるタイミングチャートの例を示している。ここで、グループＧｒ１は「第１グループ」の一例である。また、グループＧｒ２は「第２グループ」の一例である。また、１フレームに要する期間は「フレーム期間」の一例である。また、サブフレームＳｆ１、Ｓｆ２のそれぞれに要する期間は、「サブフレーム期間」の一例である。また、サブフレームＳｆ１に要する期間は、「第１サブフレーム期間」の一例である。また、サブフレームＳｆ２に要する期間は、「第２サブフレーム期間」の一例である。
　図４の「ＲＥＦＲＥＣＴＩＯＮ」、「Ｇ１」、「Ｇ２」、「Ｇ３」、「ＧＤ」の項目は、図１８と同様である。このため、その説明を省略する。「Ｇ４」は、駆動信号ＴＸ４のタイミングを「Ｇ４」で示している。駆動信号ＴＸ４は、読み出しトランジスタＧ４を駆動させる信号である。
　図４では横軸に時間ｔを示しており、横軸の目盛りは「期間Ｔｏ」に相当する時間区間ごとに付されている。「期間Ｔｏ」は光パルスＰＯの照射期間、及び１つの電荷蓄積部ＣＳの蓄積期間Ｔａに相当する。光パルスＰＯは、横軸の目盛りが「０」から「１」までの期間に照射される。この例では光パルスＰＯの照射から時間Ｔｄ１が経過した後の入射期間Ｒ１にて反射光ＲＬが入射された場合、及び時間Ｔｄ２が経過した後の入射期間Ｒ２にて反射光ＲＬが入射された場合を、それぞれ示している。
　図４では、各ゲート（読み出しトランジスタＧ１～Ｇ４、及びドレイントランジスタＧＤ）をオン状態とする時間Ｔｏｎを、各ゲートの蓄積期間Ｔａより少し短い時間としている。これにより、各ゲートのうち、ドレイントランジスタＧＤを、オン状態からオフ状態に変化させるタイミングと、第１ゲート（読み出しトランジスタＧ１）をオフ状態からオン状態に変化させるタイミングと、を同時に発生させることによる、電荷排出及び電荷振り分けのエラー（クロストーク）を抑えることが可能となる。また、第１ゲートをオン状態からオフ状態に変化させるタイミングと、第２ゲート（読み出しトランジスタＧ２）をオフ状態からオン状態に変化させるタイミングとを同時に発生させることによる電荷振り分けのエラーを抑えることが可能となる。同様に、第２ゲートと第３ゲート（読み出しトランジスタＧ３）のタイミングの関係、第３ゲートとドレイントランジスタＧＤの関係を、図４に示すタイミングとすることにより、電荷排出や電荷振り分けのエラーを抑えることが可能となる。以下、図５から図７に示すタイミングチャートも同様である。
　図４の「Ｇｒ１、Ｓｆ１」は、グループＧｒ１に属する画素をサブフレームＳｆ１にて駆動させるタイミングチャートを示す。「Ｇｒ２、Ｓｆ１」は、グループＧｒ２に属する画素をサブフレームＳｆ１にて駆動させるタイミングチャートを示す。「Ｇｒ１、Ｓｆ２」は、グループＧｒ１に属する画素をサブフレームＳｆ２にて駆動させるタイミングチャートを示す。「Ｇｒ２、Ｓｆ２」は、グループＧｒ２に属する画素をサブフレームＳｆ２にて駆動させるタイミングチャートを示す。
　図４に示す入射期間Ｒ１は、「Ｇｒ１、Ｓｆ１」における、読み出しトランジスタＧ３、Ｇ４がオン状態となる期間に跨っており、この場合、反射光ＲＬに応じた電荷が電荷蓄積部ＣＳ３、ＣＳ４に跨って蓄積される。
　これは、入射期間Ｒ１が、サブフレームのない従来の４タップ構成にて測定可能な距離のほぼ上限に位置する被写体Ｓからの反射光であることを示している。すなわち、これ以上遠方にある被写体Ｓは、入射期間Ｒ１よりも遅れて入射され、従来の４タップ構成で測定することができない。例えば、入射期間Ｒ２は、入射期間Ｒ１より遅れて入射される反射光ＲＬであり、従来の４タップ構成における何れの読み出しトランジスタＧにも反射光ＲＬに応じた電荷を蓄積させることができない。このため、距離を測定することができない。
　この対策として、本実施形態では、距離画像撮像装置１が備える複数の画素３２１をグループＧｒ１、Ｇｒ２に分類する。そして、タイミング制御部４１は、グループＧｒ１とＧｒ２とが、互いに異なるタイミングにて連動して動作するように制御する。
　具体的に、タイミング制御部４１は、「Ｇｒ１、Ｓｆ１」に示すように、グループＧｒ１に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　また、タイミング制御部４１は、「Ｇｒ２、Ｓｆ１」に示すように、グループＧｒ１に属する画素における読み出しトランジスタＧ４がオン状態からオフ状態に変化したタイミングにて、グループＧｒ２に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。すなわち、タイミング制御部４１は、グループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに、順に電荷を振り分けて蓄積させる。
　すなわち、タイミング制御部４１は、電荷蓄積部ＣＳのそれぞれの蓄積期間Ｔａが重ならないように制御する。これにより、距離画像撮像装置１が受光することができる反射光ＲＬの遅延時間Ｔｄを拡大させる。
　これにより、入射期間Ｒ２が、「Ｇｒ２、Ｓｆ１」に示す読み出しトランジスタＧ３、Ｇ４がオン状態となる期間に跨るようになり、反射光ＲＬに応じた電荷が、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ３、ＣＳ４に跨って蓄積されるようになる。つまり、本実施形態の「グループＧｒ１とＧｒ２とが、互いに異なるタイミングにて連動して動作させる構成」により、見かけ上のタップ数を８として、実際のタップ数の４より増やすことができる。したがって、４タップ構成では計測することができなかった入射期間Ｒ２に対応する被写体Ｓまでの距離を、サブフレームの数を増やすことなく測定することが可能となる。
　図４では、１フレームが、二つのサブフレームＳｆ１、Ｓｆ２を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループＧｒに、外光ノイズを均等に配分させるための構成である。
　「Ｇｒ１、Ｓｆ１」、「Ｇｒ２、Ｓｆ２」に示すように、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ１に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ２においてグループＧｒ２に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第１タイミング」の一例）となるように制御する。
　また、「Ｇｒ２、Ｓｆ１」、「Ｇｒ１、Ｓｆ２」に示すように、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ２に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ２においてグループＧｒ１に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第２タイミング」の一例）となるように制御する。
　このように、図４では、サブフレームＳｆ１における駆動タイミングと、サブフレームＳｆ２における駆動タイミングとで、グループごとに交互に駆動タイミング入れ替える。これにより、特有の外光ノイズがグループＧｒのいずれかに偏って蓄積されてしまうことを抑制することが可能である。ここでの特有の外光ノイズとは、サブフレームＳｆごとに、グループＧｒの駆動タイミングを変更しない場合に蓄積され得る外光であって、例えば、サブフレームの周期に連動した外光が定期的に発生するような場合である。すなわち、サブフレームごとに、グループＧｒの駆動タイミングを交互に入れ替える構成により、サブフレームの周期に連動した外光が定期的に発生するような場合であっても、その外光成分をグループＧｒ１、Ｇｒ２に属する画素３２１に、ほぼ均等に配分して受光させることができる。したがって、特有の外光ノイズが一方のグループのみに偏って受光される場合と比較して、測定の精度を向上させることが可能である。
　図５は、受光部３における複数の画素３２１が、二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合であって、且つ、１フレームが四つのサブフレームＳｆ１～Ｓｆ４からなる場合におけるタイミングチャートの例を示している。図５では、「Ｇｒ１、Ｓｆ３」は、グループＧｒ１に属する画素をサブフレームＳｆ３にて駆動させるタイミングチャートを示す。「Ｇｒ２、Ｓｆ３」は、グループＧｒ２に属する画素をサブフレームＳｆ３にて駆動させるタイミングチャートを示す。「Ｇｒ１、Ｓｆ４」は、グループＧｒ１に属する画素をサブフレームＳｆ４にて駆動させるタイミングチャートを示す。「Ｇｒ２、Ｓｆ４」は、グループＧｒ２に属する画素をサブフレームＳｆ４にて駆動させるタイミングチャートを示す。なお、図５における項目について、図４と項目名が重複するものは、図４と同等であるため、その説明を省略する。
　図５に示すように、タイミング制御部４１は、グループＧｒ１とＧｒ２とを、サブフレームＳｆ１～Ｓｆ４に渡り、互いに異なるタイミングにて連動して動作するように制御する。
　具体的に、タイミング制御部４１は、「Ｇｒ１、Ｓｆ１」に示すように、サブフレームＳｆ１において、グループＧｒ１に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　また、タイミング制御部４１は、「Ｇｒ２、Ｓｆ１」に示すように、サブフレームＳｆ１において、グループＧｒ１に属する画素における読み出しトランジスタＧ４がオン状態からオフ状態に変化したタイミングにて、グループＧｒ２に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　また、タイミング制御部４１は、「Ｇｒ１、Ｓｆ２」に示すように、サブフレームＳｆ２において、サブフレームＳｆ１においてグループＧｒ２に属する画素における読み出しトランジスタＧ４がオン状態からオフ状態に変化したタイミングにて、グループＧｒ１に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　また、タイミング制御部４１は、「Ｇｒ２、Ｓｆ２」に示すように、サブフレームＳｆ２において、グループＧｒ１に属する画素における読み出しトランジスタＧ４がオン状態からオフ状態に変化したタイミングにて、グループＧｒ２に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　すなわち、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに、順に電荷を振り分けて蓄積させることで、見かけ上のタップ数を８とすることにより、測定可能な範囲を拡大させる。
　さらにタイミング制御部４１は、サブフレームＳｆ２において、サブフレームＳｆ１の蓄積が終了するタイミングからグループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに、順に電荷を振り分けて蓄積させ、見かけ上のタップ数をさらに８タップ増やし、見かけ上のタップ数の合計を１６タップとする。
　これにより、測定可能な範囲をさらに拡大させることができる。しかも、１フレームを４つのサブフレームにすることにより、見かけ上のタップ数を１６とした場合と比較して、測定に要する時間は短くなる。このため、対象物が動体であっても、１フレームを４つのサブフレームとした構成と比較して、測定の精度の劣化を抑制することが可能である。
　図５では、１フレームが、上記二つのサブフレームＳｆ１、Ｓｆ２に加え、更に二つのサブフレームＳｆ３、Ｓｆ４を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループＧｒに、外光ノイズを均等に受光させるための構成である。
　「Ｇｒ１、Ｓｆ１」、「Ｇｒ２、Ｓｆ３」に示すように、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ１に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ３においてグループＧｒ２に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第１タイミング」の一例）となるように制御する。
　また、「Ｇｒ２、Ｓｆ１」、「Ｇｒ１、Ｓｆ３」に示すように、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ２に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ３においてグループＧｒ１に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第２タイミング」の一例）となるように制御する。
　また、「Ｇｒ１、Ｓｆ２」、「Ｇｒ２、Ｓｆ４」に示すように、タイミング制御部４１は、サブフレームＳｆ２においてグループＧｒ１に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ４においてグループＧｒ２に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第１タイミング」の一例）となるように制御する。
　また、「Ｇｒ２、Ｓｆ２」、「Ｇｒ１、Ｓｆ４」に示すように、タイミング制御部４１は、サブフレームＳｆ２においてグループＧｒ２に属する画素３２１を駆動させるタイミングと、サブフレームＳｆ４においてグループＧｒ１に属する画素３２１を駆動させるタイミングとが、同一のタイミング（「第２タイミング」の一例）となるように制御する。
　このように、図５では、サブフレームＳｆ１、Ｓｆ２における駆動タイミングと、サブフレームＳｆ３、Ｓｆ４における駆動タイミングとで、グループＧｒごとに交互に駆動タイミングを入れ替える。これにより、サブフレームの周期に連動した外光ノイズが定期的に発生するような場合であっても、その外光成分をグループＧｒ１、Ｇｒ２に属する画素３２１に、ほぼ均等に受光させることができる。したがって、特有の外光ノイズが一方のグループのみに偏って受光される場合と比較して、測定の精度を向上させることが可能である。
　図６は、図４と同様に、受光部３における複数の画素３２１が、二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合であって、且つ、１フレームが二つのサブフレームＳｆ１、Ｓｆ２からなる場合におけるタイミングチャートの例を示している。図６における項目は、図４と同等であるため、その説明を省略する。
　図６では、タイミング制御部４１が、グループＧｒ１とＧｒ２とを、互いに異なるタイミングにて連動して動作するように制御する際に、グループＧｒ１とＧｒ２の駆動タイミングの一部が重なるように制御する点において、図４と異なる。
　具体的に、タイミング制御部４１は、「Ｇｒ１、Ｓｆ１」に示すように、グループＧｒ１に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　また、タイミング制御部４１は、「Ｇｒ２、Ｓｆ１」に示すように、グループＧｒ１に属する画素における読み出しトランジスタＧ４がオン状態となっている間の任意のタイミングで、グループＧｒ２に属する画素における読み出しトランジスタＧ１からＧ４を順にオン状態とし、以降、電荷蓄積部ＣＳ１～ＣＳ４に順に電荷が蓄積されるようにする。
　すなわち、タイミング制御部４１は、グループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ４の蓄積期間Ｔａと、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ１蓄積期間Ｔａの一部が重なるに制御する。これにより、グループＧｒ１の駆動から、グループＧｒ２の駆動に切り替わるタイミングＴｓにおいて、反射光ＲＬが入射された場合に、測定の精度が劣化することを抑制する。
　図６では、１フレームが、二つのサブフレームＳｆ１、Ｓｆ２含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、二つのグループＧｒに、外光ノイズを均等に配分させるための構成である。この構成は、図４と同様である。このため、その説明を省略する。
　図７は、図６と同様に、受光部３における複数の画素３２１が、二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合であって、且つ、１フレームが四つのサブフレームＳｆ１～Ｓｆ４からなる場合におけるタイミングチャートの例を示している。図７の項目は、図６と同等であるため、その説明を省略する。
　図７に示すように、タイミング制御部４１は、グループＧｒ１とＧｒ２とを、サブフレームＳｆ１、Ｓｆ２に渡り、互いに異なるタイミングにて連動して動作するように制御する。その際、タイミング制御部４１は、グループＧｒ１とＧｒ２の駆動タイミングの一部が重なるように制御する。この構成は、図６と同様である。このため、その説明を省略する。
　また、図７では、１フレームが、上記二つのサブフレームＳｆ１、Ｓｆ２に加え、更に二つのサブフレームＳｆ３、Ｓｆ４を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループＧｒに、外光ノイズを均等に受光させるための構成である。この構成は、図５と同様である。このため、その説明を省略する。
　図８～図１０は、第１の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図８～図１０は、二次元状に配置された画素３２１を模式的に示している。
　図８に示すように、例えば、画素３２１の列（column）ごとに、二つのグループＧｒ１、Ｇｒ２に分類することが考えられる。
　図９に示すように、例えば、画素３２１の行（row）ごとに、二つのグループＧｒ１、Ｇｒ２に分類することが考えられる。
　図１０に示すように、例えば、画素３２１ごと（ピクセルごと）に、四つのグループＧｒ１～Ｇｒ４に分類することが考えられる。この場合、例えば、四つのピクセルＰ１～Ｐ４を単位として、四つのグループに分類し、グループごとに異なるタイミングで駆動させる。
　このように、本実施形態において、距離画像撮像装置における画素群を３以上の複数のグループに分類し、グループごとに互いに異なるタイミングで駆動する構成としてもよい。この構成においても、二つのグループＧｒ１、Ｇｒ２に分類する場合と同様の手法を適用することができる。
　また、画素３２１の二次元状の配置の状況に応じたグループ分けを行ってもよい。例えば、画素３２１の配置が、列方向と比較して行方向が長い、横長センサである場合、制御線を行方向に沿って実装させることが一般的である。この場合、制御のし易さを鑑みて、行ごとに異なるグループに分類する構成が好適である。
　以上説明したように、第１の実施形態では、画素３２１は、二次元の行列状に複数配置されると共に、複数の画素３２１のそれぞれが、予め定められた二以上のグループＧｒ１、Ｇｒ２のいずれかに分類される。タイミング制御部４１は、二以上のグループＧｒ１、Ｇｒ２のそれぞれに属する画素３２１における電荷蓄積部ＣＳの蓄積期間Ｔａが、グループごとに互いに異なるタイミングとなるように制御する。これにより、グループＧｒ１、Ｇｒ２を連動させることができ、サブフレームの数を増やすことなく、見かけ上のタップ数を増加させることが可能である。
　また、第１の実施形態では、距離画像撮像装置１は４タップ構成であり、タイミング制御部４１は、グループＧｒ１、Ｇｒ２を、それぞれの電荷蓄積部ＣＳの蓄積期間Ｔａが重ならないように、順に駆動させる。これにより、上述した効果と同様の効果を奏する。
　また、第１の実施形態では、距離画像撮像装置１は４タップ構成であり、タイミング制御部４１は、グループＧｒ１、Ｇｒ２を順に駆動させ、グループＧｒ１の電荷蓄積部ＣＳ４の蓄積期間Ｔａと、グループＧｒ２の電荷蓄積部ＣＳ１の蓄積期間Ｔａとの、少なくとも一部の期間が重なるように制御する。これにより、グループＧｒ１の駆動を終了させる前に、グループＧｒ２の駆動が開始されるように制御することができ、測定の精度を向上させることが可能である。
　また、第１の実施形態では、１フレームを複数のサブフレームＳｆ１、Ｓｆ２で構成し、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ１を駆動させたタイミングで、サブフレームＳｆ２におけるグループＧｒ２を駆動させる。また、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ２を駆動させたタイミングで、サブフレームＳｆ２におけるグループＧｒ１を駆動させる。これにより、外光ノイズが片方のグループに偏って蓄積されることを抑制し、測定精度の劣化を抑制することが可能である。また、第１の実施形態では、サブフレームの数を増やす場合には、外光耐性をあげたり、見かけ上のタップ数をより多く増やしたりすることが可能である。
（第２の実施形態）
　次に、第２の実施形態について説明する。本実施形態では、受光部３における１つの画素３２１が、３つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ３）を備える。すなわち、本実施形態の距離画像撮像装置１は、３タップ構成である。
　図１１は、第２の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図１１では、二次元状に配置された画素３２１が、千鳥格子状に、縦方向及び横方向に互い違いに二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合の例を示している。図１１におけるＴＸ＿ＣＴＲＬ［０］は、グループＧｒ１に分類された画素３２１を駆動させるタイミング信号である。また、ＴＸ＿ＣＴＲＬ［１］は、グループＧｒ２に分類された画素３２１を駆動させるタイミング信号である。
　図１２は、第２の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
　図１２に示す項目のうち、「Ｇｒ１」は、グループＧｒ１に属する画素を駆動させるタイミングチャートを示す。「Ｇｒ２」は、グループＧｒ２に属する画素を駆動させるタイミングチャートを示す。「Ｇｒ１＿Ｃａｍｅｒａ」では、グループＧｒ１に属する読み出しトランジスタＧ１、Ｇ２、Ｇ３、及びドレイントランジスタＧＤがオン状態となるタイミングを、それぞれ、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」で示している。「Ｇｒ２＿Ｃａｍｅｒａ」では、グループＧｒ２に属する読み出しトランジスタＧ１、Ｇ２、Ｇ３、及びドレイントランジスタＧＤがオン状態となるタイミングを、それぞれ、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」で示している。「合成」では、グループＧｒ１、Ｇｒ２を合成した場合の電荷を、それぞれ、「Ｇ１」、「Ｇ２」、「Ｇ３」、「Ｇ４」及び「ＧＤ」で示している。
　なお、図１２に示す項目のうち、「Ｌｉｇｈｔ」、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」については、図１８と同様である。このため、その説明を省略する。
　図１２では、タイミング制御部４１は、測定において、比較的精度が劣化する要因となり易いタイミングでは、グループＧｒ１、Ｇｒ２の双方の電荷蓄積部ＣＳに電荷が蓄積されるように制御する。一方、タイミング制御部４１は、比較的精度が劣化する要因となり難いタイミングでは、グループＧｒ１、又はＧｒ２の一方の電荷蓄積部ＣＳのみに電荷が蓄積されるように制御する。
　ここで、比較的精度が劣化する要因となり易いタイミングとは、比較的遠距離に位置する被写体Ｓからの反射光ＲＬが入射されるタイミングである。一方、比較的精度が劣化する要因となり難いタイミングとは、外光（背景光）を受光するタイミング、及び比較的近距離に位置する被写体Ｓからの反射光ＲＬが入射されるタイミングである。これは、光量が距離の二乗に反比例して減少する性質を有するためである。
　具体的に、まず、タイミング制御部４１は、光パルスＰＯが照射されていない外光蓄積期間Ｔｎに、グループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ１のみに電荷を蓄積させる。
　次に、タイミング制御部４１は、光パルスＰＯが照射されている第１反射光蓄積期間Ｔ１に、グループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ１のみに電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１の経過後の第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ２、及びグループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ２の双方に電荷を蓄積させる。
　そして、タイミング制御部４１は、第２反射光蓄積期間Ｔ２の経過後の第３反射光蓄積期間Ｔ３に、グループＧｒ１に属する画素３２１における電荷蓄積部ＣＳ３、及びグループＧｒ２に属する画素３２１における電荷蓄積部ＣＳ３に電荷を蓄積させる。これにより、比較的遠方からの反射光を受光する場合であっても、受光する光量が、近距離の場合と比較して減少してしまうことを抑制できる。したがって、測定の精度の劣化を抑制することが可能である。
　なお、合成の方法は任意であってよい。ここでの合成とは、グループＧｒ１を駆動させることにより蓄積させた電荷、及び、電荷に応じた信号と、グループＧｒ２を駆動させることにより蓄積させた電荷、及び、電荷に応じた信号とを合成する処理である。例えば、距離演算部４２が、合成処理を行い、合成した結果を用いて距離の演算を行う。この場合、距離演算部４２は、外光蓄積期間Ｔｎ、及び第１反射光蓄積期間Ｔ１にそれぞれ蓄積された電荷を２倍とした電荷、第２反射光蓄積期間Ｔ２及び第３反射光蓄積期間Ｔ３にそれぞれ蓄積された電荷を加算した電荷を用いて、合成する。或いは、外光蓄積期間Ｔｎ、及び第１反射光蓄積期間Ｔ１にそれぞれ蓄積された電荷、第２反射光蓄積期間Ｔ２及び第３反射光蓄積期間Ｔ３にそれぞれ蓄積された電荷を加算平均した電荷を用いて、合成するようにしてもよい。
　図１３は、第２の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図１３では、二次元状に配置された画素３２１が、縦方向の２列に渡り、１列目に互い違いに二つのグループＧｒ１、Ｇｒ２のいずれかに分類され、２列目に互い違いに二つのグループＧｒ３、Ｇｒ４のいずれかに分類され、１列目、２列目の組合せが横方向に展開される場合の例を示している。図１３におけるＴＸ＿ＣＴＲＬ［０］、ＴＸ＿ＣＴＲＬ［１］は、図１１と同様である。ＴＸ＿ＣＴＲＬ［２］は、グループＧｒ３に分類された画素３２１を駆動させるタイミング信号である。また、ＴＸ＿ＣＴＲＬ［３］は、グループＧｒ４に分類された画素３２１を駆動させるタイミング信号である。
　このように、本実施形態において、距離画像撮像装置１における画素群を３以上の複数のグループに分類し、グループごとに互いに異なるタイミングで駆動する構成としてもよい。この構成においても、二つのグループＧｒ１、Ｇｒ２に分類する場合と同様の手法を適用することができる。
　本実施形態において、１フレームが複数のサブフレームを備える構成としてもよい。図１４は、第２の実施形態の距離画像撮像装置における複数のサブフレームを合成する処理の例を説明するための図である。
　タイミング制御部４１は、それぞれのサブフレームにおいて、グループごとに互いに異なるタイミングで駆動する。以下では、１フレームが二つのサブフレームＳｆ１、Ｓｆ２からなる場合を例に説明するが、これに限定されることはない。１フレームが３以上のサブフレームで構成される場合であっても、以下に説明する合成方法を適用することができる。
　また、本実施形態において、第１の実施形態と同様に、タイミング制御部４１は、サブフレームＳｆ１においてグループＧｒ１を駆動させたタイミングで、サブフレームＳｆ２におけるグループＧｒ２を駆動させてもよい。或いは、タイミング制御部４１は、サブフレームＳｆ１、Ｓｆ２共に、グループＧｒ１、Ｇｒ２のそれぞれの駆動タイミングを変更しないように制御してもよい。駆動タイミングを変更しないことにより処理を単純化することができる。
　図１４に示すように、距離画像撮像装置１は、サブフレームＳｆ１による処理（処理Ｆ１）、及びサブフレームＳｆ２による処理（処理Ｆ２）を交互に繰り返す。
　距離画像撮像装置１は、タイミングＴｍ１にて、処理Ｆ１による処理結果をフレームメモリに記憶させ、サブフレームＳｆ１による処理結果を一時的に保持する（処理Ｆ４）。
　距離画像撮像装置１は、タイミングＴｍ１の次のタイミングＴｍ２にて、処理Ｆ２による処理結果をフレームメモリに記憶させ、サブフレームＳｆ２による処理結果を一時的に保持する（処理Ｆ３）。
　距離画像撮像装置１は、タイミングＴｍ２の次のタイミングＴｍ３にて、処理Ｆ３による処理結果と、処理Ｆ１による処理結果とを用いて、サブフレームＳｆ１とサブフレームＳｆ２との二つの処理結果を合成する（処理Ｆ５）。
　距離画像撮像装置１は、タイミングＴｍ２にて、処理Ｆ４による処理結果と、処理Ｆ２による処理結果とを用いて、サブフレームＳｆ２とサブフレームＳｆ１の二つの処理結果を合成する（処理Ｆ６）。
　以上説明したように、第２の実施形態では、距離画像撮像装置１は３タップ構成であり、タイミング制御部４１は、外光蓄積期間ＴｎにおいてグループＧｒ１の電荷蓄積部ＣＳ１に電荷を蓄積させ、第１反射光蓄積期間Ｔ１においてグループＧｒ２の電荷蓄積部ＣＳ１に電荷を蓄積させる。また、タイミング制御部４１は、第２反射光蓄積期間Ｔ２において、グループＧｒ１、Ｇｒ２の両方の電荷蓄積部ＣＳ２に電荷を蓄積させる。また、タイミング制御部４１は、第３反射光蓄積期間Ｔ３において、グループＧｒ１、Ｇｒ２の両方の電荷蓄積部ＣＳ２に電荷を蓄積させる。これにより、受光する光量が、近距離の場合と比較して減少してしまう遠距離を計測する場合でも、測定の精度の劣化を抑制することが可能である。
　また、第２の実施形態では、１フレームが複数のサブフレームからなり、距離演算部４２は、複数のサブフレームのそれぞれにおいて、電荷蓄積部ＣＳに蓄積された電荷量を合成する。これにより、画素群を複数のグループに分けて駆動させる方法、及びサブフレームを用いる方法の双方を用いて、見た目のタップ数を増加させることができ、上述した効果と同様の効果を奏する。
（第３の実施形態）
　次に、第３の実施形態について説明する。本実施形態では、受光部３における１つの画素３２１が、３つの電荷蓄積部ＣＳ（電荷蓄積部ＣＳ１～ＣＳ３）を備える。すなわち、本実施形態の距離画像撮像装置１は、３タップ構成である。
　本実施形態では、タイミング制御部４１は、距離分解能が高い距離領域を増やすように、電荷蓄積部ＣＳの駆動タイミングを制御する。すなわち、タイミング制御部４１は、図１８に示すような従来の受光タイミングでグループＧｒ１に属する画素３２１を駆動させ、グループＧｒ１による測定の精度を向上させることができ、且つ、測定することが可能となる距離の範囲が拡大するように、グループＧｒ２に属する画素３２１を駆動させる。
　以下、本実施形態の詳細について図１５～図１７を用いて説明する。
　図１５～図１７は、第３の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
　図１５～図１７に示す項目のうち、「Ｇｒ１　ｏｒ　Ｓｆ１」は、グループＧｒ１に属する画素３２１、又はサブフレームＳｆ１にて画素３２１を駆動させるタイミングチャートを示している。「Ｇｒ２　ｏｒ　Ｓｆ２」は、グループＧｒ２に属する画素３２１、又はサブフレームＳｆ１にて画素３２１を駆動させるタイミングチャートを示している。
　図１５～図１７に示す項目のうち、「Ｌｉｇｈｔ」、「Ｇ１」、「Ｇ２」、「Ｇ３」、及び「ＧＤ」については、図１８と同様である。このため、その説明を省略する。
　図１５では、まず、タイミング制御部４１は、外光蓄積期間Ｔｎに、グループＧｒ１及びＧｒ２の双方に属する電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ１０５に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ２０５に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　これにより、グループＧｒ１における電荷蓄積部ＣＳ２への蓄積から電荷蓄積部ＣＳ３への蓄積に切り替わるタイミングＴｐ１を含むように、グループＧｒ２の電荷蓄積部ＣＳ２への蓄積を行うことができる。したがって、タイミングＴｐ１において電荷を精度よく蓄積させることが可能である。また、グループＧｒ１における電荷蓄積部ＣＳ３への蓄積を終了させるタイミングＴｐ２以降に、グループＧｒ２の電荷蓄積部ＣＳ３への蓄積を行うことができる。したがって、タイミングＴｐ２以降に入射される反射光ＲＬに応じた電荷量を蓄積させることができ、測定可能となる距離の範囲を拡大させることができる。
　また、この例では、グループＧｒ１に属する電荷蓄積部ＣＳ２、ＣＳ３の蓄積期間（第１反射光蓄積期間Ｔ１、第２反射光蓄積期間Ｔ２）と、グループＧｒ２に属する電荷蓄積部ＣＳ２、ＣＳ３の蓄積期間（反射光蓄積期間Ｔ１０５、Ｔ２０５）とを、蓄積期間Ｔａの半分（Ｔａ／２）ずらす。これにより、グループＧｒ１、Ｇｒ２とも、ほぼ均等な分配率にて、電荷を電荷蓄積部ＣＳ２、ＣＳ３に振分けて蓄積することができる。したがって、距離分解能が高い距離の領域を増やすことができる。また、グループＧｒ１、Ｇｒ２で蓄積期間が重複する部分においては、２つの電荷蓄積部ＣＳに電荷を蓄積させることができる。このため、１つの電荷蓄積部ＣＳに電荷を蓄積させる場合と比較して、時間分解能を２倍とすることができる。したがって距離を精度よく測定することが可能となる。
　また、「半分ずらす」ことにより、グループＧｒ１において精度よく電荷を蓄積させることが困難な「端の箇所」が、グループＧｒ２において精度よく電荷を蓄積させることが可能な「真ん中の箇所」となるように制御することができる。「端の箇所」とは電荷蓄積部ＣＳをオン状態からオフ状態とする切り替わりのタイミングである。「真ん中の箇所」とは電荷蓄積部ＣＳをオン状態としてからオフ状態とするまでの期間の真ん中のタイミングである。つまり、グループＧｒ１、Ｇｒ２が互いに補い合うようにして、測定精度の低下を抑制することができる。
　但し、厳密に、蓄積期間Ｔａの「半分ずらす」ことが、最も精度よく測定できる制御になるとは限らない。実際には、測定を劣化させる要因として、光パルスのくずれ、電荷の転送の遅れ、転送する電極に与えられる電気パルスのくずれ等が発生し得る。このような劣化要因との相補的な関係から、「実効的に、蓄積期間Ｔａの半分に相当する時間」だけ、グループＧｒ１、Ｇｒ２の蓄積期間がずれるように制御することが望ましい。
　図１６では、まず、タイミング制御部４１は、外光蓄積期間Ｔｎに、グループＧｒ１に属する電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、タイミング制御部４１は、外光蓄積期間Ｔｎから、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、蓄積期間Ｔｎ０５に、グループＧｒ２に属する電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ１０５に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ２０５に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　これにより、グループＧｒ１における電荷蓄積部ＣＳ１への蓄積から電荷蓄積部ＣＳ２への蓄積に切り替わるタイミングＴｐ０を含むように、グループＧｒ２の電荷蓄積部ＣＳ１への蓄積を行うことができる。したがって、タイミングＴｐ０において入射される反射光ＲＬに応じた電荷量を精度よく蓄積させることが可能である。つまり、近距離にある被写体Ｓを測定するのに好適である。
　また、図１５と同様に、タイミングＴｐ１において電荷を精度よく蓄積させることが可能である。また、図１５と同様に、タイミングＴｐ２以降の期間において電荷量を蓄積させることができ、測定可能な距離を拡大させることが可能である。
　図１７では、まず、タイミング制御部４１は、外光蓄積期間Ｔｎに、グループＧｒ１に属する電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、第１反射光蓄積期間Ｔ１から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ１０５に、グループＧｒ２に属する電荷蓄積部ＣＳ１に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　次に、タイミング制御部４１は、第２反射光蓄積期間Ｔ２から、蓄積期間Ｔａの半分（Ｔａ／２）の期間ずらした（遅らせた）、反射光蓄積期間Ｔ２０５に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させる。
　次に、タイミング制御部４１は、反射光蓄積期間Ｔ２０５が経過した後、反射光蓄積期間Ｔ３０５に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。
　これにより、タイミングＴｐ２以降の、図１６のケースよりもさらに長い期間において、電荷量を蓄積させることができ、測定可能な距離を拡大させることが可能である。つまり、遠距離にある被写体Ｓを測定するのに好適である。
　また、図１５と同様に、タイミングＴｐ１において電荷を精度よく蓄積させることが可能である。
　以上説明したように、第３の実施形態の距離画像撮像装置１は、３タップ構成であり、タイミング制御部４１は、外光蓄積期間Ｔｎに、グループＧｒ１、Ｇｒ２に属する電荷蓄積部ＣＳ１に電荷を蓄積させ、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させ、第１反射光蓄積期間Ｔ１が終了するタイミングＴｐ１（終了タイミング）を含む反射光蓄積期間Ｔ１０５（第１期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、第２反射光蓄積期間Ｔ２が終了するタイミングＴｐ２（終了タイミング）を含む反射光蓄積期間Ｔ２０５（第２期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。これにより、タイミングＴｐ１において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングＴｐ２以降に入射された反射光ＲＬに応じた電荷を蓄積させることができ、測定可能な距離を拡大させることができる。
　また、第３の実施形態の距離画像撮像装置１は、外光蓄積期間Ｔｎに、グループＧｒ１に属する電荷蓄積部ＣＳ１に電荷を蓄積させ、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させ、外光蓄積期間Ｔｎが終了するタイミングＴｐ０（終了タイミング）を含む蓄積期間Ｔｎ０５（第１期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ１に電荷を蓄積させ、第１反射光蓄積期間Ｔ１が終了するタイミングＴｐ１（終了タイミング）を含む反射光蓄積期間Ｔ１０５（第２期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、第２反射光蓄積期間Ｔ２が終了するタイミングＴｐ２（終了タイミング）を含む反射光蓄積期間Ｔ２０５（第３期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。これにより、タイミングＴｐ０、Ｔｐ１において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングＴｐ２以降に入射された反射光ＲＬに応じた電荷を蓄積させることができ、測定可能な距離を拡大させることができる。
　また、第３の実施形態の距離画像撮像装置１は、外光蓄積期間Ｔｎに、グループＧｒ１に属する電荷蓄積部ＣＳ１に電荷を蓄積させ、第１反射光蓄積期間Ｔ１に、グループＧｒ１に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、第２反射光蓄積期間Ｔ２に、グループＧｒ１に属する電荷蓄積部ＣＳ３に電荷を蓄積させ、第１反射光蓄積期間Ｔ１が終了するタイミングＴｐ１（終了タイミング）を含む反射光蓄積期間Ｔ１０５（第２期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ１に電荷を蓄積させ、第２反射光蓄積期間Ｔ２が終了するタイミングＴｐ２（終了タイミング）を含む反射光蓄積期間Ｔ２０５（第３期間）に、グループＧｒ２に属する電荷蓄積部ＣＳ２に電荷を蓄積させ、反射光蓄積期間Ｔ２０５（第３期間）の経過後に、グループＧｒ２に属する電荷蓄積部ＣＳ３に電荷を蓄積させる。これにより、Ｔｐ１において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングＴｐ２以降に入射された反射光ＲＬに応じた電荷を蓄積させることができ、測定可能な距離をさらに拡大させることができる。
　なお、上述した実施形態では、距離画像撮像装置１が４タップ構成、或いは３タップ構成である場合を例示して説明した。しかしながらこれに限定されることはない。距離画像撮像装置１は、少なくとも複数の電荷蓄積部ＣＳを備えていればよい。すなわち、距離画像撮像装置１は、Ｍ個（Ｍは２以上の整数）の電荷蓄積部ＣＳからなるＭタップ構成であってよい。
　また、上述した実施形態では、複数の画素３２１のそれぞれが、二つのグループＧｒ１、Ｇｒ２のいずれかに分類される場合を例示して説明したが、これに限定されることはない。距離画像撮像装置１では、画素３２１のそれぞれがＮグループ（Ｎは２以上の整数）に分けられてもよい。
　上記各実施形態によれば、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる。
　１　距離画像撮像装置
　２　光源部
　３　受光部
　３１　レンズ
　３２　距離画像センサ
　３２１　画素
　４　距離画像処理部
　４１　タイミング制御部
　４２　距離演算部
　ＰＤ　光電変換素子
　ＧＤ　ドレイントランジスタ
　Ｇ　読み出しトランジスタ
　ＣＳ　電荷蓄積部
　ＰＯ　光パルス

Claims (10)

  1. 　測定対象の空間である測定空間に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積期間で前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    　前記蓄積期間を制御するタイミング制御部と、
    　前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、
    　を備え、
    　前記画素は、二次元の行列状に複数配置されると共に、前記複数の前記画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、
    　前記タイミング制御部は、前記二以上のグループのそれぞれに属する画素における前記電荷蓄積部の前記蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する、
    　距離画像撮像装置。
  2. 　前記タイミング制御部は、前記二以上のグループのうち第１グループに属する画素における前記電荷蓄積部、及び前記第１グループと異なる第２グループに属する画素における前記電荷蓄積部のそれぞれの前記蓄積期間が重ならないように制御する、
    　請求項１に記載の距離画像撮像装置。
  3. 　前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、
    　前記タイミング制御部は、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部から第Ｍ電荷蓄積部までの、Ｍ個の前記電荷蓄積部、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部から第Ｍ電荷蓄積部までの、Ｍ個の前記電荷蓄積部のそれぞれに、順に前記電荷を振り分けて蓄積させ、前記第１グループの前記第Ｍ電荷蓄積部の前記蓄積期間、及び前記第２グループの前記第１電荷蓄積部の前記蓄積期間の少なくとも一部の期間が重なるように制御する、
    　請求項１に記載の距離画像撮像装置。
  4. 　前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、
    　前記タイミング制御部は、
    　　前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、
    　　前記光パルスが照射されている第１反射光蓄積期間に、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、
    　　前記第１反射光蓄積期間の経過後の第Ｋ反射光蓄積期間（Ｋは、２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部、及び前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる、
    　請求項１に記載の距離画像撮像装置。
  5. 　前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、
    　前記タイミング制御部は、
    　　前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部、及び前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、
    　　前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、
    　　前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ－１期間に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる、
    　請求項１に記載の距離画像撮像装置。
  6. 　前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、
    　前記タイミング制御部は、
    　　前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、
    　　前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、
    　　前記外光蓄積期間が終了する終了タイミングを含む第１期間に、前記第１グループと異なる第２グループに属する画素における前記第１電荷蓄積部に前記電荷を蓄積させ、
    　　前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ期間に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる、
    　請求項１に記載の距離画像撮像装置。
  7. 　前記画素における複数の前記電荷蓄積部は、第１電荷蓄積部から第Ｍ電荷蓄積部（Ｍは２以上の整数）までの、Ｍ個の前記電荷蓄積部からなり、
    　前記タイミング制御部は、
    　　前記光パルスが照射されていない外光蓄積期間に、前記二以上のグループのうち第１グループに属する画素における前記第１電荷蓄積部に、前記電荷を蓄積させ、
    　　前記光パルスの照射に応じた第Ｋ－１反射光蓄積期間（Ｋは２からＭまでのいずれか一つの整数）に、前記第１グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させ、
    　　前記第Ｋ－１反射光蓄積期間が終了する終了タイミングを含む第Ｋ期間に、前記第１グループと異なる第２グループに属する画素における前記第Ｋ－１電荷蓄積部に前記電荷を蓄積させ、
    　　前記第Ｋ期間の経過後に、前記第２グループに属する画素における前記第Ｋ電荷蓄積部に前記電荷を蓄積させる、
    　請求項１に記載の距離画像撮像装置。
  8. 　前記光源部は、１フレーム期間に含まれる複数のサブフレーム期間において、定期的に光パルスを照射し、
    　前記距離演算部は、前記複数のサブフレームのそれぞれにおいて前記電荷蓄積部に蓄積された電荷量を合成する、
    　請求項１から請求項７のいずれか一項に記載の距離画像撮像装置。
  9. 　前記タイミング制御部は、
    　　前記複数のサブフレーム期間のうち、第１サブフレーム期間において、前記二以上のグループのうち第１グループに属する画素における前記電荷蓄積部の前記蓄積期間が第１タイミング、前記第１グループと異なる第２グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第１タイミングと異なる第２タイミングとなるように制御し、
    　　前記第１サブフレーム期間と異なる第２サブフレーム期間において、前記第１グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第２タイミング、前記第２グループに属する画素における前記電荷蓄積部の前記蓄積期間が前記第１タイミングとなるように制御する、
    　請求項８に記載の距離画像撮像装置。
  10. 　測定対象の空間である測定空間に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定の蓄積期間で前記画素における電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    　前記蓄積期間を制御するタイミング制御部と、
    　前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を測定する距離演算部と、
    　を備え、
    　前記画素は、二次元の行列状に複数配置されると共に、前記複数の前記画素のそれぞれが予め定められた二以上のグループのいずれかに分類されている、距離画像撮像装置による距離画像撮像方法であって、
    　前記タイミング制御部が、前記二以上のグループのそれぞれに属する画素における前記電荷蓄積部の前記蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する、
    　距離画像撮像方法。
PCT/JP2019/039998 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法 WO2021070320A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021551036A JP7469779B2 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法
PCT/JP2019/039998 WO2021070320A1 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法
JP2024005719A JP2024041961A (ja) 2019-10-10 2024-01-17 距離画像撮像装置、及び距離画像撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039998 WO2021070320A1 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
WO2021070320A1 true WO2021070320A1 (ja) 2021-04-15

Family

ID=75438118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039998 WO2021070320A1 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法

Country Status (2)

Country Link
JP (2) JP7469779B2 (ja)
WO (1) WO2021070320A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
US20140198183A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Sensing pixel and image sensor including same
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 距離測定装置
JP2019083266A (ja) * 2017-10-31 2019-05-30 スタンレー電気株式会社 撮像装置及び撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267720A (ja) * 2009-05-13 2010-11-25 Denso Corp 受光デバイス及びその制御方法
US20140198183A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Sensing pixel and image sensor including same
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックＩｐマネジメント株式会社 距離測定装置および距離画像合成方法
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 距離測定装置
JP2019083266A (ja) * 2017-10-31 2019-05-30 スタンレー電気株式会社 撮像装置及び撮像素子

Also Published As

Publication number Publication date
JP7469779B2 (ja) 2024-04-17
JPWO2021070320A1 (ja) 2021-04-15
JP2024041961A (ja) 2024-03-27

Similar Documents

Publication Publication Date Title
US11448757B2 (en) Distance measuring device
WO2020188782A1 (ja) 距離画像撮像装置、距離画像撮像システム、および距離画像撮像方法
JP4981780B2 (ja) 測距システム及び測距方法
US11276719B2 (en) Solid-state imaging device and distance-measuring imaging device
WO2021020496A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
US8446499B2 (en) Image capturing apparatus, image capturing system, and processing method
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
JP2016506492A (ja) 深さ情報および画像センサにより画像を生成する方法
WO2020183533A1 (ja) 距離画像センサ及び距離画像撮像装置
WO2021001975A1 (ja) 距離画像撮像装置及び距離画像撮像方法
RU59923U1 (ru) Пзс-видеокамера
WO2021070320A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022188478A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2001148868A (ja) ３次元画像検出装置
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2024024744A1 (ja) 距離計測装置及び距離計測方法
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023199804A1 (ja) 測距装置および測距方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2020194481A1 (ja) 距離画像センサ及び距離画像撮像装置
JP2023156731A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551036

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19948655

Country of ref document: EP

Kind code of ref document: A1