WO2016133053A1 - 距離画像計測装置 - Google Patents

距離画像計測装置 Download PDF

Info

Publication number
WO2016133053A1
WO2016133053A1 PCT/JP2016/054316 JP2016054316W WO2016133053A1 WO 2016133053 A1 WO2016133053 A1 WO 2016133053A1 JP 2016054316 W JP2016054316 W JP 2016054316W WO 2016133053 A1 WO2016133053 A1 WO 2016133053A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
unit
distance
transfer
flight time
Prior art date
Application number
PCT/JP2016/054316
Other languages
English (en)
French (fr)
Inventor
香川　景一郎
川人　祥二
風太 望月
啓太 安富
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to JP2017500669A priority Critical patent/JP6666620B2/ja
Publication of WO2016133053A1 publication Critical patent/WO2016133053A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present invention relates to a distance image measurement device.
  • a distance image measurement device that measures the light flight time of a pulsed light by irradiating the target with pulsed light and detecting the reflected light.
  • the irradiation timing for irradiating the target with pulsed light whose pulse width is sufficiently shorter than the response time of the light receiving unit is controlled, and two types of irradiation are performed based on the irradiation timing.
  • a phase control pulse voltage is applied to the gate voltage. Thereby, the electric charge converted in response to the incidence of the pulsed light in the light receiving unit is modulated and accumulated in the charge accumulating unit.
  • the first and second electric charges modulated by the control pulse voltages of these two kinds of phases are read out as the first and second electric signals by the charge reading unit, and the first and second electric signals are read out by the calculating unit.
  • a distance to the object is calculated based on the electrical signal. Thereby, a distance image of the object is generated.
  • the distance image measuring instrument as described above is expected to be applied to various technologies including, for example, automobile collision prevention and automatic driving.
  • technologies including, for example, automobile collision prevention and automatic driving.
  • the wide range of distance measurement from short distance to long distance and the high distance resolution Further improvement is desired.
  • an object of one embodiment of the present invention is to provide a distance image measurement device that can achieve both a wide distance measurement range and high distance resolution by a simple processing circuit.
  • a distance image measurement device is connected to a light receiving unit that converts the pulsed light into electric charge according to incidence of the pulsed light reflected by the object, and the light receiving unit receives electric charge from the light receiving unit.
  • a charge accumulating unit that outputs a charge signal by accumulating the electric charge and the charge accumulating unit connected to the light receiving unit and that is connected to the light receiving unit and that controls the charge transfer from the light receiving unit to the charge accumulating unit
  • An image pickup device in which a plurality of pixel portions each having a gate portion for controlling charge transfer to the two-dimensional array and a gate portion controlling charge transfer according to each of a plurality of control patterns And a processing unit that estimates the light flight time of the pulsed light to reach the light receiving unit based on the plurality of charge signals output from the unit and the plurality of control patterns.
  • the distance image measurement device in an imaging device in which a plurality of pixel units are arranged in a two-dimensional manner, pulsed light reflected by an object and incident on a light receiving unit of each pixel unit is received. Converted to electric charge. Transfer of this charge to the charge storage unit is controlled by the gate unit according to a plurality of control patterns. The charge transferred to the charge storage unit is stored in the charge storage unit and then output as a charge signal. Then, the processing unit estimates the optical flight time of the pulsed light based on the plurality of charge signals output from the charge storage unit and the plurality of control patterns.
  • a wide distance measurement range and high distance resolution can be achieved with a simple processing circuit.
  • FIG. 3 is a circuit diagram illustrating a schematic configuration of a pixel unit in the image sensor of FIG. 2. It is the schematic which shows the production
  • FIG. 1 is a schematic configuration diagram illustrating a distance image measurement system using a distance image measurement device according to an embodiment of the present invention.
  • the distance image measurement system 100 is a device that generates a distance image of an object O using a TOF (Time of Flight) method.
  • the distance image measurement system 100 includes a distance image measurement device 1 and a light source 2.
  • the light source 2 is a device for irradiating the object O with pulsed light such as laser light.
  • the distance image measuring device 1 includes an imaging device 3, a lens 20, a control means (processing unit) 4, and a signal processing circuit (processing unit) 5.
  • the lens 20 collects the pulsed light reflected by the object O and makes it incident on the image sensor 3.
  • a plurality of image sensors 3 are provided.
  • the control means 4 outputs a control pattern P (details will be described later) to be applied to each of the plurality of image pickup devices 3 to the image pickup device 3.
  • the control unit 4 controls the light emission timing of the light source 2 so as to be synchronized with the output control pattern P.
  • the control unit 4 outputs information on a plurality of control patterns P applied to each of the plurality of imaging elements 3 to the signal processing circuit 5.
  • the signal processing circuit 5 estimates the light flight time of the pulsed light based on the plurality of charge signals input from the plurality of imaging elements 3 and the plurality of control patterns P input from the control unit 4.
  • FIG. 2 is a block diagram showing a schematic configuration of an image sensor used in the distance image measuring apparatus of FIG.
  • the image sensor 3 has a plurality of pixel portions X ij (i is an integer from 1 to m, j is an integer from 1 to n) arranged in a two-dimensional matrix, and has a rectangular shape.
  • the imaging region is configured.
  • a horizontal scanning circuit (control means) 6 is provided along the horizontal pixel rows of the plurality of pixel portions X ij at the periphery of the imaging region, and the pixels in the vertical direction of the plurality of pixel portions X ij.
  • a vertical scanning circuit (control means) 7 is provided along the columns.
  • a timing generation circuit (control means) 8 is connected to the horizontal scanning circuit 6 and the vertical scanning circuit 7.
  • the pixel portion Xij in the image pickup device 3 is sequentially scanned by the timing generation circuit 8, the horizontal scanning circuit 6, and the vertical scanning circuit 7, and readout and initialization of pixel signals are executed. That is, by scanning the image sensor 3 in the vertical direction in units of pixel rows by the vertical scanning circuit 7, the pixel signal of each pixel column included in the scanned pixel column is transmitted by the vertical signal line provided for each pixel column. It is configured to read. Reading of the pixel signal of each pixel column is performed by outputting via a noise cancellation circuit (signal processing circuit) 9 and an output buffer circuit (signal processing circuit) 10 provided for each vertical signal line.
  • a noise cancellation circuit signal processing circuit
  • an output buffer circuit signal processing circuit
  • the horizontal scanning circuit 6 performs horizontal scanning of the pixel portion Xij .
  • the timing generation circuit 8 controls the timing of vertical scanning and horizontal scanning of the pixel portion X ij of the image sensor 3 as described above, and in each pixel portion X ij based on the irradiation timing of the pulsed light of the light source 2. The timing of charge accumulation and charge discharge is controlled.
  • FIG. 3 is a circuit diagram showing a schematic configuration of a pixel portion in the image sensor of FIG.
  • a plurality of semiconductor elements 11 functioning as pixel circuits are arranged in the pixel portion Xij .
  • the semiconductor element 11 is provided with a light receiving unit 12, a charge storage unit 13, a charge discharging unit 14, and a gate electrode (gate unit) 15.
  • the light receiving unit 12 is an embedded photodiode provided in the semiconductor element 11, and converts the pulsed light into electric charge according to the incidence of the pulsed light irradiated from the light source 2 and reflected by the object O.
  • the charge storage unit 13 is connected to the light receiving unit 12, and charges generated by the light receiving unit 12 are transferred from the light receiving unit 12 and stored therein.
  • the charge discharging unit 14 is connected to the light receiving unit 12, and the charges generated by the light receiving unit 12 are transferred from the light receiving unit 12 and discharged.
  • the gate electrode 15 is connected to the light receiving unit 12, and controls the potential of a transfer channel formed between the light receiving unit 12 and the charge discharging unit 14, thereby transferring the light from the light receiving unit 12 to the charge storage unit 13 or the charge discharging unit 14. Controlling the transfer of charges.
  • the gate electrode 15 also has a function as a virtual switch 16 for controlling the transfer of charges from the light receiving unit 12 to the charge storage unit 13 or the charge discharging unit 14.
  • the gate electrode 15 is supplied with the control pulse voltage TD applied from the timing generation circuit 8 to control whether the charge transfer destination is the charge storage unit 13 or the charge discharge unit 14 according to a plurality of control patterns P. (See FIG. 4).
  • the control pattern P is turned on / off so as to alternatively designate either the charge storage unit 13 or the charge discharge unit 14 as a charge transfer destination, and the transfer destination is randomly selected as time passes. This is a pulse pattern to be changed to Further, each of the plurality of control patterns P designates a charge transfer destination in a different pattern.
  • the pixel portion X ij is provided with a charge readout circuit 18 that reads out the charges accumulated in the charge accumulation portion 13 as the control pattern P is applied as an electric signal (charge signal).
  • the charge readout circuit 18 includes a signal readout transistor 18a, a switching transistor 18b, and a reset transistor 18c.
  • the gate electrode of the signal readout transistor 18a is connected to the charge storage unit 13, the drain electrode of the signal readout transistor 18a is connected to the power source, and the source electrode of the signal readout transistor 18a is connected to the drain electrode of the pixel selection switching transistor 18b. Has been.
  • a source electrode of the switching transistor 18b is connected to a vertical signal line, and a pixel column selection control signal S is supplied from the vertical scanning circuit 7 to a gate electrode of the switching transistor 18b.
  • the selection control signal S By setting the selection control signal S to a high level, the switching transistor 18b is turned on, the charge amount Q accumulated in the charge accumulation unit 13 is amplified by the signal read transistor 18a, and the potential corresponding to the amplified charge amount Are output to the vertical signal line.
  • the reset transistor 18 c has a source electrode connected to the charge storage unit 13, a drain electrode connected to a power supply, and a gate electrode to which a reset signal R is supplied from the vertical scanning circuit 7. The reset transistor 18c resets the charge storage unit 13 by discharging the charge stored in the charge storage unit 13 when the reset signal R is set to a high level.
  • the distance image measuring device 1 includes a plurality of the image pickup devices 3 described above. These image pickup devices 3 are arranged in a two-dimensional matrix. Here, a total of 15 image pickup devices 3 of three rows in the vertical direction and five columns in the horizontal direction are arranged. Among these image pickup devices 3, each of the gate electrodes 15 included in the same image pickup device 3 controls charge transfer according to the same control pattern P.
  • the signal processing circuit 5 of the distance image measurement device 1 includes a calculation circuit 19 (see FIG. 2).
  • the calculation circuit 19 generates a distance image of the object O based on the electrical signal read from the pixel unit X ij by the timing control by the timing generation circuit 8.
  • the calculation circuit 19 includes a charge amount Q indicated by a plurality of electrical signals output from the charge storage unit 13 by the gate electrode 15 controlling the transfer of charges according to each of the plurality of control patterns P, and Based on the plurality of control patterns P, the light flight time of the pulsed light from the light source 2 to the light receiving unit 12 is estimated for each pixel unit X ij . And the calculation circuit 19 produces
  • FIG. 4 is a schematic diagram illustrating a procedure for generating a distance image using the distance image measurement device according to the first embodiment
  • FIG. 5 is a schematic diagram illustrating an optical flight time histogram.
  • the pulsed light irradiated from the light source 2 and reflected by the object O is a plurality (here, the imaging element 3) corresponding to each of a plurality (here, 15) of the imaging elements 3.
  • the imaging element 3 corresponding to each of a plurality (here, 15) of the imaging elements 3.
  • each of the gate electrodes 15 included in the same image sensor 3 controls charge transfer according to the same control pattern P.
  • each of the gate electrodes 15 included in the different image sensors 3 controls charge transfer according to a different control pattern P.
  • each of the pixel portions Xij of the image pickup device 3 is reflected at different points in the object O, so that the distance from the lens 20 at that point is increased.
  • the pulsed light of the corresponding light flight time enters.
  • the charges generated by the pulsed light incident on the pixel portion X ij only the charges generated at the timing when the control pattern P designates the charge storage portion 13 as the charge transfer destination is the pixel portion. It is transferred stored in the charge storage unit 13 of the X ij. In this way, the compressed image C is generated from the charge amount Q of the charge accumulated in the charge accumulation unit 13 of each pixel unit X ij of the image sensor 3.
  • the corresponding control patterns P are different between the image sensors 3.
  • the 15 image pickup elements 3 indicated by A1 to A15 correspond to 15 different control patterns P as indicated by P1 to P15, respectively.
  • the charge amounts Q of the charges accumulated in the plurality of charge accumulation sections 13 of the respective image pickup devices 3 are different from each other, and the generated compressed images C are also different from each other.
  • the calculation circuit 19 calculates the time image D based on the plurality of charge amounts Q represented by the compressed image C in the plurality of imaging devices 3 and the plurality of control patterns P corresponding to these imaging devices 3. Then, based on the time image D, the optical flight time of the pulsed light is estimated. Specifically, the calculation circuit 19 calculates the time image D by solving the inverse problem from the plurality of charge amounts Q represented by the compressed image C and the plurality of control patterns P, and obtains the time image D from the time image D. The light flight time is estimated from the obtained light flight time histogram.
  • the time-of-flight histogram represents the frequency (or the light intensity of incident pulsed light) at which charges are transferred from the light receiving unit 12 to the charge storage unit 13.
  • the horizontal axis indicates the optical flight time
  • the vertical axis indicates the frequency (or light intensity) of incidence of pulsed light on the light receiving unit 12 at each time.
  • Calculation circuit 19 calculates the light flight time histogram for each pixel unit X ij, the value on the horizontal axis corresponding to the peak position pk, estimates the light time of flight of the pulse light at each pixel portion X ij.
  • the calculation circuit 19 calculates a distance for each pixel unit X ij from the light flight time for each pixel unit X ij estimated in this manner, and generates a distance image.
  • the light is reflected by the object O and incident on the light receiving portions 12 of the respective pixel portions X ij.
  • the pulsed light is converted into electric charges. Transfer of this charge to the charge storage unit 13 is controlled by the gate electrode 15 in accordance with a plurality of control patterns P.
  • the charge transferred to the charge storage unit 13 is stored in the charge storage unit 13 and then output as a charge signal. Then, based on the plurality of charge signals output from the charge storage unit 13 and the plurality of control patterns P, the light flight time of the pulsed light is estimated by the control means 4 and the signal processing circuit 5.
  • control means 4 and the signal processing circuit 5 are optical time-of-flight histograms calculated by solving an inverse problem from a plurality of charge signals and a plurality of control patterns P.
  • the light flight time histogram corresponds to the frequency distribution of the timing at which the charge is transferred from the light receiving unit 12 to the charge storage unit 13. According to such a configuration, since compression sampling can be suitably performed, it is possible to suitably realize the measurement of the distance image by estimating the light flight time from the charge signal and the control pattern P.
  • control means 4 and the signal processing circuit 5 estimate the light flight time from the peak position pk of the light flight time histogram. According to such a configuration, since the peak position pk of the light flight time histogram can be easily calculated, the processing circuit can be simplified.
  • the plurality of control patterns P are random pulse-like patterns for turning on / off the transfer of electric charges. According to such a configuration, since the control pattern P can be easily set, the processing circuit can be simplified.
  • FIG. 6 in the distance image measurement device 1 according to the present modification, among all the image sensors 3, they are included in two image sensors 3 separated in the horizontal direction indicated by A ⁇ b> 6 and A ⁇ b> 10 in FIG. 6.
  • Each of the plurality of gate electrodes 15 controls charge transfer according to the same control pattern P indicated by P6 in FIG.
  • Each of the other imaging elements 3 controls charge transfer according to different control patterns P1 to P5 and P7 to P14.
  • 15 compressed images C are acquired using all 15 imaging elements 3 indicated by A1 to A15 (S01).
  • control means 4 and the signal processing circuit 5 estimate the depth map based on the compound eye parallax based on the two compressed images C acquired by the A6 and A10 imaging elements 3 of the acquired compressed images C. Specifically, the control means 4 and the signal processing circuit 5 estimate the depth map from the compressed image C output from these two image pickup devices 3 by the existing stereo method (S02).
  • the control means 4 and the signal processing circuit 5 correct the parallax and magnification of the compressed image C based on the parallax information obtained from the depth map, and based on the corrected plurality of compressed images C and the plurality of control patterns P. Estimate light flight time. Specifically, as a charge signal correction method, corresponding points between a plurality of compressed images C generated from charge signals and a depth map are calculated, and the parallax and magnification of each compressed image C are calculated using the corresponding points as a reference. Correct the alignment. Thereby, in the corrected plurality of compressed images C, the influence of parallax is reduced particularly in a range relatively close to the lens 20 of the image sensor 3 (S03).
  • control means 4 and the signal processing circuit 5 calculate the time image D by solving the inverse problem from the plurality of charge signals represented by the corrected plurality of compressed images C and the plurality of control patterns P.
  • the optical flight time is estimated from the optical flight time histogram obtained from the time image D.
  • the control unit 4 and signal processing circuit 5 calculates the estimated pixel portion distance from the light time of flight of each pixel portion X ij of each X ij, it generates a distance image (S04).
  • the resolution of the distance image generated using the stereo method tends to be higher than the resolution of the distance image obtained from the light flight time.
  • the resolution of the distance image obtained from the optical flight time is likely to be higher than the resolution of the distance image generated using the stereo method.
  • the accuracy of the distance image can be improved by properly using the distance image generated by using the stereo method and the light flight time as described above depending on the size of the distance.
  • the control unit 4 and the signal processing circuit 5 use the distance obtained from the optical flight time as the distance obtained for each pixel unit X ij for a distance greater than a predetermined distance. At the same time, for the distance less than the predetermined distance, a final depth map is generated using the distance obtained by the depth map (S05).
  • the depth map is not limited to the normal stereo method, and may be estimated by a multi-baseline stereo method.
  • each of the gate electrodes 15 included in a plurality of three or more image sensors 3 controls charge transfer according to the same control pattern P.
  • the number of image pickup devices 3 to which different control patterns P are applied is reduced, the number of pixel portions X ij that are outliers (that is, relatively large estimation errors) can be reduced, resulting in the estimation of the depth map. Accuracy can be improved.
  • the distance image measurement device 1 according to the second embodiment is different from the first embodiment in that it includes a single image sensor 3 and the configuration of the pixel unit Xij . That is, as shown in FIG. 8, each of the pixel portions X ij included in the imaging device 3 has a plurality of (three in the example shown in FIG. 8) charge storage portions 13. Three charge storage sections 13 and one charge discharge section 14 are connected to the four corners of the light receiving section 12 to the pixel section Xij .
  • the gate electrode 15 controls the transfer of charges according to a plurality of control patterns P corresponding to the plurality of charge storage units 13.
  • FIG. 9 shows an example of the control pattern P in the case where the pixel unit X ij has 16 charge storage units 13 each.
  • the gate electrode 15 includes a plurality of (here, 16 corresponding to the number of charge storage portions 13) that use different charge storage portions 13 as transfer destinations. The charge transfer is controlled in accordance with the control pattern P in order.
  • Each of the pixel portions X ij included in the image pickup device 3 is reflected at a different point in the object O, so that pulsed light having an optical flight time according to the distance from the lens 20 at that point is incident. .
  • the charge generated by the pulsed light incident on the pixel portion Xij is transferred to and stored in the charge storage unit 13 designated by the control pattern P as the charge transfer destination at the timing of the pulsed light incidence.
  • the first charge corresponding to P1 is performed.
  • the accumulation unit 13 is a charge transfer destination.
  • the control pattern P represented by P1 is completed, the control pattern P represented by P2 is executed, and during this time, the second charge accumulation unit 13 corresponding to P2 serves as a charge transfer destination.
  • the control pattern P represented by P3 to the control pattern P represented by P16 are sequentially executed to form one repeat unit. Subsequently, the control pattern P of one repeating unit is repeatedly executed a plurality of times.
  • the plurality of charge storage units 13 connected to the plurality of pixel units X ij are respectively connected.
  • a compressed image C is generated from the charge amount Q of the accumulated charges.
  • different images are generated on one image sensor 3 depending on the applied control pattern P.
  • the calculation circuit 19 calculates time based on the plurality of charge amounts Q represented by the plurality of compressed images C accumulated in the plurality of charge accumulation units 13 in the image sensor 3 and the plurality of control patterns P. Image D is calculated.
  • the calculation circuit 19 estimates the light flight time of the pulsed light based on the time image D. Specifically, the calculation circuit 19 calculates the time image D by solving the inverse problem from the plurality of charge amounts Q represented by the compressed image C and the plurality of control patterns P, and obtains the time image D from the time image D. The light flight time is estimated from the obtained light flight time histogram.
  • the calculation circuit 19 calculates the light flight time histogram for each pixel unit X ij, estimates the light time of flight of the pulse light at each pixel portion X ij.
  • the calculation circuit 19 calculates a distance for each pixel unit X ij from the light flight time for each pixel unit X ij estimated in this manner, and generates a distance image.
  • a modification of the second embodiment will be described.
  • a plurality of control patterns P having different charge transfer destinations are arranged in parallel so that charges are not simultaneously transferred to the plurality of charge storage units 13.
  • a combined control pattern (hereinafter referred to as a composite control pattern) is executed. That is, in each of the pixel portions X ij , the gate electrode 15 controls charge transfer according to the composite control pattern.
  • codes represented by G1 to G3 and the like indicate to which charge storage unit 13 the charges are transferred corresponding to G1 to G3 and the like, respectively.
  • the distance image measurement device 1 since the charge can be transferred in parallel to the plurality of charge storage units 13, the charge transfer to the charge storage unit 13 can be performed efficiently and the charge can be transferred. The time required for the transfer can be shortened.
  • the control unit 4 and the signal processing circuit 5 include a charge storage unit included in any of the plurality of pixel units Xij that are close to each other.
  • the light flight time is estimated based on the charge amounts Q of the plurality of charges accumulated in 13 and the plurality of control patterns P.
  • the gate electrode 15 is represented by P1 ⁇ P16
  • the charge transfer is controlled according to different control patterns P.
  • the control means 4 and the signal processing circuit 5 are configured to generate pulsed light based on the charge amounts Q of the plurality of charges respectively stored in the charge storage sections 13 of the 16 pixel portions Xij and the plurality of control patterns P. Estimate light flight time.
  • the present invention can be applied even when the amount of pulsed light incident on the light receiving unit 12 is small. For this reason, it can be applied even when the object O is relatively far.
  • the pixel unit X ij does not necessarily include the plurality of charge storage units 13 and may include only one charge storage unit 13.
  • the control means 4 and the signal processing circuit 5 include a plurality of pixels (here, pixel units X 11 , X 12 , X Charge amount Q of a plurality of charges accumulated in the charge accumulating portion 13 of the pixel portion X ij of 2 rows in the vertical direction and 2 columns in the horizontal direction represented by 21 , X 22, etc.
  • the optical flight time is estimated.
  • each of these four pixel portions X ij sequentially follows a plurality (here, four) control patterns P to control the transfer of charges.
  • each pixel portion X ij is provided with a plurality of charge storage section 13 (for example, four of the charge storage unit 13 represented by Z1 ⁇ Z4 in the pixel portion 11) ing. Then, the distance image measuring apparatus 1 executes control by the four control patterns P represented by P1 to P4 corresponding to the respective charge accumulating units 13. Among the four control patterns P represented by P1 to P4, for example, while the control by the control pattern P represented by P1 is being executed, the first charge accumulation unit 13 corresponding to P1 is charged. Becomes the transfer destination.
  • control pattern P represented by P1 After the control pattern P represented by P1 is completed, the control pattern P represented by P2 is executed, and during this time, the second charge accumulation unit 13 corresponding to P2 serves as a charge transfer destination. Thereafter, the control pattern P represented by P3 and the control pattern P represented by P4 are sequentially executed to form one repeating unit. Subsequently, the control pattern P of one repeating unit is repeatedly executed a plurality of times. Similarly, in the pixel portions X 12 , X 21 , and X 22 , four of the control patterns P represented by P 5 to P 16 are sequentially executed at the same time as X 11 .
  • control means 4 and the signal processing circuit 5 have a total of 16 charges stored in four different charge storage sections 13 in each of the four pixel sections X 11 , X 12 , X 21 , and X 22 .
  • the light flight time of the pulsed light is estimated based on the charge amount Q and 16 different control patterns P corresponding thereto.
  • each of the plurality of gate electrodes 15 included in the plurality of pixel portions Xij that are close to each other controls the transfer of charges according to a plurality of control patterns P that are different from each other.
  • the means 4 and the signal processing circuit 5 estimate the light flight time based on the plurality of charge signals output by the charge storage units 13 included in the plurality of pixel units X ij close to each other and the plurality of control patterns P. .
  • the present invention can be applied even when the amount of pulsed light incident on the light receiving unit 12 is small. For this reason, it can be applied even when the object O is relatively far.
  • FIG. 13 is a diagram illustrating a compressed image and a distance image in the first embodiment
  • FIG. 14 is a diagram illustrating a compressed image and a distance image in the second embodiment.
  • the distance image measurement device 1 according to the first embodiment is configured to include a total of 15 imaging elements 3 in three rows in the vertical direction and in five columns in the horizontal direction.
  • the distance between the object O and the lens 20 was set to 35 cm. In such a configuration, the object O is irradiated from the light source 2 and the reflected pulsed light is detected.
  • FIG. 13A shows a compressed image C acquired by 15 image sensors 3. It can be seen that the brightness of the detected pulsed light is different from each other by executing different control patterns P. 13B is generated based on the charge amount Q of the charge accumulated in the charge accumulation unit 13 used for generating the compressed image C shown in FIG. 13A and the corresponding control pattern P. A time image D is shown.
  • Example 2 shown in FIG. 14 the condition is different from that in Example 1 in that the distance between the object O and the lens 20 is as long as 110 cm.
  • FIG. 14A shows a compressed image C acquired by 15 image sensors 3.
  • the brightness of the detected pulsed light is different by executing different control patterns P.
  • 14B is generated based on the charge amount Q of the charge accumulated in the charge accumulation unit 13 used for generating the compressed image C shown in FIG. 14A and the corresponding control pattern P.
  • a time image D is shown. Comparing FIG. 13 (b) and FIG. 14 (b), due to the difference in the distance between the object O and the lens 20, the distance at which the pulsed light is photographed is different from each other. That is, it is shown that the time image D corresponding to the light flight time is suitably captured.
  • control means 4 and the signal processing circuit 5 may estimate the optical flight time from the center of gravity of the frequency in the vicinity of the peak position pk of the optical flight time histogram. According to such a configuration, the peak position pk of the optical time-of-flight histogram can be calculated with high accuracy, so that high distance resolution can be realized.
  • the processing unit calculates the optical flight time from the optical flight time histogram calculated by solving the inverse problem from the plurality of charge signals and the plurality of control patterns.
  • the estimated time-of-flight histogram corresponds to the frequency distribution of the timing at which charges are transferred from the light receiving unit to the charge storage unit.
  • the processing unit may estimate the light flight time from the peak position of the light flight time histogram. According to such a configuration, the peak position of the optical flight time histogram can be easily calculated, so that the processing circuit can be simplified.
  • the processing unit may estimate the light flight time from the center of gravity of the frequency distribution in the vicinity of the peak position of the light flight time histogram. According to such a configuration, the peak position of the optical flight time histogram can be calculated with high accuracy, so that high distance resolution can be realized.
  • the plurality of control patterns may be random pulse patterns that turn on / off the transfer of electric charges. According to such a configuration, since the control pattern can be set easily, the processing circuit can be simplified.
  • each of the plurality of gate units included in the same image sensor has a plurality of image sensors, and controls transfer of charges according to the same control pattern.
  • Each of a plurality of gate portions included in different imaging elements may control charge transfer according to a plurality of different control patterns. According to such a configuration, by using a plurality of imaging elements, it is possible to transfer charges in parallel to a plurality of charge storage units, so that the measurement time can be shortened.
  • each of the plurality of gate units included in the plurality of imaging elements controls charge transfer according to the same control pattern
  • the processing unit includes the plurality of imaging units.
  • the depth map is estimated by the stereo method from the compressed image including the charge signals of the plurality of pixel portions output from each of the elements, and the processing unit calculates the parallax and the magnification of the compressed image based on the parallax information obtained from the depth map.
  • the optical flight time is estimated based on a plurality of corrected compressed images and a plurality of control patterns, and the processing unit calculates a distance for each pixel unit from the optical flight time for a distance greater than a predetermined distance.
  • the distance obtained by the depth map may be used for the distance less than the predetermined distance.
  • the resolution of the distance image generated using the stereo method tends to be higher than the resolution of the distance image obtained from the light flight time.
  • the resolution of the distance image obtained from the light flight time is likely to be higher than the resolution of the distance image generated using the stereo method.
  • the accuracy of the distance image can be improved by properly using the distance image generated by using the stereo method and the light flight time as described above depending on the size of the distance.
  • the imaging device includes one imaging element, the pixel units each include a plurality of charge storage units, and the gate units are different from each other in each pixel unit.
  • the transfer of charges to the plurality of charge storage units may be controlled in accordance with a plurality of control patterns in which the charge storage unit is the charge transfer destination. According to such a configuration, a simple configuration using one image sensor can be achieved. In addition, since charges can be sequentially transferred to a plurality of charge storage units, charges can be efficiently transferred to the charge storage units.
  • the image sensor includes one image sensor, the pixel units each include a plurality of charge storage units, and the gate unit includes
  • the charge transfer may be controlled according to a composite control pattern in which a plurality of control patterns having different transfer destinations are combined in parallel so that charges are not simultaneously transferred to the plurality of charge storage units. According to such a configuration, since the charge can be transferred in parallel to the plurality of charge storage units, the charge transfer to the charge storage unit can be efficiently performed and the measurement time can be shortened.
  • each of the plurality of gate portions included in the plurality of pixel portions that are close to each other controls charge transfer according to a plurality of control patterns that are different from each other.
  • the unit may estimate the light flight time based on the plurality of charge signals output from the charge storage units included in the plurality of pixel units adjacent to each other and the plurality of control patterns. According to such a configuration, since a low-resolution and bright lens can be used, the present invention can be applied even when the amount of pulsed light incident on the light receiving unit is small. For this reason, it is applicable even when the object is relatively far away.
  • SYMBOLS 1 Distance image measuring device, 2 ... Light source, 3 ... Imaging element, 4 ... Control means (processing part), 5 ... Signal processing circuit (processing part), 12 ... Light-receiving part, 13 ... Charge storage part, 14 ... Charge discharge

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　この距離画像計測装置１は、光源２から照射され対象物Ｏにて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部１２、当該受光部１２から転送された電荷を蓄積する電荷蓄積部１３、当該受光部１２から転送された電荷を排出する電荷排出部１４、及び、電荷の転送先を制御する複数の制御パターンＰに従い、当該受光部１２から電荷蓄積部１３又は電荷排出部１４への電荷の転送を制御するゲート電極１５、をそれぞれ有する複数の画素部Xijが配列された撮像素子３と、電荷蓄積部１３に蓄積した複数の電荷量Ｑ及び複数の制御パターンＰに基づき、光源２から受光部１２に至るまでのパルス光の光飛行時間を推定する制御手段４及び信号処理回路５と、を備える。

Description

距離画像計測装置
　本発明は、距離画像計測装置に関する。
　従来、パルス光を対象物へ照射し、その反射光を検出することによって当該パルス光の光飛行時間を計測する距離画像計測装置が知られている。例えば、特許文献１に記載された距離計測装置では、パルス幅が受光部の応答時間よりも十分短いパルス光を対象物へ照射する照射タイミングが制御され、その照射タイミングを基準とした２種類の位相の制御パルス電圧がゲート電圧に印加される。これにより、受光部においてパルス光の入射に応じて変換された電荷が、電荷蓄積部に変調されて蓄積される。そして、これら２種類の位相の制御パルス電圧によって変調された第１及び第２の電荷が、電荷読出部によって第１及び第２の電気信号として読み出され、算出部によって第１及び第２の電気信号を基に対象物までの距離が算出される。これにより、対象物の距離画像が生成される。
国際公開第２０１４／１８１６１９号パンフレット
　ところで、上述したような距離画像計測器は、例えば自動車の衝突防止・自動運転等を含む各種技術への応用が期待されている。しかしながら、これらの技術へ応用するためには、センサチップ上における電気信号の処理回路の巨大化を抑制しつつ、近距離から長距離までの距離計測レンジの広さと、距離分解能の高さと、を更に向上させることが望まれる。
　そこで、本発明の一形態は、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる距離画像計測装置を提供することを目的とする。
　本発明の一形態に係る距離画像計測装置は、対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、受光部に接続され、当該受光部から電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、受光部に接続され、電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から電荷蓄積部への電荷の転送を制御するゲート部、をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、複数の制御パターンのそれぞれに従いゲート部が電荷の転送を制御することで電荷蓄積部から出力された複数の電荷信号、及び、当該複数の制御パターンに基づき、受光部に至るまでのパルス光の光飛行時間を推定する処理部と、を備える。
　本発明の一形態に係る距離画像計測装置によれば、複数の画素部が２次元状に配列された撮像素子において、対象物にて反射されそれぞれの画素部の受光部へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンに従い、ゲート部により電荷蓄積部への転送が制御される。電荷蓄積部へ転送された電荷は当該電荷蓄積部に蓄積された後、電荷信号として出力される。そして、処理部によって、電荷蓄積部から出力された複数の電荷信号、及び、複数の制御パターンに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。
　本発明の一形態によれば、簡素な処理回路によって、広い距離計測レンジ及び高い距離分解能を両立できる。
本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。 図１の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。 図２の撮像素子内の画素部の概略構成を示す回路図である。 第１実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図である。 光飛行時間ヒストグラムを示す概略図である。 第１実施形態の変形例において、複数の撮像素子のそれぞれに対応する制御パターンの一例を示す概略図である。 第１実施形態の変形例において、距離画像の生成時における距離画像計測装置の動作を示すフローチャートである。 第２実施形態に係る距離画像計測装置に用いられる画素部を示す概略平面図である。 第２実施形態における複数の制御パターンの一例を示す概略図である。 第２実施形態の変形例における複数の制御パターンの一例を示す概略図である。 第２実施形態の別の変形例における複数の制御パターンの一例を示す概略図である。 第２実施形態の更に別の変形例における複数の制御パターンの一例を示す概略図である。 実施例１における圧縮画像及び距離画像を示す図である。 実施例２における圧縮画像及び距離画像を示す図である。
　以下、図面を参照しつつ本発明に係る距離画像計測装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
　［第１実施形態］
　図１は、本発明の一形態に係る距離画像計測装置を用いた距離画像計測システムを示す概略構成図である。図１に示されるように、距離画像計測システム１００は、TOF（Time of flight）法を用いて対象物Ｏの距離画像を生成する装置である。距離画像計測システム１００は、距離画像計測装置１と、光源２と、を備えている。光源２は、対象物Ｏへレーザ光等のパルス光を照射するための装置である。
　距離画像計測装置１は、撮像素子３と、レンズ２０と、制御手段（処理部）４と、信号処理回路（処理部）５と、を備えている。レンズ２０は、対象物Ｏにて反射されたパルス光を集光して撮像素子３へ入射させる。本実施形態では、撮像素子３は複数設けられている。制御手段４は、複数の撮像素子３のそれぞれに対して、当該撮像素子３に適用する制御パターンＰ（詳細は後述）を出力する。これと共に、制御手段４は、出力した制御パターンＰと同期するように、光源２の発光タイミングを制御する。また、制御手段４は、複数の撮像素子３のそれぞれに適用した複数の制御パターンＰの情報を信号処理回路５へ出力する。信号処理回路５は、複数の撮像素子３から入力される複数の電荷信号と、制御手段４から入力される複数の制御パターンＰと、に基づき、パルス光の光飛行時間を推定する。
　図２は、図１の距離画像計測装置に用いられる撮像素子の概略構成を示すブロック図である。図２に示されるように、撮像素子３には、複数の画素部Xij（ｉは１～ｍの整数、ｊは１～ｎの整数）が２次元マトリクス状に配列されており、方形状の撮像領域を構成している。そして、この撮像領域の周辺部には、複数の画素部Xijの水平方向の画素行に沿って水平走査回路（制御手段）６が設けられると共に、複数の画素部Xijの垂直方向の画素列に沿って垂直走査回路（制御手段）７が設けられている。これらの水平走査回路６及び垂直走査回路７にはタイミング発生回路（制御手段）８が接続されている。
　撮像素子３では、タイミング発生回路８、水平走査回路６及び垂直走査回路７によって撮像素子３内の画素部Xijが順次走査され、画素信号の読み出しや初期化が実行される。すなわち、撮像素子３を垂直走査回路７によって各画素行単位で垂直方向に走査することにより、走査された画素列に含まれる各画素列の画素信号を画素列毎に設けられた垂直信号線によって読み出す構成となっている。各画素列の画素信号の読み出しは、垂直信号線毎に設けられたノイズキャンセル回路（信号処理回路）９、及び出力バッファ回路（信号処理回路）１０を経由して出力することにより行われる。さらに、各画素列の画素信号の読み出し時には、水平走査回路６によって画素部Xijの水平方向の走査が行われる。タイミング発生回路８は、上述したような撮像素子３の画素部Xijの垂直走査及び水平走査のタイミングの制御を行うと共に、光源２のパルス光の照射タイミングを基準にした各画素部Xijにおける電荷蓄積及び電荷排出のタイミングの制御を行う。
　図３は、図２の撮像素子内の画素部の概略構成を示す回路図である。図３に示されるように、画素部Xij内には画素回路として機能する半導体素子１１が複数配列されて設けられている。半導体素子１１には、受光部１２と、電荷蓄積部１３と、電荷排出部１４と、ゲート電極（ゲート部）１５と、がそれぞれ設けられている。受光部１２は、半導体素子１１に設けられた埋め込みフォトダイオードであり、光源２から照射され対象物Ｏにて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する。電荷蓄積部１３は、受光部１２に接続され、受光部１２が生成した電荷が受光部１２から転送されると共に、この電荷を蓄積する。電荷排出部１４は、受光部１２に接続され、受光部１２が生成した電荷が受光部１２から転送されると共に、この電荷を排出する。ゲート電極１５は、受光部１２に接続され、受光部１２と電荷排出部１４との間に形成される転送チャネルの電位を制御して、受光部１２から電荷蓄積部１３又は電荷排出部１４への電荷の転送を制御する。
　ゲート電極１５に低電圧を印加した際には、受光部１２と電荷排出部１４との間に電位障壁が形成される。これにより受光部１２と電荷排出部１４との間の転送チャネルが閉じられ、パルス光の入射に伴って生成される電荷は全てが電荷蓄積部１３に転送される。その一方で、ゲート電極１５に高電圧を印加した際には、受光部１２と電荷排出部１４との間の電位障壁が無くなり電位勾配が形成される。これにより受光部１２と電荷排出部１４との間の転送チャネルが開かれ、パルス光の入射に伴って生成される電荷は全てが電荷排出部１４に転送される。すなわち、ゲート電極１５に高電圧を印加した際には、受光部１２と電荷排出部１４との間の転送チャネルの電荷転送効果の方が、受光部１２と電荷蓄積部１３との間の電荷転送効果よりも支配的であるため、生成される電荷は全てが電荷排出部１４に転送される。このように、ゲート電極１５は、受光部１２から電荷蓄積部１３又は電荷排出部１４への電荷の転送を制御するためのバーチャルスイッチ１６としての機能も併せ持つ。
　ゲート電極１５は、タイミング発生回路８から印加される制御パルス電圧ＴＤが与えられることにより、複数の制御パターンＰに従い電荷の転送先を電荷蓄積部１３とするか電荷排出部１４とするかの制御を行う（図４参照）。制御パターンＰは、電荷の転送先として電荷蓄積部１３又は電荷排出部１４のいずれかを択一的に指定するようにオン／オフすると共に、所定期間においてその転送先を時間の経過に伴いランダムに変更するパルス状パターンである。また、複数の制御パターンＰのそれぞれは、互いに異なるパターンで電荷の転送先を指定する。
　更に、画素部Xijには、制御パターンＰの印加に伴って電荷蓄積部１３に蓄積された電荷を電気信号（電荷信号）として読み出す電荷読出回路１８が設けられている。この電荷読出回路１８は、信号読み出しトランジスタ１８ａと、スイッチングトランジスタ１８ｂと、リセットトランジスタ１８ｃとを含んで構成されている。信号読み出しトランジスタ１８ａのゲート電極は電荷蓄積部１３に接続され、信号読み出しトランジスタ１８ａのドレイン電極は電源に接続され、信号読み出しトランジスタ１８ａのソース電極は、画素選択用のスイッチングトランジスタ１８ｂのドレイン電極に接続されている。スイッチングトランジスタ１８ｂのソース電極は垂直信号線に接続され、スイッチングトランジスタ１８ｂのゲート電極には、画素列の選択用制御信号Ｓが垂直走査回路７から与えられる。選択用制御信号Ｓをハイレベルに設定することにより、スイッチングトランジスタ１８ｂが導通され、電荷蓄積部１３に蓄積された電荷量Ｑが信号読み出しトランジスタ１８ａで増幅され、増幅された電荷量に対応する電位の電気信号が垂直信号線に出力される。リセットトランジスタ１８ｃは、そのソース電極が電荷蓄積部１３に接続され、そのドレイン電極は電源に接続され、そのゲート電極には垂直走査回路７からリセット信号Ｒが与えられる。このリセットトランジスタ１８ｃは、リセット信号Ｒがハイレベルに設定された際に、電荷蓄積部１３に蓄積された電荷を吐き出すことにより電荷蓄積部１３をリセットする。
　距離画像計測装置１は、上述した撮像素子３を複数備えている。これらの撮像素子３は、２次元マトリクス状に配列されており、ここでは垂直方向に３行、水平方向に５列の合計１５個の撮像素子３が配列されている。これらの撮像素子３のうち、同一の撮像素子３に含まれるゲート電極１５のそれぞれは、同一の制御パターンＰに従い電荷の転送を制御する。
　上記構成に加えて、距離画像計測装置１の信号処理回路５は、算出回路１９を備えている（図２参照）。算出回路１９は、タイミング発生回路８によるタイミング制御により画素部Xijから読み出された電気信号を基に、対象物Ｏの距離画像を生成する。具体的には、算出回路１９は、複数の制御パターンＰのそれぞれに従いゲート電極１５が電荷の転送を制御することで電荷蓄積部１３から出力された複数の電気信号の示す電荷量Ｑ、及び、これら複数の制御パターンＰに基づき、光源２から受光部１２に至るまでのパルス光の光飛行時間を画素部Xij毎に推定する。そして、算出回路１９は、この光飛行時間に基づき対象物Ｏの距離画像を生成する。
　次に、距離画像計測装置１の動作について説明する。図４は、第１実施形態に係る距離画像計測装置を用いた距離画像の生成手順を示す概略図であり、図５は、光飛行時間ヒストグラムを示す概略図である。図４に示されるように、光源２から照射され対象物Ｏにて反射されたパルス光は、複数（ここでは、１５個）の撮像素子３のそれぞれに対応する複数（ここでは、撮像素子３の数に対応して１５個）のレンズ２０によって集光されて、当該撮像素子３へ入射する。
　図４においてＡ１～Ａ１５で示される１５個の撮像素子３において、同一の撮像素子３に含まれるゲート電極１５のそれぞれは、同一の制御パターンＰに従い電荷の転送を制御する。また、上記１５個の撮像素子３において、異なる撮像素子３に含まれるゲート電極１５のそれぞれは、互いに異なる制御パターンＰに従い電荷の転送を制御する。
　ある１つの撮像素子３に着目すると、当該撮像素子３の有する画素部Xijのそれぞれには、対象物Ｏのうち互いに異なる点にて反射されることで、その点のレンズ２０からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部Xijに入射した当該パルス光によって生成された電荷のうち、制御パターンＰが電荷の転送先として電荷蓄積部１３を指定しているタイミングで生成された電荷のみが、その画素部Xijの電荷蓄積部１３に転送され蓄積される。このようにして撮像素子３のそれぞれの画素部Xijの電荷蓄積部１３に蓄積された電荷の電荷量Ｑから、圧縮画像Ｃが生成される。
　互いに異なる撮像素子３同士に着目すると、当該撮像素子３同士では対応する制御パターンＰが互いに異なる。一例として、図４に示す例では、Ａ１～Ａ１５で示される１５個の撮像素子３には、それぞれＰ１～Ｐ１５で示されるような互いに異なる１５パターンの制御パターンＰが対応する。このため、それぞれの撮像素子３の複数の電荷蓄積部１３に蓄積される電荷の電荷量Ｑは互いに異なることとなり、生成される圧縮画像Ｃも互いに異なる。
　続いて、算出回路１９は、上記複数の撮像素子３において圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、これらの撮像素子３に対応する複数の制御パターンＰに基づき時間画像Ｄを算出し、この時間画像Ｄに基づきパルス光の光飛行時間を推定する。具体的には、算出回路１９は、圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。ここで、光飛行時間ヒストグラムは、受光部１２から電荷蓄積部１３へ電荷が転送された頻度（あるいは、入射するパルス光の光強度）を表す。逆問題を解くという処理については、例えば、Richard G. Braniuk，「Compressive Sensing」，IEEE SIGNAL PROCESSING MAGAZINE，JULY ２００７，ｐ．１１８－１２０、又は、平林晃，「圧縮センシングの基礎と最近の話題」，システム／制御／情報，２０１４年，Ｖｏｌ．５８，Ｎｏ．１０，ｐ．４１４等の文献において開示された圧縮センシングの方法を用いることが好適である。なお、本実施形態において行っている逆問題を解くという処理では、複数の画素部Xijにおいて、時間変調を行う制御パターンＰを用いて時間変調された圧縮画像Ｃから画像の時間変化である時間画像Ｄが復元される。これに対し、上記の文献に記載された処理では、単一の画素において、空間変調を行う制御パターンを用いて空間変調した後、電荷量Ｑを検出し、その検出結果から二次元画像が推定される。このような差異はあるものの、実質的には、上記の文献に記載された処理は本実施形態における処理と同様である。従って、本実施形態では、上記の文献と同一の処理が適用できる。
　図５の光飛行時間ヒストグラムは、横軸に光飛行時間を示し、縦軸に各時刻における受光部１２へのパルス光の入射の頻度（或いは、光強度）を示している。算出回路１９は、画素部Xij毎に光飛行時間ヒストグラムを算出し、そのピーク位置ｐｋに対応する横軸の値を、各画素部Xijにおけるパルス光の光飛行時間と推定する。算出回路１９は、このようにして推定した画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する。
　以上説明した距離画像計測装置１によれば、複数の画素部Xijが２次元状に配列された撮像素子３において、対象物Ｏにて反射されそれぞれの画素部Xijの受光部１２へ入射したパルス光が電荷に変換される。この電荷は、複数の制御パターンＰに従い、ゲート電極１５により電荷蓄積部１３への転送が制御される。電荷蓄積部１３へ転送された電荷は当該電荷蓄積部１３に蓄積された後、電荷信号として出力される。そして、制御手段４及び信号処理回路５によって、電荷蓄積部１３から出力された複数の電荷信号、及び、複数の制御パターンＰに基づき、パルス光の光飛行時間が推定される。このように、電荷信号及び制御パターンＰから圧縮サンプリングにより光飛行時間を推定して距離画像を計測することにより、センサチップ上における電気信号の処理回路の巨大化を抑制できる。また、これによって、高効率の並列処理回路により処理できるため、近距離から長距離までの広い距離計測レンジ、及び、高い距離分解能を両立できる。
　ここで、本発明に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、複数の電荷信号、及び、複数の制御パターンＰから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部１２から電荷蓄積部１３へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンＰから光飛行時間を推定して距離画像を計測することを好適に実現できる。
　また、本発明に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、光飛行時間ヒストグラムのピーク位置ｐｋから光飛行時間を推定する。このような構成によれば、光飛行時間ヒストグラムのピーク位置ｐｋを簡単に計算できるため、処理回路を簡素化することができる。
　また、本発明に係る距離画像計測装置１では、複数の制御パターンＰは、電荷の転送をオン／オフするランダムなパルス状のパターンである。このような構成によれば、制御パターンＰを簡単に設定できるため、処理回路を簡素化することができる。
　次に、第１実施形態の距離画像の生成手順の変形例について図６及び図７を用いて説明する。図６に示されるように、本変形例に係る距離画像計測装置１では、全ての撮像素子３のうち、図６においてＡ６及びＡ１０で示される水平方向に離れた２つの撮像素子３に含まれる複数のゲート電極１５のそれぞれは、図６においてＰ６で示される同一の制御パターンＰに従い電荷の転送を制御する。それ以外の撮像素子３のそれぞれは、異なる制御パターンＰ１～Ｐ５，Ｐ７～Ｐ１４に従い電荷の転送を制御する。これにより、Ａ１～Ａ１５で示される１５個全ての撮像素子３を用いて１５個の圧縮画像Ｃが取得される（Ｓ０１）。
　続いて、制御手段４及び信号処理回路５は、取得した圧縮画像ＣのうちのＡ６及びＡ１０の撮像素子３によって取得された２つの圧縮画像Ｃに基づいて、複眼視差によるデプスマップを推定する。具体的には、制御手段４及び信号処理回路５は、これら２つの撮像素子３から出力された圧縮画像Ｃから、既存のステレオ法によりデプスマップを推定する（Ｓ０２）。
　また、制御手段４及び信号処理回路５は、デプスマップから得られる視差情報に基づき圧縮画像Ｃの視差及び倍率を補正し、補正された複数の圧縮画像Ｃ、及び、複数の制御パターンＰに基づき光飛行時間を推定する。電荷信号の補正手法として、具体的には、電荷信号から生成される複数の圧縮画像Ｃとデプスマップとの対応点を算出し、この対応点を基準としてそれぞれの圧縮画像Ｃの視差及び倍率について位置合わせの補正を行う。これにより、補正された複数の圧縮画像Ｃにおいて、特に撮像素子３のレンズ２０から比較的近い範囲における視差の影響が低減される（Ｓ０３）。
　続いて、制御手段４及び信号処理回路５は、補正された複数の圧縮画像Ｃによって表される複数の電荷信号、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、制御手段４及び信号処理回路５は、推定された画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する（Ｓ０４）。
　一般に、ステレオ法を用いて生成された距離画像では、撮像素子３のレンズ２０からの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子３のレンズ２０から比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子３のレンズ２０からの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子３のレンズ２０から比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。
　そこで、本変形例に係る距離画像計測装置１では、制御手段４及び信号処理回路５は、画素部Xij毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いて、最終的なデプスマップを生成する（Ｓ０５）。
　なお、デプスマップは、通常のステレオ法に限らず、マルチベースラインステレオ法によって推定してもよい。この場合、例えば１５個の撮像素子３のうち、３つ以上の複数の撮像素子３に含まれるゲート電極１５のそれぞれが、同一の制御パターンＰに従い電荷の転送を制御する。このため、互いに異なる制御パターンＰが適用される撮像素子３の数は減少するものの、外れ値（すなわち、比較的大きな推定ミス）となる画素部Xijを少なくできるため、結果としてデプスマップの推定精度を向上できる。
　［第２実施形態］
　次に、第２実施形態に係る距離画像計測装置１について説明する。第２実施形態に係る距離画像計測装置１は、１つの撮像素子３を有している点と、画素部Xijの構成と、が第１実施形態と異なっている。すなわち、図８に示されるように、この撮像素子３の有する画素部Xijは、それぞれ、複数（図８に示す例では、３つ）の電荷蓄積部１３を有している。この画素部Xijには、受光部１２の四隅に３つの電荷蓄積部１３及び１つの電荷排出部１４がそれぞれ接続されている。また、この画素部Xijには、これらの電荷蓄積部１３及び電荷排出部１４への電荷の転送をそれぞれ制御する４つのゲート電極１５が、電荷蓄積部１３又は電荷排出部１４と受光部１２との間に設けられている。これらの電荷蓄積部１３に対応するゲート電極１５には、それぞれの電荷蓄積部１３を転送先とする互いに異なる制御パターンＰに基づく制御パルス電圧ＴＤが与えられる。このように、ゲート電極１５は、複数の電荷蓄積部１３に対応する互いに異なる複数の制御パターンＰに従い、電荷の転送を制御する。
　図９には、画素部Xijが、それぞれ１６個の電荷蓄積部１３を有する場合の制御パターンＰの一例が示されている。図９に示されるように、画素部Xijのそれぞれにおいて、ゲート電極１５は、互いに異なる電荷蓄積部１３を電荷の転送先とする複数（ここでは、電荷蓄積部１３の数に対応して１６個）の制御パターンＰに順次従い、電荷の転送を制御する。撮像素子３の有する画素部Xijのそれぞれには、対象物Ｏのうち互いに異なる点にて反射されることで、その点のレンズ２０からの距離に応じた光飛行時間のパルス光が入射する。そして、画素部Xijに入射した当該パルス光によって生成された電荷は、パルス光の入射のタイミングで制御パターンＰが電荷の転送先として指定している電荷蓄積部１３へ転送され蓄積される。具体的には、図９においてＰ１～Ｐ１６で表される１６個の制御パターンＰのうち、例えばＰ１で表される制御パターンＰが実行されている間は、Ｐ１に対応する第１番目の電荷蓄積部１３が電荷の転送先となる。Ｐ１で表される制御パターンＰが完了した後には、Ｐ２で表される制御パターンＰが実行され、この間は、Ｐ２に対応する第２番目の電荷蓄積部１３が電荷の転送先となる。以下、Ｐ３で表される制御パターンＰから、Ｐ１６で表される制御パターンＰまで順次実行されて、１回の繰り返し単位とされる。続いて、この１回の繰り返し単位の制御パターンＰが、複数回繰り返して実行される。
　このように、第２実施形態に係る距離画像計測装置１では、第１実施形態と異なり、１つの撮像素子３において、複数の画素部Xijのそれぞれに接続された複数の電荷蓄積部１３に蓄積された電荷の電荷量Ｑから、圧縮画像Ｃが生成される。また、この圧縮画像Ｃは、適用される制御パターンＰによって互いに異なる画像が１つの撮像素子３に生成される。
　続いて、算出回路１９は、撮像素子３における上記複数の電荷蓄積部１３に蓄積された複数の圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、これらの複数の制御パターンＰに基づき時間画像Ｄを算出する。算出回路１９は、この時間画像Ｄに基づきパルス光の光飛行時間を推定する。具体的には、算出回路１９は、圧縮画像Ｃによって表される複数の電荷量Ｑ、及び、複数の制御パターンＰから逆問題を解くことで時間画像Ｄを算出し、この時間画像Ｄにより求められる光飛行時間ヒストグラムから光飛行時間を推定する。そして、算出回路１９は、画素部Xij毎に光飛行時間ヒストグラムを算出し、各画素部Xijにおけるパルス光の光飛行時間を推定する。算出回路１９は、このようにして推定した画素部Xij毎の光飛行時間から画素部Xij毎の距離を算出し、距離画像を生成する。
　上記の距離画像計測装置１によれば、１つの撮像素子３を用いた簡素な構成とすることができる。また、複数の電荷蓄積部１３に順次電荷の転送を行うことができるため、電荷蓄積部１３への電荷の転送を効率良く行うことができる。
　次に、第２実施形態の変形例について説明する。図１０に示されるように、本変形例に係る距離画像計測装置１においては、電荷の転送先が互いに異なる複数の制御パターンＰを、電荷が複数の電荷蓄積部１３へ同時に転送されないように並列的に組み合わせた制御パターン（以下、複合制御パターンと称する）が実行される。すなわち、画素部Xijのそれぞれにおいて、ゲート電極１５は、複合制御パターンに従い電荷の転送を制御する。図１０においてＧ１～Ｇ３等で表されるコードは、Ｇ１～Ｇ３等にそれぞれ対応するいずれの電荷蓄積部１３へ電荷が転送されるかを示している。このコードが「１」のとき、対応する電荷蓄積部１３へ電荷が転送され、このコードが「０」のとき、対応する電荷蓄積部１３へは電荷は転送されない。なお、このコードを制御パターンＰとして書き換えたものが、同図に示されるＰ１～Ｐ３である。制御パターンＰを組み合わせた複合制御パターンでは複数の電荷蓄積部１３へ同時に転送されないことが、同図によって示されている。このような複合制御パターンに従いゲート電極１５が電荷の転送を制御する。これにより、当該複合制御パターンには各電荷蓄積部１３が転送先となっているタイミングが含まれることから、各電荷蓄積部１３にはそれぞれ互いに異なる圧縮画像Ｃが出力される。
　上記の距離画像計測装置１によれば、複数の電荷蓄積部１３に並行して電荷の転送を行うことができるため、電荷蓄積部１３への電荷の転送を効率良く行うことができると共に、電荷の転送に要する時間を短縮できる。
　次に第２実施形態の別の変形例を説明する。図１１に示されるように、本変形例に係る距離画像計測装置１においては、制御手段４及び信号処理回路５は、互いに近接している複数の画素部Xijのいずれかが有する電荷蓄積部１３に蓄積した複数の電荷の電荷量Ｑと、これら複数の制御パターンＰと、に基づき光飛行時間を推定する。例えば、図１１に示す例では、Ｘ１～Ｘ１６で表される垂直方向に４行、水平方向に４列の合計１６個の画素部Xijのそれぞれにおいて、ゲート電極１５は、Ｐ１～Ｐ１６で示される互いに異なる制御パターンＰに従い電荷の転送を制御する。制御手段４及び信号処理回路５は、１６個の画素部Xijのそれぞれの電荷蓄積部１３にそれぞれ蓄積した複数の電荷の電荷量Ｑと、これら複数の制御パターンＰと、に基づきパルス光の光飛行時間を推定する。
　上記の距離画像計測装置１によれば、複数の画素部Xijが仮想的に１つの画素として扱われるため、生成される距離画像の解像度は低下する。しかし、低解像度で明るいレンズ２０を用いることができるため、受光部１２へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Ｏが比較的遠い場合にも適用できる。
　なお、本変形例では、必ずしも画素部Xijに複数の電荷蓄積部１３が含まれていなくてもよく、１つの電荷蓄積部１３のみが含まれていてもよい。
　次に、第２実施形態の更に別の変形例を説明する。図１２に示されるように、本変形例に係る距離画像計測装置１においては、制御手段４及び信号処理回路５は、互いに近接している複数（ここでは、画素部X11，X12，X21，X22等で表される垂直方向に２行、水平方向に２列の合計４つ）の画素部Xijが有する電荷蓄積部１３に蓄積した複数の電荷の電荷量Ｑと、この複数の制御パターンＰと、に基づき光飛行時間を推定する。また、これら４つの画素部Xijのそれぞれは、複数（ここでは、４つ）の制御パターンＰに順次従い、電荷の転送を制御する。図１２において画素部X11に着目すると、各画素部Xijには、複数の電荷蓄積部１３（例えば、画素部11においてはＺ１～Ｚ４で表される４つの電荷蓄積部１３）が設けられている。そして、距離画像計測装置１は、各電荷蓄積部１３に対応するＰ１～Ｐ４で表される４パターンの制御パターンＰによる制御が実行される。そして、Ｐ１～Ｐ４で表される４つの制御パターンＰのうち、例えばＰ１で表される制御パターンＰによる制御が実行されている間は、Ｐ１に対応する第１番目の電荷蓄積部１３が電荷の転送先となる。Ｐ１で表される制御パターンＰが完了した後には、Ｐ２で表される制御パターンＰが実行され、この間は、Ｐ２に対応する第２番目の電荷蓄積部１３が電荷の転送先となる。以下、Ｐ３で表される制御パターンＰ、Ｐ４で表される制御パターンＰまで順次実行されて、１回の繰り返し単位とされる。続いて、この１回の繰り返し単位の制御パターンＰが、複数回繰り返して実行される。同様に、画素部X12，X21，X22では、X11と同時期に、それぞれＰ５～Ｐ１６で表される制御パターンＰのうちの４つがそれぞれ順次実行される。そして、制御手段４及び信号処理回路５は、これら４つの画素部X11，X12，X21，X22のそれぞれにおいて、互いに異なる４つの電荷蓄積部１３にそれぞれ蓄積した合計１６個の電荷の電荷量Ｑと、これらに対応する互いに異なる１６パターンの制御パターンＰと、に基づきパルス光の光飛行時間を推定する。
　上記の距離画像計測装置１によれば、互いに近接している複数の画素部Xijに含まれる複数のゲート電極１５のそれぞれは、互いに異なる複数の制御パターンＰに従い電荷の転送を制御し、制御手段４及び信号処理回路５は、互いに近接している複数の画素部Xijの有する電荷蓄積部１３によって出力された複数の電荷信号、及び、複数の制御パターンＰに基づき光飛行時間を推定する。このような構成によれば、低解像度で明るいレンズ２０を用いることができるため、受光部１２へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物Ｏが比較的遠い場合にも適用できる。
　次に、上記実施形態の実施例について説明する。図１３は、実施例１における圧縮画像及び距離画像を示す図であり、図１４は、実施例２における圧縮画像及び距離画像を示す図である。図１３に示される実施例１では、第１実施形態に係る距離画像計測装置１において、垂直方向に３行、水平方向に５列の合計１５個の撮像素子３を備えた構成とした。そして、対象物Ｏとレンズ２０との距離を３５ｃｍとした。このような構成において、光源２から対象物Ｏに照射し、反射されたパルス光を検出した。
　図１３（ａ）は、１５個の撮像素子３によって取得された圧縮画像Ｃである。互いに異なる制御パターンＰを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図１３（ｂ）は、図１３（ａ）に示された圧縮画像Ｃの生成に用いられた電荷蓄積部１３に蓄積した電荷の電荷量Ｑと、対応する制御パターンＰと、に基づき生成された時間画像Ｄを表している。
　図１４に示される実施例２では、実施例１と比較して、対象物Ｏとレンズ２０との距離が１１０ｃｍと遠くなっている点で条件が相違している。
　図１４（ａ）は、１５個の撮像素子３によって取得された圧縮画像Ｃである。実施例１における図１３（ａ）と同様に、互いに異なる制御パターンＰを実行したことにより、検出されたパルス光の輝度が互いに異なっていることが分かる。図１４（ｂ）は、図１４（ａ）に示された圧縮画像Ｃの生成に用いられた電荷蓄積部１３に蓄積した電荷の電荷量Ｑと、対応する制御パターンＰと、に基づき生成された時間画像Ｄを表している。図１３（ｂ）と図１４（ｂ）とを比較すると、対象物Ｏとレンズ２０との距離が異なることに起因して、パルス光が撮影されている距離が互いに異なっている。すなわち、光飛行時間に対応する時間画像Ｄが好適に撮影されていることが示されている。
　なお、本発明は上述した実施形態に限定されるものではない。例えば、制御手段４及び信号処理回路５は、光飛行時間ヒストグラムのピーク位置ｐｋの近傍における頻度の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置ｐｋを精度よく計算できるため、高い距離分解能を実現できる。
　ここで、本発明の一形態に係る距離画像計測装置では、処理部は、複数の電荷信号、及び、複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから光飛行時間を推定し、光飛行時間ヒストグラムは、受光部から電荷蓄積部へ電荷が転送されたタイミングの頻度分布に対応している。このような構成によれば、圧縮サンプリングを好適に行うことができるため、電荷信号及び制御パターンから光飛行時間を推定して距離画像を計測することを好適に実現できる。
　また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を簡単に計算できるため、処理回路を簡素化することができる。
　また、本発明の一形態に係る距離画像計測装置では、処理部は、光飛行時間ヒストグラムのピーク位置の近傍における頻度分布の重心から光飛行時間を推定してもよい。このような構成によれば、光飛行時間ヒストグラムのピーク位置を精度よく計算できるため、高い距離分解能を実現できる。
　また、本発明の一形態に係る距離画像計測装置では、複数の制御パターンは、電荷の転送をオン／オフするランダムなパルス状のパターンとしてもよい。このような構成によれば、制御パターンを簡単に設定できるため、処理回路を簡素化することができる。
　また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子を有し、同一の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、互いに異なる撮像素子に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御してもよい。このような構成によれば、複数の撮像素子を用いることで、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、計測時間を短縮できる。
　また、本発明の一形態に係る距離画像計測装置では、複数の撮像素子に含まれる複数のゲート部のそれぞれは、同一の制御パターンに従い電荷の転送を制御し、処理部は、複数の当該撮像素子のそれぞれから出力された複数の画素部の電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、処理部は、当該デプスマップから得られる視差情報に基づき圧縮画像の視差及び倍率を補正し、補正された複数の圧縮画像、及び、複数の制御パターンに基づき光飛行時間を推定し、処理部は、画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離についてはデプスマップにより得られる距離を用いてもよい。一般に、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が近いほど、視差が大きくなるため分解能が向上する。その結果、撮像素子のレンズから比較的近い範囲では、光飛行時間から求まる距離画像の分解能より、ステレオ法を用いて生成された距離画像の分解能の方が高くなり易い。一方、ステレオ法を用いて生成された距離画像では、撮像素子のレンズからの距離が遠いほど、視差が小さくなるため分解能が相対的に悪化する。その結果、撮像素子のレンズから比較的遠い範囲では、ステレオ法を用いて生成された距離画像の分解能より、光飛行時間から求まる距離画像の分解能の方が高くなり易い。以上により、ステレオ法と光飛行時間とのそれぞれを用いて生成された距離画像を距離の大小によって上記のように使い分けることによって、距離画像の精度を向上できる。
　また、本発明の一形態に係る距離画像計測装置では、１つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、互いに異なる電荷蓄積部を電荷の転送先とする複数の制御パターンに順次従い、複数の電荷蓄積部への電荷の転送を制御してもよい。このような構成によれば、１つの撮像素子を用いた簡素な構成とすることができる。また、複数の電荷蓄積部に順次電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができる。
　また、本発明の一形態に係る距離画像計測装置では、１つの撮像素子を有し、画素部は、それぞれ、複数の電荷蓄積部を有し、画素部のそれぞれにおいて、ゲート部は、電荷の転送先が互いに異なる複数の制御パターンを、電荷が複数の電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、電荷の転送を制御してもよい。このような構成によれば、複数の電荷蓄積部に並行して電荷の転送を行うことができるため、電荷蓄積部への電荷の転送を効率良く行うことができると共に、計測時間を短縮できる。
　また、本発明の一形態に係る距離画像計測装置では、互いに近接している複数の画素部に含まれる複数のゲート部のそれぞれは、互いに異なる複数の制御パターンに従い電荷の転送を制御し、処理部は、互いに近接している複数の画素部の有する電荷蓄積部によって出力された複数の電荷信号、及び、複数の制御パターンに基づき光飛行時間を推定してもよい。このような構成によれば、低解像度で明るいレンズを用いることができるため、受光部へ入射するパルス光の光量が少ない場合にも適用が可能となる。このため、対象物が比較的遠い場合にも適用できる。
　１…距離画像計測装置、２…光源、３…撮像素子、４…制御手段（処理部）、５…信号処理回路（処理部）、１２…受光部、１３…電荷蓄積部、１４…電荷排出部、１５…ゲート電極、Xij…画素部、Ｏ…対象物、Ｐ…制御パターン、Ｑ…電荷量。

Claims (10)

  1. 　対象物にて反射されたパルス光の入射に応じて当該パルス光を電荷に変換する受光部、
    　前記受光部に接続され、当該受光部から前記電荷が転送されると共に当該電荷を蓄積することで電荷信号を出力する電荷蓄積部、及び、
    　前記受光部に接続され、前記電荷の転送を制御する所定期間の複数の制御パターンに従い、当該受光部から前記電荷蓄積部への前記電荷の転送を制御するゲート部、
    　をそれぞれ有する複数の画素部が２次元状に配列された撮像素子と、
    　前記複数の制御パターンのそれぞれに従い前記ゲート部が前記電荷の転送を制御することで前記電荷蓄積部から出力された複数の前記電荷信号、及び、当該複数の制御パターンに基づき、前記受光部に至るまでの前記パルス光の光飛行時間を推定する処理部と、
    　を備える距離画像計測装置。
  2. 　前記処理部は、前記複数の電荷信号、及び、前記複数の制御パターンから逆問題を解くことで算出される光飛行時間ヒストグラムから前記光飛行時間を推定し、
    　前記光飛行時間ヒストグラムは、前記受光部から前記電荷蓄積部へ前記電荷が転送されたタイミングの頻度分布に対応している請求項１に記載の距離画像計測装置。
  3. 　前記処理部は、前記光飛行時間ヒストグラムのピーク位置から前記光飛行時間を推定する請求項２に記載の距離画像計測装置。
  4. 　前記処理部は、前記光飛行時間ヒストグラムのピーク位置の近傍における前記頻度分布の重心から前記光飛行時間を推定する請求項２に記載の距離画像計測装置。
  5. 　前記複数の制御パターンは、前記電荷の転送をオン／オフするランダムなパルス状のパターンである請求項１～４のいずれか一項に記載の距離画像計測装置。
  6. 　複数の前記撮像素子を有し、
    　同一の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
    　互いに異なる前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御する請求項１～５のいずれか一項に記載の距離画像計測装置。
  7. 　複数の前記撮像素子に含まれる複数の前記ゲート部のそれぞれは、同一の前記制御パターンに従い前記電荷の転送を制御し、
    　前記処理部は、複数の当該撮像素子のそれぞれから出力された複数の前記画素部の前記電荷信号を含む圧縮画像から、ステレオ法によりデプスマップを推定し、
    　前記処理部は、当該デプスマップから得られる視差情報に基づき前記圧縮画像の視差及び倍率を補正し、補正された複数の前記圧縮画像、及び、複数の前記制御パターンに基づき前記光飛行時間を推定し、
    　前記処理部は、前記画素部毎に求める距離として、所定距離以上の距離については当該光飛行時間から求まる距離を用いると共に、所定距離未満の距離については前記デプスマップにより得られる距離を用いる請求項６に記載の距離画像計測装置。
  8. 　１つの前記撮像素子を有し、
    　前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
    　前記画素部のそれぞれにおいて、前記ゲート部は、互いに異なる前記電荷蓄積部を前記電荷の転送先とする前記複数の制御パターンに順次従い、前記複数の電荷蓄積部への前記電荷の転送を制御する請求項１～５のいずれか一項に記載の距離画像計測装置。
  9. 　１つの前記撮像素子を有し、
    　前記画素部は、それぞれ、複数の前記電荷蓄積部を有し、
    　前記画素部のそれぞれにおいて、前記ゲート部は、前記電荷の転送先が互いに異なる前記複数の制御パターンを、前記電荷が複数の前記電荷蓄積部へ同時に転送されないように並列的に組み合わせた複合制御パターンに従い、前記電荷の転送を制御する請求項１～５のいずれか一項に記載の距離画像計測装置。
  10. 　互いに近接している前記複数の画素部に含まれる複数の前記ゲート部のそれぞれは、互いに異なる前記複数の制御パターンに従い前記電荷の転送を制御し、
    　前記処理部は、互いに近接している前記複数の画素部の有する前記電荷蓄積部によって出力された前記複数の電荷信号、及び、前記複数の制御パターンに基づき前記光飛行時間を推定する請求項１～５のいずれか一項に記載の距離画像計測装置。
PCT/JP2016/054316 2015-02-20 2016-02-15 距離画像計測装置 WO2016133053A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017500669A JP6666620B2 (ja) 2015-02-20 2016-02-15 距離画像計測装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-032121 2015-02-20
JP2015032121 2015-02-20

Publications (1)

Publication Number Publication Date
WO2016133053A1 true WO2016133053A1 (ja) 2016-08-25

Family

ID=56688872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054316 WO2016133053A1 (ja) 2015-02-20 2016-02-15 距離画像計測装置

Country Status (2)

Country Link
JP (1) JP6666620B2 (ja)
WO (1) WO2016133053A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108209867A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置
JP2018113552A (ja) * 2017-01-10 2018-07-19 キヤノン株式会社 イメージセンサ、撮像装置および車両
JP2018179654A (ja) * 2017-04-07 2018-11-15 ファナック株式会社 距離画像の異常を検出する撮像装置
CN110612430A (zh) * 2018-04-16 2019-12-24 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
WO2021085612A1 (ja) * 2019-11-01 2021-05-06 ヌヴォトンテクノロジージャパン株式会社 測距装置及び測距方法
CN113518930A (zh) * 2019-03-08 2021-10-19 布鲁克曼科技株式会社 距离图像传感器以及距离图像拍摄装置
JP2022521526A (ja) * 2019-02-22 2022-04-08 プロフェシー 動体視覚センサおよびパターン投影を用いる３次元撮像および感知
WO2022185732A1 (ja) * 2021-03-01 2022-09-09 浜松ホトニクス株式会社 距離画像取得装置および距離画像取得方法
WO2024042835A1 (ja) * 2022-08-25 2024-02-29 浜松ホトニクス株式会社 距離計測装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2012057987A (ja) * 2010-09-06 2012-03-22 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2012057987A (ja) * 2010-09-06 2012-03-22 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108209867A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置
JP2018113552A (ja) * 2017-01-10 2018-07-19 キヤノン株式会社 イメージセンサ、撮像装置および車両
JP2018179654A (ja) * 2017-04-07 2018-11-15 ファナック株式会社 距離画像の異常を検出する撮像装置
US10469823B2 (en) 2017-04-07 2019-11-05 Fanuc Corporation Image apparatus for detecting abnormality of distance image
US11509847B2 (en) 2018-04-16 2022-11-22 Shenzhen GOODIX Technology Co., Ltd. Image sensing system and electronic device operating in optical ranging mode and general camera mode at the same time
CN110612430A (zh) * 2018-04-16 2019-12-24 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
JP2022521526A (ja) * 2019-02-22 2022-04-08 プロフェシー 動体視覚センサおよびパターン投影を用いる３次元撮像および感知
JP7401550B2 (ja) 2019-02-22 2023-12-19 プロフェシー 動体視覚センサおよびパターン投影を用いる３次元撮像および感知
CN113518930A (zh) * 2019-03-08 2021-10-19 布鲁克曼科技株式会社 距离图像传感器以及距离图像拍摄装置
CN113518930B (zh) * 2019-03-08 2024-05-03 布鲁克曼科技株式会社 距离图像传感器以及距离图像拍摄装置
WO2021085612A1 (ja) * 2019-11-01 2021-05-06 ヌヴォトンテクノロジージャパン株式会社 測距装置及び測距方法
WO2022185732A1 (ja) * 2021-03-01 2022-09-09 浜松ホトニクス株式会社 距離画像取得装置および距離画像取得方法
WO2024042835A1 (ja) * 2022-08-25 2024-02-29 浜松ホトニクス株式会社 距離計測装置

Also Published As

Publication number Publication date
JPWO2016133053A1 (ja) 2017-12-07
JP6666620B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
WO2016133053A1 (ja) 距離画像計測装置
KR102677519B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
US9188663B2 (en) Time-of-flight imager
US10690755B2 (en) Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range
CN109791207B (zh) 用于确定到对象的距离的系统和方法
US10764518B2 (en) Pixel structure
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
KR101697519B1 (ko) 깊이 센싱 장치 및 방법
KR20180073571A (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
US20120268727A1 (en) Optical Distance Measuring Device and Method for Optical Distance Measurement
JP4802891B2 (ja) 距離測定システム及び距離測定方法
EP3550329A1 (en) System and method for determining a distance to an object
EP2690464A1 (en) Depth sensing apparatus and method
JP6791055B2 (ja) 光検出装置、運転支援システム、及び自動運転システム
JP5520562B2 (ja) 立体形状測定システム及び立体形状測定方法
US11489999B2 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP6366325B2 (ja) 撮像システム
US20230204727A1 (en) Distance measurement device and distance measurement method
JP6320132B2 (ja) 撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752439

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2017500669

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16752439

Country of ref document: EP

Kind code of ref document: A1