WO2019031510A1 - 距離画像測定装置及び距離画像測定方法 - Google Patents

距離画像測定装置及び距離画像測定方法 Download PDF

Info

Publication number
WO2019031510A1
WO2019031510A1 PCT/JP2018/029624 JP2018029624W WO2019031510A1 WO 2019031510 A1 WO2019031510 A1 WO 2019031510A1 JP 2018029624 W JP2018029624 W JP 2018029624W WO 2019031510 A1 WO2019031510 A1 WO 2019031510A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
distance calculation
value
detection signals
mth
Prior art date
Application number
PCT/JP2018/029624
Other languages
English (en)
French (fr)
Inventor
川人　祥二
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to CN201880050969.6A priority Critical patent/CN111033315B/zh
Priority to JP2019535678A priority patent/JP7198507B2/ja
Priority to US16/637,028 priority patent/US11442169B2/en
Publication of WO2019031510A1 publication Critical patent/WO2019031510A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements

Definitions

  • One aspect of the present invention relates to a distance image measuring device and a distance image measuring method for generating a distance image including distance information for each pixel.
  • an image signal including false distance information may be generated. That is, it is difficult to determine which of the pieces of distance information calculated the plurality of times for the same object is true information, and as a result, the accuracy of the distance information included in the image signal may be reduced.
  • One aspect of the present invention has been made in view of the above problems, and provides a distance image measuring device and a distance image measuring method capable of generating an image signal with high accuracy regardless of the position of an object.
  • the purpose is
  • a distance image measuring apparatus includes a light source generating pulse light and a light source generating pulse light having a first duration repeatedly within one frame period.
  • Light source control means for controlling, a photoelectric conversion region for converting light into charges, first to Mth (M is an integer of 3 or more) charge reading regions provided close to the photoelectric conversion region and separated from each other, Photoelectric conversion region and first to Mth charge readout regions are provided respectively corresponding to the first to Mth charges for charge transfer between the photoelectric conversion region and the first to Mth charge readout regions.
  • a pixel circuit unit having first to Mth control electrodes for applying a control pulse, and a second duration which is equal to or longer than the first duration in response to generation of pulsed light by the light source control means.
  • Control pulse to the first control electrode only Charge transfer control means for sequentially applying the second to Mth control pulses to the second to Mth control electrodes only for the second duration after application, and the first to Mth by the charge transfer control means
  • Voltage detection means for reading out the voltages of the first to Mth charge readout regions of the pixel circuit section as the first to Mth detection signals after application of the control pulse, and the distance based on the first to Mth detection signals
  • Distance calculation means for repeatedly calculating, the distance calculation means, based on the first to M-th detection signals, of charges generated from pulse light excluding background light among the first to M-th detection signals
  • the total value of the signal components is calculated, and when the total value of the signal components exceeds a predetermined first threshold, the distance is calculated from the first to Mth detection signals using a predetermined
  • the light source control step controls the light source to repeatedly generate pulsed light having a first duration within one frame period;
  • the charge transfer control means responds to generation of pulsed light by the light source control means.
  • the second control After applying a first control pulse for controlling the transfer of charge to the first control electrode only for a second duration which is greater than or equal to the first duration, the second control may be for a second duration only Control charge transfer to the 2nd to Mth control electrodes
  • a total value of signal components of charges generated from pulse light excluding background light among the first to M-th detection signals is calculated based on the first to M-th detection signals, If the total value of the signal components exceeds a predetermined first threshold, the distance is calculated from the first to M-th detection signals using a predetermined calculation formula, and the total value of the signal components is the first threshold. If not, the distance calculation is invalidated.
  • pulse light is repeatedly generated from the light source within one frame period, and in response to the generation of pulse light, the second duration more than the duration of the pulse light
  • a time window of time is sequentially set, and charges are sequentially transferred from the photoelectric conversion region of the pixel circuit portion to the first to Mth charge readout regions in the time window.
  • the first to Mth detection signals are read out from the first to Mth charge readout regions of the pixel circuit section, and background light of the first to Mth detection signals is removed based on them.
  • the total value of signal components of charges generated from pulsed light is calculated, and based on the comparison result of the total value of the signal components and the first threshold, distance calculation using the first to Mth detection signals is performed. Valid / invalid is determined.
  • a distance image reflecting the result of effective distance calculation can be generated, and an image signal with high accuracy can be generated regardless of the position of the object.
  • an image signal with high accuracy can be generated regardless of the position of the object.
  • FIG. It is a graph which shows the distance and distance resolution which were measured by the distance image sensor 10 of FIG. 1 for every measurement distance of the target object S. It is a graph which shows the distance and distance resolution which were measured by the distance image sensor 10 of FIG. 1 for every measurement distance of the target object S. It is a graph which shows the characteristic of the distance resolution in the distance calculation performed by the distance image sensor 10 of FIG. It is a graph which compares and shows the distance measured by the distance image sensor 10 of FIG. 1 with the measurement distance. It is a block diagram which shows schematic structure of the distance image sensor 10A which concerns on 2nd Embodiment of this invention. It is a timing chart for demonstrating the principle of distance calculation by the distance image sensor 10A of FIG.
  • 11 is a timing chart of various signals handled by the distance image sensor 10A of FIG. 10, and a graph showing changes of various values calculated by the distance image sensor 10A with respect to the delay time T D.
  • 11 is a timing chart of various signals handled by the distance image sensor 10A of FIG. 10, and a graph showing changes of various values calculated by the distance image sensor 10A with respect to the delay time T D.
  • (A) is a timing chart of various signals handled by distance calculation of a 4 tap 4 zone system
  • (b) is a figure showing the existence area of subject S of distance calculation. It is a timing chart of various signals handled by distance calculation of 4-tap 4 zone system. It is a timing chart of various signals handled by distance calculation of 4-tap 4 zone system.
  • a distance image sensor 10 shown in FIG. 1 is a device that generates a distance image including distance information for each pixel using a time of flight method, and includes a light source 11, an arithmetic circuit 12, and a plurality of pixel circuits (pixel circuit units And 13.).
  • the light source 11 includes, for example, a semiconductor light emitting element such as a light emitting diode or a laser diode and a drive circuit for driving the semiconductor light emitting element.
  • a semiconductor light emitting element such as a light emitting diode or a laser diode
  • a drive circuit for driving the semiconductor light emitting element As the light source 11, an element that generates light in a wavelength region such as a near infrared region or a visible light region can be used.
  • the distance image sensor 10 includes a plurality of pixel circuits 13. A plurality of pixel circuits 13, a two-dimensional direction (for example, column and row directions) incident pulses are arranged in a two-dimensional array to constitute an image sensor, pulse light L P has occurred is reflected by the object S The detection signal is generated by photoelectrically converting the light L R.
  • the distance image sensor 10 also includes an arithmetic circuit 12.
  • the arithmetic circuit 12 calculates distance information on the object S for each pixel using detection signals generated by the plurality of pixel circuits 13, and a distance image including two-dimensional image information on which the distance information for each pixel is reflected. Generate and output.
  • the arithmetic circuit 12 may be configured by a dedicated integrated circuit such as a one-chip microcomputer including a CPU, a RAM, a ROM, an input / output device, etc., or may be configured by a general purpose computer such as a personal computer.
  • the pixel circuit 13 is formed of a semiconductor element, and has a photoelectric conversion region 21 having a function of converting incident pulse light L R into electric charge, and first to the fourth provided close to the photoelectric conversion region 21 and separated from each other.
  • a photoelectric conversion region 21 having a function of converting incident pulse light L R into electric charge
  • first to the fourth provided close to the photoelectric conversion region 21 and separated from each other.
  • First to third control electrodes 24 1 to 24 3 and control electrode 25 for applying control pulses for charge transfer to and from the respective regions, and first to third charge readout regions 22 1 to 22 22 3 and a voltage detecting means 26 1 to 26 3 for reading a detection signal from each.
  • the voltage detection means 26 1 to 26 3 are, for example, amplifiers including source follower amplifiers, and under control of the arithmetic circuit 12, voltages based on the reference potentials of the respective charge readout regions 22 1 to 22 3 selectively Are detected and amplified, and the amplified voltage is output to the arithmetic circuit 12 as first to third detection signals.
  • the pixel circuit 13 is formed on, for example, a p-type semiconductor substrate such as a silicon substrate. That is, the photoelectric conversion region 21 is a pixel formed of an active region formation layer made of a p-type semiconductor, an n-type surface buried region, a p-type pinning layer, and an insulating film formed in order on a p-type semiconductor substrate. It is provided at the center of the formation area. Then, n-type charge readout regions 22 1 to 22 3 and charge discharge region 23 having a higher impurity concentration than the active region formation layer are formed at positions separated from each other so as to be close to photoelectric conversion region 21.
  • Control electrodes 24 1 to 24 3 and 25 are provided on charge transfer paths from the photoelectric conversion region 21 to the charge reading regions 22 1 to 22 3 and the charge discharging region 23, respectively.
  • each of the control electrodes 24 1 to 24 3 and 25 may be provided on the charge transfer path, or may be separately provided to a plurality of electrode portions so as to sandwich the charge transfer path from both sides. .
  • control pulses having different phases are applied to the control electrodes 24 1 to 24 3 and 25 from the arithmetic circuit 12 described later.
  • a potential gradient is sequentially formed such that charges are transported to any of the charge transfer paths, and the surface embedded region of the photoelectric conversion region 21 is formed.
  • the generated majority carriers (charges) are moved to one of the charge reading regions 22 1 to 22 3 and the charge discharging region 23.
  • the arithmetic circuit 12 includes, as functional components, a light source control unit 31, a charge transfer control unit 32, a distance data validity determination signal generation unit 33, a distance data validity determination unit 34, an invalid pixel identification value generation unit 35, and a distance.
  • a calculation reference signal generation unit 36, a distance calculation reference signal selection unit 37, and a distance image generation unit 38 are included.
  • Distance data validity determination signal generation means 33, distance data validity determination means 34, invalid pixel identification value generation means 35, distance calculation reference signal generation means 36, distance calculation reference signal selection means 37, and distance image generation means 38 The distance calculating means of the present embodiment is configured.
  • the pulse light L P of duration T 0 performs control so as to repeatedly generated across at a period of 1 frame repetition period of the preset distance calculation.
  • the charge transfer control means 32 has a function of applying the first to third control pulses G 1 to G 3 and the control pulse G D to the control electrodes 24 1 to 24 3 , 25 respectively. That is, the charge transfer control means 32 controls the control electrodes 24 1 to 24 3 only for the duration T 1 which is the duration T 0 or more, corresponding to each generation timing of the pulsed light L P in one frame period.
  • First to third control pulses G 1 to G 3 are sequentially applied.
  • the duration T 1 is set to be equal to the duration T 0.
  • the charge transfer control means 32 is configured to discharge the charges accumulated in the photoelectric conversion region 21 to the charge discharging region 23 before the series of application timings of the first to third control pulses G 1 to G 3 . applying a control pulse G D to the control electrode 25.
  • the resolution 15cm distance calculation using the time of flight of the pulse light L P corresponds to the flight time 1 ns
  • the control means having a time accuracy of ps order as a guide in order below this resolution is required. Therefore, the charge transfer control unit 32 and the light source control unit 31 need to be designed in consideration of the wiring capacitance integrated with the pixel circuit 13 and the like, and therefore, can be formed on the semiconductor integrated with the pixel circuit 13 desirable.
  • "on an integral semiconductor” also includes on different semiconductors among a plurality of semiconductor layers stacked using SOI (Silicon On Insulator) technology or TSV (Through Silicon Via) technology.
  • a circuit between the charge transfer control means 32, the circuit between the charge transfer control means 32 and the control electrodes 24 1 to 24 3 , 25 and a circuit between the charge transfer control means 32 and the light source control means 31 The part may be formed on the same semiconductor as the pixel circuit 13 or on a semiconductor layer stacked with the pixel circuit 13.
  • the distance data validity determination signal generating means 33 constituting the distance calculating means is based on the first to third detection signals S 1 to S 3 output from the pixel circuit 13 in correspondence with the light emission timing of the pulsed light L P.
  • the total value of the signal components of the charge generated from the incident pulse light L R excluding the signal component of the background light among the first to third detection signals S 1 to S 3 is the distance data validity determination signal S.
  • the distance data validity determination signal S A is a signal indicating whether the first to third detection signals S 1 to S 3 reflect the incident pulse light L R strongly, and the first to third It is a signal for determining whether the calculation of the distance based on the detection signals S 1 to S 3 is valid.
  • the distance data validity determination means 34 determines whether the calculation of the distance based on the first to third detection signals S 1 to S 3 is valid. Specifically, the distance data validity determining unit 34, the distance data validity determination signal S A compares the predetermined threshold value (first threshold value) Th 1 and the distance data validity determination signal S A is the threshold value Th 1 If the distance data validity determination signal S A is less than or equal to the threshold value Th 1, it is determined that the distance calculation is invalid.
  • the invalid pixel identification value generation unit 35 generates an identification value indicating whether the distance calculation is invalid for each pixel corresponding to the pixel circuit 13 based on the determination result of the distance data validity determination unit 34.
  • Distance calculation reference signal generating means 36 of the distance calculation means based on the first to third detection signals S 1 to S 3 output from the pixel circuit 13 corresponding to the light emission timing of the pulsed light L P, It is generated as a distance calculation reference signal X R that is the basis of distance calculation. Specifically, the distance calculation reference signal generation unit 36 calculates the ratio of the difference between the two detection signals S 1 and S 3 to the distance data validity determination signal S A to obtain the distance calculation reference signal X R.
  • Generate Distance calculation reference signal selecting means 37 the distance calculated position of the reference signal X R the object based on S is determined whether measurable range, the distance calculation reference signal X R when it is measurable range The value is output to the distance image generating means 38 as a valid value.
  • the distance calculation reference signal selection unit 37 compares the value of the distance calculation reference signal X R with a predetermined threshold (second threshold) Th 2, and the validity of the distance calculation reference signal X R according to the comparison result. Determine invalid.
  • the distance image generation unit 38 calculates distance information with reference to the distance calculation reference signal X R selected by the distance calculation reference signal selection unit 37 for each pixel circuit 13. Do. Then, the distance image generation unit 38 generates a distance image including distance information corresponding to each pixel circuit 13 and outputs the distance image to an external device. Examples of the external device of the output destination include output devices such as a display device and a communication interface device.
  • the distance image generation means 38 generates a distance image for the pixel for which the identification value indicating that the distance information is invalid is generated or for the pixel for which the distance calculation reference signal X R is determined to be out of the measurable range. Invalid values can be embedded.
  • FIG. 2 is a timing chart for explaining the principle of distance calculation by the distance image sensor 10.
  • the distance shows a timing charge is stored in each area of the timing and the pixel circuits 13 of the various signals is controlled by the image sensor 10, in order from the top, the light emitting timing of the pulse light L P, the first to third control pulse G 1 to G 3 and application timing of the control pulse G D, it shows the charge accumulation timings in the first to third charge read area 22 1 to 22 3.
  • the first to third control pulses G 1 to G 3 are continuously applied for the duration T 0 so as not to overlap each other. There is.
  • a ratio of incident pulsed light L R is the electric charge accumulated in the photoelectric conversion region 21 by being photoelectrically converted, corresponding to the delay time T D with respect to pulse light L P of the incident pulse light L R, It is distributed to the two charge readout regions 22 2 and 22 3 .
  • the light emission timing of the duration T 0 of the pulse light L P by setting the relationship between the first application timing of the control pulse G 1, the charge readout area 22 1 is defined by the control pulse G 1 only the charges of the charge amount N B due to noise such as background light and dark current in the time window is transported.
  • the charge readout area 22 2 is controlled by a pulse time window defined by G 2, charges the charge amount N B to the delay distributed corresponds to the time T D charge amount N sm1 is added Is transported.
  • the arithmetic circuit 12 of the range image sensor 10 in accordance with each emission timing of the pulsed light L P, and the charge amount N sm1 excluding the amount of charge N B the amount of charge N B
  • the distance to the object S corresponding to the delay time T D can be calculated by calculating the ratio to the removed charge amount N sm2 .
  • FIG. 3 is a timing chart of various signals handled by the distance image sensor 10, and a graph showing changes of the calculated various values with respect to the delay time T D.
  • the (a) to part (d) portions indicate the timing of the control pulse G 1 ⁇ G 3 and the pulse light L P, in part (e) ⁇ (j) section, respectively, the The values of the first to third detection signals S 1 to S 3 , the value of the difference value S 3-1 , the value of the distance data validity determination signal S A , and the value of the distance calculation reference signal X R are compared with the delay time T D shown in correspondence with, the (k) portion shows a data valid range in the delay time T D, the (l) section, showing a measurable range in delay time T D.
  • the delay time T D is indicated by a value normalized by the duration T 0 of the pulsed light L P.
  • the light source control means 31 and the charge transfer control means 32 of the arithmetic circuit 12 control pulses G 1 to G 3 and pulse light within one frame period.
  • the timing of L P is controlled (light source control step, charge transfer control step).
  • the timing of the pulsed light L P is substantially overlaps with the timing of the control pulse G 2 Set to Thereafter, the voltage detecting means 26 1 to 26 3 of each pixel circuit 13, first to third detection signals S 1 to S 3 are read, their detection signals S 1 to S 3 is output to the arithmetic circuit 12 (Voltage detection step).
  • the values (voltage values) of the signals indicated by the detection signals S 1 to S 3 are indicated as they are by the symbols S 1 to S 3 (the same applies hereinafter).
  • the value of the distance data validity determination signal S A is a value obtained by removing the component of the charge amount N B resulting from noise such as background light and dark current from the total value of the values of the detection signals S 2 and S 3. Among the detection signals S 1 to S 3 , it is the total value of the components reflecting the incident pulse light L R. Then, the distance data validity determination unit 34 compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 3 is valid. Determine if Thus, as shown in (k) of FIG.
  • the distance calculation reference signal generator 36, detection signals S 1 and the difference value S 3-1 the following formula and S 3 (2);
  • S 3-1 S 3 -S 1 (2)
  • X R S 3-1 / S A (3)
  • the value of the distance calculation reference signal X R is calculated using
  • the distance calculation reference signal selection means 37 determines whether the value of the distance calculation reference signal X R is within a predetermined range, thereby determining whether the object S is within a measurable range. . For example, it is determined whether the value of the distance calculation reference signal X R is “0” or more and the threshold Th 2 or less. When the object S is too close and the incident pulse light L R deviates from the time window of the detection signal S 2 due to such a determination, and the value of the distance calculation reference signal X R saturates; If the incident pulse light L R deviates from the time window of the detection signal S 3 and the distance is not reflected in the value of the distance calculation reference signal X R can be excluded from the distance calculation. In the example shown in (l) of FIG.
  • distance image generation unit 38 is determined to be in the "data valid range", and if it is determined that the "measurement range", the object based on the distance calculated reference signal X R related to the corresponding pixel Distance information indicating the distance of the object S is calculated, and a distance image including the calculated distance information of each pixel is generated and output. The generation of such a distance image is repeated every period of one frame.
  • the distance calculation by the distance image sensor 10 described above may be performed according to the following other procedure (hereinafter, also referred to as “3-tap 2-zone method”). According to this procedure, the “data effective range” and the “measurable range” in the delay time T D can be expanded.
  • FIG. 4 is a timing chart of various signals handled in another calculation procedure by the distance image sensor 10, and a graph showing a change with respect to the delay time T D of various values calculated in another calculation procedure.
  • the (a) to part (d) portions indicate the timing of the control pulse G 1 ⁇ G 3 and the pulse light L P, in part (e) ⁇ (m) unit, respectively, the 1 to 3 values of detection signals S 1 to S 3 , values of difference value S 1-3 , absolute value of difference value
  • the value of the signal component S B, the value of the distance data validity determination signal S A , and the value of the distance calculation reference signal X R are shown corresponding to the delay time T D , and in the (n) portion, the delay time T D
  • the effective range of the data in (1) is shown, and in (o), the measurable range in the delay time T D is shown.
  • the light source control means 31 and the charge transfer control means 32 of the arithmetic circuit 12 control pulses G 1 to G 3 and pulse light within one frame period.
  • the timing of L P is controlled (light source control step, charge transfer control step).
  • the timing of the pulsed light L P is substantially overlaps with the timing of the control pulse G 1 Set to Thereafter, the voltage detecting means 26 1 to 26 3 of each pixel circuit 13, first to third detection signals S 1 to S 3 are read, their detection signals S 1 to S 3 is output to the arithmetic circuit 12 (Voltage detection step).
  • the distance data validity determination unit 34 compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 3 is valid. Determine if For example, by setting the threshold value Th 1 in the vicinity of “0”, as shown in part (n) of FIG. 4, the value between “ ⁇ 1” and “0” of the delay time T D is “2” to It is determined that the range up to a value between "3" is the "data effective range” in which the calculation of the distance is effective.
  • the distance calculation reference signal selection means 37 determines whether the value of the distance calculation reference signal X R is within a predetermined range, thereby determining whether the object S is within a measurable range. . For example, it is determined whether the value of the distance calculation reference signal X R is “0” or more and the threshold Th 2 or less. When the object S is too close and the incident pulse light L R deviates from the time window of the detection signal S 2 due to such a determination, and the value of the distance calculation reference signal X R saturates; If the incident pulse light L R deviates from the time window of the detection signal S 2 and the distance is not reflected in the value of the distance calculation reference signal X R can be excluded from the distance calculation.
  • distance image generation unit 38 is determined to be in the "data valid range", and if it is determined that the "measurement range", the object based on the distance calculated reference signal X R related to the corresponding pixel Distance information indicating the distance of the object S is calculated, and a distance image including the calculated distance information of each pixel is generated and output. The generation of such a distance image is repeated every period of one frame.
  • the amount of charge generated by the incident pulse light L R can be distributed in three time windows corresponding to the detection signals S 1 to S 3 , thereby expanding the calculable range of the delay time T D. be able to.
  • pulse light L P repeatedly from the light source 11 is generated in one frame period, in response to generation of the pulse light L P
  • the time windows of the duration T 1 of the duration T 0 of the pulsed light L P are sequentially set, and the first to third charge readout regions 22 1 to 22 from the photoelectric conversion region 21 of the pixel circuit 13 are sequentially set.
  • the charges are sequentially transferred to 3 .
  • the first to third detection signals S 1 to S 3 are read out from the first to third charge readout regions 22 1 to 22 3 of the pixel circuit 13, and based on them, the first to third detection signals S 1 to S 3 are read.
  • the total value S A of signal components of charges generated from incident pulse light L R excluding background light is calculated, and the total value S A of the signal components and the threshold value Th 1 Based on the comparison result, it is determined whether the distance calculation using the first to third detection signals S 1 to S 3 is valid or invalid. As a result, by using the determination result, it is possible to generate a distance image reflecting the result of effective distance calculation, and it is possible to generate an image signal with high accuracy regardless of the position of the object S.
  • the arithmetic circuit 12 by calculating the ratio between the total value S A of the difference between two detection signals and the signal component of the first to third detection signals S 1 to S 3 distance calculated a reference signal X R, the distance distance calculation reference signal X R is determined whether a valid response to the calculated reference signal X R and the result of comparison between the threshold Th 2, the distance calculation reference signal X R is When it is valid, the distance is calculated based on the distance calculation reference signal X R.
  • the distance calculation reference signal X R is determined whether a valid response to the calculated reference signal X R and the result of comparison between the threshold Th 2, the distance calculation reference signal X R is When it is valid, the distance is calculated based on the distance calculation reference signal X R.
  • the first to third detection signals S 1 to S 3 detected corresponding to the delay time T D of the incident pulse light L R by the distance image sensor 10 and the total value S TOTAL of those signals are shown. It shows the strength.
  • the duration T 1 of the duration of the pulse light L P T 0 and the control pulse G 1 ⁇ G 3 is set to, both 22.22 [ns] It is done.
  • the peaks of the detection signals S 1 to S 3 appear at different delay times T D
  • the detection signals S 1 to S 3 reflect the amount of charge distributed according to the delay times T D. It is understood that it is generated.
  • FIG. 6 is a graph which shows the distance and distance resolution which were measured by the distance image sensor 10 for every measurement distance of the target object S.
  • the distance image was generated at intervals of.
  • the measurement result of distance and distance resolution was averaged by 30 distance images. From this measurement result, it was found that the distance measurement value agrees well with the actual measurement distance in the range of 0.5 m to 4 m, and the distance resolution is also increased to 50 mm or less at a distance measurement value of 2 m.
  • FIG. 7 is a graph showing the distance and distance resolution measured by the distance image sensor 10 for each measured distance of the object S.
  • the duration of the pulse light L P T 0 14ns
  • range image at intervals of 30fps adopts three taps 2 zones scheme was generated. From this measurement result, it was found that the distance measurement value was in good agreement with the actual measurement distance in the range of 0.5 m to 4 m, and the distance resolution was also increased to 20 mm or less at a distance measurement value of 1.5 m.
  • FIG. 8 is a graph showing the characteristics of the distance resolution in the distance calculation performed by the distance image sensor 10 employing the 3-tap 1-zone method or 3-tap 2-zone method. As shown in this characteristic, in the case of the 3-tap 1-zone system, the distance resolution tends to gradually decrease as the measurement distance becomes longer, but in the case of the 3-tap 2-zone system, Distance resolution is enhanced.
  • FIG. 9 shows the distance calculated by adopting the 3-tap 2-zone method by the distance image sensor 10 of FIG. 1 in comparison with the measured distance.
  • the calculated distance is in good agreement with the measured distance. If the measured distance exceeds 4 m (the range indicated by the symbol W1 in FIG. 9), the object S is located outside the measurable range, the calculated distance becomes close to 0 and the detection signals S 1 to S 3 are used. Although the error in the distance calculation is large, in this case, the distance calculation is invalidated by the threshold determination to prevent generation of an erroneous distance image.
  • FIG. 10 is a block diagram showing a schematic configuration of the distance image sensor 10A.
  • Range image sensor 10A shown in FIG. 10 as compared with the range image sensor 10 according to the first embodiment, the pixel circuit 13 includes four charge read area 22 1 to 22 4, four control correspond to those Point comprising the electrodes 24 1 to 24 4 and the four voltage detection means 26 1 to 2 4 4 , charge transfer control means 32 A, distance data validity judgment signal generation means 33 A constituting distance calculation means, distance calculation reference signal
  • the functions of the generation means 36A and the distance calculation reference signal selection means 37A are different.
  • the configuration of the distance image sensor 10A will be described focusing on differences from the distance image sensor 10.
  • the pixel circuit 13 includes first to fourth charge readout regions 22 1 to 22 4 and charge discharging region 23 provided in proximity to the photoelectric conversion region 21 and separated from each other, and first to fourth charge readout.
  • the first to fourth regions are provided corresponding to regions 221 to 224 and charge discharging region 23, respectively, for applying a control pulse for charge transfer between photoelectric conversion region 21 and each region.
  • Voltage detection means for reading out the first to fourth detection signals S 1 to S 4 from the control electrodes 24 1 to 24 4 and the control electrode 25 and the first to fourth charge readout regions 22 1 to 22 4 respectively 26 1 to 26 4 are included.
  • the specific circuit configuration of the charge readout regions 22 1 to 22 4 and the form of various regions and control electrodes in the pixel circuit 13 are the same as in the first embodiment.
  • the charge transfer control means 32A of the arithmetic circuit 12 controls the control electrodes 24 1 to 24 only for the duration T 1 which is the duration T 0 or more, corresponding to the emission timing of the pulsed light L P in one frame period. 4 to apply a forward upon first to fourth control pulses G 1 to G 4 in.
  • the duration T 1 is set to be equal to the duration T 0.
  • the charge transfer control unit 32A is configured to discharge the charges accumulated in the photoelectric conversion region 21 to the charge discharging region 23 before the series of application timings of the first to fourth control pulses G 1 to G 4 . applying a control pulse G D to the control electrode 25.
  • the sum of signal components of the charges generated from the incident pulse light L R excluding the signal component of the background light among S 4 is generated as a distance data validity determination signal S A.
  • the distance calculation reference signal generation means 36A determines the value S 1-3 of the difference between the set S 1 and S 3 of one of the first to fourth detection signals S 1 to S 4 and the distance data validity A first distance calculation reference signal X R is determined by calculating the ratio to the signal S A.
  • the distance calculation reference signal generation means 36A outputs the value S 2-4 of the difference between the other set S 2 and S 4 of the detection signals S 1 to S 4 and the distance data validity determination signal S A
  • the second distance calculation reference signal Y R is determined by calculating the ratio of Then, distance calculation reference signal generator 36A is obtained first distance calculating reference signal X R and the threshold value according to a result of comparison between (third threshold value) Th 2, first and second distance calculating reference signal If one of X R and Y R is selected and the selected first and second distance calculation reference signals X R and Y R fall within a measurable range, the selected distance calculation reference signals X R and Y R are selected. The value is output to the distance image generating means 38 as a valid value.
  • FIG. 11 is a timing chart for explaining the principle of distance calculation by the distance image sensor 10A.
  • a distance image sensor 10A shows the timing of charge is stored in each area of the timing of the various signals are controlled and the pixel circuit 13 by, in order from the top, the light emitting timing of the pulse light L P, the first to fourth control pulses G 1 to G 4 and application timing of the control pulse G D, it shows the charge accumulation timings in the first to fourth charge read area 22 1 to 22 4.
  • the first to fourth control pulses G 1 to G 4 are continuously applied for the duration T 0 so as not to overlap each other. There is.
  • a ratio of incident pulsed light L R is the electric charge accumulated in the photoelectric conversion region 21 by being photoelectrically converted, corresponding to the delay time T D with respect to pulse light L P of the incident pulse light L R, two charge read area 22 2, 22 3, or the two charge read area 22 3, is distributed to 22 4.
  • the light emission timing of the duration T 0 of the pulse light L P by setting the relationship between the first application timing of the control pulse G 1, the charge readout area 22 1 is defined by the control pulse G 1 only the charges of the charge amount N B due to noise such as background light and dark current in the time window is transported.
  • the time delay to the charge amount N B is the charge readout area 22 2 while the charge amount of charge N sm1 distributed in response to T D has been added is transported, the charge readout area 22 3, the amount of charge distributed to correspond to the time delay to the charge amount N B T D The charge to which N sm2 has been added is transported.
  • G 4 is the charge readout area 22 3 delay to the charge amount N B time T while the charge amount of charge N sm1 distributed in response to D has been added is transported, the charge readout area 22 4, the charge amount N B to the delay distributed corresponds to the time T D charge amount N The charge to which sm2 is added is transported.
  • the arithmetic circuit 12 of the distance image sensor 10A in accordance with each emission timing of the pulsed light L P, and the charge amount N sm1 excluding the amount of charge N B the amount of charge N B
  • the distance to the object S corresponding to the delay time T D can be calculated by calculating the ratio to the removed charge amount N sm2 .
  • FIG. 12 is a timing chart of various signals handled by the distance image sensor 10A, and a graph showing changes of the calculated various values with respect to the delay time T D.
  • the (a) to part (e) portions indicate the timing of the control pulse G 1 ⁇ G 4 and the pulse light L P to (f) section ⁇ (n) portion, respectively, the first to fourth detection signals S 1 to the value of S 4, the difference value S 1-3, the value of S 2-4, the value of the distance data validity determination signal S a, and the distance calculated reference signal X R, Y R
  • the (o) portion shows the data effective range at the delay time T D
  • the (p) portion shows the measurable range at the delay time T D.
  • the process of generating the range image by a range image sensor 10A is started, the light source control means 31 and a charge transfer control means 32A of the arithmetic circuit 12, the control pulse G 1 ⁇ G 4 and pulsed light within a period of one frame
  • the timing of L P is controlled (light source control step, charge transfer control step).
  • the distance data validity determination signal generation unit 33A adds the absolute value
  • of the difference value to the following equation (11); S A
  • the distance data validity determination unit 34 compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 4 is valid. Determine if For example, by setting the threshold Th 1 in the vicinity of “0”, as shown in the part (o) of FIG. 12, the value between “ ⁇ 1” and “0” of the delay time T D is “3” to It is determined that the range up to a value between "4" is the "data effective range" in which the distance calculation is effective.
  • the distance calculation reference signal selection means 37A determines whether the value of the distance calculation reference signal X R is within a predetermined range, whereby the value to be referred to for the distance calculation is the distance calculation reference signal X. It is selected from among R and a distance calculation reference signal X R. For example, when the value of the distance calculation reference signal X R is “0” or more and the threshold value Th 2 or less, the distance calculation reference signal X R is selected, and when the value of the distance calculation reference signal X R exceeds the threshold value Th 2 A distance calculation reference signal Y R is selected.
  • the distance calculation reference signal selection means 37A determines whether the value of the selected distance calculation reference signals X R and Y R is within a predetermined range, whereby the object S is within the measurable range. Is determined. For example, it is determined whether the value of the distance calculation reference signal X R is “0” or more, and it is determined whether the value of the distance calculation reference signal Y R is less than or equal to the threshold value Th 3 .
  • the incident pulse light L R deviates from the time window of the detection signal S 3 due to such a determination, and the value of the distance calculation reference signal Y R saturates; If the incident pulse light L R deviates from the time window of the detection signal S 2 and the distance is not reflected in the value of the distance calculation reference signal X R can be excluded from the distance calculation.
  • the threshold value Th 3 in the vicinity of “3”, the range from “0” to “3” of the delay time T D is “measurable range, as shown in part (p) of FIG.
  • the distance image generation means 38 is in the “data effective range” and is determined to be in the “measurable range”
  • the distance calculation reference signal X R selected with respect to the corresponding pixel Y distance information indicating the distance of the object S R based on is calculated, the distance image including the distance information of each pixel calculated is generated and output.
  • the charge amount generated by the incident pulse light L R can be distributed to four time windows corresponding to the detection signals S 1 to S 4 , thereby expanding the calculable range of the delay time T D. be able to. Furthermore, since the distance calculation is performed by selecting a value that changes linearly with respect to the delay time T D among the distance calculation reference signals X R and Y R , the appropriate distance corresponding to the range in which the object S is located The value of the data reference signal can be used to calculate the distance, and an accurate image signal can be generated regardless of the position of the object S.
  • the distance calculation by the distance image sensor 10A described above may be performed by the following other procedure (hereinafter, also referred to as “four-tap four-zone method”). According to this procedure, the “data effective range” and the “measurable range” in the delay time T D can be expanded.
  • FIG. 13 is a timing chart of various signals handled in another calculation procedure by the distance image sensor 10A, and a graph showing changes with respect to the delay time T D of various values calculated in another calculation procedure. In FIG.
  • the process of generating the range image by a range image sensor 10A is started, the light source control means 31 and a charge transfer control means 32A of the arithmetic circuit 12, the control pulse G 1 ⁇ G 4 and pulsed light within a period of one frame
  • the timing of L P is controlled (light source control step, charge transfer control step).
  • distance information for each pixel is calculated by the arithmetic circuit 12 (distance calculation step). That is, the distance data validity determination signal generating means 33A, the differential value S 2-4 of the detection signal S 1, a difference value S 3 S 1-3 and the detection signal S 2, S 4 is calculated. In addition, the distance data validity determination signal generating means 33A, based on the absolute value of the difference value S 1-3 and the difference value S 2-4, the value of the distance data validity determination signal S A is calculated. Then, the distance data validity determination unit 34A compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 4 is valid.
  • R 1 1-S 1-3 / S A (14)
  • the value of the distance calculated reference signal R 3 using is calculated.
  • the distance calculation reference signal selection means 37A compares the values of the distance calculation reference signals R 1 to R 3 with the threshold value, so that the value to be referred to for the distance calculation is one of the distance calculation reference signals R 1 to R 3 . It is selected from For example, distance calculation reference signal R 1 is the threshold Th 2 or less, and, when the distance calculated reference signal R 2 is the threshold value Th 5 below, the distance calculation reference signal R 1 is selected. On the other hand, the distance is calculated reference signal R 1 exceeds the threshold value Th 2, and, when the distance calculated reference signal R 2 is the threshold value Th 5 below, the distance calculation reference signal R 2 is selected. Furthermore, when the distance calculated reference signal R 2 exceeds the threshold Th 5 is distance calculation reference signal R 3 is selected.
  • the distance calculation reference signal selection unit 37A determines whether the value of the selected distance calculation reference signals R 1 and R 3 is within a predetermined range, whereby the object S is in a measurable range. Is determined. For example, the distance value of the calculation reference signal R 1 is judged whether it is more "0", the value of the distance calculated reference signal R 3 is whether the threshold Th 6 or less is determined.
  • the distance calculation reference signal R 1 ⁇ selected for the corresponding pixel Based on R 3 , distance information indicating the distance of the object S is calculated, and a distance image including the calculated distance information of each pixel is generated and output.
  • the amount of charge generated by the incident pulse light L R can be distributed to five time windows corresponding to five successive control pulses G 1 to G 4 and G 1.
  • the calculable range of D can be expanded. Furthermore, since the distance calculation is performed by selecting a value that changes linearly with respect to the delay time T D among the distance calculation reference signals R 1 , R 2 and R 3 , corresponding to the range in which the object S is located An appropriate distance data reference signal value can be used to calculate the distance, and an accurate image signal can be generated regardless of the position of the object S.
  • FIG. 14 shows a timing chart of various signals handled in distance calculation of the 4-tap 4-zone system, and (b) shows an area where the object S for distance calculation is present.
  • FIG. 15 shows a timing chart of various signals handled in the distance calculation of the 4-tap 4-zone system, along with the charge distribution state in each time window
  • FIG. 16 shows the distance calculation of the 4-tap 4-zone system.
  • the timing chart of various signals to be handled is shown together with the selected state of the distance calculation reference signals R 1 , R 2 and R 3 corresponding to the delay time T D.
  • the arrival timing of the incident pulse light L R to the pixel circuit 13 differs depending on in which zone Z 1 to Z 4 the object S is located at a different distance from the distance image sensor 10A.
  • the object if S is the distance from the distance image sensor 10A is positioned at a small zone Z 1, the control and the time window in which the arrival timing of the incident pulse light L R is defined by the control pulse G 1 pulse G 2 It becomes timing TI 1 which crosses with the time window prescribed
  • the object S is the distance from the distance image sensor 10A is positioned in the zone Z 2 greater than the zone Z 1, the time window in which the arrival timing of the incident pulse light L R is defined by the control pulse G 2 a timing TI 2 of time defined by the control pulse G 3 across a window as. Also, if the object S is the distance from the distance image sensor 10A is positioned in a large zone Z 3 than the zone Z 2, the time window in which the arrival timing of the incident pulse light L R is defined by the control pulse G 3 a timing TI 3 of time defined by the control pulse G 4 across a window as.
  • the time window object S is the distance from the distance image sensor 10A is in when located large zone Z 4 than the zone Z 3, the arrival timing of the incident pulse light L R is defined by the control pulse G 4 a timing TI 4 time defined by the control pulse G 1 across a window as.
  • the distance calculation reference signal R 1 is obtained.
  • the control pulse G 1 is the time the amount of charge accumulated in the time window that is defined by the amount N sm1 of accumulated charge control pulse G 2 in window N sm2 defined by Ratio is reflected in the distance information.
  • the amount of charge N B due to noise such as background light are excluded.
  • the control pulse is calculated by selectively using the distance calculation reference signal R 1 or the distance calculation reference signal R 2.
  • the distance calculation reference signals R 1 , R 2 and R 3 having a linear relationship with the delay time T D are selectively selected according to the arrival timing of the incident pulse light L R. To calculate distance information.
  • FIG. 17 is a graph showing the distance resolution of the distance information calculated by the distance image sensor 10A when the actual measurement distance of the object S is variously changed, in comparison with the theoretical value. From this result, the distance resolution matches well with the theoretical value, and a distance resolution of about 1/100 of the measured distance is obtained when the measured distance is in the range of 0 to 8 m.
  • the first to fourth detection signals S 1 to S 4 detected corresponding to the delay time T D of the incident pulse light L R by the distance image sensor 10 A and the total value S TOTAL of those signals are shown. It shows the strength.
  • the duration T 1 of the duration of the pulse light L P T 0 and the control pulse G 1 ⁇ G 4 is set to both 15 [ns].
  • the peaks of the detection signals S 1 to S 4 appear at different delay times T D , and the detection signals S 1 to S 4 reflect the amount of charge distributed according to the delay times T D. It is understood that it is generated.
  • FIG. 19 is a graph which shows the distance measured by the distance image sensor 10A for every measurement distance of the target object S.
  • distance images were generated at intervals of 15.7 fps, and the distance measurement results were averaged with 30 distance images. From this measurement result, it was found that the distance measurement value was in good agreement with the actual measurement distance in the range of 1 m to 8 m.
  • FIG. 20 is a graph showing the resolution of the distance measured by the distance image sensor 10A for each measured distance of the object S in comparison with the comparative example.
  • the distance was measured using a detection signal read out from the charge read-out areas using a pixel circuit provided with two charge read-out areas and two control electrodes corresponding to them. From this result, the resolution value in the distance calculation of this embodiment is 1 ⁇ 2 or less as compared with the comparative example, and the distance resolution is sufficiently improved.
  • the threshold values used in the first and second embodiments described above be set as follows.
  • the first threshold value Th 1 is a threshold value set with respect to the distance data validity determination signal S A.
  • the distance data validity determination signal S A is calculated by linear operation of the detection signals S 1 to S M (M is an integer of 3 or more), and the distance calculation reference signals X R , Y R , R 1 to R 3 are calculated. Is set to the denominator of the formula to be calculated.
  • the first threshold value Th 1 has a finite value the distance data validity determination signal S A which becomes the denominator is not "0", the distance calculation reference signal X R, Y R, the calculation of R 1 ⁇ R 3 It is the objective threshold to determine the effective range.
  • the first threshold Th 1 is a noise voltage in the absence of the detection signals S 1 to S M It is preferable to be determined to exceed these on the basis of the RMS value of.
  • threshold values Th 2 , Th 3 , Th 5 and Th 6 are set for distance calculation reference signals X R , Y R and R 1 to R 3 .
  • the last threshold value for determining the measurable range than (Fig. 3, Th 2 in FIG. 4, Th 3 in FIG. 12, Th 6 in FIG. 13) is the value near the distance calculation reference signal corresponding to the vicinity of the switching of the time window It is set. Therefore, the last threshold for determining the measurable range is the value of the distance time reference signal corresponding to the end of the last time window (eg, R 3 in FIG. 13) which gives the maximum value of the last distance calculation reference signal. Value which is determined to exceed the RMS value of the no-signal noise voltage of the detection signals S 1 to S M corresponding to the first threshold value Th 1 from the maximum value “4” of It is preferable that the value be determined.
  • the control electrode and the charge detection means are provided corresponding to the number of charge read areas, and the arithmetic circuit 12 calculates distance information based on the detection signal read from each charge read area.
  • the calculation of the distance for each pixel circuit 13 is repeatedly executed for each one of the light emitting timing of the pulse light L P, repeated for a plurality of times of light emission timing of the pulsed light L P It may be performed.
  • each pixel circuit 13 has eight charge read area
  • the arithmetic circuit 12 is a modification of the present invention will be described in the case of performing the distance calculation for each two emission timing of the pulsed light L P.
  • FIG. 21 is a timing chart of various signals handled in the distance calculation procedure of the present modification
  • FIGS. 22 and 23 show changes in delay time T D of various values calculated in the distance calculation procedure of the present modification.
  • control pulse G 1 ⁇ G 8 applied to eight control electrodes, a timing of the control pulse G D, and two pulse light L P, in Figure 22, read from the eight charge readout area the first to the value of the eighth detection signals Q 1 to Q 8, a zone determination signal Q a ⁇ Q value of D that, and the value of the comparison signal P a-P D, shown in correspondence with the delay time T D
  • the value of the distance calculation reference signal which is the basis of the distance calculation is shown corresponding to the delay time T D.
  • the light source control means 31 of the arithmetic circuit 12 the two pulsed light LP and second pulse light of the first pulse light and the duration of duration T 0 2T 0 Are controlled to generate a time difference 7T 0 .
  • the charge transfer control means 32 of the arithmetic circuit 12 turns off the control pulse G D for discharging the charge by the duration T 0 of the first pulse light of the duration T 0 , while the duration 2 T 0
  • the control pulses G 1 to G 8 of duration T 0 are sequentially applied in synchronization with the generation of the second pulse light so that they do not overlap each other.
  • the zone determination signal for determining the zone of the distance of the object S by the arithmetic circuit 12 of the present modification has the following formula based on the first to eighth detection signals Q 1 to Q 8 :
  • Q A Q 1- Q 5
  • Q B Q 2 -Q 6
  • Q C Q 3- Q 7
  • Q D Q 4- Q 8
  • the arithmetic circuit 12 calculates the following values as reference values for calculating the distance for each zone.
  • Q AB Q A + Q B
  • Q BC Q B + Q C
  • Q CD Q C + Q D
  • Q AdC Q A- Q C
  • Q BdD Q B- Q D
  • Q AC Q A + Q C
  • Q BD Q B + Q D
  • Q ABC Q A + Q B + Q C
  • Q BCD Q B + Q C + Q D
  • Q CDdA Q C + Q D- Q A
  • Q DdAdB Q D- Q A- Q B
  • each zone determination signal Q A to Q D is compared with two threshold values Q TH + and Q TH- by the arithmetic circuit 12 to compare three values ( ⁇ 1, 0, 1) of comparison signals P A to P D Is generated. That is, each of the comparison signals P A ⁇ P D, is set to the value "-1" if the zone determination signal Q A ⁇ Q D is less than the threshold Q TH-, zone determination signal Q A ⁇ Q D is the threshold in the case of Q TH- above and the threshold value Q TH + less is set to the value "0", if the zone determination signal Q a ⁇ Q D exceeds the threshold value Q TH + is set to the value "1".
  • the distance calculation reference signal selection means 37 selects two values corresponding to the distance zone from among the values calculated in advance as distance calculation reference signals used for distance calculation. At this time, the distance calculation reference signal to be selected may be calculated in advance, or may be calculated again after the zone determination. In FIG.
  • the values indicated by black circles indicate the values used as the denominator in the process of distance calculation among the values selected corresponding to each zone, and the values indicated by white circles are values selected corresponding to each zone Shows the value used as a numerator in the process of distance calculation. For example, if it is determined that the zone Z 0, the distance calculation reference signal Q AC is selected as the value to be used as the denominator, the distance calculation reference signal Q BC is selected as the value to be used as a molecule. If it is determined that the zone Z 13, distance calculation reference signal Q BCD as a value to be used as the denominator is selected and distance calculation reference signal Q DdAdB is selected as the value to be used as a molecule.
  • a distance calculation reference signal may be selected as the value of the numerator such that no change point (inflection point) in the rate of change occurs at the boundary.
  • the reason for using a distance calculation reference signal that does not cause a change point (rate of change) in the rate of change at the zone boundary is to prevent the calculation value from becoming discontinuous at the boundary between two zones.
  • a distance calculation reference signal that has a constant value from the short distance side to the long distance side of each zone may be selected as the value of the denominator.
  • the distance image generation means 38 of the arithmetic circuit 12 of this modification uses the distance calculation reference signal selected by the distance calculation reference signal selection means 37 to determine the distance L of the object S in each of the determined zones Z 0 corresponds to ⁇ Z 13, is calculated using the following equation.
  • c represents the speed of light.
  • Zone Z 2 , Zone Z 3 : L (1/2) cT 0 ⁇ (Q AB / Q AdC ) +2 ⁇
  • the amplitudes (light intensities) of the pulses of the two pulse lights are set to be the same, the amplitudes of the two pulse lights are changed, for example, the amplitude of the first pulse light is It may be set smaller than the amplitude of the pulsed light.
  • FIG. 24 is a timing chart of various signals handled in the distance calculation procedure according to the modification in such a case
  • FIGS. 25 and 26 are delay times of various values calculated in the distance calculation procedure of this modification. is a graph showing changes with respect to T D.
  • FIG 24 the control pulse G 1 ⁇ G 8 applied to eight control electrodes, a timing of the control pulse G D, and two pulse light L P, in Figure 25, read from the eight charge readout area values of the first to eighth detection signals Q 1 to Q 8, and the value of the calculated intermediate calculation signal based on those, shown in correspondence with the delay time T D, in Figure 26, the distance calculation The value of the underlying distance calculation reference signal is shown corresponding to the delay time T D.
  • the light source control means 31 of the arithmetic circuit 12 two pulse light L between the second pulse light of the first pulse light and the duration of duration T 0 T 0 It is controlled to generate P with a time difference 7T 0 .
  • the charge transfer control means 32 of the arithmetic circuit 12 together with the control pulses G D for charge draining immediately before occurrence of the first pulse light duration T 0 is turned off, starting generation of the first pulse light after the control pulse G 1 duration 7T 0 is applied between the timing of the generation start timing of the second pulse light, the control pulse G 2 ⁇ duration T 0 in synchronism with the generation of the second pulse light G 8 is applied in order so as not to overlap each other.
  • the first to eighth detection signals Q 1 to Q 8 read out from the eight charge reading regions fluctuate according to the delay time T D (FIG. 25). ).
  • these first to eighth detection signals Q 1 to Q 8 are referred to as zone determination signals for determining a zone of the distance of the object S.
  • First combination of magnitude of the values of the detection signals Q 1, another one of the signals Q 2 ⁇ Q 8 is determined for each delay time T D, such properties of these zones determination signal
  • the zone of the distance of the object S can be determined by using.
  • each signal Q 1 to Q 8 is compared with a preset threshold value Q TH by the distance calculation reference signal selection means 37 of the arithmetic circuit 12, and the comparison result of the signal Q 1 and other signals Q 2 to Q
  • the zone of the distance of the object S is determined from among the zones Z 1 to Z 12 by determining which of the following combinations the comparison result regarding 8 corresponds to: (FIG. 25).
  • Zone Z 1 Q 1 QQ TH and Q 3 QQ TH
  • Zone Z 2 Q 1 QQ TH and Q 4 QQ TH
  • Zone Z 3 Q 1 QQ TH and Q 5 QQ TH
  • Zone Z 4 Q 1 QQ TH and Q 6 QQ TH
  • Zone Z 5 Q 1 QQ TH and Q 7 QQ TH
  • Zone Z 6 Q 1 QQ TH and Q 8 QQ TH
  • Zone Z 7 Q 1 ⁇ Q TH and Q 2 QQ TH
  • Zone Z 8 Q 1 ⁇ Q TH and Q 3 QQ TH
  • Zone Z 9 Q 1 ⁇ Q TH and Q 4 QQ TH
  • Zone Z 10 Q 1 ⁇ Q TH and Q 5 QQ TH
  • Zone Z 11 Q 1 ⁇ Q TH and Q 6 QQ TH
  • Zone Z 12 Q 1 ⁇ Q TH and Q 7 QQ TH
  • intermediate operation signals Q 25 , Q 36 , Q 47 , and Q 58 (FIG. 25) for distance calculation are calculated by operation circuit 12 based on signals Q 1 to Q 8 according to the following equations
  • Distance calculation reference signals Q A to Q L (FIG. 26) to be referred to for distance calculation for each zone based on the intermediate operation signal of are calculated by the following equation.
  • the distance calculation reference signal selection means 37 selects two of the distance calculation reference signals Q A to Q L calculated in advance as distance calculation reference signals used for distance calculation, corresponding to the distance zone. Choose a value. At this time, the distance calculation reference signal to be selected may be calculated in advance, or may be calculated again after the zone determination.
  • the values indicated by black circles indicate the values used as the denominator in the process of distance calculation among the values selected corresponding to each zone, and the values indicated by white circles are values selected corresponding to each zone Shows the value used as a numerator in the process of distance calculation.
  • the distance calculation reference signal Q H is selected as the value to be used as the denominator
  • the distance calculation reference signal Q D as a value to be used as the molecule is selected.
  • distance calculation reference signal Q E is selected as the value to be used as a molecule.
  • the selection method of the distance calculation reference signal shown in FIG. 26 is an example, and changes linearly with respect to the delay time T D from the short distance side to the long distance side of each zone, and the inside or zone A distance calculation reference signal may be selected as the value of the numerator such that no change point (inflection point) in the rate of change occurs at the boundary.
  • the reason for using a distance calculation reference signal that does not cause a change point (rate of change) in the rate of change at the zone boundary is to prevent the calculation value from becoming discontinuous at the boundary between two zones.
  • a distance calculation reference signal that has a constant value from the short distance side to the long distance side of each zone may be selected as the value of the denominator.
  • the distance image generation means 38 of the arithmetic circuit 12 of this modification uses the distance calculation reference signal selected by the distance calculation reference signal selection means 37 to determine the distance L of the object S in each of the determined zones Z 1 corresponds to ⁇ Z 12, is calculated using the following equation.
  • c represents the speed of light.
  • the amplitudes (light intensities) of the pulses of the two pulse lights are set to be the same in this modification as well, the amplitudes of the two pulse lights are changed, for example, the amplitude of the first pulse light is changed to the second It may be set smaller than the amplitude of the pulsed light.
  • the distance calculation means obtains the distance calculation reference value by calculating the ratio of the difference between two of the first to Mth detection signals and the total value of the signal components. Then, according to the comparison result between the distance calculation reference value and the predetermined second threshold value, it is judged whether the distance calculation reference value is valid or not, and if the distance calculation reference value is valid, the distance calculation reference value is used.
  • the distance may be calculated. In this case, it can be appropriately determined whether the object is located outside the measurable range, and the distance can be calculated with high accuracy based on the determination result.
  • the distance calculation means obtains a first distance calculation reference value by calculating a ratio of a difference between one of the first to M-th detection signals and a sum of signal components
  • a second distance calculation reference value is obtained by calculating a ratio of a difference between another set of detection signals among the first to Mth detection signals and a total value of signal components
  • a first distance calculation reference value The distance may be calculated by selecting either the first distance calculation reference value or the second distance calculation reference value in accordance with the comparison result of and the predetermined third threshold value. In this case, the distance can be calculated using an appropriate reference value corresponding to the range in which the object is located, and as a result, an accurate image signal can be generated regardless of the position of the object.
  • the pixel circuit unit includes a charge discharging region for discharging the charge stored in the photoelectric conversion region, and a control electrode for applying a control pulse for charge transfer between the photoelectric conversion region and the charge discharging region. And may be further included. This makes it possible to prevent the charges generated in the photoelectric conversion region from being transferred to the first to Mth charge readout regions in the period in which the first to Mth control pulses are not applied.
  • the distance calculation means may generate an identification value indicating whether the calculation of the distance is invalid. In this case, it can be easily determined whether the distance calculation is effective.
  • the charge transfer control means, the circuit between the charge transfer control means and the first to Mth control electrodes, and a part of the circuit between the charge transfer control means and the light source control means are pixel circuits. It may be formed on the same semiconductor as the part or on the semiconductor stacked for the pixel circuit part. In this case, the resolution of distance calculation can be easily improved.
  • the pixel circuit unit may include an image sensor arranged in a two-dimensional array. According to this configuration, it is possible to generate a distance image including highly accurate two-dimensional distance information regardless of the position of the object.
  • One aspect of the present invention is to use a distance image measuring device and a distance image measuring method for generating a distance image including distance information for each pixel, and to generate an image signal with high accuracy regardless of the position of an object. It is possible.
  • SYMBOLS 10 10A ... distance image sensor (distance image measuring device) 11, 11 light source, 12 arithmetic circuit, 13 pixel circuit (pixel circuit unit) 21 photoelectric conversion area 22 1 to 22 4 charge readout area 24 1 to 24 4 ... Control electrode, 26 1 to 26 4 ... Voltage detection means, 31 ... Light source control means, 32, 32 A ... Charge transfer control means, 33, 33 A ... Distance data validity judgment signal generation means, 34, 34 A ... Distance data validity determination means, 35: invalid pixel identification value generation means, 36, 36A: distance calculation reference signal generation means, 37, 37A ... distance calculation reference signal selection means, 38: distance image generation means.

Abstract

距離画像センサ１０は、光源１１と、光源１１を制御する光源制御手段３１と、光電変換領域２１、電荷読出領域２２１～２２３、及び制御電極２４１～２４３を有する画素回路１３と、制御電極２４１～２４３に制御パルスを順次印加する電荷転送制御手段３２と、電荷読出領域２２１～２２３の電圧を検出信号Ｓ１～Ｓ３として読み出し、検出信号Ｓ１～Ｓ３を基に距離を繰り返し計算する距離計算手段とを備え、距離計算手段は、検出信号Ｓ１～Ｓ３のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値ＳＡを計算し、合計値ＳＡが第１の閾値Ｔｈ１を超えた場合には、検出信号Ｓ１～Ｓ３から所定の計算式を用いて距離を計算し、合計値ＳＡが第１の閾値Ｔｈ１を超えていない場合には、距離の計算を無効とする。

Description

距離画像測定装置及び距離画像測定方法
　本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法に関する。
　従来から、光の飛行時間を用いて距離情報を含む画像信号を生成するセンサ装置が用いられている（例えば、下記特許文献１参照）。このセンサは、時間軸上に配列された第１～第５フレームにおいて第１～第５のパルスの列を照射パルスとして対象物に照射し、ピクセルアレイにおいて対象物の距離情報を含む画像信号を生成する。このような構成により、距離分解能を低下させることなく距離計測範囲を拡大することができる。
特開２０１０－３２４２５号公報
　しかしながら、上述した従来のセンサ装置では、対象物が測定可能範囲外に位置する場合、偽の距離情報を含む画像信号を生成してしまう場合があった。すなわち、同一の対象物に対して複数回計算した距離情報のうち、どれが真の情報なのかの判断が難しいため、結果として画像信号に含まれる距離情報の精度が低下する場合があった。
　本発明の一側面は、上記課題に鑑みて為されたものであり、対象物の位置にかかわらず精度の高い画像信号を生成することが可能な距離画像測定装置及び距離画像測定方法を提供することを目的とする。
　上記課題を解決するため、本発明の一形態にかかる距離画像測定装置は、パルス光を発生させる光源と、第１の持続時間を有するパルス光を１フレーム期間内で繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは３以上の整数）の電荷読出領域、及び光電変換領域と第１～第Ｍの電荷読出領域とに対応してそれぞれ設けられ、光電変換領域と第１～第Ｍの電荷読出領域との間における電荷転送のための第１～第Ｍの制御パルスを印加するための第１～第Ｍの制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、第１の持続時間以上である第２の持続時間の間だけ第１の制御電極に第１の制御パルスを印加した後、第２の持続時間の間だけ第２～第Ｍの制御電極に第２～第Ｍの制御パルスを順次印加する電荷転送制御手段と、電荷転送制御手段による第１～第Ｍの制御パルスの印加後に、画素回路部の第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出手段と、第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、距離計算手段は、第１～第Ｍの検出信号を基に、第１～第Ｍの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値を計算し、信号成分の合計値が所定の第１の閾値を超えた場合には、第１～第Ｍの検出信号から所定の計算式を用いて距離を計算し、信号成分の合計値が第１の閾値を超えていない場合には、距離の計算を無効とする。
　あるいは、本発明の他の形態にかかる距離画像測定方法は、光源制御手段が、第１の持続時間を有するパルス光を１フレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは３以上の整数）の電荷読出領域、及び光電変換領域と第１～第Ｍの電荷読出領域とに対応して設けられた第１～第Ｍの制御電極を有する画素回路部を用いて、電荷転送制御手段が、光源制御手段によるパルス光の発生に対応して、第１の持続時間以上である第２の持続時間の間だけ第１の制御電極に、電荷の転送を制御するための第１の制御パルスを印加した後、第２の持続時間の間だけ第２～第Ｍの制御電極に、電荷の転送を制御するための第２～第Ｍの制御パルスを順次印加する電荷転送制御ステップと、電荷検出手段が、電荷転送制御手段による第１～第Ｍの制御パルスの印加後に、画素回路部の第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出ステップと、距離計算手段が、第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、距離計算ステップでは、第１～第Ｍの検出信号を基に、第１～第Ｍの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値を計算し、信号成分の合計値が所定の第１の閾値を超えた場合には、第１～第Ｍの検出信号から所定の計算式を用いて距離を計算し、信号成分の合計値が第１の閾値を超えていない場合には、距離の計算を無効とする。
　上記形態の距離画像測定装置あるいは距離画像測定方法によれば、１フレーム期間内で光源から繰り返しパルス光が発生し、パルス光の発生に対応して、パルス光の持続時間以上の第２の持続時間の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路部の光電変換領域から第１～第Ｍの電荷読出領域に順次電荷が転送される。さらに、画素回路部の第１～第Ｍの電荷読出領域から第１～第Ｍの検出信号が読み出され、それらをもとに第１～第Ｍの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値が計算され、その信号成分の合計値と第１の閾値との比較結果をもとに、第１～第Ｍの検出信号を用いた距離計算の有効／無効が判断される。その結果、その判断結果を用いることで、有効な距離計算の結果が反映された距離画像が生成可能とされ、対象物の位置にかかわらず精度の高い画像信号を生成することができる。
　本発明の一側面によれば、対象物の位置にかかわらず精度の高い画像信号を生成することができる。
本発明の第１実施形態に係る距離画像センサ１０の概略構成を示すブロック図である。 図１の距離画像センサ１０による距離計算の原理を説明するためのタイミングチャートである。 図１の距離画像センサ１０によって扱われる各種信号のタイミングチャート、及び距離画像センサ１０によって計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 図１の距離画像センサ１０による別の計算手順で扱われる各種信号のタイミングチャート、及び、距離画像センサ１０による別の計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 図１の距離画像センサ１０によって入射パルス光ＬＲの遅れ時間ＴＤに対応して検出された第１～第３の検出信号Ｓ１～Ｓ３及びそれらの信号の合計値ＳＴＯＴＡＬの強度を示すグラフである。 、対象物Ｓの実測距離ごとに図１の距離画像センサ１０によって測定された距離および距離分解能を示すグラフである。 対象物Ｓの実測距離ごとに図１の距離画像センサ１０によって測定された距離および距離分解能を示すグラフである。 図１の距離画像センサ１０によって実行された距離計算における距離分解能の特性を示すグラフである。 図１の距離画像センサ１０によって測定された距離を実測距離と比較して示すグラフである。 本発明の第２実施形態に係る距離画像センサ１０Ａの概略構成を示すブロック図である。 図１０の距離画像センサ１０Ａによる距離計算の原理を説明するためのタイミングチャートである。 図１０の距離画像センサ１０Ａによって扱われる各種信号のタイミングチャート、及び距離画像センサ１０Ａによって計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 図１０の距離画像センサ１０Ａによって扱われる各種信号のタイミングチャート、及び距離画像センサ１０Ａによって計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 （ａ）は、４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャート、（ｂ）は、距離計算の対象物Ｓの存在エリアを示す図である。 ４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャートである。 ４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャートである。 図１０の距離画像センサ１０Ａによって算出された距離情報の距離分解能を理論値と比較して示すグラフである。 図１０の距離画像センサ１０Ａによって入射パルス光ＬＲの遅れ時間ＴＤに対応して検出された第１～第４の検出信号Ｓ１～Ｓ４及びそれらの信号の合計値ＳＴＯＴＡＬの強度を示すグラフである。 図１０の距離画像センサ１０Ａによって対象物Ｓの実測距離ごとに測定された距離を示すグラフである。 図１０の距離画像センサ１０Ａによって測定された距離の分解能を示すグラフである。 本発明の変形例の距離計算手順で扱われる各種信号のタイミングチャートである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 本発明の変形例の距離計算手順で扱われる各種信号のタイミングチャートである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。
　以下、図面を参照しつつ本発明に係る距離画像測定装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
［第１実施形態］
　まず、図１を参照して、本発明の距離画像測定装置の第１実施形態に係る距離画像センサ１０の機能および構成を説明する。図１に示す距離画像センサ１０は、飛行時間法を利用して画素毎に距離情報を含む距離画像を生成する装置であり、光源１１と、演算回路１２と、複数の画素回路（画素回路部）１３とを備える。光源１１は、飛行時間（ＴＯＦ：Time　Of　Flight）方式による距離計測を行うために、対象物Ｓに照射するパルス光ＬＰを発生させる装置である。光源１１は、例えば、発光ダイオードあるいはレーザダイオード等の半導体発光素子とその半導体発光素子を駆動する駆動回路とによって構成される。光源１１としては、近赤外領域、可視光領域等の波長領域の光を発生させる素子を用いることができる。さらに、距離画像センサ１０は複数の画素回路１３を備える。複数の画素回路１３は、２次元方向（例えば、列方向および行方向）に２次元アレイ状に配列されてイメージセンサを構成し、対象物Ｓによってパルス光ＬＰが反射されて生じた入射パルス光ＬＲを光電変換することにより検出信号を生成する。加えて、距離画像センサ１０は、演算回路１２も備えている。演算回路１２は、複数の画素回路１３によって生成された検出信号を用いて、対象物Ｓに関する距離情報を画素ごとに演算し、画素ごとの距離情報が反映された２次元画像情報を含む距離画像を生成及び出力する。演算回路１２は、ＣＰＵ，ＲＡＭ、ＲＯＭ、および入出力装置等を含むワンチップマイクロコンピュータ等の専用の集積回路によって構成されてもよいし、パーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
　以下、画素回路１３および演算回路１２の構成について詳細に説明する。
　まず、画素回路１３の構成について説明する。画素回路１３は、半導体素子によって構成され、入射パルス光ＬＲを電荷に変換する機能を有する光電変換領域２１と、光電変換領域２１に近接し、かつ互いに離間して設けられた第１～第３の電荷読出領域２２１～２２３及び電荷排出領域２３と、第１～第３の電荷読出領域２２１～２２３及び電荷排出領域２３のそれぞれに対応して設けられ、光電変換領域２１からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第１～第３の制御電極２４１～２４３および制御電極２５と、第１～第３の電荷読出領域２２１～２２３のそれぞれから検出信号を読み出すための電圧検出手段２６１～２６３とを含んでいる。電圧検出手段２６１～２６３は、例えば、ソースフォロワアンプを含む増幅器であり、演算回路１２からの制御によって、選択的にそれぞれの電荷読出領域２２１～２２３の基準電位を基準にした電圧を検出および増幅し、増幅した電圧を第１～第３の検出信号として演算回路１２に出力する。
　画素回路１３は、例えば、シリコン基板等のｐ型半導体基板上に形成される。すなわち、光電変換領域２１は、ｐ型半導体基板上に順に形成された、ｐ型の半導体からなる活性領域形成層、ｎ型の表面埋込領域、ｐ型のピニング層、及び絶縁膜からなる画素形成領域の中央部に設けられる。そして、光電変換領域２１に近接するように互いに離間した位置に活性領域形成層よりも高不純物濃度のｎ型の電荷読出領域２２１～２２３及び電荷排出領域２３が形成され、絶縁膜上の光電変換領域２１から電荷読出領域２２１～２２３及び電荷排出領域２３のそれぞれに至る電荷移動経路上のそれぞれには、制御電極２４１～２４３，２５が設けられる。ここで、制御電極２４１～２４３，２５は、それぞれ、電荷移動経路上に設けられてもよいし、電荷移動経路を両側から挟むように複数の電極部に分離して設けられてもよい。
　上記構成の画素回路１３においては、後述する演算回路１２から制御電極２４１～２４３，２５に対して、互いに位相の異なる制御パルスが印加される。これにより、表面埋込領域の空乏化電位を順次変化させることにより、電荷移動経路のいずれかに電荷が輸送されるような電位勾配を順次形成して、光電変換領域２１の表面埋込領域で発生した多数キャリア（電荷）を、電荷読出領域２２１～２２３及び電荷排出領域２３のいずれかに移動させる。
　次に、演算回路１２の構成について説明する。演算回路１２は、機能的な構成要素として、光源制御手段３１、電荷転送制御手段３２、距離データ有効性判定信号生成手段３３、距離データ有効性判定手段３４、無効画素識別値生成手段３５、距離計算参照信号生成手段３６、距離計算参照信号選択手段３７、及び距離画像生成手段３８を含んで構成される。距離データ有効性判定信号生成手段３３、距離データ有効性判定手段３４、無効画素識別値生成手段３５、距離計算参照信号生成手段３６、距離計算参照信号選択手段３７、及び距離画像生成手段３８は、本実施形態の距離計算手段を構成する。
　演算回路１２の光源制御手段３１は、光源１１によるパルス光ＬＰの発光タイミング、パルス光ＬＰの強度、及びパルス光ＬＰのパルス幅を制御する。具体的には、持続時間Ｔ０のパルス光ＬＰを、予め設定された距離計算の繰り返し期間である１フレームの期間内で繰り返し発生させるように制御する。電荷転送制御手段３２は、制御電極２４１～２４３，２５のそれぞれに、第１～第３の制御パルスＧ１～Ｇ３及び制御パルスＧＤを印加する機能を有する。すなわち、電荷転送制御手段３２は、１フレーム期間内のパルス光ＬＰのそれぞれの発生タイミングに対応して、持続時間Ｔ０以上である持続時間Ｔ１の間だけ制御電極２４１～２４３に順次第１～第３の制御パルスＧ１～Ｇ３を印加する。本実施形態では、持続時間Ｔ１は持続時間Ｔ０と等しくなるように設定される。また、電荷転送制御手段３２は、第１～第３の制御パルスＧ１～Ｇ３の一連の印加タイミングの前において、光電変換領域２１に蓄積された電荷を電荷排出領域２３に排出させるための制御パルスＧＤを制御電極２５に印加する。
　なお、パルス光ＬＰの飛行時間を用いた距離計算の分解能１５ｃｍは飛行時間１ｎｓに相当し、この分解能を下回るためには目安としてｐｓオーダーの時間精度を持つ制御手段が必要となる。それ故に、電荷転送制御手段３２と光源制御手段３１は、画素回路１３と一体での配線容量などを考慮した設計が必要になってくるため、画素回路１３と一体の半導体上に形成することが望ましい。なお、「一体の半導体上」とは、ＳＯＩ（Ｓｉｌｉｃｏｎ　Ｏｎ　Ｉｎｓｕｌａｔｏｒ）技術やＴＳＶ（Ｔｈｒｏｕｇｈ　Ｓｉｌｉｃｏｎ　Ｖｉａ）技術を用いて積層された複数の半導体層のうちの異なる半導体上も含まれる。具体的には、電荷転送制御手段３２と、電荷転送制御手段３２と制御電極２４１～２４３，２５との間の回路と、電荷転送制御手段３２と光源制御手段３１との間の回路の一部とは、画素回路１３と同一の半導体上、あるいは画素回路１３とともに積層された半導体層上に形成されていてもよい。
　演算回路１２の距離計算手段は、各画素回路１３ごとの距離の計算をパルス光ＬＰの発光タイミングに対応して繰り返し実行し、その結果得られた距離情報を含む距離画像を繰り返し生成する。距離計算手段を構成する距離データ有効性判定信号生成手段３３は、パルス光ＬＰの発光タイミングに対応して画素回路１３から出力された第１～第３の検出信号Ｓ１～Ｓ３を基に、第１～第３の検出信号Ｓ１～Ｓ３のうち、背景光の信号成分を除いた入射パルス光ＬＲから発生した電荷の信号成分の合計値を、距離データ有効性判定信号ＳＡとして生成する。この距離データ有効性判定信号ＳＡは、第１～第３の検出信号Ｓ１～Ｓ３が入射パルス光ＬＲを強く反映したものであるかを示す信号であり、第１～第３の検出信号Ｓ１～Ｓ３を基にした距離の計算が有効であるかを判定するための信号である。距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡを基に、第１～第３の検出信号Ｓ１～Ｓ３を基にした距離の計算が有効であるかを判定する。具体的には、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡを所定の閾値（第１の閾値）Ｔｈ１と比較し、距離データ有効性判定信号ＳＡが閾値Ｔｈ１を超えた場合には距離の計算が有効であると判定し、距離データ有効性判定信号ＳＡが閾値Ｔｈ１以下である場合には距離の計算が無効であると判定する。無効画素識別値生成手段３５は、距離データ有効性判定手段３４の判定結果を基に、画素回路１３に対応する画素ごとに距離計算が無効であるか否かを示す識別値を生成する。
　距離計算手段のうちの距離計算参照信号生成手段３６は、パルス光ＬＰの発光タイミングに対応して画素回路１３から出力された第１～第３の検出信号Ｓ１～Ｓ３を基に、距離の計算の基礎となる距離計算参照信号ＸＲとして生成する。具体的には、距離計算参照信号生成手段３６は、２つの検出信号Ｓ１，Ｓ３の差と距離データ有効性判定信号ＳＡとの比を計算することにより、距離計算参照信号ＸＲを生成する。距離計算参照信号選択手段３７は、距離計算参照信号ＸＲを基に対象物Ｓの位置が測定可能な範囲か否かを判定し、測定可能な範囲である場合に距離計算参照信号ＸＲを有効な値として距離画像生成手段３８に出力する。例えば、距離計算参照信号選択手段３７は、距離計算参照信号ＸＲの値を所定の閾値（第２の閾値）Ｔｈ２と比較し、その比較結果に応じて距離計算参照信号ＸＲの有効／無効を判定する。距離画像生成手段３８は、距離計算が有効であると判定された場合は、各画素回路１３に関して距離計算参照信号選択手段３７によって選択された距離計算参照信号ＸＲを参照して距離情報を算出する。そして、距離画像生成手段３８は、各画素回路１３に対応する距離情報を含む距離画像を生成して外部装置に出力する。出力先の外部装置としては、例えば、表示装置、通信インターフェース装置等の出力デバイスが挙げられる。この際、距離画像生成手段３８は、距離情報が無効であることを示す識別値が生成された画素あるいは距離計算参照信号ＸＲが測定可能範囲外であると判定された画素については距離画像に無効値を埋め込むことができる。
　図２は、距離画像センサ１０による距離計算の原理を説明するためのタイミングチャートである。図２には、距離画像センサ１０によって制御される各種信号のタイミングおよび画素回路１３の各領域に電荷が蓄積されるタイミングを示しており、上から順番に、パルス光ＬＰの発光タイミング、第１～第３の制御パルスＧ１～Ｇ３及び制御パルスＧＤの印加タイミング、第１～第３の電荷読出領域２２１～２２３における電荷蓄積タイミングを示している。このように、パルス光ＬＰの持続時間Ｔ０の発光タイミングに対応して、第１～第３の制御パルスＧ１～Ｇ３が互いに重ならないように続けて持続時間Ｔ０で印加されている。このようにすれば、入射パルス光ＬＲが光電変換されることにより光電変換領域２１に蓄積された電荷が、入射パルス光ＬＲのパルス光ＬＰに対する遅れ時間ＴＤに対応した比率で、２つの電荷読出領域２２２，２２３に分配される。ここでは、パルス光ＬＰの持続時間Ｔ０の発光タイミングと、第１の制御パルスＧ１の印加タイミングとの関係を設定することで、電荷読出領域２２１には、制御パルスＧ１で規定される時間ウィンドウで背景光及び暗電流等のノイズに起因する電荷量ＮＢの電荷のみが輸送される。これに対して、電荷読出領域２２２には、制御パルスＧ２で規定される時間ウィンドウで、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ１が加算された電荷が輸送される。一方、電荷読出領域２２３には、制御パルスＧ３で規定される時間ウィンドウで、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ２が加算された電荷が輸送される。このような現象を利用して、距離画像センサ１０の演算回路１２においては、パルス光ＬＰのそれぞれの発光タイミングに応じて、電荷量ＮＢを除いた電荷量Ｎｓｍ１と電荷量ＮＢを除いた電荷量Ｎｓｍ２との比率を計算することにより、遅れ時間ＴＤに対応した対象物Ｓの距離を計算することができる。
　次に、距離画像センサ１０による距離計算の手順の詳細を説明するとともに、本実施形態にかかる距離画像測定方法（以下では、「３タップ１ゾーン方式」とも言う。）について説明する。図３は、距離画像センサ１０によって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図３において、（ａ）部から（ｄ）部には、それぞれ、制御パルスＧ１～Ｇ３及びパルス光ＬＰのタイミングを示し、（ｅ）部～（ｊ）部には、それぞれ、第１～第３の検出信号Ｓ１～Ｓ３の値、差分値Ｓ３－１の値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号ＸＲの値を、遅れ時間ＴＤに対応して示し、（ｋ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｌ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。ここで、遅れ時間ＴＤは、パルス光ＬＰの持続時間Ｔ０で規格化した値で示されている。
　まず、距離画像センサ１０による距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２によって、１フレームの期間内で制御パルスＧ１～Ｇ３及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、制御パルスＧ１～Ｇ３が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、パルス光ＬＰのタイミングが制御パルスＧ２のタイミングにほぼ重複するように設定される。その後、各画素回路１３の電圧検出手段２６１～２６３によって、第１～第３の検出信号Ｓ１～Ｓ３が読み出され、それらの検出信号Ｓ１～Ｓ３が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ３を基に、演算回路１２によって画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１～Ｓ３を基に、下記式（１）；
ＳＡ＝Ｓ２＋Ｓ３－２Ｓ１…（１）
を用いて、距離データ有効性判定信号ＳＡの値が計算される。上記式（１）では、検出信号Ｓ１～Ｓ３の示す信号の値（電圧値）が、そのまま記号Ｓ１～Ｓ３で示されている（以下同様）。この距離データ有効性判定信号ＳＡの値は、検出信号Ｓ２，Ｓ３の値の合計値から、背景光及び暗電流等のノイズに起因する電荷量ＮＢの成分を除いた値となっており、検出信号Ｓ１～Ｓ３のうちで入射パルス光ＬＲを反映した成分の合計値となっている。そして、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ３を用いた距離の計算が有効であるか否かを判定する。これにより、図３の（ｋ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“１”～“２”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６によって、検出信号Ｓ１とＳ３との差の値Ｓ３－１が下記式（２）；
Ｓ３－１＝Ｓ３－Ｓ１…（２）
を用いて計算された後に、差の値Ｓ３－１と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（３）；
ＸＲ＝Ｓ３－１／ＳＡ…（３）
を用いて距離計算参照信号ＸＲの値が計算される。
　次に、距離計算参照信号選択手段３７により、距離計算参照信号ＸＲの値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号ＸＲの値が“０”以上閾値Ｔｈ２以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値が飽和してしまった場合、及び、対象物Ｓが遠すぎて検出信号Ｓ３の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値に距離が反映されていない場合を、距離計算から除外することができる。図３の（ｌ）部に示す例では、遅れ時間ＴＤの“０”から“１”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関する距離計算参照信号ＸＲを基に対象物Ｓの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。このような距離画像の生成は、１フレームの期間ごとに繰り返される。
　上述した距離画像センサ１０による距離計算は、次のような別の手順（以下では、「３タップ２ゾーン方式」とも言う。）で行われてもよい。この手順によれば、遅れ時間ＴＤにおける「データ有効範囲」および「測定可能範囲」を広げることができる。図４は、距離画像センサ１０による別の計算手順で扱われる各種信号のタイミングチャート、及び別の計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図４において、（ａ）部から（ｄ）部には、それぞれ、制御パルスＧ１～Ｇ３及びパルス光ＬＰのタイミングを示し、（ｅ）部～（ｍ）部には、それぞれ、第１～第３の検出信号Ｓ１～Ｓ３の値、差分値Ｓ１－３の値、差分値の絶対値｜Ｓ１－３｜、加算値の絶対値｜Ｓ１＋３｜、ノイズに起因する信号成分ＳＢの値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号ＸＲの値を、遅れ時間ＴＤに対応して示し、（ｎ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｏ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。
　まず、距離画像センサ１０による距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２によって、１フレームの期間内で制御パルスＧ１～Ｇ３及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、制御パルスＧ１～Ｇ３が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、パルス光ＬＰのタイミングが制御パルスＧ１のタイミングにほぼ重複するように設定される。その後、各画素回路１３の電圧検出手段２６１～２６３によって、第１～第３の検出信号Ｓ１～Ｓ３が読み出され、それらの検出信号Ｓ１～Ｓ３が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ３を基に、演算回路１２によって画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１，Ｓ３を基に、下記式（４）；
Ｓ１－３＝Ｓ１－Ｓ３…（４）
を用いて、検出信号Ｓ１，Ｓ３の差分値Ｓ１－３が計算されてから、その差分値の絶対値｜Ｓ１－３｜が計算される。加えて、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１，Ｓ３の加算値の絶対値｜Ｓ１＋３｜が下記式（５）；
｜Ｓ１＋３｜＝｜Ｓ１＋Ｓ３｜…（５）
を用いて計算された後、加算値の絶対値｜Ｓ１＋３｜と差分値の絶対値｜Ｓ１－３｜との差分が求められることにより、下記式（６）；
ＳＢ＝｜Ｓ１＋３｜－｜Ｓ１－３｜…（６）
を用いてノイズに起因する信号成分ＳＢの値が計算される。さらに、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１～Ｓ３と信号成分ＳＢの値とを基に、下記式（７）；
ＳＡ＝｜Ｓ１－３｜＋Ｓ２－０．５ＳＢ…（７）
を用いて、距離データ有効性判定信号ＳＡの値が計算される。そして、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ３を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図４の（ｎ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“２”～“３”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６によって、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（８）；
ＸＲ＝１－Ｓ１－３／ＳＡ…（８）
を用いて距離計算参照信号ＸＲの値が計算される。
　次に、距離計算参照信号選択手段３７により、距離計算参照信号ＸＲの値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号ＸＲの値が“０”以上閾値Ｔｈ２以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値が飽和してしまった場合、及び、対象物Ｓが遠すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Ｔｈ２を“２”近傍に設定することにより、図４の（ｏ）部に示すように、遅れ時間ＴＤの“０”から“２”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関する距離計算参照信号ＸＲを基に対象物Ｓの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。このような距離画像の生成は、１フレームの期間ごとに繰り返される。
　上述した手順によれば、検出信号Ｓ１～Ｓ３に対応する３つの時間ウィンドウにおいて入射パルス光ＬＲによって生じる電荷量を分配することができるので、遅れ時間ＴＤの計算可能な範囲を広げることができる。
　以上説明した距離画像センサ１０あるいは距離画像センサ１０を用いた距離画像測定方法によれば、１フレーム期間内で光源１１から繰り返しパルス光ＬＰが発生し、パルス光ＬＰの発生に対応して、パルス光ＬＰの持続時間Ｔ０以上の持続時間Ｔ１の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路１３の光電変換領域２１から第１～第３の電荷読出領域２２１～２２３に順次電荷が転送される。さらに、画素回路１３の第１～第３の電荷読出領域２２１～２２３から第１～第３の検出信号Ｓ１～Ｓ３が読み出され、それらをもとに第１～第３の検出信号Ｓ１～Ｓ３のうちの背景光を除いた入射パルス光ＬＲから発生した電荷の信号成分の合計値ＳＡが計算され、その信号成分の合計値ＳＡと閾値Ｔｈ１との比較結果をもとに、第１～第３の検出信号Ｓ１～Ｓ３を用いた距離計算の有効／無効が判断される。その結果、その判断結果を用いることで、有効な距離計算の結果が反映された距離画像が生成可能とされ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。
　なお、本実施形態では、演算回路１２は、第１～第３の検出信号Ｓ１～Ｓ３のうちの２つの検出信号の差と信号成分の合計値ＳＡとの比を計算することにより距離計算参照信号ＸＲを求め、距離計算参照信号ＸＲと閾値Ｔｈ２との比較結果に応じて距離計算参照信号ＸＲが有効であるか否かを判断し、距離計算参照信号ＸＲが有効な場合に距離計算参照信号ＸＲを基に距離を計算している。このように処理することにより、対象物Ｓが測定可能範囲外に位置するか否かを適切に判断することができ、その判断結果をもとに高精度な距離情報を含む距離画像を生成することができる。
　以下、本実施形態における測定結果を示す。
　図５には、距離画像センサ１０によって入射パルス光ＬＲの遅れ時間ＴＤに対応して検出された第１～第３の検出信号Ｓ１～Ｓ３及びそれらの信号の合計値ＳＴＯＴＡＬの強度を示している。ここでは、図４に示した３タップ２ゾーン方式が採用され、パルス光ＬＰの持続時間Ｔ０および制御パルスＧ１～Ｇ３の持続時間Ｔ１が、ともに２２．２２［ｎｓ］に設定されている。この測定結果に示すように、検出信号Ｓ１～Ｓ３のピークが異なる遅れ時間ＴＤにおいて現れ、遅れ時間ＴＤに応じて分配された電荷量を反映して検出信号Ｓ１～Ｓ３が生成されていることがわかる。
　また、図６は、対象物Ｓの実測距離ごとに距離画像センサ１０によって測定された距離および距離分解能を示すグラフである。このとき、パルス光ＬＰの持続時間Ｔ０＝２８ｎｓ、制御パルスＧ１～Ｇ３の持続時間Ｔ１＝２９．６３ｎｓに設定し、図３に示した３タップ１ゾーン方式を採用して３０ｆｐｓの間隔で距離画像を生成させた。また、距離および距離分解能の測定結果は３０枚の距離画像で平均化した。この測定結果より、距離測定値が実測距離と０．５ｍ～４ｍの範囲でよく一致しており、距離分解能も距離測定値２ｍで５０ｍｍ以下に高くなっていることが分かった。
　同様に、図７は、対象物Ｓの実測距離ごとに距離画像センサ１０によって測定された距離および距離分解能を示すグラフである。このとき、パルス光ＬＰの持続時間Ｔ０＝１４ｎｓ、制御パルスＧ１～Ｇ３の持続時間Ｔ１＝１４．８２ｎｓに設定し、３タップ２ゾーン方式を採用して３０ｆｐｓの間隔で距離画像を生成させた。この測定結果より、距離測定値が実測距離と０．５ｍ～４ｍの範囲でよく一致しており、距離分解能も距離測定値１．５ｍで２０ｍｍ以下に高くされていることが分かった。
　図８は、３タップ１ゾーン方式あるいは３タップ２ゾーン方式を採用して距離画像センサ１０によって実行された距離計算における距離分解能の特性を示すグラフである。この特性に示すように、３タップ１ゾーン方式の場合は計測距離が長くなるにしたがって距離分解能が次第に低くなる傾向がみられるが、３タップ２ゾーン方式の場合は、計算する距離の広い範囲で距離分解能が高くされている。
　図９には、図１の距離画像センサ１０によって３タップ２ゾーン方式を採用して算出された距離を実測距離と比較して示す。このように、実測距離が４ｍまでの範囲では、算出された距離が実測距離とよく一致している。実測距離が４ｍを超えると（図９の符号Ｗ１に示す範囲）対象物Ｓが測定可能範囲外に位置することになるため、算出距離が０に近くなり検出信号Ｓ１～Ｓ３を用いた距離計算の誤差が大きくなるが、この場合は閾値判定によって距離計算が無効化されるため誤った距離画像の生成が防止される。
［第２実施形態］
　次に、本発明の第２実施形態にかかる距離画像センサ１０Ａの構成及び距離画像センサ１０Ａによる距離画像測定方法の手順について説明する。
　図１０は、距離画像センサ１０Ａの概略構成を示すブロック図である。図１０に示す距離画像センサ１０Ａは、第１実施形態にかかる距離画像センサ１０と比較して、画素回路１３が４つの電荷読出領域２２１～２２４を備え、それらに対応して４つの制御電極２４１～２４４と４つの電圧検出手段２６１～２６４を備える点、および、電荷転送制御手段３２Ａと、距離計算手段を構成する距離データ有効性判定信号生成手段３３Ａ、距離計算参照信号生成手段３６Ａ、及び距離計算参照信号選択手段３７Ａの機能が異なる。以下、距離画像センサ１０Ａの構成を、距離画像センサ１０との相違点を中心に説明する。
　画素回路１３は、光電変換領域２１に近接し、かつ互いに離間して設けられた第１～第４の電荷読出領域２２１～２２４及び電荷排出領域２３と、第１～第４の電荷読出領域２２１～２２４及び電荷排出領域２３のそれぞれに対応して設けられ、光電変換領域２１からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第１～第４の制御電極２４１～２４４及び制御電極２５と、第１～第４の電荷読出領域２２１～２２４のそれぞれから第１～第４の検出信号Ｓ１～Ｓ４を読み出すための電圧検出手段２６１～２６４とを含んでいる。電荷読出領域２２１～２２４の具体的回路構成、画素回路１３における各種領域および制御電極の形態は、第１実施形態と同様である。
　演算回路１２の電荷転送制御手段３２Ａは、１フレーム期間内のパルス光ＬＰのそれぞれの発光タイミングに対応して、持続時間Ｔ０以上である持続時間Ｔ１の間だけ制御電極２４１～２４４に順次第１～第４の制御パルスＧ１～Ｇ４を印加する。本実施形態では、持続時間Ｔ１は持続時間Ｔ０と等しくなるように設定される。また、電荷転送制御手段３２Ａは、第１～第４の制御パルスＧ１～Ｇ４の一連の印加タイミングの前において、光電変換領域２１に蓄積された電荷を電荷排出領域２３に排出させるための制御パルスＧＤを制御電極２５に印加する。
　演算回路１２の距離データ有効性判定信号生成手段３３Ａは、画素回路１３から出力された第１～第４の検出信号Ｓ１～Ｓ４を基に、第１～第４の検出信号Ｓ１～Ｓ４のうち、背景光の信号成分を除いた入射パルス光ＬＲから発生した電荷の信号成分の合計値を、距離データ有効性判定信号ＳＡとして生成する。距離計算参照信号生成手段３６Ａは、第１～第４の検出信号Ｓ１～Ｓ４のうちの一方の検出信号の組Ｓ１，Ｓ３の差の値Ｓ１－３と距離データ有効性判定信号ＳＡとの比を計算することにより第１の距離計算参照信号ＸＲを求める。加えて、距離計算参照信号生成手段３６Ａは、検出信号Ｓ１～Ｓ４のうちの他方の検出信号の組Ｓ２，Ｓ４の差の値Ｓ２－４と距離データ有効性判定信号ＳＡとの比を計算することにより第２の距離計算参照信号ＹＲを求める。そして、距離計算参照信号生成手段３６Ａは、求めた第１の距離計算参照信号ＸＲと閾値（第３の閾値）Ｔｈ２との比較結果に応じて、第１及び第２の距離計算参照信号ＸＲ，ＹＲのいずれかを選択し、選択した第１及び第２の距離計算参照信号ＸＲ，ＹＲが測定可能な範囲である場合に選択した距離計算参照信号ＸＲ，ＹＲを有効な値として距離画像生成手段３８に出力する。
　図１１は、距離画像センサ１０Ａによる距離計算の原理を説明するためのタイミングチャートである。図１１には、距離画像センサ１０Ａによって制御される各種信号のタイミングおよび画素回路１３の各領域に電荷が蓄積されるタイミングを示しており、上から順番に、パルス光ＬＰの発光タイミング、第１～第４の制御パルスＧ１～Ｇ４及び制御パルスＧＤの印加タイミング、第１～第４の電荷読出領域２２１～２２４における電荷蓄積タイミングを示している。このように、パルス光ＬＰの持続時間Ｔ０の発光タイミングに対応して、第１～第４の制御パルスＧ１～Ｇ４が互いに重ならないように続けて持続時間Ｔ０で印加されている。このようにすれば、入射パルス光ＬＲが光電変換されることにより光電変換領域２１に蓄積された電荷が、入射パルス光ＬＲのパルス光ＬＰに対する遅れ時間ＴＤに対応した比率で、２つの電荷読出領域２２２，２２３、あるいは２つの電荷読出領域２２３，２２４に分配される。ここでは、パルス光ＬＰの持続時間Ｔ０の発光タイミングと、第１の制御パルスＧ１の印加タイミングとの関係を設定することで、電荷読出領域２２１には、制御パルスＧ１で規定される時間ウィンドウで背景光及び暗電流等のノイズに起因する電荷量ＮＢの電荷のみが輸送される。これに対して、入射パルス光ＬＲの到達タイミングが制御パルスＧ２，Ｇ３で規定される２つの時間ウィンドウにまたがった場合には、電荷読出領域２２２には電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ１が加算された電荷が輸送される一方、電荷読出領域２２３には、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ２が加算された電荷が輸送される。その一方で、入射パルス光ＬＲの到達タイミングが制御パルスＧ３，Ｇ４で規定される２つの時間ウィンドウにまたがった場合には、電荷読出領域２２３には電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ１が加算された電荷が輸送される一方、電荷読出領域２２４には、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ２が加算された電荷が輸送される。このような現象を利用して、距離画像センサ１０Ａの演算回路１２においては、パルス光ＬＰのそれぞれの発光タイミングに応じて、電荷量ＮＢを除いた電荷量Ｎｓｍ１と電荷量ＮＢを除いた電荷量Ｎｓｍ２との比率を計算することにより、遅れ時間ＴＤに対応した対象物Ｓの距離を計算することができる。
　次に、距離画像センサ１０Ａによる距離計算の手順の詳細を説明するとともに、本実施形態にかかる距離画像測定方法（以下では、「４タップ３ゾーン方式」とも言う。）について説明する。図１２は、距離画像センサ１０Ａによって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図１２において、（ａ）部から（ｅ）部には、それぞれ、制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングを示し、（ｆ）部～（ｎ）部には、それぞれ、第１～第４の検出信号Ｓ１～Ｓ４の値、差分値Ｓ１－３，Ｓ２－４の値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号ＸＲ，ＹＲの値を、遅れ時間ＴＤに対応して示し、（ｏ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｐ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。
　まず、距離画像センサ１０Ａによる距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２Ａによって、１フレームの期間内で制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、制御パルスＧ１～Ｇ４が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、パルス光ＬＰのタイミングが制御パルスＧ１のタイミングにほぼ重複するように設定される。その後、各画素回路１３の電圧検出手段２６１～２６４によって、第１～第４の検出信号Ｓ１～Ｓ４が読み出され、それらの検出信号Ｓ１～Ｓ４が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ４を基に、演算回路１２によって画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３Ａによって、検出信号Ｓ１，Ｓ３を基に、下記式（９）；
Ｓ１－３＝Ｓ１－Ｓ３…（９）
を用いて、検出信号Ｓ１，Ｓ３の差分値Ｓ１－３が計算されてから、その差分値の絶対値｜Ｓ１－３｜が計算される。加えて、距離データ有効性判定信号生成手段３３Ａによって、検出信号Ｓ２，Ｓ４を基に、下記式（１０）；
Ｓ２－４＝Ｓ２－Ｓ４…（１０）
を用いて、検出信号Ｓ２，Ｓ４の差分値Ｓ２－４が計算されてから、その差分値の絶対値｜Ｓ２－４｜が計算される。さらに、距離データ有効性判定信号生成手段３３Ａによって、差分値の絶対値｜Ｓ１－３｜と差分値の絶対値｜Ｓ２－４｜が加算されることにより、下記式（１１）；
ＳＡ＝｜Ｓ１－３｜＋｜Ｓ２－４｜…（１１）
を用いて、距離データ有効性判定信号ＳＡの値が計算される。そして、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ４を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図１２の（ｏ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“３”～“４”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６Ａによって、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（１２）；
ＸＲ＝１－Ｓ１－３／ＳＡ…（１２）
を用いて第１の距離計算参照信号ＸＲの値が計算されると共に、検出信号Ｓ２とＳ４との差の値Ｓ２－４と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（１３）；
ＸＲ＝２－Ｓ２－４／ＳＡ…（１３）
を用いて第２の距離計算参照信号ＹＲの値が計算される。
　次に、距離計算参照信号選択手段３７Ａにより、距離計算参照信号ＸＲの値が所定範囲にあるか否かが判定されることにより、距離計算のために参照する値が、距離計算参照信号ＸＲと距離計算参照信号ＸＲとのうちから選択される。例えば、距離計算参照信号ＸＲの値が“０”以上閾値Ｔｈ２以下の場合は距離計算参照信号ＸＲが選択され、距離計算参照信号ＸＲの値が閾値Ｔｈ２を超えている場合は距離計算参照信号ＹＲが選択される。このような判定により、対象物Ｓの位置に応じて、入射パルス光ＬＲの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算参照信号選択手段３７Ａにより、選択された距離計算参照信号ＸＲ，ＹＲの値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号ＸＲの値が“０”以上であるか否かが判定され、距離計算参照信号ＹＲの値が閾値Ｔｈ３以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ３の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＹＲの値が飽和してしまった場合、及び、対象物Ｓが遠すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Ｔｈ３を“３”近傍に設定することにより、図１２の（ｐ）部に示すように、遅れ時間ＴＤの“０”から“３”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号ＸＲ，ＹＲを基に対象物Ｓの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
　上述した手順によれば、入射パルス光ＬＲによって生じる電荷量を検出信号Ｓ１～Ｓ４に対応する４つの時間ウィンドウに分配することができるので、遅れ時間ＴＤの計算可能な範囲を広げることができる。さらに、距離計算参照信号ＸＲ，ＹＲのうちで遅れ時間ＴＤに対して線形に変化する値を選んで距離の計算を行うので、対象物Ｓが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。
　上述した距離画像センサ１０Ａによる距離計算は、次のような別の手順（以下では、「４タップ４ゾーン方式」とも言う。）で行われてもよい。この手順によれば、遅れ時間ＴＤにおける「データ有効範囲」および「測定可能範囲」を広げることができる。図１３は、距離画像センサ１０Ａによる別の計算手順で扱われる各種信号のタイミングチャート、及び別の計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図１３において、（ａ）部から（ｅ）部には、それぞれ、制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングを示し、（ｆ）部～（ｏ）部には、それぞれ、第１～第４の検出信号Ｓ１～Ｓ４の値、差分値Ｓ１－３，Ｓ２－４の値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号Ｒ１，Ｒ２，Ｒ３の値を、遅れ時間ＴＤに対応して示し、（ｐ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｑ）部には、遅れ時間ＴＤに対応して計算される比較信号Ｐ２～Ｐ４の値、（ｒ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。
　まず、距離画像センサ１０Ａによる距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２Ａによって、１フレームの期間内で制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、制御パルスＧ１～Ｇ４が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、パルス光ＬＰのタイミングが制御パルスＧ１のタイミングにほぼ重複するように設定される。ここでは、パルス光ＬＰの点灯タイミングの直前に制御パルスＧ３がオンされてから、４つの制御パルスＧ１～Ｇ４が連続してオンされた直後に、再度制御パルスＧ１がオンされる。その後、各画素回路１３の電圧検出手段２６１～２６４によって、第１～第４の検出信号Ｓ１～Ｓ４が読み出され、それらの検出信号Ｓ１～Ｓ４が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ４を基に、演算回路１２によって画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３Ａによって、検出信号Ｓ１，Ｓ３の差分値Ｓ１－３及び検出信号Ｓ２，Ｓ４の差分値Ｓ２－４が計算される。加えて、距離データ有効性判定信号生成手段３３Ａによって、差分値Ｓ１－３及び差分値Ｓ２－４の絶対値を基に、距離データ有効性判定信号ＳＡの値が計算される。そして、距離データ有効性判定手段３４Ａは、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ４を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図１３の（ｐ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“４”～“５”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６Ａによって、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（１４）；
Ｒ１＝１－Ｓ１－３／ＳＡ…（１４）
を用いて距離計算参照信号Ｒ１の値が計算され、検出信号Ｓ２とＳ４との差の値Ｓ２－４と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（１５）；
Ｒ２＝２－Ｓ２－４／ＳＡ…（１５）
を用いて距離計算参照信号Ｒ２の値が計算され、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（１６）；
Ｒ３＝３＋Ｓ１－３／ＳＡ…（１６）
を用いて距離計算参照信号Ｒ３の値が計算される。
　距離計算参照信号選択手段３７Ａにより、距離計算参照信号Ｒ１～Ｒ３の値が閾値と比較されることにより、距離計算のために参照する値が、距離計算参照信号Ｒ１～Ｒ３の中から選択される。例えば、距離計算参照信号Ｒ１が閾値Ｔｈ２以下であり、かつ、距離計算参照信号Ｒ２が閾値Ｔｈ５以下である場合は、距離計算参照信号Ｒ１が選択される。その一方で、距離計算参照信号Ｒ１が閾値Ｔｈ２を超えており、かつ、距離計算参照信号Ｒ２が閾値Ｔｈ５以下である場合は、距離計算参照信号Ｒ２が選択される。さらに、距離計算参照信号Ｒ２が閾値Ｔｈ５を超えている場合は、距離計算参照信号Ｒ３が選択される。このような判定により、対象物Ｓの位置に応じて、入射パルス光ＬＲの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算参照信号選択手段３７Ａにより、選択された距離計算参照信号Ｒ１，Ｒ３の値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Ｒ１の値が“０”以上であるか否かが判定され、距離計算参照信号Ｒ３の値が閾値Ｔｈ６以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ４の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号Ｒ３の値が飽和してしまった場合、及び、対象物Ｓが遠すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号Ｒ１の値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Ｔｈ６を“４”近傍に設定することにより、図１３の（ｒ）部に示すように、遅れ時間ＴＤの“０”から“４”の近傍までの範囲が「測定可能範囲」であると判定される。また、図１３の（ｑ）部には、距離計算参照信号Ｒ１を閾値Ｔｈ２と比較した結果得られる比較信号Ｐ２、距離計算参照信号Ｒ２を閾値Ｔｈ５と比較した結果得られる比較信号Ｐ３、及び距離計算参照信号Ｒ３を閾値Ｔｈ６と比較した結果得られる比較信号Ｐ４を示している。
　最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号Ｒ１～Ｒ３を基に対象物Ｓの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
　上述した手順によれば、入射パルス光ＬＲによって生じる電荷量を、連続する５つの制御パルスＧ１～Ｇ４，Ｇ１に対応する５つの時間ウィンドウに分配することができるので、遅れ時間ＴＤの計算可能な範囲を広げることができる。さらに、距離計算参照信号Ｒ１，Ｒ２，Ｒ３のうちで遅れ時間ＴＤに対して線形に変化する値を選んで距離の計算を行うので、対象物Ｓが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。
　図１４～図１６を参照して、本実施形態の４タップ４ゾーン方式の距離計算手順の概要を示す。図１４において、（ａ）部には、４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを示し、（ｂ）部には、距離計算の対象物Ｓの存在エリアを示している。また、図１５には、４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを、各時間ウィンドウにおける電荷の分配状態とともに示し、図１６には、４タップ４ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを、遅れ時間ＴＤに対応した距離計算参照信号Ｒ１，Ｒ２，Ｒ３の選択状態とともに示している。
　図１４に示すように、対象物Ｓが距離画像センサ１０Ａからの距離が異なるゾーンＺ１～Ｚ４のいずれに位置するかによって、入射パルス光ＬＲの画素回路１３への到達タイミングが異なる。例えば、対象物Ｓが距離画像センサ１０Ａからの距離が小さいゾーンＺ１に位置している場合は、入射パルス光ＬＲの到達タイミングが制御パルスＧ１で規定される時間ウィンドウと制御パルスＧ２で規定される時間ウィンドウとを跨ったタイミングＴＩ１となる。また、対象物Ｓが距離画像センサ１０Ａからの距離がゾーンＺ１よりも大きいゾーンＺ２に位置している場合は、入射パルス光ＬＲの到達タイミングが制御パルスＧ２で規定される時間ウィンドウと制御パルスＧ３で規定される時間ウィンドウとを跨ったタイミングＴＩ２となる。また、対象物Ｓが距離画像センサ１０Ａからの距離がゾーンＺ２よりも大きいゾーンＺ３に位置している場合は、入射パルス光ＬＲの到達タイミングが制御パルスＧ３で規定される時間ウィンドウと制御パルスＧ４で規定される時間ウィンドウとを跨ったタイミングＴＩ３となる。さらに、対象物Ｓが距離画像センサ１０Ａからの距離がゾーンＺ３よりも大きいゾーンＺ４に位置している場合は、入射パルス光ＬＲの到達タイミングが制御パルスＧ４で規定される時間ウィンドウと制御パルスＧ１で規定される時間ウィンドウとを跨ったタイミングＴＩ４となる。
　このような現象を利用して、本実施形態の距離計算では、図１５に示すように、入射パルス光ＬＲの到達タイミングがタイミングＴＩ１となっている場合には、距離計算参照信号Ｒ１を用いて距離計算を行うことにより、制御パルスＧ１で規定される時間ウィンドウにおいて蓄積された電荷の量Ｎｓｍ１と制御パルスＧ２で規定される時間ウィンドウにおいて蓄積された電荷の量Ｎｓｍ２との比率を距離情報に反映している。なお、この比率を計算する際には、背景光等のノイズに起因する電荷量ＮＢは除外されている。また、入射パルス光ＬＲの到達タイミングがタイミングＴＩ２となっている場合には、距離計算参照信号Ｒ１または距離計算参照信号Ｒ２を選択的に用いて距離計算を行うことにより、制御パルスＧ２で規定される時間ウィンドウにおいて蓄積された電荷の量と制御パルスＧ３で規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。同様に、入射パルス光ＬＲの到達タイミングがタイミングＴＩ３となっている場合には、距離計算参照信号Ｒ２または距離計算参照信号Ｒ３を選択的に用いて距離計算を行うことにより、制御パルスＧ３で規定される時間ウィンドウにおいて蓄積された電荷の量と制御パルスＧ４で規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。さらに、入射パルス光ＬＲの到達タイミングがタイミングＴＩ４となっている場合には、距離計算参照信号Ｒ３を用いて距離計算を行うことにより、制御パルスＧ４で規定される時間ウィンドウにおいて蓄積された電荷の量Ｎと制御パルスＧ１で規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。すなわち、図１６に示すように、入射パルス光ＬＲの到達のタイミングに対応して、遅れ時間ＴＤに対して線形の関係を有する距離計算参照信号Ｒ１，Ｒ２，Ｒ３を選択的に用いて距離情報を計算する。
　以下、本実施形態にかかる４タップ４ゾーン方式の距離計算による測定結果を示す。
　図１７は、対象物Ｓの実測距離を様々に変更した際に距離画像センサ１０Ａによって算出された距離情報の距離分解能を理論値と比較して示すグラフである。この結果より、距離分解能は理論値とよく一致しており、実測距離が０～８ｍの範囲で実測距離の約１／１００の距離分解能が得られている。
　図１８には、距離画像センサ１０Ａによって入射パルス光ＬＲの遅れ時間ＴＤに対応して検出された第１～第４の検出信号Ｓ１～Ｓ４及びそれらの信号の合計値ＳＴＯＴＡＬの強度を示している。ここでは、パルス光ＬＰの持続時間Ｔ０および制御パルスＧ１～Ｇ４の持続時間Ｔ１が、ともに１５［ｎｓ］に設定されている。この測定結果に示すように、検出信号Ｓ１～Ｓ４のピークが異なる遅れ時間ＴＤにおいて現れ、遅れ時間ＴＤに応じて分配された電荷量を反映して検出信号Ｓ１～Ｓ４が生成されていることがわかる。
　また、図１９は、対象物Ｓの実測距離ごとに距離画像センサ１０Ａによって測定された距離を示すグラフである。ここでは、１５．７ｆｐｓの間隔で距離画像を生成させ、距離測定結果は３０枚の距離画像で平均化した。この測定結果より、距離測定値が実測距離と１ｍ～８ｍの範囲でよく一致していることが分かった。
　図２０は、対象物Ｓの実測距離ごとに距離画像センサ１０Ａによって測定された距離の分解能を、比較例と比較して示すグラフである。比較例においては、２つの電荷読出領域とそれらに対応した２つの制御電極とを備える画素回路を用いて、それらの電荷読出領域から読み出した検出信号を用いて距離を測定した。この結果より、本実施形態の距離計算における分解能の値は、比較例と比べて１／２以下にされており、距離分解能が十分に改善されている。
　ここで、上述した第１実施形態及び第２実施形態において用いられる閾値は、次のように設定されることが好適である。
　すなわち、第１の閾値Ｔｈ１は距離データ有効性判定信号ＳＡに対して設定される閾値である。この距離データ有効性判定信号ＳＡは、検出信号Ｓ１～ＳＭ（Ｍは３以上の整数）の線形演算によって計算され、距離計算参照信号ＸＲ，ＹＲ，Ｒ１～Ｒ３を計算する計算式の分母に設定される。そして、第１の閾値Ｔｈ１は、分母となる距離データ有効性判定信号ＳＡが“０”でない有限な値を持ち、距離計算参照信号ＸＲ，ＹＲ，Ｒ１～Ｒ３の計算が有効となる範囲を決めることが目的の閾値である。従って、距離データ有効性判定信号ＳＡが検出信号Ｓ１～ＳＭの線形演算によって計算されることから、第１の閾値Ｔｈ１は、検出信号Ｓ１～ＳＭの無信号時のノイズ電圧のＲＭＳ値を基準に、これらを超えるように決められることが好適である。
　一方で、閾値Ｔｈ２，Ｔｈ３，Ｔｈ５，Ｔｈ６は、距離計算参照信号ＸＲ，ＹＲ，Ｒ１～Ｒ３に対して設定される。測定可能範囲を決定する最後の閾値（図３、図４におけるＴｈ２、図１２におけるＴｈ３、図１３におけるＴｈ６）以外は、時間窓の切り替わり付近に相当する距離計算参照信号の値近傍に設定される。従って、測定可能範囲を決定する最後の閾値は、最後の距離計算参照信号の最大値を与える、最後の時間窓の端部に相当する距離時間参照信号の値（例えば、図１３においてはＲ３の最大値の“４”）から、第１の閾値Ｔｈ１の値に相当する、検出信号Ｓ１～ＳＭの無信号時のノイズ電圧のＲＭＳ値を超えるように決められた値を減算した値に決められることが好適である。
　なお、本発明は、上述した実施形態の態様に限定されるものではない。
　上述した実施形態では、画素回路に３つまたは４つの電荷読出領域が設けられているが、電荷読出領域は５つ以上設けられていてもよい。その場合は、制御電極及び電荷検出手段は電荷読出領域の個数に対応して設けられ、演算回路１２は、それぞれの電荷読出領域から読み出された検出信号を基に距離情報を計算する。
　また、上述した実施形態では、各画素回路１３ごとの距離の計算がパルス光ＬＰの１回の発光タイミングごとに繰り返し実行されているが、パルス光ＬＰの複数回の発光タイミングごとに繰り返し実行されてもよい。
　ここで、各画素回路１３が８つの電荷読出領域を有し、演算回路１２がパルス光ＬＰの２回の発光タイミングごとに距離計算を実行する場合の本発明の変形例について説明する。図２１は、本変形例の距離計算手順で扱われる各種信号のタイミングチャートであり、図２２および図２３は、本変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図２１には、８つの制御電極に印加される制御パルスＧ１～Ｇ８、制御パルスＧＤ、及び２つのパルス光ＬＰのタイミングを示し、図２２には、８つの電荷読出領域から読み出される第１～第８の検出信号Ｑ１～Ｑ８の値、ゾーン判定信号ＱＡ～ＱＤの値、及び、比較信号ＰＡ～ＰＤの値を、遅れ時間ＴＤに対応して示し、図２３には、距離計算の基となる距離計算参照信号の値を遅れ時間ＴＤに対応して示す。
　この変形例では、図２１に示すように、演算回路１２の光源制御手段３１によって、持続時間Ｔ０の第１のパルス光と持続時間２Ｔ０の第２のパルス光との２つのパルス光ＬＰを、時間差７Ｔ０で発生させるように制御される。それとともに、演算回路１２の電荷転送制御手段３２によって、持続時間Ｔ０の第１のパルス光の持続時間Ｔ０だけ前に電荷排出用の制御パルスＧＤがオフされるとともに、持続時間２Ｔ０の第２のパルス光の発生に同期して持続時間Ｔ０の制御パルスＧ１～Ｇ８が互いに重ならないように順番に印加される。
　このようなパルス光及び制御パルスのタイミング制御下においては、８つの電荷読出領域から読み出される第１～第８の検出信号Ｑ１～Ｑ８は、遅れ時間ＴＤに応じて変動する（図２２）。本変形例の演算回路１２によって、対象物Ｓの距離のゾーンを判定するためのゾーン判定信号が、第１～第８の検出信号Ｑ１～Ｑ８を基に下記式；
ＱＡ＝Ｑ１－Ｑ５，
ＱＢ＝Ｑ２－Ｑ６，
ＱＣ＝Ｑ３－Ｑ７，
ＱＤ＝Ｑ４－Ｑ８
により計算される。これらのゾーン信号の値の大小関係の組み合わせは遅れ時間ＴＤ毎に決まっており、そのような性質を利用することで対象物Ｓの距離のゾーンを判定することができる。
　加えて、演算回路１２によって、ゾーンごとの距離計算のために参照する値として下記の値が計算される。
ＱＡＢ＝ＱＡ＋ＱＢ，
ＱＢＣ＝ＱＢ＋ＱＣ，
ＱＣＤ＝ＱＣ＋ＱＤ，
ＱＡｄＣ＝ＱＡ－ＱＣ，
ＱＢｄＤ＝ＱＢ－ＱＤ，
ＱＡＣ＝ＱＡ＋ＱＣ，
ＱＢＤ＝ＱＢ＋ＱＤ，
ＱＡＢＣ＝ＱＡ＋ＱＢ＋ＱＣ，
ＱＢＣＤ＝ＱＢ＋ＱＣ＋ＱＤ，
ＱＣＤｄＡ＝ＱＣ＋ＱＤ－ＱＡ，
ＱＤｄＡｄＢ＝ＱＤ－ＱＡ－ＱＢ
　さらに、演算回路１２によって、各ゾーン判定信号ＱＡ～ＱＤが２つの閾値ＱＴＨ＋，ＱＴＨ－と比較されることにより３値（－１，０，１）の比較信号ＰＡ～ＰＤが生成される。すなわち、比較信号ＰＡ～ＰＤのそれぞれは、ゾーン判定信号ＱＡ～ＱＤが閾値ＱＴＨ－未満の場合には値“－１”と設定され、ゾーン判定信号ＱＡ～ＱＤが閾値ＱＴＨ－以上かつ閾値ＱＴＨ＋以下の場合には値“０”と設定され、ゾーン判定信号ＱＡ～ＱＤが閾値ＱＴＨ＋を超えている場合には値“１”と設定される。そして、演算回路１２の距離計算参照信号選択手段３７によって、比較信号ＰＡ～ＰＤの値の組み合わせによって対象物Ｓの距離のゾーンが判定される。例えば、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（１，０，０，０）であった場合は、測定可能範囲外のゾーンＺ－１と判定され、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（１，１，０，０）であった場合は、ゾーンＺ０と判定され、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（０，１，１，０）であった場合は、ゾーンＺ１と判定され、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（０，０，１，１）であった場合は、ゾーンＺ２と判定される。また、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（０，０，－１，０）であった場合は、ゾーンＺ１３と判定され、（ＰＡ，ＰＢ，ＰＣ，ＰＤ）＝（０，０，０，－１）であった場合は、測定可能範囲外とのゾーンＺ１４と判定される（図２２）。ゾーン判定後、距離計算参照信号選択手段３７は、距離計算に用いる距離計算参照信号として、予め計算しておいた値の中から、距離のゾーンに対応する２つの値を選択する。このとき、選択する距離計算参照信号は、予め計算しておいてもよいし、ゾーン判定後にあらためて計算してもよい。図２３において、黒丸で示す値は各ゾーンに対応して選択される値のうち距離計算の過程で分母として用いられる値を示し、白丸で示す値は、各ゾーンに対応して選択される値のうち距離計算の過程で分子として用いられる値を示している。例えば、ゾーンＺ０と判定された場合は、分母として用いられる値として距離計算参照信号ＱＡＣが選択され、分子として用いられる値として距離計算参照信号ＱＢＣが選択される。ゾーンＺ１３と判定された場合は、分母として用いられる値として距離計算参照信号ＱＢＣＤが選択され、分子として用いられる値として距離計算参照信号ＱＤｄＡｄＢが選択される。なお、図２３に示す距離計算参照信号の選択方法は一例であって、各ゾーンの短距離側から長距離側にかけて遅れ時間ＴＤに対して直線的に変化し、かつ、ゾーン内側あるいはゾーンの境界で変化率の変化点（屈曲点）が生じないような距離計算参照信号が、分子の値として選択されればよい。ゾーンの境界で変化率の変化点（屈曲点）が生じないような距離計算参照信号を用いるのは、２つのゾーンの境界部分で計算値が不連続になるのを防止するためである。また、各ゾーンの短距離側から長距離側にかけて一定値となるような距離計算参照信号が、分母の値として選択されればよい。
　本変形例の演算回路１２の距離画像生成手段３８は、距離計算参照信号選択手段３７によって選択された距離計算参照信号を用いて、対象物Ｓの距離Ｌを、判定されたそれぞれのゾーンＺ０～Ｚ１３に対応して、下記式を用いて計算する。なお、下記式中、ｃは光速を示す。
ゾーンＺ０：Ｌ＝（１／２）ｃＴ０｛（ＱＢＣ／ＱＡＣ）－１｝，
ゾーンＺ１：Ｌ＝（１／２）ｃＴ０｛（－ＱＡＢ／ＱＡＣ）＋２｝，
ゾーンＺ２、ゾーンＺ３：Ｌ＝（１／２）ｃＴ０｛（ＱＡＢ／ＱＡｄＣ）＋２｝，
ゾーンＺ４：Ｌ＝（１／２）ｃＴ０｛（ＱＢＣ／ＱＢｄＤ）＋３｝，
ゾーンＺ５：Ｌ＝（１／２）ｃＴ０｛（ＱＡＢ／－ＱＡＣ）＋６｝，
ゾーンＺ６：Ｌ＝（１／２）ｃＴ０｛（ＱＡＢ／ＱＡｄＣ）＋６｝，
ゾーンＺ７：Ｌ＝（１／２）ｃＴ０｛（ＱＢＣ／ＱＢｄＤ）＋７｝，
ゾーンＺ８：Ｌ＝（１／２）ｃＴ０｛（ＱＣＤ／ＱＡＢＣ）＋８｝，
ゾーンＺ９：Ｌ＝（１／２）ｃＴ０｛（－ＱＢｄＤ／ＱＢＣＤ）＋９｝，
ゾーンＺ１０：Ｌ＝（１／２）ｃＴ０｛（－ＱＡＣ／ＱＣＤｄＡ）＋１０｝，
ゾーンＺ１１：Ｌ＝（１／２）ｃＴ０｛（－ＱＢＤ／ＱＤｄＡｄＢ）＋１１｝，
ゾーンＺ１２：Ｌ＝（１／２）ｃＴ０｛（ＱＣＤｄＡ／ＱＡＢＣ）＋１２｝，
ゾーンＺ１３：Ｌ＝（１／２）ｃＴ０｛（ＱＤｄＡｄＢ／ＱＢＣＤ）＋１３｝
　なお、本変形例では、２つのパルス光のパルスの振幅（光強度）を同一に設定しているが、２つのパルス光の振幅を変えて、例えば、第１のパルス光の振幅を第２のパルス光の振幅よりも小さく設定してもよい。
　また、同一周期で発光するパルス光ＬＰの２回の発光タイミングごとに距離計算が実行されてもよい。図２４は、このような場合の変形例にかかる距離計算手順で扱われる各種信号のタイミングチャートであり、図２５および図２６は、本変形例の距離計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図２４には、８つの制御電極に印加される制御パルスＧ１～Ｇ８、制御パルスＧＤ、及び２つのパルス光ＬＰのタイミングを示し、図２５には、８つの電荷読出領域から読み出される第１～第８の検出信号Ｑ１～Ｑ８の値、及びそれらを基に計算された中間演算信号の値を、遅れ時間ＴＤに対応して示し、図２６には、距離計算の基となる距離計算参照信号の値を遅れ時間ＴＤに対応して示す。
　この変形例では、図２４に示すように、演算回路１２の光源制御手段３１によって、持続時間Ｔ０の第１のパルス光と持続時間Ｔ０の第２のパルス光との２つのパルス光ＬＰを、時間差７Ｔ０で発生させるように制御される。それとともに、演算回路１２の電荷転送制御手段３２によって、持続時間Ｔ０の第１のパルス光の発生直前に電荷排出用の制御パルスＧＤがオフされるとともに、第１のパルス光の発生開始タイミングから第２のパルス光の発生開始タイミングの間において持続時間７Ｔ０の制御パルスＧ１が印加された後に、第２のパルス光の発生に同期して持続時間Ｔ０の制御パルスＧ２～Ｇ８が互いに重ならないように順番に印加される。
　このようなパルス光及び制御パルスのタイミング制御下においては、８つの電荷読出領域から読み出される第１～第８の検出信号Ｑ１～Ｑ８は、遅れ時間ＴＤに応じて変動する（図２５）。本変形例の演算回路１２においては、これらの第１～第８の検出信号Ｑ１～Ｑ８が、対象物Ｓの距離のゾーンを判定するためのゾーン判定信号として参照される。これらのゾーン判定信号のうちの第１の検出信号Ｑ１と他のいずれか１つの信号Ｑ２～Ｑ８の値の大小関係の組み合わせは遅れ時間ＴＤ毎に決まっており、そのような性質を利用することで対象物Ｓの距離のゾーンを判定することができる。
　詳細には、演算回路１２の距離計算参照信号選択手段３７によって、各信号Ｑ１～Ｑ８が予め設定された閾値ＱＴＨと比較され、信号Ｑ１に関する比較結果とその他の信号Ｑ２～Ｑ８に関する比較結果とが、下記のいずれの組み合わせに該当するかが判別されることによって、対象物Ｓの距離のゾーンがゾーンＺ１～Ｚ１２の中から判定される（図２５）。
ゾーンＺ１：Ｑ１≧ＱＴＨ、かつ、Ｑ３≧ＱＴＨ，
ゾーンＺ２：Ｑ１≧ＱＴＨ、かつ、Ｑ４≧ＱＴＨ，
ゾーンＺ３：Ｑ１≧ＱＴＨ、かつ、Ｑ５≧ＱＴＨ，
ゾーンＺ４：Ｑ１≧ＱＴＨ、かつ、Ｑ６≧ＱＴＨ，
ゾーンＺ５：Ｑ１≧ＱＴＨ、かつ、Ｑ７≧ＱＴＨ，
ゾーンＺ６：Ｑ１≧ＱＴＨ、かつ、Ｑ８≧ＱＴＨ，
ゾーンＺ７：Ｑ１＜ＱＴＨ、かつ、Ｑ２≧ＱＴＨ，
ゾーンＺ８：Ｑ１＜ＱＴＨ、かつ、Ｑ３≧ＱＴＨ，
ゾーンＺ９：Ｑ１＜ＱＴＨ、かつ、Ｑ４≧ＱＴＨ，
ゾーンＺ１０：Ｑ１＜ＱＴＨ、かつ、Ｑ５≧ＱＴＨ，
ゾーンＺ１１：Ｑ１＜ＱＴＨ、かつ、Ｑ６≧ＱＴＨ，
ゾーンＺ１２：Ｑ１＜ＱＴＨ、かつ、Ｑ７≧ＱＴＨ
　加えて、演算回路１２によって、信号Ｑ１～Ｑ８を基に距離計算のための中間演算信号Ｑ２５，Ｑ３６，Ｑ４７，Ｑ５８（図２５）が下記式により計算されるとともに、それらの中間演算信号を基にゾーンごとの距離計算のために参照する距離計算参照信号ＱＡ～ＱＬ（図２６）が下記式により計算される。
Ｑ２５＝Ｑ２－Ｑ５，
Ｑ３６＝Ｑ３－Ｑ６，
Ｑ４７＝Ｑ４－Ｑ７，
Ｑ５８＝Ｑ５－Ｑ８，
ＱＡ＝Ｑ２５＋Ｑ３６，
ＱＢ＝Ｑ３６＋Ｑ４７，
ＱＣ＝Ｑ４７＋Ｑ５８，
ＱＤ＝Ｑ２５－Ｑ４７，
ＱＥ＝Ｑ３６－Ｑ５８，
ＱＦ＝Ｑ２５＋Ｑ４７，
ＱＧ＝Ｑ３６＋Ｑ５８，
ＱＨ＝Ｑ２５＋Ｑ３６＋Ｑ４７，
ＱＩ＝Ｑ３６＋Ｑ４７＋Ｑ５８，
ＱＪ＝Ｑ４７－Ｑ２５－Ｑ３６，
ＱＫ＝Ｑ４７＋Ｑ５８－Ｑ２５，
ＱＬ＝Ｑ５８－Ｑ２５－Ｑ３６
　ゾーン判定後、距離計算参照信号選択手段３７は、距離計算に用いる距離計算参照信号として、予め計算しておいた距離計算参照信号ＱＡ～ＱＬの中から、距離のゾーンに対応する２つの値を選択する。このとき、選択する距離計算参照信号は、予め計算しておいてもよいし、ゾーン判定後にあらためて計算してもよい。図２６において、黒丸で示す値は各ゾーンに対応して選択される値のうち距離計算の過程で分母として用いられる値を示し、白丸で示す値は、各ゾーンに対応して選択される値のうち距離計算の過程で分子として用いられる値を示している。例えば、ゾーンＺ１と判定された場合は、分母として用いられる値として距離計算参照信号ＱＨが選択され、分子として用いられる値として距離計算参照信号ＱＤが選択される。ゾーンＺ１２と判定された場合は、分母として用いられる値として距離計算参照信号ＱＩが選択され、分子として用いられる値として距離計算参照信号ＱＥが選択される。なお、図２６に示す距離計算参照信号の選択方法は一例であって、各ゾーンの短距離側から長距離側にかけて遅れ時間ＴＤに対して直線的に変化し、かつ、ゾーン内側あるいはゾーンの境界で変化率の変化点（屈曲点）が生じないような距離計算参照信号が、分子の値として選択されればよい。ゾーンの境界で変化率の変化点（屈曲点）が生じないような距離計算参照信号を用いるのは、２つのゾーンの境界部分で計算値が不連続になるのを防止するためである。また、各ゾーンの短距離側から長距離側にかけて一定値となるような距離計算参照信号が、分母の値として選択されればよい。
　本変形例の演算回路１２の距離画像生成手段３８は、距離計算参照信号選択手段３７によって選択された距離計算参照信号を用いて、対象物Ｓの距離Ｌを、判定されたそれぞれのゾーンＺ１～Ｚ１２に対応して、下記式を用いて計算する。なお、下記式中、ｃは光速を示す。
ゾーンＺ１：Ｌ＝（１／２）ｃＴ０｛（－ＱＤ／ＱＨ）＋１｝，
ゾーンＺ２：Ｌ＝（１／２）ｃＴ０｛（－ＱＡ／ＱＩ）＋２｝，
ゾーンＺ３：Ｌ＝（１／２）ｃＴ０｛（－ＱＢ／ＱＪ）＋３｝，
ゾーンＺ４：Ｌ＝（１／２）ｃＴ０｛（－ＱＣ／－ＱＨ）＋４｝，
ゾーンＺ５：Ｌ＝（１／２）ｃＴ０｛（ＱＥ／－ＱＩ）＋５｝，
ゾーンＺ６：Ｌ＝（１／２）ｃＴ０｛（ＱＦ／－ＱＫ）＋６｝，
ゾーンＺ７：Ｌ＝（１／２）ｃＴ０｛（ＱＧ／－ＱＬ）＋７｝，
ゾーンＺ８：Ｌ＝（１／２）ｃＴ０｛（－ＱＤ／ＱＨ）＋８｝，
ゾーンＺ９：Ｌ＝（１／２）ｃＴ０｛（－ＱＡ／ＱＩ）＋９｝，
ゾーンＺ１０：Ｌ＝（１／２）ｃＴ０｛（－ＱＢ／ＱＪ）＋１０｝，
ゾーンＺ１１：Ｌ＝（１／２）ｃＴ０｛（－ＱＣ／－ＱＨ）＋１１｝，
ゾーンＺ１２：Ｌ＝（１／２）ｃＴ０｛（ＱＥ／－ＱＩ）＋１２｝
　なお、本変形例でも、２つのパルス光のパルスの振幅（光強度）を同一に設定しているが、２つのパルス光の振幅を変えて、例えば、第１のパルス光の振幅を第２のパルス光の振幅よりも小さく設定してもよい。
　ここで、上記実施形態では、距離計算手段は、第１～第Ｍの検出信号のうちの２つの検出信号の差と信号成分の合計値との比を計算することにより距離計算参照値を求め、距離計算参照値と所定の第２の閾値との比較結果に応じて距離計算参照値が有効であるか否かを判断し、距離計算参照値が有効な場合には距離計算参照値を基に距離を計算する、こととしてもよい。この場合、対象物が測定可能範囲外に位置するか否かを適切に判断することができ、その判断結果をもとに高精度に距離を計算することができる。
　また、距離計算手段は、第１～第Ｍの検出信号のうちの一方の検出信号の組の差と信号成分の合計値との比を計算することにより第１の距離計算参照値を求め、第１～第Ｍの検出信号のうちの他の検出信号の組の差と信号成分の合計値との比を計算することにより第２の距離計算参照値を求め、第１の距離計算参照値と所定の第３の閾値との比較結果に応じて、第１の距離計算参照値あるいは第２の距離計算参照値のいずれかを選択して距離を計算する、こととしてもよい。この場合、対象物が位置する範囲に対応して適切な参照値を利用して距離を計算することができ、その結果対象物の位置にかかわらず精度の高い画像信号を生成することができる。
　また、画素回路部は、光電変換領域に蓄積された電荷を排出するための電荷排出領域と、光電変換領域と電荷排出領域との間における電荷転送のための制御パルスを印加するための制御電極とをさらに有していてもよい。これにより、第１～第Ｍの制御パルスが印加されていない期間に光電変換領域で発生した電荷を第１～第Ｍの電荷読出領域に転送しないようにすることができる。
　さらに、距離計算手段は、距離の計算が無効であるか否かを示す識別値を生成してもよい。この場合、距離計算が有効であるか否かを容易に判定することができる。
　またさらに、電荷転送制御手段と、電荷転送制御手段と第１～第Ｍの制御電極との間の回路と、電荷転送制御手段と光源制御手段との間の回路の一部とは、画素回路部と同一の半導体上、あるいは画素回路部に対して積層された半導体上に形成されていてもよい。この場合、距離計算の分解能を容易に向上させることができる。
　さらに、画素回路部が２次元アレイ状に配列されたイメージセンサを含んでいてもよい。かかる構成によれば、対象物の位置にかかわらず精度の高い２次元距離情報を含む距離画像を生成することができる。
　本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法を使用用途とし、対象物の位置にかかわらず精度の高い画像信号を生成することができるものである。
　１０，１０Ａ…距離画像センサ（距離画像測定装置）、１１…光源、１２…演算回路、１３…画素回路（画素回路部）、２１…光電変換領域、２２１～２２４…電荷読出領域、２４１～２４４…制御電極、２６１～２６４…電圧検出手段、３１…光源制御手段、３２，３２Ａ…電荷転送制御手段、３３，３３Ａ…距離データ有効性判定信号生成手段、３４，３４Ａ…距離データ有効性判定手段、３５…無効画素識別値生成手段、３６，３６Ａ…距離計算参照信号生成手段、３７，３７Ａ…距離計算参照信号選択手段、３８…距離画像生成手段。

Claims (10)

  1. 　パルス光を発生させる光源と、
    　第１の持続時間を有する前記パルス光を１フレーム期間内で繰り返し発生させるように前記光源を制御する光源制御手段と、
    　光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは３以上の整数）の電荷読出領域、及び前記光電変換領域と前記第１～第Ｍの電荷読出領域とに対応してそれぞれ設けられ、前記光電変換領域と前記第１～第Ｍの電荷読出領域との間における電荷転送のための第１～第Ｍの制御パルスを印加するための第１～第Ｍの制御電極を有する画素回路部と、
    　前記光源制御手段による前記パルス光の発生に対応して、前記第１の持続時間以上である第２の持続時間の間だけ前記第１の制御電極に前記第１の制御パルスを印加した後、前記第２の持続時間の間だけ前記第２～第Ｍの制御電極に前記第２～第Ｍの制御パルスを順次印加する電荷転送制御手段と、
    　前記電荷転送制御手段による前記第１～第Ｍの制御パルスの印加後に、前記画素回路部の前記第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出手段と、
    　前記第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、
    　前記距離計算手段は、前記第１～第Ｍの検出信号を基に、前記第１～第Ｍの検出信号のうちの背景光を除いた前記パルス光から発生した電荷の信号成分の合計値を計算し、前記信号成分の合計値が所定の第１の閾値を超えた場合には、前記第１～第Ｍの検出信号から所定の計算式を用いて前記距離を計算し、前記信号成分の合計値が前記第１の閾値を超えていない場合には、前記距離の計算を無効とする、
    距離画像測定装置。
  2. 　前記距離計算手段は、前記第１～第Ｍの検出信号のうちの２つの検出信号の差と前記信号成分の合計値との比を計算することにより距離計算参照値を求め、前記距離計算参照値と所定の第２の閾値との比較結果に応じて前記距離計算参照値が有効であるか否かを判断し、前記距離計算参照値が有効な場合には前記距離計算参照値を基に前記距離を計算する、
    請求項１記載の距離画像測定装置。
  3. 　前記距離計算手段は、前記第１～第Ｍの検出信号のうちの一方の検出信号の組の差と前記信号成分の合計値との比を計算することにより第１の距離計算参照値を求め、前記第１～第Ｍの検出信号のうちの他の検出信号の組の差と前記信号成分の合計値との比を計算することにより第２の距離計算参照値を求め、前記第１の距離計算参照値と所定の第３の閾値との比較結果に応じて、前記第１の距離計算参照値あるいは前記第２の距離計算参照値のいずれかを選択して前記距離を計算する、
    請求項１又は２記載の距離画像測定装置。
  4. 　前記画素回路部は、前記光電変換領域に蓄積された電荷を排出するための電荷排出領域と、前記光電変換領域と前記電荷排出領域との間における電荷転送のための制御パルスを印加するための制御電極とをさらに有する、
    請求項１～３のいずれか１項に記載の距離画像測定装置。
  5. 　前記距離計算手段は、前記距離の計算が無効であるか否かを示す識別値を生成する、
    請求項１～４のいずれか１項に記載の距離画像測定装置。
  6. 　前記電荷転送制御手段と、前記電荷転送制御手段と前記第１～第Ｍの制御電極との間の回路と、前記電荷転送制御手段と前記光源制御手段との間の回路の一部とは、前記画素回路部と同一の半導体上、あるいは前記画素回路部に対して積層された半導体上に形成されている、
    請求項１～５のいずれか１項に記載の距離画像測定装置。
  7. 　前記画素回路部が２次元アレイ状に配列されたイメージセンサを含む、
    請求項１～６のいずれか１項に記載の距離画像測定装置。
  8. 　光源制御手段が、第１の持続時間を有する前記パルス光を１フレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、
    　光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは３以上の整数）の電荷読出領域、及び前記光電変換領域と前記第１～第Ｍの電荷読出領域とに対応して設けられた第１～第Ｍの制御電極を有する画素回路部を用いて、電荷転送制御手段が、前記光源制御手段による前記パルス光の発生に対応して、前記第１の持続時間以上である第２の持続時間の間だけ前記第１の制御電極に、電荷の転送を制御するための第１の制御パルスを印加した後、前記第２の持続時間の間だけ前記第２～第Ｍの制御電極に、電荷の転送を制御するための第２～第Ｍの制御パルスを順次印加する電荷転送制御ステップと、
    　電荷検出手段が、前記電荷転送制御手段による前記第１～第Ｍの制御パルスの印加後に、前記画素回路部の前記第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出ステップと、
    　距離計算手段が、前記第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、
    　前記距離計算ステップでは、前記第１～第Ｍの検出信号を基に、前記第１～第Ｍの検出信号のうちの背景光を除いた前記パルス光から発生した電荷の信号成分の合計値を計算し、前記信号成分の合計値が所定の第１の閾値を超えた場合には、前記第１～第Ｍの検出信号から所定の計算式を用いて前記距離を計算し、前記信号成分の合計値が前記第１の閾値を超えていない場合には、前記距離の計算を無効とする、
    距離画像測定方法。
  9. 　前記距離計算ステップでは、前記第１～第Ｍの検出信号のうちの２つの検出信号の差と前記信号成分の合計値との比を計算することにより距離計算参照値を求め、前記距離計算参照値と所定の第２の閾値との比較結果に応じて前記距離計算参照値が有効であるか否かを判断し、前記距離計算参照値が有効な場合には前記距離計算参照値を基に前記距離を計算する、
    請求項８記載の距離画像測定方法。
  10. 　前記距離計算ステップでは、前記第１～第Ｍの検出信号のうちの一方の検出信号の組の差と前記信号成分の合計値との比を計算することにより第１の距離計算参照値を求め、前記第１～第Ｍの検出信号のうちの他の検出信号の組の差と前記信号成分の合計値との比を計算することにより第２の距離計算参照値を求め、前記第１の距離計算参照値と所定の第３の閾値との比較結果に応じて、前記第１の距離計算参照値あるいは前記第２の距離計算参照値のいずれかを選択して前記距離を計算する、
    請求項８又は９記載の距離画像測定方法。
PCT/JP2018/029624 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法 WO2019031510A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880050969.6A CN111033315B (zh) 2017-08-08 2018-08-07 距离图像测定装置以及距离图像测定方法
JP2019535678A JP7198507B2 (ja) 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法
US16/637,028 US11442169B2 (en) 2017-08-08 2018-08-07 Distance-image-measuring apparatus and distance-image-measuring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-153455 2017-08-08
JP2017153455 2017-08-08

Publications (1)

Publication Number Publication Date
WO2019031510A1 true WO2019031510A1 (ja) 2019-02-14

Family

ID=65272319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029624 WO2019031510A1 (ja) 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法

Country Status (4)

Country Link
US (1) US11442169B2 (ja)
JP (1) JP7198507B2 (ja)
CN (1) CN111033315B (ja)
WO (1) WO2019031510A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158570A1 (ja) 2021-01-21 2022-07-28 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7464260B2 (ja) 2020-03-23 2024-04-09 国立大学法人静岡大学 距離画像センサ

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194443B2 (ja) * 2017-10-20 2022-12-22 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022089A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
WO2015118884A1 (ja) * 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU558232B2 (en) * 1981-09-25 1987-01-22 Awa Defence Industries Pty. Limited Dual station direction finder
JP3185547B2 (ja) * 1994-06-28 2001-07-11 三菱電機株式会社 距離測定装置
JPH08152474A (ja) * 1994-09-28 1996-06-11 Nikon Corp 距離測定装置
US7157685B2 (en) * 2004-04-12 2007-01-02 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
JP4525253B2 (ja) * 2004-08-30 2010-08-18 オムロン株式会社 光センサおよび測距方法
JP3906859B2 (ja) * 2004-09-17 2007-04-18 松下電工株式会社 距離画像センサ
JP4363296B2 (ja) * 2004-10-01 2009-11-11 パナソニック電工株式会社 距離画像センサ
CN102662176A (zh) * 2005-07-04 2012-09-12 株式会社尼康美景 距离测量设备
JP2007132848A (ja) * 2005-11-11 2007-05-31 Sharp Corp 光学式測距装置
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
JP5154862B2 (ja) * 2007-08-22 2013-02-27 浜松ホトニクス株式会社 測距装置
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
JP5308088B2 (ja) * 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP5683782B2 (ja) * 2008-12-25 2015-03-11 株式会社トプコン 距離測定装置及び距離測定方法
JP5261571B2 (ja) * 2009-02-27 2013-08-14 パナソニック株式会社 距離測定装置
JP5760167B2 (ja) * 2009-07-17 2015-08-05 パナソニックＩｐマネジメント株式会社 空間情報検出装置
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
TWI442077B (zh) * 2011-02-21 2014-06-21 Panasonic Corp 空間資訊偵測裝置
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
JP5984018B2 (ja) * 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015108539A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 レーザレーダ装置
CN103760567B (zh) * 2014-01-27 2016-06-15 中国科学院半导体研究所 一种具有测距功能的被动成像系统及其测距方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022089A (ja) * 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
WO2015118884A1 (ja) * 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7464260B2 (ja) 2020-03-23 2024-04-09 国立大学法人静岡大学 距離画像センサ
WO2022158570A1 (ja) 2021-01-21 2022-07-28 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
CN111033315B (zh) 2023-07-21
JP7198507B2 (ja) 2023-01-04
CN111033315A (zh) 2020-04-17
US20200243585A1 (en) 2020-07-30
JPWO2019031510A1 (ja) 2020-08-27
US11442169B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111226434B (zh) 距离图像测定装置以及距离图像测定方法
JP6952182B2 (ja) 撮像装置、表示装置、電子機器
WO2019031510A1 (ja) 距離画像測定装置及び距離画像測定方法
JP7045834B2 (ja) 放射線撮像システム
JP6045963B2 (ja) 光測距装置
JP6576102B2 (ja) 放射線撮像装置、放射線撮像システム、積算照射量を求める方法および露出制御方法
EP3715906B1 (en) Imaging device and image sensor
JP5518667B2 (ja) 距離センサ及び距離画像センサ
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
US9103663B2 (en) Depth sensor, method of calculating depth in the same
JP2011257402A (ja) 飛行時間撮像装置
JP2013195344A (ja) 飛行時間型距離センサ
JP2019203741A (ja) Ｔｏｆ方式測距装置
JP6265346B2 (ja) 距離計測装置
JP2009260210A (ja) 二つのゲートからなるセンシングトランジスタを備えたイメージセンサー及びその駆動方法
JP5988735B2 (ja) 放射線撮像装置の制御方法、放射線撮像装置、及び、放射線撮像システム
JP5988736B2 (ja) 放射線撮像装置の制御方法、放射線撮像装置、及び、放射線撮像システム
US20220357445A1 (en) Distance image measuring device
EP3913400A1 (en) Distance image measurement device, distance image measurement system, and distance image measurement method
JP4672470B2 (ja) 赤外線撮像装置
JP5932400B2 (ja) 距離センサ及び距離画像センサ
JP7425702B2 (ja) 距離計測装置、及び距離計測方法
US20220342053A1 (en) Distance measurement device, method of controlling distance measurement device, and electronic apparatus
JP2024005071A (ja) 測距装置、測距システム、および測距方法

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18844720

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18844720

Country of ref document: EP

Kind code of ref document: A1