WO2019078366A1 - 距離画像測定装置及び距離画像測定方法 - Google Patents

距離画像測定装置及び距離画像測定方法 Download PDF

Info

Publication number
WO2019078366A1
WO2019078366A1 PCT/JP2018/039080 JP2018039080W WO2019078366A1 WO 2019078366 A1 WO2019078366 A1 WO 2019078366A1 JP 2018039080 W JP2018039080 W JP 2018039080W WO 2019078366 A1 WO2019078366 A1 WO 2019078366A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
mth
control
charge
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/039080
Other languages
English (en)
French (fr)
Inventor
川人　祥二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to CN201880067356.3A priority Critical patent/CN111226434B/zh
Priority to JP2019548835A priority patent/JP7194443B2/ja
Priority to US16/756,174 priority patent/US11405577B2/en
Publication of WO2019078366A1 publication Critical patent/WO2019078366A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • One aspect of the present invention relates to a distance image measuring device and a distance image measuring method for generating a distance image including distance information for each pixel.
  • One aspect of the present invention is made in view of the above problems, and is a distance image measuring device capable of generating an image signal with improved distance resolution for objects in various distance measurement ranges. And providing a distance image measurement method.
  • a distance image measuring device includes a light source for generating pulsed light, and first to Nth light pulses having a first duration included in one frame period.
  • Light source control means for controlling the light source to periodically and repeatedly generate within a subframe period (N is an integer of 2 or more), a photoelectric conversion region for converting light into electric charge, and a proximity to the photoelectric conversion region 1st to Mth (M is an integer of 2 or more) charge reading region, charge discharging region for discharging charge, photoelectric conversion region, 1st to Mth charge reading region, and charge discharging And a first to (M + 1) th control pulse for charge transfer between the photoelectric conversion region and the first to Mth charge readout regions and charge discharging region.
  • Charge transfer control means for sequentially applying the control pulse of (1), and applying the (M + 1) th control pulse to the (M + 1) th control electrode in a period other than the application period of the first to Mth control pulses; Voltage detection means for reading out the voltages of the first to Mth charge readout regions of the pixel circuit section as the first to Mth detection signals after the application of the to Mth control pulse, and the first to Mth detection signals
  • the charge transfer control means is provided with a pulse transfer timing at every first to Nth (N is an integer of 2 or more) subframe periods within one frame period. Delay time of the first to Mth control pulse with respect to Shifting to become time manner, sets the timing of the control pulse of the first to M.
  • the light source control means includes first to Nth (N is an integer of 2 or more) in which pulsed light having a first duration is included in one frame period.
  • To M where M is an integer of 2 or more
  • charge transfer control means is responsive to the generation of the pulsed light by the light source control means, for a second duration equal to or longer than the first duration.
  • the first to Mth control pulses for controlling charge transfer are sequentially applied to the pole, and the discharge of the charge to the (M + 1) th control electrode is controlled in a period other than the application period of the first to Mth control pulses.
  • Charge transfer step including a voltage detection step of reading out the voltage of the read out area as the first to Mth detection signals, and a distance calculation step in which the distance calculation means repeatedly calculates the distance based on the first to Mth detection signals;
  • the delay times of the first to Mth control pulses with respect to the generation timing of the pulsed light are made different at every first to Nth (N is an integer of 2 or more) subframe periods in one frame period. I will shift To set the timing of the control pulse of the first to M.
  • the light source is periodically and repeatedly generated from the light source within two or more sub-frame periods included in one frame period, and the generation of the pulsed light is supported. Then, a time window of a second duration longer than the pulse light duration is sequentially set, and charges are sequentially transferred from the photoelectric conversion region of the pixel circuit section to the first to Mth charge readout regions in that time window. The charge is discharged from the photoelectric conversion region during the period other than the time window. Furthermore, the first to Mth detection signals are read out from the first to Mth charge readout regions of the pixel circuit section, and the distance is repeatedly calculated based on them.
  • the delay time of the time window with respect to the generation timing of the pulsed light is set to shift to different times every two or more subframe periods.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image sensor 10 according to a preferred embodiment of the present invention.
  • FIG. 6 is a diagram showing a configuration of one frame period which is a repetition period of distance calculation by the arithmetic circuit 12;
  • FIG. 6 is a timing chart showing timings of control pulses G 1 to G 4 in each subframe period F 1 to F 3 set by the charge transfer control means 32 of FIG. 1.
  • FIG. FIG. 6 is a timing chart showing timings of control pulses G 1 to G 4 in each subframe period F 1 to F 3 set by the charge transfer control means 32 of FIG. 1.
  • FIG. It is a timing chart for demonstrating the principle of distance calculation by the distance image sensor 10 of FIG.
  • 5 is a timing chart of various signals handled by the distance image sensor 10 of FIG. 1, and a graph showing changes of various values calculated by the distance image sensor 10 with respect to the delay time T D.
  • 5 is a timing chart of various signals handled in another calculation procedure by the distance image sensor 10 of FIG. 1 and a graph showing changes with respect to delay times T D of various values calculated in another calculation procedure by the distance image sensor 10 .
  • It is a graph which shows the simulation result of the distance resolution of this embodiment at the time of distance measurement of the distance range of 0.2-6 m.
  • FIG. 16 is a timing chart showing control timings of the pulsed light L P and the first to fourth control pulses G 1 to G 4 in the subframe period F 1 in the modification example.
  • 16 is a timing chart showing control timings of the pulsed light L P and the first to fourth control pulses G 1 to G 4 in the subframe period F 1 in the modification example. It is a graph which shows the simulation result of the number of electrons generated at the time of signal read-out in the modification at the time of measuring distance in the 0.2-6 m distance range. It is a graph which shows the simulation result of the distance resolution in the modification at the time of measuring distance in the 0.2-6 m distance range.
  • In the modification is a timing chart showing generation timing of the application timing and the pulse light L P of the control pulse G 1 ⁇ G 4 by the arithmetic circuit 12. It is an equivalent circuit schematic of the principal part of the pixel circuit 13 in a modification.
  • a distance image sensor 10 shown in FIG. 1 is a device that generates a distance image including distance information for each pixel using a time of flight method, and includes a light source 11, an arithmetic circuit 12, and a plurality of pixel circuits (pixel circuit units And 13.).
  • the light source 11 includes, for example, a semiconductor light emitting element such as a light emitting diode or a laser diode and a drive circuit for driving the semiconductor light emitting element.
  • a semiconductor light emitting element such as a light emitting diode or a laser diode
  • a drive circuit for driving the semiconductor light emitting element As the light source 11, an element that generates light in a wavelength region such as a near infrared region or a visible light region can be used.
  • the distance image sensor 10 includes a plurality of pixel circuits 13. A plurality of pixel circuits 13, a two-dimensional direction (for example, column and row directions) incident pulses are arranged in a two-dimensional array to constitute an image sensor, pulse light L P has occurred is reflected by the object S The detection signal is generated by photoelectrically converting the light L R.
  • the distance image sensor 10 also includes an arithmetic circuit 12.
  • the arithmetic circuit 12 calculates distance information on the object S for each pixel using detection signals generated by the plurality of pixel circuits 13, and a distance image including two-dimensional image information on which the distance information for each pixel is reflected. Generate and output.
  • the arithmetic circuit 12 may be configured by a dedicated integrated circuit such as a one-chip microcomputer including a CPU, a RAM, a ROM, an input / output device, etc., or may be configured by a general purpose computer such as a personal computer.
  • the pixel circuit 13 is formed of a semiconductor element, and has a photoelectric conversion region 21 having a function of converting incident pulse light L R into electric charge, and first to the fourth provided close to the photoelectric conversion region 21 and separated from each other.
  • a photoelectric conversion region 21 having a function of converting incident pulse light L R into electric charge
  • first to the fourth provided close to the photoelectric conversion region 21 and separated from each other.
  • First to fourth control electrodes 24 1 to 24 4 and fifth control electrode 25 for applying control pulses for charge transfer to and from the respective regions, and first to fourth charge readout regions
  • voltage detection means 26 1 to 26 4 for reading out the detection signal from each of 22 1 to 22 4 .
  • the voltage detection means 26 1 to 26 4 are, for example, amplifiers including a source follower amplifier, and under control of the arithmetic circuit 12, voltages based on the reference potentials of the respective charge readout regions 22 1 to 22 4 selectively Are detected and amplified, and the amplified voltage is output to the arithmetic circuit 12 as first to fourth detection signals.
  • the pixel circuit 13 is formed on, for example, a p-type semiconductor substrate such as a silicon substrate. That is, the photoelectric conversion region 21 is a pixel formed of an active region formation layer made of a p-type semiconductor, an n-type surface buried region, a p-type pinning layer, and an insulating film formed in order on a p-type semiconductor substrate. It is provided at the center of the formation area. Then, n-type charge read-out regions 22 1 to 22 4 and charge discharge region 23 having a higher impurity concentration than the n-type surface embedded region are formed at positions separated from each other so as to approach photoelectric conversion region 21.
  • Control electrodes 24 1 to 24 4 and 25 are provided on the charge transfer paths from the photoelectric conversion region 21 on the film to the charge reading regions 22 1 to 22 4 and the charge discharging region 23, respectively.
  • each of the control electrodes 24 1 to 24 4 and 25 may be provided on the charge transfer path, or may be separately provided to a plurality of electrode portions so as to sandwich the charge transfer path from both sides. .
  • control pulses having different phases are applied to the control electrodes 24 1 to 24 4 and 25 from the arithmetic circuit 12 described later.
  • a potential gradient is sequentially formed such that charges are transported to any of the charge transfer paths, and the surface embedded region of the photoelectric conversion region 21 is formed.
  • the generated majority carriers (charges) are moved to either of the charge readout regions 22 1 to 22 4 and the charge discharging region 23.
  • the charge discharging region 23 is a region for discharging the charge generated in the photoelectric conversion region 21.
  • the arithmetic circuit 12 includes, as functional components, a light source control unit 31, a charge transfer control unit 32, a distance data validity determination signal generation unit 33, a distance data validity determination unit 34, an invalid pixel identification value generation unit 35, and a distance.
  • a calculation reference signal generation unit 36, a distance calculation reference signal selection unit 37, and a distance image generation unit 38 are included.
  • Distance data validity determination signal generation means 33, distance data validity determination means 34, invalid pixel identification value generation means 35, distance calculation reference signal generation means 36, distance calculation reference signal selection means 37, and distance image generation means 38 The distance calculating means of the present embodiment is configured.
  • Light source control means 31 of the arithmetic circuit 12 emission timing of the pulsed light L P by the light source 11 to control the intensity of the pulse light L P, and the pulse width of the pulse light L P.
  • the charge transfer control means 32 of the arithmetic circuit 12 has a function of applying the first to fourth control pulses G 1 to G 4 and the fifth control pulse G D to the control electrodes 24 1 to 24 4 and 25 respectively.
  • the charge transfer control means 32 corresponding to each of the generation timing of the pulsed light L P in a sub-frame period, only the control electrodes 24 1 to 24 4 for the duration T 1 is the duration T 0 or more First to fourth control pulses G 1 to G 4 are sequentially applied.
  • the duration T 1 is set to be equal to the duration T 0.
  • the charge transfer control unit 32 in a period except for the first to third application timing of the control pulse G 1 to G 3 in the sub-frame period, the charges accumulated in the photoelectric conversion region 21 to the charge discharging region 23 a control pulse G D for discharging is applied to the control electrode 25.
  • the resolution 15cm distance calculation using the time of flight of the pulse light L P corresponds to the flight time 1 ns
  • the control means having a time accuracy of ps order as a guide in order below this resolution is required. Therefore, the charge transfer control unit 32 and the light source control unit 31 need to be designed in consideration of the wiring capacitance integrated with the pixel circuit 13 and the like, and therefore, can be formed on the semiconductor integrated with the pixel circuit 13 desirable.
  • "on an integral semiconductor” also includes on different semiconductors among a plurality of semiconductor layers stacked using SOI (Silicon On Insulator) technology or TSV (Through Silicon Via) technology.
  • a circuit between the charge transfer control means 32, the circuit between the charge transfer control means 32 and the control electrodes 24 1 to 24 4 , 25 and a circuit between the charge transfer control means 32 and the light source control means 31 The part may be formed on the same semiconductor as the pixel circuit 13 or on a semiconductor layer stacked with the pixel circuit 13.
  • one frame period (T f ) which is a repetition period of the distance calculation by the arithmetic circuit 12 is, as shown in FIG. 2, control pulses G 1 to G 4 and G D for respective generation timings of the pulsed light L P. 4 includes four subframe periods F 1 to F 4 having different timings, and a reading period R which is a period during which the first to fourth detection signals are read out among those periods.
  • one frame period (T f ) as shown in part (a) of FIG. 2, four subframe periods F 1 to F 4 of different length periods may be cyclically repeated.
  • part (c) and part (d) of part 2 four subframe periods F 1 to F 4 of different periods are repeated in an arbitrary order set in advance. It is also good.
  • the charge transfer control means 32 of the arithmetic circuit 12 shifts the delay times of the control pulses G 1 to G 4 with respect to the generation timing of the pulsed light L P to different times every four types of subframe periods F 1 to F 4. Timings of the control pulses G 1 to G 4 are set.
  • FIG. 3 is a timing chart showing an example of timings of control pulses G 1 to G 4 in each of the subframe periods F 1 to F 3 set by the charge transfer control means 32. Although FIG. 3 shows a timing chart for subframe periods F 1 to F 3 , the subframe period F 4 also has a delay time of control pulses G 1 to G 4 in subframe period F 3 . Set to shift.
  • the sub-frame period F 1 is set timing of the control pulse G 1 to match the generation timing of the pulsed light L P to be periodically repeated at time T C, time from one another immediately afterwards
  • the timings of the control pulses G 2 to G 4 are set successively so as not to be superimposed on each other, and the control pulse G D is set to be applied in a period other than the application period of the control pulses G 1 to G 4 .
  • Readout period R is set immediately after the subframe period F 1.
  • pulse light L P control pulse G 1 ⁇ G respective delay time of 4 for the generation timing (hereinafter, this delay time).
  • the timings of the control pulses G 1 to G 4 are set such that “range shift” shifts at + 4T 0 .
  • the shift width is not limited to the + 4T 0, it may be another shift width such as + 3T 0.
  • control such that the respective delay time of the control pulse G 1 ⁇ G 4 for generating timing of the pulse light L P is shifted in the + 4T 0
  • the timings of the pulses G 1 to G 4 are set.
  • FIG. 4 is a timing chart showing another example of the timing of the control pulses G 1 to G 4 in each of the subframe periods F 1 to F 3 set by the charge transfer control means 32.
  • the sub-frame period F 2 as compared to the sub-frame period F 1, such that each delay time of the control pulse G 1 ⁇ G 4 for generating timing of the pulse light L P is shifted in the + 2T 0
  • the timings of control pulses G 1 to G 4 are set.
  • control such that the respective delay time of the control pulse G 1 ⁇ G 4 for generating timing of the pulse light L P is shifted in the + 2T 0
  • the timings of the pulses G 1 to G 4 are set, and the relationship between the subframe period F 4 and the subframe period F 3 is similarly set.
  • each sub-frame period F 1 ⁇ F the length of every four set by the arithmetic circuit 12, the repeat count N 1 of the pulse light L P in each sub-frame period F within 1 ⁇ F 4, N 2, N 3 and N 4 (N 1 to N 4 are integers)
  • N 1 to N 4 are integers
  • Lengths N 1 ⁇ T c , N 2 ⁇ T c , N 3 ⁇ T c , N 4 ⁇ T c , and the generation timing of the pulsed light L P Are set to be longer as the delay time of each of the control pulses G 1 to G 4 with respect to L becomes longer.
  • the arithmetic circuit 12 number of repetitions N 1, N 2, N 3 , N 4 of the pulsed light L P in each sub-frame period F within 1 ⁇ F 4, the control pulses for generating timing of the pulse light L P
  • Nexp is a predetermined constant.
  • the number of acquisitions between subframe periods F 1 to F 4 is weighted so as to increase as the range shift becomes larger.
  • the distance calculation means of the arithmetic circuit 12 repeatedly executes the calculation of the distance for each pixel circuit 13 every one frame period, and repeatedly generates a distance image including the resulting distance information.
  • the distance calculation means sets the reading period R at every timing of the reading period R shown in part (a) of FIG. 2 (that is, according to the end timing of each subframe period F 1 to F 4 ).
  • the following distance calculation is repeatedly performed on the first to fourth detection signals S 1 to S 4 read out, and the average value of the effective distance calculation results obtained as a result is obtained as distance information within one frame period. I assume.
  • the distance calculation means calculates four types within one frame period.
  • the values of the first to fourth detection signals S 1 to S 4 are summed up in each of the sub-frame periods F 1 to F 4 of each frame, and the summed first to fourth detection signals S 1 to S 4 are targeted
  • the calculation of the distance may be executed, and the result of the effective distance calculation among the results may be integrated (averaged etc.) as distance information.
  • the distance data validity determination signal generation means 33 constituting the distance calculation means is based on the first to fourth detection signals S 1 to S 4 outputted from the pixel circuit 13 corresponding to the light emission timing of the pulsed light L P.
  • the total value of the signal components of the charges generated from the incident pulse light L R excluding the signal component of the background light among the first to fourth detection signals S 1 to S 4 is the distance data validity determination signal S.
  • the distance data validity determination signal S A is a signal indicating whether the first to fourth detection signals S 1 to S 4 strongly reflect the incident pulse light L R
  • the first to fourth It is a signal for determining whether the calculation of the distance based on the detection signals S 1 to S 4 is valid.
  • Distance data validity determining unit 34 determines whether the first to fourth detection signals S 1 to S 4 the calculation of the distance based on valid. Specifically, the distance data validity determining unit 34, the distance data validity determination signal S A with a predetermined threshold value Th 1, when the distance data validity determination signal S A is greater than the threshold value Th 1 is determines the distance calculation to be valid, it is determined that if the distance data validity determination signal S a is the threshold value Th 1 or less is ineffective distance calculation.
  • the invalid pixel identification value generation unit 35 generates an identification value indicating whether the distance calculation is invalid for each pixel corresponding to the pixel circuit 13 based on the determination result of the distance data validity determination unit 34.
  • Distance calculation reference signal generating means 36 of the distance calculation means based on the first to fourth detection signals S 1 to S 4 which are outputted from the pixel circuit 13 corresponding to the light emission timing of the pulsed light L P, Generate a distance calculation reference signal on which to calculate the distance. Specifically, the distance calculation reference signal generation means 36 sets the value S 1-3 of the difference between the pair S 1 and S 3 of one of the first to fourth detection signals S 1 to S 4 .
  • a first distance calculation reference signal X R is generated by calculating the ratio of the difference to the distance data validity determination signal S A.
  • the distance calculation reference signal generation means 36 calculates the difference between the value S2-4 of the difference between the set S 2 and S 4 of the other of the first to fourth detection signals S 1 to S 4 and A second distance calculation reference signal Y R is generated by calculating the ratio to the distance data validity determination signal S A.
  • the distance calculation reference signal selection means 37 of the distance calculation means determines whether or not the position of the object S can be measured based on the first and second distance calculation reference signals X R and Y R , If it is within the measurable range, either of the first and second distance calculation reference signals X R and Y R is output to the distance image generating means 38 as a valid value. For example, the distance calculation reference signal selection unit 37 determines whether the value of the distance calculation reference signal X R is “0” or more and the value of the distance calculation reference signal Y R is Th 3 or less. It is determined whether the distance calculation reference signals X R and Y R are valid or invalid.
  • the distance calculation reference signal selection means 37 selects one of the first and second distance calculation reference signals X R and Y R according to the comparison result of the first distance calculation reference signal X R and the threshold value Th 2 . Is selected, and the selected first and second distance calculation reference signals X R and Y R are output to the distance image generation means 38 as valid values.
  • any of the distance calculation reference signals X selected by the distance calculation reference signal selection means 37 for each pixel circuit 13 is selected.
  • the distance is calculated for each of the subframe periods F 1 to F 4 with reference to R 1 and Y R, and distance information is calculated from the average of them.
  • the distance image generation unit 38 generates a distance image including distance information corresponding to each pixel circuit 13 and outputs the distance image to an external device.
  • the external device of the output destination include output devices such as a display device and a communication interface device.
  • distance image generation unit 38 the distance for all of the sub-frame periods F 1 ⁇ every subframe period or pixel identification value is generated indicating that the distance calculation is disabled for F 4 F 1 ⁇ F 4
  • An invalid value can be embedded in the distance image for pixels determined to have the calculation reference signals X R and Y R outside the measurable range.
  • FIG. 5 is a timing chart for explaining the principle of distance calculation by the distance image sensor 10.
  • the distance charge in each area of the timing and the pixel circuits 13 of the various signals is controlled by the image sensor 10 indicates the timing accumulated, in order from the top, the light emitting timing of the pulse light L P, the first to fourth control pulses G 1 to G 4 and application timing of the control pulse G D, it shows the charge accumulation timings in the first to fourth charge read area 22 1 to 22 4.
  • the first to fourth control pulses G 1 to G 4 are continuously applied for the duration T 0 so as not to overlap each other. There is.
  • a ratio of incident pulsed light L R is the electric charge accumulated in the photoelectric conversion region 21 by being photoelectrically converted, corresponding to the delay time T D with respect to pulse light L P of the incident pulse light L R, two charge read area 22 2, 22 3, or the two charge read area 22 3, is distributed to 22 4.
  • the light emission timing of the duration T 0 of the pulse light L P by setting the relationship between the first application timing of the control pulse G 1, the charge readout area 22 1 is defined by the control pulse G 1 only the charges of the charge amount N B due to noise such as background light and dark current in the time window is transported.
  • the time delay to the charge amount N B is the charge readout area 22 2 while the charge amount of charge N sm1 distributed in response to T D has been added is transported, the charge readout area 22 3, the amount of charge distributed to correspond to the time delay to the charge amount N B T D The charge to which N sm2 has been added is transported.
  • G 4 is the charge readout area 22 3 delay to the charge amount N B time T while the charge amount of charge N sm1 distributed in response to D has been added is transported, the charge readout area 22 4, the charge amount N B to the delay distributed corresponds to the time T D charge amount N The charge to which sm2 is added is transported.
  • the arithmetic circuit 12 of the range image sensor 10 in accordance with each emission timing of the pulsed light L P, and the charge amount N sm1 excluding the amount of charge N B the amount of charge N B
  • the distance to the object S corresponding to the delay time T D can be calculated by calculating the ratio to the removed charge amount N sm2 .
  • FIG. 6 is a timing chart of various signals handled by the distance image sensor 10, and a graph showing changes of the calculated various values with respect to the delay time T D.
  • the (a) to part (e) portions indicate the timing of the control pulse G 1 ⁇ G 4 and the pulse light L P to (f) section ⁇ (n) portion, respectively, the first to fourth detection signals S 1 to the value of S 4, the difference value S 1-3, the value of S 2-4, the value of the distance data validity determination signal S a, and the distance calculated reference signal X R, Y R
  • the (o) portion shows the data effective range at the delay time T D
  • the (p) portion shows the measurable range at the delay time T D.
  • FIG. 6 shows various signals and values handled in distance calculation for subframe period F 1
  • delay time T for distance calculation for subframe periods F 2 to F 4 is also shown in FIG. The same is true except that D shifts.
  • the light source control means 31 and the charge transfer control means 32 of the arithmetic circuit 12 make a period of one frame constituted by subframe periods F 1 to F 4 timing of the control pulse G 1 ⁇ G 4 and the pulse light L P is controlled by the inner (light source control step, the charge transfer control step).
  • the first to fourth detection signals S 1 to S 4 are read out by the voltage detection means 26 1 to 26 4 of each pixel circuit 13, and those detection signals S 1 to S 4 are It is output to the arithmetic circuit 12 (voltage detection step).
  • the distance data validity determination unit 34 compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 4 is valid. Determine if For example, by setting the threshold value Th 1 in the vicinity of “0”, as shown in part (o) of FIG. 6, the value between “ ⁇ 1” and “0” of the delay time T D is “3” to It is determined that the range up to a value between "4" is the "data effective range" in which the distance calculation is effective.
  • the distance calculation reference signal selection means 37 determines whether the value of the distance calculation reference signal X R is within a predetermined range, whereby the value to be referred to for the distance calculation is the distance calculation reference signal X. It is selected from among R and a distance calculation reference signal Y R. For example, when the value of the distance calculation reference signal X R is “0” or more and the threshold value Th 2 or less, the distance calculation reference signal X R is selected, and when the value of the distance calculation reference signal X R exceeds the threshold value Th 2 A distance calculation reference signal Y R is selected. By such determination, it is possible to select a distance calculation reference signal in which a detection signal of a time window in which the incident timings of the incident pulse light L R overlap according to the position of the object S.
  • the distance calculation reference signal selection means 37 determines whether the value of the selected distance calculation reference signals X R and Y R is within a predetermined range, whereby the object S is within the measurable range. Is determined. For example, it is determined whether the value of the distance calculation reference signal X R is “0” or more, and it is determined whether the value of the distance calculation reference signal Y R is less than or equal to the threshold value Th 3 .
  • the distance calculation reference signal X R selected with respect to the corresponding pixel
  • the distance of the object S is calculated based on Y R
  • the calculation result of each subframe period F 1 to F 4 is averaged to calculate distance information, and a distance image including the calculated distance information of each pixel is generated and It is output.
  • the distance calculation by the distance image sensor 10 described above may be performed according to the following other procedure (hereinafter, also referred to as “4-tap 4-zone 4-subframe scheme”). According to this procedure, the “data effective range” and the “measurable range” in the delay time T D can be expanded.
  • FIG. 7 is a timing chart of various signals handled in another calculation procedure by the distance image sensor 10, and a graph showing a change with respect to delay time T D of various values calculated in another calculation procedure.
  • the (a) to part (e) portions indicate the timing of the control pulse G 1 ⁇ G 4 and the pulse light L P to (f) section ⁇ (o) portion, respectively, the first to fourth detection signals S 1 to the value of S 4, the difference value S 1-3, the value of S 2-4, the distance data validity determination signal value of S a, and the distance calculated reference signal R 1, R 2 , R 3 corresponding to the delay time T D , (p) indicates the data effective range at the delay time T D , and (q) indicates the data effective range corresponding to the delay time T D
  • the calculated values of the comparison signals P 2 to P 4 and the (r) part indicate the measurable range in the delay time T D.
  • FIG. 7 shows various signals and values handled in distance calculation for subframe period F 1
  • delay time T is also calculated for distance calculation for subframe periods F 2 to F 4. The same is true except that D shifts.
  • the light source control means 31 and the charge transfer control means 32 of the arithmetic circuit 12 make a period of one frame constituted by subframe periods F 1 to F 4 .
  • timing of the control pulse G 1 ⁇ G 4 and the pulse light L P is controlled by the inner (light source control step, the charge transfer control step).
  • the control pulse G D is set to be applied in a period other than the application period of the control pulse G 1 ⁇ G 4.
  • the control pulse G 3 is turned on, immediately after the four control pulses G 1 ⁇ G 4 are on continuously, the control pulse G 1 is turned on again Ru.
  • the first to fourth detection signals S 1 to S 4 are read out by the voltage detection means 26 1 to 26 4 of each pixel circuit 13, and those detection signals S 1 to S 4 are It is output to the arithmetic circuit 12 (voltage detection step).
  • distance information for each pixel in units of subframe periods F 1 to F 4 is calculated by the arithmetic circuit 12 (distance calculation step ). That is, the distance data validity determination signal generating means 33, a difference value S 2-4 of the detection signal S 1, a difference value S 3 S 1-3 and the detection signal S 2, S 4 is calculated. In addition, the distance data validity determination signal generating means 33, based on the absolute value of the difference value S 1-3 and the difference value S 2-4, the value of the distance data validity determination signal S A is calculated.
  • the distance data validity determination unit 34 compares the value of the distance data validity determination signal S A with the threshold value Th 1 to determine whether the calculation of the distance using the detection signals S 1 to S 4 is valid. Determine if For example, by setting the threshold value Th 1 in the vicinity of “0”, as shown in part (p) of FIG. 7, the value between “ ⁇ 1” and “0” of the delay time T D is “4” to It is determined that the range to a value between "5" is the "data effective range" in which the distance calculation is effective.
  • the value of the distance calculated reference signal R 3 using is calculated.
  • a value to be referred to for distance calculation is one of the distance calculation reference signals R 1 to R 3 . It is selected from For example, distance calculation reference signal R 1 is the threshold Th 2 or less, and, when the distance calculated reference signal R 2 is the threshold value Th 5 below, the distance calculation reference signal R 1 is selected. On the other hand, the distance is calculated reference signal R 1 exceeds the threshold value Th 2, and, when the distance calculated reference signal R 2 is the threshold value Th 5 below, the distance calculation reference signal R 2 is selected. Furthermore, when the distance calculated reference signal R 2 exceeds the threshold Th 5 is distance calculation reference signal R 3 is selected. By such determination, it is possible to select a distance calculation reference signal in which a detection signal of a time window in which the incident timings of the incident pulse light L R overlap according to the position of the object S.
  • the distance calculation reference signal selection means 37 determines whether the value of the selected distance calculation reference signals R 1 and R 3 is within a predetermined range, whereby the object S is in a measurable range. Is determined. For example, the distance value of the calculation reference signal R 1 is judged whether it is more "0", the value of the distance calculated reference signal R 3 is whether the threshold Th 6 or less is determined.
  • the distance calculation reference signal R 1 ⁇ selected for the corresponding pixel
  • the distance of the object S is calculated based on R 3
  • the calculation result of each subframe period F 1 to F 4 is averaged to calculate distance information, and a distance image including the calculated distance information of each pixel is generated and It is output.
  • the calculable range of the delay time T D can be expanded, and the time width of the time window can also be reduced.
  • the distance calculation is performed by selecting a value that changes linearly with respect to the delay time T D among the distance calculation reference signals R 1 , R 2 and R 3 , corresponding to the range in which the object S is located
  • An appropriate distance data reference signal value can be used to calculate the distance, and an accurate image signal can be generated regardless of the position of the object S.
  • pulse light L P is generated from the light source 11 in four sub-frame periods F within 1 ⁇ F 4 contained in one frame period, pulse light L P Corresponding to the generation of the pulse light LP, the time window of the duration T 1 of the duration T 0 or more of the pulse light L P is sequentially set, and the first to fourth charges from the photoelectric conversion region 21 of the pixel circuit 13 in that time window The charges are sequentially transferred to the reading areas 22 1 to 22 4 , and the charges are discharged from the photoelectric conversion area 21 to the charge discharging area 23 in the period other than the time window.
  • the first to fourth detection signals S 1 to S 4 are read out from the first to fourth charge readout regions 22 1 to 224 of the pixel circuit 13 every subframe period F 1 to F 4 , and those The distance is calculated repeatedly based on At this time, the delay time (range shift) of the time window with respect to the generation timing of the pulsed light L P is set to shift to different time every four types of sub-frame periods F 1 to F 4 .
  • time windows of eight types of range shifts are set.
  • the distance calculation means of the arithmetic circuit 12 calculates the distance for each of the subframe periods F 1 to F 4 . In this case, it is possible to calculate a distance with high distance resolution according to the distance measurement range of the object S.
  • the distance in the image sensor 10 the number of repetitions of the pulse light L P in each of the sub-frame periods F 1 ⁇ F 4 within one frame period, are weighted to be larger as the shift time of the range shift is longer There is.
  • the number of times the light pulse is projected (the number of times the charge is accumulated in the pixel) is increased for frames in the far distance measurement range according to the distance measurement range in each subframe period F 1 to F 4.
  • the number of times of light emission (the number of times of charge accumulation in a pixel) can be reduced for a frame in a distance range, and distance resolution can be improved.
  • the subframe periods F 1 to F 4 are weighted by the square of the distance measurement distance.
  • the minimum value of the distance resolution is improved by 2 1/2 times as compared to the case where the number of times of light emission is allocated evenly between subframe periods.
  • each of the sub-frames generated in response to the application of the first to fourth control pulses G 1 to G 4 in each of the sub-frame periods F 1 to F 4 of the weighted and set period The voltages of the first to fourth charge readout regions 22 1 to 22 4 are read out as first to fourth detection signals S 1 to S 4 , and the distance calculation is performed using them.
  • the saturation of the detection signals S 1 to S 4 caused by the strong background light can be prevented, the dynamic range of distance measurement can be improved.
  • FIGS. 8 and 9 show simulation results of the distance resolution of the present embodiment when the distance range of 0.2 to 6 m is measured in comparison with the comparative example.
  • FIG. 8 shows the resolution in the measurement under background light of 100 klux
  • FIG. 9 shows the resolution in the measurement under background light of 0 lux.
  • Comparative Example 1 when one type of range shift is set for each subframe and one type of subframe is set in one frame period, in Comparative Example 2, two types of range shift are set for each subframe, When one type of subframe is used in one frame period, in Comparative Example 3, three types of range shifts are set for each subframe, and when one type of subframe is used in one frame period, Comparative Example 4 is used.
  • the first embodiment sets four types of range shifts for each subframe, and shifts the range shift of a subframe to two types in two subframe periods in one frame period.
  • the third embodiment has four types of shift for each subframe.
  • the case of setting the range shift and shifting the range shift of the sub-frame to four types in four sub-frame periods within one frame period is shown.
  • the resolution of approximately 7 m is estimated in the distance measurement of 6 m in Comparative Example 1, while in Examples 1 to 3, the resolution improves as the number of subframe periods increases. In Example 3, it turned out that it improves to resolution of 20 cm by distance measurement of 6 m. Further, as shown in FIG. 9, while the resolution of about 5.5 cm is estimated in the distance measurement of 6 m in Comparative Example 1, the number of subframe periods is increased in Examples 1 to 3. It has been found that the resolution is improved according to and in Example 3 it is improved to a resolution of 8 mm with a distance measurement of 6 m.
  • the simulation result of the distance resolution of the present embodiment when the distance range of 0.2 to 6 m is measured under a background light of 100 klux is weighted in the case of weighting the subframe period length. It shows by comparing with the case where it does not.
  • FIG. 11 shows a simulation result of the number of generated electrons for each signal readout in the present embodiment when the distance range of 0.2 to 6 m is measured under background light of 100 klux in comparison with the comparative example.
  • the graph CG 1 shows the number of electrons generated when reading out a signal in units of one frame period in Comparative Example 4, and the graph CG 2 is set as shown in part (d) of FIG. 2 in Example 3.
  • the figure shows the number of electrons generated when reading out a signal in units of subframe periods F 1 to F 4 .
  • the number of generated electrons in signal readout is suppressed in a wide measurement range.
  • the present embodiment by performing signal readout for each sub-frame, it is possible to prevent saturation due to a large amount of charge due to strong background light such as sunlight.
  • the number of saturated electrons in the charge detection unit of the pixel can be set relatively low, the size of the capacitor incorporated in the pixel for charge detection can be reduced. For example, if the number of electrons can be reduced to 100,000 or less, it is possible to cope with 100 klux of background light with a 10 fF capacitor. Since the capacitor can be made smaller, the conversion gain can be increased, which is also advantageous for noise.
  • the four charge readout areas 22 1 to 22 4 are provided in the pixel circuit 13, but any number of charge readout areas may be provided as long as it is three or more.
  • the control electrode and the voltage detection means are provided corresponding to the number of charge readout regions, and the arithmetic circuit 12 calculates distance information based on the detection signals read out from the respective charge readout regions.
  • any two or more subframe periods may include subframe periods of any kind.
  • the charge transfer control means 32 of the arithmetic circuit 12 to the generation timing of the pulsed light L P, depending on the number of types of sub-frame periods, so that the delay time of the control pulse is shifted at different times Set the timing of control pulse.
  • the distance calculation means of the arithmetic circuit 12 is configured to calculate the distances for the first to fourth detection signals S 1 to S 4 every four types of subframe periods F 1 to F 4 within one frame period. The calculation was running. However, it is not limited to such an aspect.
  • the distance calculation means may perform distance calculation for detection signals detected across two subframe periods F 1 and F 2 .
  • the detail of the procedure of the distance calculation by the distance calculation means of the arithmetic circuit 12 in the modification of such an aspect will be described with reference to FIG.
  • the calculation of the distance is performed based on the detection signal detected across two subframe periods F 1 and F 2 , but similarly, two subframe periods F 2 and F
  • the calculation of the distance may be performed based on the detection signal detected across three or two subframe periods F 3 and F 4 .
  • FIG. 12 is a timing chart of various signals handled by the present modification, and a graph showing changes of calculated various values with respect to delay time T D. 12, is applied to the (a) portion ⁇ (c) portion, respectively, the sub-frame control pulse is applied in the period F 1 G 1 (1) ⁇ G 4 (1), in the sub-frame period F 2
  • the timings of the control pulses G 1 (2) to G 4 (2) and the pulsed light L P are shown, and are detected in sub-frame periods F 1 and F 2 in parts (d) to (e), respectively.
  • the values of the first to fourth detection signals S 1 (1) to S 4 (1) and S 1 (2) to S 4 (2) are shown. Further, in FIG.
  • the difference values S 1-3 (1) , S 1-3 (2) , S 2-4 (1) , S 2-4 (2 ) value of) (in h) section ⁇ (i) section, the distance data validity determination signal S a (1), the value of S a (2), the portion (j) section ⁇ (o) is the distance calculated
  • the values of reference signals X R (1) , Y R (1) , X R (B) , Y R (B) , X R (2) , Y R (2) are shown corresponding to delay time T D.
  • the (p) part shows the data effective range at the delay time T D
  • the (q) part shows the measurable range at the delay time T D.
  • the arithmetic circuit 12 is the same as the above embodiment in that the detection signals S 1 (1) to S 4 (1) , S 1 ( detected in the respective subframe periods F 1 and F 2 ) . based on 2) ⁇ S 4 (2) , the difference value S 1-3 (1), S 1-3 (2), S 2-4 (1), to calculate the S 2-4 (2). Then, based on these difference values, the arithmetic circuit 12 performs the distance data validity determination signals S A (1) , S A corresponding to the subframe periods F 1 and F 2 in the same manner as in the above-described embodiment. Calculate the value of (2) .
  • the values of the respective distance data validity determination signals S A (1) and S A (2) are compared with the threshold value Th 1 to detect the respective detection signals S 1 (1) to S 4 (1) , It is determined whether the calculation of the distance using S 1 (2) to S 4 (2) is valid. For example, by setting the threshold value Th 1 in the vicinity of “0”, as shown in part (p) of FIG. 12, the value between “ ⁇ 1” and “0” of the delay time T D is “7” to It is determined that the range to a value between "8" is the "data effective range” in which the calculation of the distance is effective.
  • the distance calculation reference signal X R is calculated using the following equations (10) and (11) based on the detection signals detected across the two subframe periods F 1 and F 2. (B) , Y R (B) values are calculated.
  • the value referred to for the distance calculation by the arithmetic circuit 12 is the distance calculation reference signal X R (1) , X R (B) , X R (2) and the distance calculation reference signal Y R (1) , Y R (B) , Y R (2) are selected.
  • the distance calculation reference signals X R (1) and Y R (1) are obtained in the same manner as the above embodiment.
  • one of the distance calculation reference signals X R (1) and Y R (1) is selected.
  • the values of the distance calculation reference signals X R (2) and Y R (2) are calculated in the same manner as the above embodiment. In response, one of the distance calculation reference signals X R (2) and Y R (2) is selected.
  • the distance calculation reference signals X R (1) and X R (2 ) and distance calculation reference signal Y R (1) when not selected any of the values from among the Y R (2), the distance calculated reference signal X R (B), Y values of R (B) Depending on, either of the distance calculation reference signals X R (B) and Y R (B) is selected.
  • the distance calculation reference signal selected for the corresponding pixel Based on X R (1) , X R (B) , X R (2) , Y R (1) , Y R (B) , Y R (2) , the distance of the object S is calculated.
  • the calculation results in the frame periods F 1 to F 4 are averaged to calculate distance information, and a distance image including the calculated distance information of each pixel is generated and output.
  • an accurate image signal can be generated regardless of the position of the object S. For example, if four time windows are set for each sub-frame period and the distance is calculated for every three sub-frame periods, it is simple when the incident pulse light L R is incident to the eleven time windows. The distance can be determined by any calculation. Similarly, when N types of subframe periods in which M time windows are set are set, it is assumed that incident pulse light L R is incident corresponding to continuous M ⁇ N ⁇ 1 time windows. Distance can be calculated.
  • control pulse G 1 among the first to fourth control pulses G 1 to G 4 is changed during the four types of subframe periods F 1 to F 4. May be configured.
  • the control of the application timing of the control pulses G 1 to G 4 by the charge transfer control means 32 of the arithmetic circuit 12 in the modification of such an embodiment will be described in detail with reference to FIG.
  • FIG. 13 is a timing chart showing control timings of the pulsed light L P and the first to fourth control pulses G 1 to G 4 in the subframe period F 1 in the present modification.
  • FIG. 13 shows a timing control in the sub-frame period F 1, the timing control in the other sub-frame periods F 2 ⁇ F 4, same as the control state shown in FIG. 3 or FIG. 4 It may be.
  • the pulse light L P first to fourth control pulses G 1 to G delay time is short sub-frame periods F 1 to F 4 4 for application timing of sequentially
  • the rate of the number of times of application of the first to fourth control pulses G 1 to G 4 (the number of applications per unit time) in the order of the fourth to first control pulses G 4 to G 1
  • control the application timing of the first to fourth control pulses G 1 to G 4 it is sufficient that at least a first rate of application times of the control pulse G 1 is lowered. That is, in the example shown in FIG.
  • the charge transfer control means 32, in the shortest subframe period F 1 is the delay time, controlled to thin out the number of applications of the control pulse G 1 ⁇ G 3, sub-frame periods F 1
  • the number of times of thinning is controlled so as to increase in the order of the third to first control pulses G 3 to G 1 . More specifically, the number of times of application of the first to fourth control pulses G 1 to G 4 in the subframe period F 1 is N 1 ⁇ (1 ⁇ 4), N 1 ⁇ (2/4), respectively. It is controlled to become N1 ⁇ (3/4), N1.
  • control timing of the pulse light L P and the first to fourth control pulses G 1 to G 4 in the sub-frame periods F 1 may be controlled as shown in FIG. 14.
  • the first to fourth rate of application times of the control pulse G 1 to G 4 in having a delay time corresponding to the distance range to be measured is applied immediately after application of the light L P, the fourth to the first control pulse
  • the application timings of the first to fourth control pulses G 1 to G 4 are controlled so as to lower in the order of G 4 to G 1 .
  • it is sufficient that at least a first rate of application times of the control pulse G 1 is lowered. That is, in the example shown in FIG.
  • the charge transfer control unit 32 measures a part of the control pulses G 1 to G 3 as a measurement target immediately before the application of the pulsed light L P in the subframe period F 1 with the shortest delay time. distance range to control to change the timing of non delay time equivalent, the number of changes applied timing in the sub-frame period F 1, to increase in the third to the first order of control pulses G 3 to G 1 To control. By applying the control pulses G 3 to G 1 whose application timing has been changed as described above, only the background light is reflected on the detection signal.
  • the number of times of application of the first to fourth control pulses G 1 to G 4 applied immediately after the application of the pulsed light L P in the subframe period F 1 is N 1 ⁇ (1/1 / 4), N1 ⁇ (2/4), N1 ⁇ (3/4), N1 are controlled.
  • the target S in the near distance measurement range when the target S in the near distance measurement range is targeted, saturation of the detection signal can be prevented. As a result, the dynamic range of distance measurement can be improved. That is, when the target S in the short distance region is targeted, the number of generated electrons may be very large due to the strong incident pulse light L R , and the number of saturated electrons in the pixel circuit 13 may be exceeded. In this modification, in the sub-frame period in which the time window for the measurement of the short distance region is set, the number of charges taken in by the time window is reduced to suppress the number of generated electrons.
  • the number of generated electrons in the pixel circuit 13 can be contained in the range of the number of saturated electrons, and while the distance resolution in the case of targeting the object S in the long distance region is sufficiently enhanced, The distance resolution in the target case can also be maintained at a sufficient value.
  • FIG. 15 shows a simulation result of the number of generated electrons for each signal readout in the present modification when the distance range of 0.2 to 6 m is measured under background light of 0 lux.
  • Graph CG 3 is a frame in the case of thinning the first number of applications of the control pulse G 1 of the sub-frame periods F 1 to 1/4, and decimating the second number of applications of the control pulse G 2 of the 2/4 It shows the number of electrons generated in the period.
  • a graph CG 4 shows the number of electrons generated in one frame period in the case where no thinning the first to fourth control pulses G 1 to G 4 in. As shown in these results, in the present modification, the number of generated electrons in signal readout is suppressed in a close measurement range up to a distance of about 1 m.
  • FIG. 16 shows a simulation result of distance resolution in the present modified example when distance measurement of a distance range of 0.2 to 6 m is performed under 0 lux background light.
  • Graph RG 17 the distance resolution in the case of thinning the first number of applications of the control pulse G 1 of the sub-frame periods F 1 to 1/4, and decimating the second number of applications of the control pulse G 2 of the 2/4 Is shown.
  • a graph RG 18 shows the distance resolution in a case where no thinning the first to fourth control pulses G 1 to G 4 in. As shown in the graph RG 17, in this modification, the distance resolution even when thinning control pulses is suppressed to less than about 3.2mm at a distance of 0.8 m.
  • the length of each subframe period F 1 to F 4 becomes longer as the delay time of each of the control pulses G 1 to G 4 with respect to the generation timing of the pulsed light L P becomes longer. It is set.
  • the intensity of the pulsed light L P in each of the sub-frame periods F 1 ⁇ F 4 within one frame period, each of the control pulses G 1 ⁇ G 4 for generating timing of the pulse light L P It may be set to be weighted so as to become weaker as the delay time of.
  • Figure 17 is in a modification of this aspect, shows the generation timing of the application timing and the pulse light L P of the control pulse G 1 ⁇ G 4 by the charge transfer control means 32 and the light source control means 31 of the arithmetic circuit 12 There is.
  • the light source control means 31 of the arithmetic circuit 12 the intensity of the pulsed light L P generated in each sub-frame period F in 1 ⁇ F 3, respectively, I 1, I 2, I 3 (I 1 ⁇ It is set as I 2 ⁇ I 3 ).
  • the weighting is set as shown in FIG.
  • the intensity of the pulsed light L P subframe period F 4 is similarly set. At this time, number of repetitions N 1 ⁇ N 4 of the pulsed light L P in each sub-frame period F 1 ⁇ F 4 is equally set.
  • the light emission intensity of the light pulse is increased for the frame of the far distance measurement range, and the frame of the near distance measurement range is obtained.
  • the light emission intensity can be lowered and the distance resolution can be enhanced.
  • the intensity of the incident pulse light L R becomes weak in inverse proportion to the square of the distance
  • the intensity of the light pulse is weighted by the square of the distance measurement distance.
  • stronger pulsed light can be used for the longest ranging distance subframe period in which the distance resolution is most reduced, and the lowest value of the range resolution (which may occur in the longest ranging distance subframe period) ) Can be improved.
  • charge readout is performed as the delay time of control pulses G 1 to G 4 with respect to the generation timing of pulsed light L P becomes shorter in each subframe period F 1 to F 4 in one frame period.
  • Control may be performed to increase the capacitance of the regions 22 1 to 22 4 .
  • FIG. 18 shows an equivalent circuit diagram of the main part of the pixel circuit 13 in the modification of such a mode.
  • the photodiode D ij corresponds to the photoelectric conversion region 21
  • the gate terminal of the charge discharging MOS transistor Q D corresponds to the fifth control electrode 25
  • the gate terminal of the transfer MOS transistor Q 1T ⁇ Q 4T Respectively correspond to the first to fourth control electrodes 24 1 to 24 4 .
  • the electrostatic induction channel portion from the photodiode D ij to the transfer MOS transistors Q 1T to Q 4T is represented by junction type field effect transistors Q P1 and Q P2 whose own gate terminals are grounded.
  • the two intermediate taps of the junction field effect transistor Q P1, Q P2 connected in series, is connected a source terminal of the charge discharging MOS transistor Q D, the power drain terminal of the charge discharging MOS transistor Q D is at a high potential Connected to V DD .
  • one end of each of the transfer MOS transistors Q 1 T to Q 4 T is represented as a configuration in which the junction field effect transistor Q P2 is connected in a T-shape.
  • charge readout regions 22 1 to 22 4 and voltage detection means 26 1 to 26 4 are connected to the other end of each of transfer MOS transistors Q 1T to Q 4T.
  • a capacitor Cka for charge storage is connected between node Dk and the ground, and in parallel with it, a capacitance switch MOS transistor Q kb and a capacitor C kb for charge storage are provided. And a series circuit of a capacitance switching MOS transistor Qkc and a charge storage capacitor Ckc . Then, four gate terminals of capacitance switching MOS transistor Q kb are connected to control line SC b, and four gate terminals of capacitance switching MOS transistor Q kc are connected to control line SC c.
  • control signals from the control means 32 is supplied to the control line SC b and a control line SC c, MOS transistors Q kb and MOS transistor Q kc on / off capacitive switch capacitor switch is a controllable independently.
  • the charge transfer control means 32 can control the capacitances of the charge readout regions 22 1 to 22 4 to change in four ways.
  • the node D k is connected to the gate terminal of the amplifying transistor Q kA constituting a source follower circuit for reading a potential change accompanying the change in the charge amount of the node D k, further to node D k, after the signal readout
  • the reset transistor Q kR for initializing the signal charge is connected.
  • the source terminal of the amplifying transistor Q kA is selected transistor Q kS as a switch for reading pixel selection is connected, the output of the select transistor Q kS is connected to the signal read line S k for reading a detection signal There is.
  • the charge transfer control means 32 of the arithmetic circuit 12 when reading a detection signal to transfer the charge in each sub-frame periods F 1 ⁇ F 4, with the charge readout area 22 1 to 22 3
  • the capacities are set to C 1 , C 2 , C 3 (C 1 > C 2 > C 3 ), respectively.
  • the light source 11 is a point light source
  • the weighting is set as shown in FIG.
  • C ka: C kb: C kc 1: 3: and 5
  • C 1 C ka + C kb + C kc
  • C 2 C ka + C kb
  • Capacitance of the charge readout area 22 4 is also set similarly. At this time, number of repetitions N 1 ⁇ N 4 of the pulsed light L P in each sub-frame period F 1 ⁇ F 4 is equally set.
  • the capacity for storing charge is small for frames in the far distance measurement range, and for frames in the near distance measurement range. Can increase the capacity for storing charge and can improve the distance resolution.
  • the intensity of the incident pulse light L R is weakened in inverse proportion to the square of the distance, a smaller capacity can be used for the sub-frame period of the longest ranging distance where the distance resolution is most reduced, The lowest value of distance resolution (which may occur in the longest ranging distance subframe period) can be improved. As a result, it is possible to prevent the reduction of the distance resolution in the distance measurement range where the distance is far, and to maintain the distance resolution efficiently as a whole.
  • the distance calculating means may detect the first to Mth detection signals detected in response to the application of the first to Mth control pulses in each of the first to Nth subframe periods.
  • the distance may be calculated using In this case, it is possible to calculate a distance with high distance resolution according to the distance measurement range of the object.
  • the distance calculating means may detect the first to Mth detections detected in response to the application of the first to Mth control pulses within two subframes of the first to Nth subframes.
  • the signal may be used to calculate the distance. In this case, it is possible to calculate an unbroken distance across a plurality of distance measurement ranges of the object.
  • the number of repetitions of pulsed light in each of the first to N-th (N is an integer of 2 or more) sub-frame periods in one frame period is the number of control light pulses It may be weighted such that the longer the delay time, the more it becomes. As a result, it is possible to prevent the reduction of the distance resolution in the distance measurement range where the distance is far and to maintain the distance resolution efficiently as a whole.
  • the voltage detection means is configured to set the voltages of the first to Mth charge readout regions generated in response to the application of the first to Mth control pulses for each subframe period of the weighted and set period. It may be read out as the first to Mth detection signals. In this case, as a result of being able to prevent the saturation of the detection signal caused by the strong background light, the dynamic range of distance measurement can be improved.
  • the charge transfer control means is configured to sequentially apply the first to the second sub-frame periods as the delay time of the first to M-th control pulses with respect to the generation timing of the pulsed light becomes shorter. It may be set to lower the rate of the number of applications of at least the first control pulse of the Mth control pulse. With this configuration, saturation of the detection signal can be prevented when an object in a close distance measurement range is targeted. As a result, the dynamic range of distance measurement can be improved.
  • the charge transfer control means may be adapted to sequentially apply the first to the second sub-frame periods as the delay time of the first to M-th control pulses with respect to the generation timing of the pulsed light becomes shorter.
  • the number of applications of at least the first control pulse of the Mth control pulse may be set to be reduced.
  • the intensity of the pulsed light in each of the first to Nth sub-frame periods in the one frame period has a short delay time of the first to Mth control pulses with respect to the generation timing of the pulsed light. It may be weighted so as to be weak to such an extent. In this case, when an object in a close distance measurement range is targeted, saturation of the detection signal can be prevented. As a result, the dynamic range of distance measurement can be improved.
  • the delay time of the first to Mth control pulses with respect to the generation timing of the pulse light becomes shorter, It may be controlled to increase the capacitance of the Mth charge readout region.
  • saturation of the detection signal can be prevented.
  • the dynamic range of distance measurement can be improved.
  • an image sensor in which pixel circuit portions are arranged in a two-dimensional array may be included. According to this configuration, it is possible to generate a distance image including highly accurate two-dimensional distance information regardless of the position of the object.
  • One aspect of the present invention is applied to a distance image measuring device and a distance image measuring method for generating a distance image including distance information for each pixel, and distance resolution is improved for objects in various distance measuring ranges.
  • Image signal can be generated.
  • SYMBOLS 10 Distance image sensor (distance image measuring device) 11, Light source, 12 ... Arithmetic circuit, 13 ... Pixel circuit (pixel circuit part), 21 ... Photoelectric conversion area, 22 1 to 22 4 ... Charge readout area, 23 ... Charge Discharge area, 24 1 to 24 4 , 25 ... control electrode, 26 1 to 26 4 ... voltage detection means, 31 ... light source control means, 32 ... charge transfer control means, 33 ... distance data validity judgment signal generation means, 34 ... distance data validity determination unit, 35 ... invalid pixel identification value generation unit, 36 ... distance calculation reference signal generator, 37 ... distance calculation reference signal selecting means, 38 ... distance image generation unit, F 1 ⁇ F 4 ... subframe period , G 1 to G 4 , G D ... control pulse, L P ... pulse light, S ... object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

距離画像センサ１０は、パルス光ＬＰを発生させる光源１１と、光源１１を制御する光源制御手段３１と、光電変換領域２１、電荷読出領域２２１～２２４、電荷排出領域２３、及び制御電極２４１～２４４，２５を有する画素回路１３と、制御電極２４１～２４４に制御パルスを順次印加する電荷転送制御手段３２と、電荷読出領域２２１～２２４の電圧を検出信号Ｓ１～Ｓ４として読み出し、検出信号Ｓ１～Ｓ４を基に距離を繰り返し計算する距離計算手段とを備え、電荷転送制御手段３２は、１フレーム期間内の４種類のサブフレーム期間Ｆ１～Ｆ４ごとに、パルス光ＬＰの発生タイミングに対する制御パルスの遅れ時間を異なる時間にシフトさせるように制御パルスのタイミングを設定する。

Description

距離画像測定装置及び距離画像測定方法
　本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法に関する。
　従来から、光の飛行時間を用いて距離情報を含む画像信号を生成するセンサ装置が用いられている（例えば、下記特許文献１参照）。このセンサは、時間軸上に配列された第１～第５フレームにおいて第１～第５のパルスの列を照射パルスとして対象物に照射し、ピクセルアレイにおいて対象物の距離情報を含む画像信号を生成する。このような構成により、距離分解能を低下させることなく距離計測範囲を拡大することができる。
特開２０１０－３２４２５号公報
　しかしながら、上述した従来のセンサ装置では、様々な距離計測範囲の対象物の距離情報を含む画像信号を生成しようとする場合に、さらに距離分解能を向上させようとするためには改善の余地があった。
　本発明の一側面は、上記課題に鑑みて為されたものであり、様々な距離計測範囲の対象物を対象にして距離分解能が向上された画像信号を生成することが可能な距離画像測定装置及び距離画像測定方法を提供することを目的とする。
　上記課題を解決するため、本発明の一形態にかかる距離画像測定装置は、パルス光を発生させる光源と、第１の持続時間を有するパルス光を１フレーム期間内に含まれる第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内で定期的に繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは２以上の整数）の電荷読出領域、電荷を排出するための電荷排出領域、及び光電変換領域と第１～第Ｍの電荷読出領域および電荷排出領域とに対応してそれぞれ設けられ、光電変換領域と第１～第Ｍの電荷読出領域および電荷排出領域との間における電荷転送のための第１～第Ｍ＋１の制御パルスを印加するための第１～第Ｍ＋１の制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、第１の持続時間以上である第２の持続時間の間だけ第１～第Ｍの制御電極に第１～第Ｍの制御パルスを順次印加し、第１～第Ｍの制御パルスの印加期間以外の期間に第Ｍ＋１の制御電極に第Ｍ＋１の制御パルスを印加する電荷転送制御手段と、電荷転送制御手段による第１～第Ｍの制御パルスの印加後に、画素回路部の第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出手段と、第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、電荷転送制御手段は、１フレーム期間内の第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間ごとに、パルス光の発生タイミングに対する第１～第Ｍの制御パルスの遅れ時間を異なる時間にシフトさせるように、第１～第Ｍの制御パルスのタイミングを設定する。
　あるいは、本発明の他の形態にかかる距離画像測定方法は、光源制御手段が、第１の持続時間を有するパルス光を１フレーム期間内に含まれる第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内で定期的に繰り返し発生させるように光源を制御する光源制御ステップと、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは２以上の整数）の電荷読出領域、電荷を排出するための電荷排出領域、及び光電変換領域と第１～第Ｍの電荷読出領域および電荷排出領域とに対応して設けられた第１～第Ｍ＋１の制御電極を有する画素回路部を用いて、電荷転送制御手段が、光源制御手段によるパルス光の発生に対応して、第１の持続時間以上である第２の持続時間の間だけ第１～第Ｍの制御電極に、電荷の転送を制御するための第１～第Ｍの制御パルスを順次印加し、第１～第Ｍの制御パルスの印加期間以外の期間に第Ｍ＋１の制御電極に電荷の排出を制御するための第Ｍ＋１の制御パルスを印加する電荷転送制御ステップと、電圧検出手段が、電荷転送制御手段による第１～第Ｍの制御パルスの印加後に、画素回路部の第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出ステップと、距離計算手段が、第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、電荷転送制御ステップでは、１フレーム期間内の第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間ごとに、パルス光の発生タイミングに対する第１～第Ｍの制御パルスの遅れ時間を異なる時間にシフトさせるように、第１～第Ｍの制御パルスのタイミングを設定する。
　上記形態の距離画像測定装置あるいは距離画像測定方法によれば、１フレーム期間内に含まれる２つ以上のサブフレーム期間内で光源から定期的に繰り返しパルス光が発生し、パルス光の発生に対応して、パルス光の持続時間以上の第２の持続時間の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路部の光電変換領域から第１～第Ｍの電荷読出領域に順次電荷が転送されるとともに、その時間ウィンドウ以外の期間では光電変換領域から電荷が排出される。さらに、画素回路部の第１～第Ｍの電荷読出領域から第１～第Ｍの検出信号が読み出され、それらをもとに距離が繰り返し計算される。このとき、２つ以上のサブフレーム期間ごとに、パルス光の発生タイミングに対する時間ウィンドウの遅れ時間が異なる時間にシフトするように設定される。このように、画素回路部単位での時間ウィンドウのシフトおよびサブフレーム間での時間ウィンドウのシフトを組み合わせることによって、デューティ比の小さい多数の時間ウィンドウを使った電荷の検出が可能とされる。その結果、様々な距離計測範囲の対象物を対象にした場合であっても、検出信号における背景光ノイズの影響が低減され、距離分解能の高い距離計算が実現されるとともに、強い背景光に起因した検出信号の飽和による距離計算の誤差も防止できる。
　本発明の一側面によれば、様々な距離計測範囲の対象物を対象にして距離分解能が向上された画像信号を生成することができる。
本発明の好適な一実施形態に係る距離画像センサ１０の概略構成を示すブロック図である。 演算回路１２による距離計算の繰り返し期間である１フレーム期間の構成を示す図である。 図１の電荷転送制御手段３２によって設定された各サブフレーム期間Ｆ１～Ｆ３における制御パルスＧ１～Ｇ４のタイミングを示すタイミングチャートである。 図１の電荷転送制御手段３２によって設定された各サブフレーム期間Ｆ１～Ｆ３における制御パルスＧ１～Ｇ４のタイミングを示すタイミングチャートである。 図１の距離画像センサ１０による距離計算の原理を説明するためのタイミングチャートである。 図１の距離画像センサ１０によって扱われる各種信号のタイミングチャート、及び距離画像センサ１０によって計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 図１の距離画像センサ１０による別の計算手順で扱われる各種信号のタイミングチャート、及び、距離画像センサ１０による別の計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 ０．２～６ｍの距離範囲を距離計測した際の本実施形態の距離分解能のシミュレーション結果を示すグラフである。 ０．２～６ｍの距離範囲を距離計測した際の本実施形態の距離分解能のシミュレーション結果を示すグラフである。 ０．２～６ｍの距離範囲を距離計測した際の本実施形態の距離分解能のシミュレーション結果を示すグラフである。 ０．２～６ｍの距離範囲を距離計測した際の本実施形態における信号読み出し時の発生電子数のシミュレーション結果を示すグラフである。 変形例によって扱われる各種信号のタイミングチャート、及び変形例によって計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。 変形例におけるサブフレーム期間Ｆ１でのパルス光ＬＰ及び第１～第４の制御パルスＧ１～Ｇ４の制御タイミングを示すタイミングチャートである。 変形例におけるサブフレーム期間Ｆ１でのパルス光ＬＰ及び第１～第４の制御パルスＧ１～Ｇ４の制御タイミングを示すタイミングチャートである。 ０．２～６ｍの距離範囲を距離計測した際の変形例における信号読み出し時の発生電子数のシミュレーション結果を示すグラフである。 ０．２～６ｍの距離範囲を距離計測した際の変形例における距離分解能のシミュレーション結果を示すグラフである。 変形例における、演算回路１２による制御パルスＧ１～Ｇ４の印加タイミング及びパルス光ＬＰの発生タイミングを示すタイミングチャートである。 変形例における画素回路１３の要部の等価回路図である。
　以下、図面を参照しつつ本発明に係る距離画像測定装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
　まず、図１を参照して、本発明の距離画像測定装置の好適な一実施形態に係る距離画像センサ１０の機能および構成を説明する。図１に示す距離画像センサ１０は、飛行時間法を利用して画素毎に距離情報を含む距離画像を生成する装置であり、光源１１と、演算回路１２と、複数の画素回路（画素回路部）１３とを備える。光源１１は、飛行時間（ＴＯＦ：Time　Of　Flight）方式による距離計測を行うために、対象物Ｓに照射するパルス光ＬＰを発生させる装置である。光源１１は、例えば、発光ダイオードあるいはレーザダイオード等の半導体発光素子とその半導体発光素子を駆動する駆動回路とによって構成される。光源１１としては、近赤外領域、可視光領域等の波長領域の光を発生させる素子を用いることができる。さらに、距離画像センサ１０は複数の画素回路１３を備える。複数の画素回路１３は、２次元方向（例えば、列方向および行方向）に２次元アレイ状に配列されてイメージセンサを構成し、対象物Ｓによってパルス光ＬＰが反射されて生じた入射パルス光ＬＲを光電変換することにより検出信号を生成する。加えて、距離画像センサ１０は、演算回路１２も備えている。演算回路１２は、複数の画素回路１３によって生成された検出信号を用いて、対象物Ｓに関する距離情報を画素ごとに演算し、画素ごとの距離情報が反映された２次元画像情報を含む距離画像を生成及び出力する。演算回路１２は、ＣＰＵ，ＲＡＭ、ＲＯＭ、および入出力装置等を含むワンチップマイクロコンピュータ等の専用の集積回路によって構成されてもよいし、パーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
　以下、画素回路１３および演算回路１２の構成について詳細に説明する。
　まず、画素回路１３の構成について説明する。画素回路１３は、半導体素子によって構成され、入射パルス光ＬＲを電荷に変換する機能を有する光電変換領域２１と、光電変換領域２１に近接し、かつ互いに離間して設けられた第１～第４の電荷読出領域２２１～２２４及び電荷排出領域２３と、第１～第４の電荷読出領域２２１～２２４及び電荷排出領域２３のそれぞれに対応して設けられ、光電変換領域２１からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第１～第４の制御電極２４１～２４４および第５の制御電極２５と、第１～第４の電荷読出領域２２１～２２４のそれぞれから検出信号を読み出すための電圧検出手段２６１～２６４とを含んでいる。電圧検出手段２６１～２６４は、例えば、ソースフォロワアンプを含む増幅器であり、演算回路１２からの制御によって、選択的にそれぞれの電荷読出領域２２１～２２４の基準電位を基準にした電圧を検出および増幅し、増幅した電圧を第１～第４の検出信号として演算回路１２に出力する。
　画素回路１３は、例えば、シリコン基板等のｐ型半導体基板上に形成される。すなわち、光電変換領域２１は、ｐ型半導体基板上に順に形成された、ｐ型の半導体からなる活性領域形成層、ｎ型の表面埋込領域、ｐ型のピニング層、及び絶縁膜からなる画素形成領域の中央部に設けられる。そして、光電変換領域２１に近接するように互いに離間した位置にｎ型の表面埋込領域よりも高不純物濃度のｎ型の電荷読出領域２２１～２２４及び電荷排出領域２３が形成され、絶縁膜上の光電変換領域２１から電荷読出領域２２１～２２４及び電荷排出領域２３のそれぞれに至る電荷移動経路上のそれぞれには、制御電極２４１～２４４，２５が設けられる。ここで、制御電極２４１～２４４，２５は、それぞれ、電荷移動経路上に設けられてもよいし、電荷移動経路を両側から挟むように複数の電極部に分離して設けられてもよい。
　上記構成の画素回路１３においては、後述する演算回路１２から制御電極２４１～２４４，２５に対して、互いに位相の異なる制御パルスが印加される。これにより、表面埋込領域の空乏化電位を順次変化させることにより、電荷移動経路のいずれかに電荷が輸送されるような電位勾配を順次形成して、光電変換領域２１の表面埋込領域で発生した多数キャリア（電荷）を、電荷読出領域２２１～２２４及び電荷排出領域２３のいずれかに移動させる。この電荷排出領域２３は、光電変換領域２１で発生した電荷を排出するための領域である。
　次に、演算回路１２の構成について説明する。演算回路１２は、機能的な構成要素として、光源制御手段３１、電荷転送制御手段３２、距離データ有効性判定信号生成手段３３、距離データ有効性判定手段３４、無効画素識別値生成手段３５、距離計算参照信号生成手段３６、距離計算参照信号選択手段３７、及び距離画像生成手段３８を含んで構成される。距離データ有効性判定信号生成手段３３、距離データ有効性判定手段３４、無効画素識別値生成手段３５、距離計算参照信号生成手段３６、距離計算参照信号選択手段３７、及び距離画像生成手段３８は、本実施形態の距離計算手段を構成する。
　演算回路１２の光源制御手段３１は、光源１１によるパルス光ＬＰの発光タイミング、パルス光ＬＰの強度、及びパルス光ＬＰのパルス幅を制御する。具体的には、持続時間Ｔ０のパルス光ＬＰを、予め設定された長さの期間Ｔｆ(例えば、１／１２０ｓｅｃ)である１フレームの期間内の４種類のサブフレーム期間内で周期的に繰り返し発生させるように制御する。
　演算回路１２の電荷転送制御手段３２は、制御電極２４１～２４４，２５のそれぞれに、第１～第４の制御パルスＧ１～Ｇ４及び第５の制御パルスＧＤを印加する機能を有する。すなわち、電荷転送制御手段３２は、サブフレーム期間内のパルス光ＬＰのそれぞれの発生タイミングに対応して、持続時間Ｔ０以上である持続時間Ｔ１の間だけ制御電極２４１～２４４に順次第１～第４の制御パルスＧ１～Ｇ４を印加する。本実施形態では、持続時間Ｔ１は持続時間Ｔ０と等しくなるように設定される。また、電荷転送制御手段３２は、サブフレーム期間内の第１～第３の制御パルスＧ１～Ｇ３の印加タイミングを除く期間において、光電変換領域２１に蓄積された電荷を電荷排出領域２３に排出させるための制御パルスＧＤを制御電極２５に印加する。
　なお、パルス光ＬＰの飛行時間を用いた距離計算の分解能１５ｃｍは飛行時間１ｎｓに相当し、この分解能を下回るためには目安としてｐｓオーダーの時間精度を持つ制御手段が必要となる。それ故に、電荷転送制御手段３２と光源制御手段３１は、画素回路１３と一体での配線容量などを考慮した設計が必要になってくるため、画素回路１３と一体の半導体上に形成することが望ましい。なお、「一体の半導体上」とは、ＳＯＩ（Ｓｉｌｉｃｏｎ　Ｏｎ　Ｉｎｓｕｌａｔｏｒ）技術やＴＳＶ（Ｔｈｒｏｕｇｈ　Ｓｉｌｉｃｏｎ　Ｖｉａ）技術を用いて積層された複数の半導体層のうちの異なる半導体上も含まれる。具体的には、電荷転送制御手段３２と、電荷転送制御手段３２と制御電極２４１～２４４，２５との間の回路と、電荷転送制御手段３２と光源制御手段３１との間の回路の一部とは、画素回路１３と同一の半導体上、あるいは画素回路１３とともに積層された半導体層上に形成されていてもよい。
　ここで、演算回路１２による距離計算の繰り返し期間である１フレーム期間（Ｔｆ）は、図２に示すように、パルス光ＬＰのそれぞれの発生タイミングに対する制御パルスＧ１～Ｇ４，ＧＤのタイミングが異なる４種類のサブフレーム期間Ｆ１～Ｆ４と、それらの期間の間で第１～第４の検出信号を読み出す期間である読出期間Ｒとを含んでいる。１フレーム期間（Ｔｆ）は、図２の（ａ）部に示すように、異なる長さの期間の４種類のサブフレーム期間Ｆ１～Ｆ４が循環して繰り返されてもよいし、図２の（ｂ）部、（ｃ）部、及び（ｄ）部のそれぞれに示すように、異なる期間の４種類のサブフレーム期間Ｆ１～Ｆ４が予め設定された任意の順番で繰り返されてもよい。
　演算回路１２の電荷転送制御手段３２は、４種類のサブフレーム期間Ｆ１～Ｆ４毎に、パルス光ＬＰのそれぞれの発生タイミングに対する制御パルスＧ１～Ｇ４の遅れ時間を異なる時間にシフトさせるように、制御パルスＧ１～Ｇ４のタイミングを設定する。図３は、電荷転送制御手段３２によって設定された各サブフレーム期間Ｆ１～Ｆ３における制御パルスＧ１～Ｇ４のタイミングの一例を示すタイミングチャートである。なお、図３には、サブフレーム期間Ｆ１～Ｆ３に関するタイミングチャートを示しているが、サブフレーム期間Ｆ４についても、サブフレーム期間Ｆ３における制御パルスＧ１～Ｇ４の遅れ時間からさらにシフトするように設定される。
　具体的には、サブフレーム期間Ｆ１においては、期間ＴＣで周期的に繰り返されるパルス光ＬＰの発生タイミングと一致するように制御パルスＧ１のタイミングが設定され、その直後に互いに時間的に重ならないように連続して順次制御パルスＧ２～Ｇ４のタイミングが設定され、制御パルスＧ１～Ｇ４の印加期間以外の期間において制御パルスＧＤが印加されるように設定される。このサブフレーム期間Ｆ１の直後に読出期間Ｒが設定される。これに対して、サブフレーム期間Ｆ２においては、サブフレーム期間Ｆ１と比較して、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間（以下、この遅れ時間を「レンジシフト」ともいう。）が＋４Ｔ０でシフトするように制御パルスＧ１～Ｇ４のタイミングが設定される。このシフト幅は、＋４Ｔ０には限定されず、＋３Ｔ０等の他のシフト幅であってもよい。同様に、サブフレーム期間Ｆ３においては、サブフレーム期間Ｆ２と比較して、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が＋４Ｔ０でシフトするように制御パルスＧ１～Ｇ４のタイミングが設定される。
　図４は、電荷転送制御手段３２によって設定された各サブフレーム期間Ｆ１～Ｆ３における制御パルスＧ１～Ｇ４のタイミングの別の例を示すタイミングチャートである。この例では、サブフレーム期間Ｆ２においては、サブフレーム期間Ｆ１と比較して、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が＋２Ｔ０でシフトするように制御パルスＧ１～Ｇ４のタイミングが設定される。同様に、サブフレーム期間Ｆ３においては、サブフレーム期間Ｆ２と比較して、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が＋２Ｔ０でシフトするように制御パルスＧ１～Ｇ４のタイミングが設定され、サブフレーム期間Ｆ４とサブフレーム期間Ｆ３との間の関係も同様に設定される。
　また、演算回路１２によって設定される各サブフレーム期間Ｆ１～Ｆ４毎の長さは、各サブフレーム期間Ｆ１～Ｆ４内でのパルス光ＬＰの繰り返し回数Ｎ１、Ｎ２、Ｎ３、Ｎ４（Ｎ１～Ｎ４は整数）に比例した長さＮ１・ＴＣ、Ｎ２・ＴＣ、Ｎ３・ＴＣ、Ｎ４・ＴＣとなり、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が長くなるほど長くなるように設定される。言い換えれば、演算回路１２によって、各サブフレーム期間Ｆ１～Ｆ４内でのパルス光ＬＰの繰り返し回数Ｎ１、Ｎ２、Ｎ３、Ｎ４は、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が長くなるほど多くなるように設定される。これは、対象物での反射光の強度が対象物の距離の二乗に反比例することから、パルス光ＬＰの画素回路１３への取り込み回数を遅れ時間のシフト量に依存するように設定することを意味する。すなわち、各サブフレーム期間ＦＫ（Ｋ＝１，２，３，４）の長さは、その長さが下記式（１）で計算される重み付け係数ＷＫで重み付けされるように設定される。
Figure JPOXMLDOC01-appb-M000001
  
　上記式（１）中、Ｎｅｘｐは所定の定数であり、例えば、Ｎｅｘｐ＝２の場合は、取り込み回数の重み付け係数は、Ｗ１＝１／３０、Ｗ２＝４／３０、Ｗ３＝９／３０、Ｗ４＝１６／３０となる。結果として、サブフレーム期間Ｆ１～Ｆ４間での取り込み回数はレンジシフトが大きくなるほど増加するように重み付けされる。
　図１に戻って、演算回路１２の距離計算手段は、各画素回路１３ごとの距離の計算を１フレーム期間ごとに繰り返し実行し、その結果得られた距離情報を含む距離画像を繰り返し生成する。詳細には、距離計算手段は、図２の（ａ）部に示した読出期間Ｒのタイミングごとに（すなわち、各サブフレーム期間Ｆ１～Ｆ４の終了タイミングに合わせて）、読出期間Ｒで読み出された第１～第４の検出信号Ｓ１～Ｓ４を対象に下記の距離計算を繰り返し行い、その結果得られた有効な距離計算結果の１フレーム期間内での平均値を距離情報とする。その一方で、図２の（ａ）部～（ｄ）部に示されたサブフレーム期間Ｆ１～Ｆ４の構成が採用される際には、距離計算手段は、１フレーム期間内で４種類のサブフレーム期間Ｆ１～Ｆ４毎にそれぞれの第１～第４の検出信号Ｓ１～Ｓ４の値を合算し、合算した第１～第４の検出信号Ｓ１～Ｓ４を対象に距離の計算を実行し、その結果のうちの有効な距離計算の結果を纏めて（平均化等して）距離情報としてもよい。
　距離計算手段を構成する距離データ有効性判定信号生成手段３３は、パルス光ＬＰの発光タイミングに対応して画素回路１３から出力された第１～第４の検出信号Ｓ１～Ｓ４を基に、第１～第４の検出信号Ｓ１～Ｓ４のうち、背景光の信号成分を除いた入射パルス光ＬＲから発生した電荷の信号成分の合計値を、距離データ有効性判定信号ＳＡとして生成する。この距離データ有効性判定信号ＳＡは、第１～第４の検出信号Ｓ１～Ｓ４が入射パルス光ＬＲを強く反映したものであるかを示す信号であり、第１～第４の検出信号Ｓ１～Ｓ４を基にした距離の計算が有効であるかを判定するための信号である。距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡを基に、第１～第４の検出信号Ｓ１～Ｓ４を基にした距離の計算が有効であるかを判定する。具体的には、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡを所定の閾値Ｔｈ１と比較し、距離データ有効性判定信号ＳＡが閾値Ｔｈ１を超えた場合には距離の計算が有効であると判定し、距離データ有効性判定信号ＳＡが閾値Ｔｈ１以下である場合には距離の計算が無効であると判定する。無効画素識別値生成手段３５は、距離データ有効性判定手段３４の判定結果を基に、画素回路１３に対応する画素ごとに距離計算が無効であるか否かを示す識別値を生成する。
　距離計算手段のうちの距離計算参照信号生成手段３６は、パルス光ＬＰの発光タイミングに対応して画素回路１３から出力された第１～第４の検出信号Ｓ１～Ｓ４を基に、距離の計算の基礎となる距離計算参照信号を生成する。具体的には、距離計算参照信号生成手段３６は、第１～第４の検出信号Ｓ１～Ｓ４のうちの一方の検出信号の組Ｓ１，Ｓ３の差の値Ｓ１－３の差と距離データ有効性判定信号ＳＡとの比を計算することにより、第１の距離計算参照信号ＸＲを生成する。加えて、距離計算参照信号生成手段３６は、第１～第４の検出信号Ｓ１～Ｓ４のうちの他方の検出信号の組Ｓ２，Ｓ４の差の値Ｓ２－４の差と距離データ有効性判定信号ＳＡとの比を計算することにより、第２の距離計算参照信号ＹＲを生成する。
　距離計算手段のうちの距離計算参照信号選択手段３７は、第１及び第２の距離計算参照信号ＸＲ，ＹＲを基に対象物Ｓの位置が測定可能な範囲か否かを判定し、測定可能な範囲である場合に第１及び第２の距離計算参照信号ＸＲ，ＹＲのいずれかを有効な値として距離画像生成手段３８に出力する。例えば、距離計算参照信号選択手段３７は、距離計算参照信号ＸＲの値が“０”以上であり、かつ、距離計算参照信号ＹＲの値がＴｈ３以下であるか否かを判定することにより、距離計算参照信号ＸＲ，ＹＲの有効／無効を判定する。さらに、距離計算参照信号選択手段３７は、第１の距離計算参照信号ＸＲと閾値Ｔｈ２との比較結果に応じて、第１及び第２の距離計算参照信号ＸＲ，ＹＲのいずれかを選択し、選択した第１及び第２の距離計算参照信号ＸＲ，ＹＲを有効な値として距離画像生成手段３８に出力する。
　距離計算手段のうちの距離画像生成手段３８は、距離計算が有効であると判定された場合は、各画素回路１３に関して距離計算参照信号選択手段３７によって選択されたいずれかの距離計算参照信号ＸＲ，ＹＲを参照して各サブフレーム期間Ｆ１～Ｆ４毎に距離を算出し、それらの平均から距離情報を算出する。そして、距離画像生成手段３８は、各画素回路１３に対応する距離情報を含む距離画像を生成して外部装置に出力する。出力先の外部装置としては、例えば、表示装置、通信インターフェース装置等の出力デバイスが挙げられる。この際、距離画像生成手段３８は、全てのサブフレーム期間Ｆ１～Ｆ４について距離計算が無効であることを示す識別値が生成された画素あるいは全てのサブフレーム期間Ｆ１～Ｆ４について距離計算参照信号ＸＲ，ＹＲが測定可能範囲外であると判定された画素については距離画像に無効値を埋め込むことができる。
　図５は、距離画像センサ１０による距離計算の原理を説明するためのタイミングチャートである。図５には、距離画像センサ１０によって制御される各種信号のタイミングおよび画素回路１３の各領域に電荷が蓄積されるタイミングを示しており、上から順番に、パルス光ＬＰの発光タイミング、第１～第４の制御パルスＧ１～Ｇ４及び制御パルスＧＤの印加タイミング、第１～第４の電荷読出領域２２１～２２４における電荷蓄積タイミングを示している。このように、パルス光ＬＰの持続時間Ｔ０の発光タイミングに対応して、第１～第４の制御パルスＧ１～Ｇ４が互いに重ならないように続けて持続時間Ｔ０で印加されている。このようにすれば、入射パルス光ＬＲが光電変換されることにより光電変換領域２１に蓄積された電荷が、入射パルス光ＬＲのパルス光ＬＰに対する遅れ時間ＴＤに対応した比率で、２つの電荷読出領域２２２，２２３、あるいは２つの電荷読出領域２２３，２２４に分配される。
　ここでは、パルス光ＬＰの持続時間Ｔ０の発光タイミングと、第１の制御パルスＧ１の印加タイミングとの関係を設定することで、電荷読出領域２２１には、制御パルスＧ１で規定される時間ウィンドウで背景光及び暗電流等のノイズに起因する電荷量ＮＢの電荷のみが輸送される。これに対して、入射パルス光ＬＲの到達タイミングが制御パルスＧ２，Ｇ３で規定される２つの時間ウィンドウにまたがった場合には、電荷読出領域２２２には電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ１が加算された電荷が輸送される一方、電荷読出領域２２３には、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ２が加算された電荷が輸送される。
　その一方で、入射パルス光ＬＲの到達タイミングが制御パルスＧ３，Ｇ４で規定される２つの時間ウィンドウにまたがった場合には、電荷読出領域２２３には電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ１が加算された電荷が輸送される一方、電荷読出領域２２４には、電荷量ＮＢに遅れ時間ＴＤに対応して分配された電荷量Ｎｓｍ２が加算された電荷が輸送される。このような現象を利用して、距離画像センサ１０の演算回路１２においては、パルス光ＬＰのそれぞれの発光タイミングに応じて、電荷量ＮＢを除いた電荷量Ｎｓｍ１と電荷量ＮＢを除いた電荷量Ｎｓｍ２との比率を計算することにより、遅れ時間ＴＤに対応した対象物Ｓの距離を計算することができる。
　次に、距離画像センサ１０による距離計算の手順の詳細を説明するとともに、本実施形態にかかる距離画像測定方法（以下では、「４タップ３ゾーン４サブフレーム方式」とも言う。）について説明する。なお、この処理は、各サブフレーム期間Ｆ１～Ｆ４単位で実行される。図６は、距離画像センサ１０によって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図６において、（ａ）部から（ｅ）部には、それぞれ、制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングを示し、（ｆ）部～（ｎ）部には、それぞれ、第１～第４の検出信号Ｓ１～Ｓ４の値、差分値Ｓ１－３，Ｓ２－４の値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号ＸＲ，ＹＲの値を、遅れ時間ＴＤに対応して示し、（ｏ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｐ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。なお、図６には、サブフレーム期間Ｆ１を対象にした距離計算において扱われる各種信号および値を示しているが、サブフレーム期間Ｆ２～Ｆ４を対象にした距離計算においても遅れ時間ＴＤがシフトする点以外は同様である。
　まず、距離画像センサ１０による距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２によって、サブフレーム期間Ｆ１～Ｆ４によって構成される１フレームの期間内で制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、各サブフレーム期間Ｆ１～Ｆ４において、パルス光ＬＰのタイミングが定期的なタイミングに設定され、このタイミングを基準に制御パルスＧ１～Ｇ４が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、制御パルスＧＤが制御パルスＧ１～Ｇ４の印加期間以外の期間に印加されるように設定される。その後、読出期間Ｒにおいて、各画素回路１３の電圧検出手段２６１～２６４によって、第１～第４の検出信号Ｓ１～Ｓ４が読み出され、それらの検出信号Ｓ１～Ｓ４が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ４を基に、演算回路１２によってサブフレーム期間Ｆ１～Ｆ４単位での画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１，Ｓ３を基に、下記式（２）；
Ｓ１－３＝Ｓ１－Ｓ３…（２）
を用いて、検出信号Ｓ１，Ｓ３の差分値Ｓ１－３が計算されてから、その差分値の絶対値｜Ｓ１－３｜が計算される。加えて、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ２，Ｓ４を基に、下記式（３）；
Ｓ２－４＝Ｓ２－Ｓ４…（３）
を用いて、検出信号Ｓ２，Ｓ４の差分値Ｓ２－４が計算されてから、その差分値の絶対値｜Ｓ２－４｜が計算される。さらに、距離データ有効性判定信号生成手段３３によって、差分値の絶対値｜Ｓ１－３｜と差分値の絶対値｜Ｓ２－４｜が加算されることにより、下記式（４）；
ＳＡ＝｜Ｓ１－３｜＋｜Ｓ２－４｜…（４）
を用いて、距離データ有効性判定信号ＳＡの値が計算される。そして、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ４を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図６の（ｏ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“３”～“４”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６によって、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（５）；
ＸＲ＝１－Ｓ１－３／ＳＡ…（５）
を用いて第１の距離計算参照信号ＸＲの値が計算されると共に、検出信号Ｓ２とＳ４との差の値Ｓ２－４と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（６）；
ＹＲ＝２－Ｓ２－４／ＳＡ…（６）
を用いて第２の距離計算参照信号ＹＲの値が計算される。
　次に、距離計算参照信号選択手段３７により、距離計算参照信号ＸＲの値が所定範囲にあるか否かが判定されることにより、距離計算のために参照する値が、距離計算参照信号ＸＲと距離計算参照信号ＹＲとのうちから選択される。例えば、距離計算参照信号ＸＲの値が“０”以上閾値Ｔｈ２以下の場合は距離計算参照信号ＸＲが選択され、距離計算参照信号ＸＲの値が閾値Ｔｈ２を超えている場合は距離計算参照信号ＹＲが選択される。このような判定により、対象物Ｓの位置に応じて、入射パルス光ＬＲの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算参照信号選択手段３７により、選択された距離計算参照信号ＸＲ，ＹＲの値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号ＸＲの値が“０”以上であるか否かが判定され、距離計算参照信号ＹＲの値が閾値Ｔｈ３以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＸＲの値に距離が反映されていない場合、及び、対象物Ｓが遠すぎて検出信号Ｓ３の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号ＹＲの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Ｔｈ３を“３”近傍に設定することにより、図６の（ｐ）部に示すように、遅れ時間ＴＤの“０”から“３”の近傍までの範囲が「測定可能範囲」であると判定される。
　最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号ＸＲ，ＹＲを基に対象物Ｓの距離が算出され、各サブフレーム期間Ｆ１～Ｆ４の算出結果を平均化して距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
　上述した手順によれば、入射パルス光ＬＲによって生じる電荷量を４種類のサブフレーム期間Ｆ１～Ｆ４内の検出信号Ｓ１～Ｓ４に対応する４×４＝１６個の時間ウィンドウに分配することができるので、遅れ時間ＴＤに対応した計算可能な範囲を広げることができ、かつ、時間ウィンドウの時間幅も小さくすることができる。さらに、距離計算参照信号ＸＲ，ＹＲのうちで遅れ時間ＴＤに対して線形に変化する値を選んで距離の計算を行うので、対象物Ｓが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。
　ここで、上述した計算手順では、１つのサブフレームにおける測定可能な距離範囲が、時間Ｔ０の幅の４つの時間ウィンドウに対して３つの時間ウィンドウ未満に相当する距離範囲である。そのため、図３に示したような各サブフレーム期間Ｆ１～Ｆ３の制御パルスＧ１～Ｇ４のタイミングでは、距離測定できない距離範囲が生ずる可能性がある。このようなことを防ぐためには、図４に示したような各サブフレーム期間Ｆ１～Ｆ３の制御パルスＧ１～Ｇ４のタイミングの設定方式を採用することが好ましい。ただし、この場合は４つのサブフレームで測定可能な距離範囲に相当する時間ウィンドウが２×４＝８個の時間ウィンドウとなる。
　上述した距離画像センサ１０による距離計算は、次のような別の手順（以下では、「４タップ４ゾーン４サブフレーム方式」とも言う。）で行われてもよい。この手順によれば、遅れ時間ＴＤにおける「データ有効範囲」および「測定可能範囲」を広げることができる。図７は、距離画像センサ１０による別の計算手順で扱われる各種信号のタイミングチャート、及び別の計算手順において計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図７において、（ａ）部から（ｅ）部には、それぞれ、制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングを示し、（ｆ）部～（ｏ）部には、それぞれ、第１～第４の検出信号Ｓ１～Ｓ４の値、差分値Ｓ１－３，Ｓ２－４の値、距離データ有効性判定信号ＳＡの値、及び距離計算参照信号Ｒ１，Ｒ２，Ｒ３の値を、遅れ時間ＴＤに対応して示し、（ｐ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｑ）部には、遅れ時間ＴＤに対応して計算される比較信号Ｐ２～Ｐ４の値、（ｒ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。なお、図７には、サブフレーム期間Ｆ１を対象にした距離計算において扱われる各種信号および値を示しているが、サブフレーム期間Ｆ２～Ｆ４を対象にした距離計算においても遅れ時間ＴＤがシフトする点以外は同様である。
　まず、距離画像センサ１０による距離画像の生成処理が開始されると、演算回路１２の光源制御手段３１及び電荷転送制御手段３２によって、サブフレーム期間Ｆ１～Ｆ４によって構成される１フレームの期間内で制御パルスＧ１～Ｇ４及びパルス光ＬＰのタイミングが制御される（光源制御ステップ、電荷転送制御ステップ）。詳細には、サブフレーム期間Ｆ１～Ｆ４において、パルス光ＬＰのタイミングが定期的なタイミングに設定され、このタイミングを基準に制御パルスＧ１～Ｇ４が持続時間Ｔ１＝Ｔ０で互いに重複しないような連続したタイミングに設定され、制御パルスＧＤが制御パルスＧ１～Ｇ４の印加期間以外の期間に印加されるように設定される。ここでは、パルス光ＬＰの点灯タイミングの直前に制御パルスＧ３がオンされてから、４つの制御パルスＧ１～Ｇ４が連続してオンされた直後に、再度制御パルスＧ１がオンされる。その後、読出期間Ｒにおいて、各画素回路１３の電圧検出手段２６１～２６４によって、第１～第４の検出信号Ｓ１～Ｓ４が読み出され、それらの検出信号Ｓ１～Ｓ４が演算回路１２に出力される（電圧検出ステップ）。
　次に、各画素回路１３から出力された検出信号Ｓ１～Ｓ４を基に、演算回路１２によってサブフレーム期間Ｆ１～Ｆ４単位での画素ごとの距離情報が計算される（距離計算ステップ）。すなわち、距離データ有効性判定信号生成手段３３によって、検出信号Ｓ１，Ｓ３の差分値Ｓ１－３及び検出信号Ｓ２，Ｓ４の差分値Ｓ２－４が計算される。加えて、距離データ有効性判定信号生成手段３３によって、差分値Ｓ１－３及び差分値Ｓ２－４の絶対値を基に、距離データ有効性判定信号ＳＡの値が計算される。そして、距離データ有効性判定手段３４は、距離データ有効性判定信号ＳＡの値を閾値Ｔｈ１と比較することにより、検出信号Ｓ１～Ｓ４を用いた距離の計算が有効であるか否かを判定する。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図７の（ｐ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“４”～“５”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段３６によって、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（７）；
Ｒ１＝１－Ｓ１－３／ＳＡ…（７）
を用いて距離計算参照信号Ｒ１の値が計算され、検出信号Ｓ２とＳ４との差の値Ｓ２－４と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（８）；
Ｒ２＝２－Ｓ２－４／ＳＡ…（８）
を用いて距離計算参照信号Ｒ２の値が計算され、検出信号Ｓ１とＳ３との差の値Ｓ１－３と距離データ有効性判定信号ＳＡの値との比を計算することにより、下記式（９）；
Ｒ３＝３＋Ｓ１－３／ＳＡ…（９）
を用いて距離計算参照信号Ｒ３の値が計算される。
　距離計算参照信号選択手段３７により、距離計算参照信号Ｒ１～Ｒ３の値が閾値と比較されることにより、距離計算のために参照する値が、距離計算参照信号Ｒ１～Ｒ３の中から選択される。例えば、距離計算参照信号Ｒ１が閾値Ｔｈ２以下であり、かつ、距離計算参照信号Ｒ２が閾値Ｔｈ５以下である場合は、距離計算参照信号Ｒ１が選択される。その一方で、距離計算参照信号Ｒ１が閾値Ｔｈ２を超えており、かつ、距離計算参照信号Ｒ２が閾値Ｔｈ５以下である場合は、距離計算参照信号Ｒ２が選択される。さらに、距離計算参照信号Ｒ２が閾値Ｔｈ５を超えている場合は、距離計算参照信号Ｒ３が選択される。このような判定により、対象物Ｓの位置に応じて、入射パルス光ＬＲの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。
　さらに、距離計算参照信号選択手段３７により、選択された距離計算参照信号Ｒ１，Ｒ３の値が所定範囲にあるか否かが判定されることにより、対象物Ｓが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Ｒ１の値が“０”以上であるか否かが判定され、距離計算参照信号Ｒ３の値が閾値Ｔｈ６以下であるか否かが判定される。このような判定により、対象物Ｓが近すぎて検出信号Ｓ２の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号Ｒ１の値に距離が反映されていない場合、及び、対象物Ｓが遠すぎて検出信号Ｓ４の時間ウィンドウから入射パルス光ＬＲが外れて距離計算参照信号Ｒ３の値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Ｔｈ６を“４”近傍に設定することにより、図７の（ｒ）部に示すように、遅れ時間ＴＤの“０”から“４”の近傍までの範囲が「測定可能範囲」であると判定される。また、図７の（ｑ）部には、距離計算参照信号Ｒ１を閾値Ｔｈ２と比較した結果得られる比較信号Ｐ２、距離計算参照信号Ｒ２を閾値Ｔｈ５と比較した結果得られる比較信号Ｐ３、及び距離計算参照信号Ｒ３を閾値Ｔｈ６と比較した結果得られる比較信号Ｐ４を示している。
　最後に、距離画像生成手段３８は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号Ｒ１～Ｒ３を基に対象物Ｓの距離が算出され、各サブフレーム期間Ｆ１～Ｆ４の算出結果を平均化して距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
　上述した手順によれば、入射パルス光ＬＲによって生じる電荷量を４種類のサブフレーム期間Ｆ１～Ｆ４内の連続する４つの制御パルスＧ１～Ｇ４に対応する４×４＝１６個の時間ウィンドウに分配することができるので、遅れ時間ＴＤの計算可能な範囲を広げることができ、かつ、時間ウィンドウの時間幅も小さくすることができる。さらに、距離計算参照信号Ｒ１，Ｒ２，Ｒ３のうちで遅れ時間ＴＤに対して線形に変化する値を選んで距離の計算を行うので、対象物Ｓが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。
　ここで、上述した計算手順では、１つのサブフレームにおける測定可能な距離範囲が、時間Ｔ０の幅の５つの時間ウィンドウに対して４つの時間ウィンドウ未満に相当する距離範囲である。そのため、図３に示したような各サブフレーム期間Ｆ１～Ｆ３の制御パルスＧ１～Ｇ４のタイミングでは、距離測定できない距離範囲が生ずる可能性がある。このようなことを防ぐためには、各サブフレーム期間Ｆ１～Ｆ３の制御パルスＧ１～Ｇ４のタイミングを、互いに＋３Ｔ０シフトさせる方式を採用することが好ましい。ただし、この場合は４つのサブフレームで測定可能な距離範囲に相当する時間ウィンドウが３×４＝１２個の時間ウィンドウとなる。
　上述した本実施形態の作用効果を説明する。
　本実施形態の距離画像センサ１０によれば、１フレーム期間内に含まれる４つのサブフレーム期間Ｆ１～Ｆ４内で光源１１から定期的に繰り返しパルス光ＬＰが発生し、パルス光ＬＰの発生に対応して、パルス光ＬＰの持続時間Ｔ０以上の持続時間Ｔ１の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路１３の光電変換領域２１から第１～第４の電荷読出領域２２１～２２４に順次電荷が転送されるとともに、その時間ウィンドウ以外の期間では光電変換領域２１から電荷排出領域２３に電荷が排出される。さらに、サブフレーム期間Ｆ１～Ｆ４ごとに画素回路１３の第１～第４の電荷読出領域２２１～２２４から第１～第４の検出信号Ｓ１～Ｓ４が読み出され、それらをもとに距離が繰り返し計算される。このとき、４種類のサブフレーム期間Ｆ１～Ｆ４ごとに、パルス光ＬＰの発生タイミングに対する時間ウィンドウの遅れ時間（レンジシフト）が異なる時間にシフトするように設定されている。
　このように、画素回路１３単位での時間ウィンドウのレンジシフトおよびサブフレーム期間Ｆ１～Ｆ４間での時間ウィンドウのレンジシフトを組み合わせることによって、デューティ比の小さい多数の時間ウィンドウを使った電荷の検出が可能とされる。例えば、図３の例によれば、４×３＝１２種類のレンジシフトの時間ウィンドウが設定される。図４の例によれば、８種類のレンジシフトの時間ウィンドウが設定される。その結果、様々な距離計測範囲の対象物Ｓを対象にした場合であっても、検出信号における背景光ノイズの影響が低減され、距離分解能の高い距離計算が実現されるとともに、強い背景光に起因した検出信号の飽和による距離計算の誤差も防止できる。
　また、距離画像センサ１０においては、演算回路１２の距離計算手段により、サブフレーム期間Ｆ１～Ｆ４毎に距離が計算されている。この場合、対象物Ｓの距離計測範囲に応じて距離分解能の高い距離の計算が可能となる。
　また、距離画像センサ１０においては、１フレーム期間内のそれぞれのサブフレーム期間Ｆ１～Ｆ４内におけるパルス光ＬＰの繰り返し回数は、レンジシフトのシフト時間が長くなるほど多くなるように重み付けされている。これにより、サブフレーム期間Ｆ１～Ｆ４毎の測距範囲に応じて、遠い測距範囲のフレームに関しては光パルスの投光回数（画素内での電荷の蓄積回数）を多くし、近い測距範囲のフレームに対しては投光回数（画素内での電荷の蓄積回数）を少なくでき、距離分解能を高めることができる。特に、入射パルス光ＬＲの強度は距離の二乗に反比例して弱くなることから、サブフレーム期間Ｆ１～Ｆ４を測距距離の二乗で重み付けしている。これにより、距離分解能が最も低下する最長の測距距離のサブフレーム期間に対してより多くの投光回数を割り当てることができ、距離分解能の最低値（最長の測距距離のサブフレーム期間で起こりうる）を改善することができる。例えば、サブフレーム期間の間で均等に投光回数を割り当てた場合と比較して距離分解能の最低値が２１／２倍改善する。その結果、距離の遠い距離計測範囲における距離分解能の低下を防止でき、全体として効率的に距離分解能を維持することができる。
　さらに、距離画像センサ１０においては、重み付けされて設定された期間のサブフレーム期間Ｆ１～Ｆ４ごとに、第１～第４の制御パルスＧ１～Ｇ４の印加に応じて発生したそれぞれの第１～第４の電荷読出領域２２１～２２４の電圧が第１～第４の検出信号Ｓ１～Ｓ４として読み出され、それらを用いて距離の計算が実行されている。この場合、強い背景光に起因した検出信号Ｓ１～Ｓ４の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　次に、本実施形態における距離分解能の向上の効果を、比較例と比較しつつ説明する。
　なお、以下に示すシミュレーションの前提条件を以下の表に示す。
Figure JPOXMLDOC01-appb-T000002
  
　図８及び図９には、０．２～６ｍの距離範囲を距離計測した際の本実施形態の距離分解能のシミュレーション結果を比較例と比較して示している。図８では、１００ｋｌｕｘの背景光下での計測における分解能、図９では、０ｌｕｘの背景光下での計測における分解能が示される。比較例１は、サブフレーム毎に１種類のレンジシフトを設定し、１フレーム期間内でサブフレームを１種類とした場合、比較例２は、サブフレーム毎に２種類のレンジシフトを設定し、１フレーム期間内でサブフレームを１種類とした場合、比較例３は、サブフレーム毎に３種類のレンジシフトを設定し、１フレーム期間内でサブフレームを１種類とした場合、比較例４は、サブフレーム毎に４種類のレンジシフトを設定し、１フレーム期間内でサブフレームを１種類とした場合、をそれぞれ示している。実施例１は、サブフレーム毎に４種類のレンジシフトを設定し、１フレーム期間内の２種類のサブフレーム期間でサブフレームのレンジシフトを２種類にシフトさせた場合、実施例２は、サブフレーム毎に４種類のレンジシフトを設定し、１フレーム期間内の３種類のサブフレーム期間でサブフレームのレンジシフトを３種類にシフトさせた場合、実施例３は、サブフレーム毎に４種類のレンジシフトを設定し、１フレーム期間内の４種類のサブフレーム期間でサブフレームのレンジシフトを４種類にシフトさせた場合、をそれぞれ示している。ただし、実施例１～３では、複数のサブフレーム期間の長さの重み付けは行わず、複数のサブフレーム期間の長さは１フレーム期間内で均等と設定されていることを想定している。
　図８に示すように、比較例１では６ｍの距離計測において約７ｍの分解能が見積もられているのに対して、実施例１～３においては、サブフレーム期間の個数を増やすに従って分解能が改善され、実施例３では６ｍの距離計測で２０ｃｍの分解能にまで向上することが判明した。また、図９に示すように、比較例１では６ｍの距離計測において約５．５ｃｍの分解能が見積もられているのに対して、実施例１～３においては、サブフレーム期間の個数を増やすに従って分解能が改善され、実施例３では６ｍの距離計測で８ｍｍの分解能にまで向上することが判明した。
　また、図１０には、１００ｋｌｕｘの背景光下で０．２～６ｍの距離範囲を距離計測した際の本実施形態の距離分解能のシミュレーション結果を、サブフレーム期間の長さを重み付けした場合と重み付けしない場合とを比較して示している。グラフＲＧ１５は、実施例３において定数Ｎｅｘｐ＝０としてサブフレーム期間の長さを重み付けしない場合、グラフＲＧ１６は、実施例３において定数Ｎｅｘｐ＝２．５としてサブフレーム期間の長さを重み付けする場合を示している。この結果より、重み付けしない場合は６ｍまでの距離計測において距離分解能のワースト値が２１．５ｃｍであるのに対し、重み付けした場合は距離分解能のワースト値が１４ｃｍまで改善されている。
　また、図１１には、１００ｋｌｕｘの背景光下で０．２～６ｍの距離範囲を距離計測した際の本実施形態の信号読み出し毎の発生電子数のシミュレーション結果を、比較例と比較して示している。グラフＣＧ１は、比較例４において１フレーム期間単位で信号読み出しを行う際の発生電子数を示し、グラフＣＧ２は、実施例３において、図２の（ｄ）部に示すように設定されたサブフレーム期間Ｆ１～Ｆ４単位で信号を読み出す際の発生電子数を示している。これらの結果に示すように、本実施形態では、広い計測範囲で信号読み出しにおける発生電子数が抑えられている。
　このように、本実施形態では、サブフレーム毎の信号読み出しを行うことで、太陽光のような強い背景光に起因する大量の電荷による飽和を防止できる。また、画素の電荷検出部の飽和電子数を比較的低く設定できるので、画素に内蔵する電荷検出のためのキャパシタのサイズを小さくできる。例えば、電子数を１００，０００個以下にできれば、１０ｆＦのキャパシタで１００ｋｌｕｘの背景光まで対応できる。キャパシタを小さくできることにより、変換利得を大きくすることができ、ノイズに対しても有利となる。
　一方で、サブフレーム毎の信号読み出しを行うことで、読み出しノイズが加算され、距離計算の分解能が低下する可能性がある。しかしながら、強い背景光によるショットノイズが支配する状況下では、読み出し１回あたりのノイズを十分に小さくすることによってその影響を小さくすることができる。
　なお、本発明は、上述した実施形態の態様に限定されるものではない。
　上述した実施形態では、画素回路１３に４つの電荷読出領域２２１～２２４が設けられているが、電荷読出領域は３つ以上であれば任意の個数で設けられていてもよい。その場合は、制御電極及び電圧検出手段は電荷読出領域の個数に対応して設けられ、演算回路１２は、それぞれの電荷読出領域から読み出された検出信号を基に距離情報を計算する。
　また上述した実施形態では、１フレーム期間に４種類のサブフレーム期間Ｆ１～Ｆ４が含まれていたが、２以上のサブフレーム期間であれば任意の種類のサブフレーム期間を含んでいてもよい。その場合は、演算回路１２の電荷転送制御手段３２は、パルス光ＬＰの発生タイミングに対して、サブフレーム期間の種類の数に応じて、制御パルスの遅れ時間を異なる時間にシフトさせるように制御パルスのタイミングを設定する。
　上記実施形態では、演算回路１２の距離計算手段は、１フレーム期間内で４種類のサブフレーム期間Ｆ１～Ｆ４毎に第１～第４の検出信号Ｓ１～Ｓ４を対象に距離の計算を実行していた。しかし、そのような態様には限定されない。
　例えば、距離計算手段は、２つのサブフレーム期間Ｆ１，Ｆ２で跨って検出された検出信号を対象に距離の計算を実行してもよい。図１２を参照しながら、このような態様の変形例における、演算回路１２の距離計算手段による距離計算の手順の詳細を説明する。なお、本変形例では、２つのサブフレーム期間Ｆ１，Ｆ２で跨って検出された検出信号を基に距離の計算が実行されているが、同様に、２つのサブフレーム期間Ｆ２，Ｆ３あるいは２つのサブフレーム期間Ｆ３，Ｆ４で跨って検出された検出信号を基に距離の計算が実行されてもよい。
　図１２は、本変形例によって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間ＴＤに対する変化を示すグラフである。図１２において、（ａ）部～（ｃ）部には、それぞれ、サブフレーム期間Ｆ１において印加される制御パルスＧ１ （１）～Ｇ４ （１）、サブフレーム期間Ｆ２において印加される制御パルスＧ１ （２）～Ｇ４ （２）、及びパルス光ＬＰのタイミングを示し、（ｄ）部～（ｅ）部には、それぞれ、サブフレーム期間Ｆ１，Ｆ２において検出される第１～第４の検出信号Ｓ１ （１）～Ｓ４ （１），Ｓ１ （２）～Ｓ４ （２）の値を示している。また、図１２において、（ｆ）部～（ｇ）部には、差分値Ｓ１－３ （１），Ｓ１－３ （２），Ｓ２－４ （１），Ｓ２－４ （２）の値、（ｈ）部～（ｉ）部には、距離データ有効性判定信号ＳＡ （１），ＳＡ （２）の値、（ｊ）部～（ｏ）部には、距離計算参照信号ＸＲ （１），ＹＲ （１），ＸＲ （Ｂ），ＹＲ （Ｂ），ＸＲ （２），ＹＲ （２）の値を、遅れ時間ＴＤに対応して示し、（ｐ）部には、遅れ時間ＴＤにおけるデータ有効範囲を示し、（ｑ）部には、遅れ時間ＴＤにおける測定可能範囲を示す。
　本変形例にかかる演算回路１２は、上述した実施形態と同様にして、それぞれのサブフレーム期間Ｆ１，Ｆ２において検出された検出信号Ｓ１ （１）～Ｓ４ （１），Ｓ１ （２）～Ｓ４ （２）を基に、差分値Ｓ１－３ （１），Ｓ１－３ （２），Ｓ２－４ （１），Ｓ２－４ （２）を計算する。そして、演算回路１２は、これらの差分値を基に、上述した実施形態と同様にして、各サブフレーム期間Ｆ１，Ｆ２に対応した距離データ有効性判定信号ＳＡ （１），ＳＡ （２）の値を計算する。そして、それぞれの距離データ有効性判定信号ＳＡ （１），ＳＡ （２）の値が閾値Ｔｈ１と比較されることにより、それぞれの検出信号Ｓ１ （１）～Ｓ４ （１），Ｓ１ （２）～Ｓ４ （２）を用いた距離の計算が有効であるか否かが判定される。例えば、閾値Ｔｈ１を“０”近傍に設定することにより、図１２の（ｐ）部に示すように、遅れ時間ＴＤの“－１”～“０”の間の値から“７”～“８”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。
　さらに、上記実施形態と同様にして、サブフレーム期間Ｆ１に対応して、第１の距離計算参照信号ＸＲ （１）及び第２の距離計算参照信号ＹＲ （１）の値が計算される。それに加えて、本変形例では、２つのサブフレーム期間Ｆ１，Ｆ２に跨って検出された検出信号を基に、下記式（１０）及び（１１）を用いて、距離計算参照信号ＸＲ （Ｂ），ＹＲ （Ｂ）の値が計算される。
ＸＲ （Ｂ）＝３＋（Ｓ１－３ （１）＋Ｓ１－３ （２））／（ＳＡ （１）＋ＳＡ （２））…（１０）
ＹＲ （Ｂ）＝４＋（Ｓ２－４ （１）＋Ｓ２－４ （２））／（ＳＡ （１）＋ＳＡ （２））…（１１）
さらに、サブフレーム期間Ｆ２に対応して、第１の距離計算参照信号ＸＲ （２）及び第２の距離計算参照信号ＹＲ （２）の値が、下記式（１２）及び（１３）を用いて、計算される。
ＸＲ （２）＝５－Ｓ１－３ （２）／ＳＡ （２）…（１２）
ＹＲ （２）＝６－Ｓ２－４ （２）／ＳＡ （２）…（１３）
　次に、本変形例にかかる演算回路１２によって、距離計算のために参照する値が、距離計算参照信号ＸＲ （１），ＸＲ （Ｂ），ＸＲ （２）と距離計算参照信号ＹＲ （１），ＹＲ （Ｂ），ＹＲ （２）とのうちから選択される。例えば、距離データ有効性判定信号ＳＡ （１）の値が閾値Ｔｈ１以上である場合には、上記実施形態と同様にして、距離計算参照信号ＸＲ （１），ＹＲ （１）の値に応じて、距離計算参照信号ＸＲ （１）及びＹＲ （１）のいずれかが選択される。距離データ有効性判定信号ＳＡ （２）の値が閾値Ｔｈ１以上である場合には、上記実施形態と同様にして、距離計算参照信号ＸＲ （２），ＹＲ （２）の値に応じて、距離計算参照信号ＸＲ （２）及びＹＲ （２）のいずれかが選択される。さらに、距離データ有効性判定信号ＳＡ （１），ＳＡ （２）のいずれかの値が閾値Ｔｈ１以上である場合であって、距離計算参照信号ＸＲ （１），ＸＲ （２）と距離計算参照信号ＹＲ （１），ＹＲ （２）とのうちからいずれの値も選択されなかった場合には、距離計算参照信号ＸＲ （Ｂ），ＹＲ （Ｂ）の値に応じて、距離計算参照信号ＸＲ （Ｂ）及びＹＲ （Ｂ）のいずれかが選択される。
　最後に、本変形例にかかる演算回路１２によって、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号ＸＲ （１），ＸＲ （Ｂ），ＸＲ （２），ＹＲ （１），ＹＲ （Ｂ），ＹＲ （２）を基に対象物Ｓの距離が算出され、全てのサブフレーム期間Ｆ１～Ｆ４における算出結果を平均化して距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
　上述した手順によっても、入射パルス光ＬＲによって生じる電荷量を４種類のサブフレーム期間Ｆ１～Ｆ４内の検出信号Ｓ１～Ｓ４に対応する４×４＝１６個の時間ウィンドウに分配することができるので、遅れ時間ＴＤに対応した計算可能な範囲を広げることができ、かつ、時間ウィンドウの時間幅も小さくすることができる。さらに、距離計算参照信号ＸＲ （１），ＸＲ （Ｂ），ＸＲ （２），ＹＲ （１），ＹＲ （Ｂ），ＹＲ （２）のうちで遅れ時間ＴＤに対して線形に変化する値を選んで距離の計算を行うので、対象物Ｓが位置する範囲に対応して適切な距離データ参照信号の値を利用して、切れ目のない範囲の距離を計算することができ、対象物Ｓの位置にかかわらず精度の高い画像信号を生成することができる。例えば、１つのサブフレーム期間ごとに４つの時間ウィンドウを設定し、３つのサブフレーム期間毎に距離の計算を行うと、１１個の時間ウィンドウに対して入射パルス光ＬＲが入射した場合にシンプルな計算で距離を求めることができる。同様に、Ｍ個の時間ウィンドウが設定されたサブフレーム期間をＮ種類設定する場合は、連続したＭ×Ｎ－１個の時間ウィンドウに対応して入射パルス光ＬＲが入射した場合を想定して距離を計算することができる。
　また、上述した実施形態では、４種類のサブフレーム期間Ｆ１～Ｆ４の間で、第１～第４の制御パルスＧ１～Ｇ４のうち少なくとも制御パルスＧ１の印加回数を変化させるように構成されてもよい。図１３を参照しながら、このような態様の変形例における、演算回路１２の電荷転送制御手段３２による制御パルスＧ１～Ｇ４の印加タイミングの制御の詳細を説明する。
　図１３は、本変形例におけるサブフレーム期間Ｆ１でのパルス光ＬＰ及び第１～第４の制御パルスＧ１～Ｇ４の制御タイミングを示すタイミングチャートである。なお、図１３には、サブフレーム期間Ｆ１でのタイミング制御を示しているが、他のサブフレーム期間Ｆ２～Ｆ４でのタイミング制御は、図３又は図４に示した制御状態と同一であってよい。
　すなわち、本変形例の電荷転送制御手段３２では、パルス光ＬＰの印加タイミングに対する第１～第４の制御パルスＧ１～Ｇ４の遅れ時間が短いサブフレーム期間Ｆ１～Ｆ４において、順次印加される第１～第４の制御パルスＧ１～Ｇ４の印加回数のレート（単位時間当たりの印加回数）を、第４～第１の制御パルスＧ４～Ｇ１の順番で下げるように、第１～第４の制御パルスＧ１～Ｇ４の印加タイミングを制御する。ただし、少なくとも第１の制御パルスＧ１の印加回数のレートが下げられていればよい。すなわち、図１３に示す例では、電荷転送制御手段３２は、遅れ時間が最も短いサブフレーム期間Ｆ１において、制御パルスＧ１～Ｇ３の印加回数を間引くように制御し、サブフレーム期間Ｆ１内での間引き回数を、第３～第１の制御パルスＧ３～Ｇ１の順番で多くするように制御する。より具体的には、サブフレーム期間Ｆ１内での第１～第４の制御パルスＧ１～Ｇ４の印加回数が、それぞれ、Ｎ１・（１／４）、Ｎ１・（２／４）、Ｎ１・（３／４）、Ｎ１となるように制御される。
　また、本変形例では、サブフレーム期間Ｆ１でのパルス光ＬＰ及び第１～第４の制御パルスＧ１～Ｇ４の制御タイミングが、図１４に示すように制御されてもよい。
　すなわち、本変形例の電荷転送制御手段３２では、パルス光ＬＰの印加タイミングに対する第１～第４の制御パルスＧ１～Ｇ４の遅れ時間が短いサブフレーム期間Ｆ１～Ｆ４において、パルス光ＬＰの印加直後に印加される測定対象の距離範囲に相当する遅れ時間を持つ第１～第４の制御パルスＧ１～Ｇ４の印加回数のレートを、第４～第１の制御パルスＧ４～Ｇ１の順番で下げるように、第１～第４の制御パルスＧ１～Ｇ４の印加タイミングを制御する。ただし、少なくとも第１の制御パルスＧ１の印加回数のレートが下げられていればよい。すなわち、図１４に示す例では、電荷転送制御手段３２は、遅れ時間が最も短いサブフレーム期間Ｆ１において、制御パルスＧ１～Ｇ３の一部をパルス光ＬＰの印加直前の測定対象の距離範囲に相当しない遅れ時間のタイミングに変更するように制御し、サブフレーム期間Ｆ１内での印加タイミングの変更回数を、第３～第１の制御パルスＧ３～Ｇ１の順番で多くするように制御する。このように印加タイミングが変更された制御パルスＧ３～Ｇ１の印加により、背景光のみが検出信号に反映されるようになる。より具体的には、サブフレーム期間Ｆ１内でのパルス光ＬＰの印加直後に印加される第１～第４の制御パルスＧ１～Ｇ４の印加回数が、それぞれ、Ｎ１・（１／４）、Ｎ１・（２／４）、Ｎ１・（３／４）、Ｎ１となるように制御される。
　上記変形例によれば、近い距離計測範囲の対象物Ｓを対象にした場合に検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。すなわち、近距離領域の対象物Ｓを対象にした場合には、強い入射パルス光ＬＲに起因して発生電子数が非常に多くなり、画素回路１３における飽和電子数を超える可能性がある。本変形例では、近距離領域の測定のための時間ウィンドウが設定されたサブフレーム期間においては時間ウィンドウによる電荷取り込み回数を少なくして発生電子数を抑えている。その結果、画素回路１３における発生電子数を飽和電子数の範囲に収めることができ、遠距離領域の対象物Ｓを対象にした場合の距離分解能を十分に高めつつ、近距離領域の対象物を対象にした場合の距離分解能も十分な値に維持できる。
　図１５には、０ｌｕｘの背景光下で０．２～６ｍの距離範囲を距離計測した際の本変形例の信号読み出し毎の発生電子数のシミュレーション結果を示している。グラフＣＧ３は、サブフレーム期間Ｆ１において第１の制御パルスＧ１の印加回数を１／４に間引きし、第２の制御パルスＧ２の印加回数を２／４に間引きした場合における１フレーム期間での発生電子数を示している。また、グラフＣＧ４は、第１～第４の制御パルスＧ１～Ｇ４を間引きしない場合における１フレーム期間での発生電子数を示している。これらの結果に示すように、本変形例では、約１ｍの距離までの近い計測範囲で信号読み出しにおける発生電子数が抑えられている。
　また、図１６には、０ｌｕｘの背景光下で０．２～６ｍの距離範囲を距離計測した際の本変形例における距離分解能のシミュレーション結果を示している。グラフＲＧ１７は、サブフレーム期間Ｆ１において第１の制御パルスＧ１の印加回数を１／４に間引きし、第２の制御パルスＧ２の印加回数を２／４に間引きした場合における距離分解能を示している。また、グラフＲＧ１８は、第１～第４の制御パルスＧ１～Ｇ４を間引きしない場合における距離分解能を示している。グラフＲＧ１７に示すように、本変形例では、制御パルスを間引きした場合でも距離分解能は０．８ｍの距離において約３．２ｍｍ以下に抑えられている。
　また、上述した実施形態では、各サブフレーム期間Ｆ１～Ｆ４毎の長さが、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が長くなるほど長くなるように設定されている。その代わりに、変形例として、１フレーム期間内のそれぞれのサブフレーム期間Ｆ１～Ｆ４内におけるパルス光ＬＰの強度が、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４のそれぞれの遅れ時間が短くなるほど弱くなるように重み付けして設定されてもよい。
　図１７には、このような態様の変形例における、演算回路１２の電荷転送制御手段３２及び光源制御手段３１による制御パルスＧ１～Ｇ４の印加タイミング及びパルス光ＬＰの発生タイミングを示している。この変形例では、演算回路１２の光源制御手段３１によって、各サブフレーム期間Ｆ１～Ｆ３内において発生するパルス光ＬＰの強度が、それぞれ、Ｉ１、Ｉ２、Ｉ３（Ｉ１＜Ｉ２＜Ｉ３）と設定される。詳細には、光源１１が点光源であると想定できる場合、パルス光ＬＰの反射光が距離の２乗に反比例して減衰するので、下記式；
Ｉ１：Ｉ２：Ｉ３＝（１／３）２：（２／３）２：１＝１：４：９
に示すような重み付けによって設定される。サブフレーム期間Ｆ４内のパルス光ＬＰの強度も同様に設定される。この際、各サブフレーム期間Ｆ１～Ｆ４内におけるパルス光ＬＰの繰り返し回数Ｎ１～Ｎ４は、同等に設定される。
　このような変形例によっても、サブフレーム期間Ｆ１～Ｆ４毎の測距範囲に応じて、遠い測距範囲のフレームに関しては光パルスの投光強度を高くし、近い測距範囲のフレームに対しては投光強度を低くでき、距離分解能を高めることができる。特に、入射パルス光ＬＲの強度は距離の二乗に反比例して弱くなることから、光パルスの強度を測距距離の二乗で重み付けしている。これにより、距離分解能が最も低下する最長の測距距離のサブフレーム期間に対してより強いパルス光を使用することができ、距離分解能の最低値（最長の測距距離のサブフレーム期間で起こりうる）を改善することができる。その結果、距離の遠い距離計測範囲における距離分解能の低下を防止でき、全体として効率的に距離分解能を維持することができる。
　また、他の変形例として、１フレーム期間内のそれぞれのサブフレーム期間Ｆ１～Ｆ４内において、パルス光ＬＰの発生タイミングに対する制御パルスＧ１～Ｇ４の遅れ時間が短くなるほど、電荷読出領域２２１～２２４の持つ容量が大きくなるように制御されてもよい。
　図１８には、このような態様の変形例における画素回路１３の要部の等価回路図を示している。図１８において、フォトダイオードＤｉｊが光電変換領域２１に対応し、電荷排出用ＭＯＳトランジスタＱＤのゲート端子が第５の制御電極２５に対応し、転送用ＭＯＳトランジスタＱ１Ｔ～Ｑ４Ｔのゲート端子がそれぞれ第１～第４の制御電極２４１～２４４に対応する。フォトダイオードＤｉｊから転送用ＭＯＳトランジスタＱ１Ｔ～Ｑ４Ｔに至る静電誘導チャネル部は、自己のゲート端子が接地された接合型電界効果トランジスタＱＰ１，ＱＰ２で表される。直列接続された２つの接合型電界効果トランジスタＱＰ１，ＱＰ２の中間タップに、電荷排出用ＭＯＳトランジスタＱＤのソース端子が接続され、電荷排出用ＭＯＳトランジスタＱＤのドレイン端子が高電位の電源ＶＤＤに接続されている。等価回路上では、転送用ＭＯＳトランジスタＱ１Ｔ～Ｑ４Ｔのそれぞれの一方の端部が接合型電界効果トランジスタＱＰ２にＴ字型に接続された構成として表される。
　さらに、図１８に示すように、転送用ＭＯＳトランジスタＱ１Ｔ～Ｑ４Ｔのそれぞれの他方の端部には、電荷読出領域２２１～２２４、及び電圧検出手段２６１～２６４が接続される。等価回路上は、電荷読出領域２２ｋ（ｋ＝１，２，３，４）は、ノードＤｋ、キャパシタ（容量素子）Ｃｋａ，Ｃｋｂ，Ｃｋｃ、及び容量スイッチ用ＭＯＳトランジスタＱｋｂ，Ｑｋｃで表され、電圧検出手段２６ｋ（ｋ＝１，２，３，４）は、ＭＯＳトランジスタＱｋＡ，ＱｋＳ、及び端子ＳＬｋで表される。
　電荷読出領域２２ｋにおいては、ノードＤｋとグラウンドとの間には、電荷蓄積用のキャパシタＣｋａが接続され、それと並列に、容量スイッチ用ＭＯＳトランジスタＱｋｂと電荷蓄積用のキャパシタＣｋｂとの直列回路、及び、容量スイッチ用ＭＯＳトランジスタＱｋｃと電荷蓄積用のキャパシタＣｋｃとの直列回路が接続されている。そして、容量スイッチ用ＭＯＳトランジスタＱｋｂの４つのゲート端子が制御線ＳＣｂに接続され、容量スイッチ用ＭＯＳトランジスタＱｋｃの４つのゲート端子が制御線ＳＣｃに接続され、演算回路１２の電荷転送制御手段３２から制御線ＳＣｂ及び制御線ＳＣｃに与えられる制御信号によって、容量スイッチ用ＭＯＳトランジスタＱｋｂ及び容量スイッチ用ＭＯＳトランジスタＱｋｃのオン／オフが独立に制御可能とされている。その結果、電荷転送制御手段３２によって、電荷読出領域２２１～２２４の持つ容量が、４通りで変化するように制御可能とされる。
　ノードＤｋには、ノードＤｋの電荷量の変化に伴う電位変化を読み出すためのソースフォロア回路を構成する増幅トランジスタＱｋＡのゲート端子に接続され、ノードＤｋにはさらに、信号の読み出し後に信号電荷を初期化するためのリセットトランジスタＱｋＲが接続されている。また、増幅トランジスタＱｋＡのソース端子には、読出画素選択用のスイッチとしての選択トランジスタＱｋＳが接続され、選択トランジスタＱｋＳの出力は検出信号を読み出すための信号読出線Ｓｋに接続されている。
　このような変形例においては、演算回路１２の電荷転送制御手段３２によって、各サブフレーム期間Ｆ１～Ｆ４において電荷を転送し検出信号を読み出す際に、電荷読出領域２２１～２２３の持つ容量を、それぞれ、Ｃ１、Ｃ２、Ｃ３（Ｃ１＞Ｃ２＞Ｃ３）と設定する。詳細には、光源１１が点光源であると想定できる場合、パルス光ＬＰの反射光が距離の２乗に反比例して減衰するので、下記式；
Ｃ１：Ｃ２：Ｃ３＝１：（２／３）２：（１／３）２＝９：４：１
に示すような重み付けによって設定される。例えば、Ｃｋａ：Ｃｋｂ：Ｃｋｃ＝１：３：５とし、Ｃ１＝Ｃｋａ＋Ｃｋｂ＋Ｃｋｃ、Ｃ２＝Ｃｋａ＋Ｃｋｂ、Ｃ３＝Ｃｋａと設定するように制御することで、このような重み付けが実現される。電荷読出領域２２４の持つ容量も同様に設定される。この際、各サブフレーム期間Ｆ１～Ｆ４内におけるパルス光ＬＰの繰り返し回数Ｎ１～Ｎ４は、同等に設定される。
　このような変形例によっても、サブフレーム期間Ｆ１～Ｆ４毎の測距範囲に応じて、遠い測距範囲のフレームに関しては電荷を蓄積する容量を小さく、近い測距範囲のフレームに対しては電荷を蓄積する容量を大きくでき、距離分解能を高めることができる。特に、入射パルス光ＬＲの強度は距離の二乗に反比例して弱くなることから、距離分解能が最も低下する最長の測距距離のサブフレーム期間に対してより小さい容量を使用することができ、距離分解能の最低値（最長の測距距離のサブフレーム期間で起こりうる）を改善することができる。その結果、距離の遠い距離計測範囲における距離分解能の低下を防止でき、全体として効率的に距離分解能を維持することができる。
　ここで、上記実施形態では、距離計算手段は、第１～第Ｎのサブフレーム期間内のそれぞれにおいて第１～第Ｍの制御パルスの印加に応じて検出された第１～第Ｍの検出信号を用いて、距離を計算する、こととしてもよい。この場合、対象物の距離計測範囲に応じて距離分解能の高い距離の計算が可能となる。
　また、距離計算手段は、第１～第Ｎのサブフレーム期間内のうちの２つのサブフレーム期間内において第１～第Ｍの制御パルスの印加に応じて検出された第１～第Ｍの検出信号を用いて、距離を計算する、こととしてもよい。この場合、対象物の複数の距離計測範囲に跨って切れ目のない距離の計算が可能となる。
　また、１フレーム期間内のそれぞれの第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内におけるパルス光の繰り返し回数は、パルス光の発生タイミングに対する第１～第Ｍの制御パルスの遅れ時間が長くなるほど多くなるように、重み付けされる、ことでもよい。これにより、距離の遠い距離計測範囲における距離分解能の低下を防止でき、全体として効率的に距離分解能を維持することができる。
　さらに、電圧検出手段は、重み付けされて設定された期間のサブフレーム期間ごとに、第１～第Ｍの制御パルスの印加に応じて発生したそれぞれの第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出してもよい。この場合、強い背景光に起因した検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　またさらに、電荷転送制御手段は、第１～第Ｎのサブフレーム期間の間で、パルス光の発生タイミングに対する第１～第Ｍの制御パルスの遅れ時間が短くなるほど、順次印加される第１～第Ｍの制御パルスのうちの少なくとも第１の制御パルスの印加回数のレートを下げるように設定する、ことでもよい。かかる構成を採れば、近い距離計測範囲の対象物を対象にした場合に検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　さらにまた、電荷転送制御手段は、第１～第Ｎのサブフレーム期間の間で、パルス光の発生タイミングに対する第１～第Ｍの制御パルスの遅れ時間が短くなるほど、順次印加される第１～第Ｍの制御パルスのうちの少なくとも第１の制御パルスの印加回数を間引くように設定する、ことでもよい。かかる構成を採れば、近い距離計測範囲の対象物を対象にした場合に検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　また、前記１フレーム期間内のそれぞれの前記第１～第Ｎのサブフレーム期間内における前記パルス光の強度は、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど弱くなるように、重み付けされる、ことでもよい。この場合、近い距離計測範囲の対象物を対象にした場合に検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　また、前記１フレーム期間内のそれぞれの前記第１～第Ｎのサブフレーム期間内において、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど、前記第１～第Ｍの電荷読出領域の持つ容量が大きくなるように制御される、ことでもよい。この場合、近い距離計測範囲の対象物を対象にした場合に検出信号の飽和を防止できる結果、距離計測のダイナミックレンジを向上させることができる。
　また、画素回路部が２次元アレイ状に配列されたイメージセンサを含んでいてもよい。かかる構成によれば、対象物の位置にかかわらず精度の高い２次元距離情報を含む距離画像を生成することができる。
　本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法を使用用途とし、様々な距離計測範囲の対象物を対象にして距離分解能が向上された画像信号を生成することができるものである。
　１０…距離画像センサ（距離画像測定装置）、１１…光源、１２…演算回路、１３…画素回路（画素回路部）、２１…光電変換領域、２２１～２２４…電荷読出領域、２３…電荷排出領域、２４１～２４４，２５…制御電極、２６１～２６４…電圧検出手段、３１…光源制御手段、３２…電荷転送制御手段、３３…距離データ有効性判定信号生成手段、３４…距離データ有効性判定手段、３５…無効画素識別値生成手段、３６…距離計算参照信号生成手段、３７…距離計算参照信号選択手段、３８…距離画像生成手段、Ｆ１～Ｆ４…サブフレーム期間、Ｇ１～Ｇ４，ＧＤ…制御パルス、ＬＰ…パルス光、Ｓ…対象物。

Claims (11)

  1. 　パルス光を発生させる光源と、
    　第１の持続時間を有する前記パルス光を１フレーム期間内に含まれる第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内で定期的に繰り返し発生させるように前記光源を制御する光源制御手段と、
    　光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは２以上の整数）の電荷読出領域、前記電荷を排出するための電荷排出領域、及び前記光電変換領域と前記第１～第Ｍの電荷読出領域および前記電荷排出領域とに対応してそれぞれ設けられ、前記光電変換領域と前記第１～第Ｍの電荷読出領域および前記電荷排出領域との間における電荷転送のための第１～第Ｍ＋１の制御パルスを印加するための第１～第Ｍ＋１の制御電極を有する画素回路部と、
    　前記光源制御手段による前記パルス光の発生に対応して、前記第１の持続時間以上である第２の持続時間の間だけ前記第１～第Ｍの制御電極に前記第１～第Ｍの制御パルスを順次印加し、前記第１～第Ｍの制御パルスの印加期間以外の期間に前記第Ｍ＋１の制御電極に前記第Ｍ＋１の制御パルスを印加する電荷転送制御手段と、
    　前記電荷転送制御手段による前記第１～第Ｍの制御パルスの印加後に、前記画素回路部の前記第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出手段と、
    　前記第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、
    　前記電荷転送制御手段は、１フレーム期間内の第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間ごとに、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間を異なる時間にシフトさせるように、前記第１～第Ｍの制御パルスのタイミングを設定する、
    距離画像測定装置。
  2. 　前記距離計算手段は、前記第１～第Ｎのサブフレーム期間内のそれぞれにおいて前記第１～第Ｍの制御パルスの印加に応じて検出された前記第１～第Ｍの検出信号を用いて、前記距離を計算する、
    請求項１記載の距離画像測定装置。
  3. 　前記距離計算手段は、前記第１～第Ｎのサブフレーム期間内のうちの２つのサブフレーム期間内において前記第１～第Ｍの制御パルスの印加に応じて検出された前記第１～第Ｍの検出信号を用いて、前記距離を計算する、
    請求項１又は２記載の距離画像測定装置。
  4. 　１フレーム期間内のそれぞれの第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内における前記パルス光の繰り返し回数は、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が長くなるほど多くなるように、重み付けされる、
    請求項１～３のいずれか１項に記載の距離画像測定装置。
  5. 　前記電圧検出手段は、重み付けされて設定された期間のサブフレーム期間ごとに、前記第１～第Ｍの制御パルスの印加に応じて発生したそれぞれの前記第１～第Ｍの電荷読出領域の電圧を前記第１～第Ｍの検出信号として読み出す、
    請求項１～４のいずれか１項に記載の距離画像測定装置。
  6. 　前記電荷転送制御手段は、第１～第Ｎのサブフレーム期間の間で、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど、順次印加される前記第１～第Ｍの制御パルスのうちの少なくとも前記第１の制御パルスの印加回数のレートを下げるように設定する、
    請求項１～５のいずれか１項に記載の距離画像測定装置。
  7. 　前記電荷転送制御手段は、第１～第Ｎのサブフレーム期間の間で、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど、順次印加される前記第１～第Ｍの制御パルスのうちの少なくとも前記第１の制御パルスの印加回数を間引くように設定する、
    請求項６に記載の距離画像測定装置。
  8. 　前記１フレーム期間内のそれぞれの前記第１～第Ｎのサブフレーム期間内における前記パルス光の強度は、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど弱くなるように、重み付けされる、請求項１～３のいずれか１項に記載の距離画像測定装置。
  9. 　前記１フレーム期間内のそれぞれの前記第１～第Ｎのサブフレーム期間内において、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間が短くなるほど、前記第１～第Ｍの電荷読出領域の持つ容量が大きくなるように制御される、
    請求項１～３のいずれか１項に記載の距離画像測定装置。
  10. 　前記画素回路部が２次元アレイ状に配列されたイメージセンサを含む、
    請求項１～９のいずれか１項に記載の距離画像測定装置。
  11. 　光源制御手段が、第１の持続時間を有するパルス光を１フレーム期間内に含まれる第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間内で定期的に繰り返し発生させるように光源を制御する光源制御ステップと、
    　光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第１～第Ｍ（Ｍは２以上の整数）の電荷読出領域、前記電荷を排出するための電荷排出領域、及び前記光電変換領域と前記第１～第Ｍの電荷読出領域および前記電荷排出領域とに対応して設けられた第１～第Ｍ＋１の制御電極を有する画素回路部を用いて、電荷転送制御手段が、前記光源制御手段による前記パルス光の発生に対応して、前記第１の持続時間以上である第２の持続時間の間だけ前記第１～第Ｍの制御電極に、電荷の転送を制御するための第１～第Ｍの制御パルスを順次印加し、前記第１～第Ｍの制御パルスの印加期間以外の期間に前記第Ｍ＋１の制御電極に電荷の排出を制御するための第Ｍ＋１の制御パルスを印加する電荷転送制御ステップと、
    　電圧検出手段が、前記電荷転送制御手段による前記第１～第Ｍの制御パルスの印加後に、前記画素回路部の前記第１～第Ｍの電荷読出領域の電圧を第１～第Ｍの検出信号として読み出す電圧検出ステップと、
    　距離計算手段が、前記第１～第Ｍの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、
    　前記電荷転送制御ステップでは、１フレーム期間内の第１～第Ｎ（Ｎは２以上の整数）のサブフレーム期間ごとに、前記パルス光の発生タイミングに対する前記第１～第Ｍの制御パルスの遅れ時間を異なる時間にシフトさせるように、前記第１～第Ｍの制御パルスのタイミングを設定する、
    距離画像測定方法。
PCT/JP2018/039080 2017-10-20 2018-10-19 距離画像測定装置及び距離画像測定方法 Ceased WO2019078366A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880067356.3A CN111226434B (zh) 2017-10-20 2018-10-19 距离图像测定装置以及距离图像测定方法
JP2019548835A JP7194443B2 (ja) 2017-10-20 2018-10-19 距離画像測定装置及び距離画像測定方法
US16/756,174 US11405577B2 (en) 2017-10-20 2018-10-19 Distance image measurement device and distance image measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017203855 2017-10-20
JP2017-203855 2017-10-20

Publications (1)

Publication Number Publication Date
WO2019078366A1 true WO2019078366A1 (ja) 2019-04-25

Family

ID=66173734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039080 Ceased WO2019078366A1 (ja) 2017-10-20 2018-10-19 距離画像測定装置及び距離画像測定方法

Country Status (4)

Country Link
US (1) US11405577B2 (ja)
JP (1) JP7194443B2 (ja)
CN (1) CN111226434B (ja)
WO (1) WO2019078366A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837053A (zh) * 2020-03-25 2020-10-27 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和测距系统
WO2020262476A1 (ja) * 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
JPWO2021085612A1 (ja) * 2019-11-01 2021-05-06
JP2021144028A (ja) * 2020-03-12 2021-09-24 パナソニックＩｐマネジメント株式会社 マルチパス除去方法および測距装置
JP2021148695A (ja) * 2020-03-23 2021-09-27 国立大学法人静岡大学 距離画像センサ
JP2021148745A (ja) * 2020-03-23 2021-09-27 株式会社リコー 距離計測装置及び距離計測方法
JP2021152536A (ja) * 2020-03-24 2021-09-30 株式会社デンソー 測距装置
JP2022024252A (ja) * 2020-07-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
CN114175618A (zh) * 2019-08-01 2022-03-11 布鲁克曼科技株式会社 距离图像摄像装置以及距离图像摄像方法
JPWO2022137685A1 (ja) * 2020-12-23 2022-06-30
WO2022154073A1 (ja) * 2021-01-14 2022-07-21 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2022158577A1 (ja) * 2021-01-22 2022-07-28 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
JP2022113429A (ja) * 2021-01-25 2022-08-04 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2022191793A (ja) * 2021-06-16 2022-12-28 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
WO2023120609A1 (ja) 2021-12-23 2023-06-29 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JPWO2025033347A1 (ja) * 2023-08-09 2025-02-13
US12535591B2 (en) 2021-01-28 2026-01-27 Toppan Inc. Distance image capturing device and method for capturing distance image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11408734B2 (en) * 2019-01-03 2022-08-09 Lam Research Corporation Distance measurement between gas distribution device and substrate support at high temperatures
CN113632452B (zh) * 2019-03-27 2024-11-19 松下知识产权经营株式会社 固体摄像装置、距离测量装置以及距离测量方法
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
US11514594B2 (en) * 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US12230649B2 (en) 2020-05-19 2025-02-18 Vergence Automation, Inc. AI system on chip (SOC) for robotics vision applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064641A (ja) * 2004-08-30 2006-03-09 Omron Corp 光センサおよび測距方法
JP2010032425A (ja) * 2008-07-30 2010-02-12 National Univ Corp Shizuoka Univ 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339631B2 (en) * 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
CN111033315B (zh) * 2017-08-08 2023-07-21 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
JP6845774B2 (ja) * 2017-09-15 2021-03-24 株式会社東芝 距離計測装置
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006064641A (ja) * 2004-08-30 2006-03-09 Omron Corp 光センサおよび測距方法
JP2010032425A (ja) * 2008-07-30 2010-02-12 National Univ Corp Shizuoka Univ 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
WO2017141957A1 (ja) * 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220357445A1 (en) * 2019-06-25 2022-11-10 National University Corporation Shizuoka University Distance image measuring device
CN114096886A (zh) * 2019-06-25 2022-02-25 国立大学法人静冈大学 距离图像测量装置
JPWO2020262476A1 (ja) * 2019-06-25 2020-12-30
US12429585B2 (en) * 2019-06-25 2025-09-30 National University Corporation Shizuoka University Distance image measuring device
JP7535793B2 (ja) 2019-06-25 2024-08-19 国立大学法人静岡大学 距離画像測定装置
EP3993407A4 (en) * 2019-06-25 2023-06-21 National University Corporation Shizuoka University DISTANCE METER
WO2020262476A1 (ja) * 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
CN114175618A (zh) * 2019-08-01 2022-03-11 布鲁克曼科技株式会社 距离图像摄像装置以及距离图像摄像方法
EP4009073A4 (en) * 2019-08-01 2023-07-12 Brookman Technology, Inc. Distance-image capturing apparatus and distance-image capturing method
US11982750B2 (en) 2019-08-01 2024-05-14 Toppan Inc. Distance-image capturing apparatus and distance-image capturing method
JP7603016B2 (ja) 2019-11-01 2024-12-19 ミラクシアエッジテクノロジー株式会社 測距装置
JPWO2021085612A1 (ja) * 2019-11-01 2021-05-06
JP7178577B2 (ja) 2020-03-12 2022-11-28 パナソニックＩｐマネジメント株式会社 マルチパス除去方法および測距装置
JP2021144028A (ja) * 2020-03-12 2021-09-24 パナソニックＩｐマネジメント株式会社 マルチパス除去方法および測距装置
JP2021148695A (ja) * 2020-03-23 2021-09-27 国立大学法人静岡大学 距離画像センサ
JP2021148745A (ja) * 2020-03-23 2021-09-27 株式会社リコー 距離計測装置及び距離計測方法
JP7464260B2 (ja) 2020-03-23 2024-04-09 国立大学法人静岡大学 距離画像センサ
JP7508822B2 (ja) 2020-03-23 2024-07-02 株式会社リコー 距離計測装置及び距離計測方法
JP7578031B2 (ja) 2020-03-24 2024-11-06 株式会社デンソー 測距装置
JP2021152536A (ja) * 2020-03-24 2021-09-30 株式会社デンソー 測距装置
WO2021193289A1 (ja) * 2020-03-24 2021-09-30 株式会社デンソー 測距装置
EP3923028A4 (en) * 2020-03-25 2022-04-13 Shenzhen Goodix Technology Co., Ltd. TIME-OF-FLIGHT BASED RANGE MEASURING PROCEDURE AND SYSTEM
US12535580B2 (en) 2020-03-25 2026-01-27 Shenzhen GOODIX Technology Co., Ltd. Time-of-flight based distance measuring method and related distance measuring system
CN111837053A (zh) * 2020-03-25 2020-10-27 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和测距系统
CN111837053B (zh) * 2020-03-25 2024-04-26 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和测距系统
JP2022024252A (ja) * 2020-07-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、測距センサ、撮像装置、制御方法、及びプログラム
JPWO2022137685A1 (ja) * 2020-12-23 2022-06-30
WO2022137685A1 (ja) * 2020-12-23 2022-06-30 パナソニックＩｐマネジメント株式会社 測距装置、測距方法および位相検出装置
JP2022109077A (ja) * 2021-01-14 2022-07-27 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2022154073A1 (ja) * 2021-01-14 2022-07-21 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7662987B2 (ja) 2021-01-14 2025-04-16 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
EP4283339A4 (en) * 2021-01-22 2024-07-31 Toppan Inc. DISTANCE IMAGE CAPTURING DEVICE AND DISTANCE IMAGE CAPTURING METHOD
WO2022158577A1 (ja) * 2021-01-22 2022-07-28 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
JP7596810B2 (ja) 2021-01-22 2024-12-10 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置及び距離画像撮像方法
JP2022112828A (ja) * 2021-01-22 2022-08-03 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
JP7739719B2 (ja) 2021-01-25 2025-09-17 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2022113429A (ja) * 2021-01-25 2022-08-04 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
US12535591B2 (en) 2021-01-28 2026-01-27 Toppan Inc. Distance image capturing device and method for capturing distance image
JP2022191793A (ja) * 2021-06-16 2022-12-28 凸版印刷株式会社 距離画像撮像装置及び距離画像撮像方法
JP7746700B2 (ja) 2021-06-16 2025-10-01 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置及び距離画像撮像方法
WO2023120609A1 (ja) 2021-12-23 2023-06-29 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
WO2025033347A1 (ja) * 2023-08-09 2025-02-13 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JPWO2025033347A1 (ja) * 2023-08-09 2025-02-13

Also Published As

Publication number Publication date
JPWO2019078366A1 (ja) 2020-12-03
JP7194443B2 (ja) 2022-12-22
CN111226434A (zh) 2020-06-02
CN111226434B (zh) 2022-05-31
US11405577B2 (en) 2022-08-02
US20200278194A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
WO2019078366A1 (ja) 距離画像測定装置及び距離画像測定方法
US10690755B2 (en) Solid-state imaging device having increased distance measurement accuracy and increased distance measurement range
KR101508410B1 (ko) 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
KR101348522B1 (ko) 고체 촬상 장치 및 거리 화상 측정 장치
US10666875B2 (en) Solid-state imaging device
CN112640432B (zh) 光电传感器、图像传感器以及光电传感器的驱动方法
US11442169B2 (en) Distance-image-measuring apparatus and distance-image-measuring method
WO2011105438A1 (ja) 距離画像センサ
JP5294750B2 (ja) 二つのゲートからなるセンシングトランジスタを備えたイメージセンサー及びその駆動方法
CN106067951B (zh) 图像传感器
JP7535793B2 (ja) 距離画像測定装置
CN106449668A (zh) 光电转换元件、装置、距离检测传感器和信息处理系统
US20170307764A1 (en) Radiation detector
JP2013195344A (ja) 飛行時間型距離センサ
JP6837639B2 (ja) イオン濃度分布測定装置
WO2020149243A1 (ja) 距離画像測定装置、距離画像測定システム、及び距離画像測定方法
JP6659447B2 (ja) 距離センサ
JP6659448B2 (ja) 距離センサ及び距離センサの駆動方法
JP6412781B2 (ja) 画像センサ
JP6953595B1 (ja) 距離画像取得装置及び距離画像取得方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
US20250060460A1 (en) Distance image measuring device, and distance image measuring method
WO2022137685A1 (ja) 測距装置、測距方法および位相検出装置
JP2016058918A (ja) 積層型撮像装置および信号処理方法
WO2016056368A1 (ja) 画像センサ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868427

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019548835

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18868427

Country of ref document: EP

Kind code of ref document: A1