WO2023238913A1 - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
WO2023238913A1
WO2023238913A1 PCT/JP2023/021392 JP2023021392W WO2023238913A1 WO 2023238913 A1 WO2023238913 A1 WO 2023238913A1 JP 2023021392 W JP2023021392 W JP 2023021392W WO 2023238913 A1 WO2023238913 A1 WO 2023238913A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
charge
distance
distance image
light source
Prior art date
Application number
PCT/JP2023/021392
Other languages
English (en)
French (fr)
Inventor
和人 山本
友洋 中込
哲郎 大薗
武史 川端
雄也 白川
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022092847A external-priority patent/JP2023179914A/ja
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Publication of WO2023238913A1 publication Critical patent/WO2023238913A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Definitions

  • the present invention relates to a distance image imaging device and a distance image imaging method.
  • This application is based on Japanese Patent Application No. 2022-092847 filed in Japan on June 8, 2022, and Japanese Patent Application No. 2022-191493 and Japanese Patent Application No. 2022-191128 filed in Japan on November 30, 2022. priority is claimed based on the above, and its contents are hereby incorporated by reference.
  • Time of Flight uses the fact that the speed of light is known to measure the distance between a measuring instrument and an object based on the flight time of light in space (measurement space).
  • a distance image imaging device based on the above method has been realized (see, for example, Patent Document 1).
  • the delay time from the time when a light pulse is irradiated until the reflected light that has reflected from the subject returns is determined by making the reflected light enter the image sensor and generating a charge according to the amount of reflected light.
  • the charge is determined by distributing and accumulating the charge in a plurality of charge storage units, and the distance to the subject is calculated using the delay time and the speed of light.
  • One of the factors that determines the longest measurable distance in a TOF imaging system is the power of the measurement light source (irradiation intensity per unit area). Although it is possible to increase the light source output by increasing the current flowing through the light emitting element, increasing the current flowing through the light emitting element leads to heat generation and power consumption of the imaging system, and there is a problem that the laser safety for the human body decreases. There is.
  • a dot light source instead of a uniformly diffused light source that is normally used as a distance measuring light source.
  • a diffuser plate that converts the light emitted from the light source element into periodically arranged dot light, it is possible to concentrate the light power into the dots, and even if the current flowing through the light emitting element is the same, it is better to use a dot light source. It becomes possible to measure a longer distance than when using diffused light that uniformly illuminates the irradiated surface.
  • a second solution to the above problem is to use line light emitted in a line shape instead of uniformly diffused light that is normally used as distance measurement light. For example, by emitting two of a line group consisting of a plurality of parallel line lights in a perpendicular manner, the required light source output can be suppressed and the resolution can be The decline can be suppressed.
  • the brightness at the intersection of orthogonal line lights is twice the brightness of the line lights at other parts, so the output of the pixel corresponding to the intersection becomes saturated, making it difficult to measure distance. There is a possibility that it cannot be done.
  • the resolution of line portions other than the intersection points and the measurable distance may decrease in the above-mentioned means using line light.
  • the present invention has been made based on the above-mentioned problems, and provides a distance image imaging device and a distance image imaging method that can suppress a decrease in the resolution of a distance image captured using a dot light source.
  • a distance image imaging device and a distance image imaging method capable of alleviating the signal output difference between the intersection point of line light and a portion other than the intersection point, and suppressing a decrease in the resolution of the entire distance image and the measurable distance.
  • the purpose is to provide and.
  • a first aspect of the present invention is a two-dimensional matrix-like structure comprising a light source unit that irradiates a subject with light pulses, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • a pixel drive circuit that distributes and accumulates the charge in each of the charge storage sections at an accumulation timing synchronized with the irradiation of the light pulse, and discharges the charge during a period other than the accumulation timing.
  • a distance calculation unit that calculates a distance to the subject based on the amount of charge accumulated in each of the charge accumulation units, and the light pulse is configured to generate a plurality of dots.
  • the distance image imaging device is structured light composed of light, and at least one first dot light among the plurality of dot lights has an elliptical shape in which a ratio of a long axis length to a short axis length is equal to or more than a threshold value. It is.
  • a second aspect of the present invention is the distance image according to the first aspect, wherein at least a portion of the first dot light and at least a portion of another dot light adjacent in the long axis direction of the first dot light overlap. It is an imaging device.
  • a third aspect of the present invention is the distance image imaging device according to the first aspect, wherein the light source section has a plurality of light source elements that can each independently irradiate the light pulse.
  • a fourth aspect of the present invention is the distance image imaging device according to the third aspect, wherein the major axis directions of the elliptical dot lights emitted from at least two of the plurality of light source elements are different from each other.
  • a fifth aspect of the present invention is the distance image imaging device according to the fourth aspect, wherein major axis directions of the elliptical dot lights emitted from at least two of the plurality of light source elements are orthogonal to each other. .
  • a sixth aspect of the present invention is that the dot light emitted from the first light source element group made up of at least two light source elements among the plurality of light source elements is emitted along the short axis direction of the dot light in which the long axis direction of the elliptical shape is in the same direction. along the short axis direction of the dot light in which the long axis direction of the elliptical shape emitted from the second light source element group consisting of at least two light source elements different from the first light source element group is in the same direction.
  • the first interval and the second interval are different from each other.
  • the long axis direction of the elliptical dot light emitted from at least two of the plurality of light source elements is oblique to the installation surface of the imaging device, which is neither perpendicular nor horizontal.
  • An eighth aspect of the present invention is that the angle formed by the long axis direction of the elliptical dot light emitted from two of the plurality of light source elements is 45 degrees or 135 degrees with respect to the installation surface of the imaging device.
  • a ninth aspect of the present invention is the distance image imaging device according to the third aspect, wherein at least one of the plurality of light source elements is a diffused light source.
  • a tenth aspect of the present invention is a two-dimensional matrix-like structure comprising a light source unit that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • a pixel drive circuit that distributes and accumulates the charge in each of the charge storage sections at an accumulation timing synchronized with the irradiation of the light pulse, and discharges the charge during a period other than the accumulation timing.
  • a distance image taken by a distance image capturing device comprising: a light receiving section having a charge discharging means; and a distance calculation section calculating a distance to the subject based on the amount of charge accumulated in each of the charge accumulation sections.
  • the light pulse is structured light composed of a plurality of dot lights, and at least one first dot light among the plurality of dot lights has a ratio of a long axis length to a short axis length.
  • This is a distance image capturing method that has an elliptical shape in which the distance is greater than or equal to a threshold.
  • An eleventh aspect of the present invention is a two-dimensional matrix comprising a light source section that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage sections that accumulate the charges.
  • the light pulse is structured light composed of periodically arranged line lights, and the line lights in two directions emit the light pulses orthogonal to each other, and the frame period is such that the charge is transferred to the light pulse.
  • the charge storage section has a plurality of subframe periods in which the accumulation period is different, and the distance calculation section is configured to select a subframe period in which the amount of charge does not exceed a preset threshold value among the plurality of subframe periods.
  • the distance image capturing device calculates the distance to the subject using a subframe period.
  • a twelfth aspect of the present invention is that the plurality of subframe cycles include a first subframe cycle in which the accumulation period is a predetermined period set in advance, and a period in which the accumulation period is twice or more the predetermined period. a second sub-frame period, and the distance calculation unit calculates a second sub-frame period in which the amount of charge does not exceed the threshold value, and the accumulation period
  • the distance to the subject is calculated using the sub-frame period having a longer period.
  • a thirteenth aspect of the present invention is a two-dimensional matrix comprising a light source unit that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • the light pulse is structured light composed of periodically arranged line lights, and the line lights can be emitted in two directions whose line directions are perpendicular to each other, and the frame period is the same as the line light.
  • the distance calculation unit calculates a distance to the object synthesized based on the amount of charge accumulated in each of the plurality of subframe periods with different line directions.
  • This is a distance image imaging device that calculates .
  • a fourteenth aspect of the present invention is that the light source unit irradiates the light pulses by alternately changing the line light having different line directions in each subframe period in the frame period, and emitting the light pulses over the distance
  • a fifteenth aspect of the present invention is that the light source section is configured to provide the light source unit with the line light corresponding to each of the line lights in the two directions among the plurality of sub-frame periods in the frame period, depending on the moving direction of the subject.
  • the distance image capturing device according to the thirteenth aspect, wherein the light pulse is emitted while changing the ratio of the sub-frame period.
  • a sixteenth aspect of the present invention is that, in the frame period, the light source unit is configured to set a ratio of the sub-frame period corresponding to a direction in which the amount of movement of the subject is smaller among the two directions to a direction in which the amount of movement of the subject is smaller.
  • the distance image capturing device according to the fifteenth aspect, wherein the light pulse is emitted by changing the ratio of the sub-frame period corresponding to the direction by more than the ratio of the sub-frame period corresponding to the direction.
  • the light source section has a plurality of light source elements that can each independently irradiate the light pulse, and the line light is transmitted to a plurality of dots by the plurality of light source elements.
  • An eighteenth aspect of the present invention is that the shape of the dot light is an ellipse in which the ratio of the long axis length to the short axis length is 2 or more, and the line light is formed in a line shape along the direction of the long axis. This is the distance image imaging device according to the seventeenth aspect.
  • a 19th aspect of the present invention is a two-dimensional matrix comprising a light source unit that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • a distance image capturing device comprising: a charge discharging section for discharging a charge discharging section;
  • the light source unit generates the light pulse which is structured light composed of periodically arranged line lights, the light pulses in which the line lights in two directions are orthogonal to each other.
  • the frame period has a plurality of subframe periods in which the charge is accumulated in the charge storage section with different accumulation periods, and the distance calculation section determines whether the amount of charge is within the plurality of subframe periods.
  • a distance image capturing method that calculates a distance to the subject using the subframe period that does not exceed a preset threshold.
  • a 20th aspect of the present invention is a two-dimensional matrix comprising a light source unit that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • a distance image capturing device comprising: a charge discharging section for discharging a charge discharging section;
  • the image capturing method is characterized in that the light source section emits, as the light pulse, structured light composed of periodically arranged line lights, and the line directions are respectively orthogonal to each other and emit the line lights in two directions.
  • the frame period may include a plurality of subframe periods in which the line directions of the line light are different, and the distance calculation unit may calculate This is a distance image imaging method that calculates the distance to the combined subject based on the amount of charge.
  • a twenty-first aspect of the present invention is a two-dimensional matrix comprising a light source unit that irradiates a light pulse to a subject, a photoelectric conversion element that generates charges according to the incident light, and a plurality of charge storage units that accumulate the charges.
  • the light pulse is structured light composed of periodically arranged line lights, and the line lights in two directions are orthogonal to each other.
  • a first pixel circuit corresponding to a position receiving reflected light from the subject to which the line lights are irradiated orthogonally to each other is configured to have lower sensitivity to reflected light than a second pixel circuit corresponding to other positions. This is a distance image capturing device.
  • a twenty-second aspect of the present invention is the distance image imaging device according to the twenty-first aspect, comprising a filter layer that is placed on the first pixel circuit and reflects or absorbs a part of the reflected light.
  • a twenty-third aspect of the present invention is the distance image imaging device according to the twenty-first aspect, wherein the charge storage section of the first pixel circuit has a larger capacity than the charge storage section of the second pixel circuit. It is.
  • a twenty-fourth aspect of the present invention is the distance image imaging device according to the twenty-first aspect, wherein the volume of the photoelectric conversion element of the first pixel circuit is configured to be smaller than the volume of the photoelectric conversion element of the second pixel circuit. It is.
  • a twenty-fifth aspect of the present invention is the distance according to the twenty-first aspect, wherein the number of distributions of the first pixel circuit within the frame period is smaller than the number of distributions of the second pixel circuit within the frame period. It is an image capturing device.
  • the light source section has a plurality of light source elements that can each independently irradiate the light pulse, and the line light is emitted into a plurality of dots by the plurality of light source elements.
  • the dot light has an elliptical shape in which the ratio of the major axis length to the minor axis length is 2 or more, and the line light has a line shape along the major axis direction.
  • the distance image capturing device according to the twenty-sixth aspect is formed in the above-described twenty-sixth aspect.
  • the present invention it is possible to suppress a decrease in the resolution of a distance image captured using a dot light source, to reduce the difference in signal output between the intersection of line lights and a portion other than the intersection, and to reduce the resolution of the entire distance image. , and a decrease in the measurable distance can be suppressed.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image capturing device according to a first embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image sensor according to a first embodiment.
  • FIG. 2 is a circuit diagram showing an example of the configuration of a pixel according to the first embodiment.
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image sensor according to a first embodiment.
  • FIG. 2 is a circuit diagram showing an example of the
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 3 is a diagram showing an example in which a subject is irradiated with dot light of the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a distance image capturing device according to a second embodiment. It is a block diagram showing an example of a distance image sensor in a 2nd embodiment.
  • FIG. 7 is a block diagram showing an example of a pixel circuit in a second embodiment.
  • FIG. 7 is a first diagram showing an example of line light in a second embodiment.
  • FIG. 7 is a second diagram showing an example of line light in the second embodiment.
  • FIG. 7 is a third diagram showing an example of line light in the second embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of a distance image capturing device according to a first embodiment.
  • the distance image imaging device 1 includes, for example, a light source section 2, a light receiving section 3, and a distance image processing section 4.
  • FIG. 1 also shows a subject OB, which is an object whose distance is to be measured in the distance image capturing device 1.
  • the light source unit 2 irradiates a measurement target space in which a subject OB whose distance is to be measured in the distance image capturing device 1 exists with a light pulse PO according to the control from the distance image processing unit 4.
  • the light source unit 2 is, for example, a surface-emitting semiconductor laser module such as a vertical cavity surface-emitting laser (VCSEL).
  • the light source section 2 includes a light source device 21 and a diffusion plate 22.
  • the light source device 21 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band of 850 nm to 940 nm) that becomes a light pulse PO that is irradiated onto the subject OB.
  • the light source device 21 is, for example, a semiconductor laser light emitting device.
  • the light source device 21 emits pulsed laser light under control from the timing control section 41.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over a surface that irradiates the subject OB.
  • the pulsed laser light diffused by the diffusion plate 22 is emitted as a light pulse PO and is irradiated onto the object OB.
  • the light receiving unit 3 receives the reflected light RL of the optical pulse PO reflected by the subject OB whose distance is to be measured in the distance image capturing device 1, and outputs a pixel signal according to the received reflected light RL.
  • the light receiving section 3 includes a lens 31 and a distance image sensor 32.
  • the lens 31 is an optical lens that guides the incident reflected light RL to the distance image sensor 32.
  • the lens 31 emits the incident reflected light RL to the distance image sensor 32 side, and causes the light to be received (incident) by a pixel provided in a light receiving area of the distance image sensor 32.
  • the distance image sensor 32 is an image sensor used in the distance image imaging device 1.
  • the distance image sensor 32 includes a plurality of pixels in a two-dimensional light receiving area.
  • Each pixel of the distance image sensor 32 is provided with one photoelectric conversion element, a plurality of charge storage sections corresponding to this one photoelectric conversion element, and a component that distributes charge to each charge storage section.
  • a pixel is an image sensor having a distribution configuration in which charges are distributed and accumulated in a plurality of charge storage sections.
  • the distance image sensor 32 distributes the charges generated by the photoelectric conversion elements to the respective charge storage sections according to control from the timing control section 41. Further, the distance image sensor 32 outputs a pixel signal according to the amount of charge distributed to the charge storage section.
  • the distance image sensor 32 has a plurality of pixels arranged in a two-dimensional matrix, and outputs pixel signals for one frame to which each pixel corresponds.
  • the distance image processing unit 4 controls the distance image imaging device 1 and calculates the distance to the object OB.
  • the distance image processing section 4 includes a timing control section 41, a distance calculation section 42, and a measurement control section 43.
  • the timing control section 41 controls the timing of outputting various control signals required for measurement in accordance with the control of the measurement control section 43.
  • the various control signals here include, for example, a signal for controlling the irradiation of the optical pulse PO, a signal for distributing and accumulating the reflected light RL in a plurality of charge storage units, a signal for controlling the number of accumulations per frame, etc. be.
  • the number of times of accumulation is the number of times that the process of distributing and accumulating charges in the charge accumulating section CS (see FIG. 3) is repeated.
  • the exposure time is the product of this number of times of accumulation and the time width (accumulation time width) in which charges are accumulated in each charge accumulation section per process of distributing and accumulating charges.
  • the distance calculation unit 42 outputs distance information that calculates the distance to the object OB based on the pixel signal output from the distance image sensor 32.
  • the distance calculation unit 42 calculates the delay time from irradiation of the optical pulse PO to reception of the reflected light RL based on the amount of charge accumulated in the plurality of charge storage units.
  • the distance calculation unit 42 calculates the distance to the object OB according to the calculated delay time.
  • the measurement control section 43 controls the timing control section 41.
  • the measurement control unit 43 sets the number of times of accumulation of one frame and the accumulation time width, and controls the timing control unit 41 so that imaging is performed according to the set contents.
  • the light receiving unit 3 receives the reflected light RL, which is the light pulse PO in the near-infrared wavelength band that the light source unit 2 irradiated onto the subject OB, and is reflected by the subject OB.
  • the distance image processing unit 4 outputs distance information obtained by measuring the distance to the object OB.
  • FIG. 1 shows a distance image imaging device 1 having a configuration in which the distance image processing unit 4 is provided inside the distance image imaging device 1, the distance image processing unit 4 is provided outside the distance image imaging device 1. It may be a component provided.
  • FIG. 2 is a block diagram showing a schematic configuration of an image sensor (distance image sensor 32) used in the distance image imaging device 1 of the first embodiment.
  • the distance image sensor 32 includes, for example, a light receiving area 320 in which a plurality of pixels (pixel circuits) 321 are arranged, a control circuit 322, a vertical scanning circuit 323 having a distribution operation, and a horizontal scanning It includes a circuit 324 and a pixel signal processing circuit 325.
  • the light receiving area 320 is an area in which a plurality of pixels 321 are arranged, and FIG. 2 shows an example in which they are arranged in a two-dimensional matrix of 8 rows and 8 columns.
  • the pixel 321 accumulates charges corresponding to the amount of light received.
  • the control circuit 322 controls the distance image sensor 32 in an integrated manner.
  • the control circuit 322 controls the operations of the components of the distance image sensor 32, for example, in accordance with instructions from the timing control section 41 of the distance image processing section 4. Note that the components included in the distance image sensor 32 may be directly controlled by the timing control section 41, and in this case, the control circuit 322 may be omitted.
  • the vertical scanning circuit 323 is a circuit that controls the pixels 321 arranged in the light receiving area 320 row by row in accordance with the control from the control circuit 322.
  • the vertical scanning circuit 323 causes the pixel signal processing circuit 325 to output a voltage signal corresponding to the amount of charge accumulated in each charge accumulation section CS of the pixel 321.
  • the vertical scanning circuit 323 distributes and accumulates the charges converted by the photoelectric conversion element in each of the charge storage sections of the pixels 321.
  • the vertical scanning circuit 323 is an example of a "pixel drive circuit.”
  • the pixel signal processing circuit 325 performs predetermined signal processing (for example, noise suppression processing) on the voltage signal output from the pixels 321 of each column to the corresponding vertical signal line in accordance with the control from the control circuit 322. This circuit performs A/D conversion processing, etc.).
  • predetermined signal processing for example, noise suppression processing
  • the horizontal scanning circuit 324 is a circuit that sequentially outputs the signals output from the pixel signal processing circuit 325 to the horizontal signal line in accordance with the control from the control circuit 322. As a result, pixel signals corresponding to the amount of charge accumulated for one frame are sequentially output to the distance image processing section 4 via the horizontal signal line.
  • the pixel signal processing circuit 325 performs A/D conversion processing and the pixel signal is a digital signal.
  • FIG. 3 is a circuit diagram showing an example of the configuration of a pixel 321 arranged within the light receiving area 320 of the distance image sensor 32 of the first embodiment.
  • FIG. 3 shows an example of the configuration of one pixel 321 among the plurality of pixels 321 arranged in the light receiving area 320.
  • the pixel 321 is an example of a configuration including three pixel signal readout sections.
  • the pixel 321 includes one photoelectric conversion element PD, a drain gate transistor (charge discharging transistor) GD (charge discharging means, charge discharging unit), and three pixel signal readout units that output voltage signals from the corresponding output terminals O. RU.
  • Each of the pixel signal readout units RU includes a readout gate transistor G, a floating diffusion FD, a charge storage capacitor C, a reset gate transistor RT, a source follower gate transistor SF, and a selection gate transistor SL.
  • a charge storage unit CS is configured by a floating diffusion FD and a charge storage capacitor C.
  • each pixel signal readout unit RU is identified by adding a number “1”, “2”, or “3” after the code “RU” of the three pixel signal readout units RU. distinguish.
  • each component included in the three pixel signal readout units RU is indicated by a number representing each pixel signal readout unit RU after the code, so that each component can read out the pixel signal to which it corresponds.
  • the unit RU is distinguished from each other.
  • the pixel signal readout unit RU1 that outputs a voltage signal from the output terminal O1 includes a readout gate transistor G1, a floating diffusion FD1, a charge storage capacitor C1, a reset gate transistor RT1, and a source follower. It includes a gate transistor SF1 and a selection gate transistor SL1.
  • a charge storage section CS1 is configured by a floating diffusion FD1 and a charge storage capacitor C1.
  • the pixel signal reading units RU2 to RU3 also have a similar configuration.
  • the configuration of the pixels arranged in the distance image sensor 32 is not limited to the configuration including three pixel signal readout units RU as shown in FIG. 3, but may include a plurality of pixel signal readout units RU. Any pixel with the above configuration may be used. That is, the number of pixel signal readout units RU (charge storage units CS) provided in pixels arranged in the distance image sensor 32 may be two, or may be four or more.
  • the charge storage section CS is configured by a floating diffusion FD and a charge storage capacitor C.
  • the charge storage section CS only needs to be configured by at least the floating diffusion FD, and the pixel 321 may not include the charge storage capacitor C.
  • the drain gate transistor GD when there is no need to discard the charge accumulated (remaining) in the photoelectric conversion element PD, may be configured without the drain-gate transistor GD.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate charges and accumulates the generated charges.
  • the structure of the photoelectric conversion element PD may be arbitrary.
  • the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined, or a PN photodiode having a structure in which an I-type semiconductor is sandwiched between a P-type semiconductor and an N-type semiconductor. It may also be a PIN photodiode.
  • the photoelectric conversion element PD is not limited to a photodiode, and may be a photogate type photoelectric conversion element, for example.
  • the photoelectric conversion element PD converts incident light into an electric charge at an accumulation timing synchronized with the irradiation timing of the optical pulse PO, and distributes and accumulates the converted electric charge in each of the three charge storage parts CS.
  • the charges converted by the photoelectric conversion element PD are discharged from the drain gate transistor GD to prevent them from being accumulated in the charge accumulation section CS. In this way, after the accumulation of charges at the accumulation timing and the discarding of charges at timings other than the accumulation timing are repeatedly performed over one frame, a readout period is provided.
  • the horizontal scanning circuit 324 outputs to the distance calculation section 42 an electrical signal corresponding to the amount of charge for one frame, which is accumulated in each of the charge storage sections CS.
  • the distance calculation unit 42 distributes the amount of charge corresponding to the reflected light RL component to the two charge storage units CS at a ratio according to the delay time Td until the reflected light RL is incident on the distance image capturing device 1. Utilizing this fact, the delay time Td is calculated using the following equation (1).
  • the distance calculation unit 42 calculates the round-trip distance to the subject S by multiplying the delay time Td obtained by equation (1) by the speed of light (velocity). Then, the distance calculation unit 42 calculates the distance to the subject S by halving the round trip distance calculated above.
  • equation (1) it is assumed that the amount of charge corresponding to the external light component is accumulated in the charge storage section CS1, and the amount of charge corresponding to the reflected light RL component is distributed and accumulated in the charge accumulation sections CS2 and CS3. Assumed.
  • Td To ⁇ (Q3-Q1)/(Q2+Q3-2 ⁇ Q1)...(1) However, To is the period during which the optical pulse PO is irradiated.
  • Q1 is the amount of charge accumulated in the charge accumulation section CS1.
  • Q2 is the amount of charge accumulated in the charge accumulation section CS2.
  • Q3 is the amount of charge accumulated in the charge accumulation section CS3.
  • dot light is used as the light source emitted by the light source unit 2.
  • the dot light source is, for example, structured light composed of a plurality of periodically arranged dot lights.
  • the object OB is irradiated with non-uniform local light pulses PO.
  • dot light it is possible to increase the power of the irradiated light (irradiation intensity per unit area) without increasing the light source output, increasing the reach of the irradiated light and increasing the measurable distance. It becomes possible to do so.
  • a dot light source when used, there is a problem in that the distance cannot be measured in areas that are not irradiated with dot light, and the resolution becomes small.
  • the light source section 2 includes a plurality of light source elements that can each independently irradiate optical pulses PO (dot light having an elliptical shape).
  • FIG. 4 is a diagram showing an example of dot light in the first embodiment.
  • FIG. 4 schematically shows how the distance image capturing device 1 irradiates the subject OB with dot light Dt as a light pulse PO.
  • the dot light Dt has an elliptical shape in which the ratio of the major axis length LA to the minor axis length SA is greater than or equal to a threshold value.
  • the threshold value here may be set arbitrarily.
  • the shape of the dot light source is an ellipse in which the ratio of the major axis length LA to the minor axis length SA is 2 or more.
  • the dot light Dt having an elliptical shape by using the dot light Dt having an elliptical shape, it is possible to reduce the area of the subject OB that is not irradiated with light than when using the circular dot light Dt. Therefore, it becomes possible to suppress a decrease in resolution.
  • 5 to 8 are diagrams showing other examples of dot light in the first embodiment.
  • FIG. 5 shows how a part of the dot light Dt overlaps with a part of another dot light Dt.
  • at least a portion of the dot light Dt1 and at least a portion of the other dot light Dt2 adjacent in the longitudinal direction of the dot light Dt1 may be configured to overlap.
  • the area in the subject OB that is not irradiated with light can be further reduced.
  • FIG. 5 illustrates and describes the case where they overlap along the long axis direction, they may overlap in the short axis direction. Further, it may be configured to overlap in an arbitrary axis direction set diagonally with respect to the long axis and short axis directions.
  • the light pulse PO can be made into a linear light by irradiating a plurality of dot lights Dt so as to overlap along the long axis direction.
  • the light obtained by irradiating a plurality of dot lights Dt so as to overlap along the major axis direction will be referred to as "line light L".
  • a line light source may be used in place of or together with the dot light source in the first embodiment.
  • FIG. 6 shows how a plurality of line lights L intersect.
  • the plurality of line lights L may be configured to indicate mutually different directions. That is, the major axis directions of the elliptical dot lights Dt may be different from each other.
  • the object OB can be irradiated with light in a mesh pattern, and the area of the object OB that is not irradiated with light can be further reduced.
  • FIG. 6 an example is shown in which the directions of the line lights in each of the group consisting of line lights L1 to L6 and the group consisting of line lights L7 to L12 are orthogonal to each other, that is, at 90 degrees.
  • the major axis directions of the elliptical dot lights Dt emitted from at least two of the plurality of light source elements may be orthogonal to each other.
  • the configuration is not limited to a configuration in which the angle formed by the two line lights L is 90 degrees, and it is sufficient that the directions of at least two line lights L are different. That is, it is sufficient that the angle formed by the two line lights L is greater than 0 degrees and less than 90 degrees.
  • FIG. 7 shows how the distances between the parallel line lights L are different.
  • the distance K1 from the line light L101 to the line light L102 and the distance K2 from the line light L103 to the line light L104 are different in size.
  • the first embodiment may be configured such that the intervals between the line lights L are different in the vertical direction and the horizontal direction. That is, the first interval along the short axis direction of the elliptical dot light Dt whose long axis directions are in the same direction emitted from a first light source element group consisting of at least two light source elements among the plurality of light source elements, and about the second interval along the short axis direction of the elliptical dot light Dt whose long axis direction is in the same direction as emitted from the second light source element group consisting of at least two light source elements different from the first light source element group.
  • the first interval and the second interval may be different from each other.
  • the light is irradiated so that the intervals between the line lights L along the vertical direction are narrowed and the intervals between the line lights L along the horizontal direction are widened. This makes it possible to measure the area in which the distance is to be measured at small intervals with high resolution.
  • the intervals between the line light L groups along the vertical direction or the intervals between the line light L groups along the vertical direction may be configured to be different intervals, that is, not equal intervals.
  • the present invention can be applied to a case where the resolution is low in the upper part and high in resolution from the center to the lower part.
  • the resolution is low in the upper part and high in resolution from the center to the lower part.
  • light is emitted so that the intervals between the line lights L are widened in the upper part, and the intervals between the line lights L are narrowed from the central part to the lower part. This makes it possible to measure the area where the object OB exists with high resolution.
  • FIG. 8 shows how the line light L is irradiated in a direction perpendicular to the installation surface (ground) of the distance image capturing device 1 and in an oblique direction different from the horizontal direction.
  • the angle between the line light L201 and the line segment Ax along the x-axis direction (horizontal direction) is 135 degrees.
  • the angle between the line light L202 and the line segment Ax is 45 degrees.
  • the line light L may be configured to indicate a direction oblique to the ground. That is, the angle formed by the long axis direction of the elliptical dot light emitted from two of the plurality of light source elements is 45 degrees or 135 degrees with respect to the installation surface of the imaging device.
  • the line light L may be configured to indicate an oblique direction with respect to the ground. That is, the long axis direction of the elliptical dot light Dt emitted from two light source elements among the plurality of light source elements is an oblique direction that is neither vertical nor horizontal with respect to the installation surface of the distance image capturing device 1. It may be configured as follows.
  • the FOI Field of Illumination
  • two line lights L in diagonal directions are made to intersect orthogonally, two diffuser plates of the same design that emit line light L in diagonal directions are prepared, and they are mounted upside down. Two oblique line lights L can be made orthogonal. Therefore, by making the light source section 2 orthogonal in the diagonal direction, it is possible to suppress the device cost related to the light source section 2 rather than making the light source part 2 orthogonal in the horizontal and vertical directions.
  • a uniform diffusion light source element may be used in addition to the dot light Dt.
  • a uniformly diffused light source element is a light source element that irradiates uniform light onto an irradiation surface. By using the uniformly diffused light source element, it becomes possible to irradiate the object OB with uniform light.
  • the distance image capturing device 1 of the first embodiment it is possible to use different light sources depending on the distance to the subject OB.
  • a uniformly diffused light source is used.
  • the subject OB exists nearby and it is possible to irradiate the subject OB with a sufficient amount of light without using the dot light Dt, it is not necessary to use the dot light Dt to lower the resolution.
  • distance can be measured with high resolution using a uniformly diffused light source element.
  • a dot light source is used when measuring a long distance, that is, a distance to an object OB located at a relatively far position.
  • the dot light Dt is used to increase the amount of reflected light RL, and the dots are set so that the area of the subject OB that is not irradiated with light is minimized.
  • the shape of the light Dt is an ellipse, the distance can be measured while suppressing a decrease in resolution. Therefore, it is possible to use the dot light and the diffused light source depending on the measurement situation depending on the distance to the object OB, and it is possible to suppress a decrease in resolution in both cases of short distance and long distance.
  • the optical pulse PO is structured light composed of a plurality of dot lights Dt. At least one dot light Dt1 (first dot light) among the plurality of dot lights Dt has an elliptical shape in which the ratio of the major axis length to the minor axis length is equal to or greater than a threshold value.
  • At least a portion of at least one dot light Dt1 (first dot light) among the plurality of dot lights Dt and another dot light Dt1 adjacent to the longitudinal direction of the dot light Dt1 are At least a portion of the dot light Dt2 overlaps with the dot light Dt2.
  • the light source section 2 includes a plurality of light source elements that can each independently irradiate a light pulse PO.
  • the distance image imaging device 1 of the first embodiment it is possible to emit elliptical dot light using each of the plurality of light source elements, and the degree of freedom in setting the position and direction of the dot light to be emitted is increased. can be increased.
  • the major axis directions of the elliptical dot lights emitted from at least two of the plurality of light source elements are different from each other.
  • the long axis directions of the elliptical dot lights emitted from at least two of the plurality of light source elements are orthogonal to each other.
  • the distances K1 and K2 are different.
  • the distance K1 is the distance from the line light L101 to the line light L102, and is an example of a "first interval.”
  • the distance K2 is the distance from the line light L103 to the line light L104, and is an example of a "second interval.”
  • the distance image imaging device 1 of the first embodiment can perform measurements with different resolutions in the horizontal direction or the vertical direction. For example, when measuring a subject OB moving in the horizontal direction, It becomes possible to measure distances that change depending on the movement of the object with high resolution.
  • the distance image imaging device 1 of the first embodiment the long axis direction of at least three light source elements among the plurality of light source elements is emitted along the short axis direction of the elliptical dot light.
  • the intervals are different from each other.
  • the distance image capturing device 1 according to the first embodiment can perform measurement with a resolution according to the area where the subject is present. For example, when measuring a short subject OB, the upper subject It becomes possible to measure the area where the OB does not exist with low resolution, and to measure the area below the center where the object OB exists with high resolution.
  • the long axis direction of the elliptical dot light emitted from at least two of the plurality of light source devices is perpendicular to the installation surface of the imaging device. direction and a diagonal direction that is not horizontal.
  • such line light is realized by mounting the two diffusion plates that emit the line light L in an oblique direction so that they are upside down. This makes it possible to reduce the device cost compared to the case where separate diffusion plates are used for vertical and horizontal use.
  • each of the angles formed by the long axis direction of the elliptical dot light emitted from at least two light source elements among the plurality of light source elements is the installation surface of the imaging device. 45 degrees or 135 degrees.
  • the line light can be irradiated diagonally with respect to the ground and symmetrically in the left and right directions, and the same effect as described above can be achieved.
  • At least one of the plurality of light source elements is a diffused light source.
  • the dot light and the diffused light source can be used properly depending on the measurement situation depending on the distance to the object OB, and in both cases of short distance and long distance, Decrease in resolution can be suppressed.
  • All or part of the distance image imaging device 1 and the distance image processing unit 4 in the first embodiment described above may be realized by a computer.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed.
  • the "computer system” herein includes hardware such as an OS and peripheral devices.
  • the term "computer-readable recording medium” refers to portable media such as flexible disks, magneto-optical disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems.
  • a "computer-readable recording medium” refers to a storage medium that dynamically stores a program for a short period of time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include a device that retains a program for a certain period of time, such as a volatile memory inside a computer system that is a server or client in that case. Further, the above-mentioned program may be one for realizing a part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system. It may also be realized using a programmable logic device such as an FPGA.
  • FIG. 9 is a block diagram illustrating an example of a distance image capturing device 101 according to the second embodiment.
  • the distance image imaging device 101 includes a light source section 102, a light receiving section 103, and a distance image processing section 104.
  • FIG. 9 also shows a subject OB, which is an object whose distance is to be measured using the distance image capturing device 101.
  • the distance image imaging device is, for example, a distance image sensor 132 (described later) in the light receiving section 103.
  • the light source unit 102 irradiates the object OB with a light pulse PO.
  • the light source unit 102 irradiates a space of a photographing target in which a subject OB whose distance is to be measured in the distance image capturing device 101 exists, with a light pulse PO, according to control from the distance image processing unit 104 .
  • the light source unit 102 is, for example, a surface-emitting semiconductor laser module such as a vertical cavity surface-emitting laser (VCSEL).
  • the light source unit 102 is, for example, a light pulse PO which is structured light composed of periodically arranged line lights L (see FIGS. 12 to 14), in which the line lights L in two directions are orthogonal to each other. Emit light pulse PO. Note that details of the line light L will be described later with reference to FIGS. 12 to 14. Further, the light source section 102 includes a light source device 121 and a diffusion plate 122.
  • the light source device 121 is a light source that emits laser light in a near-infrared wavelength band (for example, a wavelength band of 850 nm to 940 nm) that becomes a light pulse PO to be irradiated onto the subject OB.
  • the light source device 121 is, for example, a semiconductor laser light emitting device.
  • the light source device 121 emits pulsed laser light under control from the measurement control section 143.
  • the diffuser plate 122 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 121 over a surface that irradiates the object OB.
  • the pulsed laser light diffused by the diffusion plate 122 is emitted as a light pulse PO and is irradiated onto the object OB.
  • the light receiving unit 103 receives the reflected light RL of the optical pulse PO reflected by the subject OB whose distance is to be measured in the distance image capturing device 101, and outputs a pixel signal according to the received reflected light RL.
  • the light receiving section 103 includes a lens 131 and a distance image sensor 132.
  • the lens 131 is an optical lens that guides the incident reflected light RL to the distance image sensor 132.
  • the lens 131 emits the incident reflected light RL to the distance image sensor 132 side, and causes the light to be received (incident) by a pixel circuit 421 provided in a light receiving area of the distance image sensor 132.
  • the distance image sensor 132 is an imaging element used in the distance image imaging device 101.
  • the distance image sensor 132 includes a plurality of pixel circuits 421 in a two-dimensional light receiving area, and a pixel drive circuit 422 that controls each of the pixel circuits 421.
  • the pixel circuit 421 includes one photoelectric conversion element (for example, a photoelectric conversion element PD described later) and a plurality of charge storage units corresponding to this one photoelectric conversion element (for example, charge storage units CS (CS1 to CS4) described later). and a component for distributing charges to the respective charge storage sections.
  • one photoelectric conversion element for example, a photoelectric conversion element PD described later
  • a plurality of charge storage units corresponding to this one photoelectric conversion element for example, charge storage units CS (CS1 to CS4) described later.
  • the pixel drive circuit 422 conducts each transfer transistor G (described later) in each of the charge storage sections CS (CS1 to CS4) at a predetermined accumulation timing synchronized with the irradiation of the optical pulse PO, thereby distributing and accumulating the charges. . Note that details of the distance image sensor 132 including the pixel circuit 421 and the pixel drive circuit 422 will be described later with reference to FIG. 10.
  • the distance image sensor 132 distributes the charges generated by the photoelectric conversion elements to the respective charge storage units according to control from the measurement control unit 143. Further, the distance image sensor 132 outputs a pixel signal according to the amount of charge distributed to the charge storage section.
  • a plurality of pixel circuits are arranged in a two-dimensional matrix, and each pixel circuit outputs a corresponding pixel signal for one frame.
  • FIG. 10 is a block diagram showing an example of the distance image sensor in this embodiment.
  • the distance image sensor 132 includes, for example, a light receiving area 420 in which a plurality of pixel circuits 421 are arranged, and a pixel drive circuit 422.
  • the pixel drive circuit 422 includes a vertical scanning circuit 423 having a distribution operation, a horizontal scanning circuit 424, a pixel signal processing circuit 425, and a control circuit 426.
  • the light receiving area 420 is an area in which a plurality of pixel circuits 421 are arranged, and FIG. 10 shows an example in which they are arranged in a two-dimensional matrix of 8 rows and 8 columns.
  • a plurality of pixel circuits 421 are arranged in a two-dimensional matrix, and accumulate charges corresponding to the amount of received light. Note that the detailed configuration of the pixel circuit 421 will be described later with reference to FIG. 11.
  • the control circuit 426 controls the distance image sensor 132 in an integrated manner.
  • the control circuit 426 controls the operations of the components of the distance image sensor 132, for example, in response to instructions from the measurement control unit 143 of the distance image processing unit 104. Note that the components included in the distance image sensor 132 may be directly controlled by the measurement control unit 143, and in this case, the control circuit 426 may be omitted.
  • the vertical scanning circuit 423 is a circuit that controls the pixel circuits 421 arranged in the light receiving area 420 row by row in accordance with the control from the control circuit 426.
  • the vertical scanning circuit 423 causes the pixel signal processing circuit 425 to output a voltage signal corresponding to the amount of charge accumulated in each of the charge accumulation sections CS of the pixel circuit 421.
  • the vertical scanning circuit 423 distributes and accumulates the charges converted by the photoelectric conversion element in each of the charge storage sections of the pixel circuit 421.
  • the pixel signal processing circuit 425 performs predetermined signal processing (for example, noise suppression processing or A/D conversion) on the voltage signal output from the pixel circuit 421 of each column under control from the control circuit 426. processing, etc.).
  • predetermined signal processing for example, noise suppression processing or A/D conversion
  • the horizontal scanning circuit 424 is a circuit that sequentially outputs the signals output from the pixel signal processing circuit 425 in time series according to the control from the control circuit 426. As a result, pixel signals corresponding to the amount of charge accumulated for one frame are sequentially output to the distance image processing unit 104.
  • the pixel signal processing circuit 425 performs A/D conversion processing and the pixel signal is a digital signal.
  • FIG. 11 is a block diagram showing an example of the pixel circuit 421 in this embodiment. Note that the pixel circuit 421 shown in FIG. 11 is a configuration example including four pixel signal readout units RU (RU1 to RU4).
  • the pixel circuit 421 includes one photoelectric conversion element PD, a charge discharge transistor (drain gate transistor) GD (charge discharge means, charge discharge section), and a corresponding output terminal O (O1 to O4). It includes four pixel signal readout units RU (RU1 to RU4) that output voltage signals from the pixel signal readout units RU (RU1 to RU4).
  • Each of the pixel signal readout units RU includes a transfer transistor G, a floating diffusion FD, a charge storage capacitor C, a reset transistor RT, a source follower transistor SF, and a selection transistor SL.
  • the floating diffusion FD and the charge storage capacitor C constitute a charge storage section CS.
  • the pixel signal readout unit RU1 that outputs a voltage signal from the output terminal O1 includes a transfer transistor G1, a floating diffusion FD1, a charge storage capacitor C1, a reset transistor RT1, and a source follower transistor SF1. and a selection transistor SL1.
  • a charge storage section CS1 is configured by a floating diffusion FD1 and a charge storage capacitor C1.
  • the pixel signal reading units RU2 to RU4 also have a similar configuration.
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light, generates charges according to the incident light (incident light), and stores the generated charges.
  • the incident light enters from the space to be measured.
  • the photoelectric conversion element PD photoelectrically converts the incident light and distributes the generated charge to each of the four charge storage sections CS (CS1 to CS4), and stores each charge according to the amount of the distributed charge.
  • the voltage signal is output to the pixel signal processing circuit 425.
  • the configuration of the pixel circuit arranged in the distance image sensor 132 is not limited to the configuration including four pixel signal readout units RU (RU1 to RU4) as shown in FIG.
  • the pixel circuit may have a configuration in which the readout unit RU includes one or more pixel signal readout units RU.
  • the light pulse PO is irradiated at the irradiation time To, and the reflected light RL is received by the distance image sensor 132 after a delay time Td.
  • the pixel drive circuit 422 transfers the charges generated in the photoelectric conversion element PD to the transfer transistors G (G1, G2, G3, G4) in synchronization with the irradiation of the optical pulse PO according to the frame period.
  • the storage drive signals TX1 to TX4 are supplied at respective timings, and the charge storage units CS1, CS2, CS3, and CS4 are stored in this order.
  • the pixel drive circuit 422 controls each of the reset transistor RT and the selection transistor SL using drive signals RST and SEL, respectively, and converts the charge accumulated in the charge storage section CS into an electric signal by the source follower transistor SF. , the generated electrical signal is output to the distance calculation unit 142 via the output terminal O.
  • the pixel drive circuit 422 discharges the charge generated in the photoelectric conversion element PD by flowing it to the power supply VDD in accordance with the drive signal RSTD (erasing the charge).
  • the distance image processing unit 104 controls the distance image capturing device 101 and calculates the distance to the object OB.
  • the distance image processing unit 104 measures the distance to the object OB existing in the measurement space as a measurement distance based on the amount of charge accumulated in each of the charge storage units CS.
  • the distance image processing section 104 includes a timing control section 141, a distance calculation section 142, and a measurement control section 143.
  • the timing control unit 141 controls the timing of outputting various control signals required for measurement in accordance with the control of the measurement control unit 143.
  • the various control signals here include, for example, a signal for controlling the irradiation of the optical pulse PO, a signal for distributing and accumulating the reflected light RL in a plurality of charge storage units, a signal for controlling the number of accumulations per frame, etc. be.
  • the number of times of accumulation is the number of times that the process of distributing and accumulating charges in the charge storage unit CS is repeated, and is the number of times of distributing that is preset in a frame period.
  • the exposure time is the product of this number of times of accumulation and the time width (accumulation time width) in which charges are accumulated in each charge accumulation section per process of distributing and accumulating charges.
  • the distance calculation unit 142 calculates the distance to the object OB based on the pixel signal output from the distance image sensor 132 and outputs distance information.
  • the distance calculation unit 142 calculates the delay time from irradiation of the optical pulse PO to reception of the reflected light RL based on the amount of charge accumulated in the plurality of charge storage units CS.
  • the distance calculation unit 142 calculates the distance to the object OB according to the calculated delay time.
  • the frame period has a plurality of sub-frame periods in which the storage periods for storing charges in the charge storage section CS are different.
  • the distance calculation unit 142 calculates the distance to the object OB using a subframe period in which the amount of charge does not exceed a preset threshold (the amount of charge is not saturated) among the plurality of subframe periods. calculate. Note that details of the frame period and subframe period will be described later.
  • the distance calculation unit 142 distributes the amount of charge corresponding to the reflected light RL component to the two charge storage units CS at a ratio according to the delay time Td until the reflected light RL enters the distance image capturing device 101. Utilizing this fact, the delay time Td is calculated using the following equation (2).
  • the distance calculation unit 142 calculates the round-trip distance to the object OB by multiplying the delay time Td obtained by equation (2) by the speed of light (velocity). Then, the distance calculation unit 142 calculates the distance to the subject OB by halving the round trip distance calculated above.
  • equation (2) the amount of charge corresponding to the external light component is accumulated in the charge storage section CS1, and the amount of charge corresponding to the reflected light RL component is distributed and accumulated in the charge accumulation sections CS2 and CS3. Assumed.
  • Td To ⁇ (Q3-Q1)/(Q2+Q3-2 ⁇ Q1)...(2)
  • Q1 is the amount of charge accumulated in the charge accumulation section CS1.
  • Q2 is the amount of charge accumulated in the charge accumulation section CS2.
  • Q3 is the amount of charge accumulated in the charge accumulation section CS3.
  • the measurement control section 143 controls the timing control section 141.
  • the measurement control unit 143 sets the number of times of accumulation and the accumulation time width for one frame, and controls the timing control unit 141 so that imaging is performed according to the set contents. That is, the measurement control section 143 sets a frame period including a plurality of subframe periods, and controls the timing control section 141 so that imaging is performed according to the set contents.
  • the light receiving unit 103 receives the reflected light RL, which is the light pulse PO in the near-infrared wavelength band that the light source unit 102 irradiates to the subject OB, and is reflected by the subject OB.
  • the distance image processing unit 104 outputs distance information (distance image) obtained by measuring the distance to the object OB.
  • the operation of the distance image imaging device 101 according to this embodiment will be described with reference to the drawings.
  • the line light L output from the light source section 102 in this embodiment will be described. Note that in FIGS. 12 to 14, the description will be made assuming that the X-axis direction is the horizontal axis direction (horizontal direction) and the Y-axis direction is the vertical axis direction (vertical direction).
  • dot light is used as the light source emitted by the light source unit 102.
  • the dot light is, for example, structured light composed of a plurality of periodically arranged dot lights.
  • the object OB is irradiated with non-uniform local light pulses PO.
  • dot light it is possible to increase the power of the irradiated light (irradiation intensity per unit area) without increasing the light source output, increasing the reach of the irradiated light and increasing the measurable distance. It becomes possible to do so.
  • dot light when dot light is used, there is a problem in that the distance cannot be measured in areas that are not irradiated with dot light, resulting in low resolution.
  • dot light having an elliptical shape is used as the optical pulse PO.
  • the light source unit 102 includes a plurality of light source elements that can each independently emit light pulses PO (line light using dot light having an elliptical shape).
  • FIGS. 12 to 14 are diagrams showing examples of the line light L in this embodiment. 12 to 14 schematically show how the distance image capturing device 101 irradiates the object OB with line light L as a light pulse PO.
  • FIG. 12 shows an example in which a plurality of dot lights Dt are discretely emitted to form a line light L.
  • the line light L is formed by emitting a plurality of dot lights Dt discretely in a line shape.
  • the dot light Dt has an elliptical shape in which the ratio of the major axis length LA to the minor axis length SA is greater than or equal to a threshold value.
  • the shape of the dot light source is an ellipse in which the ratio of the major axis length LA to the minor axis length SA is 2 or more.
  • FIG. 13 shows an example in which a plurality of dot lights Dt are emitted in an overlapping manner to form a line light L.
  • horizontal line light L is irradiated.
  • the line light L is formed by making a part of the dot light Dt overlap with a part of the other dot light Dt.
  • the dot light Dt1 and at least a portion of the other dot light Dt2 adjacent in the long axis direction of the dot light Dt1 so as to overlap continuous line light is generated.
  • L can be formed.
  • a line light source may be used in place of or together with the dot light source in this embodiment.
  • FIG. 14 shows how a plurality of line lights L intersect.
  • the light source unit 102 irradiates the subject OB with light pulses so that the plurality of line lights L indicate mutually different directions.
  • the major axis directions of the elliptical dot lights Dt may be configured to be different from each other.
  • the object OB can be irradiated with light in a mesh pattern, and the area of the object OB that is not irradiated with light can be further reduced.
  • the direction of the line light in the group consisting of the line lights L1 to L6 (vertical line light) and the direction of the line light in the group consisting of the line lights L7 to L12 (horizontal line light) are orthogonal to each other.
  • an example of a 90 degree angle is shown. In this way, the long axis directions of the elliptical dot lights Dt emitted from at least two of the plurality of light source elements are orthogonal to each other.
  • the configuration is not limited to a configuration in which the angle formed by the two line lights L is 90 degrees, and it is sufficient that the directions of at least two line lights L are different. That is, it is sufficient that the angle formed by the two line lights L is greater than 0 degrees and less than 90 degrees.
  • the light source unit 102 is a light pulse PO which is structured light made up of periodically arranged line lights L, and is light in which the line lights L in two directions are orthogonal to each other. Emit pulse PO.
  • a light pulse PO is emitted at the irradiation time To, and the reflected light RL is received by the distance image sensor 132 after a delay time Td.
  • the vertical scanning circuit 423 transfers the charges generated in the photoelectric conversion element PD to the charge storage units CS1, CS2, CS3, and CS4 in this order, and stores them in each charge storage unit CS1, CS2, CS3, and CS4.
  • the vertical scanning circuit 423 turns on (conducts) the transfer transistor G1 provided on the transfer path that transfers the charge from the photoelectric conversion element PD to the charge storage section CS1. Thereby, the charge photoelectrically converted by the photoelectric conversion element PD is accumulated in the charge storage section CS1 via the transfer transistor G1. Thereafter, the vertical scanning circuit 423 turns the transfer transistor G1 off (non-conductive). As a result, the transfer of charges to the charge storage section CS1 is stopped. In this way, the vertical scanning circuit 423 causes the charge storage section CS1 to accumulate charges. The same applies to charge storage units CS2 to CS4.
  • the vertical scanning circuit 423 repeats the accumulation cycle of each of the charge storage units CS1 to CS4, after the transfer (transfer) of the charge to the charge storage unit CS4 is completed, the vertical scanning circuit 423 provides a discharge path for discharging the charge from the photoelectric conversion element PD.
  • the charge discharge transistor GD provided above is turned on.
  • the charge discharging transistor GD discards the charge generated in the photoelectric conversion element PD after the previous accumulation cycle of the charge storage unit CS4 (i.e., the charge discharged from the photoelectric conversion element (reset the element PD).
  • the vertical scanning circuit 423 sequentially sends voltage signals from all the pixel circuits 421 arranged in the light receiving area 420 to the pixel signal processing circuit 425 in units of rows (horizontal arrangement) of the pixel circuits 421. Output.
  • the pixel signal processing circuit 425 performs signal processing such as A/D conversion processing on each input voltage signal and outputs it to the horizontal scanning circuit 424.
  • the horizontal scanning circuit 424 sequentially outputs the voltage signal after signal processing to the distance calculation unit 142 in the order of the columns of the light receiving areas 420.
  • the accumulation of charges in the charge storage section CS by the vertical scanning circuit 423 and the discarding of the charges photoelectrically converted by the photoelectric conversion element PD are repeatedly performed over one frame.
  • charges corresponding to the amount of light received by the distance image capturing device 101 during a predetermined time interval are accumulated in each of the charge accumulation units CS.
  • the horizontal scanning circuit 424 outputs to the distance calculating section 142 an electric signal corresponding to the amount of charge for one frame accumulated in each of the charge storage sections CS.
  • the frame period FT has a plurality of subframe periods SFT.
  • the frame period FT and subframe period SFT in this embodiment will be explained.
  • FIG. 15 is a diagram showing an example of the frame period FT in this embodiment.
  • the frame period FT in this embodiment has two subframe periods SFT, a subframe period SFT1 and a subframe period SFT2.
  • the subject OB is simultaneously irradiated with orthogonal vertical line light and horizontal line light as shown in FIG.
  • the subframe period SFT1 (first subframe period) includes an accumulation period Tc1 (charge accumulation period) in which charges are accumulated in the charge accumulation section CS, and a readout period Trd in which the charges accumulated in the charge accumulation section CS are read out.
  • the accumulation period Tc1 is a predetermined period that is set in advance so that, for example, the charge in the charge storage section CS is not saturated (does not exceed a preset threshold) at the intersection of the line light L mentioned above.
  • the accumulation period Tc1 is a period less than or equal to 1/2 of the accumulation period Tc2 of the subframe period SFT2. Note that the accumulation period Tc1 (charge accumulation period) is determined by the number of accumulations.
  • the subframe period SFT2 (second subframe period) includes an accumulation period Tc2 (charge accumulation period) in which charges are accumulated in the charge accumulation section CS, and a readout period Trd in which charges accumulated in the charge accumulation section CS are read out.
  • the subframe period SFT2 has a different accumulation period from the subframe period SFT1.
  • the accumulation period Tc2 is, for example, a period set in advance so that a distance image can be appropriately measured at a portion other than the intersection of the line light L mentioned above.
  • the accumulation period Tc2 is twice or more the accumulation period Tc1 of the subframe period SFT1. Note that, like the accumulation period Tc1, the accumulation period Tc2 is determined by the number of accumulations.
  • the distance calculation unit 142 calculates the distance to the object OB using the subframe period SFT in which the amount of electric charge does not exceed a preset threshold out of the subframe period SFT1 and the subframe period SFT2 described above. calculate.
  • distance calculation section 142 calculates the distance to object OB using subframe period SFT2. Calculate. Furthermore, when the amount of charge exceeds a preset threshold, the distance calculation unit 142 calculates the distance to the object OB using the subframe period SFT1, which has a shorter accumulation period Tc than the subframe period SFT2. calculate.
  • the distance calculation unit 142 uses, for example, the subframe period SFT in which the charge amount does not exceed the threshold value and the accumulation period is longer among the subframe period SFT1 and the subframe period SFT2, to determine the subject OB. Calculate the distance to. Note that when calculating the distance to the subject OB, the distance calculation unit 142 calculates the distance to the subject OB using the above-mentioned equation (2).
  • FIG. 16 is a flowchart illustrating an example of the operation of the distance image capturing device 101 according to this embodiment.
  • FIG. 16 an example of a process for calculating the distance to the object OB will be described.
  • the distance image imaging device 101 first captures a frame including a first subframe period (subframe period SFT1) and a second subframe period (subframe period SFT2) having different accumulation periods Tc. Charge accumulation and acquisition of the amount of charge are performed in a period FT (step S101).
  • the measurement control unit 143 of the distance image imaging device 101 instructs the timing control unit 141 to accumulate charge and acquire the amount of charge according to the frame period FT, and the timing control unit 141 performs sub-processing according to the control of the measurement control unit 143. Charge accumulation and acquisition of the amount of charge are performed using a frame period FT that includes a frame period SFT1 and a subframe period SFT2.
  • the measurement control unit 143 of the distance image capturing device 101 determines whether the amount of charge acquired in the second subframe period (subframe period SFT2) exceeds a threshold value (step S102). If the amount of charge acquired in the subframe period SFT2 exceeds the threshold (step S102: YES), the measurement control unit 143 advances the process to step S104. Furthermore, if the amount of charge acquired in the subframe period SFT2 does not exceed the threshold (step S102: NO), the measurement control unit 143 advances the process to step S103.
  • step S103 the measurement control unit 143 instructs the distance calculation unit 142 to perform distance calculation processing, and the distance calculation unit 142 determines whether the object OB is Calculate the distance to.
  • the distance calculation unit 142 calculates the distance to the object OB, for example, using equation (2) and the amount of charge acquired in the subframe period SFT2.
  • the distance calculation unit 142 calculates the distance of the portion other than the intersection of the line light L using the amount of charge acquired in the subframe period SFT2.
  • the distance calculation unit 142 advances the process to step S107.
  • step S104 the measurement control unit 143 determines whether the amount of charge acquired in the first subframe period (subframe period SFT1) exceeds a threshold value. If the amount of charge acquired in the subframe period SFT1 exceeds the threshold (step S104: YES), the measurement control unit 143 advances the process to step S106. Furthermore, if the amount of charge acquired in the subframe period SFT1 does not exceed the threshold (step S104: NO), the measurement control unit 143 advances the process to step S105.
  • step S105 the measurement control unit 143 instructs the distance calculation unit 142 to perform distance calculation processing, and the distance calculation unit 142 determines whether the object OB is Calculate the distance to.
  • the distance calculation unit 142 calculates the distance to the object OB using, for example, equation (2) and the amount of charge acquired in the subframe period SFT1.
  • the distance calculation unit 142 calculates the distance of the intersection of the line lights L using the amount of charge acquired in the subframe period SFT1.
  • the distance calculation unit 142 advances the process to step S107.
  • step S106 the measurement control unit 143 executes error processing.
  • This case corresponds to a case where the amount of charge acquired in the first subframe period exceeds the threshold (saturation), so the measurement control unit 143 performs, for example, remeasurement processing, warning output, etc. Executes error handling.
  • step S107 the measurement control unit 143 determines whether execution for all pixel circuits 421 has been completed. That is, the measurement control unit 143 determines whether the distance calculation process for one frame period FT has been completed. The measurement control unit 143 ends the process when the execution for all the pixel circuits 421 is completed (step S107: YES). Furthermore, if the execution for all the pixel circuits 421 has not been completed (step S107: NO), the measurement control unit 143 returns the process to step S102 and executes the distance calculation process by the next pixel circuit 421.
  • the distance calculation unit 142 selects the subframe period SFT1 and the subframe period SFT2, whichever has a charge amount that does not exceed the threshold and has a longer accumulation period.
  • the distance to the object OB is calculated using the subframe period SFT.
  • the distance image capturing device 101 includes the light source section 102, the light receiving section 103, and the distance calculation section 142.
  • the light source unit 102 irradiates the object OB with a light pulse PO.
  • the light receiving section 103 includes a pixel circuit 421, a pixel drive circuit 422, and a charge discharge transistor GD (charge discharge section).
  • a plurality of pixel circuits 421 are arranged in a two-dimensional matrix including a photoelectric conversion element PD that generates charges according to incident light and a plurality of charge storage sections CS that accumulate charges.
  • the pixel drive circuit 422 distributes and stores charges in each of the charge storage sections CS at an accumulation timing synchronized with the irradiation of the optical pulse PO according to the frame period FT.
  • the charge discharging transistor GD discharges charge during a period that is not an accumulation timing.
  • the distance calculation unit 142 calculates the distance to the object OB based on the amount of charge accumulated in each charge storage unit CS.
  • the light source unit 102 emits an optical pulse PO which is structured light composed of periodically arranged line lights L, in which the line lights L in two directions are orthogonal to each other.
  • the frame period FT has a plurality of sub-frame periods SFT having different accumulation periods for accumulating charges in the charge storage section CS.
  • the distance calculation unit 142 calculates the distance to the object OB using, among the plurality of subframe periods SFT, a subframe period SFT in which the amount of charge does not exceed a preset threshold.
  • the distance image imaging device 101 according to the present embodiment uses a subframe period SFT in which the amount of charge does not exceed a preset threshold value among a plurality of subframe periods SFT with different accumulation periods, and Calculate the distance to OB. Therefore, the distance image imaging device 101 according to the present embodiment can calculate the distance to the object OB, for example, at the intersection of the line lights L, using the sub-frame period SFT in which the charge storage section CS is not saturated. . Therefore, the distance image imaging device 101 according to the present embodiment can reduce the signal output difference between the intersection of the line light L and a portion other than the intersection, and suppress the decrease in the resolution of the entire distance image and the measurable distance. can. Further, by using the line light L, the distance image imaging device 101 according to the present embodiment can suppress a decrease in resolution while suppressing the necessary light source output.
  • the plurality of subframe periods SFT include a subframe period SFT1 (first subframe period) whose storage period is a predetermined period (for example, storage period Tc1), and a subframe period SFT1 (first subframe period) whose storage period is a preset period (for example, storage period Tc1).
  • the subframe period SFT2 (second subframe period) is a period that is twice or more the predetermined period (for example, the accumulation period Tc2).
  • the distance calculation unit 142 calculates the distance to the object OB using the subframe period SFT in which the amount of charge does not exceed the threshold and the accumulation period is longer between the subframe period SFT1 and the subframe period SFT2. calculate.
  • the distance to the object OB is calculated using the subframe period SFT1 (first subframe period) at the intersection of the line lights L, and the distance to the object OB is calculated at the intersection of the line lights L.
  • the distance to the object OB is calculated using the subframe period SFT2 (second subframe period). Therefore, in the distance image imaging device 101 according to the present embodiment, saturation of charges at the intersection of the line lights L can be suppressed while maintaining the resolution of the portion other than the intersection of the line lights L. , the distance to the object OB can be measured with high accuracy.
  • the light source section 102 includes a plurality of light source elements that can each independently irradiate the optical pulse PO.
  • the line light L is formed by emitting a plurality of dot lights Dt discretely in a line shape by a plurality of light source elements, or by emitting a plurality of dot lights Dt in an overlapping line shape ( For example, see FIG. 12).
  • the distance image imaging device 101 uses the line light L, thereby making it possible to suppress a decrease in resolution.
  • the shape of the dot light Dt is an ellipse in which the ratio of the long axis length to the short axis length is 2 or more, and the line light L is formed in a line shape along the direction of the long axis. Ru. Accordingly, by using the elliptical dot light Dt, the distance image imaging device 101 according to the present embodiment can reduce the area of the subject OB that is not illuminated with light, compared to the case where the circular dot light Dt is used. Therefore, reduction in resolution can be further suppressed.
  • the distance image imaging method is a distance image imaging method for the distance image imaging device 101 including the above-described light source section 102, light receiving section 103, and distance calculation section 142.
  • the light source unit 102 generates an optical pulse PO which is structured light composed of periodically arranged line lights L, in which the line lights L in two directions are orthogonal to each other. radiate.
  • the frame period FT has a plurality of sub-frame periods SFT having different accumulation periods for accumulating charges in the charge storage section CS.
  • the distance calculation unit 142 calculates the distance to the object OB using, among the plurality of subframe periods SFT, a subframe period SFT in which the amount of charge does not exceed a preset threshold.
  • the distance image capturing method according to the present embodiment has the same effect as the distance image capturing device 101 described above, reduces the signal output difference between the intersection of the line light L and a portion other than the intersection, and improves the overall distance image. Decrease in resolution and measurable distance can be suppressed.
  • the optical pulse PO of the vertical line light L and the optical pulse PO of the horizontal line light L are alternately measured and configured to measure the distance between the object OB and the optical pulse PO of the horizontal line light L.
  • FIG. 17 is a block diagram showing an example of a distance image imaging device 101a according to the third embodiment.
  • the distance image imaging device 101a includes a light source section 102, a light receiving section 103, and a distance image processing section 104a.
  • FIG. 17 also shows a subject OB, which is an object whose distance is to be measured using the distance image capturing device 101a.
  • the distance image imaging device is, for example, the distance image sensor 132 in the light receiving section 103.
  • FIG. 17 the same components as those in FIG. 9 are given the same reference numerals, and the description thereof will be omitted. Further, the configurations of the distance image sensor 132 and the pixel circuit 421 are the same as those in the second embodiment shown in FIGS. 10 and 11 described above, and therefore their description will be omitted here.
  • the distance image processing unit 104a controls the distance image capturing device 101a and calculates the distance to the object OB.
  • the distance image processing unit 104a measures the distance to the object OB existing in the measurement space as a measurement distance based on the amount of charge accumulated in each of the charge storage units CS.
  • the distance image processing section 104 includes a timing control section 141, a distance calculation section 142a, and a measurement control section 143a.
  • This embodiment is the same as the second embodiment except that the processing of the distance calculation section 142a and the measurement control section 143a is different.
  • the measurement control unit 143a uses the timing control unit 141 to control distance measurement to the object OB using a frame period FT having a plurality of subframe periods SFT.
  • the frame period FT in this embodiment will be explained.
  • FIG. 18 is a diagram showing an example of the frame period FT in this embodiment.
  • the frame period FT has a plurality of subframe periods SFT (subframe period SFT1 and subframe period SFT2) in which the line directions of the line light L are different.
  • the subframe period SFT1 (first subframe period) is a subframe period SFT in which the light pulse PO of the line light L parallel to the vertical direction is irradiated.
  • the subframe period SFT2 (second subframe period) is a subframe period SFT in which the optical pulse PO of the line light L parallel to the horizontal direction is irradiated.
  • the light source unit 102 is a structured light composed of periodically arranged line lights L as the light pulse PO, and the line lights L in two directions whose line directions are orthogonal to each other. It is possible to radiate each.
  • the measurement control unit 143a uses the timing control unit 141 to perform charge accumulation and acquisition of the amount of charge using a frame period FT having a plurality of subframe periods SFT in which the line directions of the line light L are different. Note that in this embodiment, the subframe period SFT1 and the subframe period SFT2 have the same accumulation period and readout period.
  • the distance calculation unit 142a calculates the combined distance to the object OB based on the amount of charge accumulated in each of a plurality of subframe periods SFT with different line directions.
  • the distance calculation unit 142a calculates the distance to the object OB, for example, based on the amount of charge obtained by combining the amount of charge obtained with the subframe period SFT1 and the amount of charge obtained with the subframe period SFT2.
  • the light source unit 102 alternately changes the line light L having different line directions in the frame period FT for each subframe period SFT, and generates the light pulse PO. irradiate.
  • the distance calculation unit 142a calculates the distance to the combined object OB based on the amount of charge accumulated in each of the plurality of subframe periods SFT in which the line direction is alternately changed.
  • FIG. 19 is a flowchart showing an example of the operation of the distance image capturing device 101a according to this embodiment.
  • an example of the process of calculating the distance to the object OB according to the present embodiment will be described.
  • the distance image capturing device 101a first determines the first subframe period (subframe period SFT1) of the vertical line light and the second subframe period (subframe period SFT2) of the horizontal line light. Charge accumulation and acquisition of the amount of charge are executed in the frame period including this (step S201).
  • the measurement control unit 143a of the distance image capturing device 101a instructs the timing control unit 141 to accumulate charge and acquire the amount of charge according to the frame period FT shown in FIG. 18, for example. According to the control, charge accumulation and acquisition of the amount of charge are executed using a frame period FT including a subframe period SFT1 and a subframe period SFT2.
  • the measurement control unit 143a instructs the distance calculation unit 142a to perform distance calculation processing, and the distance calculation unit 142a calculates the amount of charge acquired in the first subframe period (subframe period SFT1) and the second subframe period ( The distance to the object OB is calculated by combining the amount of charge acquired in the sub-frame period SFT2) (step S202).
  • the distance calculation unit 142a for example, adds up the amount of charge acquired in the subframe period SFT1 and the amount of electric charge acquired in the subframe period SFT2, and calculates the distance to the object OB using equation (2) described above. calculate.
  • the measurement control unit 143a determines whether execution for all pixel circuits 421 has been completed (step S203). That is, the measurement control unit 143a determines whether the distance calculation process for one frame period FT has been completed. The measurement control unit 143a ends the process when the execution for all the pixel circuits 421 is completed (step S203: YES). Further, if the execution for all the pixel circuits 421 has not been completed (step S203: NO), the measurement control unit 143a returns the process to step S202 and executes the distance calculation process by the next pixel circuit 421.
  • FIG. 20 is a diagram showing a modification of the frame period FT in this embodiment.
  • the frame period FT has three subframe periods SFT.
  • the light source unit 102 selects a sub-frame period SFT corresponding to each of the line light L in two directions among the plurality of sub-frame periods SFT in the frame period FT according to the moving direction of the subject OB.
  • the light pulse PO is irradiated while changing the ratio.
  • the light source unit 102 sets the ratio of the subframe period SFT corresponding to the direction in which the movement amount of the object OB is large among the two directions to the subframe period SFT corresponding to the direction in which the movement amount of the object OB is small.
  • the optical pulse PO is irradiated by changing the ratio by more than the period SFT.
  • the example shown in FIG. 20(a) shows an example in which the subject OB moves in the horizontal direction.
  • the frame period FT has a sub-frame period SFT1-1 of the vertical line light, a sub-frame period SFT1-2 of the vertical line light, and a sub-frame period SFT2 of the horizontal line light. There is.
  • the example shown in FIG. 20(b) shows an example in which the subject OB moves in the vertical direction.
  • the frame period FT has a sub-frame period SFT1 of vertical line light, a sub-frame period SFT2-1 of horizontal line light, and a sub-frame period SFT2-2 of horizontal line light. There is.
  • the direction in which the subject OB moves may be specified by the user, or may be determined from image information to be measured.
  • FIG. 21 is a flowchart illustrating an example of the operation of the distance image capturing device 101a according to this embodiment.
  • a process of changing the ratio of the subframe period SFT according to the moving direction of the subject OB will be described.
  • the measurement control unit 143a of the distance image capturing device 101a determines whether the moving direction of the subject OB is in the horizontal axis direction (step S301). If the moving direction of the subject OB is the horizontal axis direction (step S301: YES), the measurement control unit 143a advances the process to step S302. Furthermore, if the moving direction of the subject OB is not the horizontal axis direction (vertical direction) (step S301: NO), the measurement control unit 143a advances the process to step S303.
  • step S302 the measurement control unit 143a increases the ratio of the subframe period SFT1 in the vertical axis direction.
  • the measurement control unit 143a controls the timing control unit 141 to increase the ratio of the subframe period SFT1 in the vertical axis direction (vertical line light), for example, as shown in FIG. 20(a).
  • the measurement control unit 143a ends the process.
  • step S303 the measurement control unit 143a increases the ratio of the subframe period SFT2 in the horizontal axis direction.
  • the measurement control unit 143a controls the timing control unit 141 to increase the ratio of the subframe period SFT2 in the horizontal axis direction (horizontal line light), for example, as shown in FIG. 20(b).
  • the measurement control unit 143a ends the process.
  • the distance image capturing device 101a includes the light source section 102, the light receiving section 103, and the distance calculating section 142a.
  • the light source unit 102 irradiates the object OB with a light pulse PO.
  • the light receiving section 103 includes a pixel circuit 421, a pixel drive circuit 422, and a charge discharge transistor GD (charge discharge section).
  • a plurality of pixel circuits 421 are arranged in a two-dimensional matrix including a photoelectric conversion element PD that generates charges according to incident light and a plurality of charge storage sections CS that accumulate charges.
  • the pixel drive circuit 422 distributes and stores charges in each of the charge storage sections CS at an accumulation timing synchronized with the irradiation of the optical pulse PO according to the frame period FT.
  • the charge discharging transistor GD discharges charge during a period that is not an accumulation timing.
  • the distance calculation unit 142a calculates the distance to the object OB based on the amount of charge accumulated in each charge storage unit CS.
  • the light source unit 102 is a structured light composed of periodically arranged line lights L as a light pulse PO, and is capable of emitting line lights L in two directions whose line directions are orthogonal to each other.
  • the frame period FT has a plurality of sub-frame periods SFT in which the line directions of the line light L are different (for example, a sub-frame period SFT1 for vertical line light and a sub-frame period SFT2 for horizontal line light).
  • the distance calculation unit 142a calculates the combined distance to the subject OB based on the amount of charge accumulated in each of a plurality of subframe periods SFT having different line directions.
  • the distance image capturing device 101a can accumulate data in each of a plurality of subframe periods SFT having different line directions (for example, subframe period SFT1 of vertical line light, and subframe period SFT2 of horizontal line light). The calculated charge amount is used.
  • the distance image imaging device 101a according to the present embodiment since the subframe period SFT in one direction is irradiated, the amount of charge (light amount) is reduced at the intersection of the line lights L as in the case where the line lights L in two directions are irradiated at the same time. None get saturated. Therefore, the distance image imaging device 101a according to the present embodiment can reduce the signal output difference between the intersection of the line light L and a portion other than the intersection, and suppress the decrease in the resolution of the entire distance image and the measurable distance. can.
  • the light source unit 102 irradiates the light pulse PO by alternately changing the line light L having different line directions in each subframe period SFT in the frame period FT.
  • the light source unit 102 alternately emits vertical line light with a subframe period SFT1 and horizontal line light with a subframe period SFT2.
  • the distance calculation unit 142a calculates the distance to the combined object OB based on the amount of charge accumulated in each of the plurality of subframe periods SFT in which the line direction is alternately changed.
  • the distance image imaging device 101a alternately changes the line light L having different line directions for each subframe period SFT and irradiates the light pulse PO, and the amount of charge accumulated in each Since the distance to the synthesized subject OB is calculated based on It is possible to suppress a decrease in resolution while suppressing the decrease in resolution.
  • the light source unit 102 has a subframe period corresponding to each of the line light L in two directions among the plurality of subframe periods SFT according to the moving direction of the subject OB in the frame period FT.
  • the light pulse PO is irradiated while changing the SFT ratio.
  • the light source unit 102 changes the ratio of the sub-frame period SFT corresponding to the direction in which the amount of movement of the object OB is larger out of the two directions to the sub-frame period SFT corresponding to the direction in which the amount of movement of the object OB is smaller.
  • the optical pulse PO is irradiated by changing the ratio to be more than that of SFT.
  • the distance image imaging method according to the present embodiment is a distance image imaging method of the distance image imaging device 101a including the above-described light source section 102, light receiving section 103, and distance calculation section 142a.
  • the light source unit 102 emits structured light composed of periodically arranged line lights L as light pulses PO, and the line lights L in two directions whose line directions are orthogonal to each other. It is possible.
  • the frame period FT has a plurality of subframe periods SFT in which the line direction of the line light L is different.
  • the distance calculation unit 142a calculates the combined distance to the subject OB based on the amount of charge accumulated in each of the plurality of subframe periods SFT having different line directions.
  • the distance image capturing method according to the present embodiment has the same effect as the above-described distance image capturing device 101a, and can suppress a decrease in resolution while suppressing the necessary light source output.
  • FIG. 22 is a diagram illustrating an example of a distance image capturing device 101b according to the fourth embodiment.
  • FIG. 22 shows a configuration example of the distance image sensor 132a in this embodiment. Note that the configuration of this embodiment other than the distance image sensor 132a is the same as that of the second embodiment, so a description thereof will be omitted here.
  • reflected light LH indicates the reflected light of the line light L in the horizontal direction (horizontal direction)
  • reflected light LV indicates the reflected light of the line light L in the vertical direction (vertical direction).
  • the pixel circuit 421a first pixel circuit indicates a pixel circuit corresponding to a position (intersection of reflected lights) that receives reflected light from the subject OB that is irradiated with line light L perpendicularly to each other
  • 421 (second pixel circuit) indicates pixel circuits corresponding to other positions.
  • the pixel circuit 421a (first pixel circuit) is provided with a sensitivity suppressing section, and is configured to have lower sensitivity to reflected light than the pixel circuit 421 (second pixel circuit) corresponding to other positions.
  • the pixel circuit 421a includes a filter layer, which is disposed on the pixel circuit 421a and which reflects or absorbs a portion of reflected light, as a sensitivity suppressing section.
  • the filter layer is configured, for example, so that the sensitivity of the pixel circuit 421a is 1/2 or less compared to the sensitivity at other positions.
  • the filter layer is, for example, an organic thin film that absorbs a portion of reflected light using a method such as photolithography.
  • the capacitance of the charge storage section CS of the pixel circuit 421a may be configured to be larger than the capacitance of the charge storage section CS of the pixel circuit 421 (second pixel circuit). That is, the charge storage capacitors C1 to C4 of the pixel circuit 421a shown in FIG.
  • the volume of the photoelectric conversion element PD of the pixel circuit 421a may be configured to be smaller than the volume of the photoelectric conversion element PD of the pixel circuit 421. That is, the volume of the photoelectric conversion element PD of the pixel circuit 421a may be 1/2 or less of that of the pixel circuit 421.
  • the sensitivity suppressing unit may be configured such that the number of times of distribution (integrated number of times) of the pixel circuit 421a within the frame period FT is smaller than the number of times of distribution (the number of times of accumulation) of the pixel circuit 421 within the frame period FT. That is, the number of times the pixel circuit 421a is distributed (the number of times it is accumulated) may be less than or equal to half the number of times that the pixel circuit 421 is distributed (the number of times it is accumulated).
  • the frame period FT is a single frame without the sub-frame period SFT. That is, the distance image capturing device 101b simultaneously irradiates line light L in two perpendicular directions as shown in FIG. 14 as a light pulse PO, and calculates an image distance based on the acquired amount of charge.
  • the distance image capturing device 101b includes the light source section 102, the light receiving section 103, and the distance calculating section 142.
  • the light source unit 102 irradiates the object OB with a light pulse PO.
  • the light receiving section 103 includes a pixel circuit 421, a pixel drive circuit 422, and a charge discharge transistor GD (charge discharge section).
  • a plurality of pixel circuits 421 are arranged in a two-dimensional matrix including a photoelectric conversion element PD that generates charges according to incident light and a plurality of charge storage sections CS that accumulate charges.
  • the pixel drive circuit 422 distributes and stores charges in each of the charge storage sections CS at an accumulation timing synchronized with the irradiation of the optical pulse PO according to the frame period FT.
  • the charge discharging transistor GD discharges charge during a period that is not an accumulation timing.
  • the distance calculation unit 142 calculates the distance to the object OB based on the amount of charge accumulated in each charge storage unit CS.
  • the light source unit 102 emits an optical pulse PO which is structured light composed of periodically arranged line lights L, in which the line lights L in two directions are orthogonal to each other.
  • the sensitivity to the reflected light of the pixel circuit 421a (first pixel circuit) corresponding to the position where the line light L is irradiated orthogonally to each other and receives the reflected light from the object OB. is configured to be lower than the pixel circuit 421 (second pixel circuit) corresponding to the other position.
  • the distance image imaging device 101b can reduce the signal output difference between the intersection of the line light L and a portion other than the intersection, and suppress the decrease in the resolution of the entire distance image and the measurable distance. can.
  • the distance image imaging device 101b according to this embodiment can suppress a decrease in resolution while suppressing the necessary light source output.
  • the distance image imaging device 101b includes a filter layer that is placed on the pixel circuit 421a (first pixel circuit) and that reflects or absorbs a part of the reflected light.
  • the distance image imaging device 101b according to the present embodiment uses the filter layer to make the pixel circuit 421a (first pixel circuit) more sensitive to reflected light than the pixel circuit 421 (second pixel circuit) corresponding to another position. Can be lowered appropriately.
  • the capacitance of the charge storage section CS of the pixel circuit 421a may be configured to be larger than the capacitance of the charge storage section CS of the pixel circuit 421 (second pixel circuit).
  • the capacitance of the charge storage section CS of the pixel circuit 421a is The sensitivity to reflected light can be appropriately lowered than that of the pixel circuit 421 (second pixel circuit) corresponding to another position.
  • the volume of the photoelectric conversion element PD of the pixel circuit 421a may be configured to be smaller than the volume of the photoelectric conversion element PD of the pixel circuit 421a.
  • the volume of the photoelectric conversion element PD of the pixel circuit 421a is smaller than the volume of the photoelectric conversion element PD of the pixel circuit 421a, so the photoelectric conversion ability is low, and the volume of the photoelectric conversion element PD of the pixel circuit 421a is low.
  • the sensitivity to reflected light can be appropriately lowered than that of the pixel circuit 421 (second pixel circuit) corresponding to another position.
  • the number of times of distribution (integrated number) within the frame period FT of the pixel circuit 421a may be configured to be smaller than the number of times of distribution (accumulated number of times) within the frame period FT of the pixel circuit 421.
  • the distance image imaging device 101b has a sensitivity to reflected light of the pixel circuit 421a whose number of distributions (accumulation number) of the pixel circuit 421a is smaller than the number of distributions (accumulation number) of the pixel circuit 421. It can be appropriately lowered than the pixel circuit 421 (second pixel circuit) corresponding to the position.
  • the present invention is not limited to the above embodiments, and can be modified without departing from the spirit of the present invention.
  • the pixel circuit 421 (421a) includes four charge storage units CS (CS1, CS2, CS3, CS4), but the invention is not limited to this. It is also possible to include three or more N charge storage sections CS.
  • the distance image processing unit 104 (104a) is provided inside the distance image imaging device 101 (101a, 101b), but the invention is not limited to this.
  • the unit 104 (104a) may be provided outside the distance image capturing device 101 (101a, 101b).
  • the photoelectric conversion element PD is an embedded photodiode that photoelectrically converts incident light to generate electric charge and accumulates the generated electric charge.
  • the structure of the photoelectric conversion element PD may be arbitrary without limitation.
  • the photoelectric conversion element PD may be, for example, a PN photodiode having a structure in which a P-type semiconductor and an N-type semiconductor are joined, or a PN photodiode having a structure in which an I-type semiconductor is sandwiched between a P-type semiconductor and an N-type semiconductor. It may also be a PIN photodiode.
  • the photoelectric conversion element PD is not limited to a photodiode, and may be a photogate type photoelectric conversion element, for example.
  • the frame period FT has two sub-frame periods SFT with different storage periods, but the present invention is not limited to this, and three or more sub-frame periods SFT are used. It may be made to have.
  • each component included in the distance image capturing device 101 (101a, 101b) described above has a computer system therein. Then, a program for realizing the functions of each component of the distance image capturing device 101 (101a, 101b) described above is recorded on a computer-readable recording medium, and the program recorded on this recording medium is transferred to a computer system. By reading and executing, the processes in each configuration of the distance image imaging device 101 (101a, 101b) described above may be performed.
  • “reading a program recorded on a recording medium into a computer system and executing it” includes installing the program on the computer system.
  • the "computer system” here includes hardware such as an OS and peripheral devices.
  • a "computer system” may include a plurality of computer devices connected via a network including communication lines such as the Internet, WAN, LAN, and dedicated lines.
  • the term "computer-readable recording medium” refers to portable media such as flexible disks, magneto-optical disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems.
  • the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM.
  • the recording medium also includes a recording medium provided internally or externally that can be accessed from the distribution server to distribute the program.
  • the program may be divided into a plurality of parts, downloaded at different timings, and then combined with each of the components of the distance image capturing device 101 (101a, 101b), or the distribution servers that deliver each of the divided programs may be different. You can leave it there.
  • a ⁇ computer-readable recording medium'' refers to a storage medium that retains a program for a certain period of time, such as volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network. This shall also include things.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions. Furthermore, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • difference file difference program
  • LSI Large Scale Integration
  • Each of the above-mentioned functions may be implemented as an individual processor, or some or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, but may be implemented using a dedicated circuit or a general-purpose processor. Further, if an integrated circuit technology that replaces LSI emerges due to advances in semiconductor technology, an integrated circuit based on this technology may be used.
  • the present invention it is possible to suppress a decrease in the resolution of a distance image captured using a dot light source, to reduce the difference in signal output between the intersection of line lights and a portion other than the intersection, and to reduce the resolution of the entire distance image. , and a decrease in the measurable distance can be suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明は、被写体（ＯＢ）に光パルス（ＰＯ）を照射する光源部（２）と、入射した光に応じた電荷を発生する光電変換素子（ＰＤ）及び電荷を蓄積する複数の電荷蓄積部（ＣＳ）を具備する画素回路（３２１）と、電荷蓄積部（ＣＳ）のそれぞれに電荷を振り分けて蓄積させる画素駆動回路（３２３）と、電荷を排出する電荷排出手段（ＧＤ）と、を有する受光部（３）と、被写体（ＯＢ）までの距離を算出する距離演算部（４２）と、を備え、光パルス（ＰＯ）は、複数のドット光（Ｄｔ）により構成される構造化光であり、前記複数のドット光（Ｄｔ）のうち少なくとも１つの第１ドット光（Ｄｔ１）は、短軸長（ＳＡ）に対する長軸長（ＬＡ）の比が閾値以上である楕円形状を有する、距離画像撮像装置（１）である。

Description

距離画像撮像装置、及び距離画像撮像方法
　本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。本願は、２０２２年６月８日に日本に出願された特願２０２２－０９２８４７号と、２０２２年１１月３０日に日本に出願された特願２０２２－１９１４９３号および特願２０２２－１９１１２８号とに基づき優先権を主張し、その内容をここに援用する。
　光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。このような距離画像撮像装置では、光パルスを照射した時点から被写体に反射した反射光が戻ってくるまでの遅延時間を、反射光を撮像素子に入射させて反射光の光量に応じた電荷を複数の電荷蓄積部に振り分けて蓄積させることによって求め、遅延時間と光速とを用いて被写体までの距離を計算する。
日本国特許第４２３５７２９号公報
　ＴＯＦ方式により撮像するシステムにおいて測定可能な最長の距離を決定する要因の一つとして測定用光源のパワー（単位面積当たりの照射強度）が挙げられる。発光素子に流す電流を増やすことで光源出力を増加させることは可能であるが、発光素子に流す電流を増やすと撮像システムの発熱や消費電力増加につながると共に、人体に対するレーザー安全性が低下する問題がある。
　上記問題の対策として、第１に、通常測距光源として使われている均一拡散光源ではなくドット光源を用いる手段がある。光源素子から放出された光を周期配列したドット光に変換する拡散板を用いることにより光のパワーをドットに集中させることができ、発光素子に流す電流が同じでも、ドット光源を用いる方が、照射面を均一に照射する拡散光を用いた場合より遠距離を測定することが可能になる。
　しかしながら、ドット光源を使って測距する場合、ドット光が照射された領域のみ距離を測定でき、ドット間の領域、すなわち被写体に照射光が当たらない領域については距離を測定することができない。このことから、ドット光源を用いて撮像した距離画像は均一拡散光を用いて測定した距離画像より解像度が低下してしまうという問題があった。
　上記問題の対策として、第２に、通常測距光として使われている均一拡散光ではなく、ライン状に放射したライン光を用いる手段がある。例えば、平行した複数のライン光からなるライン群の２つが、直交するように放射することにより、均一拡散光を用いて距離画像を測定する場合と比べ、必要な光源出力を抑えつつ、解像度の低下を抑制できる。
　しかしながら、上記のライン光を用いる手段では、直交するライン光の交点の明るさは他の部分のライン光の明るさの倍になるため、交点に該当する画素の出力が飽和し、距離測定ができない可能性がある。一方で、飽和させないように出力を落とす場合、上記のライン光を用いる手段では、交点以外のライン部分の解像度、及び測距可能距離が低下する可能性があった。
　本発明は、上記の課題に基づいてなされたものであり、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することと、ライン光の交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することと、を目的とする。
　本発明の第１態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段とを有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光パルスは、複数のドット光により構成される構造化光であり、前記複数のドット光のうち少なくとも１つの第１ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、距離画像撮像装置である。
　本発明の第２態様は、前記第１ドット光の少なくとも一部分と、前記第１ドット光の長軸方向に隣接する他のドット光の少なくとも一部分とが、重複する、前記第１態様の距離画像撮像装置である。
　本発明の第３態様は、前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有する、前記第１態様の距離画像撮像装置である。
　本発明の第４態様は、前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、互いに異なる、前記第３態様の距離画像撮像装置である。
　本発明の第５態様は、前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、互いに直交する、前記第４態様の距離画像撮像装置である。
　本発明の第６態様は、前記複数の光源素子のうち少なくとも２つの光源素子からなる第１光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第１間隔、及び前記第１光源素子群とは異なる少なくとも２つ光源素子からなる第２光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第２間隔について、前記第１間隔と前記第２間隔とが、互いに異なる、前記第５態様の距離画像撮像装置である。
　本発明の第７態様は、前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である、前記第５態様の距離画像撮像装置である。
　本発明の第８態様は、前記複数の光源素子のうち２つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が、撮像装置の設置面に対し４５度もしくは１３５度である、前記第７態様の距離画像撮像装置である。
　本発明の第９態様は、前記複数の光源素子のうち少なくとも１つは、拡散光源である、前記第３態様の距離画像撮像装置である。
　本発明の第１０態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記光パルスは、複数のドット光により構成される構造化光であり、前記複数のドット光のうち少なくとも１つの第１ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、距離画像撮像方法である。
　本発明の第１１態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光源部は、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、前記フレーム周期は、前記電荷を前記電荷蓄積部に蓄積する蓄積期間が異なる複数のサブフレーム周期を有し、前記距離演算部は、前記複数のサブフレーム周期のうち、前記電荷量が、予め設定された閾値を超過していない前記サブフレーム周期を用いて、前記被写体までの距離を算出する、距離画像撮像装置である。
　本発明の第１２態様は、前記複数のサブフレーム周期は、前記蓄積期間が予め設定された所定の期間である第１サブフレーム周期と、前記蓄積期間が前記所定の期間の２倍以上の期間である第２サブフレーム周期とであり、前記距離演算部は、前記第１サブフレーム周期及び前記第２サブフレーム周期のうち、前記電荷量が前記閾値を超過していない、且つ、前記蓄積期間が長い方の前記サブフレーム周期を用いて、前記被写体までの距離を算出する、前記第１１態様の距離画像撮像装置である。
　本発明の第１３態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光源部は、前記光パルスとして、周期的に配列されたライン光により構成される構造化光であり、ライン方向が互いに直交した２方向の前記ライン光をそれぞれ放射可能であり、前記フレーム周期は、前記ライン光のライン方向が異なる複数のサブフレーム周期を有し、前記距離演算部は、前記ライン方向が異なる前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、距離画像撮像装置である。
　本発明の第１４態様は、前記光源部は、前記フレーム周期において、前記ライン方向が異なる前記ライン光を、前記サブフレーム周期ごとに、交互に変更して、前記光パルスを照射し、前記距離演算部は、前記ライン方向が交互に変更された前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、前記第１３態様の距離画像撮像装置である。
　本発明の第１５態様は、前記光源部は、前記フレーム周期において、前記被写体の移動方向に応じて、前記複数のサブフレーム周期のうちの、前記２方向の前記ライン光のそれぞれに対応する前記サブフレーム周期の割合を変更して、前記光パルスを照射する、前記第１３態様の距離画像撮像装置である。
　本発明の第１６態様は、前記光源部は、前記フレーム周期において、前記２方向のうち、前記被写体の移動量が大きい方向に対応する前記サブフレーム周期の割合を、前記被写体の移動量が小さい方向に対応する前記サブフレーム周期の割合より多く変更して、前記光パルスを照射する、前記第１５態様の距離画像撮像装置である。
　本発明の第１７態様は、前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有し、前記ライン光は、前記複数の光源素子によって、複数のドット光を離散的にライン状に放射して形成、又は、前記複数のドット光をライン状に重複するように放射して形成される、前記第１１態様から前記第１６態様のいずれか１つの距離画像撮像装置である。
　本発明の第１８態様は、前記ドット光の形状は、短軸長に対する長軸長の比が２以上である楕円形状であり、前記ライン光は、長軸の方向に沿ってライン状に形成される、前記第１７態様の距離画像撮像装置である。
　本発明の第１９態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置の距離画像撮像方法であって、前記光源部が、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、前記フレーム周期は、前記電荷を前記電荷蓄積部に蓄積する蓄積期間が異なる複数のサブフレーム周期を有し、前記距離演算部が、前記複数のサブフレーム周期のうち、前記電荷量が、予め設定された閾値を超過していない前記サブフレーム周期を用いて、前記被写体までの距離を算出する、距離画像撮像方法である。
　本発明の第２０態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置の距離画像撮像方法であって、前記光源部が、前記光パルスとして、周期的に配列されたライン光により構成される構造化光であり、ライン方向が互いに直交した２方向の前記ライン光をそれぞれ放射可能であり、前記フレーム周期は、前記ライン光のライン方向が異なる複数のサブフレーム周期を有し、前記距離演算部が、前記ライン方向が異なる前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、距離画像撮像方法である。
　本発明の第２１態様は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光源部は、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、前記複数配置された画素回路のうち、前記ライン光が互いに直交して照射される前記被写体からの反射光を受光する位置に対応する第１画素回路の反射光に対する感度が、他の位置に対応する第２画素回路より低く構成されている、距離画像撮像装置である。
　本発明の第２２態様は、前記第１画素回路の上に配置された、前記反射光の一部を反射もしくは吸収するフィルタ層を備える、前記第２１態様の距離画像撮像装置である。
　本発明の第２３態様は、前記第１画素回路の前記電荷蓄積部の容量が、前記第２画素回路の前記電荷蓄積部の容量より大きく構成されている、前記第２１態様の距離画像撮像装置である。
　本発明の第２４態様は、前記第１画素回路の前記光電変換素子の体積が、前記第２画素回路の前記光電変換素子の体積より小さく構成されている、前記第２１態様の距離画像撮像装置である。
　本発明の第２５態様は、前記第１画素回路の前記フレーム周期内における振り分け回数が、前記第２画素回路の前記フレーム周期内における振り分け回数よりも少なく構成されている、前記第２１態様の距離画像撮像装置である。
　本発明の第２６態様は、前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有し、前記ライン光は、前記複数の光源素子によって、複数のドット光を離散的にライン状に放射して形成、又は、前記複数のドット光をライン状に重複するように放射して形成されている、前記第２１態様から前記第２５態様のいずれか１つの距離画像撮像装置である。
　また、本発明の第２７態様は、前記ドット光の形状は、短軸長に対する長軸長の比が２以上である楕円形状であり、前記ライン光は、長軸の方向に沿ってライン状に形成されている、前記第２６態様の距離画像撮像装置である。
　本発明によれば、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することと、ライン光の交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することとが、できる。
第１実施形態の距離画像撮像装置の概略構成を示すブロック図である。 第１実施形態の距離画像センサの概略構成を示すブロック図である。 第１実施形態の画素の構成の一例を示す回路図である。 第１実施形態のドット光が被写体に照射された例を示す図である。 第１実施形態のドット光が被写体に照射された例を示す図である。 第１実施形態のドット光が被写体に照射された例を示す図である。 第１実施形態のドット光が被写体に照射された例を示す図である。 第１実施形態のドット光が被写体に照射された例を示す図である。 第２実施形態による距離画像撮像装置の一例を示すブロック図である。 第２実施形態における距離画像センサの一例を示すブロック図である。 第２実施形態における画素回路の一例を示すブロック図である。 第２実施形態におけるライン光の一例を示す第１の図である。 第２実施形態におけるライン光の一例を示す第２の図である。 第２実施形態におけるライン光の一例を示す第３の図である。 第２実施形態におけるフレーム周期の一例を示す図である。 第２実施形態による距離画像撮像装置の動作の一例を示すフローチャートである。 第３実施形態による距離画像撮像装置の一例を示すブロック図である。 第３実施形態におけるフレーム周期の一例を示す図である。 第３実施形態による距離画像撮像装置の動作の一例を示すフローチャートである。 第３実施形態におけるフレーム周期の変形例を示す図である。 第３実施形態による距離画像撮像装置の動作の変形例を示すフローチャートである。 第４実施形態による距離画像撮像装置の一例を示す図である。
（第１実施形態）
　以下、第１実施形態の距離画像撮像装置を、図面を参照しながら説明する。
　図１は、第１実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。
　光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ　Ｃａｖｉｔｙ　Ｓｕｒｆａｃｅ　Ｅｍｉｔｔｉｎｇ　Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。
　光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。
　拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
　受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。
　レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。
　距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
　距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。
　距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。
　タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる処理を繰返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間幅（蓄積時間幅）の積が露光時間となる。
　距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。
　測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。
　このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。
　なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。
　ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、第１実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。
　図２に示すように、距離画像センサ３２は、例えば、複数の画素（画素回路）３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。
　受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。
　垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。
　画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。
　水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。
　以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
　ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、第１実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、３個の画素信号読み出し部を備えた構成の一例である。
　画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタ（電荷排出トランジスタ）ＧＤ（電荷排出手段、電荷排出部）と、対応する出力端子Ｏから電圧信号を出力する３個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。
　なお、図３においては、３個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」、または「３」数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、３個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。
　図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ３も同様の構成である。
　なお、距離画像センサ３２に配置される画素の構成は、図３に示したような、３個の画素信号読み出し部ＲＵを備える構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、４個以上であってもよい。
　また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。
　また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。
　光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
　画素３２１では、光パルスＰＯを照射するタイミングに同期させた蓄積タイミングにおいて入射した光を、光電変換素子ＰＤが電荷に変換し、変換した電荷を３個の電荷蓄積部ＣＳのそれぞれに振り分けて蓄積させる。また、蓄積タイミング以外のタイミングで画素３２１に入射した光については、光電変換素子ＰＤが変換した電荷をドレインゲートトランジスタＧＤから排出して、電荷蓄積部ＣＳに蓄積させないようにする。このようにして蓄積タイミングにおける電荷の蓄積と、蓄積タイミング以外のタイミングにおける電荷の破棄とが、１フレームに渡って繰り返し行われた後、読出し期間が設けられる。読み出し期間では、水平走査回路３２４により、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号が、距離演算部４２に出力される。
　距離演算部４２は、反射光ＲＬ成分に相当する電荷量が、反射光ＲＬが距離画像撮像装置１に入射されるまでの遅延時間Ｔｄに応じた比率で、２つの電荷蓄積部ＣＳに振り分けて蓄積されることを利用して、以下の式（１）により、遅延時間Ｔｄを算出する。距離演算部４２は、式（１）で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体Ｓまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体Ｓまでの距離を求める。なお、式（１）においては、外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積され、反射光ＲＬ成分に相当する電荷量が電荷蓄積部ＣＳ２及びＣＳ３に振り分けて蓄積されたことを前提とする。
　Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１）　　　…（１）
　但し、Ｔｏは光パルスＰＯが照射された期間である。
　　　　Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。
　　　　Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量である。
　　　　Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
　本第１実施形態では光源部２が照射する光源に、ドット光を用いる。ドット光源は、例えば、周期的に配列された複数のドット光により構成される構造化光である。
　ドット光源を用いることにより、被写体ＯＢに対し、均一でない局所的な光パルスＰＯが照射される。ドット光を用いることにより、光源出力を増加させることなく、照射する光のパワー（単位面積当たりの照射強度）を増大させることができ、照射光の到達距離を大きくして測定可能な距離を大きくすることが可能となる。一方、ドット光源を用いた場合、ドット光が照射されない領域については距離を測定することができず、解像度が小さくなるという問題があった。
　この対策として、本第１実施形態では、光パルスＰＯとして楕円形状を有するドット光を用いるようにした。例えば、光源部２は、それぞれ独立して、光パルスＰＯ（楕円形状を有するドット光）を照射することが可能な複数の光源素子を有する。
　図４は、第１実施形態におけるドット光の例を示す図である。図４には、距離画像撮像装置１が被写体ＯＢに光パルスＰＯとしてのドット光Ｄｔを照射した様子が模式的に示されている。図４に示すように、ドット光Ｄｔは、短軸長ＳＡに対する長軸長ＬＡの比が閾値以上である楕円形状を有する。ここでの閾値は任意に設定されてよい。例えば、ドット光源の形状は、短軸長ＳＡに対する長軸長ＬＡの比が２以上である楕円形状である。このように、本第１実施形態では楕円形状を有するドット光Ｄｔを用いることによって、円形状のドット光Ｄｔを用いる場合より被写体ＯＢにおいて光が照射されない領域を少なくすることができる。したがって、解像度の低下を抑制することが可能となる。
　以下、ドット光Ｄｔのバリエーションについて、図５～図８を用いて説明する。図５～図８は、本第１実施形態におけるドット光の他の例を示す図である。
　図５には、ドット光Ｄｔの一部を、他のドット光Ｄｔの一部と重複させた様子が示されている。このように、本第１実施形態においてドット光Ｄｔ１の少なくとも一部分と、ドット光Ｄｔ１の長軸方向に隣接する他のドット光Ｄｔ２の少なくとも一部分と、が重複するように構成されてもよい。これにより、被写体ＯＢにおいて光が照射されない領域をより少なくすることができる。
　なお、図５では、長軸方向に沿って重複する場合を例示して説明したが、短軸方向に重複させてもよい。また、長軸及び短軸方向に対して斜め方向に設定した任意の軸方向に重複させるように構成されてもよい。ドット光Ｄｔの少なくとも一部を、他のドット光Ｄｔと重複させることにより、光が照射されない領域を少なくすることができ、上述した効果と同様の効果を奏することができる。
　図５に示すように、複数のドット光Ｄｔを長軸方向に沿って重複するように光を照射させることによって、光パルスＰＯを線状の光にすることができる。以下の説明においては、このように複数のドット光Ｄｔを長軸方向に沿って重複するように照射させた光を「ライン光Ｌ」と称する。なお、本第１実施形態におけるドット光源に代えて、或いは、ドット光源と共に、ライン光源を用いてもよい。
　図６には、複数のライン光Ｌを交差させた様子が示されている。このように、本第１実施形態において複数のライン光Ｌが互いに異なる方向を示すように構成されてもよい。すなわち、楕円形状のドット光Ｄｔにおける長軸方向が互いに異なるように構成されてもよい。これにより、被写体ＯＢに対し網目状に光を照射させることができ、被写体ＯＢにおいて光が照射されない領域をより少なくすることができる。
　また、全てのライン光の方向を平行とした場合には何等かの原因により光が重なってしまうと被写体ＯＢに対し光を照射する領域が狭まってしまう可能性があるが、ライン光Ｌの互いの方向を異なる方向とすることにより、交差点を除き、ライン光Ｌの互いの光が重ならないようにすることができる。したがって、被写体ＯＢにおいて光が照射される領域が狭まらないようにすることができる。
　図６では、ライン光Ｌ１～Ｌ６からなるグループと、ライン光Ｌ７～Ｌ１２からなるグループの各々におけるライン光の方向が互いに直交する、つまり９０度である例が示されている。このように、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光Ｄｔにおける長軸方向が互いに直交するように構成されてもよい。
　なお、二つのライン光Ｌのなす角度が９０度である構成に限定されることはなく、少なくとも二つのライン光Ｌの方向が異なっていればよい。すなわち、二つのライン光Ｌのなす角度が、０度より大きく、且つ、９０度以下であればよい。
　図７には、平行なライン光Ｌにおいて、ライン光Ｌ間の距離が異なる様子が示されている。例えば、ライン光Ｌ１０１からライン光Ｌ１０２までの距離Ｋ１と、ライン光Ｌ１０３からライン光Ｌ１０４までの距離Ｋ２において、距離Ｋ１とＫ２の大きさが異なる。
　このように、本第１実施形態において縦方向と横方向とでライン光Ｌの間隔が異なるように構成されてもよい。すなわち、複数の光源素子のうち、少なくとも２つの光源素子からなる第１光源素子群から放射される長軸方向が同じ方向にある楕円形状のドット光Ｄｔにおける短軸方向に沿った第１間隔、及び第１光源素子群とは異なる少なくとも２つ光源素子からなる第２光源素子群から放射される長軸方向が同じ方向にある楕円形状のドット光Ｄｔにおける短軸方向に沿った第２間隔について、前記第1間隔と前記第２間隔とが互いに異なるように構成されてもよい。これにより、被写体ＯＢにおいて、細かく距離を測定する領域と、粗く距離を測定する部分とを区分した測定を行うことが可能となる。
　例えば、横方向に動く被写体ＯＢを測定対象とする場合、横方向については距離測定の解像度を大きくし、縦方向については解像度を小さくすることが考えられる。このような場合、縦方向に沿うライン光Ｌの間隔を狭くし、横方向に沿うライン光Ｌの間隔を広げるように光を照射する。これにより、細かい間隔で距離を測定したい領域を高い分解能で測定することが可能となる。
　なお、縦方向に沿うライン光Ｌ群の間隔、或いは縦方向に沿うライン光Ｌ群の間隔を異なる間隔、つまり等間隔とならないように構成してもよい。例えば、背の低い被写体を測距する場合などにおいて、上部の解像度を低く、中央部分から下部にかけての解像度を高くして測定するようなケースに適用することができる。この場合、横方向に沿うライン光Ｌのうち、上部についてはライン光Ｌの間隔を広げ、中央部分から下部にかけてはライン光Ｌの間隔を狭めるように光を照射する。これにより、被写体ＯＢが存在する領域を高い分解能で測定することが可能となる。
　図８には、距離画像撮像装置１の設置面（地面）に対して垂直方向（鉛直方向）、及び水平方向とは異なる斜め方向にライン光Ｌを照射させた様子が示されている。例えば、ライン光Ｌ２０１とｘ軸方向（水平方向）に沿う線分Ａｘとのなす角度は１３５度である。また、ライン光Ｌ２０２と線分Ａｘとのなす角度は４５度である。
　このように、本第１実施形態において、ライン光Ｌが地面に対して斜めとなる方向を示すように構成されてもよい。すなわち、複数の光源素子のうち２つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が撮像装置の設置面に対し４５度もしくは１３５度である。
　このように、本第１実施形態においてライン光Ｌが地面に対して斜め方向を示すように構成されてもよい。すなわち、複数の光源素子のうち、２つの光源素子から放射される楕円形状のドット光Ｄｔにおける長軸方向が、距離画像撮像装置１の設置面に対し、垂直方向及び水平方向でない斜め方向であるように構成されてもよい。
　地面に対して垂直なライン光Ｌと水平なライン光Ｌとを、光源に拡散板を組み合わせて実現させようとすると、水平方向と垂直方向とでＦＯＩ（Field of Illumination、照明野）が同じでない場合には垂直用と水平用とで個別の拡散板が必要となる。これに対し、斜め方向にある２つのライン光Ｌを直交させる場合、斜め方向にライン光Ｌを照射する同じ設計の拡散板を２つ用意し、互いに上下が逆になるように実装すれば、斜め方向にある２つのライン光Ｌを直交させることができる。したがって、斜め方向に直行させることにより、水平方向及び垂直方向に直行させるよりも光源部２に係る装置コストを抑制することが可能となる。
　また、本第１実施形態において、ドット光Ｄｔに加えて、均一拡散光源素子を併用する構成であってもよい。均一拡散光源素子とは、照射面に対し均一な光を照射させる光源素子である。均一拡散光源素子を用いることによって被写体ＯＢに均一な光を照射させることが可能となる。
　これにより、本第１実施形態の距離画像撮像装置１では、被写体ＯＢまでの距離に応じて光源を使い分けることができる。例えば、近距離、つまり比較的近い位置に存在する被写体ＯＢまでの距離を測定する場合には均一拡散光源を用いる。これにより、近くに被写体ＯＢが存在しており、ドット光Ｄｔを用いなくとも十分な光量を被写体ＯＢに照射することが可能である場合には、わざわざドット光Ｄｔを用いて分解能を低下させることなく、均一拡散光源素子を用いて高い分解能にて距離を測定することができる。一方、遠距離、つまり比較的遠い位置に存在する被写体ＯＢまでの距離を測定する場合にはドット光源を用いる。これにより、遠くに被写体ＯＢが存在する場合であっても、ドット光Ｄｔを用いて反射光ＲＬの光量が大きくなるようにし、且つ、被写体ＯＢにおいて光が照射されない領域をなるべく少なくなるようにドット光Ｄｔの形状を楕円として、分解能の低下が抑制されるようにして距離を測定することができる。したがって、被写体ＯＢまでの距離に応じた測定状況によりドット光と拡散光源を使い分けすることができ、近距離及び遠距離の何れの場合においても、解像度の低下を抑制することができる。
　以上説明したように、第１実施形態の距離画像撮像装置１では、光パルスＰＯは、複数のドット光Ｄｔにより構成される構造化光である。複数のドット光Ｄｔのうち少なくとも１つのドット光Ｄｔ１（第１ドット光）は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する。これにより、第１実施形態の距離画像撮像装置１では、ドット光Ｄｔを用いて照射する光のパワーを局所的に大きくしつつ、被写体ＯＢにおいて光が照射されない領域を減少させることが可能となる。したがって、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することができる。
　また、第１実施形態の距離画像撮像装置１では、複数のドット光Ｄｔのうち少なくとも１つのドット光Ｄｔ１（第１ドット光）の少なくとも一部分と、ドット光Ｄｔ１の長軸方向に隣接する他のドット光Ｄｔ２の少なくとも一部分とが重複する。これにより、第１実施形態の距離画像撮像装置１では、被写体ＯＢにおいて光が照射されない領域をさらに減少させることが可能となる。
　また、第１実施形態の距離画像撮像装置１では、光源部２は、それぞれ独立して光パルスＰＯを照射することが可能な複数の光源素子を有する。これにより、第１実施形態の距離画像撮像装置１では、複数の光源素子のそれぞれを用いて楕円形状のドット光を照射させることができ、照射させるドット光の位置や向きを設定する自由度を高めることができる。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が互いに異なる。これにより、第１実施形態の距離画像撮像装置１では、被写体ＯＢに対して交差するようなライン光Ｌを用いて、被写体ＯＢに網目状に光を照射させることができ、被写体ＯＢにおいて網羅的に光が照射されない領域を減少させることが可能となる。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が互いに直交する。これにより、第１実施形態の距離画像撮像装置１では、被写体ＯＢに対して格子状に光を照射させることができ、上述した効果と同様の効果を奏する。
　また、第１実施形態の距離画像撮像装置１では、距離Ｋ１とＫ２とが異なる。距離Ｋ１は、ライン光Ｌ１０１からライン光Ｌ１０２までの距離であり、「第１間隔」の一例である。距離Ｋ２は、ライン光Ｌ１０３からライン光Ｌ１０４までの距離であり、「第２間隔」の一例である。これにより、第１実施形態の距離画像撮像装置１では、横方向或いは縦方向において異なる解像度とする測定を行うことができ、例えば、横方向に動く被写体ＯＢを測定対象とする場合において、横方向の動きに応じて変化する距離を高い分解能で測定することが可能となる。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも３つの光源素子から放射される長軸方向が同じ方向にある楕円形状のドット光における短軸方向に沿った間隔が互いに異なる。これにより、第１実施形態の距離画像撮像装置１では、被写体が存在する領域に応じた分解能で測定を行うことができ、例えば、背の低い被写体ＯＢを測定対象とする場合において、上部の被写体ＯＢが存在しない領域を低い分解能で測定し、中央から下の被写体ＯＢが存在する領域を高い分解能で測定することが可能となる。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である。これにより、第１実施形態の距離画像撮像装置１では、斜め方向にライン光Ｌを照射する２つ拡散板を、互いに上下が逆になるように実装させることにより、このようなライン光を実現させることができ、垂直用と水平用とで個別の拡散板を用いる場合よりも装置コストを抑えることが可能となる。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度のそれぞれが撮像装置の設置面に対し４５度又は１３５度である。これにより、第１実施形態の距離画像撮像装置１では、地面に対して斜め方向に、かつ左右上下対象にライン光を照射させることができ、上述した効果と同様の効果を奏する。
　また、第１実施形態の距離画像撮像装置１では、複数の光源素子のうち、少なくとも１つは拡散光源である。これにより、第１実施形態の距離画像撮像装置１では、被写体ＯＢまでの距離に応じた測定状況によりドット光と拡散光源を使い分けすることができ、近距離及び遠距離の何れの場合においても、解像度の低下を抑制することができる。
　上述した第１実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
（第２実施形態）
　以下、本発明の第２実施形態による距離画像撮像装置及び距離画像撮像方法について、図面を参照して説明する。
　図９は、第２実施形態による距離画像撮像装置１０１の一例を示すブロック図である。図９に示すように、距離画像撮像装置１０１は、光源部１０２と、受光部１０３と、距離画像処理部１０４とを備える。なお、図９では、距離画像撮像装置１０１を用いて距離を測定する対象物である被写体ＯＢも併せて示している。距離画像撮像素子は、例えば、受光部１０３における距離画像センサ１３２（後述）である。
　光源部１０２は、被写体ＯＢに光パルスＰＯを照射する。光源部１０２は、距離画像処理部１０４からの制御に従って、距離画像撮像装置１０１において距離を測定する対象の被写体ＯＢが存在する撮影対象の空間に光パルスＰＯを照射する。光源部１０２は、例えば、垂直共振器面発光レーザー（VCSEL：Vertical Cavity Surface Emitting Laser）などの面発光型の半導体レーザーモジュールである。光源部１０２は、例えば、周期的に配列されたライン光Ｌ（図１２～図１４参照）により構成される構造化光である光パルスＰＯであって、２方向のライン光Ｌが互いに直交した光パルスＰＯを放射する。なお、ライン光Ｌの詳細については、図１２～図１４を参照して後述する。また、光源部１０２は、光源装置１２１と、拡散板１２２とを備える。
　光源装置１２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置１２１は、例えば、半導体レーザー発光素子である。光源装置１２１は、測定制御部１４３からの制御に応じて、パルス状のレーザー光を発光する。
　拡散板１２２は、光源装置１２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板１２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。
　受光部１０３は、距離画像撮像装置１０１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部１０３は、レンズ1３１と、距離画像センサ１３２とを備える。
　レンズ１３１は、入射した反射光ＲＬを距離画像センサ１３２に導く光学レンズである。レンズ１３１は、入射した反射光ＲＬを距離画像センサ１３２側に出射して、距離画像センサ１３２の受光領域に備えた画素回路４２１に受光（入射）させる。
　距離画像センサ１３２は、距離画像撮像装置１０１に用いられる撮像素子である。距離画像センサ１３２は、二次元の受光領域に複数の画素回路４２１と、画素回路４２１の各々を制御する画素駆動回路４２２とを備える。
　画素回路４２１は、１つの光電変換素子（例えば、後述する光電変換素子ＰＤ）と、この１つの光電変換素子に対応する複数の電荷蓄積部（例えば、後述する電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられている。
　画素駆動回路４２２は、光パルスＰＯの照射に同期した所定の蓄積タイミングで、電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）の各々に転送トランジスタＧ（後述）それぞれを導通させて、電荷を振分けて蓄積させる。なお、画素回路４２１及び画素駆動回路４２２を備える距離画像センサ１３２の詳細については、図１０を参照して後述する。
　距離画像センサ１３２は、測定制御部１４３からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ１３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ１３２には、複数の画素回路が二次元の行列状に配置されており、それぞれの画素回路の対応する１フレーム分の画素信号を出力する。
　ここで、図１０を参照して、距離画像センサ１３２の詳細な構成について説明する。図１０は、本実施形態における距離画像センサの一例を示すブロック図である。
　図１０に示すように、距離画像センサ１３２は、例えば、複数の画素回路４２１が配置された受光領域４２０と、画素駆動回路４２２とを備える。また、画素駆動回路４２２は、振り分け動作を有した垂直走査回路４２３と、水平走査回路４２４と、画素信号処理回路４２５と、制御回路４２６とを備える。
　受光領域４２０は、複数の画素回路４２１が配置された領域であって、図１０では、８行８列に二次元の行列状に配置された例を示している。画素回路４２１は、二次元マトリクス状に複数配置されており、受光した光量に相当する電荷を蓄積する。なお、画素回路４２１の詳細な構成については、図１１を参照して後述する。
　制御回路４２６は、距離画像センサ１３２を統括的に制御する。制御回路４２６は、例えば、距離画像処理部１０４の測定制御部１４３からの指示に応じて、距離画像センサ１３２の構成要素の動作を制御する。なお、距離画像センサ１３２に備えた構成要素の制御は、測定制御部１４３が直接行う構成であってもよく、この場合、制御回路４２６を省略することも可能である。
　垂直走査回路４２３は、制御回路４２６からの制御に応じて、受光領域４２０に配置された画素回路４２１を行ごとに制御する回路である。垂直走査回路４２３は、画素回路４２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路４２５に出力させる。この場合、垂直走査回路４２３は、光電変換素子により変換された電荷を画素回路４２１の電荷蓄積部それぞれに振り分けて蓄積させる。
　画素信号処理回路４２５は、制御回路４２６からの制御に応じて、それぞれの列の画素回路４２１から出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う。
　水平走査回路４２４は、制御回路４２６からの制御に応じて、画素信号処理回路４２５から出力される信号を、順次、時系列に出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、距離画像処理部１０４に順次出力される。以下の説明においては、画素信号処理回路４２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。
　次に、図１１を参照して、距離画像センサ１３２に備える受光領域４２０内に配置された画素回路４２１の構成について説明する。図１１は、本実施形態における画素回路４２１の一例を示すブロック図である。なお、図１１に示す画素回路４２１は、４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）を備えた構成例である。
　図１１に示すように、画素回路４２１は、１つの光電変換素子ＰＤと、電荷排出トランジスタ（ドレインゲートトランジスタ）ＧＤ（電荷排出手段、電荷排出部）と、対応する出力端子Ｏ（Ｏ１からＯ４）から電圧信号を出力する４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）とを備える。画素信号読み出し部ＲＵのそれぞれは、転送トランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットトランジスタＲＴと、ソースフォロアトランジスタＳＦと、選択トランジスタＳＬとを備える。フローティングディフュージョンＦＤと電荷蓄積容量Ｃとは、電荷蓄積部ＣＳを構成している。
　図１１に示す画素回路４２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、転送トランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットトランジスタＲＴ１と、ソースフォロアトランジスタＳＦ１と、選択トランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２からＲＵ４も同様の構成である。
　光電変換素子ＰＤは、入射した光を光電変換して、入射した光（入射光）に応じた電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。本実施形態においては、入射光は測定対象の空間から入射される。
　画素回路４２１では、光電変換素子ＰＤが入射光を光電変換して発生させた電荷を４つの電荷蓄積部ＣＳ（ＣＳ１からＣＳ４）のそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路４２５に出力する。
　また、距離画像センサ１３２に配置される画素回路の構成は、図１１に示したような、４つの画素信号読み出し部ＲＵ（ＲＵ１からＲＵ４）を備えた構成に限定されるものではなく、画素信号読み出し部ＲＵが１個以上の複数の画素信号読み出し部ＲＵを備えた構成の画素回路でもよい。
　また、画素回路４２１の駆動において、光パルスＰＯが照射時刻Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ１３２に受光される。画素駆動回路４２２は、測定制御部１４３に制御により、フレーム周期により光パルスＰＯの照射に同期させて、光電変換素子ＰＤに発生する電荷を、転送トランジスタＧ（Ｇ１、Ｇ２、Ｇ３、Ｇ４）に対して、蓄積駆動信号ＴＸ１からＴＸ４をそれぞれのタイミングにより供給して振り替えて、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４の順に蓄積させる。
　そして、画素駆動回路４２２は、リセットトランジスタＲＴ及び選択トランジスタＳＬの各々を、駆動信号ＲＳＴ、ＳＥＬそれぞれにより制御し、電荷蓄積部ＣＳに蓄積された電荷を、ソースフォロアトランジスタＳＦにより電気信号に変換し、生成された電気信号を、出力端子Ｏを介して距離演算部１４２に出力する。
　また、画素駆動回路４２２は、測定制御部１４３の制御により、駆動信号ＲＳＴＤにより、光電変換素子ＰＤにおいて発生された電荷を電源ＶＤＤに流して放電する（電荷を消去する）。
　図９の説明に戻り、距離画像処理部１０４は、距離画像撮像装置１０１を制御し、被写体ＯＢまでの距離を演算する。距離画像処理部１０４は、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間に存在する被写体ＯＢまでの距離を測定距離として測定する。また、距離画像処理部１０４は、タイミング制御部１４１と、距離演算部１４２と、測定制御部１４３とを備える。
　タイミング制御部１４１は、測定制御部１４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳに電荷を振り分けて蓄積させる処理を繰返す回数であり、フレーム周期において予め設定された振り分け回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間幅（蓄積時間幅）の積が露光時間となる。
　距離演算部１４２は、距離画像センサ１３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部１４２は、複数の電荷蓄積部ＣＳに蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部１４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。
　なお、本実施形態では、フレーム周期は、電荷を電荷蓄積部ＣＳに蓄積する蓄積期間が異なる複数のサブフレーム周期を有している。距離演算部１４２は、複数のサブフレーム周期のうち、電荷量が、予め設定された閾値を超過していない（電荷量が飽和していない）サブフレーム周期を用いて、被写体ＯＢまでの距離を算出する。なお、フレーム周期及びサブフレーム周期の詳細については、後述する。
　距離演算部１４２は、反射光ＲＬ成分に相当する電荷量が、反射光ＲＬが距離画像撮像装置１０１に入射されるまでの遅延時間Ｔｄに応じた比率で、２つの電荷蓄積部ＣＳに振り分けて蓄積されることを利用して、以下の式（２）により、遅延時間Ｔｄを算出する。距離演算部１４２は、式（２）で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部１４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。なお、式（２）においては、外光成分に相当する電荷量が電荷蓄積部ＣＳ１に蓄積され、反射光ＲＬ成分に相当する電荷量が電荷蓄積部ＣＳ２及びＣＳ３に振り分けて蓄積されたことを前提とする。
　Ｔｄ＝Ｔｏ×（Ｑ３－Ｑ１）／（Ｑ２＋Ｑ３－２×Ｑ１）　　　…（２）
　但し、Ｔｏは光パルスＰＯが照射された期間である。
　　　　Ｑ１は電荷蓄積部ＣＳ１に蓄積された電荷量である。
　　　　Ｑ２は電荷蓄積部ＣＳ２に蓄積された電荷量である。
　　　　Ｑ３は電荷蓄積部ＣＳ３に蓄積された電荷量である。
　測定制御部１４３は、タイミング制御部１４１を制御する。例えば、測定制御部１４３は、１フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部１４１を制御する。すなわち、測定制御部１４３は、複数のサブフレーム周期を含むフレーム周期の設定を行い、設定した内容で撮像が行われるようにタイミング制御部１４１を制御する。
　このような構成によって、距離画像撮像装置１０１では、光源部１０２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部１０３が受光し、距離画像処理部１０４が、被写体ＯＢとの距離を測定した距離情報（距離画像）を出力する。
　次に、図面を参照して、本実施形態による距離画像撮像装置１０１の動作について説明する。まず、図１２～図１４を参照して、本実施形態における光源部１０２が出力するライン光Ｌについて説明する。なお、図１２～図１４において、Ｘ軸方向を横軸方向（横方向）とし、Ｙ軸方向を縦軸方向（縦方向）として説明する。
　本実施形態では、光源部１０２が照射する光源に、ドット光を用いる。ドット光は、例えば、周期的に配列された複数のドット光により構成される構造化光である。
　ドット光を用いることにより、被写体ＯＢに対し、均一でない局所的な光パルスＰＯが照射される。ドット光を用いることにより、光源出力を増加させることなく、照射する光のパワー（単位面積当たりの照射強度）を増大させることができ、照射光の到達距離を大きくして測定可能な距離を大きくすることが可能となる。一方、ドット光を用いた場合、ドット光が照射されない領域については距離を測定することができず、解像度が小さくなるという問題があった。
　この対策として、本実施形態では、光パルスＰＯとして楕円形状を有するドット光を用いるようにした。例えば、光源部１０２は、それぞれ独立して、光パルスＰＯ（楕円形状を有するドット光を用いたライン光）を照射することが可能な複数の光源素子を有する。
　図１２～図１４は、本実施形態におけるライン光Ｌの一例を示す図である。図１２～図１４では、距離画像撮像装置１０１が被写体ＯＢに光パルスＰＯとしてのライン光Ｌを照射した様子が模式的に示されている。
　図１２では、複数のドット光Ｄｔを離散的に放射して、ライン光Ｌを形成する一例を示している。ここでは、横方向のライン光Ｌが照射された例を示している。図１２に示すように、ライン光Ｌは、複数のドット光Ｄｔを離散的にライン状に放射して形成される。ここで、ドット光Ｄｔは、短軸長ＳＡに対する長軸長ＬＡの比が閾値以上である楕円形状を有する。例えば、ドット光源の形状は、短軸長ＳＡに対する長軸長ＬＡの比が２以上である楕円形状である。
　このように、本実施形態では、楕円形状を有するドット光Ｄｔを用いることによって、円形状のドット光Ｄｔを用いる場合より被写体ＯＢにおいて光が照射されない領域を少なくすることができる。したがって、解像度の低下を抑制することが可能となる。
　また、図１３では、複数のドット光Ｄｔを重複させて放射して、ライン光Ｌを形成する一例を示している。ここでは、横方向のライン光Ｌが照射された例を示している。図１３に示すように、ライン光Ｌは、ドット光Ｄｔの一部を、他のドット光Ｄｔの一部と重複させて形成される。このように、本実施形態においてドット光Ｄｔ１の少なくとも一部分と、ドット光Ｄｔ１の長軸方向に隣接する他のドット光Ｄｔ２の少なくとも一部分と、が重複するように照射することで、連続したライン光Ｌを形成することができる。なお、本実施形態におけるドット光源に代えて、或いは、ドット光源と共に、ライン光源を用いてもよい。
　また、図１４には、複数のライン光Ｌを交差させた様子が示されている。このように、本実施形態において、光源部１０２は、複数のライン光Ｌが互いに異なる方向を示すように、被写体ＯＢに光パルスを照射する。この場合、楕円形状のドット光Ｄｔにおける長軸方向が互いに異なるように構成されてもよい。これにより、被写体ＯＢに対し網目状に光を照射させることができ、被写体ＯＢにおいて光が照射されない領域をより少なくすることができる。
　また、図１４では、ライン光Ｌ１～Ｌ６からなるグループ（縦ライン光）におけるライン光の方向と、ライン光Ｌ７～Ｌ１２からなるグループ（横ライン光）におけるライン光の方向とが、互いに直交する、つまり９０度の角度をなす例が、示されている。このように、複数の光源素子のうち、少なくとも２つの光源素子から放射される楕円形状のドット光Ｄｔにおける長軸方向が互いに直交する。
　なお、二つのライン光Ｌのなす角度が９０度である構成に限定されることはなく、少なくとも二つのライン光Ｌの方向が異なっていればよい。すなわち、二つのライン光Ｌのなす角度が、０度より大きく、且つ、９０度以下であればよい。
　このように、本実施形態において、光源部１０２は、周期的に配列されたライン光Ｌにより構成される構造化光である光パルスＰＯであって、２方向のライン光Ｌが互いに直交した光パルスＰＯを放射する。
　次に、再び、図９から図１１を参照して、距離画像撮像装置１０１の距離測定の基本動作について説明する。
　距離画像撮像装置１０１の画素回路４２１の駆動において、光パルスＰＯが照射時刻Ｔｏで照射され、遅延時間Ｔｄ遅れて反射光ＲＬが距離画像センサ１３２に受光される。垂直走査回路４２３は、光パルスＰＯの照射に同期させて、電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３及びＣＳ４の順に、光電変換素子ＰＤに発生する電荷を振り替えて、それぞれに蓄積させる。
　このとき、垂直走査回路４２３は、光電変換素子ＰＤから電荷を電荷蓄積部ＣＳ１に転送する転送経路上に設けられた転送トランジスタＧ１をオン状態（導通状態）にする。これにより、光電変換素子ＰＤにより光電変換された電荷が、転送トランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。その後、垂直走査回路４２３は、転送トランジスタＧ１をオフ状態（非導通状態）にする。これにより、電荷蓄積部ＣＳ１への電荷の転送が停止される。このようにして、垂直走査回路４２３は、電荷蓄積部ＣＳ１に電荷を蓄積させる。電荷蓄積部ＣＳ２からＣＳ４においても同様である。
　このとき、電荷蓄積部ＣＳに電荷の振り分けを行なう電荷蓄積期間において、蓄積駆動信号ＴＸ１からＴＸ４の各々が、転送トランジスタＧ１からＧ４それぞれに供給される蓄積周期が繰返される。
　そして、転送トランジスタＧ１からＧ４の各々を介して、電荷蓄積部ＣＳ１からＣＳ４それぞれに、光電変換素子ＰＤから入射光に対応した電荷が転送される。電荷蓄積期間に複数の蓄積周期が繰返される。これにより、電荷蓄積期間における電荷蓄積部ＣＳ１からＣＳ４の各々の蓄積周期毎に、電荷蓄積部ＣＳ１からＣＳ４それぞれに電荷が蓄積される。
　また、垂直走査回路４２３は、電荷蓄積部ＣＳ１からＣＳ４の各々の蓄積周期を繰返す際、電荷蓄積部ＣＳ４に対する電荷の転送（振替）が終了した後、光電変換素子ＰＤから電荷を排出する排出経路上に設けられた電荷排出トランジスタＧＤをオンさせる。
　これにより、電荷排出トランジスタＧＤは、電荷蓄積部ＣＳ１に対する蓄積周期が開始される前に、直前の電荷蓄積部ＣＳ４の蓄積周期の後に光電変換素子ＰＤに発生した電荷を破棄する（すなわち、光電変換素子ＰＤをリセットさせる）。
　そして、垂直走査回路４２３は、受光領域４２０内に配置された全ての画素回路４２１の各々から、それぞれ電圧信号を画素信号処理回路４２５に、画素回路４２１の行（横方向の配列）単位で順次出力させる。
　そして、画素信号処理回路４２５は、入力される電圧信号の各々に対してＡ／Ｄ変換処理などの信号処理を行ない、水平走査回路４２４に対して出力する。水平走査回路４２４は、信号処理を行った後の電圧信号を、受光領域４２０の列の順番に、順次、距離演算部１４２に出力させる。
　上述したような、垂直走査回路４２３による電荷蓄積部ＣＳへ電荷の蓄積と光電変換素子ＰＤが光電変換した電荷の破棄とが、１フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置１０１に受光された光量に相当する電荷が、電荷蓄積部ＣＳのそれぞれに蓄積される。水平走査回路４２４は、電荷蓄積部ＣＳのそれぞれに蓄積された、１フレーム分の電荷量に相当する電気信号を、距離演算部１４２に出力する。
　また、本実施形態では、フレーム周期ＦＴが、複数のサブフレーム周期ＳＦＴを有している。ここで、図１５を参照して、本実施形態におけるフレーム周期ＦＴ及びサブフレーム周期ＳＦＴについて説明する。
　図１５は、本実施形態におけるフレーム周期ＦＴの一例を示す図である。
　図１５に示すように、本実施形態におけるフレーム周期ＦＴは、サブフレーム周期ＳＦＴ１と、サブフレーム周期ＳＦＴ２との２つのサブフレーム周期ＳＦＴを有している。サブフレーム周期ＳＦＴ１と、サブフレーム周期ＳＦＴ２とは、いずれも、図１４に示すような直交する縦ライン光と横ライン光とを同時に被写体ＯＢに照射される。
　サブフレーム周期ＳＦＴ１（第１サブフレーム周期）は、電荷を電荷蓄積部ＣＳに蓄積する蓄積期間Ｔｃ１（電荷蓄積期間）と、電荷蓄積部ＣＳに蓄積された電荷を読み出す読み出し期間Ｔｒｄとを有している。蓄積期間Ｔｃ１は、例えば、上述したライン光Ｌの交点において、電荷蓄積部ＣＳの電荷が飽和しない（予め設定された閾値を超過しない）ように、予め設定された所定の期間である。蓄積期間Ｔｃ１は、サブフレーム周期ＳＦＴ２の蓄積期間Ｔｃ２の１／２以下の期間である。なお、蓄積期間Ｔｃ１（電荷蓄積期間）は、蓄積回数により決定される。
　また、サブフレーム周期ＳＦＴ２（第２サブフレーム周期）は、電荷を電荷蓄積部ＣＳに蓄積する蓄積期間Ｔｃ２（電荷蓄積期間）と、電荷蓄積部ＣＳに蓄積された電荷を読み出す読み出し期間Ｔｒｄとを有している。サブフレーム周期ＳＦＴ２は、サブフレーム周期ＳＦＴ１と蓄積期間が異なるサブフレーム周期ＳＦＴである。蓄積期間Ｔｃ２は、例えば、上述したライン光Ｌの交点以外の部分において、適切に距離画像が計測できるように、予め設定された期間である。蓄積期間Ｔｃ２は、サブフレーム周期ＳＦＴ１の蓄積期間Ｔｃ１の２倍以上の期間である。なお、蓄積期間Ｔｃ２は、蓄積期間Ｔｃ１と同様に、蓄積回数により決定される。
　距離演算部１４２は、上述したサブフレーム周期ＳＦＴ１と、サブフレーム周期ＳＦＴ２とのうち、電荷量が、予め設定された閾値を超過していないサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。
　距離演算部１４２は、例えば、サブフレーム周期ＳＦＴ２において、電荷量が、予め設定された閾値を超過していない場合に、距離演算部１４２は、サブフレーム周期ＳＦＴ２を用いて、被写体ＯＢまでの距離を算出する。また、距離演算部１４２は、電荷量が、予め設定された閾値を超過している場合に、サブフレーム周期ＳＦＴ２よりも蓄積期間Ｔｃが短いサブフレーム周期ＳＦＴ１を用いて、被写体ＯＢまでの距離を算出する。
　すなわち、距離演算部１４２は、例えば、サブフレーム周期ＳＦＴ１及びサブフレーム周期ＳＦＴ２のうち、電荷量が閾値を超過していない、且つ、蓄積期間が長い方のサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。なお、距離演算部１４２は、被写体ＯＢまでの距離を算出する際に、上述した式（２）を用いて、被写体ＯＢまでの距離を算出する。
　次に、図１６を参照して、本実施形態による距離画像撮像装置１０１の被写体ＯＢまでの距離の算出処理の詳細について説明する。図１６は、本実施形態による距離画像撮像装置１０１の動作の一例を示すフローチャートである。ここでは、被写体ＯＢまでの距離の算出処理の一例について説明する。
　図１６に示すように、距離画像撮像装置１０１は、まず、異なる蓄積期間Ｔｃを有する第１サブフレーム周期（サブフレーム周期ＳＦＴ１）と、第２サブフレーム周期（サブフレーム周期ＳＦＴ２）とを含むフレーム周期ＦＴで、電荷蓄積及び電荷量の取得を実行する（ステップＳ１０１）。距離画像撮像装置１０１の測定制御部１４３は、タイミング制御部１４１に、フレーム周期ＦＴによる電荷蓄積及び電荷量の取得を指示し、タイミング制御部１４１は、測定制御部１４３の制御に応じて、サブフレーム周期ＳＦＴ１とサブフレーム周期ＳＦＴ２とを含むフレーム周期ＦＴにより電荷蓄積及び電荷量の取得を実行する。
　次に、距離画像撮像装置１０１の測定制御部１４３は、第２サブフレーム周期（サブフレーム周期ＳＦＴ２）で取得した電荷量が閾値を超過しているか否かを判定する（ステップＳ１０２）。測定制御部１４３は、サブフレーム周期ＳＦＴ２で取得した電荷量が閾値を超過している場合（ステップＳ１０２：ＹＥＳ）に、処理をステップＳ１０４に進める。また、測定制御部１４３は、サブフレーム周期ＳＦＴ２で取得した電荷量が閾値を超過していない場合（ステップＳ１０２：ＮＯ）に、処理をステップＳ１０３に進める。
　ステップＳ１０３において、測定制御部１４３は、距離演算部１４２に距離演算処理を指示し、距離演算部１４２は、第２サブフレーム周期（サブフレーム周期ＳＦＴ２）で取得した電荷量に基づいて、被写体ＯＢまでの距離を算出する。距離演算部１４２は、例えば、式（２）と、サブフレーム周期ＳＦＴ２で取得した電荷量とを用いて、被写体ＯＢまでの距離を算出する。ここでは、距離演算部１４２は、サブフレーム周期ＳＦＴ２で取得した電荷量を用いて、ライン光Ｌの交点以外の部分の距離を算出する。ステップＳ１０３の処理後に、距離演算部１４２は、処理をステップＳ１０７に進める。
　ステップＳ１０４において、測定制御部１４３は、第１サブフレーム周期（サブフレーム周期ＳＦＴ１）で取得した電荷量が閾値を超過しているか否かを判定する。測定制御部１４３は、サブフレーム周期ＳＦＴ１で取得した電荷量が閾値を超過している場合（ステップＳ１０４：ＹＥＳ）に、処理をステップＳ１０６に進める。また、測定制御部１４３は、サブフレーム周期ＳＦＴ１で取得した電荷量が閾値を超過していない場合（ステップＳ１０４：ＮＯ）に、処理をステップＳ１０５に進める。
　ステップＳ１０５において、測定制御部１４３は、距離演算部１４２に距離演算処理を指示し、距離演算部１４２は、第１サブフレーム周期（サブフレーム周期ＳＦＴ１）で取得した電荷量に基づいて、被写体ＯＢまでの距離を算出する。距離演算部１４２は、例えば、式（２）と、サブフレーム周期ＳＦＴ１で取得した電荷量とを用いて、被写体ＯＢまでの距離を算出する。ここでは、距離演算部１４２は、サブフレーム周期ＳＦＴ１で取得した電荷量を用いて、ライン光Ｌの交点の部分の距離を算出する。ステップＳ１０５の処理後に、距離演算部１４２は、処理をステップＳ１０７に進める。
　ステップＳ１０６において、測定制御部１４３は、エラー処理を実行する。この場合は、第１サブフレーム周期で取得した電荷量が閾値を超過している（飽和している）場合に相当するため、測定制御部１４３は、例えば、再測定処理や、警告出力、等のエラー処理を実行する。
　次に、ステップＳ１０７において、測定制御部１４３は、全画素回路４２１分の実行が完了したか否かを判定する。すなわち、測定制御部１４３は、１フレーム周期ＦＴ分の距離の算出処理が完了したか否かを判定する。測定制御部１４３は、全画素回路４２１分の実行が完了した場合（ステップＳ１０７：ＹＥＳ）に、処理を終了する。また、測定制御部１４３は、全画素回路４２１分の実行が完了していない場合（ステップＳ１０７：ＮＯ）に、処理をステップＳ１０２に戻し、次の画素回路４２１による距離の算出処理を実行する。
　このように、本実施形態による距離画像撮像装置１０１では、距離演算部１４２は、サブフレーム周期ＳＦＴ１及びサブフレーム周期ＳＦＴ２のうち、電荷量が閾値を超過していない、且つ、蓄積期間が長い方のサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。
　以上説明したように、本実施形態による距離画像撮像装置１０１は、光源部１０２と、受光部１０３と、距離演算部１４２とを備える。光源部１０２は、被写体ＯＢに光パルスＰＯを照射する。受光部１０３は、画素回路４２１と、画素駆動回路４２２と、電荷排出トランジスタＧＤ（電荷排出部）と有する。画素回路４２１は、入射した光に応じた電荷を発生する光電変換素子ＰＤ及び電荷を蓄積する複数の電荷蓄積部ＣＳを備える二次元マトリクス状に複数配置されている。画素駆動回路４２２は、フレーム周期ＦＴにより光パルスＰＯの照射に同期させた蓄積タイミングで電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。電荷排出トランジスタＧＤ（電荷排出部）は、蓄積タイミングでない期間において電荷を排出する。距離演算部１４２は、電荷蓄積部ＣＳの各々に蓄積される電荷量に基づいて被写体ＯＢまでの距離を算出する。光源部１０２は、周期的に配列されたライン光Ｌにより構成される構造化光である光パルスＰＯであって、２方向のライン光Ｌが互いに直交した光パルスＰＯを放射する。フレーム周期ＦＴは、電荷を電荷蓄積部ＣＳに蓄積する蓄積期間が異なる複数のサブフレーム周期ＳＦＴを有する。距離演算部１４２は、複数のサブフレーム周期ＳＦＴのうち、電荷量が、予め設定された閾値を超過していないサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。
　これにより、本実施形態による距離画像撮像装置１０１は、蓄積期間が異なる複数のサブフレーム周期ＳＦＴのうち、電荷量が、予め設定された閾値を超過していないサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。そのため、本実施形態による距離画像撮像装置１０１は、例えば、ライン光Ｌの交点において、電荷蓄積部ＣＳが飽和していないサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出することができる。よって、本実施形態による距離画像撮像装置１０１は、ライン光Ｌの交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することができる。また、本実施形態による距離画像撮像装置１０１は、ライン光Ｌを用いることにより、必要な光源出力を抑えつつ、解像度の低下を抑制することができる。
　また、本実施形態では、複数のサブフレーム周期ＳＦＴは、蓄積期間が予め設定された所定の期間（例えば、蓄積期間Ｔｃ１）であるサブフレーム周期ＳＦＴ１（第１サブフレーム周期）と、蓄積期間が所定の期間の２倍以上の期間（例えば、蓄積期間Ｔｃ２）であるサブフレーム周期ＳＦＴ２（第２サブフレーム周期）とである。距離演算部１４２は、サブフレーム周期ＳＦＴ１及びサブフレーム周期ＳＦＴ２のうち、電荷量が閾値を超過していない、且つ、蓄積期間が長い方のサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。
　これにより、本実施形態による距離画像撮像装置１０１では、ライン光Ｌの交点では、サブフレーム周期ＳＦＴ１（第１サブフレーム周期）を用いて、被写体ＯＢまでの距離を算出し、交点以外の部分では、サブフレーム周期ＳＦＴ２（第２サブフレーム周期）を用いて、被写体ＯＢまでの距離を算出る。よって、本実施形態による距離画像撮像装置１０１では、ライン光Ｌの交点以外の部分の解像度を維持しつつ、ライン光Ｌの交点における電荷の飽和を抑制することができ、ライン光Ｌの交点において、精度良く被写体ＯＢまでの距離を測定することができる。
　また、本実施形態では、光源部１０２は、それぞれ独立して光パルスＰＯを照射することが可能な複数の光源素子を有する。ライン光Ｌは、複数の光源素子によって、複数のドット光Ｄｔを離散的にライン状に放射して形成、又は、複数のドット光Ｄｔをライン状に重複するように放射して形成される（例えば、図１２参照）。これにより、本実施形態による距離画像撮像装置１０１は、ライン光Ｌを用いることで、解像度の低下を抑制することが可能となる。
　また、本実施形態では、ドット光Ｄｔの形状は、短軸長に対する長軸長の比が２以上である楕円形状であり、ライン光Ｌは、長軸の方向に沿ってライン状に形成される。これにより、本実施形態による距離画像撮像装置１０１は、楕円形状を有するドット光Ｄｔを用いることによって、円形状のドット光Ｄｔを用いる場合より被写体ＯＢにおいて光が照射されない領域を少なくすることができるため、より解像度の低下を抑制することができる。
　また、本実施形態による距離画像撮像方法は、上述した光源部１０２と、受光部１０３と、距離演算部１４２と、を備える距離画像撮像装置１０１の距離画像撮像方法である。距離画像撮像方法では、光源部１０２が、周期的に配列されたライン光Ｌにより構成される構造化光である光パルスＰＯであって、２方向のライン光Ｌが互いに直交した光パルスＰＯを放射する。フレーム周期ＦＴは、電荷を電荷蓄積部ＣＳに蓄積する蓄積期間が異なる複数のサブフレーム周期ＳＦＴを有する。そして、距離演算部１４２が、複数のサブフレーム周期ＳＦＴのうち、電荷量が、予め設定された閾値を超過していないサブフレーム周期ＳＦＴを用いて、被写体ＯＢまでの距離を算出する。
　これにより、本実施形態による距離画像撮像方法は、上述した距離画像撮像装置１０１と同様の効果を奏し、ライン光Ｌの交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することができる。
（第３実施形態）
　次に、図面を参照して、第３実施形態による距離画像撮像装置１０１ａについて説明する。第３実施形態では、複数のサブフレーム周期において、縦方向のライン光Ｌの光パルスＰＯと横方向のライン光Ｌの光パルスＰＯとで交互に測定し、構成して被写体ＯＢかでの距離を算出する変形例について説明する。
　図１７は、第３実施形態による距離画像撮像装置１０１ａの一例を示すブロック図である。図１７に示すように、距離画像撮像装置１０１ａは、光源部１０２と、受光部１０３と、距離画像処理部１０４ａとを備える。なお、図１７では、距離画像撮像装置１０１ａを用いて距離を測定する対象物である被写体ＯＢも併せて示している。距離画像撮像素子は、例えば、受光部１０３における距離画像センサ１３２である。
　なお、図１７において、図９と同一の構成には、同一の符号を付与して、その説明を省略する。また、距離画像センサ１３２及び画素回路４２１の構成は、上述した図１０及び図１１に示す第２実施形態と同様であるため、ここではその説明を省略する。
　距離画像処理部１０４ａは、距離画像撮像装置１０１ａを制御し、被写体ＯＢまでの距離を演算する。距離画像処理部１０４ａは、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて、測定空間に存在する被写体ＯＢまでの距離を測定距離として測定する。また、距離画像処理部１０４は、タイミング制御部１４１と、距離演算部１４２ａと、測定制御部１４３ａとを備える。
　本実施形態では、距離演算部１４２ａ及び測定制御部１４３ａの処理が異なる点を除いて、第２実施形態と同様である。測定制御部１４３ａは、タイミング制御部１４１を用いて、複数のサブフレーム周期ＳＦＴを有するフレーム周期ＦＴにより、被写体ＯＢまでの距離測定を制御する。ここで、図１８を参照して、本実施形態におけるフレーム周期ＦＴについて説明する。
　図１８は、本実施形態におけるフレーム周期ＦＴの一例を示す図である。図１８に示すように、フレーム周期ＦＴは、ライン光Ｌのライン方向が異なる複数のサブフレーム周期ＳＦＴ（サブフレーム周期ＳＦＴ１及びサブフレーム周期ＳＦＴ２）を有している。
　サブフレーム周期ＳＦＴ１（第１サブフレーム周期）は、縦方向に平行なライン光Ｌの光パルスＰＯを照射するサブフレーム周期ＳＦＴである。また、サブフレーム周期ＳＦＴ２（第２サブフレーム周期）は、横方向に平行なライン光Ｌの光パルスＰＯを照射するサブフレーム周期ＳＦＴである。
　このように、本実施形態では、光源部１０２は、光パルスＰＯとして、周期的に配列されたライン光Ｌにより構成される構造化光であり、ライン方向が互いに直交した２方向のライン光Ｌをそれぞれ放射可能である。また、測定制御部１４３ａは、タイミング制御部１４１を用いて、ライン光Ｌのライン方向が異なる複数のサブフレーム周期ＳＦＴを有するフレーム周期ＦＴにより、電荷蓄積及び電荷量の取得を実行する。なお、本実施形態において、サブフレーム周期ＳＦＴ１と、サブフレーム周期ＳＦＴ２とは、同一の蓄積期間及び読み出し期間を有する。
　図１７の説明に戻り、距離演算部１４２ａは、ライン方向が異なる複数のサブフレーム周期ＳＦＴのそれぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出する。距離演算部１４２ａは、例えば、サブフレーム周期ＳＦＴ１により取得した電荷量と、サブフレーム周期ＳＦＴ２により取得した電荷量とを合成した電荷量に基づいて、被写体ＯＢまでの距離を算出する。
　なお、本実施形態では、光源部１０２は、図１８に示すように、フレーム周期ＦＴにおいて、ライン方向が異なるライン光Ｌを、サブフレーム周期ＳＦＴごとに、交互に変更して、光パルスＰＯを照射する。距離演算部１４２ａは、ライン方向が交互に変更された複数のサブフレーム周期ＳＦＴのそれぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出する。
　次に、図面を参照して、本実施形態による距離画像撮像装置１０１ａの動作について説明する。図１９は、本実施形態による距離画像撮像装置１０１ａの動作の一例を示すフローチャートである。ここでは、本実施形態による被写体ＯＢまでの距離の算出処理の一例について説明する。
　図１９に示すように、距離画像撮像装置１０１ａは、まず、縦ライン光の第１サブフレーム周期（サブフレーム周期ＳＦＴ１）と、横ライン光の第２サブフレーム周期（サブフレーム周期ＳＦＴ２）とを含むフレーム周期で、電荷蓄積及び電荷量の取得を実行する（ステップＳ２０１）。距離画像撮像装置１０１ａの測定制御部１４３ａは、タイミング制御部１４１に、例えば、図１８に示すフレーム周期ＦＴによる電荷蓄積及び電荷量の取得を指示し、タイミング制御部１４１は、測定制御部１４３ａの制御に応じて、サブフレーム周期ＳＦＴ１とサブフレーム周期ＳＦＴ２とを含むフレーム周期ＦＴにより電荷蓄積及び電荷量の取得を実行する。
　次に、測定制御部１４３ａは、距離演算部１４２ａに距離演算処理を指示し、距離演算部１４２ａは、第１サブフレーム周期（サブフレーム周期ＳＦＴ１）で取得した電荷量と第２サブフレーム周期（サブフレーム周期ＳＦＴ２）で取得した電荷量とを合成して、被写体ＯＢまでの距離を算出する（ステップＳ２０２）。距離演算部１４２ａは、例えば、サブフレーム周期ＳＦＴ１で取得した電荷量と、サブフレーム周期ＳＦＴ２で取得した電荷量とを合算して、上述した式（２）を用いて、被写体ＯＢまでの距離を算出する。
　次に、測定制御部１４３ａは、全画素回路４２１分の実行が完了したか否かを判定する（ステップＳ２０３）。すなわち、測定制御部１４３ａは、１フレーム周期ＦＴ分の距離の算出処理が完了したか否かを判定する。測定制御部１４３ａは、全画素回路４２１分の実行が完了した場合（ステップＳ２０３：ＹＥＳ）に、処理を終了する。また、測定制御部１４３ａは、全画素回路４２１分の実行が完了していない場合（ステップＳ２０３：ＮＯ）に、処理をステップＳ２０２に戻し、次の画素回路４２１による距離の算出処理を実行する。
　次に、図２０及び図２１を参照して、本実施形態による距離画像撮像装置１０１ａの変形例について説明する。図２０は、本実施形態におけるフレーム周期ＦＴの変形例を示す図である。図２０に示す変形例では、フレーム周期ＦＴは、３つのサブフレーム周期ＳＦＴを有している。
　本変形例では、光源部１０２は、フレーム周期ＦＴにおいて、被写体ＯＢの移動方向に応じて、複数のサブフレーム周期ＳＦＴのうちの、２方向のライン光Ｌのそれぞれに対応するサブフレーム周期ＳＦＴの割合を変更して、光パルスＰＯを照射する。ここで、光源部１０２は、フレーム周期ＦＴにおいて、２方向のうち、被写体ＯＢの移動量が大きい方向に対応するサブフレーム周期ＳＦＴの割合を、被写体ＯＢの移動量が小さい方向に対応するサブフレーム周期ＳＦＴの割合より多く変更して、光パルスＰＯを照射する。
　例えば、図２０の（ａ）に示す例は、被写体ＯＢが横方向に移動する場合の一例を示している。図２０の（ａ）では、フレーム周期ＦＴは、縦ライン光のサブフレーム周期ＳＦＴ１－１と、縦ライン光のサブフレーム周期ＳＦＴ１－２と、横ライン光のサブフレーム周期ＳＦＴ２とを有している。
　この場合、被写体ＯＢが横方向に移動するため、縦ライン光のサブフレーム周期ＳＦＴ１の割合を増やすことで、被写体ＯＢを検出し易くなり、測定精度を高めることができる。
　また、図２０の（ｂ）に示す例は、被写体ＯＢが縦方向に移動する場合の一例を示している。図２０の（ｂ）では、フレーム周期ＦＴは、縦ライン光のサブフレーム周期ＳＦＴ１と、横ライン光のサブフレーム周期ＳＦＴ２－１と、横ライン光のサブフレーム周期ＳＦＴ２－２とを有している。
　この場合、被写体ＯＢが縦方向に移動するため、横ライン光のサブフレーム周期ＳＦＴ２の割合を増やすことで、被写体ＯＢを検出し易くなり、測定精度を高めることができる。なお、本実施形態では、被写体ＯＢが移動方向は、利用者によって指定されてもよいし、測定する画像情報から移動方向を判定してもよい。
　次に、図２１を参照して、本実施形態による距離画像撮像装置１０１ａのサブフレーム周期ＳＦＴの割合の変更処理について説明する。図２１は、本実施形態による距離画像撮像装置１０１ａの動作の一例を示すフローチャートである。ここでは、被写体ＯＢの移動方向に応じて、サブフレーム周期ＳＦＴの割合を変更する処理について説明する。
　図２１に示すように、距離画像撮像装置１０１ａの測定制御部１４３ａは、被写体ＯＢの移動方向が、横軸方向であるか否かを判定する（ステップＳ３０１）。測定制御部１４３ａは、被写体ＯＢの移動方向が、横軸方向である場合（ステップＳ３０１：ＹＥＳ）に、処理をステップＳ３０２に進める。また、測定制御部１４３ａは、被写体ＯＢの移動方向が、横軸方向でない（縦方向である）場合（ステップＳ３０１：ＮＯ）に、処理をステップＳ３０３に進める。
　ステップＳ３０２において、測定制御部１４３ａは、縦軸方向のサブフレーム周期ＳＦＴ１の割合を増加させる。測定制御部１４３ａは、タイミング制御部１４１を制御して、例えば、図２０の（ａ）に示すように、縦軸方向（縦ライン光）のサブフレーム周期ＳＦＴ１の割合を増加させる。ステップＳ３０２の処理後に、測定制御部１４３ａは、処理を終了する。
　また、ステップＳ３０３において、測定制御部１４３ａは、横軸方向のサブフレーム周期ＳＦＴ２の割合を増加させる。測定制御部１４３ａは、タイミング制御部１４１を制御して、例えば、図２０の（ｂ）に示すように、横軸方向（横ライン光）のサブフレーム周期ＳＦＴ２の割合を増加させる。ステップＳ３０３の処理後に、測定制御部１４３ａは、処理を終了する。
　以上説明したように、本実施形態による距離画像撮像装置１０１ａは、光源部１０２と、受光部１０３と、距離演算部１４２ａとを備える。光源部１０２は、被写体ＯＢに光パルスＰＯを照射する。受光部１０３は、画素回路４２１と、画素駆動回路４２２と、電荷排出トランジスタＧＤ（電荷排出部）と有する。画素回路４２１は、入射した光に応じた電荷を発生する光電変換素子ＰＤ及び電荷を蓄積する複数の電荷蓄積部ＣＳを備える二次元マトリクス状に複数配置されている。画素駆動回路４２２は、フレーム周期ＦＴにより光パルスＰＯの照射に同期させた蓄積タイミングで電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。電荷排出トランジスタＧＤ（電荷排出部）は、蓄積タイミングでない期間において電荷を排出する。距離演算部１４２ａは、電荷蓄積部ＣＳの各々に蓄積される電荷量に基づいて被写体ＯＢまでの距離を算出する。光源部１０２は、光パルスＰＯとして、周期的に配列されたライン光Ｌにより構成される構造化光であり、ライン方向が互いに直交した２方向のライン光Ｌをそれぞれ放射可能である。フレーム周期ＦＴは、ライン光Ｌのライン方向が異なる複数のサブフレーム周期ＳＦＴ（例えば、縦ライン光のサブフレーム周期ＳＦＴ１と、横ライン光のサブフレーム周期ＳＦＴ２）を有する。距離演算部１４２ａは、ライン方向が異なる複数のサブフレーム周期ＳＦＴのそれぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出する。
　これにより、本実施形態による距離画像撮像装置１０１ａは、ライン方向が異なる複数のサブフレーム周期ＳＦＴ（例えば、縦ライン光のサブフレーム周期ＳＦＴ１、及び横ライン光のサブフレーム周期ＳＦＴ２）のそれぞれで蓄積された電荷量を用いる。本実施形態による距離画像撮像装置１０１ａでは、一方向のサブフレーム周期ＳＦＴを照射するため、ライン光Ｌの交点において、２方向のライン光Ｌを同時に照射した場合のように電荷量（光量）が飽和することがない。よって、本実施形態による距離画像撮像装置１０１ａは、ライン光Ｌの交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することができる。
　また、本実施形態では、光源部１０２は、フレーム周期ＦＴにおいて、ライン方向が異なるライン光Ｌを、サブフレーム周期ＳＦＴごとに、交互に変更して、光パルスＰＯを照射する。光源部１０２は、例えば、縦ライン光のサブフレーム周期ＳＦＴ１と、横ライン光のサブフレーム周期ＳＦＴ２とを交互に照射する。距離演算部１４２ａは、ライン方向が交互に変更された複数のサブフレーム周期ＳＦＴのそれぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出する。
　これにより、本実施形態による距離画像撮像装置１０１ａは、ライン方向が異なるライン光Ｌを、サブフレーム周期ＳＦＴごとに、交互に変更して、光パルスＰＯを照射し、それぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出するため、ライン方向が異なるライン光Ｌを同時に照射した場合（例えば、第２実施形態の場合）と同等の効果が得られ、必要な光源出力を抑えつつ、解像度の低下を抑制することができる。
　また、本実施形態では、光源部１０２は、フレーム周期ＦＴにおいて、被写体ＯＢの移動方向に応じて、複数のサブフレーム周期ＳＦＴのうちの、２方向のライン光Ｌのそれぞれに対応するサブフレーム周期ＳＦＴの割合を変更して、光パルスＰＯを照射する。光源部１０２は、例えば、フレーム周期ＦＴにおいて、２方向のうち、被写体ＯＢの移動量が大きい方向に対応するサブフレーム周期ＳＦＴの割合を、被写体ＯＢの移動量が小さい方向に対応するサブフレーム周期ＳＦＴの割合より多く変更して、光パルスＰＯを照射する。これにより、本実施形態による距離画像撮像装置１０１ａは、移動する被写体ＯＢを検出し易くなり、測定精度を高めることができる。
　また、本実施形態による距離画像撮像方法は、上述した光源部１０２と、受光部１０３と、距離演算部１４２ａと、を備える距離画像撮像装置１０１ａの距離画像撮像方法である。距離画像撮像方法では、光源部１０２が、光パルスＰＯとして、周期的に配列されたライン光Ｌにより構成される構造化光であり、ライン方向が互いに直交した２方向のライン光Ｌをそれぞれ放射可能である。フレーム周期ＦＴは、ライン光Ｌのライン方向が異なる複数のサブフレーム周期ＳＦＴを有している。そして、距離演算部１４２ａが、ライン方向が異なる複数のサブフレーム周期ＳＦＴのそれぞれで蓄積された電荷量に基づいて合成した被写体ＯＢまでの距離を算出する。これにより、本実施形態による距離画像撮像方法は、上述した距離画像撮像装置１０１ａと同様の効果を奏し、必要な光源出力を抑えつつ、解像度の低下を抑制することができる。
（第４実施形態）
　次に、図面を参照して、第４実施形態による距離画像撮像装置１０１ｂについて説明する。第４実施形態では、ライン光Ｌの交点に対応する画素回路４２１を、飽和防止用のものに置き換える手法について説明する。
　図２２は、第４実施形態による距離画像撮像装置１０１ｂの一例を示す図である。図２２では、本実施形態における距離画像センサ１３２ａの構成例を示している。なお、本実施形態における距離画像センサ１３２ａ以外の構成は、第２実施形態と同様であるため、ここではその説明を省略する。
　図２２において、反射光ＬＨは、横方向（水平方向）のライン光Ｌの反射光を示し、反射光ＬＶは、縦方向（垂直方向）のライン光Ｌの反射光を示している。また、画素回路４２１ａ（第１画素回路）は、ライン光Ｌが互いに直交して照射される被写体ＯＢからの反射光を受光する位置（反射光の交点）に対応する画素回路を示し、画素回路４２１（第２画素回路）は、その他の位置に対応する画素回路を示している。
　画素回路４２１ａ（第１画素回路）は、感度抑制部が設けられており、反射光に対する感度が、他の位置に対応する画素回路４２１（第２画素回路）より低く構成されている。例えば、画素回路４２１ａは、感度抑制部として、画素回路４２１ａの上に配置された、反射光の一部を反射もしくは吸収するフィルタ層を備える。フィルタ層は、例えば、その他の位置の感度に比べて、画素回路４２１ａの感度が、１／２以下になるように構成されている。ここで、フィルタ層は、例えば、フォトリソグラフィーなどの手法で反射光の一部を吸収する有機薄膜である。
　また、感度抑制部として、画素回路４２１ａ（第１画素回路）の電荷蓄積部ＣＳの容量が、画素回路４２１（第２画素回路）の電荷蓄積部ＣＳの容量より大きく構成されていてもよい。すなわち、図１１に示す画素回路４２１ａの電荷蓄積容量Ｃ１～電荷蓄積容量Ｃ４が、画素回路４２１に比べて、例えば、２倍以上の容量であってもよい。
　また、感度抑制部として、画素回路４２１ａの光電変換素子ＰＤの体積が、画素回路４２１の光電変換素子ＰＤの体積より小さく構成されてもよい。すなわち、画素回路４２１ａの光電変換素子ＰＤの体積が、画素回路４２１に比べて、１／２以下であってもよい。
　また、感度抑制部として、画素回路４２１ａのフレーム周期ＦＴ内における振り分け回数（積算回数）が、画素回路４２１のフレーム周期ＦＴ内における振り分け回数（積算回数）よりも少なく構成されてもよい。すなわち、画素回路４２１ａの振り分け回数（積算回数）が、画素回路４２１の振り分け回数（積算回数）の１／２以下であってもよい。
　なお、本実施形態による距離画像撮像装置１０１ｂの動作は、フレーム周期ＦＴは、サブフレーム周期ＳＦＴを備えずに、単独フレームとなる。すなわち、距離画像撮像装置１０１ｂは、図１４に示すような、直交した２方向のライン光Ｌを同時に光パルスＰＯとして照射し、取得した電荷量に基づいて、画像距離を算出する。
　以上説明したように、本実施形態による距離画像撮像装置１０１ｂは、光源部１０２と、受光部１０３と、距離演算部１４２とを備える。光源部１０２は、被写体ＯＢに光パルスＰＯを照射する。受光部１０３は、画素回路４２１と、画素駆動回路４２２と、電荷排出トランジスタＧＤ（電荷排出部）と有する。画素回路４２１は、入射した光に応じた電荷を発生する光電変換素子ＰＤ及び電荷を蓄積する複数の電荷蓄積部ＣＳを備える二次元マトリクス状に複数配置されている。画素駆動回路４２２は、フレーム周期ＦＴにより光パルスＰＯの照射に同期させた蓄積タイミングで電荷蓄積部ＣＳのそれぞれに電荷を振り分けて蓄積させる。電荷排出トランジスタＧＤ（電荷排出部）は、蓄積タイミングでない期間において電荷を排出する。距離演算部１４２は、電荷蓄積部ＣＳの各々に蓄積される電荷量に基づいて被写体ＯＢまでの距離を算出する。光源部１０２は、周期的に配列されたライン光Ｌにより構成される構造化光である光パルスＰＯであって、２方向のライン光Ｌが互いに直交した光パルスＰＯを放射する。そして、複数配置された画素回路４２１のうち、ライン光Ｌが互いに直交して照射される被写体ＯＢからの反射光を受光する位置に対応する画素回路４２１ａ（第１画素回路）の反射光に対する感度が、他の位置に対応する画素回路４２１（第２画素回路）より低く構成されている。
　これにより、本実施形態による距離画像撮像装置１０１ｂは、画素回路４２１ａ（第１画素回路）の反射光に対する感度が、他の位置に対応する画素回路４２１（第２画素回路）より低く構成されているため、ライン光Ｌの交点において、電荷量（光量）が飽和することを抑制することができる。よって、本実施形態による距離画像撮像装置１０１ｂは、ライン光Ｌの交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することができる。また、本実施形態による距離画像撮像装置１０１ｂは、ライン光Ｌを用いることにより、必要な光源出力を抑えつつ、解像度の低下を抑制することができる。
　また、本実施形態による距離画像撮像装置１０１ｂは、画素回路４２１ａ（第１画素回路）の上に配置された、反射光の一部を反射もしくは吸収するフィルタ層を備える。これにより、本実施形態による距離画像撮像装置１０１ｂは、フィルタ層により、画素回路４２１ａ（第１画素回路）の反射光に対する感度を、他の位置に対応する画素回路４２１（第２画素回路）より適切に低くすることができる。
　また、本実施形態では、画素回路４２１ａの電荷蓄積部ＣＳの容量が、画素回路４２１（第２画素回路）の電荷蓄積部ＣＳの容量より大きく構成されていてもよい。これにより、本実施形態による距離画像撮像装置１０１ｂは、画素回路４２１ａの電荷蓄積部ＣＳの容量が、画素回路４２１（第２画素回路）の電荷蓄積部ＣＳの容量より大きいため、画素回路４２１ａの反射光に対する感度を、他の位置に対応する画素回路４２１（第２画素回路）より適切に低くすることができる。
　また、本実施形態では、画素回路４２１ａの光電変換素子ＰＤの体積が、画素回路４２１ａの光電変換素子ＰＤの体積より小さく構成されていてもよい。これにより、本実施形態による距離画像撮像装置１０１ｂは、画素回路４２１ａの光電変換素子ＰＤの体積が、画素回路４２１ａの光電変換素子ＰＤの体積より小さいため、光電変換能力が低く、画素回路４２１ａの反射光に対する感度を、他の位置に対応する画素回路４２１（第２画素回路）より適切に低くすることができる。
　また、本実施形態では、画素回路４２１ａのフレーム周期ＦＴ内における振り分け回数（積算回数）が、画素回路４２１のフレーム周期ＦＴ内における振り分け回数（積算回数）よりも少なく構成されていてもよい。
　これにより、本実施形態による距離画像撮像装置１０１ｂは、画素回路４２１ａの振り分け回数（積算回数）が、画素回路４２１の振り分け回数（積算回数）より少ない画素回路４２１ａの反射光に対する感度を、他の位置に対応する画素回路４２１（第２画素回路）より適切に低くすることができる。
　なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。例えば、上記の各実施形態において、画素回路４２１（４２１ａ）が、４個の電荷蓄積部ＣＳ（ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４）を備える例を説明したが、これに限定されるものではなく、３以上のＮ個の電荷蓄積部ＣＳを備えるようにしてもよい。
　また、上記の各実施形態において、距離画像処理部１０４（１０４ａ）を距離画像撮像装置１０１（１０１ａ、１０１ｂ）の内部に備える例を説明したが、これに限定されるものではなく、距離画像処理部１０４（１０４ａ）は、距離画像撮像装置１０１（１０１ａ、１０１ｂ）の外部に備える構成であってもよい。
　また、上記の各実施形態において、光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである例を説明したが、これに限定されるものではなく、光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
　また、上記の第２実施形態において、フレーム周期ＦＴが、蓄積期間が異なる２つのサブフレーム周期ＳＦＴを有する例を説明したが、これに限定されるものではなく、３つ以上のサブフレーム周期ＳＦＴを有するようにしてもよい。
　また、上記の第３実施形態において、サブフレーム周期ＳＦＴの割合を増加させる際に、１つのサブフレーム周期ＳＦＴ１－２（又は、サブフレーム周期ＳＦＴ２－２）を追加する例を説明したが、２つ以上を追加するようにしてもよい。
　なお、上述した距離画像撮像装置１０１（１０１ａ、１０１ｂ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した距離画像撮像装置１０１（１０１ａ、１０１ｂ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した距離画像撮像装置１０１（１０１ａ、１０１ｂ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。
　また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に距離画像撮像装置１０１（１０１ａ、１０１ｂ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明によれば、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することと、ライン光の交点と交点以外の部分との信号出力差を緩和し、距離画像全体の解像度、及び測距可能距離の低下を抑制することとが、できる。
　１　距離画像撮像装置
　２　光源部
　３　受光部
　３２　距離画像センサ
　３２１　画素
　４２　距離演算部
　ＣＳ　電荷蓄積部
　ＰＯ　光パルス
　ＲＬ　反射光
　Ｄｔ　ドット光
　Ｌ　ライン光
　１０１、１０１ａ、１０１ｂ　距離画像撮像装置
　１０２　光源部
　１０３　受光部
　１０４、１０４ａ　距離画像処理部
　１２１　光源装置
　１２２　拡散板
　１３１　レンズ
　１３２、１３２ａ　距離画像センサ
　１４１　タイミング制御部
　１４２、１４２ａ　距離演算部
　１４３、１４３ａ　測定制御部
　４２０　受光領域
　４２１、４２１ａ　画素回路
　４２２　画素駆動回路
　４２３　垂直走査回路
　４２４　水平走査回路
　４２５　画素信号処理回路
　４２６　制御回路
　ＣＳ、ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４　電荷蓄積部
　ＦＤ、ＦＤ１、ＦＤ２、ＦＤ３、ＦＤ４　フローティングディフュージョン
　ＦＴ　フレーム周期
　Ｇ、Ｇ１、Ｇ２、Ｇ３、Ｇ４　転送トランジスタ
　ＧＤ　電荷排出トランジスタ
　ＯＢ　被写体
　ＰＤ　光電変換素子
　ＰＯ　光パルス
　ＲＬ　反射光
　ＲＴ１、ＲＴ２、ＲＴ３、ＲＴ４　リセットトランジスタ
　ＳＦ、ＳＦ１、ＳＦ２、ＳＦ３、ＳＦ４　ソースフォロアトランジスタ
　ＳＦＴ１、ＳＦＴ２、ＳＦＴ３　サブフレーム周期
　ＳＬ、ＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４　選択トランジスタ
　Ｄｔ、Ｄｔ１、Ｄｔ２　ドット光
　Ｌ、Ｌ１～Ｌ１２　ライン光

Claims (27)

  1. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備え、
    　前記光パルスは、複数のドット光により構成される構造化光であり、
    　前記複数のドット光のうち少なくとも１つの第１ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、
    　距離画像撮像装置。
  2. 　前記第１ドット光の少なくとも一部分と、前記第１ドット光の長軸方向に隣接する他のドット光の少なくとも一部分とが、重複する、
    　請求項１に記載の距離画像撮像装置。
  3. 　前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有する、
    　請求項１に記載の距離画像撮像装置。
  4. 　前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、互いに異なる、
    　請求項３に記載の距離画像撮像装置。
  5. 　前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、互いに直交する、
    　請求項４に記載の距離画像撮像装置。
  6. 　前記複数の光源素子のうち少なくとも２つの光源素子からなる第１光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第１間隔、及び前記第１光源素子群とは異なる少なくとも２つ光源素子からなる第２光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第２間隔について、前記第１間隔と前記第２間隔とが、互いに異なる、
    　請求項５に記載の距離画像撮像装置。
  7. 　前記複数の光源素子のうち少なくとも２つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である、
    　請求項５に記載の距離画像撮像装置。
  8. 　前記複数の光源素子のうち２つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が、撮像装置の設置面に対し４５度もしくは１３５度である、
    　請求項７に記載の距離画像撮像装置。
  9. 　前記複数の光源素子のうち少なくとも１つは拡散光源である、
    　請求項３に記載の距離画像撮像装置。
  10. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備える距離画像撮像装置が行う距離画像撮像方法であって、
    　前記光パルスは、複数のドット光により構成される構造化光であり、
    　前記複数のドット光のうち少なくとも１つの第１ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、
    　距離画像撮像方法。
  11. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備え、
    　前記光源部は、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、
    　前記フレーム周期は、前記電荷を前記電荷蓄積部に蓄積する蓄積期間が異なる複数のサブフレーム周期を有し、
    　前記距離演算部は、前記複数のサブフレーム周期のうち、前記電荷量が、予め設定された閾値を超過していない前記サブフレーム周期を用いて、前記被写体までの距離を算出する、
    　距離画像撮像装置。
  12. 　前記複数のサブフレーム周期は、前記蓄積期間が予め設定された所定の期間である第１サブフレーム周期と、前記蓄積期間が前記所定の期間の２倍以上の期間である第２サブフレーム周期とであり、
    　前記距離演算部は、前記第１サブフレーム周期及び前記第２サブフレーム周期のうち、前記電荷量が前記閾値を超過していない、且つ、前記蓄積期間が長い方の前記サブフレーム周期を用いて、前記被写体までの距離を算出する、
    　請求項１１に記載の距離画像撮像装置。
  13. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備え、
    　前記光源部は、前記光パルスとして、周期的に配列されたライン光により構成される構造化光であり、ライン方向が互いに直交した２方向の前記ライン光をそれぞれ放射可能であり、
    　前記フレーム周期は、前記ライン光のライン方向が異なる複数のサブフレーム周期を有し、
    　前記距離演算部は、前記ライン方向が異なる前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、
    　距離画像撮像装置。
  14. 　前記光源部は、前記フレーム周期において、前記ライン方向が異なる前記ライン光を、前記サブフレーム周期ごとに、交互に変更して、前記光パルスを照射し、
    　前記距離演算部は、前記ライン方向が交互に変更された前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、　
    　請求項１３に記載の距離画像撮像装置。
  15. 　前記光源部は、前記フレーム周期において、前記被写体の移動方向に応じて、前記複数のサブフレーム周期のうちの、前記２方向の前記ライン光のそれぞれに対応する前記サブフレーム周期の割合を変更して、前記光パルスを照射する、
    　請求項１３に記載の距離画像撮像装置。
  16. 　前記光源部は、前記フレーム周期において、前記２方向のうち、前記被写体の移動量が大きい方向に対応する前記サブフレーム周期の割合を、前記被写体の移動量が小さい方向に対応する前記サブフレーム周期の割合より多く変更して、前記光パルスを照射する、
    　請求項１５に記載の距離画像撮像装置。
  17. 　前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有し、
    　前記ライン光は、前記複数の光源素子によって、複数のドット光を離散的にライン状に放射して形成、又は、前記複数のドット光をライン状に重複するように放射して形成される、
    　請求項１１から請求項１６のいずれか一項に記載の距離画像撮像装置。
  18. 　前記ドット光の形状は、短軸長に対する長軸長の比が２以上である楕円形状であり、
    　前記ライン光は、長軸の方向に沿ってライン状に形成される、
    　請求項１７に記載の距離画像撮像装置。
  19. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備える距離画像撮像装置の距離画像撮像方法であって、
    　前記光源部が、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、
    　前記フレーム周期は、前記電荷を前記電荷蓄積部に蓄積する蓄積期間が異なる複数のサブフレーム周期を有し、
    　前記距離演算部が、前記複数のサブフレーム周期のうち、前記電荷量が、予め設定された閾値を超過していない前記サブフレーム周期を用いて、前記被写体までの距離を算出する、
    　距離画像撮像方法。
  20. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備える距離画像撮像装置の距離画像撮像方法であって、
    　前記光源部が、前記光パルスとして、周期的に配列されたライン光により構成される構造化光であり、ライン方向が互いに直交した２方向の前記ライン光をそれぞれ放射可能であり、
    　前記フレーム周期は、前記ライン光のライン方向が異なる複数のサブフレーム周期を有し、
    　前記距離演算部が、前記ライン方向が異なる前記複数のサブフレーム周期のそれぞれで蓄積された前記電荷量に基づいて合成した前記被写体までの距離を算出する、
    　距離画像撮像方法。
  21. 　被写体に光パルスを照射する光源部と、
    　入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を備える二次元マトリクス状に複数配置された画素回路と、フレーム周期により前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出部と、を有する受光部と、
    　前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
    を備え、
    　前記光源部は、周期的に配列されたライン光により構成される構造化光である前記光パルスであって、２方向の前記ライン光が互いに直交した前記光パルスを放射し、
    　前記複数配置された画素回路のうち、前記ライン光が互いに直交して照射される前記被写体からの反射光を受光する位置に対応する第１画素回路の反射光に対する感度が、他の位置に対応する第２画素回路より低く構成されている、
    　距離画像撮像装置。
  22. 　前記第１画素回路の上に配置された、前記反射光の一部を反射もしくは吸収するフィルタ層を備える、
    　請求項２１に記載の距離画像撮像装置。
  23. 　前記第１画素回路の前記電荷蓄積部の容量が、前記第２画素回路の前記電荷蓄積部の容量より大きく構成されている、
    　請求項２１に記載の距離画像撮像装置。
  24. 　前記第１画素回路の前記光電変換素子の体積が、前記第２画素回路の前記光電変換素子の体積より小さく構成されている、
    　請求項２１に記載の距離画像撮像装置。
  25. 　前記第１画素回路の前記フレーム周期内における振り分け回数が、前記第２画素回路の前記フレーム周期内における振り分け回数よりも少なく構成されている、
    　請求項２１に記載の距離画像撮像装置。
  26. 　前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有し、
    　前記ライン光は、前記複数の光源素子によって、複数のドット光を離散的にライン状に放射して形成、又は、前記複数のドット光をライン状に重複するように放射して形成される、
    　請求項２１から請求項２５のいずれか一項に記載の距離画像撮像装置。
  27. 　前記ドット光の形状は、短軸長に対する長軸長の比が２以上である楕円形状であり、　
    　前記ライン光は、長軸の方向に沿ってライン状に形成される、
    　請求項２６に記載の距離画像撮像装置。
PCT/JP2023/021392 2022-06-08 2023-06-08 距離画像撮像装置、及び距離画像撮像方法 WO2023238913A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2022-092847 2022-06-08
JP2022092847A JP2023179914A (ja) 2022-06-08 2022-06-08 距離画像撮像装置、及び距離画像撮像方法
JP2022191493 2022-11-30
JP2022191128 2022-11-30
JP2022-191128 2022-11-30
JP2022-191493 2022-11-30

Publications (1)

Publication Number Publication Date
WO2023238913A1 true WO2023238913A1 (ja) 2023-12-14

Family

ID=89118386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021392 WO2023238913A1 (ja) 2022-06-08 2023-06-08 距離画像撮像装置、及び距離画像撮像方法

Country Status (1)

Country Link
WO (1) WO2023238913A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271476A1 (en) * 2011-04-26 2015-09-24 Semiconductor Components Industries, Llc Structured light imaging system
WO2016157593A1 (ja) * 2015-03-27 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2019105466A (ja) * 2017-12-11 2019-06-27 株式会社日立製作所 距離計測装置および距離計測方法
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
US20210132228A1 (en) * 2018-10-02 2021-05-06 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271476A1 (en) * 2011-04-26 2015-09-24 Semiconductor Components Industries, Llc Structured light imaging system
WO2016157593A1 (ja) * 2015-03-27 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
JP2019105466A (ja) * 2017-12-11 2019-06-27 株式会社日立製作所 距離計測装置および距離計測方法
JP2019113530A (ja) * 2017-12-22 2019-07-11 株式会社デンソー 距離測定装置、認識装置、及び距離測定方法
US20210132228A1 (en) * 2018-10-02 2021-05-06 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension

Similar Documents

Publication Publication Date Title
KR102494430B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP4981780B2 (ja) 測距システム及び測距方法
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
US20130300838A1 (en) Methods and devices for generating a representation of a 3d scene at very high speed
CN113330327A (zh) 使用脉冲束稀疏阵列的深度感测校准
JP5576851B2 (ja) 測距システム及び測距方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US8558473B2 (en) Light emitting device, light receiving system and image pickup system
TW202112122A (zh) 距離影像攝像裝置及距離影像攝像方法
KR20170015941A (ko) 측거 장치
US20220350024A1 (en) Distance image capturing device and distance image capturing method
JP6190690B2 (ja) 距離測定システム及び補正用データの取得方法
WO2023238913A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP3906858B2 (ja) 距離画像センサ
KR102434786B1 (ko) 거리 측정을 위한 방법 및 디바이스
US20230262357A1 (en) Range imaging device and range imaging apparatus
CN110545390A (zh) 飞行时间传感器及方法
EP4239284A1 (en) Distance image capturing element and distance image capturing device
JP2023178792A (ja) 距離画像撮像素子および距離画像撮像装置
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022158536A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2022158577A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023228981A1 (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819893

Country of ref document: EP

Kind code of ref document: A1