WO2025037565A1 - 測距装置、および測距方法 - Google Patents

測距装置、および測距方法 Download PDF

Info

Publication number
WO2025037565A1
WO2025037565A1 PCT/JP2024/028314 JP2024028314W WO2025037565A1 WO 2025037565 A1 WO2025037565 A1 WO 2025037565A1 JP 2024028314 W JP2024028314 W JP 2024028314W WO 2025037565 A1 WO2025037565 A1 WO 2025037565A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
signal
charge accumulation
modulation frequency
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/028314
Other languages
English (en)
French (fr)
Inventor
創造 横川
小桃 小玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025037565A1 publication Critical patent/WO2025037565A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • This disclosure relates to a distance measuring device and a distance measuring method.
  • a commonly known method of measuring distances in distance measurement modules is the indirect ToF method (Indirect Time of Flight).
  • Indirect Time of Flight the time from when a pattern of light is irradiated toward an object until it is received as reflected light is generated as a phase difference, and a distance measurement value is generated based on this phase difference.
  • AC modulated light is repeatedly irradiated. Furthermore, multiple modulation frequencies are set and distributed to the two charge storage sections. This modulation frequency has four different phases (0, 90, 180, 270 degrees), and four data reads are required. Furthermore, measurements may be performed using multiple AC modulated lights to further improve measurement accuracy. In this case, for multiple AC modulated lights, the modulation frequency has four different phases (0, 90, 180, 270 degrees), and eight data reads are generally required. For this reason, if the object to be measured is a moving object, the measurement period may be longer, and the measurement accuracy may decrease.
  • the present disclosure provides a distance measuring device and a distance measuring method that can suppress a decrease in the measurement accuracy of distance values generated based on phase differences.
  • a distance measuring device that sequentially irradiates a first irradiation light having a first modulation frequency and a second irradiation light having a second modulation frequency different from the first modulation frequency, and generates a distance value using light reflected by an object
  • a distance measuring sensor including: a first charge accumulation unit that accumulates a signal charge generated by a first photoelectric conversion unit using a first drive frequency synchronized with the first modulation frequency; and a second charge accumulation unit that accumulates a signal charge generated by a second photoelectric conversion unit using a second drive frequency synchronized with the second modulation frequency; a control unit that controls a switching period for switching from the first irradiation light to the second irradiation light to be shorter than a readout period for reading out a first signal corresponding to the accumulated charge in the first charge accumulation unit and a second signal corresponding to the accumulated charge in the second charge accumulation unit after irradiation with the second ir
  • the distance measurement sensor may include a plurality of pixel groups having the first charge storage section and a plurality of pixel groups having the second charge storage section.
  • the distance measurement sensor further includes a first charge discharging transistor capable of supplying a predetermined potential to the first photoelectric conversion unit and a second charge discharging transistor capable of supplying a predetermined potential to the second photoelectric conversion unit;
  • the control unit sets the first charge discharging transistor in a conductive state and sets the second charge discharging transistor in a non-conductive state during a period in which the second irradiation light is irradiated;
  • the first charge discharging transistor may be in a non-conductive state and the second charge discharging transistor may be in a conductive state during a period in which the first irradiation light is applied.
  • the distance measurement sensor further includes a first charge discharging transistor capable of supplying a predetermined potential to the first photoelectric conversion unit and a second charge discharging transistor capable of supplying a predetermined potential to the second photoelectric conversion unit;
  • the control unit may cause the first charge discharging transistor to alternate between a non-conductive state and a conductive state during a period in which the second irradiation light is applied, and may cause the second charge discharging transistor to alternate between a non-conductive state and a conductive state during a period in which the first irradiation light is applied.
  • a first pixel having the first photoelectric conversion unit accumulates charge in a first charge accumulation unit of the first charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the first modulation frequency, and accumulates charge in a second charge accumulation unit of the first charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the first modulation frequency;
  • a second pixel adjacent to the first pixel and having the first photoelectric conversion unit accumulates charge in a third charge accumulation unit of the first charge accumulation unit in accordance with a 90-degree pulse drive signal having a phase difference of 90 degrees from the first modulation frequency, and accumulates charge in a fourth charge accumulation unit of the first charge accumulation unit in accordance with a 270-degree pulse drive signal having a phase difference of 270 degrees from the first modulation frequency;
  • the signal processing unit may generate the first phase difference based on charges accumulated in each of the first to fourth charge accumulation units of the first charge accumulation unit.
  • a third pixel having the second photoelectric conversion unit accumulates charge in a first charge accumulation unit of the second charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the second modulation frequency, and accumulates charge in a second charge accumulation unit of the second charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees with the second modulation frequency;
  • a fourth pixel adjacent to the third pixel and having the second photoelectric conversion unit accumulates charge in a third charge accumulation unit of the second charge accumulation unit in accordance with a 90-degree pulse drive signal having a phase difference of 90 degrees from the second modulation frequency, and accumulates charge in a fourth charge accumulation unit of the second charge accumulation unit in accordance with a 270-degree pulse drive signal having a phase difference of 270 degrees from the second modulation frequency;
  • the signal processing unit may generate the second phase difference based on charges accumulated in each of the first to fourth charge accumulation units of the second charge accumulation unit.
  • a fifth pixel having the first photoelectric conversion unit accumulates charge in a first charge accumulation unit of the first charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the first modulation frequency, accumulates charge in a second charge accumulation unit of the first charge accumulation unit in accordance with a 90 degree pulse drive signal having a phase difference of 90 degrees from the first modulation frequency, accumulates charge in a third charge accumulation unit of the first charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the first modulation frequency, and accumulates charge in a fourth charge accumulation unit of the first charge accumulation unit in accordance with a 270 degree pulse drive signal having a phase difference of 270 degrees from the first modulation frequency;
  • the signal processing unit may generate the first phase difference based on charges accumulated in first to fourth charge accumulation units of the first charge accumulation unit.
  • a sixth pixel having the second photoelectric conversion unit accumulates charge in a first charge accumulation unit of the second charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the second modulation frequency, accumulates charge in a second charge accumulation unit of the second charge accumulation unit in accordance with a 90 degree pulse drive signal having a phase difference of 90 degrees from the second modulation frequency, accumulates charge in a third charge accumulation unit of the second charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the second modulation frequency, and accumulates charge in a fourth charge accumulation unit of the second charge accumulation unit in accordance with a 270 degree pulse drive signal having a phase difference of 270 degrees from the second modulation frequency;
  • the signal processing unit may generate the second phase difference based on charges accumulated in each of first to fourth charge accumulation units of the second charge accumulation unit.
  • the fifth pixel and the sixth pixel may be adjacent.
  • the first photoelectric conversion unit and the second photoelectric conversion unit may be the same photoelectric conversion unit.
  • a seventh pixel accumulates charge in one charge accumulation section of the first charge accumulation section in accordance with one of two pulse drive signals having different phases, in synchronization with the first modulation frequency, and accumulates charge in the other charge accumulation section of the first charge accumulation section in accordance with the other of the two pulse drive signals having different phases; Charge may be accumulated in one charge accumulation section of the second charge accumulation section in accordance with one of two pulse drive signals having different phases, synchronized with the second modulation frequency, and charge may be accumulated in the other charge accumulation section of the second charge accumulation section in accordance with the other of the two pulse drive signals having different phases.
  • the two pulse drive signals synchronized with the first modulation frequency and having different phases are a 0 degree pulse drive signal that is in phase with the first modulation frequency and a 180 degree pulse drive signal that is 180 degrees out of phase with the first modulation frequency
  • the two pulse drive signals synchronized with the second modulation frequency and having different phases may be a 0 degree pulse drive signal that is in phase with the second modulation frequency and a 180 degree pulse drive signal that is 180 degrees out of phase with the second modulation frequency.
  • an eighth pixel adjacent to the seventh pixel has a configuration equivalent to that of the seventh pixel, and the two pulse drive signals synchronized with the first modulation frequency and having different phases are a 90-degree pulse drive signal that is in phase with the first modulation frequency and a 270-degree pulse drive signal that is out of phase with the first modulation frequency by 270 degrees;
  • the two pulse drive signals synchronized with the second modulation frequency and having different phases may be a 90-degree pulse drive signal that is in phase with the second modulation frequency and a 270-degree pulse drive signal that is 270 degrees out of phase with the second modulation frequency.
  • the first modulation frequency may be lower than the second modulation frequency.
  • the signal processing unit may generate the distance measurement value based on the repetition period of the second phase difference corresponding to the first phase difference and the second phase difference.
  • the first modulation frequency and the second modulation frequency may have the same period.
  • the signal processing unit generates a second reliability using a third component using a signal based on the accumulated charge of a first charge accumulation unit of the second charge accumulation unit and a signal based on the accumulated charge of a third charge accumulation unit of the second charge accumulation unit, and a fourth component using a signal based on the accumulated charge of a second charge accumulation unit of the first charge accumulation unit and a signal based on the accumulated charge of the second charge accumulation unit of the second charge accumulation unit,
  • the distance measurement value may be generated
  • a distance measuring device that emits a first illumination light having a first modulation frequency and generates a distance value using a reflected light reflected by an object, a distance measuring sensor having a tenth pixel that accumulates a signal charge generated in a photoelectric conversion unit in a first charge accumulation unit in accordance with a 0 degree pulse drive signal that is synchronized with the first modulation frequency and has the same phase as the first modulation frequency, accumulates the signal charge in a second charge accumulation unit in accordance with a 90 degree pulse drive signal that is 90 degrees out of phase with the first modulation frequency, accumulates the signal charge in a third charge accumulation unit in accordance with a 180 degree pulse drive signal that is 180 degrees out of phase with the first modulation frequency, and accumulates the signal charge in a fourth charge accumulation unit in accordance with a 270 degree pulse drive signal that is 270 degrees out of phase with the first modulation frequency; a first sum signal of a signal based on the accumulated charge of the first modulation frequency
  • a distance measuring device that sequentially irradiates a first irradiation light having a first modulation frequency, a second irradiation light having a second modulation frequency different from the first modulation frequency, and a third irradiation light having the first modulation frequency, and generates a distance value using light reflected by an object
  • a distance measuring sensor including: a first charge accumulation unit that accumulates a signal charge generated by a first photoelectric conversion unit using a first drive frequency synchronized with the first modulation frequency; and a second charge accumulation unit that accumulates a signal charge generated by a second photoelectric conversion unit using a second drive frequency synchronized with the second modulation frequency; a readout unit that reads out a first signal corresponding to the accumulated charge in the first charge accumulation unit after irradiation with the first irradiation light, reads out a second signal corresponding to the accumulated charge in the second charge accumulation unit, and reads out a third signal
  • a distance measuring method using a distance measuring sensor having a first charge accumulation unit that accumulates a signal charge generated in a first photoelectric conversion unit by a first drive frequency synchronized with the first modulation frequency, and a second charge accumulation unit that accumulates a signal charge generated in a second photoelectric conversion unit by a second drive frequency synchronized with the second modulation frequency, a switching period for switching from the first irradiation light to the second irradiation light is shorter than a readout period for reading out a first signal corresponding to the accumulated charge in the first charge accumulation section and a second signal corresponding to the accumulated charge in the second charge accumulation section after irradiation with the second irradiation light;
  • a distance measurement method is provided in which a first phase difference is generated based
  • FIG. 1 is a diagram showing an example of the schematic configuration of a distance measuring device to which the present technology is applied.
  • FIG. 2 is a block diagram showing a configuration example of a light receiving element.
  • FIG. 2 is a diagram showing an example of the arrangement of pixels of a distance measurement sensor according to their functions.
  • 1 is a diagram illustrating an example of the arrangement of four adjacent pixels having a modulation frequency Fmod1 and four adjacent pixels having a modulation frequency Fmod2;
  • FIG. 2 is a diagram showing an example of a detailed circuit configuration of a pixel.
  • 4A and 4B are diagrams for explaining emission of irradiation light and driving of pixels.
  • FIG. 4 is a block diagram showing a configuration example of a signal processing unit.
  • FIG. 13 is a diagram illustrating exposure periods of the first taps of pixels in each phase, arranged so that the phase difference can be easily understood.
  • FIG. 13 is a schematic explanatory diagram showing that the reliability is constant regardless of the phase.
  • 4 is a time chart showing a driving example according to the present embodiment.
  • 5A and 5B are diagrams showing pixels used by an interpolation processing unit and examples of combinations of pixels.
  • 5A and 5B are diagrams illustrating a method of calculating distance values in an interpolation processing unit using a first distance value and a second distance value.
  • FIG. 13 is a diagram showing the relationship between the reflectance of an object and reliability.
  • FIG. 13 is a graph showing reliability when two types of measurement light are used.
  • FIG. 4 is a diagram showing a schematic diagram of a driving state of Comparative Example 1.
  • FIG. 11 is a diagram showing a relationship between an object and a depth value (distance measurement value) in Comparative Example 1.
  • FIG. 11 is a diagram showing a schematic diagram of a driving state of Comparative Example 2.
  • FIG. 11 is a diagram showing a relationship between an object and a depth value (measured distance value) in Comparative Example 2.
  • 5A and 5B are diagrams illustrating the relationship between an object and a depth value (distance measurement value) according to the embodiment.
  • FIG. 2 is a diagram showing three driving modes. 21A to 21C are diagrams showing three driving modes different from those in FIG. 20;
  • FIG. FIG. 13 is a diagram showing an example of an interpolation process for a pixel group.
  • FIG. 11A and 11B are diagrams showing an example of an interpolation process for a pixel group.
  • 5 is a flowchart showing a control example according to the embodiment.
  • 5 is a time chart showing a driving example according to Modification 1 of the first embodiment
  • FIG. 11 is a diagram showing an example of the configuration of a distance measuring sensor according to a second embodiment.
  • 10 is a time chart showing a driving example according to the second embodiment
  • 13 is a time chart showing a driving example according to the third embodiment.
  • 13 is a time chart showing an example of driving the distance measuring device according to the fourth embodiment.
  • FIG. 13 is a diagram showing an example in which a pixel is configured with 4TAP.
  • FIG. 32 is a diagram showing an example of an interpolation process in the arrangement example of FIG. 31 .
  • FIG. 2 is a diagram showing three driving modes.
  • 34 is a diagram showing three driving modes different from those in FIG. 33; 34 is a diagram showing three driving modes further different from those in FIG. 33 .
  • 34 is a diagram showing three driving modes further different from those in FIG. 33 .
  • a distance measuring device and a distance measuring method will be described with reference to the drawings.
  • the following description will focus on the main components of the distance measuring device and the distance measuring method, but the distance measuring device and the distance measuring method may include components and functions that are not shown or described. The following description does not exclude components and functions that are not shown or described.
  • Fig. 1 is a diagram showing a schematic configuration example of a distance measuring device to which the present technology is applied.
  • the distance measuring device 1 in Fig. 1 is a system capable of reading all phase data for a plurality of AC modulated lights in a single readout.
  • This distance measuring device 1 includes a control device 11, a light receiving device 12, and an illumination device 13.
  • the light receiving device 12 includes a light receiving element 31 and a lens 32.
  • the illumination device 13 includes an LD 21 and a light emitting unit 22.
  • the control device 11 is a device that controls the operation of the entire distance measuring device 1.
  • the control device 11 specifies an operation mode and supplies a measurement request to the light receiving device 12.
  • the control device 11 also acquires from the light receiving device 12 measurement data generated based on the results of light received by the light receiving device 12 in response to a measurement request.
  • the control device 11 is not a part of the configuration of the distance measuring device 1, but may be provided outside the distance measuring device 1, for example, as a control unit of a host device in which the distance measuring device 1 is incorporated.
  • the operating modes that the control device 11 can specify for the light receiving device 12 include a distance measurement mode that measures the distance to an object using an indirect ToF method, and a 2D image capture mode that generates a two-dimensional luminance image.
  • Distance measurement using the indirect ToF method detects the flight time from the time when the irradiated light is emitted to the time when the reflected light is received as a phase difference, and calculates the distance to the object.
  • the 2D image capture mode is a mode that outputs a two-dimensional luminance image according to the amount of received light, like a normal image sensor.
  • the distance measuring device 1 according to this embodiment also has multiple distance measurement modes. The distance measurement modes will be described in detail later.
  • the light receiving element 31 of the light receiving device 12 supplies a light emitting pulse to the LD 21 under the control of the control unit 51 (see FIG. 2 described below), causing the light emitting unit 22 to emit irradiation light.
  • the light receiving element 31 then receives reflected light from subjects such as objects 41 and 42 via the lens 32.
  • the lens 32 forms an image of the reflected light from the subjects as incident light on the light receiving surface of the light receiving element 31.
  • the configuration of the lens 32 is arbitrary, and for example, the lens 32 can be formed from a group of multiple lenses.
  • the light emitting pulse is a timing signal that serves as a reference for the light emitting operation of the light emitting unit 22 and the light receiving operation of the light receiving element 31, and is, for example, a pulse signal that is repeatedly on (High) and off (Low).
  • a pulse signal of the modulation frequency Fmod1 according to this embodiment is generated in a first period
  • a pulse signal of the modulation frequency Fmod2 is generated in a second period.
  • the modulation frequency Fmod1 is a frequency on the low frequency side, for example, 20 MHz.
  • the modulation frequency Fmod2 is a frequency on the high frequency side, for example, 100 MHz.
  • the ranging accuracy on the Fmod1 side is, for example, such that 360 degrees corresponds to 7.5 m.
  • the ranging accuracy on the Fmod2 side is, for example, such that 360 degrees corresponds to 1.5 m. That is, when generating one distance image (depth image), distance measurement (Coarse Depth) is performed using a pulse signal with a modulation frequency Fmod1, and distance measurement (Fine Depth) is performed using a pulse signal with a modulation frequency Fmod2. Note that in this embodiment, the modulation frequency Fmod1 corresponds to the first modulation frequency, and the modulation frequency Fmod2 corresponds to the second modulation frequency.
  • the light receiving element 31 When the operating mode is the distance measurement mode, the light receiving element 31 generates a depth image that stores information about the distance to the subject based on the result of receiving the reflected light, and outputs this as measurement data to the control device 11.
  • the light receiving element 12 When the operating mode is the 2D image capture mode, the light receiving element 12 generates a luminance image of the subject based on the result of receiving the reflected light, and outputs this as measurement data to the control device 11.
  • the specific configuration of the light receiving element 31 will be described in detail from FIG. 2 onwards.
  • the LD 21 of the lighting device 13 is, for example, a laser driver that drives the light-emitting unit 22, and drives the light-emitting unit 22 based on the light-emitting pulse from the light-receiving element 31, causing the light-emitting unit 22 to output AC modulated light as irradiation light.
  • the light-emitting unit 22 is composed of, for example, a VCSEL LED (Vertical Cavity Surface Emitting LASER LED), and emits irradiation light when the LD 21 is driven.
  • IR light infrared light with a wavelength in the range of approximately 850 nm to 940 nm is used as the irradiation light.
  • FIG. 2 is a block diagram showing an example of the configuration of the light receiving element 31 in FIG.
  • the light receiving element 31 includes a control unit 51, a distance measurement sensor 52, a pulse generating circuit 53, a tap driving unit 54, a vertical driving unit 55, a column processing unit 56, a horizontal driving unit 57, a signal processing unit 58, and an output unit 59.
  • the control unit 51 controls the operation of the entire light receiving element 31. For example, the control unit 51 acquires the operation mode and the measurement request supplied from the control device 11 via an input unit (not shown). The control unit 51 also instructs the pulse generation circuit 53 to generate a light emission pulse of a predetermined modulation frequency Fmod according to the operation mode. The control unit 51 supplies control signals for performing operations according to the operation mode to the tap drive unit 54, the vertical drive unit 55, the column processing unit 56, the horizontal drive unit 57, and the like.
  • control unit 51 sets and controls the charge accumulation time in the distance measurement sensor 52, the readout period of the accumulated charge, the irradiation time of the irradiation light using the pulse generation circuit 53, the switching period for switching the modulation frequency of the irradiation light, and the like. Furthermore, the control unit 51 instructs the signal processing unit 58 to perform predetermined signal processing according to the operation mode, such as a generation process for generating distance values based on multiple phase differences and generating a depth image (distance image), and a generation process for generating a luminance image, to the signal processing unit 58.
  • a plurality of pixels 61 are arranged two-dimensionally in a matrix in the distance measurement sensor 52.
  • the configuration of the pixels 61 according to the present embodiment is the same, it is possible to make the functions of the pixels different by using different drive signals via the tap drive unit 54.
  • FIG. 3 is a diagram showing an example of the functional arrangement of pixels in the distance measurement sensor 52.
  • the light receiving frequency processed by the pixels 61 differs every two rows.
  • the pixels 61 in the two rows from the top receive and process 20 MHz measurement light that has high and low levels of illuminance.
  • Fmod1 modulation frequency
  • "0" and "180” correspond to the measurement pixels corresponding to phase 0 and 180 degrees
  • "90” and "270” correspond to the measurement pixels corresponding to phase 90 and 270 degrees.
  • these arrangement examples are only examples and are not limited to these. That is, it is also possible to switch the pixel 61 that processes the modulation frequency Fmod1 and the pixel 61 that processes the modulation frequency Fmod2. Similarly, it is also possible to switch the measurement pixel corresponding to phase 0 and 180 degrees and the measurement pixel corresponding to phase 90 and 270 degrees. Alternatively, it is also possible to arrange the pixel 61 that processes the modulation frequency Fmod1 and the pixel 61 that processes the modulation frequency Fmod2 in a checkerboard pattern.
  • FIG. 4 is a schematic diagram showing an example of the arrangement of four adjacent pixels 61A, B, C, and D with a modulation frequency Fmod1, and four adjacent pixels 61a, b, c, and d with a modulation frequency Fmod2.
  • pixel 61 distributes accumulated charge to two taps (charge accumulation sections) 73A and B that accumulate charge via two transfer transistors 72A and B.
  • the taps (charge accumulation sections) 73A and B of pixels 61A, B, C, and D correspond to the first charge accumulation section.
  • the taps (charge accumulation sections) 73A and B of pixels 61a, b, c, and d according to this embodiment correspond to the second charge accumulation section.
  • four adjacent pixels 61A, B, C, and D receive reflected light by tap 73A at light reception timings shifted by 0°, 90°, 180°, and 270° with respect to the irradiation timing of the irradiation light of modulation frequency Fmod1, and accumulate electric charges.
  • pixel 61A receives light with a phase of 0° relative to the irradiation timing of the irradiation light
  • pixel 61B receives light with a phase of 90° relative to the irradiation timing of the irradiation light
  • pixel 61C receives light with a phase of 180° relative to the irradiation timing of the irradiation light
  • pixel 61D receives light with a phase of 270° relative to the irradiation timing of the irradiation light, and so on, receiving reflected light with different phases and accumulating electric charges.
  • a phase of 0°, 90°, 180°, or 270° refers to the phase at tap 73A of pixel 61.
  • Tap 73B has an inverted phase from the first tap, so when the first tap has a phase of 0°, 90°, 180°, or 270°, the second tap has a phase of 180°, 270°, 0°, or 90°, respectively.
  • Tap 73A may also be referred to as the first tap
  • tap 73B may also be referred to as the second tap.
  • the four adjacent pixels 61a, b, c, d receive reflected light by tap 73A (first tap) at light reception timings shifted by 0°, 90°, 180°, and 270° with respect to the irradiation timing of the irradiation light of the modulation frequency Fmod2. More specifically, pixel 61a receives light with a phase of 0° relative to the irradiation timing of the irradiation light, pixel 61b receives light with a phase of 90°, pixel 61c receives light with a phase of 180°, and pixel 61d receives light with a phase of 270°, and so on, thus receiving reflected light with different phases.
  • each of the four adjacent pixels 61A, B, C, D and each of the four adjacent pixels 61a, b, c, d arranged two-dimensionally in the distance measurement sensor 52 can simultaneously generate light reception signals with different phases by changing the phase with respect to the irradiation timing of the irradiation light for each position of the pixel 61.
  • signal charges can be accumulated in the four adjacent pixels 61A, B, C, D in the distance measurement sensor 52 and in the taps 73A and B of the four adjacent pixels 61a, b, c, d, so that phase information at the modulation frequency Fmod1 required for long-distance measurement and phase information at the modulation frequency Fmod2 required for high-precision distance measurement can be read out together in a series of readout sequences in a single readout.
  • sequence processing is executed to read out the data all at once, but this is not limited to this.
  • the distance measurement sensor 52 has a pixel drive line 63 wired in the horizontal direction for each pixel row, and two vertical signal lines 64A and 64B wired in the vertical direction for each pixel column.
  • the pixel drive line 63 transmits a drive signal for driving the pixels 61 when reading out the detection signal VSL.
  • the pixel drive line 63 is shown as one line, but the number of lines is not limited to one.
  • One end of the pixel drive line 63 is connected to an output terminal of the vertical drive unit 55 corresponding to each pixel row.
  • the vertical signal line 64A is a signal line that transmits the detection signal VSLA of the first tap to the column processing unit 56
  • the vertical signal line 64B is a signal line that transmits the detection signal VSLB of the second tap to the column processing unit 56.
  • the pulse generating circuit 53 generates an emission pulse of a predetermined modulation frequency Fmod according to the control of the control unit 51, and outputs it to the LD 21 of the lighting device 13.
  • the modulation frequency Fmod1 of the emission pulse is set to 20 MHz
  • the modulation frequency Fmod2 is set to 100 MHz. Note that this modulation frequency is an example, and is not limited to this value.
  • the pulse generating circuit 53 also generates drive signals GDA and GDB corresponding to the light emission pulses of the modulation frequency Fmod and supplies them to the tap driving unit 54.
  • the drive signal GDA is a drive signal for transferring the charge generated in the photoelectric conversion unit of each pixel 61 to the first tap
  • the drive signal GDB is a drive signal for transferring the charge generated in the photoelectric conversion unit of each pixel 61 to the second tap.
  • the drive signals GDA and GDB are signals in which the phase of one is inverted relative to the other.
  • the tap drive unit 54 distributes the two drive signals GDA and GDB supplied from the pulse generation circuit 53 to generate drive signals GDA' and GDB' for each pixel 61, and supplies them to each pixel 61 of the distance measurement sensor 52.
  • the tap drive unit 54 controls the distribution of charge to the two taps of each pixel 61 by supplying drive signals GDA' and GDB' to each pixel column of the distance measurement sensor 52.
  • the drive signals GDA' and GDB' are a combination of pulse signals having phases of [0 deg] and [180 deg] at a frequency of 20 MHz when the modulation frequency is Fmod1, or a combination of pulse signals having phases of [90 deg] and [270 deg] at a frequency of 20 MHz.
  • the combined pulse signal having phases of [0 deg] and [180 deg] is supplied to pixels 61A and D (see FIG. 4), and the combined pulse signal having phases of [90 deg] and [270 deg] is supplied to pixels 61B and C (see FIG. 4).
  • drive signals GDA' and GDB' are a combination of pulse signals having phases of [0 deg] and [180 deg] at a frequency of 100 MHz when the modulation frequency is Fmod2, or a combination of pulse signals having phases of [90 deg] and [270 deg] at a frequency of 100 MHz. That is, the combined pulse signals having phases of [0 deg] and [180 deg] are supplied to pixels 61a and d (see FIG. 4), and the combined pulse signals having phases of [90 deg] and [270 deg] are supplied to pixels 61b and c (see FIG. 4).
  • the vertical drive unit 55 is a pixel drive unit that is composed of a shift register, an address decoder, etc., and drives each pixel 61 of the distance measurement sensor 52 simultaneously or row by row, etc., via pixel drive lines 63 wired in the horizontal direction for each pixel row.
  • the detection signals VSLA and VSLB output from each pixel 61 of the pixel row selected and scanned by the vertical drive unit 55 are supplied as pixel signals to the column processing unit 56 via vertical signal lines 64A or 64B.
  • the column processing unit 56 performs a predetermined signal processing on the pixel signals input from each pixel 61 in the selected row via the vertical signal line 64A or 64B for each pixel column of the distance measurement sensor 52, and temporarily stores the pixel signals after the signal processing. For example, the column processing unit 56 performs AD (analog-to-digital) conversion processing of the pixel signals as the signal processing. Note that the column processing unit 56 in this embodiment corresponds to a readout unit.
  • the horizontal drive unit 57 is composed of a shift register, an address decoder, etc., and sequentially selects unit circuits corresponding to pixel columns in the column processing unit 56. Through selective scanning by this horizontal drive unit 57, pixel signals that have been signal-processed by the column processing unit 56 are sequentially output to the signal processing unit 58.
  • the signal processing unit 58 has a predetermined calculation processing function, and performs a predetermined calculation processing as necessary on the pixel signal output from the column processing unit 56, and outputs the signal to the control device 11 (see Figure 1) via the output unit 59.
  • the signal processing unit 58 calculates distance information to the subject based on the pixel data (detection signals VSLA and VSLB) for each tap of each pixel 61 supplied from the column processing unit 56, and performs processing to generate a depth image in which the distance information is stored as the pixel value of each pixel.
  • the signal processing unit 58 performs processing to generate a luminance image of the subject based on the pixel data for each tap of each pixel 61 supplied from the column processing unit 56. Details of the signal processing unit 58 will be described later.
  • the output unit 59 is composed of a specific communication interface such as MIPI (Mobile Industry Processor Interface), and outputs the depth image and brightness image, which are the results of the calculation processing by the signal processing unit 58, to the control device 11 as measurement data.
  • MIPI Mobile Industry Processor Interface
  • the light receiving element 31 configured as described above performs a light receiving operation in an operation mode designated by the control device 11.
  • the light receiving element 31 performs a light receiving operation by switching the modulation frequency Fmod of the light emitting pulse to at least two types of modulation frequencies, low-speed drive Fmod1 and high-speed drive Fmod2, and generates and outputs a depth image.
  • the 2D image shooting mode is designated as the operation mode, the light receiving element 31 generates and outputs a luminance image of the subject.
  • the irradiation light may or may not be emitted at a predetermined modulation frequency Fmod, as in the distance measurement mode.
  • the output of the light emitting pulse to the lighting device 13 is stopped.
  • the irradiation light is emitted and received at the second modulation frequency Fmod2 for low-speed drive.
  • the modulation frequency Fmod when emitting irradiation light in 2D image capture mode does not need to be the same as any of the modulation frequencies Fmod when operating in distance measurement mode.
  • Example of pixel circuit configuration> 5 is a diagram showing a detailed circuit configuration example of the pixel 61.
  • the pixel 61 in FIG. 5 includes a photoelectric conversion element (photodiode) 71 as a photoelectric conversion unit.
  • the pixel 61 also includes a transfer transistor 72, an FD (floating diffusion region) 73, an FD gate transistor 74, an amplification transistor 75, a reset transistor 76, and a selection transistor 77, two of which correspond to each of the two taps.
  • the pixel 61 includes transfer transistors 72A and 72B, FDs 73A and 73B, FD gate transistors 74A and 74B, amplification transistors 75A and 75B, reset transistors 76A and 76B, and selection transistors 77A and 77B, and the element with A attached to the symbol is the element on the first tap side, and the element with B attached to the symbol is the element on the second tap side.
  • the FDs 73A and 73B correspond to two taps that store the charge generated by the photoelectric conversion element 71.
  • the pixel 61 further includes a charge discharging transistor 78.
  • Each transistor included in the pixel 61 is configured with an N-type MOSFET.
  • the FDs (floating diffusion regions) 73A and 73B according to this embodiment correspond to the charge accumulation portion.
  • the photoelectric conversion element 71 generates and accumulates an electric charge according to the amount of reflected light received. Note that the photoelectric conversion element 71 in this embodiment corresponds to a photoelectric conversion unit.
  • the transfer transistor 72A becomes conductive in response, thereby transferring the charge stored in the photoelectric conversion element 71 to the FD 73A.
  • the transfer transistor 72B becomes conductive in response, thereby transferring the charge stored in the photoelectric conversion element 71 to the FD 73B.
  • FD73A is a charge storage unit of the first tap that temporarily stores and holds the charge transferred from the photoelectric conversion element 71.
  • FD73B is a charge storage unit of the second tap that temporarily stores and holds the charge transferred from the photoelectric conversion element 71.
  • the FD gate transistor 74A When the FD drive signal FDG supplied to the gate electrode is in an active state, the FD gate transistor 74A becomes conductive in response to this, thereby connecting the additional capacitance between the FD gate transistor 74A and the reset transistor 76A to the FD 73A.
  • the FD gate transistor 74B When the FD drive signal FDG supplied to the gate electrode is in an active state, the FD gate transistor 74B becomes conductive in response to this, thereby connecting the additional capacitance between the FD gate transistor 74B and the reset transistor 76B to the FD 73B.
  • the storage capacitance can be changed by dynamically controlling the on/off of the FD gate transistor 74 according to the amount of incident light. In FIG.
  • FD drive signal line 81 is shown, and the FD drive signal FDG is shared by the FD gate transistors 74A and 74B, but in reality, the FD drive signal line 81 is provided separately for each of the FD gate transistors 74A and 74B, and the on/off is controlled so that each operates exclusively.
  • the amplifier transistor 75A has a source electrode connected to the vertical signal line 64A via the selection transistor 77A, and is connected to a constant current source (not shown) to form a source follower circuit.
  • the amplifier transistor 75B has a source electrode connected to the vertical signal line 64B via the selection transistor 77B, and is connected to a constant current source (not shown) to form a source follower circuit.
  • the reset transistor 76A becomes conductive in response to the reset drive signal RST supplied to the gate electrode becoming active, thereby resetting the potential of the FD 73A.
  • the reset transistor 76B becomes conductive in response to the reset drive signal RST supplied to the gate electrode becoming active, thereby resetting the potential of the FD 73B.
  • the reset transistors 76A and 76B are activated, the FD gate transistors 74A and 74B are also simultaneously activated.
  • FIG. 3 a single reset drive signal line 82 is shown, and the reset drive signal RST is shared by the reset transistors 76A and 76B.
  • the reset drive signal line 82 is provided separately for each of the reset transistors 76A and 76B, and the on/off is controlled so that each operates exclusively.
  • a predetermined drain voltage RSTDRAIN is supplied to the drains of the reset transistors 76A and 76B.
  • the selection transistor 77A is connected between the amplification transistor 75A and the vertical signal line 64A, and when the selection signal SEL supplied to the gate electrode is in an active state, it becomes conductive and outputs the detection signal VSLA output from the amplification transistor 75A to the vertical signal line 64A.
  • the selection transistor 77B is connected between the amplification transistor 75B and the vertical signal line 64B, and when the selection signal SEL supplied to the gate electrode is in an active state, it becomes conductive and outputs the detection signal VSLB output from the amplification transistor 75B to the vertical signal line 64B.
  • a single selection signal line 83 is shown as being configured so that the selection signal SEL is shared by the selection transistors 77A and 77B, but in reality, the selection signal line 83 is provided separately for each of the selection transistors 77A and 77B, and is controlled to be on or off so that each operates exclusively.
  • Fig. 6 is a diagram for explaining the emission of irradiation light and the driving of pixels.
  • An example of the operation of pixel 61A will be explained based on Fig. 6 while referring to Fig. 5.
  • the driving signals GDA' and GDB' are an example of a combination of pulse signals having phases of [0 deg] and [180 deg].
  • the horizontal axis is time, and from the top are the irradiated light, the reflected light, the drive signal GDA' with a phase of 0 degrees, and the drive signal GDB' with a phase of 180 degrees.
  • the irradiated light indicates the modulation frequency Fmod (1/2T) of the light emission pulse, where high level indicates high luminance and low level indicates low luminance.
  • the reflected light indicates the return light that has returned from the object 41 with a time delay of ⁇ T from the irradiated light.
  • the drive signal GDA' is a gate signal supplied to the transfer transistor 72A
  • the drive signal GDB' is a gate signal supplied to the transfer transistor 72B.
  • a reset operation is performed on pixel 61A to reset the charge of pixel 61 before light is received. That is, FD gate transistors 74A and 74B and reset transistors 76A and 76B are turned on to drain the accumulated charge of FDs 73A and 73B, and charge drain transistor 78 is turned on to drain the accumulated charge of photoelectric conversion element 71.
  • the charge generated by the photoelectric conversion element 71 receiving reflected light is transferred to FD 73A while the transfer transistor 72A is on according to the drive signal GDA', and is transferred to FD 73B while the transfer transistor 72B is on according to the drive signal GDB'.
  • the charge transferred via the transfer transistor 72A is sequentially stored in FD 73A
  • the charge transferred via the transfer transistor 72B is sequentially stored in FD 73B.
  • the FD gate transistors 74A and 74B are on, the charge is also stored in the additional capacitance.
  • pixel 61 distributes the charge generated by the reflected light received by photoelectric conversion element 71 to the first tap (FD73A) and the second tap (FD73B) according to the delay time ⁇ T, and outputs the detection signal VSLA of the first tap and the detection signal VSLB of the second tap. Note that when FD gate transistors 74A and 74B are on, the charge is also stored in the additional capacitance.
  • Pixel 61B is a combination of pulse signals having phases of [90deg] and [270deg], where the [90deg] drive signal GDA' lags behind the [0deg] drive signal GDA' by T/2, and the [270deg] drive signal GDA' lags behind the [0deg] drive signal GDA' by T+T/2.
  • pixel 61C is a combination of pulse signals having phases of [270deg] and [90deg], where the [270deg] drive signal GDA' lags behind the [0deg] drive signal GDA' by T+T/2, and the [90deg] drive signal GDA' lags behind the [0deg] drive signal GDA' by T/2.
  • pixel 61D is a combination of pulse signals having phases of [180 deg] and [0 deg], where the [180 deg] drive signal GDA' is delayed in phase by T from the [0 deg] drive signal GDA', and the [0 deg] drive signal GDA' is in phase with the [0 deg] drive signal GDA'.
  • the subsequent operation is the same as that of pixel 61A, so a detailed explanation of the operation example is omitted.
  • the detection signals VSLA and VSLB may be affected differently for each pixel 61 due to differences in the characteristics (sensitivity differences) of each element of the pixel transistors, such as the photoelectric conversion element 71 and transfer transistor 72, that each pixel 61 has.
  • the distance measurement device 1 using the indirect ToF method employs a method of obtaining detection signals VSLA and VSLB that receive reflected light with different phases at the same pixel 61, thereby eliminating the sensitivity differences between the taps of each pixel 61 and improving the S/N ratio.
  • Fig. 7 is a block diagram showing a configuration example of the signal processing unit 58.
  • the signal processing unit 58 has a distance generating unit 580, a reliability generating unit 582, an interpolation processing unit 584, and a determination unit 586.
  • Distance generation section 580 can use, for example, a four-phase detection method (4-phase method) and a two-phase detection method (2-phase method) as a method for calculating depth values.
  • FIG. 8 shows the exposure periods of the first taps of pixels 61A, B, C, and D at phases of 0°, 90°, 180°, and 270°, arranged so that the phase difference can be easily seen. From the top, it shows the emitted light, reflected light, and the exposure periods GDA_0, GDA_90, GDA_180, and GDA_270 of the first taps of pixels 61A, B, C, and D.
  • the detection signal VSLA obtained by receiving light with the same phase as the irradiated light (phase 0°) is called detection signal A0
  • the detection signal VSLA obtained by receiving light with a phase shift of 90 degrees from the irradiated light (phase 90°) is called detection signal A90
  • the detection signal VSLA obtained by receiving light with a phase shift of 180 degrees from the irradiated light (phase 180°) is called detection signal A180
  • the detection signal VSLA obtained by receiving light with a phase shift of 270 degrees from the irradiated light (phase 270°) is called detection signal A270.
  • the detection signal VSLB obtained by receiving light with the same phase as the irradiated light (phase 0°) is called detection signal B0
  • the detection signal VSLB obtained by receiving light with a phase shift of 90 degrees from the irradiated light (phase 90°) is called detection signal B90
  • the detection signal VSLB obtained by receiving light with a phase shift of 180 degrees from the irradiated light (phase 180°) is called detection signal B180
  • the detection signal VSLB obtained by receiving light with a phase shift of 270 degrees from the irradiated light (phase 270°) is called detection signal B270.
  • distance generation unit 580 performs calculation processing of distance information according to equations (1) to (3). That is, in the indirect ToF method, distance generation unit 580 performs calculation of the depth value d according to the following equation (1).
  • c is the speed of light
  • ⁇ T is the delay time
  • f is the modulation frequency Fmod of light.
  • ⁇ in formula (1) represents the phase difference [rad] of the reflected light, and is expressed by the following formula (2).
  • Arctan(Q/I) (2) where ⁇ is in the range of 0 ⁇ 2 ⁇ .
  • I and Q in formula (2) are calculated by the following formula (3) using detection signals A0 to A270 and detection signals B0 to B270 obtained by setting the phase to 0°, 90°, 180°, and 270°.
  • I and Q are signals obtained by converting the phase of a sine wave from polar coordinates to a Cartesian coordinate system (IQ plane) assuming that the luminance change of the irradiated light is a sine wave.
  • the reliability generation unit 582 calculates the reliability Cf using the following formula (4) in both the 2-phase method and the 4-phase method.
  • FIG. 9 is a schematic explanatory diagram showing that the confidence Cf is constant regardless of the phase.
  • FIG. 9(a) is a diagram showing, from above, the irradiated light, c0, c180, c90, and c270.
  • FIG. 9(b) is a diagram showing, from above, the irradiated light, c0, c180, c90, and c270, and also the external light (ambient light) La100 and LA102.
  • FIG. 9 is a schematic explanatory diagram showing that the confidence Cf is constant regardless of the phase.
  • FIG. 9(a) is a diagram showing, from above, the irradiated light, c0, c180, c90, and c270.
  • FIG. 9(b) is a diagram showing, from above, the irradiated light, c0, c180, c90, and c270, and also the external light (ambient light) La100 and LA102.
  • 9(c) is a diagram showing, from above, the irradiated light, c0, c180, c90, and c270, and the confidence cnf, and also the absolute values La104 and LA106 of the external light (ambient light) La100 and LA102.
  • the level of reliability Cf is the integral time of pixel 61 ⁇ the duty of the light source ⁇ the subject reflectance.
  • reliability Cf corresponds to the magnitude of the reflected light received by pixels 61A, B, C, and D, i.e., the brightness information (brightness value).
  • the distance generating unit 580 executes a calculation process of distance information according to equations (1), (2), and (5).
  • I and Q in equation (2) can be calculated using detection signals of two phases, phase 0° and phase 90°. That is, I and Q in equation (2) in the 2Phase method are expressed by the following equation (5). This value is substituted into equations (1) and (2) to calculate distance information.
  • the 2Phase method cannot eliminate the characteristic variation between taps that exists in each pixel, but since the depth value d to the object can be obtained using only the detection signals of two phases, distance measurement can be performed with twice the resolution of the 4Phase method.
  • the characteristic variation between taps can be adjusted, for example, with correction parameters such as gain and offset.
  • FIG. 10 is a time chart showing an example of driving according to this embodiment. From the top, the light emission amount of the light source, the driving state, the GDA1 signal, the GDB1 signal, the OFG1 signal, the GDA2 signal, the GDB2 signal, and the OFG2 signal are shown. The horizontal axis shows time. The light emission amount of the light source, the GDA1 signal, the GDB1 signal, the OFG1 signal, the GDA2 signal, the GDB2 signal, and the OFG2 signal show high and low level signals, respectively.
  • the phases of the GDA1 signal and the GDB1 signal differ for each of the pixels 61A, B, C, and D
  • the phases of the GDA2 signal and the GDB2 signal differ for each of the pixels 61a, b, c, and d, but in FIG. 9, one set of signals is shown as a representative for the sake of simplicity.
  • the phase-inverted signals, GDA1 signal and GDB1 signal are supplied at 20 MHz to the gates of transfer transistors 72A and 72B of pixels 61A, B, C, and D, respectively.
  • the charge according to the potential of photoelectric conversion element 71 is distributed at 20 MHz to the first tap FD73A and the second tap FD73B.
  • a high-level OFG2 signal is applied to the gate of the charge drain transistor 78 in pixels 61a, b, c, and d.
  • potential VDD is applied to the cathode of the photoelectric conversion element 71 in pixels 61a, b, c, and d, maintaining the initial state.
  • a low-level signal is supplied to the gates of transfer transistors 72A and 72B in pixels 61a, b, c, and d, maintaining a non-connected state.
  • a high-level OFG1 signal is applied to the gate of the charge discharge transistor 78 in pixels 61A, B, C, and D, and potential VDD is applied to the cathode of the photoelectric conversion element 71, resulting in the initial state and the end of the charge accumulation state (Integration 1).
  • a low-level signal is supplied to the gates of transfer transistors 72A and 72B in pixels 61A, B, C, and D, resulting in a disconnected state. These states are maintained until time T4.
  • the gates of the transfer transistors 72A and 72B of the pixels 61a, b, c, and d are supplied with phase-inverted signals, the GDA2 signal, and the GDB3 signal, at 100 MHZ.
  • the charge according to the potential of the photoelectric conversion element 71 is distributed at 100 MHZ to the first tap FD73A and the second tap FD73B.
  • a high-level OFG2 signal is applied to the gate of the charge discharge transistor 78 in pixels 61a, b, c, and d, and potential VDD is applied to the cathode of the photoelectric conversion element 71, resulting in the initial state and the end of the charge accumulation state (Integration 2).
  • a low-level signal is supplied to the gates of transfer transistors 72A and 72B in pixels 61a, b, c, and d, causing them to become disconnected. These states are maintained until time T4.
  • the period from time T1 to t2 is set to a period of, for example, 0.1 ms
  • the data readout period from time T3 to T4 is set to a period of, for example, 5 ms.
  • the data readout period from time T3 to T4 accounts for a large proportion of the processing time when generating distance information, for example, about 80%.
  • each pixel 61 distributes signal charge only when it is desired to receive reflected light from the object 41, and by making the charge drain transistor 78 conductive during other periods, it is possible to drain signal charge generated by sunlight or disturbance light from other distance measuring sensors, thereby minimizing degradation of distance measurement accuracy caused by disturbance light.
  • Fig. 11 is a diagram showing an example of combinations of pixels 61A, B, C, and D used by the interpolation processing unit 584 with pixels 61a, b, c, and d.
  • Fig. 11(a) is a diagram showing an example of the arrangement of pixels of the distance measurement sensor 52 according to function, similar to Fig. 3, and
  • Fig. 11(b) is a diagram showing an example of combinations of pixels 61A, B, C, and D with pixels 61a, b, c, and d in the interpolation calculation of the interpolation processing unit 584.
  • the interpolation calculation of the interpolation processing unit 584 uses, for example, combinations of adjacent pixels 61A, B, C, and D with pixels 61a, b, c, and d.
  • n indicates the row and m indicates the column.
  • n indicates an even number
  • pixels 61A, B, C, D when n indicates an odd number, it corresponds to pixels 61a, b, c, d.
  • the signals read from pixels 61A, B, C, and D are converted into digital signals (A0, A90, A180, A270), (B0, B90, B180, B270).
  • the distance generation unit 580 calculates the first distance value (Coarse Depth) ⁇ m,n (n is an even number) for each pixel 61A, B, C, and D according to formula (1).
  • the reliability generation unit 582 calculates the reliability Cfm,n (n is an even number) according to formula (4).
  • the signals read out from the pixels 61a, b, c, and d are converted into digital signals (A0, A90, A180, A270), (B0, B90, B180, B270).
  • the distance generation unit 580 calculates the second distance value distance (Fine Depth) ⁇ m,n (n is an odd number) for each of the pixels 61a, b, c, and d according to formula (1).
  • the reliability generation unit 582 then calculates the reliability Cfm,n (n is an odd number) according to formula (4).
  • the interpolation processing unit 584 performs, for example, an interpolation calculation using the upper and lower distance values, as shown in FIG. 11(b).
  • FIG. 12 is a diagram showing a schematic diagram of a method of calculating distance values in the interpolation processing unit 584 using a first distance value (Coarse Depth) and a second distance value (Fine Depth).
  • the horizontal axis shows the measured distance value (Distance), and the vertical axis shows the first distance value (Coarse Depth) and the second distance value (Fine Depth).
  • the values of ⁇ m,n (n is an even number), ⁇ m,n-1, and ⁇ m,n+1 are used.
  • the number of periods of the second distance value is determined by ⁇ m,n (n is an even number).
  • the repeat period is 2 periods, and the second distance value is calculated as ( ⁇ m,n-1+ ⁇ m,n+1)/2.
  • the first distance value corresponds to 7.5 m for 360 degrees (one cycle)
  • the distance measurement accuracy of the second distance value corresponds to, for example, 1.5 m for 360 degrees (one cycle).
  • the repeat cycle is the second cycle
  • 1.5 m + ( ⁇ m, n-1 + ⁇ m, n+1)/2 is the distance value (Distance) of Grm, n (n is an even number).
  • the values of ⁇ m,n (n is an odd number), ⁇ m,n-1, and ⁇ m,n+1 are used.
  • the period of the second distance value is determined by ( ⁇ m,n-1+ ⁇ m,n+1)/2.
  • it is the second period, and the second distance value is determined by ⁇ m,n (n is an odd number). That is, in Figure 11, the repetition period is the second period, and 1.5m+ ⁇ m,n (n is an odd number) is the distance value (Distance) of Grm,n (n is an odd number).
  • the signal processing unit 58 generates a distance measurement value (Distance) based on the repetition period of the second phase difference ⁇ 2 (see Equation 1) calculated based on the signals of pixels 61a, b, c, and d corresponding to the first phase difference ⁇ 1 (see Equation 1) calculated based on the signals of pixels 61A, B, C, and D, and the second phase difference ⁇ 2.
  • This type of processing is sometimes referred to as de-aliasing processing.
  • Fig. 13 is a diagram showing the relationship between the reflectance of the object 41 and the reliability Cf.
  • the horizontal axis indicates the distance value (Distance), and the vertical axis indicates the reliability Cf.
  • the level of the reliability Cf is the integral time of the pixel 61 x the duty of the light source x the reflectance of the subject divided by the square of the distance value. That is, the reliability Cf100 from the object 41 with high reflectance is inversely proportional to the square of the distance value, and indicates a higher value than the reliability Cf102 from the object 41 with low reflectance.
  • Figure 14 shows the reliability Cf when two types of measurement light, 100 MHZ and 20 MHZ, are used.
  • the horizontal axis shows the distance value (Distance), and the vertical axis shows the signal (Signal) indicating the value of reliability Cf.
  • reliability Cf does not depend on the frequency of the measurement light.
  • the value of the reliability Cf is used as a reference to determine whether or not to perform the interpolation calculation. For example, when calculating the distance value of Grm,n (n is an odd number), if the absolute value of the difference between the values of Cfm,n and Cfm,n+1 is less than the threshold th1, the determination unit 586 determines that the value of ⁇ m,n+1 is used for the interpolation, and if the absolute value of the difference between the values of Cfm,n and Cfm,n-1 is less than the threshold th1, the determination unit 586 determines that the value of ⁇ m,n-1 is used for the interpolation.
  • the determination unit 586 determines that the value is not to be used for the interpolation. In other words, when the determination unit 586 determines that the values of ⁇ m,n+1 and ⁇ m,n-1 are not to be used for the interpolation, the interpolation processing unit 584 outputs only the second distance value (Fine Depth). In this way, if the value of the reliability Cf calculated based on the four adjacent pixels is less than a predetermined value, the interpolation processing unit 584 determines that the light is reflected from the same object. Then, the interpolation processing unit 584 performs an interpolation calculation.
  • the second distance value Fine Depth
  • the determination unit 586 determines that the value of ⁇ m,n+1 is to be used for interpolation, and if the absolute value of the difference between the values of Cfm,n and Cfm,n-1 is less than the threshold th1, the determination unit 586 determines that the value of ⁇ m,n-1 is to be used for interpolation.
  • the absolute value is equal to or greater than the threshold th1, the determination unit 586 determines that the value is not to be used for interpolation. In other words, if the determination unit 586 determines that the values of ⁇ m,n+1 and ⁇ m,n-1 are not to be used for interpolation, the interpolation processing unit 584 outputs only the first distance value (Coarse Depth).
  • ⁇ Comparative Example 1> 15 is a diagram showing a schematic diagram of the driving state of Comparative Example 1.
  • the figure shows the light emission state of the light source from the receiver and the driving state of the pixel 61.
  • the horizontal axis is time.
  • data is accumulated and read out in a single pixel 61 in a time-division manner. That is, data accumulation and readout are performed in sequence for (0 degrees, 90 degrees, 180 degrees, 270 degrees) and (180 degrees, 270 degrees, 0 degrees, 90 degrees) in four frames t0, t1, t2, and t3 corresponding to four phases using a modulation frequency Fmod1.
  • data accumulation and readout are performed in sequence for four frames t4, t5, t6, and t7 corresponding to four phases using modulation frequency Fmod2: (0 degrees, 90 degrees, 180 degrees, 270 degrees) and (180 degrees, 270 degrees, 0 degrees, 90 degrees).
  • modulation frequency Fmod2 (0 degrees, 90 degrees, 180 degrees, 270 degrees) and (180 degrees, 270 degrees, 0 degrees, 90 degrees).
  • FIG. 16 is a diagram showing a schematic diagram of the relationship between object 41 and depth value (distance measurement value) in Comparative Example 1.
  • Object 41 is a moving object, and the readout time is, for example, about five times the data accumulation time, so the depth value changes in eight frames t0, t1, t2, t3, t4, t5, t6, and t7.
  • Comparative Example 2 is a diagram showing a schematic diagram of a driving state of Comparative Example 2.
  • the figure shows the light emission state of the light source from the receiver and the driving state of the pixel 61.
  • the horizontal axis is time.
  • Comparative Example 2 is an example that has pixels 61A, B, C, and D as in the present embodiment, but does not have pixels 61a, b, c, and d. That is, after accumulation and readout of one frame t0 corresponding to four phases using a modulation frequency Fmod1 by the pixels 61A, B, C, and D, accumulation and readout of one frame t1 corresponding to four phases using a modulation frequency Fmod2 by the pixels 61A, B, C, and D are further performed.
  • FIG. 18 is a diagram showing a schematic diagram of the relationship between object 41 and depth value (distance measurement value) in Comparative Example 2.
  • Object 41 is a moving object, and the readout time is, for example, about five times the data accumulation time, so the depth value changes between two frames t0 and t1.
  • FIG. 19 is a diagram showing a schematic diagram of the relationship between the object 41 and the depth value (distance measurement value) according to the present embodiment.
  • the distance measurement sensor 52 according to the present embodiment is configured with pixels 61A, B, C, D and pixels 61a, b, c, d functioning independently. This allows for simultaneous accumulation of charge. Therefore, as shown in FIG. 10, during the blank period from time T1 to T2, distance information can be generated without reading data. This allows for a reduction in the time between time T0 when charge accumulation of pixels 61A, B, C, D starts and time T3 when charge accumulation of pixels 61a, b, c, d ends.
  • the drive mode can be changed by a drive signal supplied from a tap drive unit 54 to each pixel 61 of the distance measurement sensor 52 .
  • FIG. 20 is a diagram showing three driving modes.
  • four adjacent pixels 61A, B, C, and D are shown as pixel group 610
  • four adjacent pixels 61a, b, c, and d are shown as pixel group 612.
  • FIG. 20(a) is a configuration equivalent to FIG. 4, and is an example of horizontal stripes.
  • FIG. 20(a) configures pixel groups 610 and 612 for each row.
  • FIG. 20(b) is an example of a checkerboard configuration, in which pixel groups 610 and 612 are configured in a checkerboard pattern.
  • FIG. 20(c) is an example of horizontal stripes, in which pixel groups 610 and 612 are configured for each column.
  • FIG. 21 shows three driving modes different from those shown in FIG. 20.
  • Four adjacent pixels 61D, C, B, and A are shown as pixel group 610a, and four adjacent pixels 61d, c, b, and a are shown as pixel group 612a.
  • the arrangement order of the four phases is changed from (0 degrees, 90 degrees, 180 degrees, and 270 degrees) to (180 degrees, 270 degrees, 0 degrees, and 90 degrees).
  • FIG. 21(a) pixel groups 610a and pixel groups 612a are configured for each row.
  • FIG. 21(b) shows an example of a checkered (checkered) configuration, in which pixel groups 610a and pixel groups 612a are configured in a checkered pattern.
  • FIG. 21(c) shows an example of horizontal stripes, in which pixel groups 610a and pixel groups 612a are configured for each column.
  • the control unit 51 can change the driving mode according to the purpose of imaging.
  • FIG. 22 shows an example of an interpolation process for the example arrangement of FIG. 20(b).
  • FIG. 22(a) shows an example of a checkerboard configuration similar to that of FIG. 20(b).
  • FIG. 22(b) is a schematic diagram showing a group of adjacent pixels to be subjected to interpolation.
  • FIG. 23 is a diagram showing an example of an interpolation process for a pixel group 610.
  • FIG. 23(a) shows an example of a pixel group 610 of interest
  • FIG. 23(b) shows four adjacent pixel groups 612 surrounding the pixel group 610 of interest.
  • FIG. 20(b) and FIG. 21(b) it is possible to use the four surrounding pixel groups for interpolation. That is, as shown in FIG.
  • the determination unit 586 determines that the pixel group 610 is to be used for interpolation if the absolute value of the difference in reliability Cf of the four adjacent pixel groups 612 is less than the threshold value th1, and determines that the pixel group 610 is not to be used for interpolation if it is equal to or greater than the threshold value th1.
  • the reliability Cf since the reliability Cf does not depend on the modulation frequency, it returns approximately the same value for objects 41 that are equidistant and have the same reflectance even if the modulation frequencies are different.
  • FIG. 24 is a diagram showing an example of interpolation processing for pixel group 612.
  • FIG. 24(a) shows an example of pixel group 612 of interest
  • FIG. 23(b) shows four adjacent pixel groups 612 around pixel group 610 of interest as 6100, 6102, 6104, and 6106.
  • the difference in absolute value between reliability Cf of pixel group 612 and reliability of pixel groups 6104 and 6106 is equal to or greater than threshold Th1
  • the difference in absolute value between reliability of pixel groups 6100 and 6102 is less than threshold Th1.
  • determination unit 586 determines that pixel groups 6100 and 6102 are to be used for interpolation of pixel group 610 of interest.
  • the determination unit 586 determines that the pixel group 612 should be used for interpolation if the absolute value of the difference in reliability Cf between the four adjacent pixel groups 610 is less than the threshold th1, and determines that the pixel group 612 should not be used for interpolation if the absolute value is greater than or equal to the threshold th1.
  • FIG. 25 is a flowchart showing an example of control according to this embodiment. Here, we will explain the checkerboard configuration example shown in FIG. 20(b).
  • the pixels 61A, B, C, and D enter a charge accumulation state (Integration 1) (step S102).
  • the pixels 61a, b, c, and d enter a charge accumulation state (Integration 1) (step S106).
  • the reliability generation unit 582 of the signal processing unit 58 calculates the reliability Cf as an AC light level for each pixel group 610, 612 according to equation (4) (step S108).
  • the determination unit 586 of the signal processing unit 58 calculates the absolute value of the difference in reliability Cf between the four adjacent pixel groups 610 and 612 for all pixel groups 610, 612, and determines whether or not to perform de-aliasing processing (step S110).
  • the distance generation unit 580 calculates distance information for all pixel groups 610 and all pixel groups 612 (step S108).
  • the reliability generation unit 582 of the signal processing unit 58 calculates reliability Cf as an AC light level for each pixel group 610, 612 according to equation (4) (step S110).
  • the determination unit 586 calculates the absolute value of the difference between the reliability Cf of all four adjacent pixel groups 610 and the reliability Cf of all pixel groups 612, and determines whether the absolute value is less than the threshold value th1 (step S112). If the absolute values of the difference values between the four adjacent pixel groups are all equal to or greater than the threshold value th1 (N in step S112), the interpolation processing unit 584 outputs the distance information for each pixel group 610, 612 without performing de-aliasing processing (step S114), and ends the process.
  • the determination unit 586 determines that any of the four adjacent pixel groups is less than the threshold th1 (Y in step S112), it generates a distance image of the pixel groups (see FIG. 22(b)) (step S116).
  • the determination unit 586 determines the interpolation direction according to the values of the four adjacent pixel groups. For example, if all of the values of the four adjacent pixel groups are less than the threshold th1, it selects the horizontal or vertical direction (step S116). In this case, if the values of three pixel groups out of the four adjacent pixel groups are to be used, any two pixel groups may be selected. Alternatively, all of the four adjacent pixel groups may be selected.
  • the interpolation processing unit 584 calculates the average value of the pixel group selected in step S116 as the interpolation intensity value (step S118). Then, the interpolation intensity value is used to perform de-aliasing processing on all pixel groups 610, 612 (step S120), and the processing ends.
  • the pixels 61A, B, C, D corresponding to the modulation frequency Fmod1 and the pixels 61a, b, c, d corresponding to the modulation frequency Fmod2 are mixed in the distance measurement sensor 52.
  • the distance measuring device 1 according to the first modification of the first embodiment differs from the distance measuring device 1 according to the first embodiment in that the overflow gate is turned on/off at a high frequency during the period when disturbance light is discharged as well as during the period when the signal charges are distributed.
  • the differences from the distance measuring device 1 according to the first embodiment are described below.
  • FIG. 26 is a time chart showing a driving example according to the first modified example of the first embodiment. From the top, the light emission amount of the light source, the driving state, the GDA1 signal, the GDB1 signal, the OFG1 signal, the GDA2 signal, the GDB2 signal, and the OFG2 signal are shown. The horizontal axis indicates time. The light emission amount of the light source, the GDA1 signal, the GDB1 signal, the OFG1 signal, the GDA2 signal, the GDB2 signal, and the OFG2 signal indicate high and low level signals, respectively.
  • the OFG1 signal is toggled to repeatedly turn the charge discharge transistor 78 on and off.
  • the OFG2 signal is toggled to repeatedly turn the charge discharge transistor 78 on and off.
  • the charge discharge transistor 78 is turned on/off at the same high frequency as during the period when the signal charge is being distributed, so the temporal fluctuation of the power supply fluctuation is reduced, and distance measurement performance is further stabilized.
  • the differences from the distance measuring device 1 according to the first embodiment will be described below.
  • FIG. 27 is a diagram showing an example of the configuration of the distance measurement sensor 52 according to the second embodiment. As shown in FIG. 27, a pixel group 612 of pixels 61a, b, c, and d constitutes a total pixel group 612.
  • FIG. 28 is a time chart showing an example of driving according to the second embodiment. From the top, the light emission amount of the light source, the driving state, the TAPA signal, the TAPB signal, the TAPC signal, and the TAPD signal are shown. The horizontal axis shows time. The light emission amount of the light source, the TAPA signal, the TAPB signal, the TAPC signal, and the TAPD signal respectively show high-level and low-level signals.
  • the TAPA signal, the TAPB signal, the TAPC signal, and the TAPD signal show the gate signals of the transfer transistors 72A, 72B, 72C, and 72D.
  • the transfer transistors 72A and 72B correspond to a phase of [0 degrees, 180 degrees]
  • the transfer transistors 72A and 72B correspond to a phase of [90 degrees, 270 degrees].
  • the signal value of TAPA+TAPB and the signal value of TAPC+TAPD are used. That is, the signal value of TAPA+TAPB is the signal value of FD73A+FD73B, and the signal value of TAPC+TAPD is the signal value of FD73C+FD73D.
  • the following describes the differences from the distance measuring device 1 according to the first embodiment.
  • FIG. 29 is a time chart showing an example of driving according to the third embodiment. From the top, the light emission amount and driving state of the light source are shown.
  • FIG. 29(a) is a diagram showing the relationship between the distance value L100 of the pixel group 610 for the first time, the distance value L102 of the pixel group 610 for the second time, and the average value L104.
  • FIG. 29(b) is a diagram showing the result of de-aliasing processing using the distance value L106 and average value L104 of the pixel group 612.
  • the signal processing unit 58 can eliminate the center of gravity shift (blur) of the object 41 in order to perform de-aliasing processing using the distance value L100 of the pixel group 610 for the first time, the average value L104 of the distance value L102 of the pixel group 610 for the second time, and the distance value L106 of the pixel group 612.
  • the distance measuring device 1 according to the fourth embodiment differs from the distance measuring device 1 according to the first embodiment in that the distance measuring device 1 according to the fourth embodiment has three or more types of modulation frequencies Fmod. The differences from the distance measuring device 1 according to the first embodiment will be described below.
  • the modulation frequency FmodN is, for example, 200 MHZ, but is not limited to this.
  • the distance measuring device 1 according to the fifth embodiment differs from the distance measuring device 1 according to the first embodiment in that the pixel 61 is configured with 4TAP. The differences from the distance measuring device 1 according to the first embodiment will be described below.
  • FIG. 31 is a diagram showing an example of a pixel configured with 4TAP. Pixels 614 and 616 configured with 4TAP have the same configuration.
  • a phase of 0 degrees will be indicated with D and d
  • a phase of 90 degrees with E and e a phase of 180 degrees with G and g
  • a phase of 270 degrees with E and e are examples of the reference phase of the light emission pulse.
  • Fig. 32 is a diagram showing an example of an interpolation process in the arrangement example of Fig. 31.
  • Fig. 32(a) is a diagram showing an example of a checkerboard configuration similar to that of Fig. 31.
  • Fig. 32(b) is a diagram showing a schematic diagram of adjacent pixel groups to be subjected to interpolation.
  • the drive mode can be changed by a drive signal supplied from a tap drive unit 54 to each pixel of the distance measurement sensor 52 .
  • FIG. 33 shows three drive modes.
  • FIG. 33(a) is a checkerboard-like configuration example, with the same configuration as FIG. 31.
  • FIG. 32(b) is an example of horizontal stripes, with pixels 614 and 616 arranged in each row.
  • FIG. 33(c) is an example of vertical stripes, with pixels 614 and 616 arranged in each column.
  • FIG. 34 shows three driving modes different from those in FIG. 33.
  • FIG. 34(a) is an example of horizontal stripes, with pixels 618 and 620 arranged in each row.
  • FIG. 34(b) is an example of vertical stripes, with pixels 618 and 620 arranged in each column.
  • FIG. 34(c) is an example of a checkerboard configuration. In this way, gate transistors that are driven at different modulation frequencies may be configured within the same pixels 618, 620.
  • FIG. 35 shows three driving modes that are further different from those in FIG. 33.
  • Fig. 35(a) is an example of horizontal stripes, with pixels 622 and 624 arranged in each row.
  • Fig. 35(b) is an example of vertical stripes, with pixels 622 and 624 arranged in each column.
  • Fig. 35(c) is an example of a checkerboard configuration. In this way, gate transistors that are driven at different modulation frequencies may be configured within the same pixel 622 and pixel 624.
  • FIG. 36 shows three driving modes that are further different from those in FIG. 33.
  • Fig. 36(a) is an example of horizontal stripes, with pixels 622 and 624 arranged in each row.
  • Fig. 36(b) is an example of vertical stripes, with pixels 622 and 624 arranged in each column.
  • Fig. 36(c) is an example of a checkerboard configuration. In this way, gate transistors that are driven at different modulation frequencies may be configured within the same pixel 624 and pixel 626.
  • This technology can be configured as follows:
  • a distance measuring device that sequentially irradiates a first irradiation light having a first modulation frequency and a second irradiation light having a second modulation frequency different from the first modulation frequency, and generates a distance value using light reflected by an object
  • a distance measuring sensor including: a first charge accumulation unit that accumulates a signal charge generated by a first photoelectric conversion unit using a first drive frequency synchronized with the first modulation frequency; and a second charge accumulation unit that accumulates a signal charge generated by a second photoelectric conversion unit using a second drive frequency synchronized with the second modulation frequency; a control unit that controls a switching period for switching from the first irradiation light to the second irradiation light to be shorter than a readout period for reading out a first signal corresponding to the accumulated charge in the first charge accumulation unit and a second signal corresponding to the accumulated charge in the second charge accumulation unit after irradiation with the second irradiation light; a signal processing unit that generates
  • the distance measuring sensor includes a plurality of pixel groups having the first charge accumulation portion and a plurality of pixel groups having the second charge accumulation portion.
  • the distance measurement sensor further includes a first charge discharging transistor capable of supplying a predetermined potential to the first photoelectric conversion unit and a second charge discharging transistor capable of supplying a predetermined potential to the second photoelectric conversion unit;
  • the control unit sets the first charge discharging transistor in a conductive state and sets the second charge discharging transistor in a non-conductive state during a period in which the second irradiation light is irradiated;
  • the distance measuring device wherein the first charge discharging transistor is made non-conductive and the second charge discharging transistor is made conductive during a period in which the first irradiation light is irradiated.
  • the distance measurement sensor further includes a first charge discharging transistor capable of supplying a predetermined potential to the first photoelectric conversion unit and a second charge discharging transistor capable of supplying a predetermined potential to the second photoelectric conversion unit;
  • the distance measuring device of (2) wherein the control unit causes the first charge discharging transistor to alternate between a non-conductive state and a conductive state during a period in which the second irradiation light is irradiated, and causes the second charge discharging transistor to alternate between a non-conductive state and a conductive state during a period in which the first irradiation light is irradiated.
  • a first pixel having the first photoelectric conversion unit accumulates charge in a first charge accumulation unit of the first charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the first modulation frequency, and accumulates charge in a second charge accumulation unit of the first charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the first modulation frequency;
  • a second pixel adjacent to the first pixel and having the first photoelectric conversion unit accumulates charge in a third charge accumulation unit of the first charge accumulation unit in accordance with a 90-degree pulse drive signal having a phase difference of 90 degrees from the first modulation frequency, and accumulates charge in a fourth charge accumulation unit of the first charge accumulation unit in accordance with a 270-degree pulse drive signal having a phase difference of 270 degrees from the first modulation frequency;
  • the signal processing unit generates the first phase difference based on charges accumulated in each of the first to fourth charge accumulation units of the first charge accumulation unit.
  • a third pixel having the second photoelectric conversion unit accumulates charge in a first charge accumulation unit of the second charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the second modulation frequency, and accumulates charge in a second charge accumulation unit of the second charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees with the second modulation frequency;
  • a fourth pixel adjacent to the third pixel and having the second photoelectric conversion unit accumulates charge in a third charge accumulation unit of the second charge accumulation unit in accordance with a 90-degree pulse drive signal having a phase difference of 90 degrees from the second modulation frequency, and accumulates charge in a fourth charge accumulation unit of the second charge accumulation unit in accordance with a 270-degree pulse drive signal having a phase difference of 270 degrees from the second modulation frequency;
  • the distance measuring device wherein the signal processing unit generates the second phase difference based on the charges accumulated in each of the first to fourth charge accumulation units of the second charge accumulation unit.
  • a fifth pixel having the first photoelectric conversion unit accumulates charge in a first charge accumulation unit of the first charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the first modulation frequency, accumulates charge in a second charge accumulation unit of the first charge accumulation unit in accordance with a 90 degree pulse drive signal having a phase difference of 90 degrees from the first modulation frequency, accumulates charge in a third charge accumulation unit of the first charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the first modulation frequency, and accumulates charge in a fourth charge accumulation unit of the first charge accumulation unit in accordance with a 270 degree pulse drive signal having a phase difference of 270 degrees from the first modulation frequency;
  • the signal processing unit generates the first phase difference based on charges accumulated in each of the first to fourth charge accumulation units of the first charge accumulation unit.
  • a sixth pixel having the second photoelectric conversion unit accumulates charge in a first charge accumulation unit of the second charge accumulation unit in accordance with a 0 degree pulse drive signal having the same phase as the second modulation frequency, accumulates charge in a second charge accumulation unit of the second charge accumulation unit in accordance with a 90 degree pulse drive signal having a phase difference of 90 degrees from the second modulation frequency, accumulates charge in a third charge accumulation unit of the second charge accumulation unit in accordance with a 180 degree pulse drive signal having a phase difference of 180 degrees from the second modulation frequency, and accumulates charge in a fourth charge accumulation unit of the second charge accumulation unit in accordance with a 270 degree pulse drive signal having a phase difference of 270 degrees from the second modulation frequency;
  • the distance measuring device wherein the signal processing unit generates the second phase difference based on charges accumulated in each of the first to fourth charge accumulation units of the second charge accumulation unit.
  • a seventh pixel accumulates charge in one charge accumulation section of the first charge accumulation section in accordance with one of two pulse drive signals having different phases, in synchronization with the first modulation frequency, and accumulates charge in the other charge accumulation section of the first charge accumulation section in accordance with the other of the two pulse drive signals having different phases;
  • a ranging device as described in (10) which accumulates charge in one charge accumulation section of the second charge accumulation section in accordance with one of two pulse drive signals having different phases, synchronized with the second modulation frequency, and accumulates charge in the other charge accumulation section of the second charge accumulation section in accordance with the other of the two pulse drive signals having different phases.
  • the two pulse drive signals synchronized with the first modulation frequency and having different phases are a 0 degree pulse drive signal that is in phase with the first modulation frequency and a 180 degree pulse drive signal that is 180 degrees out of phase with the first modulation frequency
  • a ranging device as described in (11) wherein the two pulse drive signals synchronized with the second modulation frequency and having different phases are a 0 degree pulse drive signal that is in phase with the second modulation frequency and a 180 degree pulse drive signal that is 180 degrees out of phase with the second modulation frequency.
  • an eighth pixel adjacent to the seventh pixel has a configuration equivalent to that of the seventh pixel, and the two pulse drive signals synchronized with the first modulation frequency and having different phases are a 90-degree pulse drive signal that is in phase with the first modulation frequency and a 270-degree pulse drive signal that is out of phase with the first modulation frequency by 270 degrees;
  • a ranging device as described in (12) wherein the two pulse drive signals synchronized with the second modulation frequency and having different phases are a 90-degree pulse drive signal that is in phase with the second modulation frequency and a 270-degree pulse drive signal that is 270 degrees out of phase with the second modulation frequency.
  • the signal processing unit generates a second reliability using a third component using a signal based on the accumulated charge of a first charge accumulation unit of the second charge accumulation unit and a signal based on the accumulated charge of a third charge accumulation unit of the second charge accumulation unit, and a fourth component using a signal based on the accumulated charge of a second charge accumulation unit of the first charge accumulation unit and a signal based on the accumulated charge of the second charge accumulation unit of the second charge accumulation unit,
  • the difference between the first reliability and the second reliability is within a predetermined value
  • a distance measuring device that emits a first illumination light having a first modulation frequency and generates a distance value using a reflected light reflected by an object, a distance measuring sensor having a tenth pixel that accumulates a signal charge generated in a photoelectric conversion unit in a first charge accumulation unit in accordance with a 0 degree pulse drive signal that is synchronized with the first modulation frequency and has the same phase as the first modulation frequency, accumulates the signal charge in a second charge accumulation unit in accordance with a 90 degree pulse drive signal that is 90 degrees out of phase with the first modulation frequency, accumulates the signal charge in a third charge accumulation unit in accordance with a 180 degree pulse drive signal that is 180 degrees out of phase with the first modulation frequency, and accumulates the signal charge in a fourth charge accumulation unit in accordance with a 270 degree pulse drive signal that is 270 degrees out of phase with the first modulation frequency; a first sum signal of a signal based on the accumulated charge of the first charge storage unit and a signal based on the accumulated
  • a distance measuring device that sequentially irradiates a first irradiation light having a first modulation frequency, a second irradiation light having a second modulation frequency different from the first modulation frequency, and a third irradiation light having the first modulation frequency, and generates a distance value using light reflected by an object
  • a distance measuring sensor including: a first charge accumulation unit that accumulates a signal charge generated by a first photoelectric conversion unit using a first drive frequency synchronized with the first modulation frequency; and a second charge accumulation unit that accumulates a signal charge generated by a second photoelectric conversion unit using a second drive frequency synchronized with the second modulation frequency; a readout unit that reads out a first signal corresponding to the accumulated charge in the first charge accumulation unit after irradiation with the first irradiation light, reads out a second signal corresponding to the accumulated charge in the second charge accumulation unit, and reads out a third signal corresponding to the accumulated charge in the first charge accumulation
  • a distance measuring method using a distance measuring sensor having a first charge accumulation unit that accumulates a signal charge generated in a first photoelectric conversion unit by a first drive frequency synchronized with the first modulation frequency, and a second charge accumulation unit that accumulates a signal charge generated in a second photoelectric conversion unit by a second drive frequency synchronized with the second modulation frequency, a switching period for switching from the first irradiation light to the second irradiation light is shorter than a readout period for reading out a first signal corresponding to the accumulated charge in the first charge accumulation section and a second signal corresponding to the accumulated charge in the second charge accumulation section after irradiation with the second irradiation light;
  • a distance measurement method comprising: generating a first phase difference based on the first signal, which is a time until the light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

[課題]本開示では、位相差に基づき生成する測距値の測定精度の低下を抑制可能な測距装置、および測距方法を提供する。 [解決手段]上記の課題を解決するために、本開示によれば、第1駆動周波数により、信号電荷を蓄積する第1電荷蓄積部と、第2駆動周波数により、信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、第1電荷蓄積部の蓄積電荷に応じた第1信号、及び第2電荷蓄積部の蓄積電荷に応じた第2信号を読み出す読み出し期間より、第1照射光から第2照射光に切り替える切り替え期間を短く設定する制御部と、第1信号、及び第2信号を読み出す読み出し部と、第1信号に基づき、第1位相差として生成し、第2信号に基づき、反射光として受光されるまでの時間を第2位相差として生成して、測距値を生成する信号処理部と、を備える測距装置が提供される。

Description

測距装置、および測距方法
 本開示は、測距装置、および測距方法に関する。
 測距モジュールにおける測距方法としては、例えば間接ToF方式(Indirect Time of Flight)が一般に知られている。この間接ToF方式では、物体に向かってパターン光が照射されてから反射光として受光されるまでの時間を位相差として生成し、この位相差に基づき測距値を生成する。
特開2022-111663号公報
 ところが、間接ToF方式の距離の測定では、AC変調光を繰り返して照射する。さらに、2つの電荷蓄積部に振り分ける変調周波数を複数設定して動作させる。この変調周波数は、4種類の位相(0、90、180、270度)を有し、4回のデータ読み出しが必要となってしまう。さらに、複数のAC変調光を用いて、測定精度をより上げる測定が実施される場合がある。この場合、複数のAC変調光に対して、変調周波数は、4種類の位相(0、90、180、270度)を有し、一般に8回のデータ読み出しが必要となってしまう。このため、測距対象が移動体である場合に、測定期間が長くなり測定精度が低下してしまう恐れがある。
 そこで、本開示では、位相差に基づき生成する測距値の測定精度の低下を抑制可能な測距装置、および測距方法を提供する。
 上記の課題を解決するために、本開示によれば、
 第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2光電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
 前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短く制御する制御部と、
 前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する信号処理部と、
 を備える、測距装置が提供される。
 前記測距センサは、前記第1電荷蓄積部を有する複数の画素群と、前記第2電荷蓄積部を有する複数の画素群と、を混載してもよい。
 前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
 前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを導通状態とし、且つ前記第2電荷排出トランジスタを非導通状態とし、
 前記第1照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態とし、且つ前記第2電荷排出トランジスタを導通状態としてもよい。
 前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
 前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせ、前記第1照射光を照射する期間において前記第2電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせてもよい。
 前記第1光電変換部を有する第1画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
 前記第1画素と隣接し、前記第1光電変換部を有する第2画素は、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第1電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第1位相差を生成してもよい。
 前記第2光電変換部を有する第3画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
 前記第3画素と隣接し、前記第2光電変換部を有する第4画素は、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第2電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第2位相差を生成してもよい。
 前記第1光電変換部を有する第5画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第1電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第1位相差を生成してもよい。
 前記第2光電変換部を有する第6画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第2電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第2位相差を生成してもよい。
 前記第5画素と前記第6画素とは、隣接してもよい。
 前記第1光電変換部と、前記第2光電変換部と、は同一の光電変換部であってもよい。
 第7画素は、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第1電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第1電荷蓄積部の他方の電荷蓄積部に電荷を蓄積し、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第2電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第2電荷蓄積部の他方の電荷蓄積部に電荷を蓄積してもよい。
 前記第7画素においては、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である0度のパルス駆動信号と、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号とであり、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である0度のパルス駆動信号と、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号とであってもよい。
 前記第7画素に隣接する第8画素は、前記第7画素と同等の構成であって、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である90度のパルス駆動信号と、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号とであり、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である90度のパルス駆動信号と、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号とであってもよい。
 前記第1変調周波数は、前記第2変調周波数よりも低周であってもよい。
 前記信号処理部は、前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成してもよい。
 前記第1変調周波数と前記第2変調周波数とは、同一の周期であってもよい。
 前記第1電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第1成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第2成分と、を用いた第1信頼度と、
 前記信号処理部は、前記第2電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第3成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第4成分と、を用いた第2信頼度と、を生成し、
 前記第1信頼度と前記第2信頼度との差が所定値以内である場合に、
 前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成してもよい。
 上記の課題を解決するために、本開示によれば、
 第1変調周波数の第1照射光を照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数と同期し、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、第1の電荷蓄積部に光電変換部で生成された信号電荷を蓄積し、前記第1変調周波数と90度位相の異なる90度のパルス駆動信号に従い、第2の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と180度位相の異なる180度のパルス駆動信号に従い、第3の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と270度位相の異なる270度のパルス駆動信号に従い、第4の電荷蓄積部に前記信号電荷を蓄積する第10画素を有する測距センサと、
 前記第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第1和信号と、
 前記第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第2和信号と、
 前記第1和信号と前記第2和信号とに基づき、前記反射光として受光されるまでの時間を第1変調周波数よりも低周波に対応する第1位相差として生成成して、測距値を生成する信号処理部と、
 を備える測距装置が提供される。
 上記の課題を解決するために、本開示によれば、
 第1変調周波数の第1照射光と、前記第1変調周波数と異なる第2変調周波数の第2照射光と、前記第1変調周波数の第3照射光と、を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
 前記第1照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第1信号を読み出し、前記第2電荷蓄積部の蓄積電荷に応じた第2信号を読み出し、前記第3照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第3信号を読み出す読み出し部と、
 前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第3信号に基づき、前記反射光として受光されるまでの時間を第3位相差として生成して、前記第1位相差と、前記第3位相差との平均値と、前記第2位相差とを用いて測距値を生成する信号処理部と、
 を備える測距装置が提供される。
 上記の課題を解決するために、本開示によれば、
 第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を物体に順に照射し、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサを用いた測距方法であって、
 前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短くし、
 前記第1信号に基づき、前記物体からの反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する、測距方法が提供される。
本技術を適用した測距装置の概略構成例を示している図。 受光素子の構成例を示すブロック図。 測距センサの画素の機能別な配置例を示す図。 変調周波数Fmod1の4隣接画素と、変調周波数Fmod2の4隣接画素との配置例を模式的に示す図。 画素の詳細な回路構成例を示している図。 照射光の発光と画素の駆動を説明する図。 信号処理部の構成例を示すブロック図。 各位相における画素の第1タップの露光期間を、位相差が分かり易いように並べて示した図。 信頼度は、位相によらず一定であることを示す模式的な説明図。 本実施形態に係る駆動例を示すタイムチャート。 補間処理部の用いる画素と、画素との組み合わせ例を示す図。 第1距離値と、第2距離値を用いた補間処理部における距離値の演算方法を模式的に示す図。 物体の反射率と信頼度の関係を示す図。 2種の測定光を用いた場合の信頼度を示す図。 比較例1の駆動状態を模式的に示す図。 比較例1の物体とデプス値(測距値)の関係を模式的に示す図。 比較例2の駆動状態を模式的に示す図。 比較例2の物体とデプス値(測距値)の関係を模式的に示す図。 本実施形態に係る物体とデプス値(測距値)の関係を模式的に示す図。 3つの駆動モードを示す図。 図20と異なる3つの駆動モードを示す図。 補間処理例を示す図。 画素群に対する補間処理例を示す図 画素群に対する補間処理例を示す図。 本実施形態に係る制御例を示すフローチャート。 第1実施形態の変形例1に係る駆動例を示すタイムチャート。 第2実施形態に係る測距センサの構成例を示す図。 第2実施形態に係る駆動例を示すタイムチャート。 第3実施形態に係る駆動例を示すタイムチャート。 第4実施形態に係る測距装置の駆動例を示すタイムチャート。 画素を4TAPで構成した例を示す図。 図31の配置例における補間処理例を示す図。 3つの駆動モードを示す図。 図33と異なる3つの駆動モードを示す図。 図33と更に異なる3つの駆動モードを示す図。 図33と更に異なる3つの駆動モードを示す図。
 以下、図面を参照して、測距装置、および測距方法の実施形態について説明する。以下では、測距装置、および測距方法の主要な構成部分を中心に説明するが測距装置、および測距方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
(第1実施形態)
<測距装置の構成例>
 図1は、本技術を適用した測距装置の概略構成例を示している図である。図1の測距装置1は、一度の読み出しで、複数のAC変調光に対する全位相データの読み出しが可能なシステムである。
 この測距装置1は、制御装置11、受光装置12、および、照明装置13を備える。受光装置12は、受光素子31およびレンズ32を備える。照明装置13は、LD21および発光部22を備える。
 制御装置11は、測距装置1全体の動作を制御する装置である。制御装置11は、受光装置12に対して、動作モードを指定して測定リクエストを供給する。
 また、制御装置11は、測定リクエストに応じて受光装置12が受光した結果に基づいて生成した測定データを、受光装置12から取得する。制御装置11は、測距装置1の構成の一部ではなく、測距装置1の外部に、例えば、測距装置1が組み込まれるホスト装置の制御部として設けられてもよい。
 ここで、制御装置11が受光装置12に対して指定可能な動作モードには、間接ToF方式による物体までの距離を測定する測距モードと、2次元の輝度画像を生成する2D画像撮影モードとがある。間接ToF方式の測距は、照射光が発光されたタイミングから、反射光が受光されるタイミングまでの飛行時間を位相差として検出し、物体までの距離を算出する測距である。2D画像撮影モードは、通常のイメージセンサのように、受光量に応じた2次元の輝度画像を出力するモードである。また、本実施形態に係る測距装置1は、複数の測距モードを有する。なお、測距モードの詳細は後述する。
 受光装置12の受光素子31は、制御装置11から測定リクエストが供給されると、制御部51(後述の図2参照)の制御下で、発光パルスをLD21へ供給し、発光部22から照射光を発光させる。そして、受光素子31は、物体41及び物体42等の被写体からの反射光を、レンズ32を介して受光する。レンズ32は、被写体から反射されてきた反射光を入射光として受光素子31の受光面に結像させる。なお、レンズ32の構成は任意であり、例えば、複数のレンズ群によりレンズ32を構成することも可能である。
 発光パルスは、発光部22の発光動作、および、受光素子31の受光動作の基準となるタイミング信号であり、例えば、オン(High)とオフ(Low)が繰り返されるパルス信号である。例えば、本実施形態に係る変調周波数Fmod1のパルス信号を第1期間で生成した後に、変調周波数Fmod2のパルス信号を第2期間で生成する。変調周波数Fmod1は、低周波側の周波数で、例えば20MHzである。一方で、変調周波数Fmod2は、高周波側の周波数で、例えば100MHzである。Fmod1側の測距精度は、例えば360度が7.5mに対応する。一方で、Fmod2側の測距精度は、例えば360度が1.5mに対応する。つまり、一つの距離画像(デプス画像)を生成する際に、変調周波数Fmod1のパルス信号を用いた測距(Coarse Depth)と、調周波数Fmod2のパルス信号を用いた測距(Fine Depth)と、が実行される。なお、本実施形態に係る変調周波数Fmod1が第1変調周波数に対応し、変調周波数Fmod2が第2変調周波数に対応する。
 受光素子31は、動作モードが測距モードの場合には、反射光の受光結果に基づいて、被写体までの距離情報を格納したデプス画像を生成し、測定データとして、制御装置11へ出力する。一方、動作モードが2D画像撮影モードの場合には、受光装置12は、反射光の受光結果に基づいて、被写体の輝度画像を生成し、測定データとして、制御装置11へ出力する。受光素子31の具体的構成については、図2以降で詳述する。
 照明装置13のLD21は、例えば、発光部22を駆動するレーザドライバであり、受光素子31からの発光パルスに基づいて発光部22を駆動し、発光部22から照射光としてAC変調光を出力させる。発光部22は、例えば、VCSEL LED(Vertical Cavity Surface Emitting LASER LED)などで構成され、LD21の駆動により照射光を発光する。照射光には、例えば、波長が約850nmから940nmの範囲の赤外光(IR光)が用いられる。
<受光素子の構成例>
 図2は、図1の受光素子31の構成例を示すブロック図である。
 受光素子31は、制御部51、測距センサ52、パルス生成回路53、タップ駆動部54、垂直駆動部55、カラム処理部56、水平駆動部57、信号処理部58、および、出力部59を含んで構成される。
 制御部51は、受光素子31全体の動作を制御する。例えば、制御部51は、制御装置11から供給される動作モードおよび測定リクエストを、不図示の入力部を介して取得する。また、制御部51は、動作モードに応じて、所定の変調周波数Fmodの発光パルスの生成をパルス生成回路53へ指示する。制御部51は、動作モードに応じた動作を行うための制御信号を、タップ駆動部54、垂直駆動部55、カラム処理部56、水平駆動部57等へ供給する。すなわち、制御部51は、測距センサ52での電荷蓄積時間、及び、蓄積電荷の読み出し期間、パルス生成回路53を用いた照射光の照射時間、照射光の変調周波数を切り替える切り替え期間などを設定し、制御する。さらに、制御部51は、動作モードに応じて信号処理部58が行う所定の信号処理、例えば、複数の位相差に基づく距離値を生成させ、デプス画像(距離画像)を生成させる生成処理や、輝度画像の生成処理などを、信号処理部58へ指示する。
<画素の機能別配置例>
 測距センサ52には、複数の画素61が行列状に2次元配置されている。本実施形態に係る画素61の構成は同等であるが、タップ駆動部54を介した駆動信号の相違により、画素の機能を異ならせることが可能となる。
 図3は、測距センサ52の画素の機能別な配置例を示す図である。図3に示すように、2行毎に画素61の処理する受光周波数が異なる。例えば上から2行の画素61は、変調周波数Fmod1=20MHzの計測光の処理を実施する。すなわち、上から2行の画素61は、ハイレベルとロウレベルの照度を有する20MHzの計測光を受光し、処理を実行する。
 更に、次の2行の画素61は、変調周波数Fmod2=100MHzの計測光の処理を実施する。すなわち、次の2行の画素61は、ハイレベルとロウレベルの照度を有する100MHzの計測光を受光し、処理を実行する。
 また、変調周波数Fmod1=20MHzの計測光の処理を実施する画素群は、例えば上下、左右に隣接する4画素が測距値を演算する際の組み合わせ例となる。図3内の「0」、「180」が位相0、180度に対応する計測画素に対応し、「90」、「270」が位相90、270度に対応する計測画素に対応する。
 同様に、変調周波数Fmod1=100MHzの計測光の処理を実施する画素群は、例えば上下、左右に隣接する4画素が測距値を演算する際の組み合わせとなる。図3内の「0」、「180」が位相0、180度に対応する計測画素に対応し、「90」、「270」が位相90、270度に対応する計測画素に対応する。なお、これらの配置例は一例であり、これに限定されない。すなわち、変調周波数Fmod1を処理する画素61と、変調周波数Fmod2を処理する画素61と、を入れ替えることも可能である。同様に、位相0、180度に対応する計測画素と、位相90、270度に対応する計測画素と、を入れ替えることも可能である。或いは、変調周波数Fmod1を処理する画素61と、変調周波数Fmod2を処理する画素61と、を市松模様状に配置することも可能である。
 図4は、変調周波数Fmod1の4隣接画素61A、B、C、Dと、変調周波数Fmod2の4隣接画素61a、b、c、dとの配置例を模式的に示す図である。図4に示すように画素61は、2つの転送トランジスタ72A、Bを介して、電荷を蓄積する2つのタップ(電荷蓄積部)73A、Bに蓄積電荷を振り分ける。なお、本実施形態に係る画素61A、B、C、Dが有するタップ(電荷蓄積部)73A、Bが第1電荷蓄積部に対応する。また、本実施形態に係る画素61a、b、c、dが有するタップ(電荷蓄積部)73A、Bが第2電荷蓄積部に対応する。
 図4では、4隣接画素61A、B、C、Dは、変調周波数Fmod1の照射光の照射タイミングを基準に、位相を0°、90°、180°、および、270°だけずらした受光タイミングでタップ73Aにより反射光を受光し、電荷を蓄積する。より具体的には、画素61Aは、照射光の照射タイミングに対して位相を0°にして受光し、画素61Bは、照射光の照射タイミングに対して位相を90°にして受光し、画素61Cは、照射光の照射タイミングに対して位相を180°にして受光し、画素61Dは、照射光の照射タイミングに対して位相を270°にして受光する、というように、位相を変えて反射光を受光し、電荷を蓄積する。
 なお、0°、90°、180°、または、270°の位相とは、特に言及しない限り、画素61のタップ73Aにおける位相を表す。タップ73Bは、第1タップとは反転した位相となるので、第1タップが0°、90°、180°、または、270°の位相のとき、第2タップは、それぞれ、180°、270°、0°、または、90°の位相となっている。また、タップ73Aを、第1タップと称し、タップ73Bを、第2タップとも称する場合がある。
 同様に、4隣接画素61a、b、c、dは、変調周波数Fmod2の照射光の照射タイミングを基準に、位相を0°、90°、180°、および、270°だけずらした受光タイミングでタップ73A(第1タップ)により反射光を受光する。より具体的には、画素61aは、照射光の照射タイミングに対して位相を0°にして受光し、画素61bは、位相を90°にして受光し、画素61cは、位相を180°にして受光し、画素61dは、位相を270°にして受光する、というように、位相を変えて反射光を受光する。このように、測距センサ52に2次元配置された各4隣接画素61A、B、C、D、及び各4隣接画素61a、b、c、dは、画素61の位置毎に照射光の照射タイミングに対して位相を変更することにより、位相のことなる受光信号を同時に生成可能である。このように、測距センサ52内の各4隣接画素61A、B、C、D、及び各4隣接画素61a、b、c、dが有するタップ73A、Bに信号電荷を蓄積することができるため、一度の読み出しで遠距離測距に必要な変調周波数Fmod1での位相情報と、高精度測距に必要となる変調周波数Fmod2での位相情報を一連の読み出しシーケンスでまとめて読み出すことができる。なお、本実施形態では、各4隣接画素61A、B、C、D、での測定後に、各4隣接画素61a、b、c、dでの測定をし、データを一度に読み出すシーケンス処理を実行するが、これに限定されない。
 再び図2を参照すると、測距センサ52には、画素行ごとに画素駆動線63が水平方向に沿って配線され、画素列ごとに2本の垂直信号線64Aおよび64Bが垂直方向に沿って配線されている。画素駆動線63は、各画素61から検出信号VSLを読み出す際の駆動を行うための駆動信号を伝送する。図2では、画素駆動線63について1本の配線として示しているが、1本に限られるものではない。画素駆動線63の一端は、垂直駆動部55の各画素行に対応した出力端に接続されている。垂直信号線64Aは、第1タップの検出信号VSLAをカラム処理部56へ伝送する信号線であり、垂直信号線64Bは、第2タップの検出信号VSLBをカラム処理部56へ伝送する信号線である。
 パルス生成回路53は、制御部51の制御にしたがい、所定の変調周波数Fmodの発光パルスを生成し、照明装置13のLD21へ出力する。上述のように、発光パルスの変調周波数Fmod1は、20MHzに設定され、変調周波数Fmod2は100MHzに設定される。なお、この変調周波数は一例であり、この数値に限定されないものである。
 また、パルス生成回路53は、変調周波数Fmodの発光パルスに対応した駆動信号GDAおよびGDBを生成し、タップ駆動部54へ供給する。駆動信号GDAは、各画素61の光電変換部で生成された電荷を第1タップへ転送するための駆動信号であり、駆動信号GDBは、各画素61の光電変換部で生成された電荷を第2タップへ転送するための駆動信号である。本実施形態では、例えば駆動信号GDAと駆動信号GDBは、一方に対して他方の位相が反転した信号となっている。
 タップ駆動部54は、パルス生成回路53から供給される、2つの駆動信号GDAおよびGDBを分配することで画素61単位の駆動信号GDA’と駆動信号GDB’を生成して、測距センサ52の各画素61に供給する。タップ駆動部54は、測距センサ52の画素列単位に駆動信号GDA’と駆動信号GDB’を供給することで、各画素61の2つのタップへの電荷振り分けを制御する。すなわち、駆動信号GDA’と駆動信号GDB’は、変調周波数Fmod1のときの、周波数20MHzの[0deg]、[180deg]の位相を有するパルス信号の組み合わせ、或いは、周波数20MHzの[90deg]、[270deg]の位相を有するパルス信号の組み合わせである。すなわち、[0deg]、[180deg]の位相を有する組み合わせパルス信号は、画素61A、D(図4参照)に供給され、[90deg]、[270deg]の位相を有する組み合わせパルス信号は、画素61B、C(図4参照)に供給される。
 同様に、駆動信号GDA’と駆動信号GDB’は、変調周波数Fmod2のときの、周波数100MHzの[0deg]、[180deg]の位相を有するパルス信号の組み合わせ、或いは、周波数100MHzの[90deg]、[270deg]の位相を有するパルス信号の組み合わせである。すなわち、[0deg]、[180deg]の位相を有する組み合わせパルス信号は、画素61a、d(図4参照)に供給され、[90deg]、[270deg]の位相を有する組み合わせパルス信号は、画素61b、c(図4参照)に供給される。
 垂直駆動部55は、シフトレジスタやアドレスデコーダなどによって構成され、画素行ごとに水平方向に沿って配線された画素駆動線63を介して、測距センサ52の各画素61を、全画素同時あるいは行単位等で駆動する画素駆動部である。垂直駆動部55によって選択走査された画素行の各画素61から出力される検出信号VSLAおよびVSLBは、画素信号として、垂直信号線64Aまたは64Bを通ってカラム処理部56に供給される。
 カラム処理部56は、測距センサ52の画素列毎に、選択行の各画素61から垂直信号線64Aまたは64Bを介して入力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。例えば、カラム処理部56は、信号処理として、画素信号のAD(アナログデジタル)変換処理などを実行する。なお、本実施形態に係るカラム処理部56が読み出し部に対応する。
 水平駆動部57は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部56の画素列に対応する単位回路を順番に選択する。この水平駆動部57による選択走査により、カラム処理部56で信号処理された画素信号が順番に信号処理部58に出力される。
 信号処理部58は、所定の演算処理機能を有し、カラム処理部56から出力される画素信号に対して、所定の演算処理を必要に応じて行って、出力部59を介して、制御装置11(図1参照)へ出力する。
 例えば、信号処理部58は、動作モードが測距モードの場合には、カラム処理部56から供給される各画素61のタップ毎の画素データ(検出信号VSLAおよびVSLB)に基づいて、被写体までの距離情報を算出し、各画素の画素値として距離情報を格納したデプス画像を生成する処理を行う。
 例えば、信号処理部58は、動作モードが2D画像撮影モードの場合には、カラム処理部56から供給される各画素61のタップ毎の画素データに基づいて、被写体の輝度画像を生成する処理を行う。なお、信号処理部58の詳細は、後述する。
 出力部59は、例えば、MIPI(Mobile Industry Processor Interface)等の所定の通信インタフェース等で構成され、信号処理部58の演算処理結果であるデプス画像や輝度画像を、測定データとして、制御装置11へ出力する。
 以上のように構成される受光素子31は、制御装置11から指定された動作モードで受光動作を行う。動作モードとして測距モードが指定された場合には、受光素子31は、発光パルスの変調周波数Fmodを、低速駆動Fmod1と高速駆動Fmod2の少なくとも2種類の変調周波数に切り替えて受光動作を行い、デプス画像を生成して出力する。また、動作モードとして2D画像撮影モードが指定された場合には、受光素子31は、被写体の輝度画像を生成して出力する。2D画像撮影モードでは、測距モードと同様に所定の変調周波数Fmodで照射光を発光させてもよいし、発光させなくてもよい。照射光を発光させない場合には、発光パルスの照明装置13への出力が停止される。本実施の形態では、低速駆動の第2の変調周波数Fmod2で照射光を発光させて、受光することとして説明する。なお、2D画像撮影モードで照射光を発光させる場合の変調周波数Fmodは、測距モードで動作させる場合のいずれかの変調周波数Fmodと同じである必要はない。
<画素回路の構成例>
 図5は、画素61の詳細な回路構成例を示している図である。図5の画素61は、光電変換部として光電変換素子(フォトダイオード)71を備える。また、画素61は、転送トランジスタ72、FD(浮遊拡散領域)73、FDゲートトランジスタ74、増幅トランジスタ75、リセットトランジスタ76、及び、選択トランジスタ77を、2つのタップに対応して2個ずつ有する。すなわち、画素61は、転送トランジスタ72Aおよび72B、FD73Aおよび73B、FDゲートトランジスタ74Aおよび74B、増幅トランジスタ75Aおよび75B、リセットトランジスタ76Aおよび76B、並びに、選択トランジスタ77Aおよび77Bを有し、符号にAが付された素子が第1タップ側の素子であり、符号にBが付された素子が第2タップ側の素子である。また、FD73Aおよび73Bが、光電変換素子71で生成された電荷を蓄積する2つのタップに相当する。画素61は、さらに、電荷排出トランジスタ78も有している。画素61に含まれる各トランジスタは、N型のMOSFETで構成される。上述のように、本実施形態に係るFD(浮遊拡散領域)73A,Bが電荷蓄積部に対応する。
 光電変換素子71は、受光した反射光の光量に応じた電荷を生成して蓄積する。なお、本実施形態に係る光電変換素子71が光電変換部に対応する。
 転送トランジスタ72Aは、ゲート電極に供給される駆動信号GDA’がアクティブ状態(High)になるとこれに応答して導通状態になることで、光電変換素子71に蓄積されている電荷をFD73Aに転送する。転送トランジスタ72Bは、ゲート電極に供給される駆動信号GDB’がアクティブ状態(High)になるとこれに応答して導通状態になることで、光電変換素子71に蓄積されている電荷をFD73Bに転送する。
 FD73Aは、光電変換素子71から転送されてきた電荷を一時的に蓄積し保持する第1タップの電荷蓄積部である。FD73Bは、光電変換素子71から転送されてきた電荷を一時的に蓄積し保持する第2タップの電荷蓄積部である。
 FDゲートトランジスタ74Aは、ゲート電極に供給されるFD駆動信号FDGがアクティブ状態になるとこれに応答して導通状態になることで、FDゲートトランジスタ74Aとリセットトランジスタ76Aとの間の付加容量を、FD73Aに接続させる。FDゲートトランジスタ74Bは、ゲート電極に供給されるFD駆動信号FDGがアクティブ状態になるとこれに応答して導通状態になることで、FDゲートトランジスタ74Bとリセットトランジスタ76Bとの間の付加容量を、FD73Bに接続させる。入射光の光量に応じてFDゲートトランジスタ74のオンオフを動的に制御することで、蓄積容量を変更することができる。図3では、簡略化のため、FD駆動信号線81が1本で、FD駆動信号FDGをFDゲートトランジスタ74Aおよび74Bで共有する構成とされているが、実際にはFD駆動信号線81は、FDゲートトランジスタ74Aおよび74Bそれぞれに対して個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
 増幅トランジスタ75Aは、ソース電極が選択トランジスタ77Aを介して垂直信号線64Aと接続されることにより不図示の定電流源と接続し、ソースフォロワ回路を構成する。増幅トランジスタ75Bは、ソース電極が選択トランジスタ77Bを介して垂直信号線64Bと接続されることにより不図示の定電流源と接続し、ソースフォロワ回路を構成する。
 リセットトランジスタ76Aは、ゲート電極に供給されるリセット駆動信号RSTがアクティブ状態になるとこれに応答して導通状態になることで、FD73Aの電位をリセットする。リセットトランジスタ76Bは、ゲート電極に供給されるリセット駆動信号RSTがアクティブ状態になるとこれに応答して導通状態になることで、FD73Bの電位をリセットする。なお、リセットトランジスタ76Aおよび76Bがアクティブ状態とされるとき、FDゲートトランジスタ74Aおよび74Bも同時にアクティブ状態とされる。図3では、簡略化のため、リセット駆動信号線82が1本で、リセット駆動信号RSTをリセットトランジスタ76Aおよび76Bで共有する構成とされているが、実際にはリセット駆動信号線82は、リセットトランジスタ76Aおよび76Bそれぞれに対して個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。リセットトランジスタ76Aおよび76Bのドレインには、所定のドレイン電圧RSTDRAINが供給されている。
 選択トランジスタ77Aは、増幅トランジスタ75Aと垂直信号線64Aとの間に接続されており、ゲート電極に供給される選択信号SELがアクティブ状態になると導通し、増幅トランジスタ75Aより出力される検出信号VSLAを、垂直信号線64Aに出力する。選択トランジスタ77Bは、増幅トランジスタ75Bと垂直信号線64Bとの間に接続されており、ゲート電極に供給される選択信号SELがアクティブ状態になると導通し、増幅トランジスタ75Bより出力される検出信号VSLBを、垂直信号線64Bに出力する。図5では、簡略化のため、選択信号線83が1本で、選択信号SELを選択トランジスタ77Aおよび77Bで共有する構成とされているが、実際には選択信号線83は、選択トランジスタ77Aおよび77Bそれぞれに対して個別に設けられており、それぞれが排他的に動作されるようにオンまたはオフが制御される。
 電荷排出トランジスタ78は、排出駆動信号線84を介してゲート電極に供給される排出駆動信号OFGがアクティブ状態になるとこれに応答して導通状態になることで、光電変換素子71に蓄積された電荷を排出する。
<画素動作と画素信号の説明>
 図6は、照射光の発光と画素の駆動を説明する図である。図5を参照しつつ、図6に基づき、画素61Aの動作例について説明する。ここでは、駆動信号GDA’と駆動信号GDB’は、[0deg]、[180deg]の位相を有するパルス信号の組み合わせの例である。
 横軸は時間であり、上から照射光、反射光、位相0度の駆動信号GDA’、位相180度の駆動信号GDB’である。照射光は、ハイレベルが高光度、ロウレベルが低光度の発光パルスの変調周波数Fmod(1/2T)を示す。反射光は、照射光から時間ΔT遅れて物体41から戻ってきた戻り光を示す。
 駆動信号GDA’は、転送トランジスタ72Aに供給されるゲート信号であり、駆動信号GDB’は、転送トランジスタ72Bに供給されるゲート信号である。
 まず、受光が行われる前に画素61の電荷をリセットするリセット動作が画素61Aで実行される。すなわち、FDゲートトランジスタ74Aおよび74B、リセットトランジスタ76Aおよび76Bがオンにされて、FD73Aおよび73Bの蓄積電荷が排出され、電荷排出トランジスタ78がオンにされて、光電変換素子71の蓄積電荷が排出される。
 蓄積電荷の排出後、変調周波数Fmod1で受光が開始される。具体的には、発光部22から、図6に示されるように、照射時間Tで照射のオン/オフを繰り返すように変調された照射光が出力され、被写体までの距離に応じた遅延時間ΔTだけ遅れて、光電変換素子71において反射光が受光される。照射光の1周期(=2T)は、1/Fmod1となる。また、駆動信号GDA’は、転送トランジスタ72Aのオン/オフを制御し、駆動信号GDB’は、転送トランジスタ72Bのオン/オフを制御する。駆動信号GDA’は、例えば、照射光と同一位相の信号であり、駆動信号GDB’は、駆動信号GDA’を反転した位相となっている。
 従って、図6において、光電変換素子71が反射光を受光することにより発生する電荷は、駆動信号GDA’に従って転送トランジスタ72Aがオンとなっている間ではFD73Aに転送され、駆動信号GDB’に従って転送トランジスタ72Bがオンとなっている間ではFD73Bに転送される。これにより、照射時間Tの照射光の照射が周期的に行われる所定の期間において、転送トランジスタ72Aを介して転送された電荷はFD73Aに順次蓄積され、転送トランジスタ72Bを介して転送された電荷はFD73Bに順次蓄積される。FDゲートトランジスタ74Aおよび74Bがオンのときは、付加容量にも蓄積される。
 以上のように、画素61は、光電変換素子71が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第1タップ(FD73A)と第2タップ(FD73B)に振り分けて、第1タップの検出信号VSLAと、第2タップの検出信号VSLBのそれぞれを出力する。なお、FDゲートトランジスタ74Aおよび74Bがオンのときは、付加容量にも蓄積される。
 画素61Bは、[90deg]、[270deg]の位相を有するパルス信号の組み合わせであり、[90deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’に対して位相がT/2遅れ、[270deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’に対して位相がT+T/2遅れる。同様に、画素61Cは、[270deg]、[90deg]の位相を有するパルス信号の組み合わせであり、[270deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’に対して位相がT+T/2遅れ、[90deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’に対して位相がT/2遅れる。同様に、画素61Dは、[180deg]、[0deg]の位相を有するパルス信号の組み合わせであり、[180deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’に対して位相がT遅れ、[0deg]の駆動信号GDA’は、[0deg]の駆動信号GDA’と同相である。後の動作は、画素61Aと同様であるので、詳細な動作例の説明は省略する。同様に、画素61a、b、c、dは、照射光の1周期(=2T’)は、1/Fmod2となる点で、画素61A、B、C、Dと相違する。それぞれの動作説明は画素61A、B、C、Dと同様であるので、省略する。
 ただし、測距センサ52では、個々の画素61が有する光電変換素子71や転送トランジスタ72等の画素トランジスタの各素子の特性のズレ(感度差)によって、画素61ごとに異なる影響が検出信号VSLAおよび検出信号VSLBに与えられる場合がある。そのため、間接ToF方式の測距装置1では、同一の画素61で位相を変えて反射光を受光した検出信号VSLAおよび検出信号VSLBを取得することにより、各画素61のタップ間の感度差を除去し、SN比を向上させる手法が採用される。
<信号処理部の構成と演算処理>
 ここで、図7乃至図12を参照しつつ、信号処理部58の構成例と、演算処理例を説明する。図7は、信号処理部58の構成例を示すブロック図である。図7に示すように、信号処理部58は、距離生成部580と、信頼度生成部582と、補間処理部584と、判定部586とを、有する。
<デプス値演算と信頼度>
 距離生成部580は、デプス値を算出する方式として、例えば、4Phaseによる検出方式(4Phase方式)と、2Phaseによる検出方式(2Phase方式)と、を用いることが可能である。
 図8は、0°、90°、180°、および、270°の各位相における画素61A、B、C、Dの第1タップの露光期間を、位相差が分かり易いように並べて示した図である。上から照射光、反射光、画素61A、B、C、Dの第1タップの露光期間GDA_0、GDA_90、GDA_180、GDA_270を示す。
 図8に示されるように、第1タップにおいて、照射光と同一の位相(位相0°)で受光して得られる検出信号VSLAを検出信号A0、照射光と90度ずらした位相(位相90°)で受光して得られる検出信号VSLAを検出信号A90、照射光と180度ずらした位相(位相180°)で受光して得られる検出信号VSLAを検出信号A180、照射光と270度ずらした位相(位相270°)で受光して得られる検出信号VSLAを検出信号A270、と称する。
 また、図示は省略するが、第2タップにおいて、照射光と同一の位相(位相0°)で受光して得られる検出信号VSLBを検出信号B0、照射光と90度ずらした位相(位相90°)で受光して得られる検出信号VSLBを検出信号B90、照射光と180度ずらした位相(位相180°)で受光して得られる検出信号VSLBを検出信号B180、照射光と270度ずらした位相(位相270°)で受光して得られる検出信号VSLBを検出信号B270、と称する。
 距離生成部580は、4Phaseによる検出方式(4Phase方式)では、(1)~(3)式にしたがった距離情報の演算処理を実行する。すなわち、距離生成部580は、間接ToF方式において、デプス値dは、次式(1)の演算を実行する。
d=(c×ΔT)/2=(c×η)/4πf                  (1)
 式(1)のcは光速であり、ΔTは遅延時間であり、fは光の変調周波数Fmodを表す。また、式(1)のηは、反射光の位相差[rad]を表し、次式(2)で表される。
η=Arctan(Q/I)                          (2)ηは、0≦φ<2πの範囲である。
 4Phase方式では、式(2)のI、Qが、位相を0°、90°、180°、270°に設定して得られた検出信号A0乃至A270および検出信号B0乃至B270を用いて、次式(3)で計算される。I、Qは、照射光の輝度変化をsin波と仮定し、sin波の位相を極座標から直交座標系(IQ平面)に変換した信号である。
 I=c0-c180=(A0-B0)-(A180-B180)
 Q=c90-c270=(A90-B90)-(A270-B270)    (3)
 信頼度生成部582は、信頼度Cfを、2Phase方式および4Phase方式のいずれにおいても、次式(4)で演算する。
 図9は、信頼度Cf(Confidence)は、位相によらず一定であることを示す模式的な説明図である。図9(a)は、上から照射光、c0、c180、c90、c270を示す図である。図9(b)は、上から照射光、c0、c180、c90、c270を示し、更に外光(Ambient光)La100、LA102を示す図である。図9(c)は、上から照射光、c0、c180、c90、c270、信頼度cnfを示し、更に外光(Ambient光)La100、LA102の絶対値La104、LA106を示す図である。
 図9に示すように、4Phase方式では、例えば、式(3)の“A0-A180”や“A90-A270”のように、同じ画素での逆位相の検出信号の差分を取ることで、各画素に存在するタップ間の特性ばらつき、すなわち、タップ間の感度差、及び外光差を除去することができる。これにより、図9(c)の信頼度Cfに示すように、位相によらず、一定値となる。
Cf=Sqrt(I×I+Q×Q)                  (4)
 このように、信頼度Cfのレベル(Level)は、画素61の積算(Integ)時間×光源のデューティ(Duty)×被写体反射率となる。式(4)から分かるように、信頼度Cfは、画素61A、B、C、Dで受光した反射光の大きさ、即ち輝度情報(輝度値)に相当する。
 一方、距離生成部580は、2Phase方式では、(1)、(2)、及び(5)式にしたがった距離情報の演算処理を実行する。2Phase方式では、位相0°と位相90°の2つの位相の検出信号を用いて、式(2)のI、Qが計算できる。すなわち、2Phase方式における式(2)のI、Qは、次式(5)となる。この値を(1)、(2)式に代入し、距離情報を演算する。
 I=c0-c180=(A0-B0)
 Q=c90-c270=(A90-B90)                (5)
 2Phase方式では、各画素に存在するタップ間の特性ばらつきは除去することができないが、2つの位相の検出信号のみで物体までのデプス値dを求めることができるので、4Phase方式の2倍の解像度で測距を行うことができる。タップ間の特性ばらつきは、例えば、ゲインやオフセット等の補正パラメータで調整することができる。
 図10は、本実施形態に係る駆動例を示すタイムチャートである。上から、光源の発光光量、駆動状態、GDA1信号、GDB1信号、OFG1信号、GDA2信号、GDB2信号、及びOFG2信号を示す。横軸は時間を示す。光源の発光光量、GDA1信号、GDB1信号、OFG1信号、GDA2信号、GDB2信号、及びOFG2信号は、それぞれハイレベル信号とロウレベル信号を示す。なお、画素61A、B、C、Dのそれぞれは、上述のようにGDA1信号、GDB1信号の位相が異なり、画素61a、b、c、dのそれぞれは、上述のようにGDA2信号、GDB2信号の位相が異なるが、図9では、説明を簡単にするために、一組の信号で代表して図示している。
 図4、及び5を参照しつつ、図10に示すように、時刻T0で、Fmod1=20MHZの発光が開始され、画素61A、B、C、Dは、電荷蓄積状態(Integration1)となる。すなわち、画素61A、B、C、Dにおける電荷排出トランジスタ78のゲートにロウレベルのOFG1信号が印加される。これにより、画素61A、B、C、Dにおける光電変換素子71は、光電変換を開始する。
 このとき、画素61A、B、C、Dの転送トランジスタ72Aのゲートと、72Bのゲートとには、位相が変転した信号、GDA1信号、及びGDB1信号が20MHZでそれぞれ供給される。これにより、画素61A、B、C、Dでは、光電変換素子71の電位に応じた電荷が、20MHZで第1タップであるFD73Aと、第2タップであるFD73Bとに振り分けられる。
 一方で、画素61a、b、c、dにおける電荷排出トランジスタ78のゲートにハイレベルのOFG2信号が印加されている。これにより、画素61a、b、c、dにおける光電変換素子71のカソードには、電位VDDが印加され、初期状態を維持する。同様に、画素61a、b、c、dの転送トランジスタ72Aのゲートと、72Bのゲートとにはロウレベル信号が供給され、非接続状態が維持される。
 時刻T1になると、画素61A、B、C、Dにおける電荷排出トランジスタ78のゲートにハイレベルのOFG1信号が印加され、光電変換素子71のカソードには、電位VDDが印加され、初期状態となり、電荷蓄積状態(Integration1)が終了する。また、時刻T1よりT/2時間前に、画素61A、B、C、Dの転送トランジスタ72Aのゲートと、72Bのゲートとにはロウレベル信号が供給され、非接続状態となる。これらの状態は、時刻T4まで維持される。
 時刻T2になると、発光部22のブランク期間が終了し、Fmod2=100MHZの発光が開始され、画素61a、b、c、dは、電荷蓄積状態(Integration2)となる。すなわち、画素61a、b、c、dにおける電荷排出トランジスタ78のゲートにロウレベルのOFG2信号が印加される。これにより、画素61a、b、c、dにおける光電変換素子71は、光電変換を開始する。
 このとき、画素61a、b、c、dの転送トランジスタ72Aのゲートと、72Bのゲートとには、位相が反転した信号、GDA2信号、及びGDB3信号が100MHZでそれぞれ供給される。これにより、画素61a、b、c、dでは、光電変換素子71の電位に応じた電荷が、100MHZで第1タップであるFD73Aと、第2タップであるFD73Bとに振り分けられる。
 時刻T3になると、画素61a、b、c、dにおける電荷排出トランジスタ78のゲートにハイレベルのOFG2信号が印加され、光電変換素子71のカソードには、電位VDDが印加され、初期状態となり、電荷蓄積状態(Integration2)が終了する。時刻T3よりT/2時間前に、画素61a、b、c、dの転送トランジスタ72Aのゲートと、72Bのゲートとにはロウレベル信号が供給され、非接続となる。これらの状態は、時刻T4まで維持される。
 また、時刻T3になると、画素61A、B、C、Dと、画素61a、b、c、dとのトランジスタ77A、77Bにハイレベル信号が順次、或いは同時に供給され、蓄積電荷が読み出される。このように、画素61A、B、C、Dと、画素61a、b、c、dとの蓄積電荷が時刻T3からt5のデータ読み出し期間に読み出される。なお、時刻T0からT1の期間と、時刻T2からT3の期間は、例えば0.1~1msの期間に設定される。また、時刻T1からt2の期間は、例えば0.1msの期間に設定され、時刻T3からT4のデータ読み出し期間は、例えば5msの期間に設定される。これらから分かるように、時刻T3からT4のデータ読み出し期間が、距離情報を生成する際の処理時間の多くの割合、例えば、80%くらいの割合を占めることになる。また、Fmod1=20MHZのデータは距離位相のノイズに対して、Fmod2=100MHZのデータよりも相対的にロバストなため、先に低周波のデータを取得した後に、高周波のデータを取得することで、安定したDual Freq動作が可能になる。また、物体41からの反射光を受光したいタイミングのみ、各画素61は信号電荷の振り分け動作を行い、それ以外の期間については電荷排出トランジスタ78を導通状態にすることで、太陽光や他の測距センサからの外乱光により発生する信号電荷を排出することで、外乱光起因の測距精度の劣化を最小限にとどめることができる。
<組み合わせとデプス値演算>
 図11は、補間処理部584の用いる画素61A、B、C、Dと、画素61a、b、c、dとの組み合わせ例を示す図である。図11(a)は、図3と同様に、測距センサ52の画素の機能別な配置例を示す図であり、図11(b)は、補間処理部584の補間演算での、画素61A、B、C、Dと、画素61a、b、c、dとの組み合わせ例を示す図である。本実施形態では、補間処理部584の補間演算では、例えば隣接する画素61A、B、C、Dと、画素61a、b、c、dとの組み合わせを用いる。
 ここで、画素61A、B、C、Dと、画素61a、b、c、dとの組み合わせをGrm、nで示す。つまり、nが行を示し、mが列を示す。図11(b)では、nが偶数を示す場合が、画素61A、B、C、Dに対応し、nが奇数を示す場合が、画素61a、b、c、dに対応する。
 画素61A、B、C、Dから読み出された信号は、デジタル信号(A0、A90、A180、A270)、(B0、B90、B180、B270)に変換される。距離生成部580は、画素61A、B、C、D毎に、(1)式にしたがい、第1距離値(Coarse Depth)ψm、n(nは偶数)を演算する。そして、信頼度生成部582は、(4)式にしたがい、信頼度Cfm、n(nは偶数)を演算する。
 一方で、画素61a、b、c、dから読み出された信号は、デジタル信号(A0、A90、A180、A270)、(B0、B90、B180、B270)に変換される。距離生成部580は、画素61a、b、c、d毎に、(1)式にしたがい、第2距離値距離(Fine Depth)Φm、n(nは奇数)を演算する。そして、(信頼度生成部582は、(4)式にしたがい、信頼度Cfm、n(nは奇数)を演算する。補間処理部584は、図11(b)に示すように、上下の距離値を用いて、例えば補間演算を実施する。
 図12は、第1距離値(Coarse Depth)と、第2距離値(Fine Depth)を用いた補間処理部584における距離値の演算方法を模式的に示す図である。横軸は測距距離値(Distance)であり、縦軸は第1距離値(Coarse Depth)と、第2距離値(Fine Depth)を示す。
 例えば、Grm、n(nは偶数)の距離値を演算する場合、ψm、n(nは偶数)、Φm、n-1、Φm、n+1の値が用いられる。ψm、n(nは偶数)で第2距離値が何周期であるかを定める。図11では、繰り返し周期が2周期であり、第2距離値を(Φm、n-1+Φm、n+1)/2で演算する。
 上述のように、第1距離値(Coarse Depth)は、360度(1周期)が7.5mに対応し、第2距離値(Fine Depth)の測距精度は、例えば360度(1周期)が1.5mに対応する。つまり、図11では、繰り返し周期が2周期目であり、1.5m+(Φm、n-1+Φm、n+1)/2が、Grm、n(nは偶数)の距離値(Distance)となる。 
 また、例えば、Grm、n(nは奇数)の距離値を演算する場合、Φm、n(nは奇数)、ψm、n-1、ψm、n+1の値が用いられる。(ψm、n-1+ψm、n+1)/2で第2距離値が何周期であるかを定める。図11では、2周期目であり、第2距離値をΦm、n(nは奇数)で定める。つまり、図11では、繰り返し周期が2周期目であり、1.5m+Φm、n(nは奇数)が、Grm、n(nは奇数)の距離値(Distance)となる。このように、信号処理部58は、画素61A、B、C、Dの信号に基づき演算した第1位相差η1(1式参照)に応じた画素61a、b、c、dの信号に基づき演算した第2位相差η2(1式参照)の繰り返し周期と、第2位相差η2とに基づき、測距値(Distance)を生成する。このような処理をデエイリアシング(De-aliasing)処理と称する場合がある。
<補間演算の条件>
 ここで、図13、14を用いて、判定部586の判定処理例を説明する。判定部586は、補間処理部584の補間演算を実施するか否かを判定する。図13は、物体41の反射率と信頼度Cfの関係を示す図である。横軸は距離値(Distance)を示し、縦軸は信頼度Cfを示す。上述したように、信頼度Cfのレベル(Level)は、画素61の積算(Integ)時間×光源のデューティ(Duty)×被写体反射率÷距離値の二乗となる。すなわち、高反射率の物体41からの信頼度Cf100は、距離値の二乗に反比例し、低反射率の物体41からの信頼度Cf102よりも高い値を示す。
 図14は、100MHZ、20MHZの2種の測定光を用いた場合の信頼度Cfを示す図である。横軸は距離値(Distance)を示し、縦軸は信頼度Cfの値を示す信号(Signal)を示す。図14に示すように、信頼度Cfは、測定光の周波数には、依存しないものである。
 そこで、本実施形態に係る判定部586では、図11で示した補間演算を実施する場合に、信頼度Cfの値を参考にして、補間演算を実施するか否かを判定する。判定部586は、例えば、Grm、n(nは奇数)の距離値を演算する場合、Cfm、nと、Cfm、n+1の値の差の絶対値が閾値th1未満であれば、ψm、n+1の値を補間に用い、Cfm、nと、Cfm、n-1の値の差の絶対値が閾値th1未満であれば、ψm、n-1の値を補間に用いると判定する。一方で、判定部586は、閾値th1以上であれば、補間に用いなと判定する。つまり判定部586が、ψm、n+1、及びψm、n-1の値を補間に用いないと判定する場合には、補間処理部584は第2距離値(Fine Depth)のみを出力する。このように、補間処理部584は、隣接する4画素に基づき算出される信頼度Cfの値が所定値いないであれば、同一物体からの反射光と判断する。そして、補間処理部584は補間演算を実施する。
 同様に、判定部586は、例えば、Grm、n(nは偶数)の距離値を演算する場合、Cfm、nと、Cfm、n+1の値の差の絶対値が閾値th1未満であれば、Φm、n+1の値を補間に用い、Cfm、nと、Cfm、n-1の値の差の絶対値が閾値th1未満であれば、Φm、n-1の値を補間に用いると判定する。一方で、判定部586は、閾値th1以上であれば、補間に用いないと判定する。つまり、判定部586が、Φm、n+1、及びΦm、n-1の値を補間に用ないと判定する場合には、補間処理部584は第1距離値(Coarse Depth)のみを出力する。
<比較例1>
 図15は、比較例1の駆動状態を模式的に示す図である。受けから光源の発光状態、画素61の駆動状態をしめす。横軸は時間である。比較例1のような一般的な間接ToF方式では、一つの画素61において、時分割でデータが蓄積され、読み出される。つまり、変調周波数Fmod1を用いて4位相に対応する4フレームt0、t1、t2、t3で(0度、90度、180度、270度)、及び(180度、270度、0度、90度)のデータ蓄積と、読み出しが順に行われる。
 同様に、変調周波数Fmod2を用いて4位相に対応する4フレームt4、t5、t6、t7で(0度、90度、180度、270度)、及び(180度、270度、0度、90度)のデータ蓄積と、読み出しが順に行われる。このように、複数の変調周波数Fmod1、数Fmod2で測距を行う場合には、1枚のデプス画像を出力するために、少なくとも8フレームの発光および読み出しを行う必要がある。読み出し時間は、データ蓄積時間の例えば5倍程度の時間を要する。
 図16は、比較例1の物体41とデプス値(測距値)の関係を模式的に示す図である。物体41は、移動体であり、読み出し時間は、データ蓄積時間の例えば5倍程度の時間を要するので、8フレームt0、t1、t2、t3、t4、t5、t6、t7で、デプス値が変わってしまう。
<比較例2>
 図17は、比較例2の駆動状態を模式的に示す図である。受けから光源の発光状態、画素61の駆動状態をしめす。横軸は時間である。比較例2は、本実施形態と同様に、画素61A、B、C、Dを有するが、画素61a、b、c、dを有さない例である。すなわち、画素61A、B、C、Dにより、変調周波数Fmod1を用いて4位相に対応する1フレームt0の蓄積と読み出しが行われた後に、更に、画素61A、B、C、Dにより、変調周波数Fmod2を用いて4位相に対応する1フレームt1の蓄積と読み出しが行われる。
 図18は、比較例2の物体41とデプス値(測距値)の関係を模式的に示す図である。物体41は、移動体であり、読み出し時間は、データ蓄積時間の例えば5倍程度の時間を要するので、2フレームt0、t1で、デプス値が変わってしまう。
<本実施形態>
 図19は、本実施形態に係る物体41とデプス値(測距値)の関係を模式的に示す図である。本実施形態に係る測距センサ52は、画素61A、B、C、D、画素61a、b、c、dとを独立して機能する画素61として構成している。これにより、それぞれ同時に蓄積電荷を蓄積することが可能である。このため、図10で示したように、時刻T1~T2のブランク期間では、データの読み出しを行なわずとも距離情報の生成が可能となる。これにより、画素61A、B、C、Dの電荷の蓄積を開始する時点T0と、画素61a、b、c、dの電荷の蓄積を終了する時点T3と、の時間を短縮化できる。これにより、画素61A、B、C、Dと、画素61a、b、c、dとの距離値の差をより抑制でき、距離情報の精度がより向上する。このように、物体41に対してブレ(ブラー)がなく、一度にデータを読み出すために、低消費電力に寄与する。
<他の駆動モード>
 測距センサ52の各画素61へ供給されるタップ駆動部54からの駆動信号により、駆動モードを変更可能である。
 図20は、3つの駆動モードを示す図である。図20では、4隣接の画素61A、B、C、Dを画素群610で示し、4隣接の画素61a、b、c、dを画素群612で示している。図20(a)は、図4と同等の構成であり、横ストライプの例である。図20(a)は、行毎に画素群610と画素群612とを構成している。図20(b)は、チエッカー(市松状)の構成例であり、画素群610と画素群612とを市松状に構成している。図20(c)は、横ストライプの例であり、列毎に画素群610と画素群612とを構成している。
 図21は、図20と異なる3つの駆動モードを示す図である。4隣接の画素61D、C、B、Aを画素群610aで示し、4隣接の画素61d、c、b、aを画素群612aで示している。つまり、4位相を(0度、90度、180度、270度)の配置順から(180度、270度、0度、90度)の配置順に変更している。図21(a)は、行毎に画素群610aと画素群612aとを構成している。図21(b)は、チエッカー(市松状)の構成例であり、画素群610aと画素群612aとを市松状に構成している。図21(c)は、横ストライプの例であり、列毎に画素群610aと画素群612aとを構成している。このように、制御部51は、撮像目的に応じて、駆動モードを変更することが可能である。
 図22は、図20(b)の配置例における補間処理例を示す図である。図22(a)は、図20(b)と同様のチエッカー(市松状)の構成例を示す図である。図22(b)は、補間対照の隣接画素群を模式的に示す図である。
 図23は、画素群610に対する補間処理例を示す図である。図23(a)は、着目した画素群610の例を示し、図23(b)は、着目した画素群610の周辺の4隣接画素群612を示す図である。図20(b)、図21(b)で示すチエッカー(市松状)の構成例では、周辺の4画素群を補間に用いることが可能である。すなわち、判定部586は、画素群610に対しては、図23(b)に示すように、4隣接の画素群612の信頼度Cfの差分の絶対値が閾値th1未満であれば、補間に用いると判定し、閾値th1以上であれば、補間に用いないと判定する。上述のように信頼度Cfは変調周波数によらないため、変調周波数が異なっていても等距離にある同じ反射率を有する物体41に対しては、ほぼ同等な値を返す。このため、信頼度Cの値の相関を用いて方向判定(補間に用いる隣接画素群を選定する判定)をすることで、単純に周囲の隣接画素群を用いて補間する場合に比べて、距離画像の品質低下の少ないデイアライジング(de-aliasing)処理が可能になる。
 図24は、画素群612に対する補間処理例を示す図である。図24(a)は、着目した画素群612の例を示し、図23(b)は、着目した画素群610の周辺の4隣接画素群612を6100、6102、6104、6106で示す図である。図23(b)では、画素群612の信頼度Cfと、画素群6104、6106の信頼度の絶対値の差は閾値Th1以上であり、画素群6100、6102の信頼度の絶対値の差は閾値Th1未満である。この場合、判定部586は、画素群6100、6102を着目した画素群610の補間に用いると判定する。このように、判定部586は、画素群612に対しては、4隣接の画素群610の信頼度Cfの差分の絶対値が閾値th1未満であれば、補間に用いると判定し、閾値th1以上であれば、補間に用いないと判定する。
 図25は、本実施形態に係る制御例を示すフローチャートである。ここでは、図20(b)、で示すチエッカー(市松状)の構成例で説明する。
 まず、制御部51の制御下でパルス生成回路53が、Fmod1=20MHZの発光パルスをLD21に供給し、Fmod1=20MHZの発光が開始される(ステップS100)。次に、画素61A、B、C、Dは、電荷蓄積状態(Integration1)となる(ステップS102)。
 次に、制御部51の制御下でパルス生成回路53が、Fmod2=100MHZの発光パルスをLD21に供給し、Fmod2=100MHZの発光が開始される(ステップS104)。次に、画素61a、b、c、dは、電荷蓄積状態(Integration1)となる(ステップS106)。
 次に、信号処理部58の信頼度生成部582は、(4)式にしたがい信頼度Cfを、画素群610、612毎に、AC光レベルとして演算する(ステップS108)。信号処理部58の判定部586は、4隣接する画素群610と画素群612との信頼度Cfの差分の絶対値を全画素群610、612に対して演算し、デエイリアシング(De-aliasing)処理を実施するか否かを判定する(ステップS110)。
 次に、距離生成部580は、距離情報を全画素群610と全画素群612に対して演算する(ステップS108)。続けて、信号処理部58の信頼度生成部582は、(4)式にしたがい信頼度Cfを、画素群610、612毎に、AC光レベルとして演算する(ステップS110)。
 判定部586は、4隣接する全画素群610の信頼度Cfと全画素群612の信頼度Cfとの差分の絶対値を演算して、絶対値が閾値th1未満であるいか否かを判定する(ステップS112)。4隣接する画素群と差分値の絶対値が全て閾値th1以上である場合に(ステップS112のN)、補間処理部584は、画素群610、612毎の距離情報をデエイリアシング(De-aliasing)処理を実施せずに出力し(ステップS114)、処理を終了する
 一方で、判定部586は、四隣接の画素群のいずれかが閾値th1未満であると判定する場合(ステップS112のY)、画素群の距離画像(図22の(b)参照)を生成する(ステップS116)。続けて、判定部586は、四隣接の画素群の値に応じて、補間方向を判定する。例えば、四隣接の画素群の値を全てが閾値th1未満である場合には、水平、又は垂直方向を選択する(ステップS116)。この場合、四隣接の画素群の内の3画素群の値を用いる場合には、任意の2画素群を選択してもよい。或いは、四隣接の画素群全てを選択してもよい。
 次に、補間処理部584は、ステップ116で選択した画素群の平均値を補間強度値として演算する(ステップS118)。そして、補間強度値を用いて全画素群610、612に対してデエイリアシング(De-aliasing)処理を実施し(ステップS120)、処理を終了する。
 以上説明したように、本実施形態によれば、変調周波数Fmod1に対応する画素61A、B、C、Dと、変調周波数Fmod2に対応する画素61a、b、c、dとを、測距センサ52に混載することとした。これにより、画素61A、B、C、Dと画素61a、b、c、dとを独立に駆動可能となり、変調周波数Fmod2の照射光の照射後の画素61A、B、C、D、及び画素61a、b、c、dから信号を読み出す読み出し期間より、変調周波数Fmod1の照射光から変調周波数Fmod2の第2照射光に切り替える切り替え期間を短く制御することが可能となる。これにより、変調周波数Fmod1での測定期間の物体41の位置に基づくと、変調周波数Fmod2での測定期間の物体41の位置との距離差(ブラー)を抑制可能となり、位相差に基づき生成する測距値の測定精度の低下を抑制できる。
(第1実施形態の変形例1)
 第1実施形態の変形例1に係る測距装置1は、外乱光を排出する期間中も、信号電荷の振り分け期間中と同じように高い周波数でオーバーフローゲートをON/OFFする点で、第1実施形態に係る測距装置1と相違する。以下では、第1実施形態に係る測距装置1と相違する点を説明する。
 図26は、第1実施形態の変形例1に係る駆動例を示すタイムチャートである。上から、光源の発光光量、駆動状態、GDA1信号、GDB1信号、OFG1信号、GDA2信号、GDB2信号、及びOFG2信号を示す。横軸は時間を示す。光源の発光光量、GDA1信号、GDB1信号、OFG1信号、GDA2信号、GDB2信号、及びOFG2信号は、それぞれハイレベル信号とロウレベル信号を示す。
 図26に示すように、時刻T1~T3の期間においても、OFG1信号をトグル駆動して、電荷排出トランジスタ78のON/OFFを繰り返す。同様に、時刻T0~T2の期間においても、OFG2信号をトグル駆動して、電荷排出トランジスタ78のON/OFFを繰り返す。
 このように、外乱光を排出する期間中も、信号電荷の振り分け期間中と同じように高い周波数で電荷排出トランジスタ78をON/OFFするため、電源変動の時間的な揺らぎが小さくなり、測距性能の安定化がより向上する。
(第2実施形態)
 第2実施形態に係る測距装置1は、Fmod2=100MHZ側は、4Phase方式で演算し、Fmod1=20MHZ側は、2Phase方式で演算する点で、第1実施形態に係る測距装置1と相違する。以下では、第1実施形態に係る測距装置1と相違する点を説明する。
 図27は、第2実施形態に係る測距センサ52の構成例を示す図である。図27に示すように、画素61a、b、c、dの画素群612により、全画素群612が構成される。
 図28は、第2実施形態に係る駆動例を示すタイムチャートである。上から、光源の発光光量、駆動状態、TAPA信号、TAPB信号、TAPC信号、TAPD信号を示す。横軸は時間を示す。光源の発光光量、TAPA信号、TAPB信号、TAPC信号、TAPD信号は、それぞれハイレベル信号とロウレベル信号を示す。TAPA信号、TAPB信号、TAPC信号、TAPD信号は、転送トランジスタ72A、72B、72C、72Dのゲート信号を示す。転送トランジスタ72A、72Bは、[0度、180度]の位相に対応し、転送トランジスタ72A、72Bは、[90度、270度]の位相に対応する。
 距離生成部580は、Fmod2=100MHZ側のデプス値dを(1)~(3)式に従い演算する。一方で、距離生成部580は、Fmod1=20MHZ側のデプス値dを(1)、(2)、(5)式に従い演算する。この場合、TAPA+TAPBの信号値と、TAPC+TAPDの信号値と、を用いる。すなわち、TAPA+TAPBの信号値は、FD73A+FD73Bの信号値であり、TAPC+TAPDの信号値は、FD73C+FD73Dの信号値である。
 このように、[0+180]、[90+270]度の和信号によりFmod1=20MHZ側の低周波数成分の位相情報を取得することが可能となる。これにより、画素群612に対して統一した駆動が可能となり、空間的な分布に対する補間も不要とすることも可能となる。
(第3実施形態)
 第3実施形態に係る測距装置1は、Fmod1=20MHZ側での測距情報を2度取得し、時間平均する点で、第1実施形態に係る測距装置1と相違する。以下では、第1実施形態に係る測距装置1と相違する点を説明する。
 図29は、第3実施形態に係る駆動例を示すタイムチャートである。上から、光源の発光光量、駆動状態を示す。図29(a)は、1回目の画素群610の距離値L100と、2回目の画素群610の距離値L102と、平均値L104との関係を示す図である。図29(b)は、画素群612の距離値L106、平均値L104とを用いたデエイリアシング(De-aliasing)処理結果を示す図である。このように、信号処理部58は、1回目の画素群610の距離値L100と、2回目の画素群610の距離値L102の平均値L104と、画素群612の距離値L106とを用いて、デエイリアシング(De-aliasing)処理を実行するために、物体41の重心ズレ(ブラー)を解消することができる。
(第4実施形態)
 第4実施形態に係る測距装置1は、変調周波数Fmodを3種類以上有する点で、第1実施形態に係る測距装置1と相違する。以下では、第1実施形態に係る測距装置1と相違する点を説明する。
 第4実施形態に係る測距装置1の測距センサ52は、変調周波数Fmod1=20MHZに対応する第1画素群と、変調周波数Fmod2=100MHZに対応する第2画素群と、変調周波数FmodN=200MHZに対応する第3画素群と、を有する。変調周波数FmodNは、例えば200MHZであるが、これに限定されない。
 図30は、第4実施形態に係る測距装置1の駆動例を示すタイムチャートである。上から、光源の発光光量、駆動状態を示す。横軸は時間を示す。図30に示すように、変調周波数Fmod1=20MHZで、距離情報を生成した後に、変調周波数Fmod2=100MHZで距離情報を生成した後に、変調周波数FmodN=200MHZで距離情報を生成する。このように、3種類以上の距離精度の情報を得ることが可能となる。
(第5実施形態)
 第5実施形態に係る測距装置1は、画素61を4TAPで構成する点で、第1実施形態に係る測距装置1と相違する。以下では、第1実施形態に係る測距装置1と相違する点を説明する。
 図31は、画素を4TAPで構成した例を示す図である。4TAPで構成した画素614、616は、同等の構成を有する。以下の説明では変調周波数Fmod1=20MHZの駆動に関しては、大文字のD、E、F、Gで示し、変調周波数Fmod2=100MHZの駆動に関しては、小文字のd、e、f、gで示すこととする。また、発光パルスの基準位相に対して、0度の位相を、D、dで示し、90度の位相を、E、eで示し、180度の位相を、G、gで示し、270度の位相を、E、eで示すこととする。
 図31に示すように、画素614は、変調周波数Fmod1=20MHZで駆動する画素であり、単一の光電変換部で生成された電子を、転送トランジスタ72D、E、F、Gを介して、電荷を蓄積する4つのタップ73D、E、F、Gに振り分ける。すなわち、転送トランジスタ72D、E、F、Gのゲートには、発光パルスの基準位相に対して、0度、90度、180度、270度の位相差を有する変調周波数Fmod1=20MHZの駆動信号が供給される。すなわち、画素を2TAPで構成した場合には、2TAPに対して、1つの光電変換部が必要となるが、画素を3TAPで構成した場合には、4TAPに対して、1つの光電変換部が必要となる点で相違する。これにより、4TAPで構成した画素を用いることにより、測距センサ52をより小型化することが可能となる。
 一方で、画素616は、変調周波数Fmod2=100MHZで駆動する画素であり、光電変換部で生成された電子を、転送トランジスタ72d、e、f、gを介して、電荷を蓄積する4つのタップ73d、e、f、gに振り分ける。すなわち、転送トランジスタ72d、e、f、gのゲートには、発光パルスの基準位相に対して、0度、90度、180度、270度の位相差を有する変調周波数Fmod2=100MHZの駆動信号が供給される。
 図32は、図31の配置例における補間処理例を示す図である。図32(a)は、図31と同様のチエッカー(市松状)の構成例を示す図である。図32(b)は、補間対照の隣接画素群を模式的に示す図である。このように、4TAPで構成した画素614、616を用いて、2TAPで構成した画素群610、612と同様の距離画像を単一の光電変換部により生成することが可能である。
 <4TAPの駆動モード>
 測距センサ52の各画素へ供給されるタップ駆動部54からの駆動信号により、駆動モードを変更可能である。
 図33は、3つの駆動モードを示す図である。図33(a)は、図31と同等の構成であり、チエッカー(市松状)の構成例である。図32(b)は、横ストライプの例である。行毎に画素614と画素616とを構成している。図33(c)は、縦ストライプの例であり、列毎に画素614と画素616とを構成している。
 図34は、図33と異なる3つの駆動モードを示す図である。画素618は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72D、Eと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72d、eと、を有する。一方で画素620は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72F、Gと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72f、gと、を有する。
 図34(a)は、横ストライプの例であり、行毎に画素618と画素620とを構成している。図34(b)は、縦ストライプの例であり、列毎に画素618と画素620とを構成している。図34(c)は、チエッカー(市松状)の構成例である。このように、同一画素618、620内に異なる変調周波数で駆動するゲートトランジスタを構成してもよい。
 図35は、図33と更に異なる3つの駆動モードを示す図である。画素622は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72D、Gと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72d、gと、を有する。一方で画素624は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72F、Eと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72f、eと、を有する。 
 図35(a)は、横ストライプの例であり、行毎に画素622と画素624とを構成している。図35(b)は、縦ストライプの例であり、列毎に画素622と画素624とを構成している。図35(c)は、チエッカー(市松状)の構成例である。このように、同一画素622と画素624内に異なる変調周波数で駆動するゲートトランジスタを構成してもよい。
 図36は、図33と更に異なる3つの駆動モードを示す図である。画素626は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72D、Gと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72d、gと、を有する。一方で画素624は、変調周波数変調周波数Fmod1=20MHZで駆動する転送トランジスタ72F、Eと、変調周波数Fmod2=100MHZで駆動する転送トランジスタ72f、eと、を有する。 
 図36(a)は、横ストライプの例であり、行毎に画素622と画素624とを構成している。図36(b)は、縦ストライプの例であり、列毎に画素622と画素624とを構成している。図36(c)は、チエッカー(市松状)の構成例である。このように、同一画素624と画素626内に異なる変調周波数で駆動するゲートトランジスタを構成してもよい。
 なお、本技術は以下のような構成を取ることができる。
(1)
 第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2光電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
 前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短く制御する制御部と、
 前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する信号処理部と、
 を備える。
(2)
 前記測距センサは、前記第1電荷蓄積部を有する複数の画素群と、前記第2電荷蓄積部を有する複数の画素群と、を混載している、(1)に記載の測距装置。
(3)
 前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
 前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを導通状態とし、且つ前記第2電荷排出トランジスタを非導通状態とし、
 前記第1照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態とし、且つ前記第2電荷排出トランジスタを導通状態とする、(1)に記載の測距装置。
(4)
 前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
 前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせ、前記第1照射光を照射する期間において前記第2電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせる、(2)に記載の測距装置。
(5)
 前記第1光電変換部を有する第1画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
 前記第1画素と隣接し、前記第1光電変換部を有する第2画素は、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第1電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第1位相差を生成する、(1)に記載の測距装置。
(6)
 前記第2光電変換部を有する第3画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
 前記第3画素と隣接し、前記第2光電変換部を有する第4画素は、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第2電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第2位相差を生成する、(5)に記載の測距装置。
(7)
 前記第1光電変換部を有する第5画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第1電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第1位相差を生成する、(1)に記載の測距装置。
(8)
 前記第2光電変換部を有する第6画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
 前記信号処理部は、前記第2電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第2位相差を生成する、(7)に記載の測距装置。
(9)
 前記第5画素と前記第6画素とは、隣接する、(8)に記載の測距装置。
(10)
 前記第1光電変換部と、前記第2光電変換部と、は同一の光電変換部である、(1)に記載の測距装置。
(11)
 第7画素は、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第1電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第1電荷蓄積部の他方の電荷蓄積部に電荷を蓄積し、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第2電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第2電荷蓄積部の他方の電荷蓄積部に電荷を蓄積する、(10)に記載の測距装置。
(12)
 前記第7画素においては、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である0度のパルス駆動信号と、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号とであり、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である0度のパルス駆動信号と、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号とである、(11)に記載の測距装置。
(13)
 前記第7画素に隣接する第8画素は、前記第7画素と同等の構成であって、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である90度のパルス駆動信号と、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号とであり、
 前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である90度のパルス駆動信号と、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号とである、(12)に記載の測距装置。
(14)
 前記第1変調周波数は、前記第2変調周波数よりも低周である、(1)に記載の測距装置。
(15)
 前記信号処理部は、前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成する、(14)に記載の測距装置。
(16)
 前記第1変調周波数と前記第2変調周波数とは、同一の周期である、(1)に記載の測距装置。
(17)
 前記第1電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第1成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第2成分と、を用いた第1信頼度と、
 前記信号処理部は、前記第2電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第3成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第4成分と、を用いた第2信頼度と、を生成し、
 前記第1信頼度と前記第2信頼度との差が所定値以内である場合に、
 前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成する、(6)に記載の測距装置。
(18)
 第1変調周波数の第1照射光を照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数と同期し、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、第1の電荷蓄積部に光電変換部で生成された信号電荷を蓄積し、前記第1変調周波数と90度位相の異なる90度のパルス駆動信号に従い、第2の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と180度位相の異なる180度のパルス駆動信号に従い、第3の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と270度位相の異なる270度のパルス駆動信号に従い、第4の電荷蓄積部に前記信号電荷を蓄積する第10画素を有する測距センサと、
 前記第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第1和信号と、
 前記第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第2和信号と、
 前記第1和信号と前記第2和信号とに基づき、前記反射光として受光されるまでの時間を第1変調周波数よりも低周波に対応する第1位相差として生成成して、測距値を生成する信号処理部と、
 を備える測距装置。
(19)
 第1変調周波数の第1照射光と、前記第1変調周波数と異なる第2変調周波数の第2照射光と、前記第1変調周波数の第3照射光と、を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
 前記第1照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第1信号を読み出し、前記第2電荷蓄積部の蓄積電荷に応じた第2信号を読み出し、前記第3照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第3信号を読み出す読み出し部と、
 前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第3信号に基づき、前記反射光として受光されるまでの時間を第3位相差として生成して、前記第1位相差と、前記第3位相差との平均値と、前記第2位相差とを用いて測距値を生成する信号処理部と、
 を備える測距装置。
(20)
 第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を物体に順に照射し、
 前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサを用いた測距方法であって、
 前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短くし、
 前記第1信号に基づき、前記物体からの反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する、測距方法。
 本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
 1:測距装置、41、42:物体、51:制御部、52:測距センサ、56:カラム処理部(読み出し部)、58:信号処理部、71:光電変換素子、73、73A、73B、73C、73D、73a、73b、73c、73d:タップ(電荷蓄積部)、78:電荷排出トランジスタ、580:距離生成部、582:信頼度生成部、586:判定部、Fmod1:第1変調周波数、Fmod2:第2変調周波数。

Claims (20)

  1.  第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
     前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2光電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
     前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短く制御する制御部と、
     前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する信号処理部と、
     を備える、測距装置。
  2.  前記測距センサは、前記第1電荷蓄積部を有する複数の画素群と、前記第2電荷蓄積部を有する複数の画素群と、を混載している、請求項1に記載の測距装置。
  3.  前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
     前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを導通状態とし、且つ前記第2電荷排出トランジスタを非導通状態とし、
     前記第1照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態とし、且つ前記第2電荷排出トランジスタを導通状態とする、請求項1に記載の測距装置。
  4.  前記測距センサは、前記第1光電変換部に所定の電位を供給可能である第1電荷排出トランジスタと、前記第2光電変換部に所定の電位を供給可能である第2電荷排出トランジスタと、を更に有し、
     前記制御部は、前記第2照射光を照射する期間において前記第1電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせ、前記第1照射光を照射する期間において前記第2電荷排出トランジスタを非導通状態と導通状態とを繰り返えさせる、請求項2に記載の測距装置。
  5.  前記第1光電変換部を有する第1画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
     前記第1画素と隣接し、前記第1光電変換部を有する第2画素は、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
     前記信号処理部は、前記第1電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第1位相差を生成する、請求項1に記載の測距装置。
  6.  前記第2光電変換部を有する第3画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、
     前記第3画素と隣接し、前記第2光電変換部を有する第4画素は、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
     前記信号処理部は、前記第2電荷蓄積部の前記第1乃至第4の電荷蓄積部それぞれに蓄積された電荷に基づき、前記第2位相差を生成する、請求項5に記載の測距装置。
  7.  前記第1光電変換部を有する第5画素は、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、前記第1電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第1電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第1電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第1電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
     前記信号処理部は、前記第1電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第1位相差を生成する、請求項1に記載の測距装置。
  8.  前記第2光電変換部を有する第6画素は、前記第2変調周波数と同位相である0度のパルス駆動信号に従い、前記第2電荷蓄積部の第1の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と90度位相が異なる90度のパルス駆動信号に従い、前記第2電荷蓄積部の第2の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号に従い、前記第2電荷蓄積部の第3の電荷蓄積部に電荷を蓄積し、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号に従い、前記第2電荷蓄積部の第4の電荷蓄積部に電荷を蓄積し、
     前記信号処理部は、前記第2電荷蓄積部の第1乃至第4の電荷蓄積部のそれぞれに蓄積された電荷に基づき、前記第2位相差を生成する、請求項7に記載の測距装置。
  9.  前記第5画素と前記第6画素とは、隣接する、請求項8に記載の測距装置。
  10.  前記第1光電変換部と、前記第2光電変換部と、は同一の光電変換部である、請求項1に記載の測距装置。
  11.  第7画素は、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第1電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第1電荷蓄積部の他方の電荷蓄積部に電荷を蓄積し、
     前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号の一方に従い、前記第2電荷蓄積部の一方の電荷蓄積部に電荷を蓄積し、前記位相の異なる2つのパルス駆動信号の他方に従い、前記第2電荷蓄積部の他方の電荷蓄積部に電荷を蓄積する、請求項10に記載の測距装置。
  12.  前記第7画素においては、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である0度のパルス駆動信号と、前記第1変調周波数と180度位相が異なる180度のパルス駆動信号とであり、
     前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である0度のパルス駆動信号と、前記第2変調周波数と180度位相が異なる180度のパルス駆動信号とである、請求項11に記載の測距装置。
  13.  前記第7画素に隣接する第8画素は、前記第7画素と同等の構成であって、前記第1変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第1変調周波数と同位相である90度のパルス駆動信号と、前記第1変調周波数と270度位相が異なる270度のパルス駆動信号とであり、
     前記第2変調周波数と同期し、位相の異なる2つのパルス駆動信号は、前記第2変調周波数と同位相である90度のパルス駆動信号と、前記第2変調周波数と270度位相が異なる270度のパルス駆動信号とである、請求項12に記載の測距装置。
  14.  前記第1変調周波数は、前記第2変調周波数よりも低周である、請求項1に記載の測距装置。
  15.  前記信号処理部は、前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成する、請求項14に記載の測距装置。
  16.  前記第1変調周波数と前記第2変調周波数とは、同一の周期である、請求項1に記載の測距装置。
  17.  前記第1電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第1成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第2成分と、を用いた第1信頼度と、
     前記信号処理部は、前記第2電荷蓄積部の第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第3の電荷蓄積部の蓄積電荷に基づく信号とを用いた第3成分と、前記第1電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第2電荷蓄積部の第2の電荷蓄積部の蓄積電荷に基づく信号とを用いた第4成分と、を用いた第2信頼度と、を生成し、
     前記第1信頼度と前記第2信頼度との差が所定値以内である場合に、
     前記第1位相差に応じた前記第2位相差の繰り返し周期と、前記第2位相差とに基づき、前記測距値を生成する、請求項6に記載の測距装置。
  18.  第1変調周波数の第1照射光を照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
     前記第1変調周波数と同期し、前記第1変調周波数と同位相である0度のパルス駆動信号に従い、第1の電荷蓄積部に光電変換部で生成された信号電荷を蓄積し、前記第1変調周波数と90度位相の異なる90度のパルス駆動信号に従い、第2の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と180度位相の異なる180度のパルス駆動信号に従い、第3の電荷蓄積部に前記信号電荷を蓄積し、前記第1変調周波数と270度位相の異なる270度のパルス駆動信号に従い、第4の電荷蓄積部に前記信号電荷を蓄積する第10画素を有する測距センサと、
     前記第1の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第1和信号と、
     前記第2の電荷蓄積部の蓄積電荷に基づく信号と、前記第3の電荷蓄積部の蓄積電荷に基づく信号との第2和信号と、
     前記第1和信号と前記第2和信号とに基づき、前記反射光として受光されるまでの時間を第1変調周波数よりも低周波に対応する第1位相差として生成成して、測距値を生成する信号処理部と、
     を備える、測距装置。
  19.  第1変調周波数の第1照射光と、前記第1変調周波数と異なる第2変調周波数の第2照射光と、前記第1変調周波数の第3照射光と、を順に照射し、物体で反射されて返ってきた反射光を用いて距離値を生成する測距装置であって、
     前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサと、
     前記第1照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第1信号を読み出し、前記第2電荷蓄積部の蓄積電荷に応じた第2信号を読み出し、前記第3照射光の照射の後に、前記第1電荷蓄積部の蓄積電荷に応じた第3信号を読み出す読み出し部と、
     前記第1信号に基づき、前記反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第3信号に基づき、前記反射光として受光されるまでの時間を第3位相差として生成して、前記第1位相差と、前記第3位相差との平均値と、前記第2位相差とを用いて測距値を生成する信号処理部と、
     を備える、測距装置。
  20.  第1変調周波数の第1照射光と、第1変調周波数と異なる第2変調周波数の第2照射光を物体に順に照射し、
     前記第1変調周波数に同期した第1駆動周波数により、第1光電変換部で生成された信号電荷を蓄積する第1電荷蓄積部と、前記第2変調周波数に同期した第2駆動周波数により、第2電変換部で生成された信号電荷を蓄積する第2電荷蓄積部と、を有する測距センサを用いた測距方法であって、
     前記第1電荷蓄積部の蓄積電荷に応じた第1信号、及び前記第2電荷蓄積部の蓄積電荷に応じた第2信号を前記第2照射光の照射後に読み出す読み出し期間より、前記第1照射光から前記第2照射光に切り替える切り替え期間を短くし、
     前記第1信号に基づき、前記物体からの反射光として受光されるまでの時間を第1位相差として生成し、前記第2信号に基づき、前記反射光として受光されるまでの時間を第2位相差として生成して、前記第1位相差、及び前記第2位相差を用いて測距値を生成する、測距方法。
PCT/JP2024/028314 2023-08-14 2024-08-07 測距装置、および測距方法 Pending WO2025037565A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023132036A JP2025027324A (ja) 2023-08-14 2023-08-14 測距装置、および測距方法
JP2023-132036 2023-08-14

Publications (1)

Publication Number Publication Date
WO2025037565A1 true WO2025037565A1 (ja) 2025-02-20

Family

ID=94632246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/028314 Pending WO2025037565A1 (ja) 2023-08-14 2024-08-07 測距装置、および測距方法

Country Status (2)

Country Link
JP (1) JP2025027324A (ja)
WO (1) WO2025037565A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170131405A1 (en) * 2013-11-12 2017-05-11 Samsung Electronics Co., Ltd. Depth sensor and method of operating the same
JP2018021764A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置
CN112099036A (zh) * 2020-11-10 2020-12-18 深圳市汇顶科技股份有限公司 距离测量方法以及电子设备
WO2022149466A1 (ja) * 2021-01-05 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2022185168A (ja) * 2021-06-02 2022-12-14 ソニーセミコンダクタソリューションズ株式会社 受光素子およびその駆動方法、並びに、測距システム
JP2023001122A (ja) * 2020-10-07 2023-01-04 株式会社ニコン 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170131405A1 (en) * 2013-11-12 2017-05-11 Samsung Electronics Co., Ltd. Depth sensor and method of operating the same
JP2018021764A (ja) * 2016-08-01 2018-02-08 株式会社デンソー 光飛行型測距装置
JP2023001122A (ja) * 2020-10-07 2023-01-04 株式会社ニコン 撮像装置
CN112099036A (zh) * 2020-11-10 2020-12-18 深圳市汇顶科技股份有限公司 距离测量方法以及电子设备
WO2022149466A1 (ja) * 2021-01-05 2022-07-14 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2022185168A (ja) * 2021-06-02 2022-12-14 ソニーセミコンダクタソリューションズ株式会社 受光素子およびその駆動方法、並びに、測距システム

Also Published As

Publication number Publication date
JP2025027324A (ja) 2025-02-27

Similar Documents

Publication Publication Date Title
US10784294B2 (en) Image sensor including multi-tap pixel
JP6899005B2 (ja) 光検出測距センサ
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
CN111556260B (zh) 图像传感器
US8785982B2 (en) Pixel for depth sensor and image sensor including the pixel
TW202112122A (zh) 距離影像攝像裝置及距離影像攝像方法
CN113766159B (zh) 图像感测装置及包括其的拍摄装置
US12174323B2 (en) Multi-function time-of-flight sensor and method of operating the same
CN114415198B (zh) 一种分区寻址dTOF测距系统
US12259499B2 (en) Light detector and distance measurement device
JP2016090785A (ja) 撮像装置及びその制御方法
US11417692B2 (en) Image sensing device
WO2025037565A1 (ja) 測距装置、および測距方法
US20240118399A1 (en) Image sensor related to measuring distance
US20230011969A1 (en) Time of flight sensing method
CN113179378A (zh) 像素电路、感测装置以及相关方法
US12323719B2 (en) Image sensor for distance measurement and image sensor module including the image sensor
US11722792B2 (en) Image sensing device
US20250008235A1 (en) Depth image sensing device, image signal processor and image signal processing method
Kuo et al. A Half-Pulse 2-Tap Indirect Time-of-Flight Ranging Method with Sub-Frame Operation for Depth Precision Enhancement and Motion Artifact Suppression
US20260089410A1 (en) Image sensing device and method for operating the same
WO2022176498A1 (ja) 測距センサ及び測距装置
TWI734079B (zh) 影像感測系統及其多功能影像感測器
CN115280180A (zh) 距离测量装置及距离测量方法
KR20260054311A (ko) 이미지 센싱 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24854155

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE