WO2022230520A1 - 投光ユニットおよびそれを用いた測距装置 - Google Patents

投光ユニットおよびそれを用いた測距装置 Download PDF

Info

Publication number
WO2022230520A1
WO2022230520A1 PCT/JP2022/014805 JP2022014805W WO2022230520A1 WO 2022230520 A1 WO2022230520 A1 WO 2022230520A1 JP 2022014805 W JP2022014805 W JP 2022014805W WO 2022230520 A1 WO2022230520 A1 WO 2022230520A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
pixel
time
source array
Prior art date
Application number
PCT/JP2022/014805
Other languages
English (en)
French (fr)
Inventor
康平 岡本
浩一 福田
駿一 若嶋
剛史 花坂
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to DE112022002404.6T priority Critical patent/DE112022002404T5/de
Priority to KR1020237037847A priority patent/KR20230167072A/ko
Priority to GB2317273.7A priority patent/GB2621063A/en
Publication of WO2022230520A1 publication Critical patent/WO2022230520A1/ja
Priority to US18/492,647 priority patent/US20240053473A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment

Definitions

  • the present invention relates to a projection unit and a rangefinder using the same.
  • a ToF (Time-of-Flight) distance measurement method in which the distance to an object that reflects light is measured by measuring the time difference from when the light is emitted until the reflected light is detected. Also, in order to accurately measure the object distance, attempts have been made to increase the density of the region irradiated with light.
  • Patent Document 1 a luminous flux emitted from each light emitting element constituting a light emitting element array is separated into a plurality of luminous fluxes using a diffractive optical element.
  • a light projecting unit for emitting a light flux is disclosed.
  • Patent Document 1 it is possible to increase the density of the luminous flux, but since it is configured such that one luminous flux is split into a plurality of light fluxes by an optical element, the energy per split luminous flux decreases. Therefore, the maximum measurable distance is shortened. In addition, since the intensity of the reflected light is reduced compared to the case where the beam is not separated, there is a possibility that the distance measurement accuracy will be reduced.
  • One aspect of the present invention provides a light projecting unit of a distance measuring device capable of increasing the density of the light flux without separating the light flux.
  • a light projecting unit is a light projecting unit used in a distance measuring device that calculates the distance to an object that reflects light by measuring the time difference from the time the light is emitted until the reflected light is detected.
  • the projection unit includes a light source array in which a plurality of light emitting elements are arranged two-dimensionally, a projection lens for adjusting the projection range of light emitted from the light source array, and a relative position between the light source array and the projection lens. and a light source control means for lighting the light source array in different positions.
  • a light projecting unit of a distance measuring device capable of increasing the density of the luminous flux without separating the luminous flux.
  • FIG. 1 is a block diagram showing a functional configuration example of a distance measuring device 100 using a light receiving device according to an embodiment
  • FIG. FIG. 4 is a diagram showing a configuration example of the light source unit 111
  • FIG. 4 is a diagram showing a configuration example of the light source unit 111
  • FIG. 4 is a diagram showing a configuration example of the light source unit 111
  • FIG. 4 shows an example of a light projection pattern of the light source unit 111
  • FIG. 4 shows an example of a light projection pattern of the light source unit 111
  • a diagram related to a configuration example of the light receiving unit 121 A diagram related to a configuration example of the light receiving unit 121 FIG.
  • FIG. 5 is a diagram showing an example of spectral characteristics of an optical bandpass filter provided in a pixel 511;
  • FIG. 5 is a diagram showing an example of spectral characteristics of an optical bandpass filter provided in a pixel 511;
  • Vertical cross-sectional view showing a configuration example of the light receiving element of the pixel 511
  • a diagram showing an example of potential distribution in the cross section of FIG. A diagram showing an example of potential distribution in the cross section of FIG.
  • Circuit diagram showing a configuration example of the pixel 511 Block diagram showing a configuration example of the TDC array unit 122
  • Circuit diagram showing a configuration example of the high-resolution TDC1501 Diagram of the operation of the high-resolution TDC1501 Timing chart for ranging operation Timing chart in which a part of FIG. 13 is enlarged
  • Block diagram showing a functional configuration example of the first oscillation adjustment circuit 1541 and the second oscillation adjustment circuit 1542 4 is a flow chart relating to an example of ranging operation according to the embodiment;
  • a diagram showing an example of a histogram of distance measurement results A diagram showing an example of a histogram of distance measurement results
  • a diagram showing an example of a histogram of distance measurement results A diagram showing an example of a histogram of distance measurement results
  • a diagram showing an example of a histogram of distance measurement results A diagram showing an example of a histogram of distance measurement results
  • a diagram showing an example of a histogram of distance measurement results is showing an example of a histogram of distance measurement results
  • the fact that the characteristics of the light-receiving elements are the same means that the physical configuration and bias voltage of the light-receiving elements are not intentionally different. Therefore, there may be differences in characteristics due to unavoidable factors such as manufacturing variations.
  • FIG. 1 is a block diagram showing a functional configuration example of a distance measuring device using a light receiving device according to the present invention.
  • the distance measuring device 100 has a projecting unit 110 , a measuring unit 120 , a light receiving lens 132 and an overall control section 140 .
  • the light projecting unit 110 includes a light source unit 111 in which light emitting elements are arranged in a two-dimensional array, a light source unit driving section 112 , a light source control section 113 , and a light projecting lens 131 .
  • the measurement unit 120 has a light receiving section 121 , a TDC (Time-to-Digital Converter) array section 122 , a signal processing section 123 and a measurement control section 124 .
  • the combination of the light receiving lens 132 and the light receiving section 121 may be referred to as a light receiving unit 133 .
  • the general control unit 140 controls the operation of the entire distance measuring device 100 .
  • the overall control unit 140 has, for example, a CPU, a ROM, and a RAM, and controls each unit of the distance measuring device 100 by loading a program stored in the ROM into the RAM and executing it with the CPU. At least part of the overall control unit 140 may be realized by a dedicated hardware circuit.
  • pulsed light (pulsed light) is emitted through the projection lens 131 .
  • Pulsed lights emitted from individual light emitting elements irradiate different spaces.
  • a part of the pulsed light emitted from the light source unit 111 is reflected by the subject and enters the light receiving section 121 via the light receiving lens 132 .
  • the light emitting element 211 that emits light is configured to optically correspond to a specific pixel among the plurality of pixels arranged in the light receiving section 121 .
  • a pixel optically corresponding to a certain light emitting element 211 is a pixel having a positional relationship such that reflected light emitted from the light emitting element 211 is detected most often.
  • the time from the light emission of the light source unit 111 until the reflected light enters the light receiving section 121 is measured by the TDC array section 122 as the time of flight ToF. Note that the flight time ToF is measured a plurality of times in order to reduce the influence of noise components such as ambient light and dark counts and noise of the TDC array unit 122 on the measurement results.
  • FIG. 2A is a side view showing a configuration example of the collimator lens array 220 forming the light source unit 111
  • FIG. 2B is a side view showing a configuration example of the light source array 210 forming the light source unit 111.
  • FIG. 2A is a side view showing a configuration example of the collimator lens array 220 forming the light source unit 111
  • FIG. 2B is a side view showing a configuration example of the light source array 210 forming the light source unit 111.
  • the light source array 210 has a configuration in which light emitting elements 211, which are, for example, vertical cavity surface emitting laser elements (VCSEL), are arranged in a two-dimensional array.
  • a light source controller 113 controls turning on and off of the light source array 210 .
  • the light source control unit 113 can control lighting and extinguishing of the light source array 210 in units of the light emitting elements 211 .
  • the light emitting element 211 may be an element other than the VCSEL, such as an edge emitting laser element or an LED (light emitting diode).
  • an edge-emitting laser element is used as the light emitting element 211
  • a laser bar in which elements are arranged one-dimensionally on a substrate, or a laser bar stack in which laser bars are stacked to form a two-dimensional array can be used as the light source array 210.
  • LEDs are used as the light emitting elements 211
  • a light source array 210 in which LEDs are arranged in a two-dimensional array on a substrate can be used.
  • a VCSEL can be produced by a semiconductor process using materials used for edge-emitting lasers and surface-emitting lasers.
  • a GaAs-based semiconductor material can be used for a configuration that emits laser light having a wavelength in the near-infrared band.
  • the dielectric multilayer film that forms the DBR (distributed reflection type) reflector that constitutes the VCSEL is a structure in which two thin films made of materials with different refractive indices are alternately and periodically stacked (GaAs/AlGaAs). can do.
  • the wavelength of light emitted by a VCSEL can be changed by adjusting the combination of elements in the compound semiconductor and the composition.
  • the VCSELs that make up the VCSEL array are provided with electrodes for injecting current and holes into the active layer.
  • Arbitrary pulsed light or modulated light can be emitted by controlling the timing of injection of current and holes into the active layer.
  • the light source controller 113 can drive the light emitting elements 211 individually, or drive the light source array 210 in units of rows, columns, or rectangular areas.
  • the collimator lens array 220 has a configuration in which a plurality of collimator lenses 221 are arranged in a two-dimensional array such that each collimator lens 221 corresponds to one light emitting element 211 . Light rays emitted by the light emitting elements 211 are converted into parallel rays by the corresponding collimator lenses 221 .
  • FIG. 2C is a vertical sectional view showing an arrangement example of the light source unit driving section 112, the light source unit 111, and the projection lens 131.
  • the projection lens 131 is an optical system for adjusting the projection range of parallel light emitted from the light source unit 111 (light source array 210).
  • the projection lens 131 is a concave lens in FIG. 2C, it may be a convex lens, an aspherical lens, or an optical system composed of a plurality of lenses.
  • the projection lens 131 is configured so that light is emitted within a range of ⁇ 45 degrees from the projection unit 110 .
  • the projection lens 131 may be omitted by controlling the light emission direction with the collimator lens 221 .
  • FIG. 3A shows a light projection pattern formed by the light emitting elements of 3 rows and 3 columns in the light source array 210 on a plane facing the light emitting surface of the light projecting unit 110 at a predetermined distance.
  • Nine light projection areas 311 represent areas of the intensity distribution of light from individual light-emitting elements on the plane 310 whose diameter is about the full width at half maximum (FWHM).
  • the emitted light from the light emitting element 211 converted into parallel light by the collimator lens 221 is given a slight divergence angle by the projection lens 131, so that it forms a finite area on the irradiation surface (plane 310).
  • a light projection area 311 equal in number to the light emitting elements 211 forming the light source array 210 is formed on the plane 310 .
  • the light projection unit 110 of this embodiment has a light source unit driving section 112 capable of moving the light source unit 111 within the same plane. By moving the position of the light source unit 111 by the light source unit driving section 112, the relative positional relationship between the light emitting element 211 and the collimator lens 221 or the projection lens 131 can be changed.
  • the method for driving the light source unit 111 by the light source unit driving section 112 is not particularly limited. mechanism can be used.
  • the light source unit driving section 112 moves the light source unit 111, for example, in a plane parallel to the substrate of the light source unit 111 (perpendicular to the optical axis of the projection lens 131), the projection area 311 on the plane 310 is moved substantially parallel. It is possible. For example, by lighting the light source unit 111 a plurality of times while moving the light source unit 111 in a plane parallel to the substrate of the light source unit 111, the spatial resolution of the light projection area can be increased in a pseudo manner.
  • the light source unit 111 having the same light source array 210 as in FIG. 3A is rotated once in a plane parallel to the substrate of the light source unit 111, and the light source unit 111 is turned on four times at a constant cycle.
  • the spatial resolution of the projected area 411 at 410 is shown in FIG. 3B. Four times the spatial resolution is obtained compared to the case where the light source unit 111 is not moved, as shown in FIG. 3A.
  • the density of distance measurement points can be increased. Since the spatial resolution of the light projection area 411 can be increased without separating the light flux, the measurable distance is not shortened, and the distance accuracy is not lowered due to the decrease in the intensity of the reflected light.
  • the relative position between the light source unit 111 and the light projection lens 131 may be changed by moving the light projection lens 131 in a plane parallel to the substrate of the light source unit 111 .
  • the entire projection lens 131 may be moved, or only a part of the lenses may be moved.
  • the light source unit 111 may be configured to be movable in the direction perpendicular to the substrate of the light source array 210 (the optical axis direction of the projection lens 131) by the light source unit driving section 112. This makes it possible to control the divergence angle of light and the projection angle.
  • the light source control unit 113 controls light emission of the light source unit 111 (light source array 210) according to the light receiving timing and light receiving resolution of the light receiving unit 133.
  • FIG. 4 is an exploded perspective view schematically showing a mounting example of the measuring unit 120. As shown in FIG. FIG. 4 shows the light receiving section 121, the TDC array section 122, the signal processing section 123, and the measurement control section . The light receiving section 121 and the TDC array section 122 constitute a light receiving device.
  • the measurement unit 120 has a structure in which a light receiving element substrate 510 including a light receiving portion 121 in which pixels 511 are arranged in a two-dimensional array, and a logic substrate 520 including a TDC array portion 122, a signal processing portion 123, and a measurement control portion 124 are stacked.
  • the light receiving element substrate 510 and the logic substrate 520 are electrically connected through an inter-substrate connection 530 .
  • FIG. 4 shows the light receiving element substrate 510 and the logic substrate 520 separated from each other.
  • the inter-substrate connection 530 is configured by, for example, a Cu-Cu connection, and one or more may be arranged for each column of the pixels 511 , or one may be arranged for each pixel 511 .
  • the light receiving section 121 has a pixel array in which pixels 511 are arranged in a two-dimensional array.
  • the light receiving element of the pixel 511 is an avalanche photodiode (APD) or SPAD element.
  • pixels H (first pixels) having a first sensitivity and pixels L (second pixels) having a second sensitivity lower than the first sensitivity are arranged in the row direction. and are alternately arranged in the column direction.
  • the pixel H and the pixel L so as to be adjacent to each other, offset correction of the pixel H based on the measurement result of the pixel L can be performed.
  • the pixel H may be called a high-sensitivity pixel H
  • the pixel L may be called a low-sensitivity pixel L.
  • FIG. 5B is a vertical cross-sectional view showing a structural example of the pixel H and the pixel L.
  • the refractive index of the high refractive index layer 901 be nH
  • the refractive index of the low refractive index layer 902 be nL ( ⁇ nH).
  • a low refractive index layer 902 having a film thickness dE1 (to dE4) m1 (to m4) ⁇ 0.5 ⁇ c/nL (m1 to m4 are natural numbers) is sandwiched between high refractive index layers 901 from both sides.
  • the pixel L has a configuration in which a second optical bandpass filter is provided on a light reducing layer 903 made of a tungsten thin film with a thickness of 30 nm and having a transmittance of about 45%.
  • the second optical bandpass filter has a structure in which optical resonators 911 to 914 are stacked with a low refractive index layer 902 having a thickness of dL interposed therebetween.
  • the second optical bandpass filter has spectral characteristics shown in FIG. 6A and is an example of an optical element added to the light receiving element.
  • the pixel H has a transmittance layer 904 with a transmittance of about 100% made up of a low refractive index layer with a thickness of 30 nm, a multilayer interference mirror 915, and a low refractive index layer with a thickness of dE4. It has a configuration in which an adjustment layer 905 and a first optical bandpass filter are provided.
  • the first optical bandpass filter is an example of an optical element added to the light receiving element, and has spectral characteristics shown in FIG. 6B.
  • the first optical bandpass filter has a structure in which optical resonators 911 to 913 are stacked with a low refractive index layer 902 having a thickness of dL sandwiched therebetween.
  • the central wavelength can be the peak wavelength of the light emitted by the light source unit 111 .
  • the half width WL of the spectral characteristics of the second optical bandpass filter is narrower than the half width WH of the spectral characteristics of the first optical bandpass filter.
  • the half-value width WL is narrower than the half-value width WH is that it is assumed that the low-sensitivity pixels L mainly perform long-distance ranging, and the high-sensitivity pixels H mainly perform short-distance ranging. be.
  • the half width WL is narrowed so as to cope with a long ToF, thereby suppressing noise light from being measured before the reflected light reaches it.
  • the pixel L is configured to have lower sensitivity than the pixel H by providing the light reducing layer 903 .
  • the dimming layer 903 is an example of an optical element for reducing the sensitivity of pixels. Note that instead of the light reducing layer 903, other optical elements such as masks having different aperture sizes may be used to make the pixels H and L have different sensitivities.
  • the light receiving area of the light receiving element of the pixel L can be made narrower than the light receiving area of the light receiving element of the pixel H.
  • the pixel H does not have to be provided with a mask.
  • the pixel L may be provided with a mask having an aperture ratio of less than 100%.
  • the mask can be made of any material that can form a light shielding film.
  • the sensitivity of the pixels is varied by using an optical element added to the light receiving element, instead of varying the configuration of the light receiving element itself and the applied voltage. Therefore, the configuration of the light-receiving element and the applied voltage can be common to the pixel H and the pixel L. FIG. Therefore, the light receiving element array can be easily manufactured, and variations in the characteristics of the light receiving elements can be suppressed.
  • FIG. 7 is a cross-sectional view including a semiconductor layer of a light-receiving element common to pixels H and L.
  • FIG. 1005 is the semiconductor layer of the light receiving element substrate 510
  • 1006 is the wiring layer of the light receiving element substrate 510
  • 1007 is the wiring layer of the logic substrate 520 .
  • the wiring layers of the light receiving element substrate 510 and the logic substrate 520 are joined so as to face each other.
  • a semiconductor layer 1005 of the light-receiving element substrate 510 includes a light-receiving region (photoelectric conversion region) 1001 and an avalanche region 1002 that generates an avalanche current by signal charges generated by photoelectric conversion.
  • a light shielding wall 1003 is provided between adjacent pixels in order to prevent light that is obliquely incident on the light receiving region 1001 from reaching the light receiving regions 1001 of adjacent pixels.
  • the light shielding wall 1003 is made of metal, and an insulator region 1004 is provided between the light shielding wall 1003 and the light receiving region 1001 .
  • FIG. 8A is a diagram showing the potential distribution of the semiconductor region in the aa' section of FIG.
  • FIG. 8B is a diagram showing the potential distribution of the b-b' section of FIG.
  • FIG. 8C is a diagram showing the potential distribution of the c-c'' section of FIG.
  • a signal charge reaching the avalanche region 1002 causes an avalanche breakdown due to the strong electric field of the avalanche region 1002, generating an avalanche current. This phenomenon occurs not only with signal light (reflected light emitted by the light source unit 111) but also with ambient light, which is noise light, and becomes a noise component. Carriers are generated not only by incident light but also thermally. An avalanche current due to thermally generated carriers is called a dark count and becomes a noise component.
  • FIG. 9 is an equivalent circuit diagram of the pixel 511.
  • FIG. Pixel 511 has SPAD element 1401 , load transistor 1402 , inverter 1403 , pixel selection switch 1404 and pixel output line 1405 .
  • the SPAD element 1401 corresponds to the combined area of the light receiving area 1001 and the avalanche area 1002 in FIG.
  • the output signal of the inverter 1403 is output to the pixel output line 1405 as a pixel output signal.
  • the voltage of the anode electrode Vbd is set so that a reverse bias higher than the breakdown voltage is applied to the SPAD element 1401 when no avalanche current is flowing. At this time, no current flows through the load transistor 1402, so the cathode potential Vc is close to the power supply voltage Vdd, and the pixel output signal is "0".
  • FIG. 10 is a diagram schematically showing a configuration example of the TDC array section 122.
  • a high-resolution TDC 1501 having a first measurement resolution and a low-resolution TDC 1502 having a second measurement resolution are provided, each half the number of pixels constituting one pixel row of the pixel array. , and the ToF is measured pixel by pixel.
  • the second measurement resolution is lower than the first measurement resolution.
  • a synchronous clock is supplied from the overall control unit 140, for example.
  • the output signal of the high-sensitivity pixel H is input to the high-resolution TDC 1501
  • the output signal of the low-sensitivity pixel L is input to the low-resolution TDC 1502, driven by the relay buffer. That is, for the high-sensitivity pixels H, time is measured with a higher measurement resolution than for the low-sensitivity pixels L.
  • the odd-numbered pixel output is the pixel H output
  • the even-numbered pixel output is the pixel L output.
  • High-resolution TDCs 1501 and low-resolution TDCs 1502 are alternately arranged in order to make the delay time in the relay buffer substantially equal.
  • the high resolution TDC 1501 has a first oscillator 1511 , a first oscillation count circuit 1521 and a first synchronous clock count circuit 1531 .
  • the low resolution TDC 1502 has a second oscillator 1512 , a second oscillation counting circuit 1522 and a second synchronous clock counting circuit 1532 .
  • the first oscillation count circuit 1521 and the second oscillation count circuit 1522 are second counters that count changes in the output value of the corresponding oscillator.
  • the first synchronous clock count circuit 1531 and the second synchronous clock count circuit 1532 are first counters that count synchronous clocks.
  • the count result of the synchronous clock count circuit constitutes the upper bits
  • the internal signal of the oscillator constitutes the lower bits
  • the count result of the oscillation count circuit constitutes the middle bits. That is, the synchronous clock count circuit performs rough measurement, the internal signal of the oscillator is finely measured, and the oscillation count circuit measures the interval between them. Note that each measurement bit may have a redundant bit.
  • FIG. 11 is a diagram schematically showing a configuration example of the first oscillator 1511 of the high-resolution TDC 1501.
  • the first oscillator 1511 has an oscillation start/stop signal generation circuit 1640, buffers 1611 to 1617, an inverter 1618, an oscillation switch 1630, and a delay adjustment current source 1620. Buffers 1611 to 1617 and inverter 1618 as delay elements are connected alternately with oscillation switch 1630 in series and in a ring shape. Delay adjustment current source 1620 is provided for each of buffers 1611-1617 and inverter 1618, and adjusts the delay time of the corresponding buffer or inverter according to the adjustment voltage.
  • FIG. 12 shows changes in the output signals of the buffers 1611 to 1617 and the inverter 1618 and the internal signal of the oscillator at each delay time tbuff corresponding to one buffer stage after reset and after the oscillation switch 1630 is turned on.
  • WI11-WI18 outputs are the output signals of buffers 1611-1617 and inverter 1618, respectively.
  • the outputs of buffers 1611-1617 are "0" and the output of inverter 1618 is "1".
  • the delay time tbuff corresponding to one buffer stage has elapsed since the oscillation switch 1630 was turned on, the outputs of the buffers 1612 to 1617 and the inverter 1618 whose input and output are matched do not change.
  • the output of the buffer 1611 whose input/output is not matched changes from "0" to "1" (the signal advances by one stage).
  • the output similarly changes with a period of 16 ⁇ t buuf .
  • the time resolution of high-resolution TDC 1501 is equal to t buff .
  • the time resolution t buff is adjusted to be 2 ⁇ 7 (1/128) of the period of the synchronous clock by the first oscillation adjustment circuit 1541 which will be described later.
  • the oscillator output which is the output of the inverter 1618 , is input to the first oscillation counting circuit 1521 .
  • the first oscillation count circuit 1521 counts the rising edges of the oscillator output to measure time with a time resolution of 16 ⁇ t buff .
  • FIG. 13 is a timing chart from light emission to detection of reflected light by the SPAD element 1401 until the time measurement is completed. It shows changes in the cathode potential Vc of the SPAD element 1401, the pixel output signal, the synchronous clock, the count value of the synchronous clock count circuit, the output of the oscillator start/stop signal generation circuit, the oscillator output, and the count value of the oscillation count circuit.
  • the cathode potential Vc of the SPAD element 1401 is an analog voltage, and the upper side of the drawing indicates a higher voltage.
  • the synchronous clock, the output of the oscillator start/stop signal generation circuit, and the output of the oscillator are digital signals, and the upper side of the page indicates the ON state, and the lower side of the page indicates the OFF state.
  • the count values of the synchronous clock count circuit and the oscillator count circuit are digital values expressed in decimal.
  • FIG. 14 is an enlarged view of the oscillator start/stop signal generation circuit output, oscillator output, count value of the oscillator count circuit, and oscillator internal signal from time 1803 to time 1805 in FIG.
  • the oscillator internal signals are digital values and are shown in decimal.
  • the high-resolution TDC 1501 measures the time from the light emission time 1801 of the light source unit 111 to the time 1803 when a photon is incident on the SPAD element 1401 of the pixel and the pixel output signal changes from 0 to 1. operation is explained.
  • the light source controller 113 drives the light source unit 111 so that the light emitting element 211 emits light at time 1801 synchronized with the rise of the synchronization clock supplied via the overall controller 140 .
  • the first synchronous clock count circuit 1531 starts counting the rising edges of the synchronous clock when the overall control unit 140 instructs the start of measurement at the time 1801 when the light emitting element 211 emits light.
  • the oscillation switch 1630 When the oscillation switch 1630 is turned on, an oscillation operation is started, and a signal loop is started inside the oscillator as shown in FIG. Every time 16 ⁇ t buff has passed since the oscillation switch 1630 was turned on and the signal makes two rounds in the oscillator, a rising edge appears in the oscillator output, and the first oscillation counting circuit 1521 counts the number. At time 1803, the first synchronous clock count circuit 1531 stops counting and holds the count value.
  • time 1805 is the timing when the synchronous clock first rises.
  • the output of oscillation start/stop signal generation circuit 1640 becomes "0" and oscillation switch 1630 is turned off.
  • the oscillation switch 1630 becomes "0"
  • the oscillation of the first oscillator 1511 ends, and the oscillation circuit internal signal is held as it is. Also, since the oscillation ends, the counting of the first oscillation counting circuit 1521 also stops.
  • the count result D Gclk of the synchronous clock count circuit is a value obtained by measuring the time from time 1801 to time 1802 in units of 2 7 ⁇ t buff .
  • the count result D ROclk of the oscillator count circuit is a value obtained by measuring the time from time 1803 to time 1804 in units of 2 4 ⁇ t buff .
  • the oscillator internal signal D ROin has a value obtained by measuring the time from time 1804 to time 1805 in units of tbuff .
  • the high-resolution TDC 1501 completes one measurement operation by performing the following processing on these values and outputting them to the signal processing unit 123 .
  • FIG. 15 is a diagram schematically showing a circuit configuration example of the second oscillator 1512 included in the low-resolution TDC 1502.
  • the buffers 2011 to 2013 and the inverter 2014 are connected alternately with the oscillation switch 2030 in series and in a ring shape.
  • a delay adjusting current source 2020 is provided for each of buffers 2011 to 2013 and inverter 2014, and adjusts the delay time of the corresponding buffer or inverter according to the adjustment voltage.
  • each of buffers 2011 to 2013 and inverter 2014 is adjusted by second oscillation adjustment circuit 1542 so that delay time t buff is twice t buff of high-resolution TDC 1501 .
  • the count period of the second oscillation count circuit 1522 becomes equal to the count period of the first oscillation count circuit 1521 . Therefore, the number of output bits of second oscillation counting circuit 1522 is equal to the number of output bits of first oscillation counting circuit 1521 .
  • the number of bits of the oscillator internal signal can be one bit less for the second oscillator 1512 than for the first oscillator 1511 .
  • the low-sensitivity pixels L are mainly assumed to be used for long-distance ranging.
  • the influence of the ToF measurement resolution on the accuracy of the distance measurement results is greater for short distances than for long distances. Therefore, in the low-resolution TDC 1502 that measures the ToF of the low-sensitivity pixel L, priority is given to reducing circuit scale and power consumption, and the ToF measurement resolution is set lower than that of the high-resolution TDC 1501 .
  • the delay time t buff varies due to factors resulting from the manufacturing process such as transistor manufacturing errors, variations in the voltage applied to the TDC circuit, and temperature. Therefore, a first oscillation adjustment circuit 1541 and a second oscillation adjustment circuit 1542 are provided for every eight TDCs.
  • FIG. 16 is a block diagram showing a functional configuration example of the first oscillation adjustment circuit 1541 and the second oscillation adjustment circuit 1542. As shown in FIG. Since the first oscillation adjustment circuit 1541 and the second oscillation adjustment circuit 1542 have the same configuration, the first oscillation adjustment circuit 1541 will be described below.
  • the first oscillation adjustment circuit 1541 has a dummy oscillator 2101 , a 1/2 3 (1/8) frequency divider 2102 and a phase comparator 2103 .
  • the dummy oscillator 2101 is an oscillator having the same configuration as that of the connected TDC. Therefore, dummy oscillator 2101 of first oscillation adjustment circuit 1541 has the same configuration as first oscillator 1511 . Dummy oscillator 2101 of second oscillation adjustment circuit 1542 has the same configuration as second oscillator 1512 .
  • the output of dummy oscillator 2101 is input to 1/23 frequency divider 2102 .
  • a 1/2 3 frequency divider 2102 outputs a clock signal whose frequency is 1/2 3 of the input clock signal.
  • a synchronous clock and the output of the 1/23 frequency divider 2102 are input to the phase comparator 2103 .
  • the phase comparator 2103 compares the frequency of the synchronous clock with the frequency of the clock signal output from the 1/23 frequency divider 2102 .
  • Phase comparator 2103 increases the output voltage when the frequency of the synchronous clock signal is higher, and decreases the output voltage when the frequency of the synchronous clock signal is lower.
  • the output of the phase comparator 2103 is input as an adjustment voltage to the delay adjustment current source 1620 of the first oscillator 1511, and the delay is adjusted so that the oscillation frequency of the first oscillator 1511 is 23 times the synchronization clock.
  • the oscillation frequency of the oscillator is determined based on the synchronous clock frequency. Therefore, by generating a synchronous clock signal using an external IC capable of outputting a constant frequency regardless of changes in process, voltage, or temperature, fluctuations in the oscillation frequency of the oscillator due to changes in process, voltage, or temperature are suppressed. be able to.
  • the oscillation frequency becomes 1.28 GHz, eight times the synchronous clock frequency, in both the high-resolution TDC 1501 and the low-resolution TDC 1502 .
  • the delay time t buff for one stage of the buffer which is the time resolution of the TDC, is 48.8 ps for the high-resolution TDC 1501 and 97.7 ps for the low-resolution TDC 1502 .
  • FIG. 17 is a flow chart relating to an example of the ranging operation in this embodiment.
  • the overall control unit 140 resets the histogram circuit and measurement counter i of the signal processing unit 123.
  • the overall control unit 140 changes the connection of the relay buffer (not shown) so that the output of the pixel 511 optically corresponding to the light emitting element 211 that emits light in S2202 is input to the TDC array unit 122 .
  • the overall control unit 140 causes some of the light emitting elements 211 that make up the light source array 210 of the light source unit 111 to emit light.
  • the general control section 140 instructs the TDC array section 122 to start measurement.
  • the signal processing unit 123 adds the measurement result obtained in S2203 to the histogram for each pixel.
  • the signal processing unit 123 does not add measurement results to the histogram for pixels for which measurement results have not been obtained.
  • the signal processing unit 123 adds 1 to the value of the measurement number counter i.
  • the signal processing unit 123 determines whether or not the value of the measurement number counter i is greater than the preset number of times N total .
  • the signal processing unit 123 executes S2207 if it is determined that the value of the measurement number counter i is greater than the set number of times N total , and executes S2202 if it is not determined that the value of the measurement number counter i is greater than the set number of times N total .
  • the signal processing unit 123 removes the counting result that seems to be noise components based on the histogram of each pixel, and executes S2208.
  • the signal processing unit 123 averages the measurement results remaining without being removed in S2207 in the histogram of each pixel, outputs the average value as the measured ToF, and completes one ranging sequence.
  • FIG. 18A is a diagram showing an example of a histogram of N total TDC measurement results in the high-sensitivity pixel H.
  • the horizontal axis is the TDC measurement result (time), and the vertical axis is the frequency. Note that the bin width of the TDC measurement result is set for convenience.
  • the measurement results included in section 2302 form a frequency peak, it is considered to be the correct measurement result of the time from light emission to light reception.
  • the distribution of the measurement results included in section 2304 is irregular and sparse, so it is considered that they are noise light such as randomly generated ambient light or noise components due to dark counts. Therefore, the measurement results included in the section 2304 are removed, and the average 2303 of only the measurement results included in the section 2302 is used as the distance measurement result.
  • FIG. 18B is a diagram showing an example of a histogram of the TDC measurement results of N total times in the high-sensitivity pixel H.
  • the object is the same as in FIG. 18A, but an example of the histogram of the TDC measurement result obtained in a situation where there is more ambient light than at the time of measurement shown in FIG. 18A is shown.
  • the noise light included in the section 2304 completes the TDC measurement N total times, and the TDC measurement result for the reflected light from the subject is not obtained.
  • FIG. 18C is a diagram showing an example of a histogram of N total TDC measurement results obtained for the low-sensitivity pixel L under the same environment as in FIG. 18B. Since the sensitivity is lower than that of the high-sensitivity pixel H, the number of times TDC measurement is performed for noise light is reduced. As a result, the number of measurement results included in section 2302 increases, and the average value of the measurement results included in section 2302 can be calculated as the distance measurement result, as in FIG. 18A. In this way, the low-sensitivity pixels L are more tolerant than the high-sensitivity pixels H in situations where ambient light noise is large.
  • the high-sensitivity pixel H and the low-sensitivity pixel L by using the high-sensitivity pixel H and the low-sensitivity pixel L, even when there is a large amount of noise light or when measuring the distance of a distant object, the effect of noise light is suppressed and a stable image is obtained. distance measurement is possible. Furthermore, the configuration of the light receiving element (SPAD) (light receiving area and thickness of the light receiving portion) and the voltage applied to the light receiving element are common to the high-sensitivity pixel H and the low-sensitivity pixel L. FIG. Therefore, there is little variation between the distance measurement results obtained by the high-sensitivity pixels H and the distance measurement results obtained by the low-sensitivity pixels L, and accurate distance measurement results can be obtained.
  • SPAD light receiving area and thickness of the light receiving portion
  • FIG. 18D shows an example of a histogram of measurement results of high-sensitivity pixels H
  • FIG. 18E shows an example of a histogram of measurement results of low-sensitivity pixels L adjacent to high-sensitivity pixels H in FIG. 18D.
  • the light emitting period of the light emitting element 211 corresponding to the high sensitivity pixel H is 2602, and the light emitting period of the light emitting element 211 corresponding to the low sensitivity pixel L is 2702.
  • the light emission period 2702 is four times the light emission period 2602 . Therefore, the high-sensitivity pixel H can be measured four times more times than the low-sensitivity pixel L within the same period of time. There is a high probability that the number of distance measurement results to be averaged will be greater than the number of low-sensitivity pixels L, and since the high-resolution TDC 1501 performs measurement for the good-sensitivity pixels H, the spatial distance measurement corresponding to the high-sensitivity pixels H is performed. The precision is higher than the spatial distance measurement precision corresponding to the low-sensitivity pixel L.
  • the light-emitting element 211 corresponding to the low-sensitivity pixel L having a large noise light suppression effect does not emit light until the reflected light is detected.
  • the light-emitting element 211 corresponding to the high-sensitivity pixel H with less noise light suppression effect emits the next light before detecting the reflected light.
  • the time from the start of measurement by TDC to the detection of the reflected light can be shortened, and the possibility of measuring the noise light between the time when the light is emitted and the arrival of the reflected light can be suppressed.
  • High-sensitivity pixels H enable accurate time measurement even in a large environment.
  • the signal processing unit 123 applies offset correction based on the measurement result obtained for the adjacent low-sensitivity pixel L to the measurement result obtained for the high-sensitivity pixel H.
  • the offset correction is based on the measurement result 2611 of the high-sensitivity pixel H, based on the measurement result 2711 of the adjacent low-sensitivity pixel L. be.
  • the time until the reflected light of the emitted light arrives in the high-sensitivity pixel H is also a value close to the measurement result 2711.
  • the measurement result 2711 for the low-sensitivity pixel L is more than two times and less than three times the emission period 2602 for the high-sensitivity pixel H.
  • the signal processing unit 123 adds twice the light emission period 2602 to the measurement result 2611 of the high-sensitivity pixel H in the offset correction.
  • the offset correction amount may be determined based on measurement results obtained for two or more low-sensitivity pixels L adjacent to the high-sensitivity pixel H to be corrected.
  • the offset correction amount may be determined based on measurement results obtained for four or two low-sensitivity pixels L adjacent in the horizontal direction and/or the vertical direction.
  • an imaging unit that captures an image of the light projection range of the light projection unit 110 may be provided, and the captured image may be used to identify the low-sensitivity pixels L used to determine the offset correction amount.
  • the signal processing unit 123 identifies one or more adjacent low-sensitivity pixels L that are considered to measure the same subject as the high-sensitivity pixel H to be corrected based on the captured image. Then, the signal processing unit 123 may determine the offset correction amount (or the coefficient by which the light emission cycle of the high-sensitivity pixel H is multiplied) using the measurement result obtained for the specified low-sensitivity pixel L.
  • a light receiving device with a wide dynamic range can be realized by using light receiving elements with different sensitivities. Also, the sensitivity of the light receiving element is made different by the optical element added to the light receiving element. Therefore, light-receiving elements having the same configuration can be used, which is advantageous from the viewpoint of ease of manufacture and suppression of variations in characteristics. Further, by making the time measurement resolution lower for the low-sensitivity pixels than for the high-sensitivity pixels, it is possible to efficiently reduce the circuit size and power consumption while suppressing the deterioration of the distance measurement accuracy.
  • the distance measuring device described above can be implemented in any electronic device having processing means for executing predetermined processing using distance information.
  • electronic devices include imaging devices, computer devices (personal computers, tablet computers, media players, PDAs, etc.), mobile phones, smart phones, game machines, robots, drones, vehicles, and the like. These are examples, and the distance measuring device according to the present invention can also be implemented in other electronic devices.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

光を照射してから反射光を検出するまでの時間差を計測することにより光を反射した物体までの距離を算出する測距装置に用いられる投光ユニットである。投光ユニットは、複数の発光素子が2次元に配列された光源アレイと、光源アレイから出射される光の投光範囲を調整するための投光レンズとを有する。投光ユニットはさらに、光源アレイと投光レンズとの相対的な位置を変更する駆動部と、光源アレイの位置が異なる状態で光源アレイを点灯させる光源制御部とを有する。

Description

投光ユニットおよびそれを用いた測距装置
 本発明は投光ユニットおよびそれを用いた測距装置に関する。
 光を照射してから反射光を検出するまでの時間差を計測することにより、光を反射した物体までの距離を計測する、ToF(Time-of-Flight)方式の測距方法が知られている。また、物体距離を精密に計測するために、光が照射する領域の密度を高める試みが行われている。
 特許文献1では、発光素子アレイを構成するそれぞれの発光素子が出射する光束を、回折光学素子を用いて複数の光束に分離することにより、発光素子のピッチより狭いピッチで、発光素子より多くの光束を出射する投光ユニットが開示されている。
米国特許出願公開明細書第US20200256993号
 特許文献1によれば、光束の密度を高めることが可能であるが、1つの光束を光学素子によって複数に分離する構成であるため、分離後の光束あたりのエネルギーが低下する。そのため、測距可能な最大距離が短くなる。また、光束を分離しない場合と比較すると、反射光の強度が低下するため、測距精度が低下する可能性がある。
 本発明はその一態様において、光束を分離することなく光束の密度を高めることが可能な測距装置の投光ユニットを提供する。
 本発明の一態様に係る投光ユニットは、光を照射してから反射光を検出するまでの時間差を計測することにより光を反射した物体までの距離を算出する測距装置に用いられる投光ユニットである。投光ユニットは、複数の発光素子が2次元に配列された光源アレイと、光源アレイから出射される光の投光範囲を調整するための投光レンズと、光源アレイと投光レンズとの相対的な位置を変更する駆動手段と、光源アレイの位置が異なる状態で光源アレイを点灯させる光源制御手段と、を有する。
 本発明によれば、光束を分離することなく光束の密度を高めることが可能な測距装置の投光ユニットを提供することができる。
実施形態に係る受光装置を用いた測距装置100の機能構成例を示すブロック図 光源ユニット111の構成例を示す図 光源ユニット111の構成例を示す図 光源ユニット111の構成例を示す図 光源ユニット111の投光パターンの例を示す図 光源ユニット111の投光パターンの例を示す図 計測ユニット120の実装例を模式的に示した分解斜視図 受光部121の構成例に関する図 受光部121の構成例に関する図 画素511に設ける光学バンドパスフィルタの分光特性の例を示す図 画素511に設ける光学バンドパスフィルタの分光特性の例を示す図 画素511の受光素子の構成例を示す垂直断面図 図7の断面におけるポテンシャル分布の例を示す図 図7の断面におけるポテンシャル分布の例を示す図 図7の断面におけるポテンシャル分布の例を示す図 画素511の構成例を示す回路図 TDCアレイ部122の構成例を示すブロック図 高分解能TDC1501の構成例を示す回路図 高分解能TDC1501の動作に関する図 測距動作に関するタイミングチャート 図13の一部を拡大したタイミングチャート 低分解能TDC1502が有する第2発振器1512の回路構成例を模式的に示す図 第1発振調整回路1541および第2発振調整回路1542の機能構成例を示すブロック図 実施形態における測距動作の一例に関するフローチャート 測距結果のヒストグラムの例を示す図 測距結果のヒストグラムの例を示す図 測距結果のヒストグラムの例を示す図 測距結果のヒストグラムの例を示す図 測距結果のヒストグラムの例を示す図
 以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
 なお、本明細書において受光素子の特性が同一であるとは、受光素子の物理的な構成およびバイアス電圧を積極的に異ならせていないことを示す。したがって、製造上のばらつきなどの不可避な要因による特性の差異は存在しうる。
●(第1実施形態)
 図1は、本発明に係る受光装置を用いた測距装置の機能構成例を示すブロック図である。測距装置100は、投光ユニット110、計測ユニット120、受光レンズ132、全体制御部140を有する。投光ユニット110は、発光素子を2次元アレイ状に配置した光源ユニット111と、光源ユニット駆動部112と、光源制御部113と、投光レンズ131とを有する。計測ユニット120は、受光部121と、TDC(Time-to-Digital Convertor)アレイ部122と、信号処理部123と、計測制御部124とを有する。なお、本明細書では、受光レンズ132と受光部121との組み合わせを受光ユニット133と呼ぶことがある。
 全体制御部140は、測距装置100全体の動作を制御する。全体制御部140は例えばCPU、ROM、RAMを有し、ROMに記憶されたプログラムをRAMに読み込んでCPUで実行することにより、測距装置100の各部を制御する。全体制御部140の少なくとも一部は専用のハードウェア回路で実現されてもよい。
 光源ユニット111に配列された複数の発光素子211(図2B)を短時間発光させることにより、パルス状の光(パルス光)が投光レンズ131を介して照射される。個々の発光素子から発せられたパルス光はそれぞれ異なる空間を照射する。光源ユニット111から照射されたパルス光の一部は被写体で反射され、受光レンズ132を介して受光部121に入射する。本実施形態では、発光させる発光素子211と、受光部121に配列される複数の画素のうち特定の画素とが光学的に対応するように構成される。ここで、ある発光素子211と光学的に対応する画素とは、その発光素子211から出射された光の反射光を最も多く検出するような位置関係にある画素である。
 光源ユニット111の発光から受光部121に反射光が入射するまでの時間を、飛行時間ToFとしてTDCアレイ部122で計測する。なお、環境光やダークカウントなどのノイズ成分や、TDCアレイ部122のノイズが計測結果に与える影響を低減するため、飛行時間ToFを複数回計測する。
 信号処理部123は、TDCアレイ部122による複数回の計測結果のヒストグラムを生成し、ヒストグラムに基づいてノイズ成分を除去する。そして、信号処理部123は、ノイズ成分を除去した計測結果を例えば平均することによって求めた飛行時間ToFを以下の式(1)に代入して被写体の距離Lを算出する。
 L[m] = ToF[sec]*c[m/sec]/2   ・・・(1)
なお、cは光の速度である。このようにして、信号処理部123は画素ごとに距離情報を算出する。
(投光ユニット110)
 図2A~図2Cを用いて、投光ユニット110の構成例について説明する。図2Aは、光源ユニット111を構成するコリメータレンズアレイ220の構成例を、図2Bは、光源ユニット111を構成する光源アレイ210の構成例をそれぞれ示す側面図である。
 光源アレイ210は例えば垂直共振器面発光レーザ素子(Vertical Cavity Surface Emitting LASER: VCSEL)である発光素子211が2次元アレイ状に配列された構成を有する。光源アレイ210の点灯および消灯は、光源制御部113が制御する。光源制御部113は、光源アレイ210の点灯および消灯を発光素子211単位で制御可能である。
 なお、発光素子211には、端面発光型レーザ素子、LED(発光ダイオード)など、VCSEL以外の素子を用いてもよい。発光素子211として端面発光型レーザ素子を用いる場合は、基板上に素子を1次元配列したレーザーバー、もしくはレーザーバーを積層して2次元アレイ構成としたレーザーバースタックを光源アレイ210として用いることができる。また、発光素子211としてLEDを用いる場合には、基板上に2次元アレイ状にLEDを配列した光源アレイ210を用いることができる。
 なお、発光素子211の発光波長に特段の制限はないが、近赤外帯域の波長とすると、環境光の影響を抑制することができる。VCSELは端面発光型レーザや面発光レーザに用いられている材料を用いて半導体プロセスにより作成することができる。近赤外帯域の波長のレーザ光を放出させる構成とする場合、GaAs系の半導体材料を用いることができる。この場合、VCSELを構成するDBR(分布反射型)反射鏡をなす誘電体多層膜は、屈折率の異なる材料からなる二つの薄膜を交互に周期的に積層したもの(GaAs/AlGaAs)で、構成することができる。VCSELが発する光の波長は、化合物半導体の元素組み合わせや、組成を調整することで変更することができる。
 VCSELアレイを構成するVCSELには、活性層に電流とホールを注入するための電極が設けられる。活性層に電流とホールを注入するタイミングを制御することで、任意のパルス光や、変調光を放出することが可能である。光源制御部113は、発光素子211を個別に駆動したり、光源アレイ210を行単位、列単位、あるいは矩形領域単位で駆動することができる。
 また、コリメータレンズアレイ220は、個々のコリメータレンズ221が1つの発光素子211に対応するように、複数のコリメータレンズ221が2次元アレイ状に配置された構成を有する。発光素子211が出射する光線は、対応するコリメータレンズ221によって平行光線に変換される。
 図2Cは、光源ユニット駆動部112、光源ユニット111、および投光レンズ131の配置例を示す垂直断面図である。投光レンズ131は、光源ユニット111(光源アレイ210)から出射される平行光の投光範囲を調整するための光学系である。図2Cでは投光レンズ131が凹レンズであるが、凸レンズや非球面レンズであってもよいし、複数のレンズから構成される光学系であってもよい。
 本実施形態では一例として投光ユニット110から±45度の範囲に光が照射されるように投光レンズ131が構成されているものとする。なお、コリメータレンズ221によって光の出射方向を制御することで、投光レンズ131を省略してもよい。
 図3Aは、光源アレイ210のうち、3行3列の発光素子が、投光ユニット110の発光面に対して正対する所定距離の平面に形成する投光パターンを示している。9つの投光エリア311は、平面310における、個々の発光素子からの光の強度分布のうち、およそ半値全幅(FWHM)を直径とする領域を示している。
 コリメータレンズ221により平行光に変換された発光素子211の出射光は投光レンズ131で若干の発散角を付与されるため、照射面(平面310)において有限の領域を形成する。コリメータレンズアレイ220と光源アレイ210との位置関係が一定の場合、平面310には光源アレイ210を構成する発光素子211の数に等しい投光エリア311が形成される。
 本実施形態の投光ユニット110には、光源ユニット111を同一平面内で移動可能な光源ユニット駆動部112を有している。光源ユニット駆動部112によって光源ユニット111の位置を移動させることにより、発光素子211と、コリメータレンズ221または投光レンズ131との相対的な位置関係を変更することができる。光源ユニット駆動部112が光源ユニット111を駆動する方法に特に制限はないが、例えば手ブレ補正のために撮像素子を駆動するために用いられる機構のような、電磁誘導方式や圧電素子を用いた機構を用いることができる。
 光源ユニット駆動部112により光源ユニット111を例えば光源ユニット111の基板に平行な(投光レンズ131の光軸に垂直な)面内で移動させると、平面310における投光エリア311を略平行移動することが可能である。例えば光源ユニット111を光源ユニット111の基板に平行な面内で移動させる間に光源ユニット111を複数回点灯させることにより、投光エリアの空間解像度を擬似的に増加させることができる。
 図3Aと同様の光源アレイ210を有する光源ユニット111を光源ユニット111の基板に平行な面内で円状に1回転移動させる間に一定周期で4回光源ユニット111を点灯させた際の、面410における投光エリア411の空間解像度を図3Bに示す。図3Aに示した、光源ユニット111を移動させない場合に対して4倍の空間解像度が得られている。
 したがって、光源ユニット111と投光レンズ131との相対位置が異なる状態で距離計測を実施することにより、距離計測点の密度を高めることができる。光束を分離することなく投光エリア411の空間解像度を高めることができるため、測距可能な距離が短くなったり、反射光の強度低下に起因して距離精度が低下したりすることがない。
 なお、投光レンズ131を光源ユニット111の基板に平行な面内で移動させることにより、光源ユニット111と投光レンズ131との相対位置を変更してもよい。なお、投光レンズ131が複数枚のレンズを有する場合には、投光レンズ131の全体を移動させてもよいし、一部のレンズのみを移動させてもよい。
 さらに、光源ユニット駆動部112により、光源ユニット111を光源アレイ210の基板と垂直方向(投光レンズ131の光軸方向)に移動可能に構成してもよい。これにより、光の発散角や投光角度を制御することができる。
 光源制御部113は、受光ユニット133の受光タイミングや受光解像度に応じて、光源ユニット111(光源アレイ210)の発光を制御する。
(計測ユニット120)
 次に、計測ユニット120の構成について説明する。図4は、計測ユニット120の実装例を模式的に示した分解斜視図である。図4では、受光部121、TDCアレイ部122、信号処理部123、計測制御部124について示している。受光部121およびTDCアレイ部122は受光装置を構成する。
 計測ユニット120は、画素511を2次元アレイ状に配置した受光部121を含む受光素子基板510と、TDCアレイ部122、信号処理部123、計測制御部124を含むロジック基板520とを積層した構成を有する。受光素子基板510とロジック基板520とは基板間接続530を通じて電気的に接続されている。図4は、説明のために、受光素子基板510とロジック基板520とを離間した状態で示している。
 なお、各基板に搭載する機能ブロックは図示した例に限定されない。3つ以上の基板を積層する構成であってもよいし、1つの基板に、全ての機能ブロックを搭載してもよい。基板間接続530は、例えば、Cu-Cu接続で構成されており、画素511の各列に1つまたは複数配置してもよいし、画素511ごとに1つ配置してもよい。
 受光部121は、画素511が2次元アレイ状に配列された画素アレイを有する。本実施形態においては、画素511が有する受光素子がアバランシェフォトダイオード(APD)もしくはSPAD素子であるものとする。また、図5Aに示すように、第1の感度を有する画素H(第1の画素)と、第1の感度より低い第2の感度を有する画素L(第2の画素)とが、行方向および列方向において交互に配置されている。画素Hと画素Lとが隣接するように配置することで、画素Lの計測結果に基づく画素Hのオフセット補正が可能となる。本明細書において、画素Hを高感度画素H、画素Lを低感度画素Lと呼ぶこともある。
 図5Bは、画素Hと画素Lの構造例を示す垂直断面図である。ここでは、共振波長λc、高屈折率層901の屈折率をnH、低屈折率層902の屈折率をnL(<nH)とする。光共振器911から光共振器914は、膜厚dH=0.25λc/nHの高屈折率層901と膜厚dL=0.25λc/nLの低屈折率層902とを有する多層膜干渉ミラーである。膜厚dE1(~dE4)=m1(~m4)×0.5λc/nL(m1~m4は自然数)の低屈折率層902を高屈折率層901によって両側から挟んだ構成である。
 画素Lは、膜厚30nmのタングステン薄膜で構成される透過率が約45%の減光層903の上に、第2の光学バンドパスフィルタが設けられた構成を有する。第2の光学バンドパスフィルタは、光共振器911から光共振器914を、膜厚dLの低屈折率層902を挟んで積層した構成を有する。第2の光学バンドパスフィルタは図6Aに示す分光特性を有し、受光素子に付加する光学要素の一例である。
 画素Hは、膜厚30nmの低屈折率層で構成される透過率が約100%の透過率層904の上に、多層膜干渉ミラー915と、低屈折率層からなる膜厚dE4の膜厚調整層905と、第1の光学バンドパスフィルタとが設けられた構成を有する。第1の光学バンドパスフィルタは、受光素子に付加する光学要素の一例であり、図6Bに示す分光特性を有する。
 第1の光学バンドパスフィルタは、光共振器911から光共振器913を、膜厚dLの低屈折率層902を挟んで積層した構成を有する。第1の光学バンドパスフィルタと第2のバンドの通過帯域は基本的に同じ中心波長を有し、図6Aおよび図6BにおいてλcL=λcHである。中心波長は光源ユニット111が照射する光のピーク波長とすることができる。一方、第2の光学バンドパスフィルタの分光特性の半値幅WLは、第1の光学バンドパスフィルタの分光特性の半値幅WHより狭い。
 半値幅WLを半値幅WHより狭くするのは、低感度画素Lでは主に長距離の測距を行うことを、高感度画素Hでは主に短距離の測距を行う想定しているためである。低感度画素Lでは長いToFに対応できるよう、半値幅WLを狭くして、反射光が到達する前にノイズ光が計測されることを抑制する。
 また、画素Lには減光層903を設けることにより、画素Hよりも低感度になるように構成されている。減光層903は画素の感度を低下させるための光学要素の一例である。なお、減光層903の代わりに、開口量が異なるマスクなど、他の光学要素を用いて画素Hと画素Lの感度を異ならせてもよい。
 例えば、画素Lには、画素Hに設けられるマスクよりも開口量の小さいマスクを設けることで、画素Lの受光素子の受光領域を画素Hの受光素子の受光領域よりも狭くすることができる。画素Hにはマスクを設けなくてもよく、この場合には画素Lに開口率が100%未満のマスクを設ければよい。マスクは遮光膜を形成可能な任意の材料で形成することができる。
 本実施形態では、受光素子そのものの構成や印加電圧を異ならせるのではなく、受光素子に付加する光学要素を用いて画素の感度を異ならせる。そのため、受光素子の構成や印加電圧は画素Hおよび画素Lとで共通とすることができる。したがって、受光素子アレイの製造が容易であり、また、受光素子の特性のばらつきを抑制することができる。
 図7は、画素Hおよび画素Lに共通する、受光素子の半導体層を含む断面図である。1005が受光素子基板510の半導体層、1006が受光素子基板510の配線層、1007がロジック基板520の配線層である。受光素子基板510とロジック基板520の配線層が向かい合う様に接合されている。受光素子基板510の半導体層1005には受光領域(光電変換領域)1001と、光電変換によって生成された信号電荷によりアバランシェ電流を発生させるアバランシェ領域1002とが含まれる。
 また、受光領域1001に斜めに入射した光が、隣接画素の受光領域1001に到達することを防ぐために、隣接画素との間に遮光壁1003が設けられている。遮光壁1003は金属で形成されており、遮光壁1003と受光領域1001との間には絶縁体領域1004が設けられている。
 図8Aは図7のa-a’断面の半導体領域のポテンシャル分布を示す図である。図8Bは図7のb-b’断面のポテンシャル分布を示す図である。図8Cは図7のc-c’'断面のポテンシャル分布を示す図である。
 受光素子基板510の半導体層1005に入射した光は、受光領域1001で光電変換されて、電子と正孔が発生する。正電荷の正孔は、アノード電極Vbdを介して排出される。負電荷の電子は、信号電荷として、図8A、図8B、図8Cに示したように、アバランシェ領域1002に向かってポテンシャルが低くなるように設定された電界により、アバランシェ領域1002に輸送される。
 アバランシェ領域1002に到達した信号電荷は、アバランシェ領域1002の強い電界により、アバランシェ降伏を引き起こし、アバランシェ電流を発生させる。この現象は、信号光(光源ユニット111が照射した光の反射光)だけでなく、ノイズ光である環境光の入射でも発生し、ノイズ成分となる。また、キャリアは入射光によって発生するだけでなく、熱的にも発生する。熱的に発生したキャリアによるアバランシェ電流はダークカウントと呼ばれ、ノイズ成分となる。
 図9は、画素511の等価回路図である。画素511は、SPAD素子1401、負荷トランジスタ1402、インバータ1403、画素選択スイッチ1404、画素出力線1405を有する。SPAD素子1401は、図7における受光領域1001とアバランシェ領域1002とを合わせた領域に対応する。
 外部から供給される制御信号により画素選択スイッチ1404がオンになると、インバータ1403の出力信号が、画素出力信号として、画素出力線1405に出力される。
 アバランシェ電流が流れていないとき、SPAD素子1401には、ブレークダウン電圧以上の逆バイアスが印加されるように、アノード電極Vbdの電圧が設定されている。この時、負荷トランジスタ1402に流れる電流は無いため、カソード電位Vcは電源電圧Vddに近い電圧となっており、画素出力信号は「0」である。
 光子の到来により、SPAD素子1401でアバランシェ電流が発生すると、カソード電位Vcが降下し、インバータ1403の出力が反転する。すなわち、画素出力信号は「0」から「1」に変化する。
 カソード電位Vcが低下すると、SPAD素子1401に印加される逆バイアスが低下し、逆バイアスがブレークダウン電圧以下になった時点でアバランシェ電流の生成が停止する。
 その後、負荷トランジスタ1402を介して電源電圧Vddから正孔電流が流れることによりカソード電位Vcは上昇し、インバータ1403の出力(画素出力)が「1」から「0」へと戻り、光子の到来前の状態となる。このようにして画素511から出力された信号は、不図示の中継バッファを介して、TDCアレイ部122に入力される。
(TDCアレイ部122)
 TDCアレイ部122は、光源ユニット111が発光した時刻から、画素511の出力信号が「0」から「1」に変化する時刻までの時間をToFとして計測する。
 図10は、TDCアレイ部122の構成例を模式的に示す図である。TDCアレイ部122には、第1の計測分解能を有する高分解能TDC1501と、第2の計測分解能を有する低分解能TDC1502とが、それぞれ画素アレイの1画素行を構成する画素数の半数ずつ設けられており、1画素単位で画素ごとにToFを計測する。第2の計測分解能は、第1の計測分解能よりも低い。また、同期クロックは例えば全体制御部140から供給される。
 ここで、高感度画素Hの出力信号は高分解能TDC1501に入力され、低感度画素Lの出力信号は低分解能TDC1502に入力されるように、中継バッファで駆動される。つまり、高感度画素Hについては、低感度画素Lよりも高い計測分解能で時間を計測する。図10では、奇数番目の画素出力が画素Hの出力であり、偶数番目の画素出力が画素Lの出力である。中継バッファでの遅延時間を概ね等しくするため、高分解能TDC1501と低分解能TDC1502とが交互に配置されている。
 高分解能TDC1501は、第1発振器1511、第1発振カウント回路1521、第1同期クロックカウント回路1531を有する。低分解能TDC1502は、第2発振器1512、第2発振カウント回路1522、第2同期クロックカウント回路1532を有する。第1発振カウント回路1521および第2発振カウント回路1522は、対応する発振器の出力値の変化をカウントする第2のカウンタである。第1同期クロックカウント回路1531および第2同期クロックカウント回路1532は、同期クロックをカウントする第1のカウンタである。
 それぞれのTDCの出力値において、同期クロックカウント回路のカウント結果が上位ビット、発振器の内部信号が下位ビット、発振カウント回路のカウント結果が中間ビットを構成する。すなわち、同期クロックカウント回路で大まかに計測し、発振器の内部信号が細かく計測し、その間を発振カウント回路で計測する構成となっている。なお、それぞれの計測ビットに冗長ビットを持たせてもよい。
 図11は、高分解能TDC1501の第1発振器1511の構成例を模式的に示す図である。第1発振器1511は、発振スタート/ストップ信号生成回路1640と、バッファ1611~1617と、インバータ1618と、発振スイッチ1630と、遅延調整用電流源1620とを有する。また、遅延要素としてのバッファ1611~1617およびインバータ1618は、発振スイッチ1630と交互に、直列かつリング状に接続されている。遅延調整用電流源1620は、バッファ1611~1617およびインバータ1618のそれぞれに設けられており、調整電圧に応じて、対応するバッファもしくはインバータの遅延時間を調整する。
 図12は、バッファ1611~1617およびインバータ1618の出力信号と発振器の内部信号とについて、リセット時と、発振スイッチ1630がオンになってからバッファ1段分の遅延時間tbuffごとの変化を示している。WI11出力~WI18出力はそれぞれバッファ1611~1617およびインバータ1618の出力信号である。
 リセット時、バッファ1611~1617の出力は「0」、インバータ1618の出力は「1」である。発振スイッチ1630がオンになってから、バッファ1段分の遅延時間tbuff経過後、入出力の整合が取れているバッファ1612~1617とインバータ1618の出力は変化しない。一方、入出力の整合が取れていないバッファ1611の出力が「0」から「1」へ変化する(信号が1段分進む)。
 さらにtbuff経過すると(2×tbuff後)、入出力の整合が取れているバッファ1611、1613~1617とインバータ1618の出力は変化しない。一方、入出力の整合が取れていないバッファ1612の出力は「0」から「1」へと変化する(信号がさらに1段分進む)。
 このように、バッファ1段分の遅延時間tbuffが経過するごとに、バッファ1611~1617およびインバータ1618のうち、入出力の整合が取れていない1つの出力が順に「0」から「1」に変化していく。そして、発振スイッチ1630がオンになってから8×tbuff経過後には、全てのバッファおよびインバータの出力が「1」に変化(信号が1周)する。さらに8×tbuff経過後(16×tbuff経過後)すると、全てのバッファおよびインバータの出力が「0」に変化(信号が2周)して、元の状態に戻る。
 その後は、16×tbuufを周期として同様に出力が変化する。このように、高分解能TDC1501の時間分解能はtbuffに等しい。また、時間分解能tbuffは、後述の第1発振調整回路1541により、同期クロックの周期の2-7(1/128)になるように調整されている。
 また、インバータ1618の出力である発振器出力は第1発振カウント回路1521に入力される。第1発振カウント回路1521では、発振器出力の立ち上がりエッジをカウントすることで、16×tbuffの時間分解能で時間を計測する。
 図13は、発光から、SPAD素子1401によって反射光が検出されるまでの時間計測が終了するまでのタイミングチャートである。SPAD素子1401のカソード電位Vc、画素出力信号、同期クロック、同期クロックカウント回路のカウント値、発振器スタート/ストップ信号生成回路出力、発振器出力、発振カウント回路のカウント値の変化を示している。
 SPAD素子1401のカソード電位Vcはアナログ電圧であり、紙面上側が高い電圧を示している。同期クロックと発振器スタート/ストップ信号生成回路出力、発振器出力はデジタル信号であり、紙面上側がオン、紙面下側がオフの状態を示している。同期クロックカウント回路および発振器カウント回路のカウント値は、デジタル値であり、10進数で示している。
 図14は、図13の時刻1803から時刻1805における発振器スタート/ストップ信号生成回路出力、発振器出力、発振器カウント回路のカウント値、発振器内部信号を拡大した図である。発振器内部信号はデジタル値であり、10進数で示している。
 図13、図14を用いて、光源ユニット111の発光時刻1801から、画素のSPAD素子1401に光子が入射して画素出力信号が0から1になる時刻1803までの時間を、高分解能TDC1501で計測する動作を説明する。
 全体制御部140を介して供給される同期クロックの立ち上がりに同期した時刻1801に発光素子211が発光するよう、光源制御部113が光源ユニット111を駆動する。第1同期クロックカウント回路1531は、発光素子211が発光する時刻1801に全体制御部140から計測開始が指示されると、同期クロックの立ち上がりエッジのカウントを開始する。
 時刻1801に照射された光の反射光が時刻1803に画素に入射すると、SPAD素子1401のカソード電位Vcが降下し、画素出力信号が「0」から「1」に変化する。画素出力信号が「1」になると、発振スタート/ストップ信号生成回路1640の出力が「0」から「1」に変化し、発振スイッチ1630がオンになる。
 発振スイッチ1630がオンになると、発振動作が開始され、図12に示したように発振器内部で信号のループが開始される。発振スイッチ1630がオンになってから16×tbuffが経過して発振器内で信号が2周するごとに、発振器出力に立ち上がりエッジが出現し、第1発振カウント回路1521がその数を計測する。また、時刻1803で、第1同期クロックカウント回路1531はカウントを停止し、カウント値を保持する。
 第1発振器1511がオンになった時刻1803以降、同期クロックが最初に立ち上がるタイミングが時刻1805である。時刻1805の同期クロックの立ち上がりを受けて、発振スタート/ストップ信号生成回路1640の出力は「0」となり、発振スイッチ1630はオフになる。発振スイッチ1630が「0」になったタイミングで、第1発振器1511の発振が終了し、発振回路内部信号はそのまま保持される。また、発振が終了するため、第1発振カウント回路1521のカウントも停止する。
 同期クロックカウント回路のカウント結果DGclkは、時刻1801から時刻1802までの時間を27×tbuff単位で計測した値となる。また、発振器カウント回路のカウント結果DROclkは、時刻1803から時刻1804までの時間を24×tbuff単位で計測した値となる。さらに、発振器内部信号DROinは、時刻1804から時刻1805までの時間をtbuff単位で計測した値となる。高分解能TDC1501は、これらの値に対して以下の処理を行って信号処理部123に出力することにより、1回の計測動作を完了する。
 発振器カウント回路のカウント結果DROclkと発振器内部信号DROinとを以下の式(2)にしたがって加算する。
 DRO=24×DROclk+DROin・・・(2)
 式(2)で得られるDROは、時刻1803から時刻1805までの時間をtbuff単位で計測した値である。また、時刻1802から時刻1805までの時間は同期クロックの1周期に等しいため、27×tbuffである。そのため、同期クロックの1周期からDROを減じることで、時刻1802から時刻1803までの時間が得られる。これを、時刻1801から時刻1802までの時間であるDGclkと加算すると、時刻1801から時刻1803までの時間をtbuff単位で計測した値DToFが得られる(式(3))。
ToF=27×DGclk+(27-DRO)
      =27×DGclk+(27-24×DROclk-DROin)・・・(3)
 図15は、低分解能TDC1502が有する第2発振器1512の回路構成例を模式的に示す図である。第2発振器1512では、バッファ2011~2013およびインバータ2014が、発振スイッチ2030と交互に、直列かつリング状に接続されている。また、遅延調整用電流源2020が、バッファ2011~2013およびインバータ2014のそれぞれに設けられており、調整電圧に応じて、対応するバッファもしくはインバータの遅延時間を調整する。
 高分解能TDC1501と比較すると、バッファおよび発振スイッチの数が7つから3つに減少している。一方、バッファ2011~2013およびインバータ2014はそれぞれ、遅延時間tbuffが、高分解能TDC1501のtbuffの2倍となるように第2発振調整回路1542で調整されている。
 これにより、第2発振カウント回路1522のカウント周期は第1発振カウント回路1521のカウント周期と等しくなる。したがって、第2発振カウント回路1522の出力ビット数は第1発振カウント回路1521の出力ビット数と等しい。一方、発振器内部信号のビット数は、第2発振器1512の方が第1発振器1511よりも1ビット少なくすることができる。
 上述の通り、低感度画素Lは長距離の測距に用いることを主に想定している。長距離の場合、ToFの計測分解能が測距結果の精度に与える影響は、長距離よりも短距離の方が大きい。そのため、低感度画素LのToFを計測する低分解能TDC1502では、回路規模や消費電力を削減することを優先し、ToFの計測分解能を高分解能TDC1501よりも低くしている。
 遅延時間tbuffは、トランジスタの製造誤差など製造プロセスに起因する要因、TDC回路に印加される電圧のゆれ、温度によってばらつきが生じる。そのため、8個のTDCごとに第1発振調整回路1541および第2発振調整回路1542が設けられている。
 図16は、第1発振調整回路1541および第2発振調整回路1542の機能構成例を示すブロック図である。第1発振調整回路1541および第2発振調整回路1542は同じ構成を有するため、以下では第1発振調整回路1541に関して説明する。第1発振調整回路1541は、ダミー発振器2101と1/23(1/8)分周器2102、および位相比較器2103を有する。
 ダミー発振器2101は、接続されるTDCが有する発振器と同じ構成の発振器である。したがって、第1発振調整回路1541のダミー発振器2101は第1発振器1511と同じ構成を有する。第2発振調整回路1542のダミー発振器2101は第2発振器1512と同じ構成を有する。
 ダミー発振器2101の出力は1/23分周器2102に入力される。1/23分周器2102は、入力されたクロック信号の周波数を1/23にしたクロック信号を出力する。位相比較器2103には同期クロックと1/23分周器2102の出力が入力される。位相比較器2103は、同期クロックの周波数と1/23分周器2102の出力するクロック信号の周波数とを比較する。
 そして、位相比較器2103は、同期クロック信号の周波数の方が高い場合には出力電圧を上昇させ、同期クロックの周波数の方が低い場合には出力電圧を降下させる。位相比較器2103の出力は、調整電圧として第1発振器1511の遅延調整用電流源1620に入力され、第1発振器1511の発振周波数が同期クロックの23倍となるように遅延を調整する。第2発振調整回路1542においても同様である。
 このように、発振器の発振周波数は、同期クロック周波数を基準に決定される。そのため、プロセス/電圧/温度の変化によらず一定周波数を出力可能な外付けICを用いて同期クロック信号を生成することにより、プロセス/電圧/温度の変化による発振器の発振周波数のばらつきを抑制することができる。
 例えば、同期クロック信号として160MHzのクロック信号を入力することで、発振周波数は高分解能TDC1501および低分解能TDC1502のいずれにおいても同期クロック周波数の8倍の1.28GHzなる。TDCの時間分解能であるバッファ1段分の遅延時間tbuffは、高分解能TDC1501では48.8ps、低分解能TDC1502では97.7psとなる。
(測距シーケンス)
 図17は、本実施形態における測距動作の一例に関するフローチャートである。
 S2201で全体制御部140は、信号処理部123が有するヒストグラム回路および計測カウンタiをリセットする。また、全体制御部140は、S2202で発光させる発光素子211と光学的に対応する画素511の出力がTDCアレイ部122に入力されるよう、不図示の中継バッファの接続を変更する。
 S2202で全体制御部140は、光源ユニット111の光源アレイ210を構成する発光素子211の一部を発光させる。同時に、全体制御部140は、TDCアレイ部122に対して計測開始を指示する。
 TDCアレイ部122の高分解能TDC1501および低分解能TDC1502は、対応する画素511の出力が「0」から「1」に変化したことを検出すると、計測結果を信号処理部123に出力する。発光から、予め定められた最大測距レンジに対応する時間が経過すると、S2204が実行される。
 S2204で信号処理部123は、画素ごとのヒストグラムにS2203で得られた計測結果を追加する。信号処理部123は、計測結果が得られていない画素についてはヒストグラムに計測結果を追加しない。
 S2205で信号処理部123は、計測回数カウンタiの値に1を加える。
 S2206で信号処理部123は、計測回数カウンタiの値が事前に設定された設定回数Ntotalより大きいか否かを判定する。信号処理部123は、計測回数カウンタiの値が設定回数Ntotalより大きいと判定されればS2207を、計測回数カウンタiの値が設定回数Ntotalより大きいと判定されなければ2202を実行する。
 S2207で信号処理部123は、個々の画素のヒストグラムに基づいてノイズ成分と思われる計数結果を除去し、S2208を実行する。
 S2208で信号処理部123は、個々の画素のヒストグラムにおいて、S2207で除去されずに残った計測結果を平均し、平均値を計測されたToFとして出力し、1回の測距シーケンスを終了する。
(感度の異なる画素を用いることによるノイズ光抑制効果)
 ここで、S2207でのノイズ成分除去処理と、S2208での平均化について説明した後、感度の異なる画素Hと画素Lによるノイズ光低減効果について述べる。
 図18Aは、高感度画素Hにおける、Ntotal回のTDC計測結果のヒストグラムの例を示す図である。横軸はTDC計測結果(時間)、縦軸は頻度である。なお、TDC計測結果のビン幅は便宜上設定されたものである。
 区間2302に含まれる計測結果は、頻度ピークを形成していることから、発光から受光までの時間の正しい計測結果であると考えられる。一方、区間2304に含まれる計測結果は、分布が不規則かつまばらであることから、ランダムに発生する環境光等のノイズ光、もしくは、ダークカウントによるノイズ成分であると考えられる。したがって、区間2304に含まれる計測結果は取り除き、区間2302に含まれる計測結果のみの平均2303を測距結果とする。
 図18Bも図18Aと同様、高感度画素Hにおける、Ntotal回のTDC計測結果のヒストグラムの例を示す図である。被写体は図18Aと同じであるが、図18Aに示した計測時よりも環境光の多い状況で得られたTDC計測結果のヒストグラムの例を示している。区間2304に含まれるノイズ光でNtotal回のTDC計測が完了してしまい、被写体からの反射光に対するTDC計測結果が得られていない。
 図18Cは、図18Bと同じ環境下において、低感度画素Lについて得られたNtotal回のTDC計測結果のヒストグラムの例を示す図である。高感度画素Hよりも感度が低いため、ノイズ光に対してTDC計測が行われる回数が減少する。その結果、区間2302に含まれる計測結果の数が増加し、図18Aと同様に、区間2302に含まれる計測結果の平均値を測距結果として算出することができる。このように、低感度画素Lは、環境光ノイズが大きい状況への耐性が高感度画素Hより高い。
 なお、ここではノイズ光の多い環境において起こりうる状況について説明した。しかし、同様の問題は、測距対象の物体が遠距離に存在する場合にも起こりうる。物体が遠距離に存在する場合、発光から反射光が戻ってくるまでの期間(すなわち、ノイズ光が検出される期間)が長くなるためである。
 本実施形態では、高感度画素Hと低感度画素Lとを用いることで、ノイズ光の量が多い場合や遠くの物体を測距する場合であっても、ノイズ光の影響が抑制された安定した測距が可能である。さらに、受光素子(SPAD)の構成(受光面積や受光部の厚さ)や、受光素子への印加電圧は高感度画素Hおよび低感度画素Lで共通である。そのため、高感度画素Hで得られる測距結果と、低感度画素Lで得られる測距結果とのばらつきが小さく、精度のよい測距結果が得られる。
(HDR駆動方法)
 次に、図18Dおよび図18Eを用いて、高感度画素Hと低感度画素LのHDR駆動について説明する。図18Dは高感度画素Hの計測結果のヒストグラムの一例を、図18Eは図18Dの高感度画素Hに隣接する低感度画素Lの計測結果のヒストグラムの一例を、それぞれ示している。
 高感度画素Hに対応する発光素子211の発光周期は2602であり、低感度画素Lに対応する発光素子211の発光周期は2702である。発光周期2702は発光周期2602の4倍である。そのため、同一時間内に高感度画素Hについては低感度画素Lより4倍多い回数の測距が可能である。平均化する測距結果の数が低感度画素Lよりも多くなる確率が高いことと、好感度画素Hについての計測は高分解能TDC1501が行うことから、高感度画素Hに対応する空間の測距精度は低感度画素Lに対応する空間の測距精度より高い。
 測距する物体が遠くに存在する場合、ToFが長くなるため、ノイズ光を計測する可能性が高くなる。ノイズ光抑制効果の大きい低感度画素Lに対応する発光素子211は、反射光を検出するまで次の発光を行わない。一方、ノイズ光抑制効果の少ない高感度画素Hに対応する発光素子211は、反射光を検出する前に次の発光を行う。これにより、TDCによる計測開始から反射光を検出するまでの時間を短縮でき、発光してから反射光が到来するまでの間にノイズ光を計測する可能性を抑制することができ、ノイズ光が大きい環境下でも高感度画素Hで精度の良い時間計測が可能となる。
 信号処理部123は、高感度画素Hについて得られた計測結果に対して、隣接する低感度画素Lについて得られた計測結果に基づくオフセット補正を適用する。オフセット補正は、高感度画素Hについての計測結果2611に対し、隣接する低感度画素Lについての計測結果2711に基づいて、高感度画素Hの発光周期(計測周期)2602の定数倍を加えることである。
 高感度画素Hに隣接する低感度画素Lについての計測結果が2711であることから、高感度画素Hについても、発光した光の反射光が到来するまでの時間は、計測結果2711に近い値である可能性が高い。図18Dおよび図18Eの例では、低感度画素Lについての計測結果2711が、高感度画素Hについての発光周期2602の2倍より大きく3倍より小さい。そのため、オフセット補正において信号処理部123は、高感度画素Hの計測結果2611に発光周期2602の2倍の時間を加える。
 なお、オフセット補正量は、補正対象の高感度画素Hに隣接する2つ以上の低感度画素Lについて得られている計測結果に基づいて決定してもよい。例えば、水平方向および/または垂直方向に隣接する4つまたは2つの低感度画素Lについて得られている計測結果に基づいてオフセット補正量を決定してもよい。
 また、投光ユニット110の投光範囲を撮像する撮像ユニットを設け、撮像画像を用いて、オフセット補正量の決定に用いる低感度画素Lを特定してもよい。例えば、信号処理部123は、撮像画像に基づいて、補正対象の高感度画素Hと同じ被写体を測距していると考えられる1つ以上の隣接低感度画素Lを特定する。そして、信号処理部123は、特定された低感度画素Lについて得られている計測結果を用いて、オフセット補正量(もしくは高感度画素Hの発光周期に乗じる係数)を決定してもよい。
 本実施形態によれば、感度の異なる受光素子を用いることにより、ダイナミックレンジの広い受光装置を実現することができる。また、受光素子に付加する光学要素によって受光素子の感度を異ならせるようにした。そのため、同一構成の受光素子を用いることができ、製造容易性および特性のばらつき抑制の観点から有利である。また、低感度画素については高感度画素よりも時間計測の分解能を低くすることで、測距精度の低下を抑制しつつ、回路規模や消費電力を効率よく低減することができる。
(その他の実施形態)
 上述した測距装置は、距離情報を用いて所定の処理を実行する処理手段を有する任意の電子機器において実施可能である。このような電子機器には、撮像装置、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、車両などが含まれる。これらは例示であり、本発明に係る測距装置は他の電子機器においても実施可能である。
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
 本願は、2021年4月26日提出の日本国特許出願特願2021-74413を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (12)

  1.  光を照射してから反射光を検出するまでの時間差を計測することにより光を反射した物体までの距離を算出する測距装置に用いられる投光ユニットであって、
     複数の発光素子が2次元に配列された光源アレイと、
     前記光源アレイから出射される光の投光範囲を調整するための投光レンズと、
     前記光源アレイと前記投光レンズとの相対的な位置を変更する駆動手段と、
     前記光源アレイの位置が異なる状態で前記光源アレイを点灯させる光源制御手段と、
    を有することを特徴とする投光ユニット。
  2.  さらに、コリメータレンズアレイを有することを特徴とする請求項1に記載の投光ユニット。
  3.  前記コリメータレンズアレイが前記投光レンズの機能を備えることを特徴とする請求項2に記載の投光ユニット。
  4.  前記駆動手段は、前記光源アレイを前記投光レンズの光軸に垂直な面内で移動させることを特徴とする請求項1から3のいずれか1項に記載の投光ユニット。
  5.  前記駆動手段は、前記光源アレイを前記投光レンズの光軸に垂直な面内で円状に移動させることを特徴とする請求項4に記載の投光ユニット。
  6.  前記駆動手段は、前記光源アレイを前記投光レンズの光軸方向に移動させることを特徴とする請求項1から5のいずれか1項に記載の投光ユニット。
  7.  前記駆動手段は、前記投光レンズを光軸に垂直な面内で移動させることを特徴とする請求項1に記載の投光ユニット。
  8.  前記光源制御手段は、前記光源アレイを一定周期で点灯させることを特徴とする請求項1から7のいずれか1項に記載の投光ユニット。
  9.  請求項1から8のいずれか1項に記載の投光ユニットと、
     複数の画素が2次元に配列された受光装置と、
     前記投光ユニットが投光してから前記受光装置の前記複数の画素のそれぞれで光の入射が検出されるまでの時間を計測する計測手段と、
     前記計測された時間に基づいて、前記複数の画素のそれぞれについての距離情報を算出する算出手段と、
    を有することを特徴とする測距装置。
  10.  前記複数の画素が、第1の感度を有する第1の画素と、前記第1の感度よりも低い第2の感度を有する第2の画素を有することを特徴とする請求項9に記載の測距装置。
  11.  前記第1の画素について計測された前記時間を、前記第1の画素に隣接する前記第2の画素について計測された前記時間に基づいて補正することを特徴とする請求項10に記載の測距装置。
  12.  請求項9から11のいずれか1項に記載の測距装置と、
     前記測距装置で得られる距離情報を用いて所定の処理を実行する処理手段と、
    を有することを特徴とする電子機器。
PCT/JP2022/014805 2021-04-26 2022-03-28 投光ユニットおよびそれを用いた測距装置 WO2022230520A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112022002404.6T DE112022002404T5 (de) 2021-04-26 2022-03-28 Lichtprojektionseinheit und entfernungsermittlungsvorrichtung unter verwendung einer lichtprojektionseinheit
KR1020237037847A KR20230167072A (ko) 2021-04-26 2022-03-28 투광 유닛 및 그것을 사용한 측거장치
GB2317273.7A GB2621063A (en) 2021-04-26 2022-03-28 Light projection unit and distance measurement device using same
US18/492,647 US20240053473A1 (en) 2021-04-26 2023-10-23 Light-projection device and range finding apparatus that uses light-projection unit

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021074413A JP2022168740A (ja) 2021-04-26 2021-04-26 投光ユニットおよびそれを用いた測距装置
JP2021-074413 2021-04-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/492,647 Continuation US20240053473A1 (en) 2021-04-26 2023-10-23 Light-projection device and range finding apparatus that uses light-projection unit

Publications (1)

Publication Number Publication Date
WO2022230520A1 true WO2022230520A1 (ja) 2022-11-03

Family

ID=83847994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014805 WO2022230520A1 (ja) 2021-04-26 2022-03-28 投光ユニットおよびそれを用いた測距装置

Country Status (6)

Country Link
US (1) US20240053473A1 (ja)
JP (1) JP2022168740A (ja)
KR (1) KR20230167072A (ja)
DE (1) DE112022002404T5 (ja)
GB (1) GB2621063A (ja)
WO (1) WO2022230520A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074572A1 (ja) * 2009-12-14 2011-06-23 日本電気株式会社 走査装置、画像表示装置及びその制御方法
JP2014002176A (ja) * 2012-06-15 2014-01-09 Ushio Inc 光源装置およびプロジェクタ
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
US20190049097A1 (en) * 2016-01-26 2019-02-14 Heptagon Micro Optics Pte. Ltd. Multi-Mode Illumination Module and Related Method
JP2019190892A (ja) * 2018-04-20 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
WO2020030916A1 (en) * 2018-08-07 2020-02-13 Cambridge Mechatronics Limited Improved 3d sensing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
JP7147730B2 (ja) 2019-11-12 2022-10-05 株式会社三洋物産 遊技機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074572A1 (ja) * 2009-12-14 2011-06-23 日本電気株式会社 走査装置、画像表示装置及びその制御方法
JP2014002176A (ja) * 2012-06-15 2014-01-09 Ushio Inc 光源装置およびプロジェクタ
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
US20190049097A1 (en) * 2016-01-26 2019-02-14 Heptagon Micro Optics Pte. Ltd. Multi-Mode Illumination Module and Related Method
JP2019190892A (ja) * 2018-04-20 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 受光装置及び測距装置
WO2020030916A1 (en) * 2018-08-07 2020-02-13 Cambridge Mechatronics Limited Improved 3d sensing

Also Published As

Publication number Publication date
KR20230167072A (ko) 2023-12-07
US20240053473A1 (en) 2024-02-15
GB2621063A (en) 2024-01-31
JP2022168740A (ja) 2022-11-08
DE112022002404T5 (de) 2024-02-15
GB202317273D0 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
KR102604902B1 (ko) 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
JP6633197B2 (ja) 光検出装置、及び電子機器
US9065254B2 (en) Multi-wavelength VCSEL array to reduce speckle
WO2021128587A1 (zh) 一种可调的深度测量装置及测量方法
US9297889B2 (en) Illumination light projection for a depth camera
JP2010048606A (ja) 光学式測距センサおよび電子機器
CN114019478A (zh) 光学检测装置及电子设备
CN111812663A (zh) 深度测量模组及系统
JP7423485B2 (ja) 距離計測装置
CN114019474A (zh) 发射模组、光学检测装置及电子设备
CN112068148A (zh) 光检测装置、以及电子设备
WO2022230520A1 (ja) 投光ユニットおよびそれを用いた測距装置
WO2022230521A1 (ja) 受光装置および測距装置
WO2022230522A1 (ja) 測距装置および計測ユニット
JP2002131662A (ja) 光走査装置
WO2022230523A1 (ja) 測距装置
CN114019475A (zh) 接收模组、光学检测装置及电子设备
US11592568B2 (en) Measurement device and method of operating therefor
JP6748143B2 (ja) 光センサおよび電子機器
US20210281049A1 (en) Low divergence vertical cavity surface emitting lasers, and modules and host devices incorporating the same
WO2022257558A1 (zh) 飞行时间模组、终端及深度检测方法
CN114019477A (zh) 一种电子设备
US11418006B1 (en) Integrated device for optical time-of-flight measurement
WO2024024744A1 (ja) 距離計測装置及び距離計測方法
JP2023068209A (ja) 測距装置および発光装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795437

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237037847

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237037847

Country of ref document: KR

ENP Entry into the national phase

Ref document number: 202317273

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20220328

WWE Wipo information: entry into national phase

Ref document number: 112022002404

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795437

Country of ref document: EP

Kind code of ref document: A1