WO2022224580A1 - 測距装置及び測距システム - Google Patents

測距装置及び測距システム Download PDF

Info

Publication number
WO2022224580A1
WO2022224580A1 PCT/JP2022/007176 JP2022007176W WO2022224580A1 WO 2022224580 A1 WO2022224580 A1 WO 2022224580A1 JP 2022007176 W JP2022007176 W JP 2022007176W WO 2022224580 A1 WO2022224580 A1 WO 2022224580A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance measurement
light
bright area
bright
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/007176
Other languages
English (en)
French (fr)
Inventor
智経 増野
知生 光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US18/553,737 priority Critical patent/US20240192370A1/en
Publication of WO2022224580A1 publication Critical patent/WO2022224580A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out

Definitions

  • the present disclosure relates to ranging devices and ranging systems.
  • a distance measuring device using the Time of Flight (ToF) method measures the distance to an object by irradiating the object with light and measuring the time it takes for the light to travel back and forth between the object and the object.
  • a distance measuring device is used that includes a light emitting unit that emits amplitude-modulated light to an object and a light receiving element that receives light reflected by the object.
  • An imaging device that generates an image signal based on reflected light is used as the light receiving device. This imaging device generates a plurality of image signals by subjecting the received reflected light to synchronous detection in synchronization with the amplitude-modulated emitted light.
  • a phase difference between the emitted light and the reflected light can be detected by mutual calculation of the plurality of generated image signals, and the distance to the object can be calculated based on the detected phase difference.
  • Such a distance measurement method is called an indirect ToF method as opposed to the direct ToF method that directly measures the round trip time of light using a timer.
  • imaging is performed at phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees with respect to the emitted light to generate four images. Differences between the components in phase with the emitted light (0-degree and 180-degree phase images) and the components orthogonal to the emitted light (90-degree and 270-degree phases) are calculated for these four images. Assuming that these differences are I and Q, respectively, the phase difference ⁇ can be calculated by arctan(Q/I).
  • Such an indirect ToF method is called a four-phase method. In this four-phase system, noise and the like can be removed when calculating the above-described difference.
  • the conventional technology described above has the problem that it is difficult to reduce errors in distance measurement of a moving object.
  • the present disclosure proposes a ranging device and a ranging system that reduce errors in ranging of moving objects.
  • the distance measuring device of the present disclosure includes a distance measuring sensor, a bright area detection unit, a first distance measuring unit, a second distance measuring unit, a bright area selecting unit, and a fusion unit.
  • the distance measuring sensor synchronizes the reflected light reflected by the object with pulse train pattern light that repeats the light emitting period and the non-light emitting period of two kinds of brightness of bright part and dark part with the light emitting period and the light receiving period of each different phase. to generate a plurality of images.
  • the bright area detection unit detects a bright area that is an area generated by receiving the reflected light corresponding to the bright area of the pattern light in the plurality of images.
  • the first distance measuring unit detects a phase difference between the irradiated pattern light and the reflected light based on the bright area detected in the plurality of images, and detects the phase difference based on the detected phase difference.
  • a first ranging value which is the distance to the object, is calculated.
  • the bright area selection section selects the bright area detected in the plurality of images based on the image signals forming the images.
  • a second distance measurement unit calculates a second distance measurement value, which is a distance to the object, by triangulation using the position of the selected bright area in the image.
  • the fusion unit generates a fusion distance value by fusing the first distance measurement value calculated above and the second distance measurement value calculated above.
  • FIG. 1 is a diagram illustrating a configuration example of a ranging system according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of a light emission pattern according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of reflected light according to an embodiment of the present disclosure
  • FIG. 1 is a diagram showing a configuration example of a light source device and a distance measuring device according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of a ranging sensor according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure
  • FIG. 4 is a diagram showing an example of image generation in the indirect ToF method according to the embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure
  • FIG. 3 illustrates an example of triangulation according to embodiments of the present disclosure
  • FIG. 4 is a diagram showing an example of selection of a bright area according to the embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of ranging processing according to an embodiment of the present disclosure
  • FIG. FIG. 7 is a diagram illustrating an example of bright area selection processing according to the embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of luminance difference detection processing according to an embodiment of the present disclosure
  • FIG. 7 is a diagram illustrating an example of second distance measurement value calculation processing according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating an example of fusion processing according to an embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating an example of bright area selection processing according to the second embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating an example of fusion processing according to the third embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of a ranging system according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing a configuration example of the ranging system 1.
  • a distance measuring system 1 is a system for measuring a distance to an object.
  • the distance measuring system 1 shown in the figure represents an example of measuring the distance to a rectangular parallelepiped object 9 .
  • a distance measurement system 1 includes a light source device 20 , a distance measurement device 10 , and lenses 2 and 3 .
  • the arrows in FIG. 1 indicate light emitted from the light source device 20 , reflected by the object 9 , and incident on the distance measuring device 10 .
  • the light source device 20 irradiates light on the object for distance measurement.
  • the light source device 20 irradiates pattern light with two types of brightness, a bright portion and a dark portion. Moreover, this pattern light irradiates a pulse train pattern light that repeats a light emitting period and a non-light emitting period in a predetermined cycle. Details of the configuration of the light source device 20 will be described later.
  • the rangefinder 10 measures the distance to an object.
  • the distance measuring device 10 receives the reflected light of the pattern light emitted from the light source device 20 and reflected by the object (object 9). By this light reception, the time from the emission of the light emission pattern of the light source device 20 to the arrival of the reflected light is measured, and the distance to the object is measured. The details of the configuration of the distance measuring device 10 will be described later.
  • the lens 2 is a lens that condenses light incident on the distance measuring device 10 .
  • the lens 3 is a lens that collects light emitted from the light source device 20 .
  • FIG. 2A is a diagram illustrating an example of patterned light according to an embodiment of the present disclosure
  • This figure is a diagram showing an example of pattern light emitted by the light source device 20 .
  • the pattern light 300 in the figure includes a bright portion 320 and a dark portion 310 .
  • the figure shows an example of pattern light 300 formed by a dot pattern in which a plurality of dot-like bright portions 320 are arranged in a background dark portion 310 .
  • FIG. 2B is a diagram showing an example of reflected light according to the embodiment of the present disclosure.
  • This figure shows reflected light 350 of pattern light 300 reflected by the object 9 or the like in FIG.
  • This reflected light 350 corresponds to the reflected light incident on the distance measuring device 10 .
  • Reflected light 350 includes bright areas 370 and dark areas 360 corresponding to bright areas 320 and dark areas 310 of pattern light 300 , respectively.
  • a plurality of bright areas 370 in the figure are configured in a shape corresponding to the distance from the object.
  • a dotted line in the figure represents the area of the reflected light 351 reflected by the object 9 .
  • a bright area 370 of the reflected light 351 reflected by the object 9 at a relatively short distance is composed of large dots compared to the other bright areas 370 . Also, as will be described later, the position of the bright area 370 changes according to the distance from the object.
  • FIG. 3 is a diagram illustrating a configuration example of a light source device and a distance measuring device according to an embodiment of the present disclosure; This figure is a block diagram showing a configuration example of the light source device 20 and the distance measuring device 10 that constitute the distance measuring system 1 .
  • the light source device 20 includes a light source section 21 and a drive section 22 .
  • the light source unit 21 generates pattern light to irradiate the object 9 .
  • the light source unit 21 can be configured by a light source that emits laser light.
  • a light source is arranged in the bright portion 320 of the pattern light 300 and no light source is arranged in the portion corresponding to the dark portion 310 .
  • the driving section 22 drives the light source section 21 .
  • the driving unit 22 performs driving to emit light in the form of a pulse train that repeats a light emitting period and a non-light emitting period at a predetermined cycle.
  • the emission timing of the pulse train of this predetermined cycle is controlled by a synchronization control section 160 of the distance measuring device 10, which will be described later.
  • the ranging device 10 includes a ranging sensor 100 , a signal processing section 150 and a synchronization control section 160 .
  • the ranging sensor 100 receives the reflected light 350 and generates an image.
  • the distance measuring sensor 100 can be configured by, for example, a CMOS (Complementary Metal Oxide Semiconductor) type imaging device.
  • the distance measuring sensor 100 receives light in synchronization with the light emitting period of the pattern light 300 and in light receiving periods with different phases, and generates a plurality of images corresponding to the respective phases.
  • the imaging device that constitutes the distance measuring sensor 100 includes a plurality of pixels that generate image signals according to incident light. An image is composed of image signals for one screen generated by these pixels.
  • the ranging sensor 100 outputs the generated image to the signal processing section 150 .
  • the signal processing unit 150 performs ranging processing for measuring the distance to the object based on the image output from the ranging sensor 100 .
  • the signal processing unit 150 includes a bright area detection unit 151 , a first distance measurement unit 152 , a bright area selection unit 153 , a second distance measurement unit 154 and a fusion unit 155 .
  • the bright area detection unit 151 detects the bright area 370 of the reflected light 350 .
  • the bright area detection section 151 detects the position of the bright area 370 for each of the plurality of images output from the distance measuring sensor 100 .
  • the bright area detection section 151 outputs the detected bright area 370 to the first distance measurement section 152 and the bright area selection section 153 .
  • the first distance measuring unit 152 calculates the distance to the object 9 based on the phase difference between the pattern light 300 and the reflected light 350.
  • the first distance measuring unit 152 detects the phase difference between the pattern light 300 and the reflected light 350 based on the bright areas 370 of the plurality of images output from the bright area detecting unit 151, and the detected phase difference is Based on this, distance measurement is performed by the indirect ToF method.
  • a distance calculated by the first distance measuring unit 152 is referred to as a first distance measurement value.
  • First distance measurement section 152 outputs the calculated first distance measurement value to fusion section 155 . Details of distance measurement in the first distance measurement unit 152 will be described later.
  • the bright area selection section 153 selects the bright area 370 output from the bright area detection section 151 .
  • the bright region selection unit 153 selects the bright region 370 based on the image signal that forms the image.
  • the bright region selection unit 153 can select, for example, the bright region 370 having the maximum luminance difference from the dark region 360 among the bright regions 370 included in the plurality of images.
  • Bright area selection section 153 outputs selected bright area 370 to second distance measuring section 154 . The details of the selection of the bright area 370 by the bright area selection unit 153 will be described later.
  • the second distance measuring unit 154 calculates the distance to the object 9 by triangulation using the position of the bright area 370 in the image.
  • the second distance measuring unit 154 performs a triangular shift with respect to the position in the image of the bright area 370 selected by the bright area selecting unit 153 and the position of the bright part of the pattern light 300 corresponding to the bright area 370 .
  • the distance calculated by the second distance measurement unit 154 is called a second distance measurement value.
  • Second distance measurement section 154 outputs the calculated second distance measurement value to fusion section 155 . Details of distance measurement in the second distance measurement unit 154 will be described later.
  • the fusion unit 155 generates a fusion distance value by fusing the first distance measurement value calculated by the first distance measurement unit 152 and the second distance measurement value calculated by the second distance measurement unit 154. It is something to do.
  • the generated fused range-finding value is output as a detected range-finding value of the range finder 10 . The details of fusion of the first distance measurement value and the second distance measurement value in the fusion unit 155 will be described later.
  • the synchronization control unit 160 synchronizes the emission period and non-emission period of the pattern light 300 in the light source device 20 with the timing of image signal generation in the distance measurement sensor 100 .
  • the synchronization control unit 160 outputs control signals to the driving unit 22 of the light source device 20 and the distance measuring sensor 100, and controls the driving timing of the light source unit 21 by the driving unit 22 and the pixels of the distance measuring sensor 100 (pixels 200 to be described later). ) is synchronized with synchronous detection, which will be described later, when generating an image signal.
  • FIG. 4 is a diagram illustrating a configuration example of a ranging sensor according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of the distance measuring sensor 100.
  • the ranging sensor 100 is a semiconductor device that produces an image of a subject.
  • the ranging sensor 100 includes a pixel array section 110 , a vertical driving section 120 , a column signal processing section 130 and a control section 140 .
  • the pixel array section 110 is configured by arranging a plurality of pixels 200 .
  • a pixel array section 110 in the figure represents an example in which a plurality of pixels 200 are arranged in a two-dimensional matrix.
  • the pixel 200 includes a photoelectric conversion unit that photoelectrically converts incident light, and generates an image signal of a subject based on the irradiated incident light.
  • a photodiode for example, can be used for this photoelectric conversion unit.
  • Signal lines 11 and 12 are wired to each pixel 200 .
  • the pixels 200 generate image signals under the control of control signals transmitted by the signal lines 11 and output the generated image signals via the signal lines 12 .
  • the signal line 11 is arranged for each row in a two-dimensional matrix and is commonly wired to the plurality of pixels 200 arranged in one row.
  • the signal line 12 is arranged for each column in the shape of a two-dimensional matrix, and is commonly wired to a plurality of pixels 200 arranged in one column.
  • the vertical driving section 120 generates control signals for the pixels 200 described above.
  • a vertical drive unit 120 in the figure generates control signals for each row of the two-dimensional matrix of the pixel array unit 110 and sequentially outputs them via the signal line 11 .
  • the column signal processing unit 130 processes image signals generated by the pixels 200 .
  • a column signal processing unit 130 in FIG. 1 simultaneously processes image signals from a plurality of pixels 200 arranged in one row of the pixel array unit 110 and transmitted through the signal line 12 .
  • this processing for example, analog-to-digital conversion that converts analog image signals generated by the pixels 200 into digital image signals and correlated double sampling (CDS: Correlated Double Sampling) that removes offset errors in image signals can be performed. can be done.
  • CDS Correlated Double Sampling
  • the control section 140 controls the vertical driving section 120 and the column signal processing section 130 .
  • a control unit 140 shown in the figure outputs control signals through signal lines 141 and 142 to control the vertical driving unit 120 and the column signal processing unit 130 .
  • FIG. 5 is a diagram illustrating a configuration example of a pixel according to an embodiment of the present disclosure; This figure is a circuit diagram showing a configuration example of the pixel 200 arranged in the distance measuring sensor 100 .
  • a pixel 200 in FIG. 1 includes a photoelectric conversion unit 201 , charge holding units 202 and 203 , transfer units 204 and 205 , reset units 206 and 207 , and image signal generation units 208 and 209 .
  • the transfer units 204 and 205 and the reset units 206 and 207 can be composed of MOS transistors.
  • a power supply line Vdd is wired to the pixel 200 in FIG.
  • the power line Vdd is a wiring that supplies power to the pixels 200 .
  • the photoelectric conversion unit 201 performs photoelectric conversion of incident light.
  • This photoelectric conversion unit 201 can be configured by a photodiode.
  • the photodiode supplies charges generated by photoelectric conversion to an external circuit. Therefore, as shown in the figure, the photoelectric conversion unit 201 can be represented by a constant current circuit.
  • a photoelectric conversion unit 201 shown in the figure is grounded at one end and supplies a sink current corresponding to incident light from the other end.
  • the charge holding units 202 and 203 hold charges generated by the photoelectric conversion unit 201 .
  • the charge holding portions 202 and 203 can each be configured by a floating conversion region (FD: Floating Diffusion) that holds charges in a diffusion region formed in a semiconductor substrate.
  • FD floating conversion region
  • the transfer units 204 and 205 transfer the charges generated by the photoelectric conversion unit 201 to the charge holding units 202 and 203, respectively.
  • the transfer unit 204 transfers the charge of the photoelectric conversion unit 201 to the charge holding unit 202 by establishing conduction between the photoelectric conversion unit 201 and the charge holding unit 202 .
  • the transfer unit 205 transfers the charge of the photoelectric conversion unit 201 to the charge holding unit 203 by establishing electrical connection between the photoelectric conversion unit 201 and the charge holding unit 203 .
  • the reset units 206 and 207 reset the charge holding units 202 and 303, respectively.
  • the reset unit 206 conducts between the charge holding unit 202 and the power supply line Vdd to discharge the charge of the charge holding unit 202 to the power supply line Vdd, thereby performing resetting.
  • the reset unit 207 resets the charge holding unit 203 by establishing electrical continuity between the charge holding unit 203 and the power supply line Vdd.
  • the image signal generation units 208 and 209 generate image signals based on the charges held in the charge holding units 202 and 203 .
  • the image signal generation unit 208 generates an image signal based on the charges held in the charge holding unit 202 and outputs the image signal to the signal line 112 .
  • the image signal generation unit 208 generates an image signal based on the charges held in the charge holding unit 202 and outputs the image signal to the signal line 112 .
  • the image signal generation unit 209 generates an image signal based on the charges held in the charge holding unit 203 and outputs the image signal to the signal line 112 .
  • Control signals for the transfer units 204 and 205, the reset units 206 and 207, and the image signal generation units 208 and 209 are transmitted by signal lines 111 (not shown).
  • the generation of the image signal at the pixel 200 in the figure can be performed as follows. First, the reset units 206 and 207 are turned on to reset the charge holding units 202 and 203 . After this reset is completed, the transfer units 204 and 205 are brought into conduction to transfer the charge generated by the photoelectric conversion unit 201 to the charge holding unit 202 and hold it. At this time, the transfer units 204 and 205 alternately become conductive, and distribute the charges generated by the photoelectric conversion unit 201 to the charge holding units 202 and 203 . This charge distribution is performed multiple times, and charges generated by the photoelectric conversion unit 201 are accumulated in the charge holding units 202 and 203 . The period for accumulating this charge is called an accumulation period.
  • the transfer units 204 and 205 are brought into a non-conducting state after a predetermined accumulation period has elapsed. After that, the image signal generators 208 and 209 generate and output image signals based on the charges accumulated in the charge holding units 202 and 203 .
  • the transfer units 204 and 205 distribute and accumulate the charges of the photoelectric conversion unit 201, and image signals are generated based on the accumulated charges.
  • the distribution of the transfer units 204 and 205 is performed in synchronization with the cycle of the light emission period and the non-light emission period of the pattern light 300 of the light source device 20 described with reference to FIG. Accordingly, synchronous detection of the reflected light incident on the distance measuring sensor 100 can be performed. In addition, by performing this synchronous detection with different phases and generating a plurality of image signals, the time from the light source device 20 to the distance measuring sensor 100 via the object 9 can be calculated with respect to the period of light emission and non-light emission of the light source device 20.
  • An indirect ToF method can be implemented that detects as a phase difference.
  • the image signal corresponding to the charge holding unit 202 and the image signal corresponding to the charge holding unit 203 are referred to as the image signal of tap A and the image signal of tap B, respectively.
  • FIG. 6 is a diagram illustrating an example of image generation in the indirect ToF method according to the embodiment of the present disclosure. 4, which represents the generation of an image for use in the indirect ToF method at pixel 200.
  • FIG. A frame 400 in the figure represents a period for generating an image in the indirect ToF method. As shown in the figure, a plurality of frames 400 are continuously executed, and distance measurement by the indirect ToF method is continuously executed.
  • Each frame 400 comprises subframes 410 , 420 , 430 and 440 . These subframes 410, 420, 430 and 440 are sorted by the transfer sections 204 and 205 in different phases. Subframes 410, 420, 430 and 440 are sorted by transfer units 204 and 205 at phases of 0 degrees, 90 degrees, 180 degrees and 270 degrees, respectively, to generate images. Note that the frame 400 further includes a waiting period. This waiting period corresponds to a so-called dead time.
  • the subframe 410 and the like include reset 451, accumulation 452, and read 453 periods.
  • a reset 451 is a reset period by the reset units 206 and 207 described above.
  • Accumulation 452 is a period corresponding to the accumulation period described above.
  • a readout 453 is a period during which the image signals generated by the image signal generators 208 and 209 are read. Note that the subframe 410 and the like further include a waiting period.
  • FIG. 7 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure. This figure is a timing chart showing an example of image signal generation in the indirect ToF method for the pixel 200 .
  • a distance measuring unit 330 distributes the reflected light 4 in four different phases, and controls the generation of image signals.
  • emitted light with a cycle T having substantially equal periods of light emission and non-light emission is adopted.
  • the emission period of the emitted light in the figure is a rectangular wave with constant luminance. This rectangular wave is hereinafter referred to as pulsed light 401 .
  • Reflected light comprising pulsed light 402 with a constant luminance is incident on the pixel 200 according to this emitted light.
  • Image signals A and B are generated by synchronizing this reflected light with the emitted light and distributing electric charges in four lag phases of 0 degrees, 90 degrees, 180 degrees and 270 degrees.
  • 0 degrees”, “90 degrees”, “180 degrees”, and “270 degrees” in the figure represent waveforms when electric charges are distributed in four delay phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees. Each is represented.
  • the upper waveform of each of these waveforms represents tap A and the lower waveform represents tap B.
  • the hatched areas at "0 degrees”, “90 degrees”, “180 degrees”, and “270 degrees” in the figure indicate the charge in the charge holding portions (charge holding portions 202 and 203) of each tap. represents accumulation.
  • phase delay of 0 degrees in the figure will be described as an example.
  • electric charge is accumulated in the electric charge holding portion 202 during the period in which the pulsed light 402 of the reflected light overlaps with the portion of the value of the guide signal "1".
  • A0 in the figure represents the accumulated charge A0 in the charge holding unit 202 on the tap A side.
  • charges are accumulated in the charge holding portion 203 in a period in which the pulsed light 402 of the reflected light overlaps with the value "1" portion of the guide signal.
  • B0 in the figure represents the accumulated charge B0 in the charge holding unit 203 on the tap B side.
  • an image signal A0 at tap A at 0 degrees and an image signal B0 at tap B are generated based on these accumulated charges A0 and B0. Also, an image signal A90 at tap A at 90 degrees and an image signal B90 at tap B are generated. Also, an image signal A180 at tap A at 180 degrees and an image signal B180 at tap B are generated. Also, an image signal A270 at tap A at 270 degrees and an image signal B270 at tap B are generated. A phase difference ⁇ between the emitted light and the reflected light is calculated from these eight signals.
  • Signal0 to Signal3 are calculated by performing the following calculations using the above tap A0 and the like.
  • Signal0 tap A0 - tap B0
  • Signal1 Tap A90-Tap B90
  • Signal2 Tap A180-Tap B180
  • Signal3 Tap A270-Tap B270
  • I (Signal0 ⁇ Signal1)/2
  • Q (Signal2-Signal3)/2
  • I is a signal corresponding to the component of the reflected light that is in phase with the emitted light.
  • Q is a signal corresponding to the component of the reflected light in the orthogonal direction to the emitted light.
  • the distance d to the object 9 can be calculated by the following equation.
  • d c ⁇ T ⁇ arctan(Q/I)/4 ⁇ Formula (1) where c represents the speed of light.
  • distance measurement by the indirect ToF method can be performed.
  • this indirect ToF method four images need to be generated. If the object 9 moves during the period of generating these four images, an error will occur in the calculated distance. Therefore, distance measurement is further performed by triangulation, which will be described below.
  • triangulation ranging the four images of tap A and the four images of tap B generated by the indirect ToF method can be used.
  • FIG. 8 is a diagram illustrating an example of triangulation according to an embodiment of the present disclosure. This figure is a diagram for explaining the principle of triangulation.
  • the light source device 20 is arranged at a position 501 and the distance measuring sensor 100 is arranged at a position 502 .
  • a virtual light source device 20' is arranged at a position separated by the focal length F of the lens 3 from the position 501, and a virtual distance measuring sensor 100' is arranged at a position separated by the focal length F of the lens 2 from the position 502. be.
  • “BL” represents the distance between the light source device 20 and the distance measuring sensor 100
  • “D” represents the distance to the object 9 .
  • the arrows in the figure represent the trajectories of the pattern light 300 emitted from the light source device 20 and the reflected light reflected by the object 9 .
  • the light of the bright part 320 at the position of the point 503 of the light source device 20' is reflected by the object 9 and detected as the bright part area 370 at the point 504 of the distance measuring sensor 100'.
  • the distance D can be calculated using the principle of triangulation.
  • FIG. 9 is a diagram illustrating an example of selection of a bright area according to the embodiment of the present disclosure.
  • This figure is a diagram showing selection of a bright area 370 in the bright area selection unit 153 .
  • Images 351 to 354 in the figure represent four images of tap A or tap B generated by the ranging sensor 100 .
  • a bright region 370 is placed in each of these images.
  • the bright area detection unit 151 detects the bright area 370 from these images. Detection of the bright region 370 by the bright region detection unit 151 can be performed by, for example, a blob detection method.
  • the bright area detection unit 151 identifies the detected bright area 370 by the image number and the position number.
  • the detected bright region 370 is represented by b(k, n).
  • k is a number that identifies the four images, and has values of 1 to 4 corresponding to the images 351 to 354 .
  • n is a number representing a position in the image 351 or the like, and is a number assigned to each bright region 370 .
  • numbers such as 1, 2, and 3 can be assigned in order from the upper left of the image 351 and the like.
  • b(k,n) can be constructed from the coordinates of the pixels included in the bright region 370 . It is assumed that the bright area 370 in the images 351 to 354 is arranged at an overlapping position. This is based on the assumption that the movement of the object 9 is sufficiently shorter than the distance measurement period by the indirect ToF method.
  • the bright area selection unit 153 can perform selection based on the brightness difference between the bright area 370 and the dark area 360 . For example, the bright area selection unit 153 can select the bright area 370 having the largest luminance difference among the bright areas 370 having the same position number in the images 351 to 354 .
  • the bright area selection unit 153 can detect, for example, a luminance difference between a peripheral area 361 that is an area around the bright area 370 and the bright area 370 .
  • the bright region selection unit 153 can also detect the difference in brightness between the average brightness of the dark region 360 and the bright region 370 in the image 351 or the like.
  • the bright area selection unit 153 can make a selection based on noise in the bright area 370 .
  • the bright area selection unit 153 can select the bright area 370 in which the noise component of the image signal of the bright area 370 is smaller than a predetermined threshold.
  • the second distance measurement unit 154 performs distance measurement by triangulation on the bright area 370 selected by the bright area selection unit 153 . At this time, the second distance measuring unit 154 selects the bright portion 320 of the pattern light 300 corresponding to the selected bright portion region 370 . Also, the second distance measuring unit 154 calculates the center position of the selected bright area 320 and the center position of the selected bright area 370, and performs triangulation. For the center position of the bright area 370, for example, a position where the luminance in the bright area 370 is maximum can be applied. The position where the brightness in the bright region 370 is maximum can be detected by parabola fitting or the like, for example. A default value can be used for the center position of the bright portion 320 .
  • the fusing unit 155 fuses the first measured range value and the second measured range value as described above. This fusion can be performed by a weighted addition of the first range finder and the second range finder. Also, for the weight, for example, a weight corresponding to the difference between the first distance measurement value and the second distance measurement value can be applied. For example, when the difference between the first distance measurement value and the second distance measurement value is small, substantially the same weight can be set for the first distance measurement value and the second distance measurement value. Then, as the difference between the first distance measurement value and the second distance measurement value increases, the weight of the second distance measurement value can be set larger and the weight of the first distance measurement value can be set smaller. Further, for example, it is possible to set a weight based on a normal distribution curve according to the difference from the first measured distance value, with the second measured distance value taken as a true value.
  • FIG. 10 is a diagram illustrating an example of ranging processing according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing an example of distance measurement processing in the distance measurement system 1.
  • the light source device 20 emits pattern light (step S100).
  • an image of reflected light is generated by the distance measuring sensor 100 (step S101).
  • the bright area detection unit 151 detects the bright area (step S102).
  • b(k, n) is generated by the bright area detection unit 151 .
  • the first distance measurement unit 152 calculates a first distance measurement value by the indirect ToF method (step S110).
  • the first distance measurement unit 152 calculates a first distance measurement value for each bright area 370 .
  • the first distance measurement unit 152 generates a first distance measurement value D1(n) identified by the position number.
  • the bright area selection unit 153 performs bright area selection processing (step S120).
  • the second distance measurement unit 154 calculates a second distance measurement value (step S140).
  • the second distance measurement unit 154 generates a second distance measurement value D2(n) identified by the position number.
  • the fusion unit 155 performs fusion processing (step S150) of the first distance measurement value D1(n) and the second distance measurement value D2(n) to generate a fusion distance measurement value.
  • FIG. 11 is a diagram illustrating an example of bright area selection processing according to the embodiment of the present disclosure. This figure is a diagram showing an example of the bright area selection process (step S120) in FIG.
  • the bright area selection unit 153 detects the luminance difference in the bright area 370 for all images.
  • the bright region selection unit 153 determines whether or not all images have been selected (step S121), and if all images have not been selected (step S121, No), selects an unselected image. (Step S122). At this time, the bright region selection unit 153 selects the image number k.
  • the bright region selection unit 153 performs luminance difference detection processing (step S130) on the selected image, and returns to the processing of step S121.
  • step S121 if all images have been selected (step S121, Yes), the process proceeds to step S123.
  • step S123 the bright area selection unit 153 determines whether or not all bright area positions have been selected (step S123), and if not all bright area positions have been selected (step S123, No), select the position of the unselected bright area (step S124). At this time, the bright region selection unit 153 selects N as the position number n.
  • step S125 selects the bright area with the maximum luminance difference (step S125). At this time, the bright area selection unit 153 selects the bright area 370 with the maximum luminance difference (diff(k, N) described later) from among the bright areas 370 with the position number N.
  • the bright area selection unit 153 stores the selected bright area 370 in the measurement image (step S126). Next, the bright area selection unit 153 returns to the process of step S123. On the other hand, in step S123, if all bright areas have been selected (step S123, Yes), the bright area selection unit 153 ends the bright area selection process S120.
  • FIG. 12 is a diagram illustrating an example of luminance difference detection processing according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of the luminance difference detection process (step S130) in FIG.
  • the bright area selection unit 153 determines whether or not all bright areas have been selected (step S131). Select (step S132). At this time, the bright region selection unit 153 selects the position number n of the bright region 370 .
  • the bright region selection unit 153 calculates the average brightness of the selected bright region (step S133). At this time, the bright region selection unit 153 calculates the average brightness bm(k, n).
  • the bright area selection unit 153 calculates the average brightness of the peripheral area described with reference to FIG. 9 (step S134). At this time, the bright area selection unit 153 calculates the average luminance dm(k, n) of the peripheral area.
  • the bright area selection unit 153 calculates the luminance difference (step S135). At this time, the bright area selection unit 153 calculates bm(k, n)-dm(k, n) and outputs it as diff(k, n). Next, the bright area selection unit 153 returns to the process of step S131. On the other hand, in the process of step S131, when all bright areas have been selected (step S131, Yes), the bright area selection unit 153 completes the luminance difference detection process S130.
  • FIG. 13 is a diagram illustrating an example of second distance measurement value calculation processing according to an embodiment of the present disclosure.
  • This figure shows an example of the second distance measurement value calculation process (step S140) in FIG.
  • the second distance measuring unit 154 determines whether or not all bright areas have been selected (step S141). is selected (step S142). At this time, the second distance measuring unit 154 selects the position number n of the bright area 370 .
  • the second distance measuring unit 154 calculates the central position of the selected bright area (step S143).
  • the second distance measurement unit 154 calculates a second distance measurement value by triangulation (step S144).
  • the second distance measuring unit 154 returns to the process of step S141.
  • the second distance measurement unit 154 completes the second distance measurement value calculation process S140.
  • FIG. 14 is a diagram illustrating an example of fusion processing according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of the fusion processing (step S150) in FIG.
  • the fusing unit 155 determines whether or not all bright areas have been selected (step S151), and if not all bright areas have been selected, selects unselected bright areas (step S152). At this time, the fusing unit 155 selects the position number n of the bright area 370 .
  • the fusing unit 155 calculates the weight in the selected bright area (step S143).
  • the fusing unit 155 fuses the first measured distance value and the second measured distance value using the calculated weight (step S154).
  • the fusing unit 155 returns to the process of step S151.
  • the fusion unit 155 completes the fusion process S150.
  • the ranging system 1 of the first embodiment of the present disclosure fuses the first ranging value calculated by the indirect ToF method and the second ranging value calculated by triangulation. Generate fused range measurements.
  • the accuracy of distance measurement by triangulation can be improved by selecting the bright area 370 having the largest luminance difference from the dark area 360 among the bright areas 370 . .
  • the ranging system 1 of the first embodiment described above selects the bright area 370 with the largest luminance difference among the bright areas 370 of the four images.
  • the ranging system 1 of the second embodiment of the present disclosure is different from the above-described first embodiment in that the image with the largest luminance difference among the four images is selected as the measurement image. .
  • FIG. 15 is a diagram illustrating an example of bright area selection processing according to the second embodiment of the present disclosure. Similar to FIG. 11, this figure shows an example of the bright region selection process (step S170).
  • the processing in FIG. 11 differs from the processing in FIG. 11 in that the image with the largest luminance difference among the four images is selected as the image for measurement.
  • the bright area selection unit 153 determines whether or not all images have been selected (step S171). Select (step S172). At this time, the bright region selection unit 153 selects the image number k. Next, the bright area selection unit 153 calculates the average brightness of the bright area in the selected image (step S173). At this time, the bright region selection unit 153 calculates the average brightness bm(k).
  • the bright area selection unit 153 calculates the average brightness of the dark areas in the selected image (step S174). At this time, the bright area selection unit 153 calculates the average luminance dm(k). Next, the bright area selection unit 153 calculates the luminance difference (step S175). At this time, the bright area selection unit 153 calculates bm(k)-dm(k) and outputs it as diff(k). Next, the bright area selection unit 153 returns to the process of step S171.
  • step S171 if all images have been selected in step S171 (step S171, Yes), the process proceeds to step S176.
  • step S176 the bright region selection unit 153 selects the image with the largest luminance difference as the measurement image (step S176). After that, the bright area selection unit 153 ends the bright area selection process S170.
  • the configuration of the ranging system 1 other than this is the same as the configuration of the ranging system 1 according to the first embodiment of the present disclosure, so the description is omitted.
  • the ranging system 1 selects the image with the largest luminance difference among the images generated by the indirect ToF method as the image for measurement. Thereby, the influence of the movement of the object 9 can be further reduced.
  • the ranging system 1 of the first embodiment described above fuses the first ranging value and the second ranging value.
  • the distance measurement system 1 of the third embodiment of the present disclosure differs from the above-described first embodiment in that fusion is performed according to variations in the second distance measurement value for each pixel.
  • FIG. 16 is a diagram illustrating an example of fusion processing according to the third embodiment of the present disclosure. This figure shows a process performed in place of the fusion process S150 in FIG.
  • the fusing unit 155 determines whether or not all bright areas have been selected (step S181), and if not all bright areas have been selected, selects unselected bright areas (step S182). At this time, the fusing unit 155 selects the position number n of the bright area 370 .
  • the fusing unit 155 calculates a second distance measurement value for each image (step S183). At this time, the fusing unit 155 calculates second measured distance values D2(1,n) to D2(4,n).
  • the fusing unit 155 calculates the median value of the second distance measurement values (step S184). At this time, the fusion unit 155 calculates the median value D2med.
  • the fusing unit 155 determines whether the median value is within a predetermined range (step S185). As a result, when the median value is not within the predetermined range (step S185, No), the fusing unit 155 outputs the first distance measurement value as a fusion distance measurement value (step S188), and performs the process of step S181. back to
  • step S185 if the median value is within the predetermined range (step S185, Yes), the fusing unit 155 calculates the weight (step S186), the first distance measurement value and the second distance measurement value. The values are merged (step S187). Next, the fusing unit 155 returns to the process of step S181.
  • step S181 if all bright areas have been selected (step S181, Yes), the fusion unit 155 completes the fusion process S180.
  • the configuration of the ranging system 1 other than this is the same as the configuration of the ranging system 1 according to the first embodiment of the present disclosure, so the description is omitted.
  • the third ranging system 1 of the present disclosure calculates the variation in the second ranging value for each image, and if the variation in the second ranging value is not within a predetermined range, Output the first range finder as a fused range finder. It is possible to reduce the mixing of distance measurement errors due to triangulation, and improve the accuracy of distance measurement.
  • a pulse train pattern of light that repeats a light emission period and a non-light emission period of two types of brightness of a bright part and a dark part is reflected by an object.
  • a ranging sensor that produces an image of a bright area detection unit that detects a bright area that is an area generated by receiving the reflected light corresponding to the bright area of the pattern light in the plurality of images;
  • a first phase difference between the irradiated pattern light and the reflected light is detected based on the bright region detected in the plurality of images, and a distance to the object is determined based on the detected phase difference.
  • a first distance measuring unit that calculates the distance measurement value of a bright area selection unit that selects the bright area detected in the plurality of images based on image signals that form the images; a second distance measuring unit that calculates a second distance measurement value that is a distance to the object by triangulation using the position of the selected bright area in the image; a fusion unit that fuses the calculated first distance measurement value and the calculated second distance measurement value to generate a fusion distance measurement value.
  • the bright area selection unit maximizes the difference between each of the bright areas detected in the plurality of images and an area corresponding to the dark area in the image containing the bright area of itself.
  • the distance measuring device according to (2) above which selects the bright area.
  • the bright area selection unit according to (2) above wherein the bright area selection unit selects the bright area included in the image in which the difference between the area corresponding to the dark area in the image of itself and the bright area is maximum. rangefinder.
  • the distance measuring device according to any one of (1) to (4), wherein the bright area selection section performs the selection based on noise components of the image signal in the detected bright area.
  • the distance measuring device according to any one of (1) to (5), wherein the pattern light is a dot pattern in which a plurality of dots are arranged.
  • the fusion unit performs the fusion by weighted addition of the calculated first distance measurement value and the calculated second distance measurement value.
  • Device (8) The distance measuring device according to (7), wherein the fusing unit performs the weighted addition based on a weight corresponding to a difference between the calculated first distance measurement value and the calculated second distance measurement value. .
  • a light source device that irradiates a pulse train pattern light that repeats light emitting periods and non-light emitting periods with two types of brightness of bright and dark areas; a distance measuring sensor for generating a plurality of images by synchronizing the reflected light of the irradiated pattern light reflected by an object with the light emission period and receiving the light during light reception periods having different phases; a bright area detection unit that detects a bright area that is an area generated by receiving the reflected light corresponding to the bright area of the pattern light in the plurality of images; A first phase difference between the irradiated pattern light and the reflected light is detected based on the bright region detected in the plurality of images, and a distance to the object is determined based on the detected phase difference.
  • a first distance measuring unit that calculates the distance measurement value of a bright area selection unit that selects the bright area detected in the plurality of images based on image signals that form the images; a second distance measuring unit that calculates a second distance measurement value that is a distance to the object by triangulation using the position of the selected bright area in the image; a fusing unit that fuses the calculated first range value and the calculated second range value to generate a fused range value.
  • distance measurement system 10 distance measurement device 20 light source device 21 light source unit 22 drive unit 100 distance measurement sensor 110 pixel array unit 151 bright area detection unit 152 first distance measurement unit 153 light area selection unit 154 second distance measurement Part 155 Fusion part 200 Pixels 351 to 354 Image 360 Dark area 361 Peripheral area 370, 371 Bright area

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距における誤差を低減する。測距センサは、明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光に同期するそれぞれ異なる位相の受光期間に受光して複数の画像を生成する。明部領域検出部は、複数の画像におけるパターン光の明部に相当する反射光の受光により生成された領域である明部領域を検出する。第１の測距部は、照射されるパターン光と反射光との位相差を複数の画像において検出された明部領域により検出し、当該検出した位相差に基づいて物体までの距離である第１の測距値を算出する。明部領域選択部は、画像を構成する画像信号に基づいて複数の画像における明部領域の選択を行う。第２の測距部は、選択された明部領域の画像における位置を用いた三角測量により物体までの距離である第２の測距値を算出する。融合部は、第１の測距値及び第２の測距値の融合を行って融合測距値を生成する。

Description

測距装置及び測距システム
　本開示は、測距装置及び測距システムに関する。
　物体に光を照射し、物体との間を光が往復する時間を測定することにより物体までの距離を測定する飛行時間（ＴｏＦ：Time　of　Flight）法による測距装置が使用されている。例えば、振幅変調された光を物体に対して出射する発光部と照射した光が物体により反射された反射光を受光する受光素子とを備える測距装置が使用されている。この受光素子には、反射光に基づいて画像信号を生成する撮像素子が使用される。この撮像素子は、振幅変調された出射光に同期する同期検波を受光した反射光に対して行って複数の画像信号を生成する。この生成された複数の画像信号の相互の演算により出射光及び反射光の位相差を検出することができ、検出した位相差に基づいて物体までの距離を算出することができる。このような測距方式は、タイマーを使用して上述の光の往復時間を直接計時する直接ＴｏＦ法に対して間接ＴｏＦ法と称される。
　この間接ＴｏＦ法においては、例えば、出射光に対して０度、９０度、１８０度及び２７０度の位相において撮像を行って４つの画像を生成する。この４つの画像に対して出射光に同相な成分（０度及び１８０度位相の画像）と出射光に対して直交する成分（９０度及び２７０度の位相）とにおいてそれぞれの差分を算出する。この差分をそれぞれＩ及びＱとすると、位相差θは、ａｒｃｔａｎ（Ｑ／Ｉ）により算出することができる。このような間接ＴｏＦ法は４相方式と称される。この４相方式では、上述の差分の算出の際にノイズ等を除去することができる。
　しかし、４相方式は４つの画像の生成が必要であるため、物体が移動する場合に誤差を生じるという問題がある。そこで、物体が移動したか否かの判定を行い、物体が移動していないと判定された期間に測距を行う測距モジュールが提案されている（例えば、特許文献１参照）。
特開２０１７－１５０８９３号公報
　しかしながら、上記の従来技術では、移動する物体の測距における誤差の低減が困難という問題がある。
　そこで、本開示では、移動する物体の測距における誤差を低減する測距装置及び測距システムを提案する。
　本開示の測距装置は、測距センサと、明部領域検出部と、第１の測距部と、第２の測距部と、明部領域選択部と、融合部とを含む。測距センサは、明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を上記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する。明部領域検出部は、上記複数の画像における上記パターン光の上記明部に相当する上記反射光の受光により生成された領域である明部領域を検出する。第１の測距部は、照射される上記パターン光と上記反射光との位相差を上記複数の画像において検出された上記明部領域に基づいて検出し、当該検出した位相差に基づいて上記物体までの距離である第１の測距値を算出する。明部領域選択部は、上記画像を構成する画像信号に基づいて上記複数の画像において検出された上記明部領域の選択を行う。第２の測距部は、上記選択された明部領域の上記画像における位置を用いた三角測量により上記物体までの距離である第２の測距値を算出する。融合部は、上記算出された第１の測距値及び上記算出された第２の測距値の融合を行って融合測距値を生成する。
本開示の実施形態に係る測距システムの構成例を示す図である。 本開示の実施形態に係る発光パターンの一例を示す図である。 本開示の実施形態に係る反射光の一例を示す図である。 本開示の実施形態に係る光源装置及び測距装置の構成例を示す図である。 本開示の実施形態に係る測距センサの構成例を示す図である。 本開示の実施形態に係る画素の構成例を示す図である。 本開示の実施形態に係る間接ＴｏＦ法における画像の生成例を示す図である。 本開示の実施形態に係る画像信号の生成の一例を示す図である。 本開示の実施形態に係る三角測量の一例を示す図である。 本開示の実施形態に係る明部領域の選択の一例を示す図である。 本開示の実施形態に係る測距処理の一例を示す図である。 本開示の実施形態に係る明部領域選択処理の一例を示す図である。 本開示の実施形態に係る輝度差検出処理の一例を示す図である。 本開示の実施形態に係る第２の測距値算出処理の一例を示す図である。 本開示の実施形態に係る融合処理の一例を示す図である。 本開示の第２の実施形態に係る明部領域選択処理の一例を示す図である。 本開示の第３の実施形態に係る融合処理の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
　（１．第１の実施形態）
　［測距システムの構成］
　図１は、本開示の実施形態に係る測距システムの構成例を示す図である。同図は、測距システム１の構成例を表す図である。測距システム１は、対象物との距離を測定するシステムである。同図の測距システム１は、直方体形状の物体９との間の距離を測定する例を表したものである。測距システム１は、光源装置２０と、測距装置１０と、レンズ２及び３とを備える。なお、同図の矢印は、光源装置２０から出射されて物体９により反射され、測距装置１０に入射する光を表したものである。
　光源装置２０は、測距の対象物に光を照射するものである。この光源装置２０は、明部及び暗部の２種類の輝度のパターン光を照射する。また、このパターン光は、所定の周期において発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する。光源装置２０の構成の詳細については後述する。
　測距装置１０は、対象物までの距離を測定するものである。この測距装置１０は、光源装置２０から出射されたパターン光が対象物（物体９）により反射された反射光を受光する。この受光により光源装置２０の発光パターンの出射から反射光の到達までの時間を計時し、対象物までの距離を測定する。測距装置１０の構成の詳細については後述する。
　レンズ２は、測距装置１０に入射する光を集光するレンズである。レンズ３は、光源装置２０から出射される光を集光するレンズである。
　［発光パターン］
　図２Ａは、本開示の実施形態に係るパターン光の一例を示す図である。同図は、光源装置２０が照射するパターン光の一例を表す図である。同図のパターン光３００は、明部３２０及び暗部３１０を含む。同図は、複数の点状の明部３２０が背景である暗部３１０に配置されたドットパターンにより構成されるパターン光３００の例を表したものである。
　図２Ｂは、本開示の実施形態に係る反射光の一例を示す図である。同図は、パターン光３００が図１における物体９等に反射された反射光３５０を表す図である。この反射光３５０は、測距装置１０に入射する反射光に相当する。反射光３５０は、パターン光３００の明部３２０及び暗部３１０にそれぞれ対応する明部領域３７０及び暗部領域３６０を含む。同図の複数の明部領域３７０は、対象物との距離に応じた形状に構成される。同図の点線は、物体９により反射された反射光３５１の領域を表す。比較的近距離の物体９により反射された反射光３５１の明部領域３７０は、他の明部領域３７０と比較して大きなドットに構成される。また、後述するように、明部領域３７０の位置は対象物との距離に応じて変化する。
　［光源装置及び測距装置の構成］
　図３は、本開示の実施形態に係る光源装置及び測距装置の構成例を示す図である。同図は、測距システム１を構成する光源装置２０及び測距装置１０の構成例を表すブロック図である。
　光源装置２０は、光源部２１と、駆動部２２とを備える。
　光源部２１は、物体９に照射するパターン光を生成するものである。この光源部２１は、レーザ光を出射する光源により構成することができる。例えば、パターン光３００における明部３２０の部分に光源が配置され、暗部３１０に相当する部分には光源が配置されない構成を採ることができる。
　駆動部２２は、光源部２１を駆動するものである。この駆動部２２は、所定の周期において発光期間及び非発光期間を繰り返すパルス列状に発光させる駆動を行う。この所定の周期のパルス列の発光タイミングは、後述する測距装置１０の同期制御部１６０により制御される。
　測距装置１０は、測距センサ１００と、信号処理部１５０と、同期制御部１６０とを備える。
　測距センサ１００は、反射光３５０を受光して画像を生成するものである。この測距センサ１００は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）型の撮像素子により構成することができる。測距センサ１００は、パターン光３００の発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光を行い、それぞれの位相に応じた複数の画像を生成する。後述するように、測距センサ１００を構成する撮像素子は、入射光に応じた画像信号を生成する複数の画素を備える。これら複数の画素により生成される１画面分の画像信号により画像が構成される。測距センサ１００は、生成した画像を信号処理部１５０に対して出力する。
　信号処理部１５０は、測距センサ１００から出力された画像に基づいて対象物までの距離を測定する測距処理を行うものである。信号処理部１５０は、明部領域検出部１５１と、第１の測距部１５２と、明部領域選択部１５３と、第２の測距部１５４と、融合部１５５とを備える。
　明部領域検出部１５１は、反射光３５０の明部領域３７０を検出するものである。この明部領域検出部１５１は、測距センサ１００から出力された複数の画像のそれぞれについて明部領域３７０の位置を検出する。明部領域検出部１５１は、検出した明部領域３７０を第１の測距部１５２及び明部領域選択部１５３に対して出力する。
　第１の測距部１５２は、パターン光３００と反射光３５０との位相差に基づいて物体９までの距離を算出するものである。この第１の測距部１５２は、明部領域検出部１５１から出力された複数の画像の明部領域３７０に基づいてパターン光３００及び反射光３５０の位相差を検出し、検出した位相差に基づいて間接ＴｏＦ法による測距を行う。第１の測距部１５２により算出される距離を第１の測距値と称する。第１の測距部１５２は、算出した第１の測距値を融合部１５５に対して出力する。第１の測距部１５２における測距の詳細については後述する。
　明部領域選択部１５３は、明部領域検出部１５１から出力された明部領域３７０を選択するものである。この明部領域選択部１５３は、画像を構成する画像信号に基づいて明部領域３７０の選択を行う。明部領域選択部１５３は、例えば、複数の画像に含まれるそれぞれの明部領域３７０のうち暗部領域３６０との輝度差が最大となる明部領域３７０を選択することができる。明部領域選択部１５３は、選択した明部領域３７０を第２の測距部１５４に対して出力する。明部領域選択部１５３における明部領域３７０の選択の詳細については後述する。
　第２の測距部１５４は、明部領域３７０の画像における位置を用いた三角測量により物体９までの距離を算出するものである。この第２の測距部１５４は、明部領域選択部１５３により選択された明部領域３７０の画像における位置と当該明部領域３７０に対応するパターン光３００の明部の位置とに対して三角測量の原理に基づく測距を行う。第２の測距部１５４により算出される距離を第２の測距値と称する。第２の測距部１５４は、算出した第２の測距値を融合部１５５に対して出力する。第２の測距部１５４における測距の詳細については後述する。
　融合部１５５は、第１の測距部１５２により算出された第１の測距値及び第２の測距部１５４により算出された第２の測距値を融合して融合測距値を生成するものである。生成された融合測距値は、測距装置１０の検出測距値として出力される。融合部１５５における第１の測距値及び第２の測距値の融合の詳細については後述する。
　同期制御部１６０は、光源装置２０におけるパターン光３００の発光期間及び非発光期間と測距センサ１００における画像信号の生成のタイミングとを同期させるものである。この同期制御部１６０は、光源装置２０の駆動部２２及び測距センサ１００に対して制御信号を出力し、駆動部２２による光源部２１の駆動タイミングと測距センサ１００の画素（後述する画素２００）における画像信号の生成の際の後述する同期検波とを同期させる。
　［撮像素子の構成］
　図４は、本開示の実施形態に係る測距センサの構成例を示す図である。同図は、測距センサ１００の構成例を表すブロック図である。測距センサ１００は、被写体の画像を生成する半導体素子である。測距センサ１００は、画素アレイ部１１０と、垂直駆動部１２０と、カラム信号処理部１３０と、制御部１４０とを備える。
　画素アレイ部１１０は、複数の画素２００が配置されて構成されたものである。同図の画素アレイ部１１０は、複数の画素２００が２次元行列の形状に配列される例を表したものである。ここで、画素２００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素２００には、信号線１１及び１２が配線される。画素２００は、信号線１１により伝達される制御信号に制御されて画像信号を生成し、信号線１２を介して生成した画像信号を出力する。なお、信号線１１は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素２００に共通に配線される。信号線１２は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素２００に共通に配線される。
　垂直駆動部１２０は、上述の画素２００の制御信号を生成するものである。同図の垂直駆動部１２０は、画素アレイ部１１０の２次元行列の行毎に制御信号を生成し、信号線１１を介して順次出力する。
　カラム信号処理部１３０は、画素２００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３０は、信号線１２を介して伝達される画素アレイ部１１０の１行に配置された複数の画素２００からの画像信号の処理を同時に行う。この処理として、例えば、画素２００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）を行うことができる。処理後の画像信号は、測距センサ１００の外部の回路等に対して出力される。
　制御部１４０は、垂直駆動部１２０及びカラム信号処理部１３０を制御するものである。同図の制御部１４０は、信号線１４１及び１４２を介して制御信号をそれぞれ出力して垂直駆動部１２０及びカラム信号処理部１３０を制御する。
　［画素の構成］
　図５は、本開示の実施形態に係る画素の構成例を示す図である。同図は、測距センサ１００に配置される画素２００の構成例を表す回路図である。同図の画素２００は、光電変換部２０１と、電荷保持部２０２及び２０３と、転送部２０４及び２０５と、リセット部２０６及び２０７と、画像信号生成部２０８及び２０９とを備える。転送部２０４及び２０５並びにリセット部２０６及び２０７は、ＭＯＳトランジスタにより構成することができる。また、同図の画素２００には、電源線Ｖｄｄが配線される。この電源線Ｖｄｄは、画素２００に電源を供給する配線である。
　光電変換部２０１は、入射光の光電変換を行うものである。この光電変換部２０１は、フォトダイオードにより構成することができる。フォトダイオードは、光電変換により生成された電荷を外部の回路に供給する。このため、同図に表したように、光電変換部２０１を定電流回路により表すことができる。同図の光電変換部２０１は、一端が接地され、他端から入射光に応じたシンク電流を供給する。
　電荷保持部２０２及び２０３は、光電変換部２０１により生成された電荷を保持するものである。この電荷保持部２０２及び２０３は、それぞれ半導体基板に形成された拡散領域に電荷を保持する浮遊換算領域（ＦＤ：Floating　Diffusion）により構成することができる。
　転送部２０４及び２０５は、光電変換部２０１により生成された電荷を電荷保持部２０２及び２０３にそれぞれ転送するものである。転送部２０４は、光電変換部２０１及び電荷保持部２０２の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０２に転送する。また、転送部２０５は、光電変換部２０１及び電荷保持部２０３の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０３に転送する。
　リセット部２０６及び２０７は、電荷保持部２０２及び３０３をリセットするものである。リセット部２０６は、電荷保持部２０２及び電源線Ｖｄｄの間を導通させて電荷保持部２０２の電荷を電源線Ｖｄｄに排出することにより、リセットを行う。同様に、リセット部２０７は、電荷保持部２０３及び電源線Ｖｄｄの間を導通させることにより電荷保持部２０３をリセットする。
　画像信号生成部２０８及び２０９は、電荷保持部２０２及び２０３に保持された電荷に基づいて画像信号を生成するものである。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０９は、電荷保持部２０３に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。
　なお、転送部２０４及び２０５、リセット部２０６及び２０７及び画像信号生成部２０８及び２０９の制御信号は、不図示の信号線１１１により伝達される。
　同図の画素２００における画像信号の生成は、次のように行うことができる。まず、リセット部２０６及び２０７を導通させて電荷保持部２０２及び２０３をリセットする。このリセットの終了後に、転送部２０４及び２０５を導通させて光電変換部２０１により生成される電荷を電荷保持部２０２に転送して保持させる。この際、転送部２０４及び２０５は、交互に導通状態になり、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に振り分ける。この電荷の振り分けを複数回行って、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に蓄積させる。この電荷を蓄積する期間を蓄積期間と称する。
　所定の蓄積期間の経過後に転送部２０４及び２０５を非導通の状態にする。その後、画像信号生成部２０８及び２０９が電荷保持部２０２及び２０３に蓄積された電荷に基づいて画像信号を生成し、出力する。
　上述の蓄積期間において、転送部２０４及び２０５により光電変換部２０１の電荷が振り分けられて蓄積され、蓄積されたそれぞれの電荷に基づいて画像信号が生成される。この転送部２０４及び２０５の振り分けを図３において説明した光源装置２０のパターン光３００の発光期間及び非発光期間の周期に同期して行う。これにより、測距センサ１００に入射する反射光の同期検波を行うことができる。また、この同期検波を異なる位相により行って複数の画像信号を生成することにより、光源装置２０から物体９を介して測距センサ１００に至る時間を光源装置２０の発光及び非発光の周期に対する位相差として検出する間接ＴｏＦ法を実行することができる。なお、電荷保持部２０２に対応する画像信号及び電荷保持部２０３に対応する画像信号をそれぞれタップＡの画像信号及びタップＢの画像信号と称する。
　［間接ＴｏＦ法における画像の生成］
　図６は、本開示の実施形態に係る間接ＴｏＦ法における画像の生成例を示す図である。同図は、画素２００における間接ＴｏＦ法に使用する画像の生成を表す図である。同図のフレーム４００は、間接ＴｏＦ法における画像を生成する期間を表す。同図に表したように、複数のフレーム４００が連続して実行され、間接ＴｏＦ法による測距が連続して実行される。
　それぞれのフレーム４００は、サブフレーム４１０、４２０、４３０及び４４０を備える。これらのサブフレーム４１０、４２０、４３０及び４４０においては、それぞれ異なる位相において上述の転送部２０４及び２０５による振り分けを行う。サブフレーム４１０、４２０、４３０及び４４０は、それぞれ０度、９０度、１８０度及び２７０度の位相において転送部２０４及び２０５による振り分けが行われ、画像が生成される。なお、フレーム４００には、待機期間が更に含まれる。この待機期間は、いわゆるデットタイムに相当する期間である。
　サブフレーム４１０等は、リセット４５１、蓄積４５２、読出し４５３の期間が含まれる。リセット４５１は、上述のリセット部２０６及び２０７によるリセットの期間である。蓄積４５２は、上述の蓄積期間に相当する期間である。読出し４５３は、画像信号生成部２０８及び２０９により生成された画像信号が読み出される期間である。なお、サブフレーム４１０等には待機期間が更に含まれる。
　［間接ＴｏＦ法における画像信号の生成］
　図７は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、画素２００の間接ＴｏＦ法における画像信号の生成の一例を表すタイミング図である。同図において、測距部３３０は、４つの異なる位相において反射光４の振り分けを行い、画像信号を生成する制御を行う。
　同図の出射光は、略等しい期間の発光期間及び非発光期間を備える周期Ｔの出射光を採用する。同図の出射光の発光期間は、一定の輝度の矩形波となる。以下、この矩形波をパルス光４０１と称する。この出射光に応じて一定の輝度のパルス光４０２を備える反射光が画素２００に入射する。この反射光を出射光に同期するとともに０度、９０度、１８０度及び２７０度の４つの遅れ位相において電荷の振り分けを行い画像信号Ａ及びＢを生成する。
　同図の「０度」、「９０度」、「１８０度」及び「２７０度」は、０度、９０度、１８０度及び２７０度の４つの遅れ位相において電荷の振り分けを行う場合の波形をそれぞれ表したものである。これらの波形のそれぞれの上側の波形はタップＡを表し、下側の波形はタップＢを表す。また、同図の「０度」、「９０度」、「１８０度」及び「２７０度」における実線の波形は、それぞれの遅れ位相におけるそれぞれのタップの電荷の振り分け期間を表すガイド信号を表す。ガイド信号が値「１」の期間に自身のタップに電荷が振り分けられる。また、同図の「０度」、「９０度」、「１８０度」及び「２７０度」におけるハッチングを付した領域は、それぞれのタップの電荷保持部（電荷保持部２０２及び２０３）における電荷の蓄積を表す。
　同図の位相遅れ０度の場合を例に挙げて説明する。タップＡ（上側）において、反射光のパルス光４０２とガイド信号の値「１」の部分とが重なる期間において電荷が電荷保持部２０２に蓄積される。同図の「Ａ０」は、タップＡ側の電荷保持部２０２への蓄積電荷Ａ０を表す。また、タップＢ（下側）において、反射光のパルス光４０２とガイド信号の値「１」の部分とが重なる期間において電荷が電荷保持部２０３に蓄積される。同図の「Ｂ０」は、タップＢ側の電荷保持部２０３への蓄積電荷Ｂ０を表す。このようなタップＡ及びタップＢにおける電荷の蓄積が蓄積期間に繰り返される。
　遅れ位相９０度、１８０度及び２７０度においても同様に、タップＡ及びタップＢにおける電荷の蓄積が蓄積期間に繰り返される。そして、遅れ位相９０度、１８０度及び２７０度において、蓄積電荷Ａ９０及びＢ９０、蓄積電荷Ａ１８０及びＢ１８０並びに蓄積電荷Ａ２７０及びＢ２７０が生成される。
　次に、これら蓄積電荷Ａ０及びＢ０に基づいて０度におけるタップＡの画像信号Ａ０及びタップＢにおける画像信号Ｂ０を生成する。また、９０度におけるタップＡの画像信号Ａ９０及びタップＢにおける画像信号Ｂ９０を生成する。また、１８０度におけるタップＡの画像信号Ａ１８０及びタップＢにおける画像信号Ｂ１８０を生成する。また、２７０度におけるタップＡの画像信号Ａ２７０及びタップＢにおける画像信号Ｂ２７０を生成する。これら８つの信号により出射光及び反射光の位相差φを算出する。
　上述のタップＡ０等を使用して下記の演算を行い、Ｓｉｇｎａｌ０～Ｓｉｇｎａｌ３を算出する。
　Ｓｉｇｎａｌ０＝タップＡ０－タップＢ０
　Ｓｉｇｎａｌ１＝タップＡ９０－タップＢ９０
　Ｓｉｇｎａｌ２＝タップＡ１８０－タップＢ１８０
　Ｓｉｇｎａｌ３＝タップＡ２７０－タップＢ２７０
次に、Ｓｉｇｎａｌ０～Ｓｉｇｎａｌ３を使用して下記の演算を行い、Ｉ及びＱを算出する。
　Ｉ＝（Ｓｉｇｎａｌ０－Ｓｉｇｎａｌ１）／２
　Ｑ＝（Ｓｉｇｎａｌ２－Ｓｉｇｎａｌ３）／２
ここで、Ｉは、反射光の出射光に同相の成分に相当する信号である。また、Ｑは、反射光の出射光に対する直交する方向の成分に相当する信号である。このＩ、Ｑ及び出射光の周期Ｔに基づいて、次式により物体９までの距離ｄを算出することができる。
　ｄ＝ｃ×Ｔ×ａｒｃｔａｎ（Ｑ／Ｉ）／４π　　式（１）
ここで、ｃは、光速を表す。
　このように、間接ＴｏＦ法による測距を行うことができる。この間接ＴｏＦ法においては、４つの画像を生成する必要がある。この４つの画像を生成する期間に物体９が動く場合、算出した距離に誤差を生じることとなる。そこで、次に説明する三角測量による測距を更に行う。三角測量による測距においては、間接ＴｏＦ法により生成されたタップＡの４つの画像及びタップＢの４つの画像を使用することができる。
　［三角測量による測距］
　図８は、本開示の実施形態に係る三角測量の一例を示す図である。同図は、三角測量の原理を説明する図である。同図において光源装置２０は位置５０１に配置され、測距センサ１００は位置５０２に配置される。位置５０１からレンズ３の焦点距離Ｆだけ離れた位置に仮想的な光源装置２０’が配置され、位置５０２からレンズ２の焦点距離Ｆだけ離れた位置に仮想的な測距センサ１００’が配置される。「ＢＬ」は光源装置２０及び測距センサ１００の距離を表し、「Ｄ」は物体９との距離を表す。また、同図の矢印は、光源装置２０から出射されるパターン光３００及び物体９により反射される反射光の軌跡を表す。
　同図において、光源装置２０’の点５０３の位置の明部３２０の光が物体９により反射されて測距センサ１００’の点５０４に明部領域３７０として検出される。この場合、光源装置２０及び測距センサ１００の間の距離ＢＬが既知であるため、パターン光３００における点５０３の位置及び測距センサ１００により生成される画像における点５０４の位置を検出することにより、三角測量の原理を用いて距離Ｄを算出することができる。
　［明部領域の選択］
　図９は、本開示の実施形態に係る明部領域の選択の一例を示す図である。同図は、明部領域選択部１５３における明部領域３７０の選択を表す図である。同図の画像３５１乃至３５４は、測距センサ１００により生成されたタップＡ又はタップＢの４つの画像を表す。これらの画像のそれぞれに明部領域３７０が配置される。明部領域検出部１５１は、これらの画像から明部領域３７０を検出する。明部領域検出部１５１による明部領域３７０の検出は、例えば、ブロブ検知（Blob　Detection）法により行うことができる。
　明部領域検出部１５１は、検出した明部領域３７０を画像番号及び位置番号により識別する。以下、検出された明部領域３７０をｂ（ｋ，ｎ）により表す。ここで、ｋは、４つの画像を識別する番号であり、画像３５１乃至３５４に対応する１乃至４の値となる。ｎは、画像３５１等における位置を表す番号であり、明部領域３７０毎に付与される番号である。ｎは、例えば、画像３５１等の左上から順に１、２、３等の数字を付与することができる。ｂ（ｋ，ｎ）は、明部領域３７０の範囲に含まれる画素の座標により構成することができる。なお、画像３５１乃至３５４において明部領域３７０は、重なる位置に配置されるものと想定する。これは、物体９の動きが間接ＴｏＦ法による測距の期間より十分短い場合を想定したものである。
　明部領域選択部１５３は、明部領域３７０と暗部領域３６０と輝度差に基づいて選択を行うことができる。例えば、明部領域選択部１５３は、画像３５１乃至３５４における同じ位置番号の明部領域３７０において最も輝度差が大きい明部領域３７０を選択することができる。
　明部領域選択部１５３は、例えば、明部領域３７０の周囲の領域である周辺領域３６１と明部領域３７０との輝度差を検出することができる。また、明部領域選択部１５３は、画像３５１等における暗部領域３６０の平均輝度と明部領域３７０の輝度差を検出することもできる。
　また、明部領域選択部１５３は、明部領域３７０のノイズに基づいて選択を行うこともできる。例えば、明部領域選択部１５３は、明部領域３７０の画像信号のノイズ成分が所定の閾値より小さい明部領域３７０を選択することができる。
　第２の測距部１５４は、明部領域選択部１５３により選択された明部領域３７０に対して三角測量による測距を行う。この際、第２の測距部１５４は、選択された明部領域３７０に対応するパターン光３００の明部３２０を選択する。また、第２の測距部１５４は、選択された明部３２０の中心位置と選択された明部領域３７０の中心位置とを算出し、三角測量を行う。なお、明部領域３７０の中心位置は、例えば、明部領域３７０における輝度が最大となる位置を適用することができる。この明部領域３７０における輝度が最大となる位置は、例えば、パラボラフィッティング等により検出することができる。なお、明部３２０の中心位置は、既定値を使用することができる。
　［融合処理］
　融合部１５５は、前述のように、第１の測距値及び第２の測距値を融合する。この融合は、第１の測距値及び第２の測距値の重み付け加算により行うことができる。また、重みは、例えば、第１の測距値及び第２の測距値の差分に応じた重みを適用することができる。例えば、第１の測距値及び第２の測距値の差分が小さい場合には、第１の測距値及び第２の測距値に対して略同じ重みを設定することができる。そして、第１の測距値及び第２の測距値の差分が大きくなるに従って、第２の測距値の重みを大きく、第１の測距値の重みを小さく設定することができる。また、例えば、第２の測距値を真値とし、第１の測距値との差分に応じた正規分布曲線に基づく重みを設定することもできる。
　［測距処理］
　図１０は、本開示の実施形態に係る測距処理の一例を示す図である。同図は、測距システム１における測距処理の一例を表す図である。まず、光源装置２０がパターン光を照射する（ステップＳ１００）。次に、測距センサ１００において反射光の画像を生成する（ステップＳ１０１）。次に、明部領域検出部１５１が明部領域を検出する（ステップＳ１０２）。この際、明部領域検出部１５１により、ｂ（ｋ，ｎ）が生成される。次に、第１の測距部１５２が間接ＴｏＦ法による第１の測距値を算出する（ステップＳ１１０）。この際、第１の測距部１５２は、明部領域３７０毎に第１の測距値を算出する。第１の測距部１５２は、位置番号により識別された第１の測距値Ｄ１（ｎ）を生成する。
　次に、明部領域選択部１５３が明部領域選択処理（ステップＳ１２０）を行う。次に、第２の測距部１５４が第２の測距値を算出する（ステップＳ１４０）。第２の測距部１５４は、位置番号により識別された第２の測距値Ｄ２（ｎ）を生成する。次に、融合部１５５が第１の測距値Ｄ１（ｎ）及び第２の測距値Ｄ２（ｎ）の融合処理（ステップＳ１５０）を行い、融合測距値を生成する。
　［明部領域選択処理］
　図１１は、本開示の実施形態に係る明部領域選択処理の一例を示す図である。同図は、図１０における明部領域選択処理（ステップＳ１２０）の一例を表す図である。まず、明部領域選択部１５３は、全ての画像について明部領域３７０の輝度差の検出を行う。明部領域選択部１５３は、全ての画像を選択したか否かを判断し（ステップＳ１２１）、全ての画像を選択していない場合には（ステップＳ１２１，Ｎｏ）、未選択の画像を選択する（ステップＳ１２２）。この際、明部領域選択部１５３は、画像番号ｋを選択する。次に、明部領域選択部１５３は、選択した画像に対して輝度差検出処理（ステップＳ１３０）を行い、ステップＳ１２１の処理に戻る。
　一方、ステップＳ１２１において、全ての画像を選択した場合には（ステップＳ１２１，Ｙｅｓ）、ステップＳ１２３の処理に移行する。ステップＳ１２３において、明部領域選択部１５３は、全ての明部領域の位置を選択したか否かを判断し（ステップＳ１２３）、全ての明部領域の位置を選択していない場合には（ステップＳ１２３，Ｎｏ）、未選択の明部領域の位置を選択する（ステップＳ１２４）。この際、明部領域選択部１５３は、位置番号ｎとしてＮを選択する。次に、明部領域選択部１５３は、最大輝度差の明部領域を選択する（ステップＳ１２５）。この際、明部領域選択部１５３は、位置番号Ｎの明部領域３７０のうちの最大の輝度差（後述するｄｉｆｆ（ｋ，Ｎ））の明部領域３７０を選択する。
　次に、明部領域選択部１５３は、選択した明部領域３７０を測定用画像に格納する（ステップＳ１２６）。次に、明部領域選択部１５３は、ステップＳ１２３の処理に戻る。一方、ステップＳ１２３において、全ての明部領域を選択した場合には（ステップＳ１２３，Ｙｅｓ）、明部領域選択部１５３は、明部領域選択処理Ｓ１２０を終了する。
　［輝度差検出処理］
　図１２は、本開示の実施形態に係る輝度差検出処理の一例を示す図である。同図は、図１１における輝度差検出処理（ステップＳ１３０）の一例を表す図である。まず、明部領域選択部１５３は、全ての明部領域を選択したか否かを判断し（ステップＳ１３１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１３２）。この際、明部領域選択部１５３は、明部領域３７０の位置番号ｎを選択する。次に、明部領域選択部１５３は、選択した明部領域の平均輝度を算出する（ステップＳ１３３）。この際、明部領域選択部１５３は、平均輝度ｂｍ（ｋ，ｎ）を算出する。次に、明部領域選択部１５３は、図９において説明した周辺領域の平均輝度を算出する（ステップＳ１３４）。この際、明部領域選択部１５３は、周辺領域の平均輝度ｄｍ（ｋ，ｎ）を算出する。
　次に、明部領域選択部１５３は、輝度の差分を算出する（ステップＳ１３５）。この際、明部領域選択部１５３は、ｂｍ（ｋ，ｎ）－ｄｍ（ｋ，ｎ）を算出し、ｄｉｆｆ（ｋ，ｎ）として出力する。次に、明部領域選択部１５３は、ステップＳ１３１の処理に戻る。一方、ステップＳ１３１の処理において、全ての明部領域を選択した場合には（ステップＳ１３１，Ｙｅｓ）、明部領域選択部１５３は、輝度差検出処理Ｓ１３０を修了する。
　［第２の測距値算出処理］
　図１３は、本開示の実施形態に係る第２の測距値算出処理の一例を示す図である。同図は、図１１における第２の測距値算出処理（ステップＳ１４０）の一例を表す図である。まず、第２の測距部１５４は、全ての明部領域を選択したか否かを判断し（ステップＳ１４１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１４２）。この際、第２の測距部１５４は、明部領域３７０の位置番号ｎを選択する。次に、第２の測距部１５４は、選択した明部領域の中心位置を算出する（ステップＳ１４３）。次に、第２の測距部１５４は、三角測量による第２の測距値を算出する（ステップＳ１４４）。次に、第２の測距部１５４は、ステップＳ１４１の処理に戻る。一方、ステップＳ１４１の処理において、全ての明部領域を選択した場合には（ステップＳ１４１，Ｙｅｓ）、第２の測距部１５４は、第２の測距値算出処理Ｓ１４０を修了する。
　［融合処理］
　図１４は、本開示の実施形態に係る融合処理の一例を示す図である。同図は、図１１における融合処理（ステップＳ１５０）の一例を表す図である。まず、融合部１５５は、全ての明部領域を選択したか否かを判断し（ステップＳ１５１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１５２）。この際、融合部１５５は、明部領域３７０の位置番号ｎを選択する。次に、融合部１５５は、選択した明部領域において重みを算出する（ステップＳ１４３）。次に、融合部１５５は、算出した重みを使用して第１の測距値及び第２の測距値を融合する（ステップＳ１５４）。次に、融合部１５５は、ステップＳ１５１の処理に戻る。一方、ステップＳ１５１の処理において、全ての明部領域を選択した場合には（ステップＳ１５１，Ｙｅｓ）、融合部１５５は、融合処理Ｓ１５０を修了する。
　このように、本開示の第１の実施形態の測距システム１は、間接ＴｏＦ法により算出された第１の測距値と三角測量により算出された第２の測距値とを融合して融合測距値を生成する。比較的短時間に測距を行う三角測量による測距値を間接ＴｏＦ法による測距値に融合させることにより、物体９が動く場合の誤差を低減することができる。また、三角測量による測距の際、明部領域３７０のうちの暗部領域３６０との輝度差が最も大きい明部領域３７０を選択することにより、三角測量による測距の精度を向上させることができる。
　（２．第２の実施形態）
　上述の第１の実施形態の測距システム１は、４つの画像の明部領域３７０のうち最も輝度差が大きい明部領域３７０を選択していた。これに対し、本開示の第２の実施形態の測距システム１は、４つの画像のうちの最も輝度差が大きい画像を測定用画像として選択する点で、上述の第１の実施形態と異なる。
　［明部領域選択処理］
　図１５は、本開示の第２の実施形態に係る明部領域選択処理の一例を示す図である。同図は、図１１と同様に、明部領域選択処理（ステップＳ１７０）の一例を表す図である。同図の処理は、４つの画像のうちの最も輝度差が大きい画像を測定用画像として選択する点で、図１１の処理と異なる。
　まず、明部領域選択部１５３は、全ての画像を選択したか否かを判断し（ステップＳ１７１）、全ての画像を選択していない場合には（ステップＳ１７１，Ｎｏ）、未選択の画像を選択する（ステップＳ１７２）。この際、明部領域選択部１５３は、画像番号ｋを選択する。次に、明部領域選択部１５３は、選択した画像に対して画像内の明部領域の平均輝度を算出する（ステップＳ１７３）。この際、明部領域選択部１５３は、平均輝度ｂｍ（ｋ）を算出する。
　次に、明部領域選択部１５３は、選択した画像に対して画像内の暗部領域の平均輝度を算出する（ステップＳ１７４）。この際、明部領域選択部１５３は、平均輝度ｄｍ（ｋ）を算出する。次に、明部領域選択部１５３は、輝度の差分を算出する（ステップＳ１７５）。この際、明部領域選択部１５３は、ｂｍ（ｋ）－ｄｍ（ｋ）を算出し、ｄｉｆｆ（ｋ）として出力する。次に、明部領域選択部１５３は、ステップＳ１７１の処理に戻る。
　一方、ステップＳ１７１において、全ての画像を選択した場合には（ステップＳ１７１，Ｙｅｓ）、ステップＳ１７６の処理に移行する。ステップＳ１７６において、明部領域選択部１５３は、輝度の差分が最大の画像を測定用画像として選択する（ステップＳ１７６）。その後、明部領域選択部１５３は、明部領域選択処理Ｓ１７０を終了する。
　これ以外の測距システム１の構成は本開示の第１の実施形態における測距システム１の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の測距システム１は、間接ＴｏＦ法により生成された画像のうちの最も輝度差が大きい画像を測定用画像として選択する。これにより、物体９の動きの影響を更に低減することができる。
　（３．第３の実施形態）
　上述の第１の実施形態の測距システム１は、第１の測距値及び第２の測距値を融合していた。これに対し、本開示の第３の実施形態の測距システム１は、画素毎の第２の測距値のばらつきに応じて融合を行う点で、上述の第１の実施形態と異なる。
　［融合処理］
　図１６は、本開示の第３の実施形態に係る融合処理の一例を示す図である。同図は、図１１における融合処理Ｓ１５０に換えて行う処理である。まず、融合部１５５は、全ての明部領域を選択したか否かを判断し（ステップＳ１８１）、全ての明部領域を選択していない場合には、未選択の明部領域を選択する（ステップＳ１８２）。この際、融合部１５５は、明部領域３７０の位置番号ｎを選択する。次に、融合部１５５は、画像毎に第２の測距値を算出する（ステップＳ１８３）。この際、融合部１５５は、第２の測距値Ｄ２（１，ｎ）～Ｄ２（４，ｎ）を算出する。次に融合部１５５は、第２の測距値の中央値を算出する（ステップＳ１８４）。この際、融合部１５５は、中央値Ｄ２ｍｅｄを算出する。
　次に、融合部１５５は、中央値が所定の範囲内か否かを判断する（ステップＳ１８５）。その結果、中央値が所定の範囲内にない場合には（ステップＳ１８５，Ｎｏ）、融合部１５５は、第１の測距値を融合測距値として出力し（ステップＳ１８８）、ステップＳ１８１の処理に戻る。
　一方、ステップＳ１８５において、中央値が所定の範囲内の場合には（ステップＳ１８５，Ｙｅｓ）、融合部１５５は、重みを算出し（ステップＳ１８６）、第１の測距値及び第２の測距値を融合する（ステップＳ１８７）。次に、融合部１５５は、ステップＳ１８１の処理に戻る。
　ステップＳ１８１において、全ての明部領域を選択した場合には（ステップＳ１８１，Ｙｅｓ）、融合部１５５は、融合処理Ｓ１８０を修了する。
　これ以外の測距システム１の構成は本開示の第１の実施形態における測距システム１の構成と同様であるため、説明を省略する。
　このように、本開示の第３の測距システム１は、画像毎の第２の測距値のばらつきを算出し、第２の測距値のばらつきが所定の範囲内にない場合には、第１の測距値を融合測距値として出力する。三角測量による測距の誤差の混入を軽減することができ、測距の精度を向上させることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
　前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
　照射される前記パターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
　前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
　前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
　前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距装置。
（２）
　前記明部領域選択部は、前記検出された明部領域における前記画像信号と前記暗部に相当する領域における前記画像信号との差分に基づいて前記選択を行う
前記（１）に記載の測距装置。
（３）
　前記明部領域選択部は、前記複数の画像において検出されたそれぞれの前記明部領域のうち自身の前記明部領域が含まれる前記画像における前記暗部に相当する領域との前記差分が最大となる前記明部領域を選択する前記（２）に記載の測距装置。
（４）
　前記明部領域選択部は、自身の前記画像における前記暗部に相当する領域と前記明部領域との前記差分が最大となる前記画像に含まれる前記明部領域を選択する前記（２）に記載の測距装置。
（５）
　前記明部領域選択部は、前記検出された明部領域における前記画像信号のノイズ成分に基づいて前記選択を行う
前記（１）から（４）のいずれかに記載の測距装置。
（６）
　前記パターン光は、複数のドットが配置されたドットパターンである
前記（１）から（５）のいずれかに記載の測距装置。
（７）
　前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の重み付け加算により前記融合を行う
前記（１）から（６）のいずれかに記載の測距装置。
（８）
　前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の差分に応じた重みに基づいて前記重み付け加算を行う
前記（７）に記載の測距装置。
（９）
　明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する光源装置と、
　前記照射されたパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
　前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
　前記照射されたパターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
　前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
　前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
　前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
を有する測距システム。
　１　測距システム
　１０　測距装置
　２０　光源装置
　２１　光源部
　２２　駆動部
　１００　測距センサ
　１１０　画素アレイ部
　１５１　明部領域検出部
　１５２　第１の測距部
　１５３　明部領域選択部
　１５４　第２の測距部
　１５５　融合部
　２００　画素
　３５１～３５４　画像
　３６０　暗部領域
　３６１　周辺領域
　３７０、３７１　明部領域

Claims (9)

  1. 　明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
    　前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
    　照射された前記パターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
    　前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
    　前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
    　前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
    を有する測距装置。
  2. 　前記明部領域選択部は、前記検出された明部領域における前記画像信号と前記暗部に相当する領域における前記画像信号との差分に基づいて前記選択を行う
    請求項１に記載の測距装置。
  3. 　前記明部領域選択部は、前記複数の画像において検出されたそれぞれの前記明部領域のうち自身の前記明部領域が含まれる前記画像における前記暗部に相当する領域との前記差分が最大となる前記明部領域を選択する請求項２に記載の測距装置。
  4. 　前記明部領域選択部は、自身の前記画像における前記暗部に相当する領域と前記明部領域との前記差分が最大となる前記画像に含まれる前記明部領域を選択する請求項２に記載の測距装置。
  5. 　前記明部領域選択部は、前記検出された明部領域における前記画像信号のノイズ成分に基づいて前記選択を行う
    請求項１に記載の測距装置。
  6. 　前記パターン光は、複数のドットが配置されたドットパターンである
    請求項１に記載の測距装置。
  7. 　前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の重み付け加算により前記融合を行う
    請求項１に記載の測距装置。
  8. 　前記融合部は、前記算出された第１の測距値及び前記算出された第２の測距値の差分に応じた重みに基づいて前記重み付け加算を行う
    請求項７に記載の測距装置。
  9. 　明部及び暗部の２種類の輝度の発光期間及び非発光期間を繰り返すパルス列状のパターン光を照射する光源装置と、
    　前記照射されたパターン光が物体により反射された反射光を前記発光期間に同期するとともにそれぞれ異なる位相の受光期間に受光して複数の画像を生成する測距センサと、
    　前記複数の画像における前記パターン光の前記明部に相当する前記反射光の受光により生成された領域である明部領域を検出する明部領域検出部と、
    　前記照射されたパターン光と前記反射光との位相差を前記複数の画像において検出された前記明部領域に基づいて検出し、当該検出した位相差に基づいて前記物体までの距離である第１の測距値を算出する第１の測距部と、
    　前記画像を構成する画像信号に基づいて前記複数の画像において検出された前記明部領域の選択を行う明部領域選択部と、
    　前記選択された明部領域の前記画像における位置を用いた三角測量により前記物体までの距離である第２の測距値を算出する第２の測距部と、
    　前記算出された第１の測距値及び前記算出された第２の測距値の融合を行って融合測距値を生成する融合部と
    を有する測距システム。
PCT/JP2022/007176 2021-04-19 2022-02-22 測距装置及び測距システム Ceased WO2022224580A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/553,737 US20240192370A1 (en) 2021-04-19 2022-02-22 Distance measuring device and distance measuring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-070704 2021-04-19
JP2021070704A JP2022165344A (ja) 2021-04-19 2021-04-19 測距装置及び測距システム

Publications (1)

Publication Number Publication Date
WO2022224580A1 true WO2022224580A1 (ja) 2022-10-27

Family

ID=83722798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007176 Ceased WO2022224580A1 (ja) 2021-04-19 2022-02-22 測距装置及び測距システム

Country Status (3)

Country Link
US (1) US20240192370A1 (ja)
JP (1) JP2022165344A (ja)
WO (1) WO2022224580A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024233169A1 (en) * 2023-05-08 2024-11-14 Microsoft Technology Licensing, Llc Hybrid depth imaging with sparse subject irradiation and triangulation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240111965A (ko) * 2023-01-11 2024-07-18 에스케이하이닉스 주식회사 거리 측정을 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008687A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp 距離測定システム及び距離測定方法
JP2015175644A (ja) * 2014-03-13 2015-10-05 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US20180093377A1 (en) * 2013-03-15 2018-04-05 X Development Llc Determining a Virtual Representation of an Environment By Projecting Texture Patterns

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008687A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp 距離測定システム及び距離測定方法
US20180093377A1 (en) * 2013-03-15 2018-04-05 X Development Llc Determining a Virtual Representation of an Environment By Projecting Texture Patterns
JP2015175644A (ja) * 2014-03-13 2015-10-05 株式会社リコー 測距システム、情報処理装置、情報処理方法及びプログラム
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024233169A1 (en) * 2023-05-08 2024-11-14 Microsoft Technology Licensing, Llc Hybrid depth imaging with sparse subject irradiation and triangulation

Also Published As

Publication number Publication date
US20240192370A1 (en) 2024-06-13
JP2022165344A (ja) 2022-10-31

Similar Documents

Publication Publication Date Title
US11448757B2 (en) Distance measuring device
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
KR102604902B1 (ko) 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN101449181B (zh) 测距方法和用于确定目标的空间维度的测距仪
CN110988842A (zh) 激光雷达2d接收器阵列架构
JP2020517924A (ja) ピクセル構造
WO2018065426A1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US11513222B2 (en) Image sensors for measuring distance including delay circuits for transmitting separate delay clock signals
JP2020153799A (ja) 測距装置および測距方法
JP4363296B2 (ja) 距離画像センサ
WO2022224580A1 (ja) 測距装置及び測距システム
JP3906859B2 (ja) 距離画像センサ
EP3913400B1 (en) Distance image measurement device, distance image measurement system, and distance image measurement method
JP3906858B2 (ja) 距離画像センサ
JP2003247809A (ja) 距離情報入力装置
US20230078063A1 (en) Distance measurement device and distance measurement system
JP2023001122A (ja) 撮像装置
JP7592538B2 (ja) 光検出システム
JP2002195807A (ja) 光学式変位測定装置及びその投光光量補正方法
CN114174858A (zh) 半导体装置
WO2022259640A1 (ja) 測距センサ、測距装置及び測距方法
WO2022176498A1 (ja) 測距センサ及び測距装置
US11470261B2 (en) Three-dimensional distance measuring method and device
US20230258808A1 (en) Imaging element and imaging device
US20250370107A1 (en) Distance measuring device, distance measuring system, and distance measuring method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791362

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18553737

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22791362

Country of ref document: EP

Kind code of ref document: A1