WO2021059699A1 - 測距装置及び測距装置の制御方法、並びに、電子機器 - Google Patents

測距装置及び測距装置の制御方法、並びに、電子機器 Download PDF

Info

Publication number
WO2021059699A1
WO2021059699A1 PCT/JP2020/027983 JP2020027983W WO2021059699A1 WO 2021059699 A1 WO2021059699 A1 WO 2021059699A1 JP 2020027983 W JP2020027983 W JP 2020027983W WO 2021059699 A1 WO2021059699 A1 WO 2021059699A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
unit
measuring device
depth
distance measuring
Prior art date
Application number
PCT/JP2020/027983
Other languages
English (en)
French (fr)
Inventor
一輝 大橋
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/753,870 priority Critical patent/US20220373682A1/en
Publication of WO2021059699A1 publication Critical patent/WO2021059699A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals

Definitions

  • the present disclosure relates to a distance measuring device, a control method of the distance measuring device, and an electronic device.
  • distance measuring device As a distance measuring device (distance measuring device) that acquires distance information (distance image information) to the subject, there is a device (sensor) that uses the ToF (Time of Flight) method.
  • the ToF method irradiates a subject (measurement object) with light from a light source, and detects the flight time of the light until the irradiated light is reflected by the subject and returned to the light detection unit to reach the subject. This is a method for measuring distance.
  • pulsed light of a predetermined cycle emitted from a light source is reflected by a subject, and the cycle when the reflected light is received by the light detection unit is detected, and the position of the light emission cycle and the light reception cycle.
  • an indirect ToF method that measures the distance to the subject by measuring the light flight time from the phase difference (see, for example, Patent Document 1).
  • the maximum distance that can be measured is determined according to the emission frequency (emission cycle) of the laser light emitted from the light source, but if the maximum distance is exceeded, aliasing distortion called aliasing is performed. (Aliased distance) will occur. Then, for an object at a distance where aliasing occurs (alias distance), the actual measurement distance becomes closer than the original correct distance (true distance). As a result, the distance measurement result of the object at the alias distance is output as an erroneous distance measurement result, and in the subsequent system that performs various controls based on the distance measurement result, the erroneous control is performed. ..
  • the present disclosure is a distance measuring device and a distance measuring device capable of invalidating the distance measuring result of an object at an alias distance and outputting only the distance measuring result of an object whose correct distance (true distance) is measured. It is an object of the present invention to provide a control method of a device and an electronic device having the distance measuring device.
  • the ranging device of the present disclosure for achieving the above object is Photodetector that receives light from the subject, A depth calculation unit that calculates the depth information of the subject based on the output of the light detection unit, and An artifact removal unit that divides an image into segments based on the depth information calculated by the depth calculation unit, enables segments in which the number of pixels in each segment exceeds a predetermined threshold value, and invalidates segments below a predetermined threshold value. To be equipped.
  • a photodetector that receives light from the subject, and Depth calculation unit, which calculates the depth information of the subject based on the output of the light detection unit,
  • Depth calculation unit which calculates the depth information of the subject based on the output of the light detection unit
  • the electronic device of the present disclosure for achieving the above object has a distance measuring device having the above configuration.
  • FIG. 1 is a conceptual diagram of a ToF type ranging system.
  • FIG. 2 is a block diagram showing an example of the configuration of a ToF type distance measuring device to which the technique of the present disclosure is applied.
  • FIG. 3 is a block diagram showing an example of the configuration of the photodetector in the distance measuring device.
  • FIG. 4 is a circuit diagram showing an example of a pixel circuit configuration in the photodetector.
  • FIG. 5 is a timing waveform diagram for explaining the calculation of the distance in the ToF type distance measuring device.
  • FIG. 6 is a block diagram showing an example of the configuration of the distance image calculation unit of the distance measuring unit in the distance measuring device.
  • FIG. 7 is a diagram showing the relationship between the true depth and the distance measurement depth when the laser drive frequency is 100 MHz.
  • FIG. 8A is a diagram showing the size of the subject reflected in the image when the true depth is 1.0 m and the distance measurement depth is 1.0 m
  • FIG. 8B is a diagram showing the true depth of 2.5 m and the distance measurement depth of 1.0 m. It is a figure which shows the size of the subject which appears in the image in the case of.
  • FIG. 9 is a flowchart showing an example of a process for solving an aliasing problem executed by the distance measuring device according to the embodiment of the present disclosure.
  • FIG. 10 is a block diagram showing a modified example of the embodiment of the present disclosure.
  • FIG. 11A is an external view of the smartphone according to the specific example 1 of the electronic device of the present disclosure as viewed from the front side
  • FIG. 11B is an external view as viewed from the back side.
  • FIG. 12A is an external view of the digital still camera according to the second embodiment of the electronic device of the present disclosure as viewed from the front side
  • FIG. 12B is an external view as viewed from the back side.
  • Aliasing issues 4 Embodiments of the present disclosure 4-1. Processing example for solving the aliasing problem 4-2. Threshold setting for the number of pixels in a segment 5. Modification example 6. Application example 7. Electronic device of the present disclosure 7-1. Specific example 1 (example of smartphone) 7-2. Specific example 2 (example of digital still camera) 8. Configuration that can be taken by this disclosure
  • each segment of the artifact removing unit can be labeled, and a component object can be created for each label.
  • the artifact removing unit can be configured to be labeled differently for each segment by the process of labeling the nearby pixels and the pixels having continuous depth information with the same label.
  • the component object can be configured to have the number of pixels of the segment and the average depth.
  • the artifact removing unit may be configured to change a predetermined threshold value according to the distance of the segment from the distance measuring device. Further, the artifact removing unit can be configured such that the distance of the segment from the distance measuring device sets a large threshold value for a relatively short short distance and a small threshold value for a relatively long long distance. ..
  • FIG. 1 is a conceptual diagram of a ToF type ranging system.
  • the ToF method is adopted as a measuring method for measuring the distance to the subject 10 which is a measurement target.
  • the ToF method is a method of measuring the time until the light emitted toward the subject 10 is reflected by the subject 10 and returned.
  • the distance measuring device 1 emits light emitted toward the subject 10 (for example, a laser beam having a peak wavelength in the infrared wavelength region), and a light source 20 and the subject.
  • the light detection unit 30 for detecting the reflected light reflected by 10 and returned is provided.
  • FIG. 2 is a block diagram showing an example of the configuration of a ToF type distance measuring device to which the technique of the present disclosure is applied.
  • the ranging device 1 according to the present application example (that is, the ranging device 1 of the present disclosure) performs exposure control based on a signal value output by the light detection unit 30 in addition to the light source 20 and the light detection unit 30. (Automatic Exposure) A control unit 40 and a distance measuring unit 50 are provided. Then, the ToF type distance measuring device 1 according to this application example detects the distance information for each pixel of the photodetector 30, and acquires a highly accurate distance image (Deptth Map: depth map) in units of imaging frames. be able to.
  • Deptth Map depth map
  • the distance measuring device 1 is an indirect ToF type distance measuring device (so-called indirect ToF type distance image sensor).
  • the indirect ToF type ranging device 1 detects the cycle when the pulsed light of a predetermined cycle emitted from the light source 20 is reflected by the measurement object (subject) and the reflected light is received by the photodetector 30. Then, the distance to the object to be measured is measured by measuring the light flight time from the phase difference between the period of light emission and the period of light reception.
  • the light source 20 irradiates light toward the object to be measured by repeating the on / off operation at a predetermined cycle under the control of the AE control unit 40.
  • As the irradiation light of the light source 20 for example, near-infrared light in the vicinity of 850 nm is often used.
  • the light detection unit 30 receives the light emitted from the light source 20 after being reflected by the object to be measured and returns, and detects the distance information for each pixel.
  • the light detection unit 30 outputs the RAW image data of the current frame including the distance information detected for each pixel and the light emission / exposure setting information, and supplies the RAW image data to the AE control unit 40 and the distance measuring unit 50.
  • the AE control unit 40 has a configuration including a next frame light emission / exposure condition calculation unit 41 and a next frame light emission / exposure control unit 42.
  • the next frame emission / exposure condition calculation unit 41 calculates the emission / exposure condition of the next frame based on the RAW image data of the current frame supplied from the light detection unit 30 and the emission / exposure setting information.
  • the light emission / exposure conditions of the next frame are the light emission time and light emission intensity of the light source 20 when acquiring the distance image of the next frame, and the exposure time of the photodetector 30.
  • the next frame light emission / exposure control unit 42 detects the light emission time, light emission intensity, and light detection of the light source 20 of the next frame based on the light emission / exposure conditions of the next frame calculated by the next frame light emission / exposure condition calculation unit 41.
  • the exposure time of the part 30 is controlled.
  • the distance measuring unit 50 has a configuration including a distance image calculation unit 51 that calculates a distance image.
  • the distance image calculation unit 51 calculates a distance image by performing a calculation using the RAW image data of the current frame including the distance information detected for each pixel of the light detection unit 30, and obtains the depth, which is the depth information of the subject, and the depth, which is the depth information of the subject.
  • the distance image information including each information of the reliability value which is the light receiving information of the light detection unit 30 is output to the outside of the distance measuring device 1.
  • the distance image is, for example, an image in which a distance value (depth / depth value) based on the distance information detected for each pixel is reflected in each pixel.
  • FIG. 3 is a block diagram showing an example of the configuration of the photodetector 30.
  • the photodetector 30 has a laminated structure including a sensor chip 31 and a circuit chip 32 laminated to the sensor chip 31.
  • the sensor chip 31 and the circuit chip 32 are electrically connected through a connecting portion (not shown) such as a via (VIA) or a Cu—Cu junction.
  • FIG. 3 illustrates a state in which the wiring of the sensor chip 31 and the wiring of the circuit chip 32 are electrically connected via the above-mentioned connection portion.
  • a pixel array unit 33 is formed on the sensor chip 31.
  • the pixel array unit 33 includes a plurality of pixels 34 arranged in a matrix (array shape) in a two-dimensional grid pattern on the sensor chip 31.
  • each of the plurality of pixels 34 receives incident light (for example, near-infrared light), performs photoelectric conversion, and outputs an analog pixel signal.
  • Two vertical signal lines VSL 1 and VSL 2 are wired in the pixel array unit 33 for each pixel row. Assuming that the number of pixel rows of the pixel array unit 33 is M (M is an integer), a total of (2 ⁇ M) vertical signal lines VSL are wired to the pixel array unit 33.
  • Each of the plurality of pixels 34 has a first tap A and a second tap B (details thereof will be described later).
  • the vertical signal line VSL 1 outputs an analog pixel signal AIN P1 based on the charge of the first tap A of the pixel 34 of the corresponding pixel sequence.
  • an analog pixel signal AIN P2 based on the charge of the second tap B of the pixel 34 of the corresponding pixel sequence is output to the vertical signal line VSL 2.
  • the analog pixel signals AIN P1 and AIN P2 will be described later.
  • a row selection unit 35, a column signal processing unit 36, an output circuit unit 37, and a timing control unit 38 are arranged on the circuit chip 32.
  • the row selection unit 35 drives each pixel 34 of the pixel array unit 33 in units of pixel rows, and outputs pixel signals AIN P1 and AIN P2. Under the drive of the row selection unit 35, the analog pixel signals AIN P1 and AIN P2 output from the pixel 34 of the selected row are supplied to the column signal processing unit 36 through the two vertical signal lines VSL 1 and VSL 2. To.
  • the column signal processing unit 36 has a configuration having, for example, a plurality of analog-to-digital converters (ADCs) 39 provided for each pixel array corresponding to the pixel array of the pixel array unit 33.
  • the analog-to-digital converter 39 performs analog-to-digital conversion processing on the analog pixel signals AIN P1 and AIN P2 supplied through the vertical signal lines VSL 1 and VSL 2, and outputs them to the output circuit unit 37.
  • the output circuit unit 37 executes CDS (Correlated Double Sampling) processing or the like on the digitized pixel signals AIN P1 and AIN P2 output from the column signal processing unit 36, and outside the circuit chip 32. Output to.
  • CDS Correlated Double Sampling
  • the timing control unit 38 generates various timing signals, clock signals, control signals, etc., and drives the row selection unit 35, the column signal processing unit 36, the output circuit unit 37, etc. based on these signals. Take control.
  • FIG. 4 is a circuit diagram showing an example of the circuit configuration of the pixel 34 in the photodetector 30.
  • the pixel 34 has, for example, a photodiode 341 as a photoelectric conversion unit.
  • the pixel 34 includes overflow transistors 342, two transfer transistors 343, 344, two reset transistors 345, 346, two floating diffusion layers 347, 348, two amplification transistors 349, 350, and two. It has a configuration having one selection transistor 351 and 352.
  • the two floating diffusion layers 347 and 348 correspond to the first and second taps A and B (hereinafter, may be simply referred to as "tap A and B") shown in FIG. 3 described above.
  • the photodiode 341 photoelectrically converts the received light to generate an electric charge.
  • the photodiode 341 may have, for example, a back-illuminated pixel structure that captures light emitted from the back surface side of the substrate.
  • the pixel structure is not limited to the back-illuminated pixel structure, and a surface-irradiated pixel structure that captures the light emitted from the surface side of the substrate can also be used.
  • the overflow transistor 342 is connected between the cathode electrode of the photodiode 341 and the power supply line of the power supply voltage V DD , and has a function of resetting the photodiode 341. Specifically, the overflow transistor 342 becomes conductive in response to the overflow gate signal OFG supplied from the row selection unit 35, so that the electric charge of the photodiode 341 is sequentially discharged to the power supply line of the power supply voltage V DD. To do.
  • the two transfer transistors 343 and 344 are connected between the cathode electrode of the photodiode 341 and each of the two floating diffusion layers 347 and 348 (tap A and B). Then, the transfer transistors 343 and 344 are brought into a conductive state in response to the transfer signal TRG supplied from the row selection unit 35, so that the charges generated by the photodiode 341 are sequentially transferred to the floating diffusion layers 347 and 348, respectively. Transfer to.
  • the floating diffusion layers 347 and 348 corresponding to the first and second taps A and B accumulate the electric charge transferred from the photodiode 341 and convert it into a voltage signal having a voltage value corresponding to the amount of the electric charge, and convert it into an analog voltage signal. Generates pixel signals AIN P1 and AIN P2.
  • the two reset transistors 345 and 346 are connected between each of the two floating diffusion layers 347 and 348 and the power supply line of the power supply voltage V DD. Then, the reset transistors 345 and 346 are brought into a conductive state in response to the reset signal RST supplied from the row selection unit 35, so that charges are extracted from each of the floating diffusion layers 347 and 348, and the amount of charges is initialized. To do.
  • the two amplification transistors 349 and 350 are connected between the power supply line of the power supply voltage V DD and each of the two selection transistors 351 and 352, and are converted from electric charge to voltage by the floating diffusion layers 347 and 348, respectively. Each voltage signal is amplified.
  • the two selection transistors 351 and 352 are connected between the two amplification transistors 349 and 350 and the vertical signal lines VSL 1 and VSL 2, respectively. Then, the selection transistors 351 and 352 enter a conductive state in response to the selection signal SEL supplied from the row selection unit 35, so that the voltage signals amplified by the amplification transistors 349 and 350 are converted into analog pixel signals. Output to two vertical signal lines VSL 1 and VSL 2 as AIN P1 and AIN P2.
  • the two vertical signal lines VSL 1 and VSL 2 are connected to the input end of one analog-to-digital converter 39 in the column signal processing unit 36 for each pixel row, and are output from the pixel 34 for each pixel row.
  • the analog pixel signals AIN P1 and AIN P2 are transmitted to the analog-to-digital converter 39.
  • the circuit configuration of the pixel 34 is not limited to the circuit configuration illustrated in FIG. 3 as long as it can generate analog pixel signals AIN P1 and AIN P2 by photoelectric conversion.
  • FIG. 5 is a timing waveform diagram for explaining the calculation of the distance in the ToF type distance measuring device 1.
  • the light source 20 and the light detection unit 30 in the ToF type distance measuring device 1 operate at the timing shown in the timing waveform diagram of FIG.
  • Light source 20 under control by the AE control unit 40 for a predetermined period, for example, only during the period of the pulse emission time T p, for irradiating light to the object of measurement.
  • the irradiation light emitted from the light source 20 is reflected by the object to be measured and returned. This reflected light (active light) is received by the photodiode 341.
  • the time for the photodiode 341 to receive the reflected light after the irradiation of the irradiation light to the measurement object is started, that is, the light flight time is the time corresponding to the distance from the distance measuring device 1 to the measurement object. ..
  • photodiode 341 from the time the irradiation is started in the irradiation light, only during the period of the pulse emission time T p, for receiving reflected light from the object to be measured. At this time, as the light received by the photodiode 341, the light radiated to the object to be measured is reflected by an object, the atmosphere, or the like in addition to the reflected light (active light) that is reflected by the object to be measured and returned. -Scattered ambient light is also included.
  • the charge photoelectrically converted by the photodiode 341 is transferred to the tap A (floating diffusion layer 347) and accumulated. Then, a signal n 0 of a voltage value corresponding to the amount of electric charge accumulated in the floating diffusion layer 347 is acquired from the tap A.
  • the charge photoelectrically converted by the photodiode 341 is transferred to the tap B (suspended diffusion layer 348) and accumulated. Then, a signal n 1 having a voltage value corresponding to the amount of electric charge accumulated in the floating diffusion layer 348 is acquired from the tap B.
  • the tap A and the tap B are driven by 180 degrees out of phase of the accumulation timing (driving with the phases completely reversed), so that the signal n 0 and the signal n 1 are acquired, respectively. To. Then, such driving is repeated a plurality of times, and the signal n 0 and the signal n 1 are accumulated and integrated to acquire the accumulated signal N 0 and the accumulated signal N 1 , respectively.
  • the stored signal N 0 and the stored signal N 1 include ambient light that is reflected and scattered by an object or the atmosphere. Ingredients are also included. Therefore, in the above-mentioned operation, in order to remove the influence of the ambient light component and leave the reflected light (active light) component, the signal n 2 based on the ambient light is also accumulated and integrated, and the environment. The accumulated signal N 2 for the optical component is acquired.
  • the distance D from the distance measuring device 1 to the object to be measured can be calculated by the arithmetic processing based on the above.
  • D represents the distance from the distance measuring device 1 to the object to be measured
  • c represents the speed of light
  • T p represents the pulse emission time
  • the distance image calculation unit 51 shown in FIG. 2 is output from the photodetection unit 30 by using the storage signal N 0 and the storage signal N 1 including the ambient light component and the storage signal N 2 for the ambient light component.
  • the distance D from the distance measuring device 1 to the object to be measured is calculated by the arithmetic processing based on the above equations (1) and (2), and is output as the distance image information.
  • the distance image information for example, image information colored with a color having a density corresponding to the distance D can be exemplified.
  • the calculated distance D is output as the distance image information, but the calculated distance D may be output as the distance information as it is.
  • FIG. 6 shows an example of the configuration of the distance image calculation unit 51 of the distance measuring unit 50 in the distance measuring device 1.
  • the distance image calculation unit 51 according to this example has a configuration including a depth calculation unit 511, a calibration unit 512, a noise reduction unit 513, and an artifact removal unit 514.
  • the depth calculation unit 511 uses the RAW image data given by the light detection unit 30 to reflect the light emitted from the light source 20 on the subject and detect the reflected light. Depth information and reliability value information are calculated from the phase difference reached by the unit 30.
  • the "depth” is the depth information (distance information) of the subject
  • the "reliability value” is the light receiving information of the photodetector 30, and the light emitted from the light source 20 is the subject. It is the amount (degree) of reflected light that is reflected and returned to the photodetector 30.
  • the calibration unit 512 matches the phase of the light emitted from the light source 20 with the light incident on the photodetector 30, and performs calibration processing such as waveform correction and temperature correction.
  • the noise reduction unit 513 is composed of, for example, a low-pass filter, and performs a process of reducing noise.
  • the artifact removing unit 514 has various filter functions, and for each information of the depth and the reliability value passed through the noise reducing unit 513, the distance measurement is incorrect or the light receiving reliability value of the photodetector unit 30 is low. Perform the process of excluding things.
  • the configurations in which the calibration unit 512, the noise reduction unit 513, and the artifact removal unit 514 are arranged in that order are illustrated, but the order of arrangement is arbitrary, that is, changed. You may.
  • the maximum distance that can be measured is determined according to the emission frequency (emission cycle) of the laser light emitted from the light source 20.
  • FIG. 7 shows the relationship between the true depth and the distance measurement depth when the laser drive frequency (emission frequency) of the light source 20 is 100 MHz.
  • the maximum distance that can be measured is 1.5 m.
  • the distance is measured based on the phase difference, and it returns to the same phase after one round. Therefore, when the distance to the subject exceeds the maximum distance that can be measured, aliasing (folded distance) occurs. It will occur. Aliasing problems are particularly likely to occur in high-reflectivity subjects with a large specular reflection component, such as metal and glass.
  • the actual measurement distance (distance measurement depth) is closer than the original correct distance (true depth).
  • the actual measurement distance (distance measurement depth) of a subject at a distance of 2.5 m is 1.0 m.
  • the distance measurement result of the object at the alias distance is output from the distance measurement device 1 as an erroneous distance measurement result.
  • FIG. 8A The size of the subject reflected in the image when the true depth is 1.0 m and the distance measuring depth is 1.0 m is shown in FIG. 8A, and the size of the subject reflected in the image when the true depth is 2.5 m and the distance measuring depth is 1.0 m is shown.
  • the size is shown in FIG. 8B.
  • FIG. 8B is an example in the case of a subject at an alias distance.
  • the distance measuring distance (distance measuring depth) is the same 1.0 m.
  • the distance is measured at the same distance of 1.0 m, but the size of the subject is different. That is, the size of the subject reflected in the image is smaller in the case of the true depth of 2.5 m (FIG. 8B) than in the case of the true depth of 1.0 m (FIG. 8A). This means that the size of the subject reflected in the image differs depending on the distance of the subject from the distance measuring device 1.
  • the processor constituting the artifact removal unit 514 divides the image into segments (parts / objects) based on the depth information calculated by the depth calculation unit 511 in FIG. Perform the process (step S11).
  • process constituting the artifact removal unit 514 divides the image into segments (parts / objects) based on the depth information calculated by the depth calculation unit 511 in FIG. Perform the process (step S11).
  • this segmentation process taking the cases of FIGS. 8A and 8B as an example, a process of dividing a large background portion and a round portion in the center into segments is performed.
  • the processor performs a labeling process for assigning labels 1 to n (n is an integer of 2 or more) to each segment (step S12).
  • n is an integer of 2 or more
  • the image is scanned line by line, and the same label is attached to pixels in which neighboring pixels and depth information are continuous, so that different labels are assigned to each segment (part / object). ..
  • the processor creates a component object for each label 1 to n (step S13).
  • the "component object” is the number of pixels of the segment and the depth average value (distance average value).
  • the threshold value of the number of pixels of the segment is determined in consideration of the distance for each segment. More specifically, for a short distance where the distance of the segment from the distance measuring device 1 is relatively short. Set the threshold value large and set the threshold value for relatively long distances small.
  • a predetermined distance for example, 1 m
  • a reference for example, 1 m
  • the threshold value of the number of pixels of the segment is not limited to the two patterns of short distance / long distance, and may be further subdivided and increased to three or more patterns. Details of setting the threshold value for the number of pixels in the segment will be described later.
  • the processor determines whether or not the number of pixels exceeds the threshold value for the segment of label 1 (step S16). In this determination process, when the processor determines that the number of pixels exceeds the threshold value (YES in S16), the segment is valid (step S17), and when it determines that the number of pixels is equal to or less than the threshold value (YES in S16). NO in S16), the segment is invalidated (step S18).
  • step S19 the processor determines whether or not the process of valid / invalidating the segment is completed for all the labels 1 to n (step S19), and the process is completed. If (YES in S19), the above-mentioned series of processes for solving the aliasing problem is completed. If the processor has not finished for all labels 1 to n (NO in S19), the processor returns to step S14 and increments the label counter i, and thereafter, the processes of steps S15 to S19 are performed for all labels 1 to n. Is repeatedly executed until it is determined that the valid / invalid processing of the segment is completed.
  • the depth calculation unit 511 calculates the depth information of the subject based on the RAW image data given by the light detection unit 30, and segmentation is performed based on the depth information. Processing is performed and processing is performed to invalidate segments whose number of pixels is smaller than the threshold value.
  • the aliasing problem which is a problem peculiar to the indirect ToF type distance measuring device, can be solved. That is, the distance measurement result of the object at the alias distance is not output from the distance measurement device 1 as an erroneous distance measurement result, and only the distance measurement result of the object for which the correct distance (true distance) is measured. Can be output.
  • the size of the subject (object) to be distance-measured is defined, the number of pixels of the segment to be imaged for each distance is calculated from the focal length and pixel pitch of the light detection unit 30, and the calculated number of pixels is used as a threshold value. be able to.
  • -For the subject to be distance-measured select an object that is particularly prone to aliasing tasks, such as metal or glass, which has a high specular reflection component and high reflectance.
  • aliasing problem does not occur in the entire object where the aliasing problem is likely to occur, but tends to occur in the vicinity of the region where the laser beam faces. Therefore, even if it is a large object (subject), the size of the area where the aliasing problem occurs may be set.
  • the technique of the present disclosure has been described above based on the preferred embodiment, the technique of the present disclosure is not limited to the embodiment.
  • the configuration and structure of the distance measuring device described in each of the above embodiments are examples, and can be changed as appropriate.
  • the threshold value of the number of pixels of the segment is determined based on the depth average value, but the present invention is not limited to this, and the following configuration can be adopted.
  • the RGB camera 61 is used, and the threshold value for each subject is set in advance. Then, the object recognition unit 62 recognizes the subject based on the image pickup output of the RGB camera 61, and the parameter control unit 63 determines a preset threshold value based on the recognition result.
  • the subject recognition is not performed based on the output of the RGB camera 61, but is performed based on the final output of the distance measuring device 1, that is, the distance image information including each information of the depth and the reliability value. Alternatively, it may be performed based on both the output of the RGB camera 61 and the final output of the distance measuring device 1.
  • the ranging device of the present disclosure is a moving object of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It can be used as a distance measuring device mounted on the vehicle. Further, in the above embodiment, the case where the distance measuring device of the present disclosure is used as a means for acquiring a distance image (depth map) has been described as an example, but it is not only used as a means for acquiring a distance image. , Can be applied to autofocus, which automatically focuses the camera.
  • the distance measuring device of the present disclosure described above can be used as a distance measuring device mounted on various electronic devices.
  • Examples of electronic devices equipped with a distance measuring device include mobile devices such as smartphones, digital cameras, and tablets. However, it is not limited to mobile devices.
  • smartphones and digital still cameras will be illustrated as specific examples of electronic devices using the distance measuring device of the present disclosure.
  • the distance image information (depth information) of the distance measuring device mounted on the smartphone and the digital still camera is used as the lens driving information for autofocus.
  • the specific examples illustrated here are only examples, and are not limited to these specific examples.
  • FIG. 11A shows an external view of the smartphone according to the specific example 1 of the electronic device of the present disclosure as seen from the front side
  • FIG. 11B shows an external view as seen from the back side.
  • the smartphone 100 according to this specific example includes a display unit 120 on the front side of the housing 110. Further, the smartphone 100 is provided with an image pickup unit 130 on the upper side of the back surface side of the housing 110, for example.
  • the distance measuring device 1 can be mounted on, for example, a smartphone 100 which is an example of a mobile device having the above configuration.
  • the light source 20 and the light detection unit 30 of the distance measuring device 1 can be arranged in the vicinity of the imaging unit 130, for example, as shown in FIG. 11B.
  • the arrangement example of the light source 20 and the light detection unit 30 shown in FIG. 11B is an example, and is not limited to this arrangement example.
  • the smartphone 100 according to the specific example 1 is manufactured by mounting the distance measuring device 1 according to the embodiment of the present disclosure. Then, since the smartphone 100 according to the specific example 1 can obtain an accurate distance measurement result while solving the aliasing problem by mounting the above distance measurement device 1, the focus can be obtained based on the distance measurement result. A suitable captured image can be obtained.
  • FIG. 12B is an external view of the interchangeable lens type single-lens reflex type digital still camera according to Specific Example 2 of the electronic device of the present disclosure as viewed from the front side, and FIG. 12B is an external view as viewed from the back side.
  • the interchangeable lens single-lens reflex type digital still camera 200 has, for example, an interchangeable photographing lens unit (interchangeable lens) 212 on the front right side of the camera body (camera body) 211, and is gripped by the photographer on the front left side. It has a grip portion 213 for using the lens.
  • a monitor 214 is provided at substantially the center of the back surface of the camera body 211.
  • a viewfinder (eyepiece window) 215 is provided above the monitor 214. By looking into the viewfinder 215, the photographer can visually recognize the optical image of the subject guided by the photographing lens unit 212 and determine the composition.
  • the ranging device 1 can be mounted on, for example, a digital still camera 200 which is an example of a mobile device having the above configuration.
  • the light source 20 and the light detection unit 30 of the distance measuring device 1 can be arranged in the vicinity of the photographing lens unit 212, for example, as shown in FIG. 12A.
  • the arrangement example of the light source 20 and the light detection unit 30 shown in FIG. 12A is an example, and is not limited to this arrangement example.
  • the digital still camera 200 according to the second embodiment is manufactured by mounting the distance measuring device 1 according to the embodiment of the present disclosure. Then, since the digital still camera 200 according to the specific example 2 can obtain an accurate distance measurement result while solving the aliasing problem by mounting the above distance measurement device 1, it is possible to obtain an accurate distance measurement result based on the distance measurement result. An in-focus captured image can be obtained.
  • the present disclosure may also have the following configuration.
  • A. Distance measuring device ⁇ [A-1] A photodetector that receives light from a subject, A depth calculation unit that calculates the depth information of the subject based on the output of the light detection unit, and An artifact removal unit that divides an image into segments based on the depth information calculated by the depth calculation unit, enables segments in which the number of pixels in each segment exceeds a predetermined threshold value, and invalidates segments below a predetermined threshold value. A distance measuring device equipped with. [A-2] The artifact removal unit labels each segment and creates a component object for each label. The distance measuring device according to the above [A-1].
  • the artifact removal unit assigns a different label to each segment by a process of labeling neighboring pixels and pixels having continuous depth information with the same label.
  • the component object is the number of pixels and the average depth of the segment.
  • the artifact removal unit changes a predetermined threshold value according to the distance of the segment from the distance measuring device.
  • [A-6] The artifact removing unit sets a large threshold value for a relatively short distance and a small threshold value for a relatively long distance for the distance of the segment from the distance measuring device.
  • ⁇ B. Electronic equipment [B-1] Photodetector that receives light from the subject, A depth calculation unit that calculates the depth information of the subject based on the output of the light detection unit, and An artifact removal unit that divides an image into segments based on the depth information calculated by the depth calculation unit, enables segments in which the number of pixels in each segment exceeds a predetermined threshold value, and invalidates segments below a predetermined threshold value. An electronic device having a ranging device. [B-2] The artifact removal unit labels each segment and creates a component object for each label. The electronic device according to the above [B-1].
  • the artifact removal unit assigns a different label to each segment by a process of labeling neighboring pixels and pixels having continuous depth information with the same label.
  • the component object is the number of pixels and the average depth of the segment.
  • the artifact removal unit changes a predetermined threshold value according to the distance of the segment from the distance measuring device.
  • the artifact removing unit sets a large threshold value for a relatively short distance and a small threshold value for a relatively long distance for the distance of the segment from the distance measuring device.
  • 1 ... Distance measuring device, 10 ... Subject (measurement object), 20 ... Light source, 30 ... Light detection unit, 40 ... AE control unit, 41 ... Next frame light emission / exposure Condition calculation unit, 42 ... Next frame light emission / exposure control unit, 50 ... Distance measurement unit, 51 ... Distance image calculation unit, 61 ... RGB camera, 62 ... Object recognition unit, 63. ⁇ ⁇ Parameter control unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示の測距装置は、被写体からの光を受光する光検出部、光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部を備える。

Description

測距装置及び測距装置の制御方法、並びに、電子機器
　本開示は、測距装置及び測距装置の制御方法、並びに、電子機器に関する。
　被写体までの距離情報（距離画像情報）を取得する測距装置（距離測定装置）として、ＴｏＦ（Time of Flight：光飛行時間）方式を利用した装置（センサ）がある。ＴｏＦ方式は、被写体（測定対象物）に対して光源から光を照射し、その照射光が被写体で反射されて光検出部に戻ってまでの光の飛行時間を検出することにより、被写体までの距離を測定する方式である。
　ＴｏＦ方式の一つとして、光源から発した所定の周期のパルス光が被写体で反射し、その反射光を光検出部が受光した際の周期を検出し、発光の周期と受光の周期との位相差から光飛行時間を計測することにより、被写体までの距離を測定する間接（indirect）ＴｏＦ方式がある（例えば、特許文献１参照）。
特開２０１６－０３５３９８号公報
　間接ＴｏＦ方式の測距装置では、光源から出射されるレーザ光の発光周波数（発光周期）に応じて測距可能な最大距離が決まるが、その最大距離を超えると、エイリアシングと呼称される折り返しひずみ（折り返した距離）が発生してしまう。そして、エイリアシングが発生する距離（エイリアス距離）にある物体については、実際の測定距離が、本来の正しい距離（真の距離）よりも近くなる。これにより、エイリアス距離にある物体の測距結果については、誤った測距結果として出力され、当該測距結果に基づいて各種の制御を行う後段のシステムでは、誤った制御が行われることになる。
　本開示は、エイリアス距離にある物体の測距結果を無効にし、正しい距離（真の距離）が測定されている物体の測距結果のみを出力することができる測距装置測距装置及び測距装置の制御方法、並びに、当該測距装置を有する電子機器を提供することを目的とする。
　上記の目的を達成するための本開示の測距装置は、
　被写体からの光を受光する光検出部、
　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
　深度計算部が算出した深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
　を備える。
　上記の目的を達成するための本開示の測距装置の制御方法は、
　被写体からの光を受光する光検出部、及び、
　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、
　を備える測距装置において、
　深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とする。
　また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距装置を有する。
図１は、ＴｏＦ方式の測距システムの概念図である。 図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。 図３は、測距装置における光検出部の構成の一例を示すブロック図である。 図４は、光検出部における画素の回路構成の一例を示す回路図である。 図５は、ＴｏＦ方式の測距装置における距離の算出について説明するためのタイミング波形図である。 図６は、測距装置における測距部の距離画像計算部の構成の一例を示すブロック図である。 図７は、レーザ駆動周波数が１００ＭＨｚのときの真の深度と測距深度との関係を示す図である。 図８Ａは、真の深度１．０ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを示す図であり、図８Ｂは、真の深度２．５ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを示す図である。 図９は、本開示の実施形態に係る測距装置によって実行される、エイリアシング課題を解決するための処理の一例を示すフローチャートである。 図１０は、本開示の実施形態の変形例を示すブロック図である。 図１１Ａは、本開示の電子機器の具体例１に係るスマートフォンの正面側から見た外観図であり、図１１Ｂは、裏面側から見た外観図である。 図１２Ａは、本開示の電子機器の具体例２に係るデジタルスチルカメラの正面側から見た外観図であり、図１２Ｂは、裏面側から見た外観図である。
　以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の測距装置及び電子機器、全般に関する説明
２．ＴｏＦ方式の測距システム
３．本開示の技術が適用される測距装置
　３－１．システム構成
　３－２．光検出部の構成例
　３－３．画素の回路構成例
　３－４．距離画像計算部の構成例
　３－５．エイリアシング課題について
４．本開示の実施形態
　４－１．エイリアシング課題を解決するための処理例
　４－２．セグメントのピクセル数の閾値設定
５．変形例
６．応用例
７．本開示の電子機器
　７－１．具体例１（スマートフォンの例）
　７－２．具体例２（デジタルスチルカメラの例）
８．本開示がとることができる構成
＜本開示の測距装置及び電子機器、全般に関する説明＞
　本開示の測距装置及び電子機器にあっては、アーティファクト除去部について、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する構成とすることができる。また、アーティファクト除去部について、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付ける構成とすることができる。また、コンポーネントオブジェクトについて、セグメントのピクセル数及び深度平均値である構成とすることができる。
　上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、アーティファクト除去部について、測距装置からのセグメントの距離に応じて所定の閾値を変更する構成とすることができる。また、アーティファクト除去部について、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する構成とすることができる。
＜ＴｏＦ方式の測距システム＞
　図１は、ＴｏＦ方式の測距システムの概念図である。本例に係る測距装置１では、測定対象物である被写体１０までの距離を測定する測定方式として、ＴｏＦ方式が採用されている。ＴｏＦ方式は、被写体１０に向けて照射した光が、当該被写体１０で反射されて戻ってくるまでの時間を測定する方式である。ＴｏＦ方式による距離測定を実現するために、測距装置１は、被写体１０に向けて照射する光（例えば、赤外の波長領域にピーク波長を有するレーザ光）を出射する光源２０、及び、被写体１０で反射されて戻ってくる反射光を検出する光検出部３０を備えている。
＜本開示の技術が適用される測距装置＞
［システム構成］
　図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。本適用例に係る測距装置１（即ち、本開示の測距装置１）は、光源２０及び光検出部３０の他に、光検出部３０が出力する信号値に基づいて露光制御を行うＡＥ（Automatic Exposure：自動露光）制御部４０、及び、測距部５０を備えている。そして、本適用例に係るＴｏＦ方式の測距装置１は、光検出部３０の画素毎に距離情報を検出し、高精度な距離画像（Ｄｅｐｔｈ　Ｍａｐ：深度マップ）を撮像フレームの単位で取得することができる。
　本適用例に係る測距装置１は、間接（Indirect）ＴｏＦ方式の測距装置（所謂、間接ＴｏＦ方式の距離画像センサ）である。間接ＴｏＦ方式の測距装置１は、光源２０から発した所定の周期のパルス光が測定対象物（被写体）で反射し、その反射光を光検出部３０が受光した際の周期を検出する。そして、発光の周期と受光の周期との位相差から光飛行時間を計測することで、測定対象物までの距離を測定する。
　光源２０は、ＡＥ制御部４０による制御の下に、オン／オフ動作を所定の周期で繰り返すことによって測定対象物に向けて光を照射する。光源２０の照射光としては、例えば、８５０ｎｍ付近の近赤外光が利用されることが多い。光検出部３０は、光源２０からの照射光が測定対象物で反射されて戻ってくる光を受光し、画素毎に距離情報を検出する。光検出部３０からは、画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データ、及び、発光・露光設定情報が出力され、ＡＥ制御部４０及び測距部５０に供給される。
　ＡＥ制御部４０は、次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２を有する構成となっている。次フレーム発光・露光条件計算部４１は、光検出部３０から供給される現フレームのＲＡＷ画像データ、及び、発光・露光設定情報に基づいて、次フレームの発光・露光条件を計算する。次フレームの発光・露光条件は、次フレームの距離画像を取得する際の光源２０の発光時間や発光強度、及び、光検出部３０の露光時間である。次フレーム発光・露光制御部４２は、次フレーム発光・露光条件計算部４１で算出された次フレームの発光・露光条件に基づいて、次フレームの光源２０の発光時間や発光強度、及び、光検出部３０の露光時間を制御する。
　測距部５０は、距離画像を計算する距離画像計算部５１を有する構成となっている。距離画像計算部５１は、光検出部３０の画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データを用いて計算を行うことによって距離画像を算出し、被写体の奥行き情報である深度、及び、光検出部３０の受光情報である信頼値の各情報を含む距離画像情報として測距装置１外へ出力する。ここで、距離画像とは、例えば、画素毎に検出した距離情報に基づく距離値（深度／奥行きの値）がそれぞれ画素に反映された画像である。
［光検出部の構成例］
　ここで、光検出部３０の具体的な構成例について、図３を用いて説明する。図３は、光検出部３０の構成の一例を示すブロック図である。
　光検出部３０は、センサチップ３１、及び、当該センサチップ３１に対して積層された回路チップ３２を含む積層構造を有している。この積層構造において、センサチップ３１と回路チップ３２とは、ビア（ＶＩＡ）やＣｕ－Ｃｕ接合などの接続部（図示せず）を通して電気的に接続される。尚、図３では、センサチップ３１の配線と回路チップ３２の配線とが、上記の接続部を介して電気的に接続された状態を図示している。
　センサチップ３１上には、画素アレイ部３３が形成されている。画素アレイ部３３は、センサチップ３１上に２次元のグリッドパターンで行列状（アレイ状）に配置された複数の画素３４を含んでいる。画素アレイ部３３において、複数の画素３４はそれぞれ、入射光（例えば、近赤外光）を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部３３には、画素列毎に、２本の垂直信号線ＶＳＬ1，ＶＳＬ2が配線されている。画素アレイ部３３の画素列の数をＭ（Ｍは、整数）とすると、合計で（２×Ｍ）本の垂直信号線ＶＳＬが画素アレイ部３３に配線されている。
　複数の画素３４はそれぞれ、第１のタップＡ及び第２のタップＢ（その詳細については後述する）を有している。２本の垂直信号線ＶＳＬ1，ＶＳＬ2のうち、垂直信号線ＶＳＬ1には、対応する画素列の画素３４の第１のタップＡの電荷に基づくアナログの画素信号ＡＩＮP1が出力される。また、垂直信号線ＶＳＬ2には、対応する画素列の画素３４の第２のタップＢの電荷に基づくアナログの画素信号ＡＩＮP2が出力される。アナログの画素信号ＡＩＮP1，ＡＩＮP2については後述する。
　回路チップ３２上には、行選択部３５、カラム信号処理部３６、出力回路部３７、及び、タイミング制御部３８が配置されている。行選択部３５は、画素アレイ部３３の各画素３４を画素行の単位で駆動し、画素信号ＡＩＮP1，ＡＩＮP2を出力させる。行選択部３５による駆動の下に、選択行の画素３４から出力されたアナログの画素信号ＡＩＮP1，ＡＩＮP2は、２本の垂直信号線ＶＳＬ1，ＶＳＬ2を通してカラム信号処理部３６に供給される。
　カラム信号処理部３６は、画素アレイ部３３の画素列に対応して、例えば、画素列毎に設けられた複数のアナログ－デジタル変換器（ＡＤＣ）３９を有する構成となっている。アナログ－デジタル変換器３９は、垂直信号線ＶＳＬ1，ＶＳＬ2を通して供給されるアナログの画素信号ＡＩＮP1，ＡＩＮP2に対して、アナログ－デジタル変換処理を施し、出力回路部３７に出力する。出力回路部３７は、カラム信号処理部３６から出力されるデジタル化された画素信号ＡＩＮP1，ＡＩＮP2に対してＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理などを実行し、回路チップ３２外へ出力する。
　タイミング制御部３８は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、行選択部３５、カラム信号処理部３６、及び、出力回路部３７等の駆動制御を行う。
［画素の回路構成例］
　図４は、光検出部３０における画素３４の回路構成の一例を示す回路図である。
　本例に係る画素３４は、光電変換部として、例えば、フォトダイオード３４１を有している。画素３４は、フォトダイオード３４１の他、オーバーフロートランジスタ３４２、２つの転送トランジスタ３４３，３４４、２つのリセットトランジスタ３４５，３４６、２つの浮遊拡散層３４７，３４８、２つの増幅トランジスタ３４９、３５０、及び、２つの選択トランジスタ３５１，３５２を有する構成となっている。２つの浮遊拡散層３４７，３４８は、先述した図３に示す第１，第２のタップＡ，Ｂ（以下、単に、「タップＡ，Ｂ」と記述する場合がある）に相当する。
　フォトダイオード３４１は、受光した光を光電変換して電荷を生成する。フォトダイオード３４１については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。
　オーバーフロートランジスタ３４２は、フォトダイオード３４１のカソード電極と電源電圧ＶDDの電源ラインとの間に接続されており、フォトダイオード３４１をリセットする機能を持つ。具体的には、オーバーフロートランジスタ３４２は、行選択部３５から供給されるオーバーフローゲート信号ＯＦＧに応答して導通状態になることで、フォトダイオード３４１の電荷をシーケンシャルに電源電圧ＶDDの電源ラインに排出する。
　２つの転送トランジスタ３４３，３４４は、フォトダイオード３４１のカソード電極と２つの浮遊拡散層３４７，３４８（タップＡ，Ｂ）のそれぞれとの間に接続されている。そして、転送トランジスタ３４３，３４４は、行選択部３５から供給される転送信号ＴＲＧに応答して導通状態になることで、フォトダイオード３４１で生成された電荷を、浮遊拡散層３４７，３４８にそれぞれシーケンシャルに転送する。
　第１，第２のタップＡ，Ｂに相当する浮遊拡散層３４７，３４８は、フォトダイオード３４１から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号ＡＩＮP1，ＡＩＮP2を生成する。
　２つのリセットトランジスタ３４５，３４６は、２つの浮遊拡散層３４７，３４８のそれぞれと電源電圧ＶDDの電源ラインとの間に接続されている。そして、リセットトランジスタ３４５，３４６は、行選択部３５から供給されるリセット信号ＲＳＴに応答して導通状態になることで、浮遊拡散層３４７，３４８のそれぞれから電荷を引き抜いて、電荷量を初期化する。
　２つの増幅トランジスタ３４９、３５０は、電源電圧ＶDDの電源ラインと２つの選択トランジスタ３５１，３５２のそれぞれとの間に接続されており、浮遊拡散層３４７，３４８のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。
　２つの選択トランジスタ３５１，３５２は、２つの増幅トランジスタ３４９、３５０のそれぞれと垂直信号線ＶＳＬ1，ＶＳＬ2のそれぞれとの間に接続されている。そして、選択トランジスタ３５１，３５２は、行選択部３５から供給される選択信号ＳＥＬに応答して導通状態になることで、増幅トランジスタ３４９、３５０のそれぞれで増幅された電圧信号を、アナログの画素信号ＡＩＮP1，ＡＩＮP2として２本の垂直信号線ＶＳＬ1，ＶＳＬ2に出力する。
　２本の垂直信号線ＶＳＬ1，ＶＳＬ2は、画素列毎に、カラム信号処理部３６内の１つのアナログ－デジタル変換器３９の入力端に接続されており、画素列毎に画素３４から出力されるアナログの画素信号ＡＩＮP1，ＡＩＮP2をアナログ－デジタル変換器３９に伝送する。
　尚、画素３４の回路構成については、光電変換によってアナログの画素信号ＡＩＮP1，ＡＩＮP2を生成することができる回路構成であれば、図３に例示した回路構成に限定されるものではない。
　ここで、ＴｏＦ方式による距離の算出について図５を用いて説明する。図５は、ＴｏＦ方式の測距装置１における距離の算出について説明するためのタイミング波形図である。ＴｏＦ方式の測距装置１における光源２０及び光検出部３０は、図５のタイミング波形図に示すタイミングで動作する。
　光源２０は、ＡＥ制御部４０による制御の下に、所定の期間、例えば、パルス発光時間Ｔpの期間だけ、測定対象物に対して光を照射する。光源２０から発せられた照射光は、測定対象物で反射されて戻ってくる。この反射光（active光）が、フォトダイオード３４１によって受光される。測定対象物への照射光の照射が開始されてから、フォトダイオード３４１が反射光を受光する時間、即ち、光飛行時間は、測距装置１から測定対象物までの距離に応じた時間となる。
　図４において、フォトダイオード３４１は、照射光の照射が開始された時点から、パルス発光時間Ｔpの期間だけ、測定対象物からの反射光を受光する。このとき、フォトダイオード３４１が受光する光には、測定対象物に照射された光が、当該測定対象物で反射されて戻ってくる反射光（active光）の他に、物体や大気などで反射・散乱された環境光（ambient光）も含まれている。
　１回の受光の際に、フォトダイオード３４１で光電変換された電荷が、タップＡ（浮遊拡散層３４７）に転送され、蓄積される。そして、タップＡから、浮遊拡散層３４７に蓄積した電荷量に応じた電圧値の信号ｎ0が取得される。タップＡの蓄積タイミングが終了した時点で、フォトダイオード３４１で光電変換された電荷が、タップＢ（浮遊拡散層３４８）に転送され、蓄積される。そして、タップＢから、浮遊拡散層３４８に蓄積した電荷量に応じた電圧値の信号ｎ1が取得される。
　このように、タップＡ及びタップＢに対して、蓄積タイミングの位相を１８０度異ならせた駆動（位相を全く逆にした駆動）が行われることで、信号ｎ0及び信号ｎ1がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号ｎ0及び信号ｎ1の蓄積、積算が行われることで、蓄積信号Ｎ0及び蓄積信号Ｎ1がそれぞれ取得される。
　例えば、１つの画素３４について、１つのフェーズに２回受光が行われ、タップＡ及びタップＢに４回ずつ、即ち、０度、９０度、１８０度、２７０度の信号が蓄積される。このようにして取得した蓄積信号Ｎ0及び蓄積信号Ｎ1を基に、測距装置１から測定対象物までの距離Ｄが算出される。
　蓄積信号Ｎ0及び蓄積信号Ｎ1には、測定対象物で反射されて戻ってくる反射光（active光）の成分の他に、物体や大気などで反射・散乱された環境光（ambient光）の成分も含まれている。従って、上述した動作では、この環境光（ambient光）の成分の影響を除き、反射光（active光）の成分を残すため、環境光に基づく信号ｎ2に関しても蓄積、積算が行われ、環境光成分についての蓄積信号Ｎ2が取得される。
　このようにして取得された、環境光成分を含む蓄積信号Ｎ0及び蓄積信号Ｎ1、並びに、環境光成分についての蓄積信号Ｎ2を用いて、以下の式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　式（１）及び式（２）において、Ｄは測距装置１から測定対象物までの距離を表し、ｃは光速を表し、Ｔpはパルス発光時間を表している。
　図２に示した距離画像計算部５１は、環境光成分を含む蓄積信号Ｎ0及び蓄積信号Ｎ1、並びに、環境光成分についての蓄積信号Ｎ2を用いて、光検出部３０から出力される、上記した式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出し、距離画像情報として出力する。距離画像情報としては、例えば、距離Ｄに応じた濃度の色で色付けされた画像情報を例示することができる。尚、ここでは、算出した距離Ｄを距離画像情報として出力するとしたが、算出した距離Ｄをそのまま距離情報として出力するようにしてもよい。
［距離画像計算部の構成例］
　測距装置１における測距部５０の距離画像計算部５１の構成の一例を図６に示す。本例に係る距離画像計算部５１は、深度計算部５１１、較正部５１２、ノイズ低減部５１３、及び、アーティファクト除去部５１４を有する構成となっている。
　上記の構成の距離画像計算部５１において、深度計算部５１１は、光検出部３０から与えられるＲＡＷ画像データを用いて、光源２０から出射された光が被写体で反射し、その反射光の光検出部３０への到達位相差から深度情報及び信頼値情報を計算する。ここで、「深度」とは、被写体の奥行き情報（距離情報）のことであり、「信頼値」とは、光検出部３０の受光情報であり、光源２０から出射された光が、被写体で反射されて光検出部３０に戻ってくる反射光の量（度合い）のことである。
　較正部５１２は、例えば、光源２０から出射された光と光検出部３０に入射する光との位相を合わせたり、波形補正や温度補正等の較正処理を行ったりする。ノイズ低減部５１３は、例えば、ローパスフィルタから成り、ノイズを低減する処理を行う。アーティファクト除去部５１４は、種々のフィルタ機能を備えており、ノイズ低減部５１３を経た深度及び信頼値の各情報について、測距が間違っているものや、光検出部３０の受光の信頼値の低いものを排除する処理を行う。
　尚、ここでは、較正部５１２、ノイズ低減部５１３、及び、アーティファクト除去部５１４について、その順番で配置された構成を例示しているが、その配置の順番については任意である、即ち、変更してもよい。
［エイリアシング課題について］
　ところで、上述した間接ＴｏＦ方式の測距装置では、光源２０から出射されるレーザ光の発光周波数（発光周期）に応じて測距可能な最大距離が決まる。一例として、光源２０のレーザ駆動周波数（発光周波数）が１００ＭＨｚのときの真の深度と測距深度との関係を図７に示す。この例の場合、測距可能な最大距離は１．５ｍである。
　間接ＴｏＦ方式の測距装置では、位相差に基づく測距であり、１周すると同じ位相に戻ることから、被写体までの距離が測距可能な最大距離を超えると、エイリアシング（折り返した距離）が発生してしまう。エイリアシング課題は、金属やガラスなど、鏡面反射成分が大きい高反射率な被写体で特に発生しやすい。
　そして、エイリアス距離（エイリアシングが発生する距離）にある物体については、実際の測定距離（測距深度）が、本来の正しい距離（真の深度）よりも近くなる。例えば、２．５ｍの距離にある被写体の実際の測定距離（測距深度）が１．０ｍとなる。このように、エイリアス距離にある物体の測距結果については、誤った測距結果として測距装置１から出力されることになる。
　その結果、測距装置１の測距結果（深度及び信頼値を含む距離画像情報）に基づいて各種の制御を行う後段のシステムでは、測距装置１の誤った測距結果に基づいて誤った制御が行われることになる。一例として、測距装置１の測距結果を、自動的にカメラの焦点（ピント）を合わせるオートフォーカスに応用する場合には、正確なフォーカス制御が行われないことになる。
　ここで、画像に映る被写体の大きさについて考察する。真の深度１．０ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを図８Ａに示し、真の深度２．５ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを図８Ｂに示す。図８Ｂは、エイリアス距離にある被写体の場合の例である。
　図８Ａの場合も、図８Ｂの場合も、測距距離（測距深度）が同じ１．０ｍである。図８Ａと図８Ｂとの対比から明らかなように、同じ１．０ｍの距離として測距されるが、被写体の映る大きさが異なる。すなわち、真の深度２．５ｍの場合（図８Ｂ）の方が、真の深度１．０ｍの場合（図８Ａ）よりも、画像に映る被写体の大きさが小さくなる。これは、画像に映る被写体の大きさが、測距装置１からの被写体の距離によって異なることを意味する。
＜本開示の実施形態＞
　本開示の実施形態では、上記のように、画像に映る被写体の大きさが、測距装置１からの被写体の距離によって変化する性質を利用して、間接ＴｏＦ方式の測距装置特有の課題であるエイリアシング課題を解決するようにする。このエイリアシング課題を解決する処理は、本実施形態にあっては、測距部５０の距離画像計算部５１内のアーティファクト除去部５１４において、フィルタ機能の一つとして実行される。
［エイリアシング課題を解決するための処理例］
　以下に、アーティファクト除去部５１４において実行される、本開示の測距装置の制御方法の処理の一例である、エイリアシング課題を解決するための処理の一例について、図９のフローチャートを用いて説明する。
　以下では、アーティファクト除去部５１４の機能をプロセッサによって実現する構成の場合において、アーティファクト除去部５１４を構成するプロセッサによる制御の下に、エイリアシング課題を解決するための一連の処理が実行されることとする。
　アーティファクト除去部５１４を構成するプロセッサ（以下、単に「プロセッサ」と記述する）は、図６の深度計算部５１１で算出された深度情報を基に、画像をセグメント（部分／物体）に分けるセグメント化処理を行う（ステップＳ１１）。このセグメント化処理では、一例として、図８Ａ、図８Ｂの場合を例に挙げると、背景の大きい部分と、真ん中の丸い部分とをそれぞれセグメントとして分ける処理が行われる。
　次に、プロセッサは、各セグメントに対してラベル１～ｎ（ｎは２以上の整数）を付けるラベル付け処理を行う（ステップＳ１２）。このラベル付け処理では、画像を１行ずつ走査し、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント（部分／物体）毎に異なるラベルを付与する処理が行われる。
　次に、プロセッサは、各ラベル１～ｎについて、コンポーネントオブジェクトを作成する（ステップＳ１３）。ここで、「コンポーネントオブジェクト」とは、セグメントのピクセル数、及び、深度平均値（距離平均値）のことである。
　次に、プロセッサは、ラベルカウンタｉをインクリメントし（ステップＳ１４）、次いで、ラベル１（ｉ＝１）について深度平均値から、セグメントのピクセル数の閾値を決定する（ステップＳ１５）。ステップＳ１５の処理では、各セグメント毎に距離を考慮してセグメントのピクセル数の閾値を決定する、より具体的には、測距装置１からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する。
　近距離／遠距離については、所定の距離（例えば、１ｍ）を基準（閾値）として定義することができる。但し、セグメントのピクセル数の閾値については、近距離／遠距離の２パターンに限られるものではなく、更に細分化して３パターン以上に増やすようにしてもよい。セグメントのピクセル数の閾値設定の詳細については後述する。
　続いて、プロセッサは、ラベル１のセグメントについてピクセル数が閾値を超えるか否かを判断する（ステップＳ１６）。この判断処理において、プロセッサは、ピクセル数が閾値を超えると判断した場合には（Ｓ１６のＹＥＳ）、そのセグメントを有効とし（ステップＳ１７）、ピクセル数が閾値以下であると判断した場合には（Ｓ１６のＮＯ）、そのセグメントを無効とする（ステップＳ１８）。
　ステップＳ１７の処理、又は、ステップＳ１８の処理の終了後、プロセッサは、全ラベル１～ｎについて、セグメントの有効／無効の処理が終了したか否かを判断し（ステップＳ１９）、終了していれば（Ｓ１９のＹＥＳ）、エイリアシング課題を解決するための上述した一連の処理を終了する。また、プロセッサは、全ラベル１～ｎについて終了していなければ（Ｓ１９のＮＯ）、ステップＳ１４に戻ってラベルカウンタｉをインクリメントし、以降、ステップＳ１５～ステップＳ１９の処理を、全ラベル１～ｎについて、セグメントの有効／無効の処理が終了したと判断するまで繰り返して実行する。
　上述したように、本実施形態に係る測距装置１では、光検出部３０から与えられるＲＡＷ画像データに基づいて深度計算部５１１で被写体の深度情報を算出し、当該深度情報を基にセグメント化処理を行い、ピクセル数が閾値よりも小さいセグメントを無効にする処理が行われる。この処理により、間接ＴｏＦ方式の測距装置特有の課題であるエイリアシング課題を解決することができる。すなわち、エイリアス距離にある物体の測距結果については、誤った測距結果として測距装置１から出力されることはなく、正しい距離（真の距離）が測定されている物体の測距結果のみを出力することができる。
［セグメントのピクセル数の閾値設定］
　ここで、セグメントの有効／無効の判断基準となる、セグメントのピクセル数の閾値設定について説明する。
　測距対象の被写体（物体）の大きさを定義し、光検出部３０の焦点距離や画素ピッチから、距離毎に撮像されるセグメントのピクセル数を算出し、この算出したピクセル数を閾値とすることができる。
・測距対象の被写体については、エイリアシング課題が特に発生しやすい物体、例えば、金属やガラスなど、鏡面反射成分が大きい高反射率な物体から選ぶようにする。
・エイリアシング課題は、エイリアシング課題が発生しやすい物体全体で発生する訳ではなく、レーザ光が正対する領域付近で発生しやすい。そのため、大きなる物体（被写体）であっても、エイリアシング課題が発生する領域の大きさを設定する場合もある。
＜変形例＞
　以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、セグメントのピクセル数の閾値について、深度平均値を基に決定するとしたが、これに限られるものではなく、次のような構成をとることもできる。
　例えば、図１０に示すように、ＲＧＢカメラ６１を用いるとともに、各被写体毎の閾値を予め設定しておく。そして、ＲＧＢカメラ６１の撮像出力を基に、物体認識部６２で被写体認識を行い、その認識結果を基にパラメータ制御部６３によって、予め設定した閾値を決めるようにする。但し、被写体認識については、ＲＧＢカメラ６１の出力を基に行うのではなく、測距装置１の最終出力、即ち、深度及び信頼値の各情報を含む距離画像情報を基に行うようにしてもよいし、ＲＧＢカメラ６１の出力、及び、測距装置１の最終出力の両方を基に行うようにしてもよい。
＜応用例＞
　本開示の測距装置は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）等のいずれかの種類の移動体に搭載される測距装置として用いることができる。また、上記の実施形態では、本開示の測距装置について、距離画像（深度マップ）を取得する手段として用いる場合を例に挙げて説明したが、単に距離画像を取得する手段として用いるだけでなく、自動的にカメラの焦点（ピント）を合わせるオートフォーカスに応用することができる。
＜本開示の電子機器＞
　以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。
　以下に、本開示の測距装置を用いる電子機器の具体例として、スマートフォン及びデジタルスチルカメラを例示する。スマートフォン及びデジタルスチルカメラに搭載される測距装置の距離画像情報（深度情報）は、オートフォーカスのためのレンズ駆動情報として用いられる。但し、ここで例示する具体例は一例に過ぎず、これらの具体例に限られるものではない。
［具体例１：スマートフォンの例］
　本開示の電子機器の具体例１に係るスマートフォンについて、正面側から見た外観図を図１１Ａに示し、背面側から見た外観図を図１１Ｂに示す。本具体例に係るスマートフォン１００は、筐体１１０の正面側に表示部１２０を備えている。また、スマートフォン１００は、例えば、筐体１１０の裏面側の上方部に撮像部１３０を備えている。
　先述した本開示の実施形態に係る測距装置１は、例えば、上記の構成のモバイル機器の一例であるスマートフォン１００に搭載して用いることができる。この場合、測距装置１の光源２０及び光検出部３０については、例えば図１１Ｂに示すように、撮像部１３０の近傍に配置することができる。但し、図１１Ｂに示す光源２０及び光検出部３０の配置例は、一例であって、この配置例に限られるものではない。
　上述したように、具体例１に係るスマートフォン１００は、本開示の実施形態に係る測距装置１を搭載することによって作製される。そして、具体例１に係るスマートフォン１００は、上記の測距装置１を搭載することにより、エイリアシング課題を解決しつつ正確な測距結果を得ることができるため、当該測距結果に基づいてピントの合った撮像画像を得ることができる。
［具体例２：デジタルスチルカメラの例］
　本開示の電子機器の具体例２に係るレンズ交換式一眼レフレックスタイプのデジタルスチルカメラについて、正面側から見た外観図であり、図１２Ｂは、裏面側から見た外観図である。
　レンズ交換式一眼レフレックスタイプのデジタルスチルカメラ２００は、例えば、カメラ本体部（カメラボディ）２１１の正面右側に交換式の撮影レンズユニット（交換レンズ）２１２を有し、正面左側に撮影者が把持するためのグリップ部２１３を有している。そして、カメラ本体部２１１の背面略中央にはモニター２１４が設けられている。モニター２１４の上部には、ビューファインダ（接眼窓）２１５が設けられている。撮影者は、ビューファインダ２１５を覗くことによって、撮影レンズユニット２１２によって導かれた被写体の光像を視認して構図決定を行うことが可能である。
　先述した本開示の実施形態に係る測距装置１は、例えば、上記の構成のモバイル機器の一例であるデジタルスチルカメラ２００に搭載して用いることができる。この場合、測距装置１の光源２０及び光検出部３０については、例えば図１２Ａに示すように、撮影レンズユニット２１２の近傍に配置することができる。但し、図１２Ａに示す光源２０及び光検出部３０の配置例は、一例であって、この配置例に限られるものではない。
　上述したように、具体例２に係るデジタルスチルカメラ２００は、本開示の実施形態に係る測距装置１を搭載することによって作製される。そして、具体例２に係るデジタルスチルカメラ２００は、上記の測距装置１を搭載することにより、エイリアシング課題を解決しつつ正確な測距結果を得ることができるため、当該測距結果に基づいてピントの合った撮像画像を得ることができる。
＜本開示がとることができる構成＞
　尚、本開示は、以下のような構成をとることもできる。
≪Ａ．測距装置≫
［Ａ－１］被写体からの光を受光する光検出部、
　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
　深度計算部が算出した深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
　を備える測距装置。
［Ａ－２］アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
　上記［Ａ－１］に記載の測距装置。
［Ａ－３］アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
　上記［Ａ－２］に記載の測距装置。
［Ａ－４］コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
　上記［Ａ－２］又は上記［Ａ－３］に記載の測距装置。
［Ａ－５］アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
　上記［Ａ－１］乃至上記［Ａ－４］のいずれかに記載の測距装置。
［Ａ－６］アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
　上記［Ａ－５］に記載の測距装置。
≪Ｂ．電子機器≫
［Ｂ－１］被写体からの光を受光する光検出部、
　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
　深度計算部が算出した深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
　を備える測距装置を有する電子機器。
［Ｂ－２］アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
　上記［Ｂ－１］に記載の電子機器。
［Ｂ－３］アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
　上記［Ｂ－２］に記載の電子機器。
［Ｂ－４］コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
　上記［Ｂ－２］又は上記［Ｂ－３］に記載の電子機器。
［Ｂ－５］アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
　上記［Ｂ－１］乃至上記［Ｂ－４］のいずれかに記載の電子機器。
［Ｂ－６］アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
　上記［Ｂ－５］に記載の電子機器。
　１・・・測距装置、１０・・・被写体（測定対象物）、２０・・・光源、３０・・・光検出部、４０・・・ＡＥ制御部、４１・・・次フレーム発光・露光条件計算部、４２・・・次フレーム発光・露光制御部、５０・・・測距部、５１・・・距離画像計算部、６１・・・ＲＧＢカメラ、６２・・・物体認識部、６３・・・パラメータ制御部

Claims (8)

  1. 　被写体からの光を受光する光検出部、
    　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
    　深度計算部が算出した深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
    　を備える測距装置。
  2. 　アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
    　請求項１に記載の測距装置。
  3. 　アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
    　請求項２に記載の測距装置。
  4. 　コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
    　請求項２に記載の測距装置。
  5. 　アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
    　請求項１に記載の測距装置。
  6. 　アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
    　請求項５に記載の測距装置。
  7. 　被写体からの光を受光する光検出部、及び、
    　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、
    　を備える測距装置の制御に当たって、
    　深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とする、
    　測距装置の制御方法。
  8. 　被写体からの光を受光する光検出部、
    　光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
    　深度情報を基に画像をセグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
    　を備える測距装置を有する電子機器。
PCT/JP2020/027983 2019-09-25 2020-07-20 測距装置及び測距装置の制御方法、並びに、電子機器 WO2021059699A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/753,870 US20220373682A1 (en) 2019-09-25 2020-07-20 Distance measurement device, method of controlling distance measurement device, and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019173696A JP2021050988A (ja) 2019-09-25 2019-09-25 測距装置及び電子機器
JP2019-173696 2019-09-25

Publications (1)

Publication Number Publication Date
WO2021059699A1 true WO2021059699A1 (ja) 2021-04-01

Family

ID=75157671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027983 WO2021059699A1 (ja) 2019-09-25 2020-07-20 測距装置及び測距装置の制御方法、並びに、電子機器

Country Status (3)

Country Link
US (1) US20220373682A1 (ja)
JP (1) JP2021050988A (ja)
WO (1) WO2021059699A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202325A1 (ja) 2021-03-25 2022-09-29 株式会社巴川製紙所 吸着シート及びその製造方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285582A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2001273494A (ja) * 2000-03-27 2001-10-05 Honda Motor Co Ltd 物体認識装置
JP2008064628A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2011128756A (ja) * 2009-12-16 2011-06-30 Fuji Heavy Ind Ltd 物体検出装置
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
JP2014056494A (ja) * 2012-09-13 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2017219385A (ja) * 2016-06-06 2017-12-14 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出システム、物体検出方法、およびプログラム
US20180084240A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Systems and methods for improved depth sensing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021090A1 (ja) * 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285582A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2001273494A (ja) * 2000-03-27 2001-10-05 Honda Motor Co Ltd 物体認識装置
JP2008064628A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2011128756A (ja) * 2009-12-16 2011-06-30 Fuji Heavy Ind Ltd 物体検出装置
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
JP2014056494A (ja) * 2012-09-13 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2017219385A (ja) * 2016-06-06 2017-12-14 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出システム、物体検出方法、およびプログラム
US20180084240A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Systems and methods for improved depth sensing

Also Published As

Publication number Publication date
US20220373682A1 (en) 2022-11-24
JP2021050988A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
US10412349B2 (en) Image sensor including phase detection pixel
JP5979500B2 (ja) 立体撮像装置
CN111758047B (zh) 单芯片rgb-d相机
US8614755B2 (en) Optical device and signal processor
US10182190B2 (en) Light detecting apparatus, image capturing apparatus and image sensor
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US10277827B2 (en) Imaging apparatus and electronic apparatus
US20170117310A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
SE514859C2 (sv) Förfarande och anordning för undersökning av objekt på ett substrat genom att ta bilder av substratet och analysera dessa
JP2007081806A (ja) 撮像システム
CN114600116A (zh) 对象识别系统、对象识别系统的信号处理方法、以及电子装置
JP2004126574A (ja) 電子撮像装置のフォーカシング
US20210041539A1 (en) Method and apparatus for determining malfunction, and sensor system
US20180158208A1 (en) Methods and apparatus for single-chip multispectral object detection
KR20150135431A (ko) 고속 촬상 방법 및 고속 촬상 장치
TR201808247T4 (tr) Bir numunenin çoklu derinliklerinde görüntü verisinin eşzamanlı yakalanması için yöntem ve cihaz.
WO2020170969A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP2024019613A (ja) 撮像装置、情報処理装置、撮像方法およびプログラム
WO2021059699A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
JP7281775B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
US20160063307A1 (en) Image acquisition device and control method therefor
JP7237450B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置
CN113597567A (zh) 距离图像的获得方法、以及距离检测装置
WO2021059698A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20870093

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20870093

Country of ref document: EP

Kind code of ref document: A1